Родился 10 октября 1948 года в городе Астрахани в семье рабочего. Русский.
Рос и учился на станции Бишкиль Челябинской области.
После школы уехал в Астрахань поступил в судоремонтное ПТУ. В 1967 году по направлению военкомата поступил на химический факультет по специализации «общий химик» в Каспийское высшее военно-морское училище имени С.М. Кирова в городе Баку.
По окончании училища в 1972 году направлен для прохождения службы на Каспийскую военную флотилию. Назначен старшим помощником командира большого пожарного катера.
Вскоре он уже командовал этим кораблем. За умелое управление и личную храбрость, проявленные при тушении пожара на Бакинских нефтяных промыслах, был награжден медалью «За отвагу на пожаре».
В 1975 году был привлечен на работу в военно-морскую контрразведку Комитета государственной безопасности (КГБ). Чекистское образование получил на Высших курсах военной контрразведки КГБ СССР (г. Новосибирск). За 25 лет службы в военной контрразведке прошел путь от оперуполномоченного до заместителя директора ФСБ.
Оперативную работу начал в Военно-морском училище имени С.М. Кирова, на факультете иностранных студентов. Досрочно ему было присвоено звание капитана 3-го ранга. До 1992 года возглавлял Особый отдел Каспийской военной флотилии. Работал в сложных условиях – деятельность Народного фронта Азербайджана, межэтнические столкновения, развал СССР и т.д. Участвовал в спасении русских и армянских семей во время погромов, руководил выводом Каспийской флотилии и военно-морского училища в Астрахань.
Затем в городе Новороссийске капитан 1-го ранга Угрюмов организовал работу вновь созданного Особого отдела. Через год был переведен на Дальний Восток начальником управления ФСБ по Тихоокеанскому флоту. Перед переходом на работу в Москву занимал должность начальника УВКР ФСБ по ТОФ. В центральном аппарате ФСБ начал работать в 1998 году. В 1999 году назначен 1-м заместителем руководителя Департамента по защите конституционного строя и борьбе с терроризмом, в ноябре того же года стал руководителем Департамента, заместителем директора ФСБ. В его подчинении состоял Центр специального назначения ФСБ, в который входили группы «Альфа» и «Вымпел».
При непосредственном участии Угрюмова были разработаны и проведены специальные мероприятия в рамках контртеррористической операции в Северо-Кавказском регионе, в результате которых были обезврежены многие руководители и активные члены бандформирований. Это и бескровное взятие Гудермеса в декабре 1999 года, и арест Салмана Радуева в марте 2000 года, и освобождение заложников в поселке Лазоревское в ноябре того же года. Угрюмов всегда считал главной задачей сохранить мирных жителей, населенные пункты и жизнь военнослужащих федеральных войск.
Указом Президента Российской Федерации от 20 декабря 2000 года за мужество и героизм, проявленные при исполнении воинского долга, вице-адмиралу Герману Алексеевичу Угрюмову присвоено звание Героя Российской Федерации.
21 января 2001 года контр-адмирал Угрюмов был утвержден руководителем регионального оперативного штаба на Северном Кавказе, он занимался вопросами вывода войск, порядка передачи полномочий от военных и МВД к органам контрразведки. 30 мая 2001 года Президент России В.В.
Путин подписал Указ о присвоении Г.А. Угрюмову звания адмирала.
Награжден орденами «Знак Почета», «За военные заслуги», нагрудными знаками «Почетный сотрудник контрразведки», «За службу в контрразведке» 3-й и 2-й степени, многими медалями.
31 мая 2001 г. адмирал Угрюмов скончался в Ханкале, в рабочем кабинете, от сердечного приступа. Похоронен в Москве на Троекуровском кладбище.
Приказом главкома ВМФ России боевому кораблю Каспийской флотилии – базовому тральщику БТ-244 присвоено название «Герман Угрюмов». На родине адмирала, в городе Астрахани, его имя носят улица и сквер, а 14 сентября 2006 года открыт памятник. Имя Героя носят улицы в городах Владивосток, Новороссийск, здесь же установлен памятник-барельеф.
В Астрахани проводятся спортивные состязания на кубок Г.А. Угрюмова. В Новосибирском институте ФСБ России его имя увековечено на Галерее выпускников – Героев Отечества [41, 484, 787, 1067, 1128, 1142, 1186].