Родился 19 октября 1906 года в деревне Нофринское Ярославской губернии в семье крестьянина.
С 1923 года работал в комсомольском уездном комитете в Пошехонье. В 1928–1930 годах заведовал отделом пропаганды и агитации Ярославского губкома ВЛКСМ. В 1925 году вступил в ВКП(б).
В 1933 году окончил Московский строительный институт.
Работал на Ленинградском станкостроительном заводе имени Я.М. Свердлова, затем главным инженером Краснодарского станкостроительного завода имени Г.М. Седина.
В годы Великой Отечественной войны работал главным инженером на Новосибирском заводе «Тяжстанкогидропресс» им. А.И. Ефремова.
С 1946 года – заместитель министра, с 8 марта 1949 года – министр станкостроения СССР. С 1952 года кандидат в члены, с 1961 по 1981 год член ЦК КПСС.
С марта 1953 года Костоусов получил должность заместителя министра Министерства машиностроения СССР. Впоследствии занимал высшие посты в руководстве промышленностью: министр станкостроительной и инструментальной промышленности (1954–1957 и 1964–1980), председатель Московского областного Совета народного хозяйства (1957–1959), председатель Государственного комитета Совета Министров СССР по автоматизации и машиностроению (1959–1963), председатель Государственного комитета по автоматизации и машиностроению (с апреля 1963 – по машиностроению) при Госплане СССР (1963–1965).
В 1958–1984 годах был депутатом Верховного Совета СССР.
В 1976 году Анатолий Иванович Костоусов удостоен звания Героя Социалистического Труда.
Награжден четырьмя орденами Ленина, пятью орденами Трудового Красного Знамени.
В декабре 1980 года вышел на пенсию. Почетный гражданин города Пошехонье.
Умер 22 марта 1985 года. Похоронен в Москве на Новодевичьем кладбище [247, 281, 481, 932, 1074, 1194].