Родился 14 октября 1914 года в деревне Минино Татарской волости Новониколаевского уезда (ныне Татарский район Новосибирской области) в семье крестьянина. Русский.
Окончив неполную среднюю школу и школу автомехаников, работал шофером.
В рядах Красной Армии с 1936 по 1938 год. После срочной службы в армии учился в Иркутске на курсах комсостава бронетанковых войск и в звании младшего лейтенанта запаса возвратился в Татарск.
Мобилизован 22 июня 1941 года. На фронте с июля 1941 года. Участвовал в боях под Ельней, в освобождении Вязьмы, Орши, Лиды, Гродно.
В 1941 году под Москвой воевал в одной роте мехбригады с братом Александром, который был механиком-водителем, а Андрей Волков – командиром разведроты. Под городом Белым танкисты сожгли три немецких танка и разгромили вражеский штаб. Гитлеровцы бросили на разведроту большие силы, окружили ее. При прорыве из окружения Александр погиб. Андрей Волков поклялся у могилы брата мстить врагу до полной победы.
При очередном контрударе немцам удалось отрезать роту Волкова от основных сил и окружить. Пока было горючее, рота с боями продвигалась на восток на танках, потом почти 10 дней пришлось идти пешком. После перехода линии фронта оставшиеся в живых танкисты были отправлены в глубокий тыл. Два месяца занимались боевой учебой, получали новую материальную часть.
После переформирования лейтенант Волков в составе 104-го танкового полка, где командовал ротой, снова прибыл на фронт. В боях под Вязьмой он лично уничтожил вражеский танк, самоходную артиллерийскую установку и раздавил гусеницами три минометных батареи. В этих боях был ранен. После недолгого пребывания в госпитале Волков возвратился в свой полк В 1943 году вступил в ряды ВКП(б)/КПСС.
Командир танкового эскадрона 104-го танкового полка (5-я гвардейская кавалерийская дивизия, 3-й гвардейский кавалерийский корпус, 3-й Белорусский фронт) лейтенант Волков 25–30 июня 1944 года в боях за деревни Яново (Сенненский район Витебской области) и Ляховка (Борисовский район Минской области) уничтожил четыре вражеских танка, два БТР, одно орудие, большое количество гитлеровцев.
В Белоруссии, у села Смоляны, у танка Волкова вражеский снаряд разбил гусеницу. Пока механик-водитель восстанавливал ее, экипаж, организовав круговую оборону, отбивался от немцев, пытавшихся взять танкистов в плен. Волков при этом продолжал руководить наступлением подразделения.
4 ноября 1944 года, отбивая ожесточенную контратаку противника в районе Гольдана (Восточная Пруссия), старший лейтенант Волков был тяжело ранен. Товарищи вытащили его из горящего танка, в бессознательном состоянии доставили в госпиталь, располагавшийся в городе Сувалки. Двадцать одни сутки врачи боролись за его жизнь и победили.
Указом Президиума Верховного Совета СССР от 24 марта 1945 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецко-фашистскими захватчиками и проявленные при этом мужество и героизм лейтенанту Волкову Андрею Алексеевичу присвоено звание Героя Советского Союза.
В 1946 году, выписавшись из госпиталя, Андрей Алексеевич Волков был уволен в запас.
Вернулся на родину. По направлению Татарского горкома партии окончил Новосибирскую областную партшколу. В течение пяти лет работал заместителем председателя Мошковского райисполкома, в дальнейшем работал на ответственных постах в советских органах Ордынского и Куйбышевского районов. Жил в городе Карасуке. Работал директором республиканской оптовой конторы в Новосибирске. Награжден орденами Ленина, Красного Знамени, Отечественной войны 1-й степени, медалями.
Скончался Андрей Алексеевич 17 февраля 1981 года в Новосибирске.
Имя Героя Советского Союза Андрея Алексеевича Волкова увековечено на Аллее Героев у Монумента Славы в г. Новосибирске, а также в Ордынском мемориальном парке героев-земляков [11, 178, 240, 417, 429, 462, 787, 943, 1057, 1193].