Родился 18 апреля 1920 года в деревне Аполихе ныне Купинского района Новосибирской области в семье крестьянина. Русский.
Окончил с отличием Новосельскую семилетнюю школу. Работал в мастерской машинно-тракторной станции учеником слесаря, затем слесарем. В январе 1943 года был призван в армию Купинским райвоенкоматом. На фронте с сентября 1943 года, участвовал в форсировании Днепра и освобождении Украины от фашистских войск.
В ночь на 23 сентября 1943 года в составе стрелкового взвода гвардии красноармеец Ершов одним из первых преодолел реку Днепр у села Глебовка (Вышгородский район Киевской области). Еще во время движения по реке лодки и плоты батальона столкнулись с пароходом противника, шедшим по течению. Гвардейцы обстреляли пароход из всех видов оружия, а высадившись на берег, штурмом захватили причалившее рядом судно.
Красноармеец Ершов в этом бою, появляясь в самых опасных местах, уничтожил до двух десятков гитлеровцев, был ранен, но отказался вернуться на восточный берег. На рассвете начались бои за расширение плацдарма. И здесь вновь отличился Ершов. Только в схватке за село Ясногородка того же района он лично уничтожил до 20 немецких солдат и офицеров.
Указом Президиума Верховного Совета от 17 октября 1943 года стрелку 212-го гвардейского стрелкового полка (75-я гвардейская стрелковая дивизия, 60-я армия, Центральный фронт) Ершову Алексею Ивановичу было присвоено звание Героя Советского Союза.
11 января 1944 года во время неудачной разведки боем в районе деревни Корени (Домоновического, ныне Светлогорского района Гомельской области, Белоруссия), когда под сильным огнем противника гвардейцы залегли в снегу на открытом поле, Ершов первым поднялся в атаку, увлекая за собой бойцов. Погиб в этом бою. Похоронен на поле боя в братской могиле.
Награжден орденом Ленина.
9 мая 1965 года на могиле Героя был установлен бюст. В честь Героя названы улицы в г. Купино Новосибирской области и Светлогорске Гомельской области. Его имя присвоено детскому лагерю отдыха на озере Яркуль в Купинском районе. В Новосибирске имя Героя Советского Союза Алексея Ивановича Ершова увековечено на Аллее Героев у Монумента Славы [11, 178, 240, 415, 462, 669, 787].