Родился в 1918 году в селе Козловка ныне Татарского района Новосибирской области в семье крестьянина. Русский.
В 1922 году семья переехала на Алтай в село Трезвоново (ныне село Грязново) Тюменцевского района.
После окончания 7-летней школы прошел обучение на курсах механизаторов, работал трактористом в колхозе.
В феврале 1940 года призван в Красную Армию, был направлен для прохождения действительной военной службы на Крайний Север, в войска 14-й армии.
Участник Великой Отечественной войны с июня 1941 года. Командир отделения 163-го отдельного разведывательного батальона (104-я стрелковая дивизия, 14-я армия, Северный фронт) младший сержант Александр Грязнов 6 июля 1941 года находился в боевом охранении в районе населенных пунктов Вуориярви, Микола (ныне администрации города Кандалакши Мурманской области). Легкий танк, в экипаж которого входили младший сержант А.М. Грязнов и красноармеец А.С. Игнатов, вступил в бой с превосходящими силами противника, был подбит – прямым попаданием вражеский снаряд разбил гусеницу и тяжело ранил водителя танка.
Но неравный бой продолжался. Грязнов и Игнатов поливали фашистов метким пулеметным огнем, бросали гранаты. 9 июля, когда у танкистов кончились боеприпасы, фашисты окружили подбитый танк. Стуча каблуками и прикладами по броне, они предложили экипажу покинуть машину. Озверевшие враги стали подбрасывать хворост на броню, решив сжечь машину вместе с экипажем. Но этого сделать они не успели. Единственной противотанковой гранатой мужественные советские воины Грязнов и Игнатов подорвали свою машину, унеся с собой десятки вражеских жизней.
Похоронен в братской могиле на левом берегу Тунтсайоки, у моста в районе станции Кайлара (Кандалакшинский район Мурманской области). На могиле – памятник.
Указом Президиума Верховного Совета СССР от 22 июля 1941 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецко-фашистским захватчиками и проявленные при этом мужество и героизм младшему сержанту Грязнову Александру Матвеевичу присвоено звание Героя Советского Союза (посмертно). Он стал одним из первых Героем Советского Союза в сухопутных войсках. Награжден орденом Ленина.
На средства односельчан Героя из Трезвоново в 1942 году был построен танк «Александр Грязнов», сражавшийся с врагом до конца войны.
Именем Героя Советского Союза А.М. Грязнова названы родное село в Алтайском крае,
улицы в поселке Алакуртти Мурманской области и селе Козловка Татарского района Новосибирской области. В память о нем в городе Барнауле установлена мемориальная доска.
Имя Героя увековечено на Мемориале Славы в г. Барнауле и на памятнике в деревне Козловке Татарского района Новосибирской области.
ВчестьбессмертногоподвигатанкистанатерриторииТатарскогоисторико-краеведческого музея поставлен на пьедестал танк «Т-34» [57, 64, 178, 190, 417, 707, 835, 1085, 1129].