Родился 10 октября 1911 года в селе Шагаловка ныне Тальменского района Алтайского края в семье крестьянина.
Русский.
Окончил 4 класса. Работал в колхозе «Урожай» Черемушкинского сельсовета.
В Красной Армии с июля 1941 года. На фронте Великой Отечественной войны с октября 1941 года.
Наводчик орудия 971-го артиллерийского полка (110-я стрелковая дивизия, 50-я армия, 2-й Белорусский фронт) рядовой Скворцов 5 июля 1944 года в бою близ сел Дергай и Плебиницы (7 км западнее населенного пункта Михановичи, Минская область) с расчетом уничтожил до 10 автоматчиков, бронетранспортер и два пулемета с расчетами.
22 июля 1944 года награжден орденом Славы 3-й степени.
22 августа 1944 года младший сержант Скворцов того же полка и дивизии (49-я армия, 2-й Белорусский фронт) в бою в районе д. Порыте (3 км северо-западнее г. Замбрув, Польша) прямой наводкой в составе расчета уничтожил танк и свыше 10 вражеских автоматчиков. В том же бою, заменив раненого командира орудия, подбил еще один танк и уничтожил до отделения гитлеровцев.
26 октября 1944 года награжден орденом Славы 2-й степени.
23 февраля 1945 года близ д. Килденен (9 км северо-восточнее населенного пункта Мельзак, ныне Пененжно, Польша) командир орудия того же полка и дивизии (50-я армия, 3-й Белорусский фронт) старший сержант Скворцов с расчетом уничтожил три пулемета и подавил два дзота противника, был ранен, но остался в строю.
29 июня 1945 года награжден орденом Славы 1-й степени.
В 1945 году демобилизован. Работал животноводом в совхозе «Маршанский» Каргатского района Новосибирской области.
Награжден медалями.
Умер 12 мая 1980 года, похоронен в селе Маршанка.
Имя полного кавалера ордена Славы Дмитрия Филипповича Скворцова увековечено в Новосибирске на Аллее Героев у Монумента Славы и на Мемориале Славы в Барнауле [288, 332, 602, 614, 866, 932].