Родился 1 января 1908 года в селе Кайла ныне Яйского района Кемеровской области в крестьянской семье. Русский. Окончил сельскую школу.
Детские годы прошли для него в суровые дни установления Советской власти в Сибири, борьбы с кулачеством. Василий не был в стороне от этого, он помогал партизанам, был связным. В 18 лет он стал председателем сельского Совета в Кайле, а затем – председателем колхоза. Учился на рабфаке Томского государственного университета.
В Красной Армии с 20 ноября 1929 года. Учился на курсах Осоавиахим. В 1934 году окончил Одесскую военную школу пилотов.
В боях Великой Отечественной войны с 1942 года. Сражался на Сталинградском, 4-м Украинском, 3-м Белорусском фронтах. Член ВКП(б)/КПСС с 1943 года.
Командир эскадрильи 74-го гвардейского штурмового авиационного полка (1-я гвардейская штурмовая авиационная дивизия, 8-я воздушная армия, 4-й Украинский фронт) гвардии майор Василий Жихарев к декабрю 1943 года совершил 315 успешных боевых вылетов, нанеся противнику значительный ущерб в живой силе и боевой технике.
Указом Президиума Верховного Совета СССР от 13 апреля 1944 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецко-фашистскими захватчиками и проявленные при этом мужество и героизм гвардии майору Жихареву Василию Дмитриевичу присвоено звание Героя Советского Союза.
На завершающем этапе войны, в Восточно-Прусской операции, В.Д. Жихарев командовал штурмовым авиационным полком.
После войны В.Д. Жихарев продолжал службу в армии. Окончил высшие офицерские курсы.
С 1950 года подполковник Жихарев – в запасе. Жил и работал в Калининграде, затем в Новосибирске. Много времени заслуженный ветеран уделял общению с молодежью, пользовался их любовью и уважением.
В.Д. Жихарев стоял у истоков создания в 1979 году в Новосибирске музея Боевой Славы 1-й ордена Ленина гвардейской дважды Краснознаменной Сталинградской орденов Суворова и Кутузова авиационной штурмовой дивизии на базе средней школа №106 (ныне гимназия № 7 «Сибирская»).
Награжден орденами Ленина, Суворова 3-й степени, Отечественной войны 1-й степени, Александра Невского, Красной Звезды, тремя орденами Красного Знамени, медалями.
10 августа 1979 года Жихарев Василий Дмитриевич скоропостижно скончался.
Герой похоронен на военном кладбище города Новосибирска. В Дзержинском районе Новосибирска на фасаде дома № 29 по ул. Трикотажной установлена мемориальная доска, посвященная В.Д. Жихареву. Имя Героя Советского Союза Василия Дмитриевича Жихарева увековечено на Аллее Героев у Монумента Славы [178, 240, 327, 410, 481, 734, 743, 787, 789, 1084].