С началом военных действий Анатолий, не достигнув совершеннолетия, добровольно явился в военкомат. Обладая выдающимися физическими данными, он сумел ввести в заблуждение призывную комиссию, приписав себе несколько лет. Узнав об этом, школьная учительница юноши попыталась сообщить о его настоящем возрасте, но Парфенов убедил ее этого не делать.

В октябре 1942 года Анатолий был определен в 69-ю гвардейскую стрелковую дивизию, а именно в 208-й полк. Благодаря своей недюжинной силе, он произвел впечатление на командование штаба. В результате Анатолий стал единственным рядовым, получившим в пользование тяжелый пулемет. В октябре 1943 года рота, в которой служил Анатолий Парфенов, была задействована в специальной операции по взятию под контроль ключевой территории, что потребовало форсирования реки Днепр. При пересечении реки группа попала под огонь немецких войск. В результате ожесточенного боя большая часть сослуживцев Парфенова погибла, а сам он, получив серьезные ранения, не прекратил продвижение. За проявленное мужество и героизм Анатолий был представлен к высокой государственной награде — ордену Ленина.

После выздоровления Парфенов продолжил службу в 108-й танковой бригаде, где освоил профессию механика-водителя танка Т-34. На своей боевой машине он дошел до Варшавы, где вновь был тяжело ранен. После восстановления он продолжил воевать и встретил победу в Берлине. После демобилизации Анатолий Парфенов вернулся к гражданской жизни и продолжил работать слесарем.

В 1951 году судьба Анатолия Парфенова круто изменилась, когда его заметил тренер из спортивного общества «Динамо». Атлетическое телосложение двухметрового гиганта привлекло внимание, и ему предложили заняться греко-римской борьбой. Уже через квартал Парфенов завоевал бронзу на чемпионате Москвы. Три года упорных тренировок принесли свои плоды: он стал чемпионом СССР, что открыло ему дорогу на Олимпийские игры 1956 года в Мельбурне. На олимпийском ковре Парфенов одержал верх над тремя борцами, включая знаменитого немецкого спортсмена Вильфрида Дитриха, чье имя вошло в историю мирового спорта. Анатолий Парфенов сумел завоевать золотую медаль и стать олимпийским чемпионом. Примечательно, что на протяжении всего турнира Парфенов боролся с серьезной травмой руки. Последствия ранения, полученного на войне, давали о себе знать: рука не полностью сгибалась в локте, что значительно усложняло задачу.

После завершения спортивной карьеры в 1964 году, Анатолий Парфенов посвятил себя тренерской работе. Наиболее выдающимся его учеником стал прославленный борец Николай Балбошин. В 1967 году, столкнувшись с повторным заболеванием желтухой, Балбошин был отвергнут другими тренерами, однако Парфенов лично занялся его подготовкой, сумев взрастить олимпийского чемпиона.

Анатолий Иванович Парфенов оставил след и в кинематографе, исполнив небольшую роль гестаповца в культовом сериале «Семнадцать мгновений весны».

28 января 1993 года жизнь Парфенова трагически оборвалась в результате инсульта.

В знак признания заслуг Парфенова, Международный астрономический союз присвоил его имя малой планете №7913 в Солнечной системе, увековечив таким образом его память.