Юхнов известен с XV века, когда был основан монастырь Юхновская пустынь ( в дальнейшем Юхновский Казанский монастырь). В Смутное время он был разорен и восстановился лишь к середине XVII века. Около монастыря образовалась слобода, давшая начало будущему городу. В 1777 году указом Екатерины II и был получен статус города. С 1796 года — уездный город Юхновского уезда Смоленской губернии. В 19 веке через город проведено Варшавское шоссе, что дало большое развитие торговле. В 1921 году город сгорел при сильнейшем пожаре, но был отстроен заново. С 1929 года — центр Юхновского района Сухиничского округа Западной области, с 1944-ого Калужской области.
В годы Великой Отечественной войны Юхнов пережил тяжелейшие бои. В октябре 1941 года небольшой отряд десантников под командованием майора И. Г. Старчака держал героически оборону у моста через реку Угру, затем на помощь пришли подольские курсанты и батарея 76-мм пушек. Большинство героев погибло. В марте 1942 года город был освобожден в ходе Ржевско-Вяземской наступательной операции. Тоже с большим потерями, при отчаянном сопротивлении врага.
В память о павших в боях за Юхнов в центре города создан мемориальный комплекс с монументом советскому воину, Вечным огнем, аллей Героев Советского Союза. Рядом находится военно-исторический музей. Действует Казанский собор, построенный в начале XIX века.