Острогожск основан в 1652 году как острог в системе Белгородской засечной черты на южной окраине Российского государства. Тогда шло заселение степных просторов и указом царя Алексея Михайловича создавались укрепления для защиты новых поселений. В 1664 году был создан Острожский казачий полк. В 1670-м острогожцы активно участвовали в восстании Степана Разина. В 1696 году Петр I встречался здесь с гетманом Мазепой.
К середине 18 века рубежи государства ушли далеко на юг. В 1765 году Екатерина II ликвидировала казачий полк, в 1779-м утвердила Острогожск как уездный город. Он стал торговым и ремесленным центром. В год проходили три крупные ярмарки. Были основаны чугунолитейный завод, кожевенные, салотопенные, маслобойные, кирпичные, винокуренные и другие производства. Они были небольшие и количество их доходило до ста двадцати. В течении 19 века в городе появились мужская и женская гимназии, уездное училище, библиотека, народный дом. В 1895 году около города прошла железная дорога. В 1914 году заработала первая городская электростанция.
Советская власть установилась в городе сразу после революции. Лишь на короткое время Острогожск заняли белоказачьи войска и войска Германии. Пятого июля 1942 года немецкие войска (вместе с венграми и итальянцами) снова оккупировали город и двести дней удерживали его. В результате Острогожско-Россошанской наступательной операции Советской Армии острогожская земля была полностью освобождена. Мемориал Вечный огонь всегда напоминает об этом. После войны город был восстановлен и обрёл современный облик.
Город представляет большой интерес для туристов. В его окрестностях можно посетить уникальные пещерные комплексы Успенского Дивногорского монастыря и Костомаровского Спасского монастыря. Историко-краеведческий музей имеет очень хорошую экспозицию, а дом-музей Крамского является редким памятником 19 века. Преображенский храм — памятник архитектуры 18 века. Весьма интересна и архитектура Острогожска.