Первое упоминание о слободе Россошь встречается в ведомости церквей за 1721 год. До 17 века эти земли находились за чертой Русского государства. В 1672 году казаки Острогожского полка получили от царя Алексея Михайловича грамоту на владение землями по Черной Калитве. Но заселять их казаки начали примерно в 1710 году после подавления восстания Кондратия Булавина. Полковник И.И.Тевяшов получил за подавление восстания огромное поместье лично от царя. После его смерти его разделили между сыновьями. В 1767 году в Россоши уже насчитывалось 419 дворов.
В конце XVIII столетия новым хозяином Россоши стал коллежский советник Д. В. Чертков. В дальнейшем слободой владели его потомки. До отмены крепостного права большинство жителей были крепостными крестьянами Чертковых. Промышленность появилась лишь в конце 19 века. Железная дорога проложена в 1871 году в пяти километрах от слободы. Советская власть установлена в январе 1918 года. Гражданская война не обошла Россошь стороной — её захватывали армии Краснова и Деникина, затем красные снова её занимали. В 1923 году слобода Россошь была преобразована в город и уездный центр.
7 июля 1942 года город был оккупирован немецко-фашистскими войсками. Оккупация продолжалась шесть месяцев. Освобождение города произошло во время Острогожско-Россошанской операции под командованием маршала Рыбалко, памятник которому стоит рядом с монументом танкистам-освободителям. Первыми в город ворвались танки 106–й танковой бригады под командованием И. Е. Алексеева. Они обратили в паническое бегство итальянский гарнизон. Многие герои-танкисты погибли, полковнику Алексееву было присвоено звание Героя Советского Союза посмертно. Город был в значительной степени разрушен.
К середине 50-х годов Россошь была восстановлена. В городе проживало около 30000 человек. В 70-х годах было создано много новых промышленных предприятий, построено много новых жилых домов и объектов инфраструктуры.
Прекрасный храмовый комплекс расположен в центре города. Современный Свято-Ильинский кафедральный собор и Александро-Невский храм 19 века смотрятся очень величественно. Город очень ухоженный и оставляет хорошее впечатление.
