Борисоглебск основан в 1698 году как русская военная крепость. Она была построена для защиты рубежей государства от набегов крымских, ногайских людей. До 1704 года назывался Павловском. Активно использовался для лесозаготовок, необходимых для строительства флота. В 1708 году захвачен повстанцами Кондратия Булавина, в 1713-м захвачен и уничтожен крымскими татарами. В 1708 году приписан к Азовской губернии. Затем входил в состав Воронежской и Тамбовской губерний. В 1779 года стал уездным городом.
Город выгодно расположен вблизи рек Хопёр, Ворона, Дон, что сделало его развитым торговым центром. Особенно развита была хлебная торговля. Также развивались и ремёсла. В 1869 году была проведена железная дорога, которая связала Борисоглебск со многими промышленными центрами. С 1870 года действует знаменитый пивоваренный завод. К концу века появились и другие промышленные предприятия. В Борисоглебске существовала оживлённая пристань, принимавшая грузы со всей России.
В годы Гражданской войны город несколько раз переходил от красных к белым и обратно. Затем находился в зоне крупнейшего Тамбовского восстания крестьян. В 1942-43 годах в городе находились воронежские областные организации. Он был прифронтовым, из него осуществлялось руководство районами, не оккупированными врагом.
Архитектура Борисоглебска весьма интересна своими старинными домами и особняками исторического центра. Также сохранились церкви, Знаменский собор не закрывался и при Советской власти. Борисоглебский историко-художественный музей является одним из старейших в области. Очень трогательный памятник ушедшим поколениям стоит на месте старого городского кладбища.