Рыльск впервые упомянут в летописных источниках в 1152 году, что делает его одним из древнейших городов не только Курской области. Тогда он входил в состав Новгород-Северского княжества. А уже на рубеже 12-13 веков был центром удельного Рыльского княжества. Затем длительное время был в составе Литовского княжества. В 1522 году вошёл в состав России.
Рыльск стал уездным городам при императрице Екатерине II. В 1784 году был утвержден генеральный план застройки города. Он представляет собой образец градостроительства с совершенной планировкой улиц и кварталов. С горы Иоанна Рыльского и сегодня можно наблюдать, как этот план был реализован. Чёткая планировка улиц и площадей, хорошо сохранившаяся архитектура Рыльска — один из интересных аспектов для туриста. В 19 веке город стал важным торговым центром. Известные купцы Филимоновы и Шелеховы оставили большой след в его истории. Величественные соборы Рыльска — Успенский и Покровский тоже были созданы в 19 веке.
Советская власть установлена в городе в ноябре 1917 года. Самые тяжелые страницы истории города связаны с оккупацией района фашистскими войсками в 1941-43 годах. Было сожжено много окрестных деревень, множество жителей города и окрестностей были угнаны в Германию или погибли. После войны многое пришлось восстанавливать.
Сегодня город на окраине Курской области представляет большой интерес для туристов, особенно для любителей русской старины и истории. Уже упомянутая архитектура, храмы, отличный краеведческий музей, живописная природа, окружающая город — чем не повод посетить не такой уж и далёкий Рыльск.