Возникла как обособившаяся часть села Радубеж, известного с XVII века. Население деревни было приписано к радубежскому храму Николая Чудотворца. В Писцовой книге Усожского стана Курского уезда за 1710 год среди владельцев имений Радубежа упоминаются Потап Фёдорович и Никифор Остапович Толстые. По данным 2-й ревизии 1745 года в Радубеже было 5 дворов Толстых. Главами семей были: Потап Фёдорович, Фома Фёдорович, Осип Никифорович, Иван Михеевич и Иван Иванович Толстые. По данным 3-й ревизии 1762 года в Радубеже было 6 дворов Толстых. Домовладельцами были: Яков Фёдорович, Иван Васильевич, Антон Никифорович, Фандей Иванович, Иван Михеевич и Ефромей Иванович Толстые.
В XIX веке называлась Толста́я и была населена исключительно однодворцами (затем переведёнными в разряд государственных крестьян) с фамилией Толстой (Толстых). В то же время некоторые из местных Толстых переселились в соседнюю деревню Журавинку. В 1862 году здесь было 5 дворов, проживало 69 человек (34 мужского пола и 35 женского). По данным земской переписи 1883 года в деревне было 11 дворов, которые по-прежнему населяли исключительно бывшие однодворцы Толсты́е[8]. В начале 1930-х годов, в ходе коллективизации, крестьяне Толстовки начали вступать в колхоз «Красный Путиловец». В 1934 году произошло его разукрупнение и хозяйства деревни были отнесены к колхозу имени Кагановича.
На протяжении своего существования Толстовка числилась то в составе села Радубеж, то выделялась в отдельную деревню. В 1954 году в результате раздела Радубежа на несколько деревень и хуторов окончательно приобрела статус самостоятельно населённого пункта. В 1954—1959 годах находилась в составе Нижнехалчанского сельсовета Фатежского района, затем — в составе Линецкого сельсовета Фатежского района. До начала 1960-х годов крестьянские хозяйства Толстовки числились в колхозе «Путь Ильича» (центр в д. Журавинка), затем были отнесены к колхозу «Россия» (центр в с. Линец). В декабре 1991 года вместе с Линецким сельсоветом передана в состав Железногорского района. По данным 2014 года постоянное население в Толстовке отсутствует, однако летом здесь проживает несколько семей. В деревню проведён газ.
