Za początek Rytla uznaje się rok 1430. Jost von Hohenkircher, komtur tucholski, nadał wtedy karczmarzowi Marcinowi Retelowi (w opisie gminy Retilowi) i jego dziedzicom prawo do prowadzenia karczmy przy trakcie gdańskim, tam gdzie droga przekraczała Brdę. Od nazwiska karczmarza najpewniej wzięła się nazwa wsi. Lustracja dóbr królewskich z 1570 roku notuje tę karczmę jako własność starostwa tucholskiego, stojącą w puszczy przy gościńcu z Chojnic do Gdańska.
W 1891 roku N. Splet postawił w Rytlu drugi tartak oraz młyn parowy, które potem odsprzedał Kreńskiemu. Między wojnami pracowały tu dwa tartaki parowe; zakład M. Kreńskiego zatrudniał w 1933 roku około 200 robotników, przerabiał 3300 m³ drewna na miesiąc i 70% tarcicy wysyłał do Anglii. Ewangelicy zbudowali w 1891 roku drewnianą kaplicę, a w 1909 roku murowany kościół, rozebrany w latach 1968-1970. Katolicy postawili w latach 1897-1899 drewnianą kaplicę, a 15 września 1899 roku powstała parafia. Pierwszym jej proboszczem został ks. Antoni Kowalkowski, który napisał pieśń „Pan Jezus już się zbliża”. Neobarokowy kościół NMP Królowej Różańca Świętego z cebulastym hełmem na wieży wzniesiono w latach 1909-1911; w rejestrze zabytków figuruje razem z plebanią, ogrodem i cmentarzem przy kościele.
Wojska niemieckie weszły do wsi 3 września 1939 roku, a jedną z pierwszych ofiar okupacji był kierownik szkoły Władysław Reszka. Od 1941 roku działała tu gminna grupa Związku Walki Zbrojnej; gminną komendą „Gryfa Pomorskiego” kierował Konrad Nałęcz „Orlik”, a partyzanckie bunkry urządzono nad jeziorem Kociołek. Oddziały 49 Armii 2 Frontu Białoruskiego weszły do Rytla 22 lutego 1945 roku.
Nawałnica z 11 na 12 sierpnia 2017 roku zniszczyła w sołectwie Rytel około 100 domów i połamała okoliczne lasy.
