Początki wsi wiążą się z pustelnią augustianów pod wezwaniem św. Jana Chrzciciela, którą prawdopodobnie około 1255 roku osadzili tu książę pomorski Mściwoj II i jego żona Judyta. Pierwsza pisemna wzmianka o miejscowości pochodzi z dokumentu papieża Grzegorza X, wydanego 5 kwietnia 1272 roku w sprawie obrony klasztoru przed napadami. W 1275 roku Mściwoj II nadał zakonnikom okoliczne osady, a w 1291 roku bór, pastwiska i cztery jeziora z prawem połowu ryb. W 1303 roku, za zgodą króla Wacława II, augustianie razem z całym majątkiem zostali połączeni z oliwskimi cystersami.
W 1308 roku Swornegacie znalazły się w granicach państwa krzyżackiego. W 1330 roku Krzyżacy utworzyli tu wójtostwo podporządkowane komturowi w Tucholi, a w 1332 roku osadę urządzono według prawa chełmińskiego. W 1333 roku cystersi oddali Swornegacie Krzyżakom w zamian za Domatowo i Darżlubie. Po II pokoju toruńskim z 1466 roku wieś włączono do kosobudzkiego klucza dóbr starostwa tucholskiego. Między 1583 a 1652 rokiem tutejszy kościół stał się filią parafii w Konarzynach. Drewniana świątynia z 1742 roku trafiła później do skansenu we Wdzydzach Kiszewskich, gdzie w 1987 roku ją konsekrowano. Parafię przywrócono w 1909 roku, a w 1916 roku ukończono murowany kościół św. Barbary.
1 września 1939 roku żołnierze batalionu ON „Czersk” i strażnicy graniczni z komisariatu w Konarzynach bronili okopów nad Brdą; około 6 rano wysadzili betonowy most we wsi, a gdy skończyła się amunicja, wycofali się w stronę Brus i Czerska. W 1939 roku w Dolinie Śmierci pod Chojnicami rozstrzelano 7 osób, wśród nich proboszcza Władysława Brzóskowskiego, wójta Brunona Gliszczyńskiego i komendanta straży pożarnej Piotra Kontka.
W sierpniu 1943 roku Swornegacie znalazły się na terenie budowanego poligonu SS Prusy Zachodnie. Wysiedlono wtedy 14 rodzin rolników (204 osoby) do obozu w Potulicach, skąd trafiły na roboty do Rzeszy. Wojska radzieckie zajęły wieś około 27 lutego 1945 roku. W czerwcu 1962 roku pożar zniszczył we wsi 22 domy mieszkalne.
