Nazwę wywodzi się od prasłowiańskiego słowa oznaczającego bagno albo moczary. Na Wyspie Bachorskiej, na zachód od osady, jest stanowisko archeologiczne z obozowiskiem z X-XIII wieku, a w czasie II wojny światowej ukrywali się na wyspie partyzanci. W dokumentach Bachorze występuje pierwszy raz w 1772 roku jako „Bachors”; było wtedy szlachecką osadą należącą do Jarcewa. W 1880 roku założono tu leśnictwo.
W 1812 roku tędy szły wojska napoleońskie, wśród nich polscy legioniści. Maszerowały ze Szczecinka w stronę Bytowa, przechodząc przez Chojnice, a potem przez Bachorze i Swornegacie. Według przekazów podczas postoju w Bachorzu żołnierze razem z miejscowymi chłopami ustawili sosnowy krzyż wysokości 5,60 m z krucyfiksem wyciętym z blachy. W 1979 roku krzyż przeniesiono w okolice wydmy na wschód od osady, a w 2008 roku zdjęto go do renowacji. W 1982 roku Stefan Jażdżewski wykonał na zlecenie Egona Raszke, leśniczego z Bachorza, dębową kopię. Stała najpierw na uboczu przy drodze w stronę Swornegaci, a po odnowieniu ustawiono ją przy dawnym trakcie furmańskim, zwanym Drogą Pilską.
W lasach przy Bachorzu od 1991 roku chronione są jako pomniki przyrody dwa stanowiska zimoziołu północnego, który w Polsce jest reliktem epoki lodowcowej. Pomnikiem przyrody jest też rosnący w osadzie dąb szypułkowy. Do gminnej ewidencji zabytków wpisano tu dwa parterowe domy mieszkalne, ceglano-drewniany budynek gospodarczy, w drewnianej części o konstrukcji słupowo-ramowej, i murowany dom typu dwojak.
