Pierwsze zapiski o wsi, nazwanej wtedy Bladdschim, pochodzą z 1400 roku. Nazwę wywodzi się od imienia Błądzym; miejscowa legenda łączy ją z wysłannikiem królewskim, który miał zabłądzić w tych stronach w drodze z Krakowa do Gdańska. W 1437 roku wieś należała do zakonu, obowiązywało w niej prawo sołeckie, a jej obszar wynosił 30 łanów. Po pokoju toruńskim z 1466 roku Błądzim przeszedł do starostwa świeckiego. Po niemiecku nazywał się Blondzmin, w latach 1942-1945 Blondmin.
Na początku XX wieku Paweł Gackowski, podobnie jak Drzymała w Wielkopolsce, postawił na kołach dom podobny do cygańskiego wozu mieszkalnego i przez kilka lat toczył z pruskimi władzami proces o zgodę na budowę domu na ziemi, którą kupił. W 1966 roku, podczas święta ludowego, ludowcy odsłonili obelisk ku jego pamięci.
Konstanty Januszewski, urodzony 10 grudnia 1886 roku, gospodarował na około 50 ha, stanął na czele miejscowej straży pożarnej jako jej pierwszy prezes, od 1924 do 1935 roku był sołtysem, a w 1930 roku zdobył mandat poselski z listy PSL „Piast”. Selbstschutz aresztował go w Błądzimiu 20 października 1939 roku i osadził w zakładzie psychiatrycznym w Świeciu; 24 października 1939 roku rozstrzelano go w Mniszku. W 2000 roku mieszkańcy ufundowali pomnik ku jego czci.
W 1923 roku w budynku pobliskiego zajazdu urządzono kościółek św. Rocha. Stoi w nim barokowy ołtarz z XVIII wieku z obrazem Koronacji Najświętszej Maryi Panny, który w 1640 roku namalował pomorski malarz Bartłomiej Strobel. W 1970 roku na prywatnej działce odkryto urnę z prochami; trafiła ona do muzeum w Bydgoszczy.
