Małe Gacno powstało w XVIII wieku jako osada na pustkowiu. W latach sześćdziesiątych XIX wieku przeważali tu Polacy, którzy sympatyzowali z powstaniem styczniowym. Szkołę zorganizowały w 1893 roku władze pruskie, a polską otwarto w 1920 roku.
Z powodu rosnącego bezrobocia mieszkańcy wyjeżdżali do prac sezonowych, najczęściej do Niemiec. Nieliczni znaleźli zatrudnienie przy budowie linii kolejowej z Bydgoszczy przez Kościerzynę do Gdyni, inni najmowali się sezonowo w okolicznych majątkach i na Żuławach. W dwudziestoleciu międzywojennym działało tu kilka warsztatów rzemieślniczych i stowarzyszeń kulturalnych.
Już 2 września 1939 roku pojawiły się tu wojska niemieckie, a wobec Polaków zaczął się terror. W okolicy działały oddziały partyzanckie. Wojska radzieckie weszły 15 lutego 1945 roku i zaczął się trudny dla mieszkańców okres umacniania tak zwanej władzy ludowej. Ponownie uruchomiono polską szkołę.
W latach 1990-1994 powstał tu kościół pw. Matki Boskiej Fatimskiej. Zachowało się 8 drewnianych domów z końca XIX i początku XX wieku, zabytków dawnego budownictwa regionalnego.
