Pod zaborem Pamiętowo graniczyło z powiatem złotowskim. Pierwsza wzmianka pochodzi z 1335 roku, kiedy przy wyznaczaniu obszaru Adamkowa wymieniono je jako dobra rycerskie. W 1352 roku Pamiętowo otrzymało prawo chełmińskie. Nadanie 25 włók tutejszej ziemi wystawił w Tucholi wielki mistrz Zakonu Winrich von Kniprode.
W czasach Rzeczypospolitej dobra należały do szlachty. Po potopie szwedzkim trzecia część pól leżała odłogiem, a w 1682 roku szlachcic Konarski miał w swoich dobrach 3 zagrodników. We wsi była wtedy karczma, a młyn miał jedno koło.
W 1865 roku majątek Hermanna Willberga liczył 682 morgi. Szkołę założono w 1874 roku i chodziło do niej 37 dzieci z Pamiętowa i Adamkowa. Gospodarstwa miały duży areał, największe liczyło 296 mórg. Na rzece stał młyn wodny, była też mleczarnia. Komisja Kolonizacyjna osadziła w Pamiętowie 19 osadników.
Między wojnami we wsi pracowało 5 rzemieślników, most na Kamionce został przebudowany, działały kółko rolnicze i polskie organizacje paramilitarne. Po wojnie Pamiętowo zelektryfikowano, a Ośrodek Rolny prowadził tu hodowlę trzody chlewnej.