Osada istniała już przed przybyciem Krzyżaków. Pierwsza wzmianka, z 1313 roku, wiąże się z przejściem wsi pod władzę Zakonu. Po wojnie trzynastoletniej Mały Mędromierz wszedł do dóbr starostwa tucholskiego. W 1664 roku działały tu karczma i kuźnia, a z miejscowych barci odstawiano do starostwa miód w beczkach. Za Rzeczypospolitej szlacheckiej wieś uzyskała liczne przywileje.
W 1865 roku we wsi była szkoła. Po odzyskaniu niepodległości w 1920 roku ożyły tu polskie organizacje społeczne. Wojna przyniosła zniszczenia, przede wszystkim w gospodarstwach. W 1983 roku zbudowano kościół filialny pw. Najświętszej Maryi Panny Częstochowskiej.
