Krzyżacy mieli w Brusach dwór, który powstał najpewniej przed 1324 rokiem. Kierowano z niego okręgiem zaborskim, wchodzącym w skład komturstwa tucholskiego. Mniej więcej w tym czasie siedzibę urzędu przeniesiono do Kosobud. W 1351 roku wieś otrzymała prawo chełmińskie. Gdy skończyła się wojna trzynastoletnia, Brusy przeszły na własność króla i weszły do klucza kosobudzkiego, będącego częścią starostwa tucholskiego. Prawa miejskie Brusy otrzymały 1 stycznia 1988 roku.
Projekt kościoła parafialnego Wszystkich Świętych przygotował Adolf Dankert z Brandenburga, a budowa trwała od 1876 do 1879 roku. Neoromańska, trzynawowa świątynia mierzy około 61 na 26 m, a jej dwie wieże są ze sobą zblokowane. Do nawy południowej trafił siedemnastowieczny barokowy ołtarz ze starego, drewnianego kościoła. Organy pochodzą z 1880 roku. Od 2001 roku kościół wraz z cmentarzem przykościelnym figuruje w rejestrze zabytków.
Od 16 listopada 1906 roku co najmniej do 26 lutego 1907 roku dzieci z brusowskiej szkoły elementarnej strajkowały, sprzeciwiając się lekcjom religii po niemiecku. Podobne protesty odbyły się wtedy w ponad 460 szkołach Prus Zachodnich.
Podczas okupacji w okolicy prowadziła działalność Tajna Organizacja Wojskowa „Gryf Pomorski”, dlatego w pobliskich Małych i Wielkich Chełmach stacjonowały oddziały SS i Wehrmachtu wyznaczone do zwalczania partyzantów. 24 sierpnia 1944 roku na terenie Brus i Dziemian zaczęła działać filia obozu koncentracyjnego Stutthof, Aussenarbeitslager Bruss. Więziono w niej kobiety żydowskie, które do Stutthofu trafiły z obozu Kaiserwald koło Rygi, a po upadku powstania warszawskiego przywieziono przez Stutthof do pracy przy budowie poligonu także grupę mężczyzn z Warszawy. Baraki więzienne stały w Brusach na części terenu, który później zajęły Zakłady Spożywcze „Las”.
