W niewielkim przesmyku pomiędzy jeziorami Wielkim i Małym Dąbrowskim, znajdują się ruiny zamku krzyżackiego z początków XIV w. Wzniesiono go najprawdopodobniej w 1319 roku na polecenie komtura Lutera Braunschweiga. Zamek początkowo pełnił funkcję siedziby wójta krzyżackiego. Kiedy okoliczna osada uzyskała prawa miejskie, zaczęto budować mury kamienno-ceglane, a w ich obręb włączono zamek – bez przedzamcza, oddzielony od miasta jedynie parkanowym murem.  W 1410 roku polskie wojska, które podążały na Grunwald, doszczętnie zrujnowały zamek, jednak na jego miejscu wybudowano kolejny obiekt, ukończony w 1516 roku. W późniejszych latach zamek należał do Hansa von Gablentza, następnie do rodziny Olesnitzów i  wreszcie do Finck con Finckensteinów, którzy to zamek powiększyli, przebudowali i nadali mu charakter barokowy. Po przejściu w posiadanie rodziny von Megenborn i Straussów, dokonano przebudowy wnętrza. Ostatnie zmiany architekturze zamku miały miejsce na początku XX w.  W czasie drugiej wojny światowej budynek zniszczono i już go nie odbudowano. Do lat 70. Ubiegłego wieku zachowało się południowe skrzydło. Teraz możemy podziwiać jedynie resztki murów zewnętrznych.