Zamek wznosić rozpoczęto w 1306 roku, kiedy to biskup chełmiński odstąpił te tereny.  Dogodna lokalizacja, czyli wszechobecne mokradła, a także sama rzeka Działdówka, sprawiła, że zamek zyskał na walorach obronnych. Stał się on siedzibą prokuratora zakonnego, a następnie wójta. Budowla powstała wokół dziedzińca na planie kwadratu o boku 46 m.  Zamek otoczono wysokim murem oraz fosą. Dwie wieże – masywna obok bramy i smuklejsza od strony podjazdu również pełniły funkcje obronne.  Do dzisiaj zachowało się południowo-zachodnie skrzydło zamku, nazywane Domem Dużym, a także obszerna sala pełniąca niegdyś rolę refektarza i kaplicy. W kompleksie znajdowały się też browar, młyn i folusz. W skład zespołu wchodził zamek główny i przedzamcze, które niejako łączyło zamek z miastem.

Zamek był wielokrotnie przedmiotem walk między wojskami krzyżackimi czy pruskimi a polskimi, litewskimi i szwedzkimi. W XVII wieku przebudowano go w stylu renesansowy, Później był stopniowo rozbierany, ale pod koniec XIX postanowiono go odnowić.  Po uszkodzeniach spowodowanych walkami na frontach drugiej wojny światowej, odbudowano zachodnie skrzydło zamku z refektarzem z gotyckimi sklepieniami oraz dziedziniec. W tej części budowli swoją siedzibę ma Urząd Miasta.