W X w., w miejscu, gdzie obecnie znajduje się zamek, znajdował się już dobrze ufortyfikowany pruski gród Pasłęka. Krzyżakom nie od razu udało się zdobyć to miejsce, jednakże w 1297 roku wielki mistrz Meinhardt założył tu na prawie chełmińskim miasto. W początkach XIV w. stanął w tym miejscu zamek, ulokowany na cyplu otoczonym przez rzeką Wąską. Obiekt zbudowany został na planie prostkąta, w murze, od południowej strony znajdował się wjazd, natomiast mur północny sąsiadował z mieszkalnym, dwukondygnacyjnym budynkiem wykonanym z cegły o wymiarach 12 x 51m. Z zamku prowadziło podziemne przejście do wsi Robity, oddalonej o trzy kilometry.

Po bitwie pod Grunwaldem zamek był w rękach Polaków, pokój toruński przywrócił go jednak Krzyżakom. W czasie wojny trzynastoletniej wojska Korony i Litwy ponownie zdobyły budowlę, ale drugi pokój toruński, ustalając nowe granice państwa zakonnego, spowodował, iż obiekt znów znajdował się w rękach zakonników. Wkrótce potem przeniósł się tutaj elbląski komtur, wtedy też dobudowano zachodnie skrzydło zamku. W 1521 roku mieszczanie elbląscy zdobyli zamek i w rok później wysadzili w powietrze. Odbudowa została zainicjowana przez książąt Pruskich Albrechta i Jerzego, wzniesiono wschodnie skrzydło, dobudowano również od północy dwie cylindryczne wierze.

Na początku XIX wieku w zamku znajdował się szpital wojskowy, szkoły, kaplica ewangelicka oraz składy. Podczas drugiej wojny światowej został spalony, obecnie jednak jest całkowicie odbudowany, mieści siedzibę Rady Miejskiej, Izbę Pamięci, bibliotekę, kino oraz świetlicę dla dzieci.