To nieistniejący już dzisiaj zamek, nie mniej jednak ważny z punktu widzenia ówczesnego Państwa Krzyżackiego i Prus. Po nadaniu praw miejskich Barczewu,  w 1364 roku, Henryk z Łajs, został mianowany przez  biskupa Jana II Styprocka zasadźcą. W 1380 roku biskup wzniósł w obrębie umocnień miejskich zamek, pełniący odtąd rolę siedziby biskupów warmińskich aż do czasów rozbiorów. Zamek, zniszczony w roku 1414, odbudowano, ale już pod koniec XVI w. został strawiony przez kolejny pożar, niedługo potem odremontowany i nadal pozostał we władaniu kapituły warmińskiej. Pod koniec XVIII w. obiekt po raz kolejny dosięgnął ogień, co rozpoczęło lawinę rozbiórek zamku. W 1826 roku częściowo na terenie zamku wzniesiono szkołę ewangelicką.

Resztki zamku znajdują się przy ulicy Nowowiejskiego 9. Ocalało jedno skrzydło mieszkalne z elementami architektury gotyckiej, a także  sklepienia piwnic i resztki ściany południowej.