Kamieniec to niewielka wioska, wzmiankowana w 1321 roku, leżąca nieopodal małego jez. Gaudy.
W tutejszym pałacu od 01.04.1807 od 06.06.1807 przebywał Napoleon, skąd rządził cesarstwem przeniesiony z zamku w Ostródzie.

Cesarz spotkał się tutaj ze swoją ukochaną Marią Walewską. Jeszcze przed II wojną światową właściciele pokazywali gościom pokój i wielkie łoże z baldachimem w którym sypiał Bonaparte.

W latach swojej świetności pałac należał kolejno do rodziny Finckensteinów oraz Dohnów. Zaprojektowany został w I poł. XVIII wieku przez J. von Collas.

Obecnie pałac pozostaje jedynie malowniczą ruiną spalony w 1945 roku.