W miejsce pruskiego grodu na niewielkim rzecznym cyplu odciętym od zachodu głębokim przekopem w roku 1241 Krzyżacy wznieśli drewniano-ziemny gród. Strażnica ta była wielokrotnie niszczona i odbudowywana. W drugiej połowie XIII wieku Zakon przekazał Reszel biskupom warmińskim rezydującym w Lidzbarku Warmińskim. Obok strażnicy zaczęła rozwijać się osada która w roku 1337 otrzymała prawa miejskie.

Około roku 1350 biskup Jan I z Miśni rozpoczął budowę murowanego zamku. Jego prace kontynuował biskup Henryk II Sorbon. W wyniku trwających do roku 1400 prac powstała gotycka warownia na planie czworokąta o wymiarach 43×45 m. Jako pierwszy został wzniesiony trzykondygnacyjny budynek wschodni. Następnie całość otoczono murem obwodowym. W narożniku płn-zach stanęła potężna wieża główna. Założona na planie kwadratu w górnej części była cylindryczna. Wysunięta przed lico muru była miejscem ostatecznej obrony jednocześnie wzmacniała obronę bramy wjazdowej usytuowanej w zachodniej kurtynie. W następnej kolejności powstał budynek mieszkalny wzdłuż kurtyny południowej. Nadbudowano o jedno piętro skrzydło wschodnie. Podwyższono o trzy kondygnacje wieżę główną a mury wyposażono w ganki obronne i machikuły. Wzmocniono obronę wjazdu przez budowę wielokondygnacyjnej wieży bramnej.

Skrzydło wschodnie mieściło na pierwszym piętrze pokoje gościnne oraz mieszkanie burgrabiego. Reprezentacyjne komnaty posiadały sklepienia gwieździste i krzyżowo-żebrowe. W narożniku budynku znajdowała się zamkowa kaplica. Na parterze ulokowano kuchnię spiżarnię oraz zbrojownię. Piwnice i ostatnią kondygnację wykorzystywano jako miejsce przechowywania żywności i zboża. W skrzydle południowym znajdowały się komnaty biskupów warmińskich oraz refektarz. W przyziemiu urządzono browar spiżarnię łaźnię oraz inne pomieszczenia gospodarcze. Oba skrzydła mieszkalne posiadały murowane piętrowe krużganki. Oprócz tych dwóch skrzydeł dziedziniec otaczały dwukondygnacyjne wąskie budynki gospodarcze.

Na początku XV wieku zamek w Reszlu otoczono zewnętrznym murem z trzema cylindrycznymi basztami. Środkowa baszta północna pełniła jednocześnie funkcję danskeru i była połączona z zamkiem arkadowym gankiem. Kolejna przebudowa nastąpiła w latach 1505-33 i miała na celu dostosowanie umocnień zamku do użycia broni palnej. Od północy i zachodu wzniesiono dodatkowy mur z półcylindrycznymi bastejami. Umocnienia zamku połączono z otaczającymi miasto murami.

W średniowieczu zamek był silną twierdzą. Świadczy o tym bezskuteczne obleganie go przez wojska krzyżackie w roku 1462 podczas wojny trzynastoletniej. Po jej zakończeniu na mocy postanowień zawartego w roku 1466 II pokoju toruńskiego Reszel wraz z całą Warmia znalazł się w granicach Polski jako tzw. Prusy  Królewskie. Zamek nadal pozostał w rękach biskupów warmińskich. Dokonywane w późniejszych czasach przebudowy uczyniły z warowni wygodną rezydencję. Mieszkańcami zamku byli miedzy innymi biskup Łukasz Watzenrode wuj Mikołaja Kopernika biskup Andrzej Batory bratanek króla Stefana Batorego biskup Teodor Potocki  czy też biskup i znany poeta Ignacy Krasicki.

Niestety nie ominęły zamku tragiczne wydarzenia. Dwukrotnie w latach 1658 i 1704 został zajęty przez Szwedów. Dokonane przez nich zniszczenia spowodowały że obiekt podupadł. Rozebrano wtedy część murów od strony południowej. Po pierwszym rozbiorze Polski Reszel znalazł się w królestwie Prus. Zaborcy zaadaptowali zamek na więzienie. Spowodowało to konieczność przebudowy części wnętrz. W roku 1806 pożar zniszczył wieżę główną. Kolejny pożar miał miejsce rok później. Wywołać go podobno mieli więzieni na zamku Polacy na wieść o zbliżających się wojskach napoleońskich. Spowodowane pożarem zniszczenia były tak poważne że obiekt został opuszczony. Zdewastowany zamek w roku 1822 przekazano gminie luterańskiej. W skrzydle południowym usunięto sklepienia i stropy oraz ściany wewnętrzne tworząc dużą salę zaadaptowaną na zbór. Zmiany objęły także elewacje zamurowano wiele okien i otworów drzwiowych wykonano nowy szczyt zachodni z niewielką sygnaturką. W skrzydle wschodnim natomiast umieszczono szkołę i mieszkanie proboszcza niszcząc przy okazji wiele gotyckich wnętrz. Rozebrane zostały także otaczające dziedziniec krużganki.

W okresie międzywojennym przeprowadzono na zamku pierwsze prace konserwacyjne i utworzono muzeum. Po II wojnie światowej umieszczono w zamkowych murach Galerię „Zamek” Oddział Muzeum Warmii i Mazur w Olsztynie. Do naszych czasów pierwotny gotycki wygląd zamku nie uległ poważnym zmianom pomimo przeróbek i częściowych rozbiórek. Najlepiej zachowała się zachodnia część zamku. Obecnie tak jak w czasach średniowiecza zobaczyć możemy potężną wieżę główną z otworami strzelniczymi mur z gankiem straży i wspartymi na kamiennych kroksztynach machikułami oraz bramę z ostrołukową wnęką w której widać prowadnice dawnej brony.