Na prawym brzegu Wisły w północnej części obecnego miasta znajduje się dobrze zachowany gotycki zamek kapituły pomezańskiej. Przez kilka wieków nie była to jedyna w Kwidzyniu warownia. Drugim obiektem była wzniesiona przez Krzyżaków strażnica. Na początku XIII w wyniku zwycięskiej ekspansji Zakonu Krzyżackiego na zamieszkałe przez plemiona pruskie tereny zostaje zajęta Pomezania. Na zdobytych ziemiach rycerze zakonni wznoszą niewielkie drewniano-ziemne obiekty obronne. Jednym z nich była strażnica wzniesiona na wzgórzu w obrębie dzisiejszego miasta w rejonie ulicy Starozamkowej. Została ona jednak zniszczona podczas powstania pruskiego w roku 1242. Podczas jej odbudowy umocnienia ziemne zastąpiono murami z kamienia i cegły. Powstał niewielki zamek o nieregularnym założeniu. Posiadał dwa skrzydła południowe wzmocnione dwoma wieżami oraz zachodnie z jedną wieżą. Jego całkowite zniszczenie nie pozwala na odtworzenie układu wnętrz. Po utworzeniu na zdobytych przez Krzyżaków ziemiach diecezji właścicielem zamku w roku 1250 zostaje biskup pomezański.
Kolejne powstania pruskie i zniszczenie powstałego obok zamku miasta powodują wyjazd biskupa z Kwidzynia. W roku 1284 powołuje on pierwszych członków kapituły i powierza im opiekę nad kwidzyńska katedrą. Około roku 1300 rozpoczynają się przygotowania do budowy siedziby dla kanoników kapituły pomezańskiej. W wyniku trwających kilkadziesiąt lat prac zostaje wzniesiony ceglany gotycki klasztor-zamek w którym wyraźnie widać wpływy krzyżackiej architektury obronnej. Założony na planie kwadratu składał się z czterech skrzydeł otaczających wewnętrzny dziedziniec z dwupoziomowym krużgankiem. W narożach posiadał trzy kwadratowe wieżyczki nieznacznie wysunięte przed lico muru oraz jedna potężną 56 metrową wieżę w narożniku płd-wsch. Najbardziej reprezentacyjne było skrzydło południowe mieszczące na pierwszym piętrze kapitularz i refektarz letni. W skrzydle północnym znajdowały się kaplica i refektarz zimowy. Sale pierwszego piętra skrzydła wschodniego zajmowała infirmeria oraz mieszkanie prepozyta do którego przylegało niewielkie pomieszczenie w narożnej płn-wsch wieżyczce przeznaczone na archiwum i skarbiec kapituły. W skrzydle zachodnim natomiast znajdowało się dormitorium kanoników a w jego przyziemiu kuchnia piekarnia i spiżarnia. Wjazd do zamku znajdował się na osi budynku północnego. Poprzedzony był przdbramiem i mostem zwodzonym nad fosą oddzielającą go od podzamcza.
Leżące po północnej stronie zamku podzamcze miało kształt wydłużonego prostokąta otoczonego z trzech stron murem obronnym. Na jego terenie znajdowały się zabudowania gospodarcze oraz mieszkania dla służby.
W połowie XIV wieku od wschodu do zamku dobudowano potężny kościół który na początku następnego stulecia został podniesiony do godności katedry. Wymusiło to w pewnym stopniu zmianę pierwotnych założeń. Podwyższeniu uległy zamkowe skrzydła zmienił się również układ oraz wystrój wnętrz. W tym okresie wzniesiono także wieżę obronno-sanitarną tzw. dansker połączony ze skrzydłem zachodnim 54 metrowym gankiem wspartym na pięciu arkadach. Druga podobna wieża powstała od strony północnej. Również ona była połączona z zamkiem gankiem o długości 18m. Jej zadaniem była ochrona znajdującej się w jej wnętrzu studni.
Zamek w Kwidzyniu był świadkiem wielu działań wojennych podczas których był wielokrotnie szturmowany i niszczony. Podczas Wojny Trzynastoletniej w roku 1460 wojska polskie pod dowództwem Andrzeja Puszkarza zajmują miasto a obydwa kwidzyńskie zamki zostają mocno uszkodzone. Na mocy zawartego w roku 1466 II pokoju toruńskiego Kwidzyń pozostaje w granicach państwa zakonnego ale biskupem pomezańskim zostaje polski duchowny Wincenty Kiełbasa. Po jego śmierci wybucha tzw. księża wojna podczas której wojska polskie po kilkumiesięcznym oblężeniu zajmują zamek kapituły. Zniszczony podczas wojny zostaje odbudowany w roku 1487 z inicjatywy biskupa Jana IV. Jednak już w 1520 roku wojska polskie ponownie przystępują do oblężenia Kwidzynia podczas kolejnej wojny Polski z Zakonem Krzyżackim. Ciężki ostrzał artyleryjski powoduje uszkodzenie zamku kapituły natomiast zniszczenia starego zamku biskupiego są tak poważne że już nie podnosi się z ruin.
W związku z sekularyzacją Zakonu Krzyżackiego w roku 1525 biskupi pomezańscy przeszli na protestantyzm i z powodu zniszczenia swej dotychczasowej siedziby przejęli zamek kapituły. W latach 1530-39 biskup Paweł Speratus przeprowadził remont zamkowych murów wykorzystując do tego cegły pozyskane z rozbiórki starego zamku. Po śmierci biskupa w 1551zamek przeszedł w ręce księcia Alberta i został zaadaptowany na mieszkania dla oficerów i urzędników administracji książęcej.
Po zniszczeniach w czasie wojen szwedzkich skrzydło południowe zamieniono na magazyn żywności dla stacjonującego w mieście garnizonu wojskowego. W roku 1772 następuje terytorialna reorganizacja administracji pruskiej a zamek staje się siedzibą sądu. W 1798 przystąpiono do rozbiórki skrzydła południowego oraz wschodniego. W połowie XIX wieku urządzono w zamku więzienie adaptując do tego górne piętra skrzydła północnego oraz gdanisko.
Rozbiórkę kwidzyńskiego zamku powstrzymało dopiero rozporządzenie Fryderyka Wilhelma IV z roku 1854. Przystąpiono do prac restauracyjnych założenia zamkowego które zgodnie z panująca modą miały mu nadać wygląd z czasów średniowiecza. Pod kierownictwem G.Reicherta przywrócono pierwotną wysokość narożnym wieżyczkom oraz odnowiono gdanisko i wieżę więzienną. Z tego okresu pochodzi zachowany dzisiaj układ zamkowych wnętrz oraz wygląd elewacji. Po II wojnie światowej zamek został przejęty przez Ministerstwo Kultury i Sztuki a od roku 1950 jest siedzibą muzeum.
Położony na wyniosłej wiślanej skarpie zamek kapituły pomezańskiej wzbudza uznanie dla jego budowniczych i na pewno wart jest zwiedzenia. Obecnie wraz z katedrą stanowi imponujący wielkością gotycki zespól obronno-sakralny. W wyniku dokonanych rozbiórek z zamku zachowały się skrzydła północne i zachodnie z narożnymi wieżyczkami oraz obie wieże gdanisko i studzienna z arkadowymi gankami. Niestety nie zachował się drugi kwidzyński zamek biskupi. Podobno jego relikty były jeszcze czytelne w okresie międzywojennym. Dzisiaj o jego istnieniu świadczy jedynie charakterystyczne wzgórze i nazwa ulicy Starozamkowa.
