Już we wczesnym średniowieczu przy ujściu Pełty do rzeki Narwi, istniała osada handlowa. Za rządów króla Bolesława Śmiałego nowotworzone biskupstwo płockie otrzymało znaczne dobra ziemskie we wschodniej części Mazowsza. Na początku XIII wieku Pułtusk stał się centrum rozległego biskupiego majątku, leżącego w dolinie Narwi i Bugu liczącego ponad 60 wsi. W tym jednak czasie rubieże Mazowsza zaczęły być nieustannie nękane najazdami pogańskich Prusów Jaćwingów, a później Litwinów. Jeden z takich najazdów zniszczył osadę i biskupi postanowili wznieść nową w bardziej obronnym miejscu. Budowę grodu rozpoczęto około roku 1232 na południowo- wschodnim krańcu wyspy, na sztucznie usypanym wzniesieniu o wymiarach 60x90m. Teren otoczono nawodnioną fosą i umocnieniami ziemnymi od zachodu i północy.
Prawdopodobnie już w początku XIV wieku pierwszą murowaną siedzibę wzniósł na wzgórzu biskup płocki Florian Laskary. Mogła to być wieża mieszkalna wkomponowana w drewniany wał grodu w jego zachodniej części. W roku 1368 podczas najazdu wielkiego księcia litewskiego Kiejstusa gród został doszczetnie spalony, a jego załoga wymordowana. Po zawarciu w roku 1385 Unii w Krewie pomiędzy Królestwem Polskim i Wielkim Księstwem Litewskim, Litwini przestali nękać Mazowsze co spowodowało szybki rozwój Pułtuska. Miasto zostało lokowane na prawie chełmińskim, a biskupi coraz chętniej przebywali w swej siedzibie. Przebudowę grodu w całkowicie murowany zamek przypisuje się biskupowi Piotrowi Giżyckiemu piastującemu urząd w latach 1439-63. Do wieży od strony południowej dostawiono tzw. Dom Mały. Był to budynek podpiwniczony wzniesiony z cegły na planie prostokąta. W miejsce ziemnych wałów powstał mur obwodowy. Wjazd do zamku prowadził od strony zamku. Bramę w późniejszym czasie wzmocniono dwoma półcylindrycznymi basztami.
W XVI wieku gotycki zamek w Pułtusku rozbudowano w kierunku wschodnim i nadano mu styl renesansowy. Elewacje pokryły jasne tynki i sgraffita udające boniowanie obramienia okien otrzymały ozdobną kamieniarkę, a szczyty zwieńczono attyką Na północ od Domu Małego obok bramy wzniesiony został główny dom mieszkalny tzw. Dom Duży. Był to jednopiętrowy podpiwniczony budynek na planie wydłużonego prostokąta. Miał jednotraktowy układ pomieszczeń, a komunikację zapewniały schody usytuowane od strony dziedzińca. Prace rozpoczął biskup Rafał Leszczyński, a kontynuował jego następca Andrzej Krzycki. Kolejny biskup Andrzej Noskowski odnowił zamek zniszczony pożarem. Piotr Myszkowski wokół zamku założył ogrody przekształcone w dzisiejszy park, a do upiększenia zamkowych wnętrz zatrudnił włoskich artystów.
Na początku XVII wieku miała miejsce kolejna rozbudowa zamku. Biskup Marcin Szyszkowski wzmocnił zamkowe mury potężnymi skarpami. Następny biskup Henryk Firlej zbudował arkadowy most łączący zamek z miastem. W 1645 przebudowana została brama główna. Zachowany opis zamku pochodzący z roku 1650 przedstawia go jako okazałą rezydencję, złożona z kilkunastu pomieszczeń mieszkalnych różnej wielkości, dwóch kuchni oraz spiżarni. Znajdowała się tu również polichromowana kaplica, a w piwnicach, biblioteka z bogatym księgozbiorem. Oprócz biskupa, na zamku rezydował zarządzający biskupimi dobrami starosta.
W czasie szwedzkiego „potopu” zamek w Pułtusku został poważnie zniszczony. Szwedzi uczynili z biskupiej rezydencji mocno ufortyfikowaną twierdzę. Jednak latem 1656 hetman Wincenty Gosiewski śmiały atakiem, zajął Pułtusk i wyciął w pień szwedzką załogę. Przysłane jednak przez króla szwedzkiego Karola Gustawa X posiłki, odbiły i ponownie obsadziły pułtuski zamek. Mocno zniszczoną rezydencję rozpoczął odbudowywać biskup Andrzej Załuski, przeznaczając na ten cel spore środki. Niestety w roku 1703 zamek ponownie zostaje zajęty przez wojska szwedzkie w trakcie wojny północnej. Po zakończeniu działań wojennych odbudowę kontynuowali bracia Andrzeja Załuskiego, Ludwik, Bartłomiej i Andrzej Stanisław Kostka. Obiekt uzyskał barokowy wystrój. Odnowiono Dom Duży i przebudowano skrzydło zachodnie dostawiając do niego kaplicę. Zamek za czasów Załuskich ponownie przeżywał okres świetności. Pod koniec XVIII wieku za czasów biskupa Krzysztofa Hilarego Szembeka przebudowano wschodnia część założenia zamkowego oraz budynek bramny, nadający mu klasycystyczną formę.
W czasie wojen napoleońskich zamek w Pułtusku po raz kolejny został zniszczony. Zamieniony został w wielki lazaret dla żołnierzy francuskich. Po wycofaniu się Napoleona po klęsce na wschodzie był wykorzystywany jako szpital przez wojska rosyjskie. Poważnie zdewastowany zamek został odnowiony przez biskupa Adama Michała Prażmowskiego w latach 1817-30. W latach Królestwa Kongresowego częstymi gośćmi pułtuskiej rezydencji byli członkowie rodziny carskiej, bowiem przez Pułtusk prowadził tzw. trakt petersburski, łączący Petersburg z Warszawą. Ostatnim biskupem rezydującym na zamku w Pułtusku był Franciszek Pawłowski. Po pożarze z roku 1841, który strawił prawie wszystkie dachy rezydencja została zaadaptowana na siedziby urzędów. W roku 1866 nastąpiła konfiskata majątków kościelnych, w tym także pułtuskiego zamku. Do roku 1914 w zamkowych murach znajdowały się siedziby naczelnika powiatu oraz carskiej żandarmerii, mieścił się tu także wojskowy szpital.
Po odzyskaniu przez Polskę niepodległości w roku 1918 na zamku ponownie umieszczono siedzibę powiatu. W czasie niemieckiej okupacji podczas II wojny światowej, dawne biskupie komnaty wykorzystywano jako miejsce spędzania urlopu przez niemieckich oficerów. Dla ich wygody o jedną kondygnacje podwyższono skrzydło wschodnie. W czasie walk w roku 1945 zamek częściowo spłonął. Po zakończeniu wojny nadal służył urzędom powiatowym. W roku 1974 podjęto decyzje o przeznaczeniu zamku w Pułtusku na „Dom Polonii”. Prace przy dobudowie trwały do roku 1989. Podczas wykonanych na początku remontu badań archeologicznych na zamkowym dziedzińcu, stwierdzono zaleganie wielu warstw kulturowych sięgających wczesnego średniowiecza. Odsłonięto plan grodu z drewnianymi domostwami, nawierzchnią ulic i śladami obwarowań. Obecnie właścicielem Domu Polonii w Pułtusku jest Stowarzyszenie „Wspólnota Polska”.
Poddany na przestrzeni wieków wielokrotnym przebudowom i remontom zamek w Pułtusku, ostatecznie przybrał formę zwartej budowli w kształcie podkowy otwartej od południa. Być może jego nieregularny plan nawiązuje do obwarowań dawnego grodu. Po ostatnim remoncie nad zamkiem góruje stylizowana wieża, a wejście od strony miasta prowadzi po odnowionym moście. Najstarsze gotyckie fragmenty tzw. Domu Małego kryje obecne skrzydło zachodnie.
