Pierwszy obronny gród powstał w Słupsku już w IX wieku. Wzniesiony został na prawym brzegu rzeki Słupi pośród podmokłych łąk na sztucznie usypanym kopcu. Otoczony był drewnianym wałem wzmocnionym kamieniami i ziemią. Strzegł on brodu na rzece i był siedzibą kasztelanów zarządzających ziemią słupską. Gród funkcjonował do początku wieku XIV kiedy to ziemia słupska została zajęta przez margrabiów brandenburskich. W roku 1310 dla umocnienia swych wpływów margrabiowie Waldemar i Jan dokonali relokacji miasta na lewym brzegu Słupi na prawie lubeckim.

W roku 1317 książę Warcisław IV z dynastii Grafitów zajął Słupsk włączając go do księstwa pomorskiego. Jego syn Bogusław V rządził początkowo we własnym imieniu oraz młodszych braci. W wyniku dokonanego w roku 1368 podziału otrzymał księstwo słupskie. Zapewne z inicjatywy Bogusława V około roku 1339 podjęto prace przy budowie zamku na lewym brzegu Słupi w południowej części miasta. Prace przerwała śmierć księcia w roku 1373. Jego syn Kaźko zwany Słupskim wychowywany na dworze króla Kazimierza Wielkiego którego był wnukiem i po adopcji pretendentem do tronu rzadko bywał na Pomorzu. Po jego śmierci w wieku zaledwie 26 lat na wskutek rany odniesionej podczas oblężenia zamku w Złotori księciem słupskim został jego brat książę Bogusław VIII.  Podejmuje on kolejną próbę budowy zamku w Słupsku. Ostro przeciw książęcym planom zaprotestowali słupscy mieszczanie. Obawiali się oni że silnie ufortyfikowana książęca siedziba w obrębie murów miejskich wzmocni pozycję księcia i zagrozi ich przywilejom. W zamian za pożyczkę w wysokości 2 tys. grzywien srebra uzyskali zapewnienie Bogusława VIII że zaniecha on budowy zamku i wzniesie jedynie dom mieszkalny. Zgodnie z tymi ustaleniami zbudowany został książęcy dwór zapewne w formie murowanej wieży.

W roku 1474 księciem szczecińskim i słupskim został Bogusław X. Po objęciu cztery lata później księstwa wołogoskiego doprowadził do zjednoczenia wszystkich ziem Pomorza Zachodniego. Dzięki swej rozsądnej polityce doprowadził do gospodarczego rozwoju swego księstwa reorganizując administrację i podatki ograniczając przywileje miast i zapewniając bezpieczeństwo na drogach. Miał dobre kontakty z Polską.  W 1491 roku poślubił córkę polskiego króla Kazimierza Jagiellończyka, Annę Jagiellonkę. Uniezależnił się od Brandenburgii i stał się lennikiem cesarza Karola V uzyskując tytuł księcia Rzeszy. Pomimo iż rezydował głownie w Szczecinie nie zapomniał o leżącym na wschodnim krańcu księstwa Słupsku i mimo sprzeciwu mieszczan postanowił zbudować tu zamek. Po śmierci w roku 1497 swej matki księżnej Zofii, która ostatnie lata swego życia spędziła w książęcej rezydencji w Słupsku dwa lata później nakazał rozbiórkę starego dworu. W roku 1505 przystąpiono do budowy nowego zamku w Słupsku. Jego budowę ukończono w roku 1507.

Zamek w Słupsku wzniesiony został w fosie miejskiej. Wykorzystano odcinek muru miejskiego który stał się północną ścianą nowej budowli. Zamek miał plan prostokąta o wymiarach 16,3x35m. Był podpiwniczony i posiadał dwie kondygnacje. Od strony miasta dostawiono wieżę która w dolnej części może być fragmentem dawnej zabudowy dworu książęcego. Także zamkowe fundamenty wykonane z głazów narzutowych są pozostałością po niedokończonych wcześniejszych budowlach. Słupski zamek miał spełniać głownie rolę rezydencji podczas pobytów Bogusława X w mieście. O jego obronnych charakterze świadczą jednak dolne partie murów dochodzące do 4m grubości.

W 1580 roku wnuk Bogusława X książę Jan Fryderyk zlecił Wilhelmowi Zachariaszowi renesansową przebudowę zamku w Słupsku. Rozebrana została górna kondygnacja a w niektórych miejscach także parter i wykorzystując solidne fundamenty został wzniesiony trzykondygnacyjny budynek. Komnaty otrzymały nowe sklepienia i stropy oświetliły je duże okna a zimą ogrzewały ozdobne kominki. Spośród 89 zamkowych pomieszczeń wyróżniały się wielkie cztery sale. Najbardziej okazała była mieszcząca się na drugim piętrze sala rycerska. Posiadała ogromne okno w ścianie południowej i balkon dla orkiestry. Na elewacji wschodniej i zachodniej zamku powstały wykusze. Od strony południowej umieszczono dwa niewielkie ryzality. Na elewacji północnej na wschód od wieży dobudowano widokową loggię z arkadami. Budynek zwieńczono czterospadowym dachem krytym dachówką. Przylegająca od północy do zamku wieża stała się klatką schodową. Umieszczono w niej schody biegnące wokół środkowego filara. Wieże zwieńczono hełmem z wieżyczką. Rozbudowę zamku zakończono w roku 1588 co upamiętniał napis nad głównym wejściem umieszczonym w wieży. W pobliżu zamku wzniesione zostały zabudowania gospodarcze w konstrukcji ryglowej. Zbudowano nowy browar, piekarnię, kuchnię i stajnię. W tym okresie powstało także kryte gankiem przejście do dawnego kościoła dominikanów zamienionego na magazyn zboża.

W roku 1600 słupski zamek stał się siedzibą księżnej Erdmuth wdowy po Janie Fryderyku. Z polecenia księżnej we wschodniej części dawnego kościoła dominikańskiego powstał zamkowy kościół pod wezwaniem św. Jacka. Księżna wykupiła od mieszczan kilka działek i założyła zamkowy ogród. Po jej śmierci w roku 1623 domena słupska przypadła siostrze Bogusława XIV Annie wdowie po księciu Erneście de Croy. Ostatni panujący książę z dynastii Grafitów Bogusław Xiv zmarł w roku 1637. Na mocy układu z Grimnitz o tzw. „przeżycie” Pomorze Zachodnie powinno przypaść elektorowi brandenburskiemu. Trwała jednak wojna trzydziestoletnia i Pomorze okupowały wojska szwedzkie. Dopiero na mocy pokoju westfalskiego z roku 1648 brandenburscy Hohenzollernowie przejmują Pomorze. Zamek słupski zgodnie z układem berliński podpisanym w roku 1650 stał się własnością państwa. Księżna Anna i jej syn Ernest Bogusław de Croy mogli go zamieszkiwać do końca swego życia. Księżna Anna zmarła w roku 1660 i pochowana została w krypcie zamkowego kościoła.

Książę Ernest Bogusław de Croy został mianowany w roku 1665 przez elektora brandenburskiego namiestnikiem Pomorza.  Pięć lat później otrzymał tytuł namiestnika Prus i zamieszkał w Królewcu. Z tego powodu rzadziej bywa na słupskim zamku. W roku 1681 kupuje wzniesiony przez Georgia von Zitzewitz budynek wzniesiony na miejscu dawnego południowego skrzydła klasztoru dominikanów. Umieścił w nim swoją cenna gromadzoną wiele lat bibliotekę. Książe umiera w roku 1684 i pochowany zostaje obok swej matki księżnej Anny de Croy.

W roku 1731 na polecenie króla pruskiego Fryderyka Wilhelma I zostaje dokonana wizytacja słupskiego zamku. W jej wyniku wywiezione zostaje zachowane wyposażenie w tym słynna biblioteka mimo że w swym testamencie książę Ernest Bogusław de Croy zapisał ją miastu Słupsk. Ogałacając zamek z wartościowych przedmiotów wyrwano nawet marmurowe posadzki. Nie użytkowany obiekt zaczął podupadać. W roku 1815 uderzenie pioruna uszkodziło zamkową wieżę. Na polecenie władz pruskich rozebrano górną cześć wieży  i przykryto ją spadzistym dachem wyrównując jej poziom do płaszczyzny dachu zamku. Od roku 1821 zaczęto przekształcać słupski zamek na magazyn dla wojska. Wyburzono wszystkie ściany wewnętrzne i stropy. Zamurowano okna w ich miejsce wybito rząd małych okienek. Drewniane pomosty podzieliły wnętrze na cztery poziomy służące przechowywaniu sprzętu wojskowego a późniejszych latach zboża. W drugiej połowie XIX wieku rozebrano zamkowe budynki gospodarcze a w ich miejsce wzniesiono budynek mieszkalny dla oficerów inwalidów wojennych. Brak remontów powodują że zamek popada w ruinę. W okresie międzywojennym władze Słupska planowały zaadaptować go na muzeum ale plany te nie zostały zrealizowane. W latach 1933-35 likwidacji uległ zamkowy ogród. Kolejne zniszczenia przyniosły działania wojenne w roku 1945.

Pierwsze prace konserwatorskie przeprowadzono w latach 50-tych XX wieku. Z dawnych wnętrz zachowały się jedynie dwa sklepione pomieszczenia na parterze i klatka schodowa w wieży. Ponieważ zamek miał zostać zaadaptowany na muzeum wewnątrz budynku umieszczono reprezentacyjną klatkę schodową co spowodowało jednak znaczne ograniczenie ilości zamkowych pomieszczeń. Postanowiono przywrócić obiektowi wygląd z czasu renesansowej przebudowy. Odtworzono wykusze i wnęki okienne oraz widokową loggię. Tylko częściowo zachowano pierwotny układ wnętrz ponieważ z uwagi na potrzeby muzeum niektóre pomieszczenia przekształcono w duże sale ekspozycyjne. W całości odtworzono salę rycerską z oknem i balkonem dla orkiestry oraz zrekonstruowano jej koszowe sklepienie. Odbudowano zamkową wieżę. Dachy zamku i wieży pokryto blachą miedzianą. Zagospodarowano także otoczenie zamku. Odbudowano gotycki młyn oraz Bramę Młyńską będącą pozostałością obwarowań miasta. Obecnie słupski zamek stanowi wizytówkę miasta i jest siedzibą Muzeum Pomorza Środkowego.