W źródłach pisanych Otmuchów pojawia się po raz pierwszy w roku 1155. Bulla papieża Hadriana wzmiankuje kasztelanię otmuchowską jako własność biskupów wrocławskich. Gród obronny powstał tu wcześniej bo za panowania Bolesława Krzywoustego i strzegł niespokojnej granicy z Czechami. W połowie XIII wieku w miejsce grodu biskupi wznieśli zapewne tylko w części murowany zamek. W roku 1285 został on zdobyty przez księcia Henryka IV Probusa podczas jego zatargu z biskupem Tomaszem II. Książę nie zważając na nałożoną na niego klątwę nakazał zburzyć biskupią warownię a nawet zasypać otaczającą ją fosę.

Następca Tomasza II biskup Jan Romka w roku 1295 odbudował otmuchowski zamek. Wzniesiony na szczycie wzgórza o naturalnych walorach obronnych górował na okolicą. Pierwotnie składał się z skrzydła mieszkalnego wzniesionego na rzucie prostokąta o wymiarach 22×11,5m w części płd-wsch oraz wolnostojącej wieży w narożniku północnym. Mury odwodowe poprowadzono wykorzystując kształt wzniesienia i prawdopodobnie wcześniejszy wał grodu. Wjazd prowadził od południa przez ostrołukową bramę wzmocnioną wieżą.

W latach 1348-57 biskup Jan z Pogorzeli rozbudował zamek. Przedłużone zostało skrzydło mieszkalne w kierunku wieży. W płd-zach części dziedzińca wzniesiono kaplicę. W tym czasie otoczono murami miasto które utworzyło z zamkiem wspólne założenie obronne. W roku 1430 zamek w Otmuchowie bez walki zajmują husyci. Była to wyjątkowo bolesna strata dla wrocławskiego biskupstwa ponieważ właśnie w obawie przed husytami tu zdeponowali swój skarbiec. Czesi zdając sobie sprawę ze strategicznego położenia Otmuchowa przystąpili do powiększenia walorów obronnych zamku. Wtedy to została wzniesiona druga płd-zach wieża. Biskup Konrad odzyskał swoją warownię dopiero w roku 1435 wykupując ją za kwotę 1100 kop groszy czeskich. W roku 1443 zamek zostaje zajęty przez rycerza Hinko Kruszynę. Biskup ponownie zmuszony jest do jego wykupu. Tym razem biskupi skarbiec uszczuplał o 2 tys. węgierskich guldenów.

Coraz częstsze wykorzystanie w walce broni palnej spowodowało że w latach 1484-85 biskup Jan Roth rozbudował umocnienia zamku. Powstał zewnętrzny obwód murów z blankami i kluczowymi strzelnicami. Kluczowe strzelnice wykonano także pod parapetami okiennymi oraz na najwyższej kondygnacji domu mieszkalnego. Wjazd wzmocniono szyją bramną z dwoma wieżami.  Powiększono skrzydło mieszkalne łączą je z północną wieżą. Kolejny biskup Andrzej Jerima pod konie XVI wieku przebudował zamek w renesansową rezydencję. Powstały dwa nowe skrzydła zamykające wewnętrzny dziedziniec. Zmieniono wystrój wnętrz zbudowano arkadowe krużganki elewacje ozdobiono dekoracją sgraffitową.  Fortyfikacje zewnętrzne wzmocniono niewielkimi bastejami.

W czasie wojny trzydziestoletniej w roku 1646 Otmuchów zajęły wojska szwedzkie lecz obyło sie bez większych zniszczeń. Na przełomie XVII i XVIII wieku biskup Franz Ludwig zu Neuburg zmienił wystrój zamku na barokowy. Powstała zewnętrzna klatka schodowa do której prowadził portyk w kształcie rotundy. Powiększono okna zamkowe mury otynkowano. Dotychczasowe gospodarcze skrzydło płd-zach przekształcono w mieszkalne. W latach 1706-07 u stóp zamkowego wzgórza wzniesiono barokowy pałac zwany „Zamkiem Dolnym”.

W czasie wojen śląskich w roku 1741 zamek został zniszczony w wyniku ostrzału artyleryjskiego przez wojska pruskie. Od tego czasu biskupia rezydencja zaczęła podupadać. Wykorzystana była tylko cześć zamkowych pomieszczeń. Po sekularyzacji dóbr kościelnych w roku 1810 Otmuchów stał się własnością rodziny Humboldtów.  Nowy właściciel zamieszkał w pałacu a  roku 1828 dokonał częściowej rozbiór zamku.  Zlikwidowano skrzydło płd-zach i zachodnie oraz kaplicę a także część murów obronnych. W ich miejsce założono ogród. Na początku XX wieku zamek zaadaptowano na cele turystyczne. Na fundamentach budynku zachodniego wzniesiono pawilon restauracyjny.

Obecnie otmuchowski zamek nadal góruje nad miastem. Zachowało się trzypiętrowe skrzydło wschodnie którego południowy fragment to najstarsza cześć biskupiej warowni. Zbudowane z cegły na podmurówce z łamanego kamienia nakryte jest  łamanym dachem. Od strony dziedzińca dostawiona do niego jest barokowa klatka schodowa. Prowadzą z niej do zamkowych pomieszczeń szerokie schody zwane „końskimi”. Nazwa wzięła się z opowieści iż biskup podobno konno wjeżdżał do swych komnat na piętrze.  Narożnik północny zajmuje wieża zwieńczona renesansową galerią z machikułami. Jej dolne sklepione kondygnacje miały służyć dawniej jako więzienie. Z zamkowych wnętrz najciekawsze jest pomieszczenie z zachowanym oryginalnym renesansowym stropem kasetonowym.  Z pozostałych elementów zamku zachowały się kamienna gotycka brama wjazdowa piwnice skrzydła zachodniego fragmenty murów i fosa. Na wybrukowanym dziedzińcu stoi zadaszona głęboka studnia.