Pierwsza wzmianka o wsi Chrzelice pochodzi z roku 1316. Występuje w nim jako świadek wydania dokumentu Dzierżko z Chrzelic. Kolejne dokumenty pochodzące z drugiej połowy XIV wskazują, że miejscowość była własnością książąt niemodlińskich. Prawdopodobnie to oni byli fundatorami murowanego gotyckiego zamku. Powstał na niewielkim wzniesieniu, pośród podmokłych łąk, na planie nieregularnego trapezu z krótszą kurtyną płn-wsch. Posiadał ceglane mury wsparte przyporami oraz dwa czworoboczne budynki mieszkalne. Większy znajdował się w narożniku południowym, mniejszy w narożniku wschodnim. Pomiędzy nimi umiejscowiona była brama. W zachodniej części dziedzińca znajdowała się wolnostojąca okrągła wieża tzw. bergfried. Całe założenie otaczała nawodniona fosa.
W roku 1388 zamek w Chrzelicach stał się własnością księcia Władysława Opolczyka, który zarząd nad nim powierzył Jerzemu II z Prószkowa, staroście krajowemu księstwa niemodlińskiego W czasie najazdów husyckich w latach 1428-1434 zamek doznał zniszczeń. Niespokojne czasy jakie wtedy panowały na Śląsku sprzyjały działalności rycerzy rabusiów zwanych raubritterami. Istnieją przekazy, że zamek w Chrzelicach też stał się ich siedzibą na pewien czas. Kres procederowi położyły wojska księcia opolskiego. Podczas zbrojnego zajęcia zamku zniszczone zostały nie tylko mury obronne, ale także wieża. Trudno powiedzieć ile w tych wydarzeniach jest prawdy, ale faktem jest, że podczas odbudowy zamku ze zniszczeń, cylindryczną wieżę odbudowano tylko do wysokości murów. Jednocześnie została wzniesiona nowa wieża w narożniku północno-zachodnim. Była ośmioboczną z osłoniętym chodnikiem strzelnicowym, zwieńczona namiotowym dachem.
Gdy w roku 1532 umarł bezpotomnie książę Jan Dobry ostatni przedstawiciel opolsko-raciborskiej linii Piastów, chrzelicki zamek zostaje przejęty przez króla czeskiego Ferdynanda I Habsburga. Jednak już po roku tytułem zastawu przejmuje go margrabia brandenburski Jerzy Hohenzollern, który na stanowisko starosty Chrzelic mianuje w roku 1538 Henryka von Pogrell z Pogorzeli. Następnie majątek przekazano królowej węgierskiej Izabelli Jagiellonce, a w 1543 r. wydzierżawiono rodzinie von Posadowsky. Od 1578 r. kolejnym dzierżawcą Chrzelic był Jerzy IV Prószkowski, baron i komornik cesarski. Jego syn Jan Krzysztof planował przebudowę zamku i otoczenie go fortyfikacjami bastionowymi, ale plany pokrzyżowała mu wojna trzydziestoletnia. W drugiej połowie XVII wieku wnuk Jana Krzysztofa Jan Krzysztof II powraca do planów przebudowy zamku. Ma jednak zupełnie inną koncepcję i przekształca średniowieczną warownię w czteroskrzydłowy barokowy pałac pozbawiony cech obronnych. Skrzydła miały trzy kondygnacje i nakryte były czterospadowymi dachami wykonanymi z dachówki. W elewacji północnej umieszczono centralnie półkoliście zamknięty przejazd.
Gdy w roku 1769 ginie w pojedynku hrabia Leopold Prószkowski, ostatni męski potomek rodu, Chrzelice przechodzą na własność księcia Karola Maksymiliana von Dietrichstein, męża Karoliny Maksymiliany, córki Jana Krzysztof II Prószkowskiego. W roku 1783 książę sprzedaje je wraz z 11 okolicznymi wsiami i miasteczkiem Strzeleczki królowi pruskiemu Fryderykowi Hohenzollernowi. Chrzelicki zamek był w posiadaniu Hohenzollernów do końca pierwszej wojny światowej. Oddawany był w zarząd kolejnym dzierżawcom. W roku 1816 zarządcą Chrzelic został Gottlieb Eduard Helle. Nowy dzierżawca przystąpił do remontu podupadłej rezydencji. Rozebrane zostało grożące zawaleniem południowe skrzydło. Osuszono otaczające zamek bagna i założono na ich miejscu park. W rękach rodziny Hellerów Chrzelice pozostawały do roku 1920.
Ostatnim dzierżawcą zamku był Feliks Heller, wnuk Gotlieba, który w kwietniu 1915 roku po śmierci brata Alfreda przyjął zarządzanie chrzelickim majątkiem. W latach 1921-38 zamek był własnością Pruskiej Izby Skarbowej. Dzierżawił go wyższy urzędnik kameralny Aleksander Seydel na przemian z radczynią ekonomii dr Margarette Bannert.Po zakończeniu II wojny światowej w roku 1946 ograbiony z ruchomości obiekt przekazano w zarząd Nadleśnictwu Prószków. Część wnętrz zaadaptowano na mieszkania, które użytkowane były do końca lat 60-tych. W następnych latach opuszczony i niezamieszkały budynek zaczął szybko popadać w ruinę. W roku 1977 podczas burzy zawaliła się część dachów i stropów. Dziesięć lat później runęła zewnętrzna ściana uszkodzonego wcześniej skrzydła. W tym czasie zamek nie doczekał się żadnych, nawet zabezpieczających prac konserwatorskich. Dopiero w roku 2006 Nadleśnictwo sprzedało zrujnowany zabytek. Obecny właściciel planuje odbudować obiekt z przeznaczeniem na Centrum Dialogu Kultur.
Z dawnego zamku zachowały się ceglane, tynkowane mury wzniesione na sklepionych gotyckich piwnicach. Istnieje część ścian działowych, lecz niestety większość sklepień wewnątrz budynku jest zawalona. Wskutek dewastacji nie zachowało się zbyt wiele detali architektonicznych jedynie fragmenty gzymsów, obramienia okien i pilastry w środkowej części frontowej fasady. Ruiny zamku otacza 4 hektarowy park krajobrazowy z nielicznymi okazami starodrzewu.
