Jak pisze w swej kronice Jan Długosz w roku 1358 wojewoda poznański Maćko Borkowic za przywództwo konfederacji panów wielkopolskich przeciw królowi Kazimierzowi Wielkiemu został skazany na śmierć a jego dobra skonfiskowane. Nowym właścicielem Koźmina został Bartosz Wezenberg który w krótkim czasie zrobił karierę na królewskim dworze. Zgromadzony majątek i stanowisko wojewody poznańskiego pozwoliły mu na podjecie budowy murowanego zamku. Wzniesiony pod konie XIV wieku nad rzeką Orlą od której wziął swą nazwę był jedną z większych siedzib rycerskich jakie zaczęły wtedy powstawać w Wielkopolsce.
Pierwotny zamek składał się z dwukondygnacyjnego budynku w kształcie litery L i prostokątnego dziedzińca otoczonego wysokim ceglanym murem z narożnymi skarpami. Przypora w narożniku płn-zach była większa od pozostałych i spełniała funkcję niewielkiej wieży. Brama wjazdowa znajdowała się w murze północnym i była wzmocniona wieżą bramną. Zamek znajdował się poza murami miejskimi od których oddzielał go istniejący w średniowieczu staw. Jego wody otaczały założenie od południa i wschodu dodatkowo zwiększając obronność.
Po śmierci Bartosza zamek zostaje zadłużony i sprzedany w roku 1419 Mościcowi Przetpełk ze Stęszewa. Coraz większe znaczenie broni palnej podczas działań wojennych spowodował jego przebudowę przez nowego właściciela. Ukrytą w skarpie wieżę opłaszczowano nadając jej cylindryczną formę. Rozbudowie uległa wieża bramna która została poprzedzona prostokątnym przedbramiem oflankowanym dwiema cylindrycznymi wieżyczkami o średnicy 6 metrów każda. W czasie prac powiększono również funkcję rezydencjonalne zamku przez wzniesienie wzdłuż muru północnego drugiego budynku.
W roku 1471 Koźmin nabywa Bartłomiej z Iwanowic którego ród po 1475 przyjął nazwisko Koźmińskich. Kolejnym właścicielem miasta i zamku zostaje w roku 1519 Łukasz Górka starosta generalny wielkopolski i kasztelan poznański jeden z najbogatszych wielmożów ówczesnej Polski. Jego wnuk Andrzej II Górka w drugiej połowie XVI wieku dokonuje renesansowej przebudowy zamku. Redukcji ulegają funkcje obronne przedbramia a w zewnętrznych elewacjach zamkowych skrzydeł zostają wybite otwory okienne. Skrzydło północne w wyniku dokonanych zmian staje się najbardziej reprezentacyjnym budynkiem. Stara rycerska siedziba coraz bardziej przekształca się w wygodną magnacką rezydencję. W tym okresie wieża główna zyskała ośmioboczną trzykondygnacyjna nadbudowę. W rękach rodziny Górków Kożmin pozostawał do roku 1592. Po bezpotomnej śmierci ostatniego z nich zamek stał się własnością Stanisława Sędziwoja Czarkowskiego. Kontynuował on prace podjęte przez jego poprzedników przy rozbudowie rezydencji. Wzdłuż muru wschodniego po jego zewnętrznej stronie wzniesiono nowe dwukondygnacyjne skrzydło. Jednocześnie o jedno piętro nadbudowano budynek północny.
W roku 1621 koźmiński zamek po raz kolejny zmienia właściciela zostaje nim Stanisław Przyjemski herbu Rawicz. Następuje dalsza rozbudowa obiektu. Do zewnętrznego muru południowego zostaje dobudowany kolejny trzykondygnacyjny budynek który stał się skrzydłem południowym. Nie remontowane przedbramie ulega całkowitej ruinie. Po częściowej rozbiórce najstarszego czternastowiecznego budynku zachodniego od tej strony powstaje wjazd na zamkowy dziedziniec.
W wieku XVIII właścicielami zamku są przedstawiciele znanego rodu Sapiechów. Podczas przeprowadzonych przez nich prac rezydencja została odnowiona i zyskała nowy wystrój wnętrz. W następnym wieku całkowitej rozbiórce ulega skrzydło zachodnie. W roku 1865 zamek zostaje zaadoptowany na siedzibę szkoły co powoduje kolejne zmiany w jego wyglądzie.
Obecnym gospodarzem zamku jest Zespół Szkół Rolniczych. Po licznych przebudowach na przestrzeni wieków jest to teraz trójskrzydłowa budowla otwarta od zachodu. Jedynymi pozostałościami po obronnych funkcjach dawnej warowni jest wieża w narożniku płn-zach zwieńczona hełmem oraz pozostałości fos. Podczas prowadzonych prac archeologicznych udało się odsłonić pozostałości dawnego przedbramia i osłaniających go wieżyczek.
