Pierwsze wzmianki o wsi Bydlin pochodzą z 1120 r. Istnieją przypuszczenia, że na wzgórzu za wsią, na którym stoją dziś ruiny kościoła Św. Krzyża wznosił się zamek obronny. Warownia została zbudowana około 1388 r. przez rycerza Niemierzę herbu Strzała, ówczesnego dziedzica wsi wraz z okolicznymi terenami. Zamek w Bydlinie posiadał zbudowany z kamienia trzykondygnacyjny budynek mieszkalny oraz wysoką kamienną wieżę. Od budynku odchodził mur otaczający dziedziniec i łączący się z wieżą bramną. Cała warownia otoczona była suchą fosą oraz wałem kamienno-ziemnym.

Na początku XVI wieku zamek przeszedł na własność rodu Bonerów, którzy przebudowali go na kościół katolicki. W okresie reformacji około roku 1571 nowy właściciel Jan Firlej zamienił go na zbór ariański. Jednak już jego syn Mikołaj w 1594 r. dokonał gruntownej restauracji budowli, przywracając ją kościołowi katolickiemu i nadając wezwanie św. Krzyża. Jesienią roku 1655 oddziały szwedzkie pod dowództwem generała Mullera ograbiły i zniszczyły kościół. Na początku XVIII wieku dzięki wsparciu nowych właścicieli Męcińskich, kościół został odbudowany, ale po licznych napaściach i grabieżach świątynia została opuszczona i szybko zamieniła się w ruinę. Do naszych czasów z zamku w Bydlinie zachowały się grube dwumetrowe mury o siedmiometrowej wysokości. Postawione na planie dużego prostokąta o wymiarach 24×11 m. podparte w narożach ukośnymi przyporami, nadają budowli charakter obronny. Świadczą o tym również ślady po zamurowanych strzelnicach oraz resztki muru otaczającego wzgórze.