Na wysokim wzgórzu górującym nad wsią zachowały się ruiny zamku strzegącego dawnej granicy polsko-węgierskiej i biegnącego tędy szlaku handlowego. Wzniesiony został z inicjatywy króla węgierskiego Ondreja III w roku 1294 przez rycerza Dytrycha ze Spisza lub jego syna Arnolda. Początkowo była to zapewne niewielka strażnica w formie kamiennej wieży zajmującej kulminację wzniesienia. W roku 1317 król Karol Robert podarował zamek swemu wiernemu zwolennikowi Filipowi Drugethovi który dokonał jego rozbudowy. Po śmierci Vilema brata Filipa zamek ponownie stał się własnością królewską.  Około roku 1400 kolejny król Zygmunt Luksemburczyk podarował go rodowi Bebeku.

W połowie XV wieku podczas wojen husyckich zamek został opanowany przez bratrzyków.  Stał się siedzibą przywódcy ruchu Piotra Aksamita. Po jego śmierci w roku 1458 zamek otrzymał Imrich Zapolsky aby odbudować i umocnić jego mury. W roku 1505 zamek Plawecz stał sie własnością Michała Horvatha z Wielkiej Łomnicy. W posiadaniu tego znanego węgierskiego rodu pozostawał on do końca jego dziejów. Z czasem zamieszkująca Plawecz gałąź rodu przyjęła nazwisko Palocsay. Pod koniec XVI wieku wnuk Michała Jerzy dokonał renesansowej rozbudowy rodowej siedziby. Wzniesiono narożne baszty obronne które połączone murem utworzyły zamknięty dziedziniec na którym powstały nowe budynki.

Ostatnia przebudowa zamku miała miejsce w roku 1830. Jej inicjatorem był Ferdinand Horváth-Palocsaye. Zamek został pozbawiony cech obronnych i przekształcony w neoklasycystyczny dwór. Kres istnienia zamku nastąpił w roku 1856 kiedy to zniszczył go pożar. Rok później wymarł ród Palocsay. Opuszczony i niezamieszkały zamek stopniowo popadł w ruinę.

Do naszych czasów z zamku Plawecz przetrwały jedynie nikłe ruiny. Jeszce w połowie XX wieku stała ściana dwupiętrowego budynku która niestety runęła. Z gotyckiej wieży i renesansowych baszt pozostały jedynie niewielkie fragmenty. Lepiej zachowana jest XIX-wieczna wieża południowa. Nadal widać jej trzy poziomy otworów okiennych.