Położona na prawym brzegu rzeki Niemen miejscowość ma średniowieczny rodowód. Podobno już w XIII wieku istniał tu obronny gród Żmudzinów. Po przejęciu tych ziem prze Zakon Krzyżacki w wieku XIV wznieśli oni tu murowaną warownię Königsburg. Tradycja przypisuje powstanie zamku wielkiemu mistrzowi zakonu krzyżackiego

Konradowi von Jungingen. Popadł on w ruinę w następstwie wojen litewsko-krzyżackich.

W roku 1597 należącą do Billewiczów posiadłość kupił Jan Epereyszy. Był on przedstawicielem pochodzącej z  Siedmiogrodu węgierskiej szlachty przybyłej na Litwę za panowania króla Stefana Batorego. Epereyszy postanowił wznieść nowy zamek wykorzystując stare mury. Zadanie zlecił niderlandzkiemu architektowi Piotrowi Nonhardtowi będącemu królewskim budowniczym. W latach 1604-10  powstał obiekt mający walory obronno-rezydencjonalne. Wzniesiony na wysokiej nadrzecznej skarpie miał plan zbliżony do trapezu. Posiadał cztery skrzydła otaczające wewnętrzny dziedziniec. Trzy narożniki wzmacniały cylindryczne baszty czwarty płn-wsch baszta wieloboczna. Skrzydła południowe i zachodnie mieściły pomieszczenia mieszkalne i reprezentacyjne  pozostałe pełniły funkcje gospodarcze. Budynki od strony dziedzińca posiadały arkadowe podcienia w przyziemiu a ich elewacje były otynkowane.

W roku 1686 zamek stał się własnością rodziny Giełgudów i wówczas zapewne zmienił nazwę. W XVIII wieku Giełgudowie przebudowali go w stylu klasycystycznym. Córka Ludwika Giełguda Anna wniosła zamek w posagu rodzinie Pusłowskich. Ostatnim właścicielem był Aleksander Tyszkiewicz który w roku 1918 ożenił się z Marią Pusłowską.

Zamek został zniszczony podczas powstania listopadowego w roku 1831 i mimo podejmowanych później prób odbudowy został opuszczony i popadł w ruinę. Kolejne zniszczenia przyniosła I wojna światowa. Obecnie zamek jest remontowany w celu zaadaptowania go na hotel. Zachował się główny korpus i podziemia. Z czterech baszt przetrwały dwie. Zwieńczone stożkowymi dachami posiadają po pięć kondygnacji wyposażonych w strzelnice kluczowe. Zamek otacza park krajobrazowy o powierzchni 15 ha.  Widoczne są pozostałości umocnień i fos.