Na skraju wsi, wśród podmokłych łąk rzeki Liwca, znajdują się gotyckie ruiny zamku książąt mazowieckich. Pierwotnie istniał tu już w XII wieku drewniano-ziemny gród. Strzegł on przeprawy na rzece oraz osłaniał Mazowsze przed najazdami Litwinów i Jaćwingów.
Pod koniec XIV wieku, w miejsce grodu z inicjatywy księcia mazowieckiego Janusza I Starszego, przystąpiono do budowy murowanego zamku. Wzniesiony został na sztucznej wyspie, pośród rzecznych mokradeł. Jako budulca użyto cegły na podmurówce z dużych kamieni narzutowych. Mury obwodowe otaczały kwadratowy dziedziniec o długości boku 32 metry. Wzdłuż muru pł-wsch rozpoczęto wznoszenie głównego domu mieszkalnego zwanego „domem dużym”. Drugi budynek zwany „domem mniejszym” postawiono po przeciwnej stronie dziedzińca. Wjazd do zamku prowadził od strony pł-zach. Poprzedzała go wysunięta przed lico muru niska baszta, otwarta od strony dziedzińca. Dzięki zachowanemu zapisowi w Metryce Księstwa Mazowieckiego znamy budowniczego zamku. Był nim murator Niklos pochodzący zapewne z terenu państwa Zakonu Krzyżackiego. W roku 1429 następuje wstrzymanie budowy zamku w Liwie. Powodem były nieporozumienia pomiędzy Niklosem i księciem Januszem I.
Po śmierci księcia Janusza I prace przy budowie zamku kontynuował jego syn Bolesław IV. Mury obwodowe podwyższono do wysokości 8m i zwieńczono je krenelażem. Ukończono budowę obydwu domów. Dom Duży miał wymiary 28x8m. Posiadał trzy komnaty w układzie jednotraktowym i piwnice ze sklepieniami wspartymi na prostokątnych filarach. Usytuowany naprzeciwko Dom Mniejszy, także podpiwniczony, miał wymiary 22x11m. Obok niego postawiono drewniany spichlerz. Wszystko wskazuje, że zamek nie osiągnął zamierzonej pierwotnie przez księcia Janusz I wielkości. Świadczyć mogą o tym sporych grubości fundamenty oraz potężne skarpy, wspierające niewysoką i otwartą od strony dziedzińca basztę bramną. Od zachodu do zamku przylegał przygródek. Na jego terenie mieściły się zabudowania gospodarcze w tym stajnia na 40 koni. Przygródek posiadał własne umocnienia w postaci parkanu ze strzelnicami i palisady. Wjazd poprzedzało przedbramie z mostem zwodzonym, brama z przejazdem dla konnych i furtą dla pieszych.
W latach 1502-22 zamkiem w Liwie włada księżna Anna, wdowa po Konradzie III Rudym. W tym okresie zamek zostaje rozbudowany. Podwyższone mury obwodowe z krytym gankiem dla straży, osiągają wysokość 15m. Do tej samej wysokości podwyższona zostaje baszta bramna. Dzięki zamknięciu jej od strony dziedzińca ścianą, przekształcona zostaje w wieżę bramną z mostem zwodzonym Po przebudowie wieża miała trzy kondygnacje. Z ostatniej kondygnacji prowadziło przejście na mury obronne. Nad przejazdem mieściła się niewielka izba z dwoma oknami. W pomieszczeniu na wyższej kondygnacji umieszczono strzelnice pozwalające prowadzić ostrzał nie tylko przedpola, ale także flankujący kurtyny. Pod wieżą mieścił się loch więzienny. Odsiadywali w nim kary pospolici złoczyńcy. Dla rycerzy, którzy dopuścili się przestępstwa i skazani zostali na karę tzw. „wieży”, cela mieściła się na najwyższej kondygnacji. Umożliwiające komunikację schody umieszczono w grubości muru.
W roku 1524 umiera książę Janusza III, a dwa lata później jego brat książę Stanisław. Tym samym wygasa dynastia książąt mazowieckich i Mazowsze zostaje włączone do Korony. Jednak jeszcze przez 10 lat Ziemią Liwską i zamkiem w Liwie zarządza ich siostra Anna. Dopiero 5 kwietnia 1537 król Zygmunt Stary zmusił Annę i jej męża do opuszczenia zamku i przejęcia go przez królewskiego starostę.
Okres największej świetności zamku w Liwie to druga połowa XVI wieku, kiedy stał się własnością królowej Bony. W latach 1550-55 miała miejsce kolejna jego rozbudowa. Podwyższono wówczas wieżę bramną ponad linię murów kurtynowych oraz przystosowano ją do użycia broni palnej. Pozwoliło to umieścić na najwyższej kondygnacji niewielkie działo. O jedno piętro podwyższono Dom Wielki. Na jego poddaszu usytuowano stanowiska ogniowe i ustawiono tam kolejne niewielkie działo. Poddasze Domu Dużego połączono murowanym korytarzem lub tarasem bezpośrednio z wieżą bramną.
Po roku 1569 kiedy Podlasie wcielono do Polski Liw przestał pełnić rolę nadgranicznej warowni. Pod koniec XVI wieku zamek nie przedstawiał już większej wartości militarnej. Zaniedbany obiekt nie oparł się „potopowi” w roku 1656. Odbudowany po spaleniu go przez wojska szwedzkie, został ponownie zniszczony w roku 1703 w czasie wojny północnej. Od tego momentu pozostaje w ruinie. W roku 1782 na miejscu Domu Małego z inicjatywy starosty liwskiego Tadeusza Grabiankiego, wzniesiono barokowy dwór na potrzeby kancelarii.
Ciekawa jest historia ruin zamkowych podczas hitlerowskiej okupacji. Początkowo Niemcy chcieli je rozebrać na potrzeby obozu w Treblince, ale zostali przekonani przez miejscowego archeologa, że został wzniesiony przez Krzyżaków. Uwierzywszy w tą nieprawdopodobną hipotezę nie tylko odstąpili od rozbiórki, to jeszcze dokonali częściowej rekonstrukcji. Po zakończeniu wojny w wyniku przeprowadzonych prac, odbudowano zniszczony w XIX wieku dwór oraz dokonano rekonstrukcji wieży.
Obecnie zamek zabezpieczony jest jako trwała ruina. W wyremontowanej wieży oraz dworku funkcjonuje muzeum z bogatym zbiorem militariów. Oprócz tego możemy zobaczyć fragmenty murów obwodowych i budynku mieszkalnego.
