Początki Kazimierza dolnego związane są z zakonem norbertanek ze Zwierzyńca k. Krakowa sprowadzonymi przez Kazimierza Sprawiedliwego w 1181 r. Wybudowały one klasztor na Wietrznej Górze na której znajdowała się pogańska święta dąbrowa. Usytuowanie klasztoru przy znanej przeprawie na Wiśle miało zapewnić zakonowi stały dochód z cła. Wkrótce u podnóża klasztornego wzgórza powstała osada nazwana na cześć Kazimierza Sprawiedliwego jego imieniem. Z roku 1249 pochodzi pierwsza pisana wzmianka potwierdzająca istnienie grodu. Jednak liczne najazdy pustoszące te ziemie w czasach Władysława Łokietka spowodowały że norbertanki opuściły Kazimierz który ponownie stał się własnością królewską. Prawdopodobnie z tego okresu pochodzi istniejąca do dziś wieża usytuowana na stromym wzgórzu nad Wisłą. Jest ona zapewne pozostałością większego założenia obronnego otoczonego drewniano-ziemnym obwałowaniem. Była to typowa królewska strażnica budowana w punktach strategicznych takich jak szlaki komunikacyjne i handlowe oraz przeprawy na rzekach gdzie pobierano cło.
W odległości około 180 metrów od wieży Kazimierz Wielki w latach czterdziestych XIV wieku wzniósł nowy gotycki zamek. Zbudowany został na planie nieregularnym zbliżonym do owalu o wymiarach 65 x 30 m. wykorzystując zalety obronne wiślanej skarpy. Składał się z dużego majdanu otoczonego murem. Zwieńczony on był krenelażem oraz posiadał zachowane do dziś schodki wybrane w jego grubości. Od zachodu na obwodzie muru znajdowała się kilkukondygnacyjna czworoboczna baszta.
W wieku XV utworzono wójtostwo kazimierskie którego dzierżawcą został ród Grotów z Ostrowca. Przeprowadzili oni przebudowę zamku. Potężną poprzeczną ścianą wygrodzono zachodnią część dziedzińca i utworzono trzykondygnacyjne skrzydło mieszkalne. Drugie parterowe skrzydło mieszkalne zakończone wieżą powstało od strony Wisły. Pod koniec XV wieku przeprowadzone zostało plantowanie stromego dotychczas dziedzińca oraz regulacja murów, które utworzyły prostokątne zamknięcie. Wzniesiono również wieżę obserwacyjno-mieszkalną na rzucie kwadratu.
Gdy w końcu XV wieku wygasa ród Grotów wójtostwo kazimierzowskie przejmują spokrewnieni z nimi Samborzeccy. Król Aleksander Jagiellończyk przekształca Kazimierz w starostwo niegrodowe i zastawia u wojewody lubelskiego Mikołaja Kurozwęckiego. Brat Aleksandra późniejszy król Zygmunt Stary wymógł na nim nadanie mu trzech starostw olsztyńskiego bieleckiego i kazimierzowskiego, które zostało wykupione za 3000 florenów. Zygmunt po wstąpieniu na tron idąc śladami brata również zastawił starostwo kazimierzowskie wojewodzie lubelskiemu Mikołajowi Firlejowi. Dług w wysokości 1600 florenów miał być odebrany z cła portowego. Na tej podstawie ród Firlejów dzierżawił zamek do połowy XVII wieku. W tym czasie przeprowadzili rozpoczętą przez króla przebudowę zamku. Nadbudowali pł- zach. skrzydło w stylu renesansowym. W drugiej połowie XVI wieku przebudowali wieżę mieszkalną zwieńczając ją attykami. W tym samym okresie Firlejowie wznieśli zamek w Janowcu po drugiej stronie Wisły i to on stał się rodową siedzibą. W roku 1644 wygasło dożywotnictwo Firlejów i starostwo przeszło w ręce spokrewnionych z nimi Radziwiłłów.
Usytuowanie Kazimierza w centrum Polski w czasach Jagiellonów daleko od granic Rzeczpospolitej spowodowało spadek jego znaczenia militarnego. Zamek był nieuzbrojony i niedostosowany do nowej taktyki wojennej, toteż w czasie „potopu” łatwo dostał się w ręce Szwedów. Jako że nie przedstawiał żadnej wartości strategicznej nie został wysadzony a jedynie ograbiony i spalony. Od tego momentu stopniowo popada w ruinę. Stan jest na tyle poważny że w roku 1809 Austriacy wysadzają jedną z wież grożącą zawaleniem. Po Radziwiłłach właścicielami byli Lubomirscy Sapiehowie oraz Sanguszkowie.
Za czynny udział Czartoryskich w powstaniu w 1831 ukazem carskim zostały zarekwirowane im dobra w tym świeżo zakupione starostwo kazimiersko-wąwolnickie. Ustanowienie granicy na Wiśle oraz odsunięcie się jej od Kazimierza spowodowało upadek portu i handlu zbożem.
W roku 1906 nastąpiły pierwsze zabiegi zachowania zabytku prowadzone przez Towarzystwo Opieki nad Zabytkami Przeszłości. Po wojnie ruinę zabezpieczono częściowo przemurowano miejscowym kamieniem i odtworzono półkolistą bramę w miejsce poprzedniej całkowicie zrujnowanej. Zachowane resztki murów oraz skrzydła mieszkalnego udostępniono zwiedzającym. Zwiedzać można również usytuowaną powyżej zamku cylindryczną wieżę o średnicy 10 i wysokości 20 metrów. Jej masywne mury mające u podstawy 4 metry grubości i wejście umieszczone na poziomie około 6 metrów świadczą że było to miejsce ostatniej obrony typowy stołp. Dolna część wieży była wykorzystywana jako loch.
Ciekawostką jest beczkowaty kształt wieży, który jest świadomym efektem jej budowniczych. Utrudniał on przystawienie drabin oraz powodował ześlizgiwanie się zapalonych strzał odsuwając krąg ognia od podstawy wieży.
