Pierwsze założenie obronne w miejscu dzisiejszego zamku zbudował książę Henryk Bawarski w roku 1337. Wzniesione na skraju skarpy, której strome zbocza opadały do Niemna, stanowiło jedno z ogniw krzyżackiego pasa umocnień na Żmudzi. W roku 1339 warownię zdobyły wojska litewskie. Wedle tradycji podczas oblężenia zginął wielki książę litewski Giedymin. Krzyżacy pod dowództwem wielkiego mistrza Ludolfa König von Wattzau odzyskali warownię w roku 1343.

W połowie XVI wieku król Zygmunt August nadał Raudany wraz ze zniszczonym zamkiem Kryspinowi Kirszenstejnowi. Nowy właściciel przystąpił do budowy w miejsce krzyżackiej warowni zamku w stylu renesansowym. Powstało regularne założenie na planie prostokąta. Składało się z dwóch skrzydeł południowego i północnego połączonych murami obronnymi. W zachodnim odcinku muru umieszczono bramę wiodącą na wewnętrzny dziedziniec. Zamek posiadał trzy cylindryczne baszty. Dwie wzniesiono w narożnikach skrzydła północnego, trzecią o wysokości 33,5m umiejscowiono pośrodku skrzydła południowego.

W pierwszej połowie XVIII wieku ówczesny właściciel Raudan Olędzki przebudował zamek pozbawiając go cech obronnych. Założenie otwarto burząc mur zachodni z bramą.  W miejsce muru wschodniego powstało skrzydło z niską baszta i portykiem od strony dziedzińca. W roku 1810 Raduany stały się własnością faworyta carycy Katarzyny Płatona Zubowa. Kilka lat później zakończono kolejną przebudowę, w wyniku której obiekt nabrał cech modnego wówczas neogotyku. W miejsce portyku zbudowano wieloboczny ryzalit. Zmieniono wygląd okien, a baszty zwieńczono krenelażem. Wzniesiono dwie kolejne cylindryczne baszty w narożnikach skrzydła południowego.

Obecny wygląd zamku jest efektem prac, które przeprowadzono w latach 60-tych XX wieku. Odbudowano wówczas skrzydło południowe i główną basztę zniszczone podczas II wojny światowej. Obecnie zamek jest siedzibą szkoły. Turystom jest udostępniona baszta skąd podziwiać można okolicę i przepływający u podnóża Niemen.