Już w XIII wieku, w miejscu dzisiejszej budowli, stał drewniany gródek strażniczy. Strzegł on drogi prowadzącej  wzdłuż rzeki Vrchlicy. Po raz pierwszy w źródłach pisanych pojawia się w 1312 roku. Po założeniu miasta gródek stał się częścią miejskich fortyfikacji. W latach 1410-15 Václav z Donína kutnohorski wójt przebudował go na zamek typu miejskiego. W miejsce drewnianej strażnicy powstała trzypiętrowa murowana wieża z wysokimi szczytami i inne zabudowania otaczające niewielki dziedziniec. Zamek wykorzystywany był przez królewskich urzędników nadzorujących tutejsze kopalnie srebra.

W czasie wojen husyckich zamek został zniszczony. W roku 1490 kupuje go urzędnik królewski i właściciel kilku szybów Jan Smíška z Vrchovišť. Nowy właściciel przebudowuje pierwotnie zwarty, obronny zamek w okazałą patrycjuszowską siedzibę. Powstały duże komnaty z późnogotyckimi sklepieniami oraz kaplica. Obiekt otrzymał bogatą dekorację kamieniarską, a sufity ozdobiły renesansowe malowidła. Według tradycji za czasów Smíška z Vrchovišť miał miejsce nielegalny wytop srebra pomimo iż był to proceder zagrożony najwyższą karą. Możliwe, że uzyskane dzięki temu dochody pozwoliły właścicielowi przebudować zamek.

Kolejna przebudowa miała miejsce około roku 1620, kiedy to powstało piętro skrzydła południowego. Pod koniec XVII wieku właścicielami zostali jezuici, którzy w roku 1686 założyli seminarium a następnie funkcjonującą w latach 1776-1910 szkołę. W roku 1910 zamek kupiło miasto z zamiarem odbudowy i zaadaptowania na muzeum. Prace wznowiono po zakończeniu II wojny światowej. Obecnie w udostępnionym turystom budynku mieści się Czeskie Muzeum Srebra. W zamkowych pomieszczeniach zachowało się wiele pierwotnych dekoracji świadczących o bogatej historii obiektu.