Na Wzgórzu Zamkowym od momentu włączenia ziemi sandomierskiej do państwa Mieszka I mieścił się ośrodek władzy administracyjnej i państwowej. Gród sandomierski był siedzibą komesa prowincji, kasztelana, wojewody i starosty sandomierskiego. Pełnił funkcję stolicy księstwa sandomierskiego przez 182 lata, a po zjednoczeniu kraju przez Władysława Łokietka do rozbiorów był rezydencją polskich władców. Zamek wzniesiony w miejscu pierwotnej warowni istniejącej od X wieku.
Obiekt murowany wznoszony z fundacji królewskiej od wieku XIV, w 1525 r. przekształcony został na rezydencję renesansową wg projektu Benedykta zwanego "Sandomierzaninem". W stylu gotyckim zbudował go Kazimierz Wielki, stąd nazwa Zamek Kazimierzowski. W XVI w. gruntownie przebudowany w stylu renesansowym. Nowa forma budowli uległa zniszczeniu w czasie potopu szwedzkiego. Pierwotnie składał się z 4 skrzydeł obejmujących kolumnowy dziedziniec. Zamek wysadzony został przez wojska szwedzkie w 1656 r. Zachowało się zachodnie skrzydło, od północy i południa zamknięte wieżami obronnymi. Elewacja wschodnia pochodzi z czasów zaborów, kiedy zamek został przekształcony w więzienie od 1821 r. funkcjonujące do połowy XX w. Obiekt odbudowano wiatach 1960-1986. Obecnie zamek jest siedzibą Muzeum Okręgowego.