Na przełomie XIII i XIV w., gdy ustaliła się granica polsko- węgierska, powstało kilka zamków strzegących węgierskiej strony. Jednym z nich był wzniesiony około 1310 r. zamek w Niedzicy. Początkowo była to drewniano - ziemna strażnica usytuowana na wysokiej górze naprzeciwko polskiego Czorsztyna. Potem wzniesiono w tym miejscu murowany zamek, który składał się z wieży ostatniej obrony, budynków mieszkalnych i kaplicy. Wjazdu bronił most zwodzony. Wkrótce warownię rozbudowano wewnątrz murów obwodowych, a podzamcze otoczono murem z basztą bramną. Kolejny właściciel przebudował mury Zamku Średniego, poszerzył podzamcze, wzniósł dom mieszkalny i basztę bramną. Zamek był świadkiem walk kandydatów do tronu węgierskiego. W zamian za pomoc udzieloną królowi Janowi Zapolyi Hieronim Łaski otrzymał urząd żupana spiskiego oraz część Spisza z Kieżmarkiem i Niedzicą. Jednak jego syn sprzedał zamek. Nowy właściciel przystosował go do walki z użyciem broni palnej. Basztę bramną zastąpiono basteją z bramą wjazdową, wzniesiono wieżę i podwyższono mury. Przedłużono krużganki. W XVII i XVIII w. najstarsza część zamku była w bardzo złym stanie. Zamek przejęła w 1817 r. rodzina Horvathów, nadając mu cechy wiejskiej rezydencji. Kompleks pozostał w ich rękach do 1943 r. Dzięki pracom konserwatorskim można zwiedzać najstarszą część zamku oraz Zamek Średni, gdzie znajdują się muzeum i tarasy widokowe.
Na skalnym wzgórzu wznoszą się ruiny średniowiecznego zamku, który należał do największych twierdz na pograniczu polsko- śląskim. Nazwę zawdzięcza wykorzystaniu naturalnych jaskiń oraz wkomponowaniu w obwód murów otaczających wapiennych skał i prawdopodobnie pochodzi od spolszczonej niemieckiej nazwy Holstein (dziurawa skała). Zamek składał się z trzech części oddzielonych murami. W 1370 r. Ludwik Węgierski oddał Olsztyn i ziemię wieluńską w lenno Władysławowi Opolczykowi. Za nieprzychylną Polsce politykę i knowania z zakonem krzyżackim Władysław Jagiełło zdobył Olsztyn i przywrócił go Koronie. Zamek odegrał ważną rolę podczas najazdu książąt śląskich. Mikołaj z Przyszowa przebudował go we własną siedzibę. W 1587 r. Olsztyn próbowały opanować wojska arcyksięcia austriackiego Maksymiliana. Później warownię częściowo rozebrano. Podczas najazdu szwedzkiego zamek ograbiono i zniszczono, a potem rozebrano mury w celu pozyskania kamienia na odbudowę spalonego kościoła. Podczas prac konserwatorskich w latach 60. XX w. zabezpieczono warownię jako trwałą ruinę i udostępniono ją zwiedzającym. Zachowała się kamienna baszta, ruiny budynku mieszkalnego oraz fragmenty bramy wjazdowej. Poniżej Zamku Górnego są wykute w skale schodki i wnęki, stanowiące podziemia Zamku Średniego. Poza obrębem właściwego zamku stoi Baszta Sołtysia.