Od Juristovi smrti uplynulo již téměř sto let, když na Zelené Hoře převzal vládu Ladislav ze Šternberka, pán dobrotivý, učený a uměnímilovný, jenž zároveň byl i radou a komorníkem jeho milosti arciknížete Ferdinanda. Bohužel však trpěl podivnými záchvaty a jednomu z nich r. 1566 i podlehl. Zanechal po sobě pět nezletilých dítek (syn Albrecht zemřel již v roce 1563), jejichž poručnicí stala se jejich matka a Ladislavova manželka - Kateřina z Lokšan, paní velmi skoupá a přísná, jenž ze všeho nejvíce milovala jen sebe. Později se provdala podruhé a celé zelenohorsko-plánické panství rozdělili si její čtyři synové - Jiří, Ondřej, Ferdinand a Lacek. Všichni, až na Lacka, byli vychováni svou matkou v protestantské víře, důsledkem čehož prý také všichni do jednoho i nešťastnou smrtí ze světa sešli, a nezanechali po sobě rovněž žádných žijících potomků. Zle se vedlo v těchto dobách jejich poddaným. Každý ze synů spravoval různé části panství, navíc Ondřej a Ferdinand byli "od pána Boha na rozumu poraženi", a proto Ondřejovým poručníkem byl Jiří a Ferdinandovým Lacek. Samo městečko Nepomuk bylo rozděleno na dvě části a každé vládl jiný pán jiné víry. Různě velké podíly a části panství přesouvaly se pak od jednoho k druhému, a co se opatrovnictví nad nesvéprávnými bratry týče, nezůstala pozadu ani jejich sestra Marie - které zemský soud přiřkl r. 1594 Jiříkův díl (když zlomil si vaz pádem z koně) - či bratranec Adam ze Šternberka, který po Mariině smrti r. 1614 převzal i její díl a stal se tak po dlouhé době opět jediným pánem na Zelené Hoře. Lacek zemřel v bídě zřejmě r. 1615 na pražském hradě v bílé věži "špatnou nemocí", avšak svéprávnosti byl zbaven již před rokem 1606. I Ondřejovi bylo souzeno zemřít nepřirozenou smrtí, ve svém blouznění vytrval přes třicet let, přičemž poničil mnoho kostelních výzdob v našem kraji, a byl údajně nalezen jednoho dne mrtev s bodnou ranou v prsou (v r. 1625). Pověst však souvisí s nejstarším synem - šíleným Ferdinandem, kvůli němuž muselo býti ve vlhkém a ponurém zámeckém sklepení cihlovou přepážkou vytvořeno v malém výklenku těsné vězení bez oken o rozměrech 2x2 metry, v němž dospělý člověk nemohl by ani pohodlně spočinouti. Ve zdi z cihel byly dva otvory: jedním podávala se mu potrava a druhým vhánělo se mu do sklepení teplo, aby tu nezahynul zimou. Byl zde uvězněn poté, co v záchvatu šílenství zavraždil dne 6. května 1590 v Lobkovickém paláci v Praze svou matku Kateřinu z Lokšan, za což byl svými přáteli přikován ke kočáru a převezen na Zelenou Horu, kde mu měly být dokonce z rozkazu císaře Rudolfa II. - ovšem dle zcela neopodstatnělého názoru - podřezány žíly, aby vykrvácel. Naopak byl údajně právě pak uvalen do šatlavy v zámeckých sklepeních, kde žil ještě v r. 1595, přičemž vězení muselo být po jeho smrti pobořeno, aby tělo mohli vynést. Místo, kde byl nešťastník pohřben, není známo. Pověst praví, že jeho tělo však nenalezlo dosud v hrobě klidu a stále sídlí v oné ponuré kobce, z níchž prý vychází o půlnoci po zadních, točitých schodech do vyšších pater zámeckých, do oněch komnat, z nichž byl léta vyhoštěn, a že prochází jimi až do jedné hodiny po půlnoci.
