Zhruba po sto letech od smrti Marie Dominiky žil prý na Zelené Hoře zlý mušketýr, který velmi trápil poddané robotníky a zvláště pak mladé a krásné dívky. Jedné noci byl však přepaden na cestě k zámku a ušlehán - spolu i se svým strážcem, velikým černým psem - až k smrti. Stalo se tak prý v oněch místech, kde po levé straně začíná dodnes patrné ozdobné cihlové zábradlí, a kde stojí na kamenném podstavci, ozdobeném šternberskou hvězdou a letopočtem 1705, pěkný kříž, u něhož prý stávala dříve i socha sv. Vojtěcha. Mušketýr za své hříchy nemá v hrobě pokoje a od těch dob straší v těchto místech i se svým psem, jindy zas u Červeného mostu pod Zelenou horou, kde zdaleka již je slyšet jeho zlomyslný smích a hrozivý psí štěkot.

Na zámku nalézají se údajně pak ještě i další strašidla, u nichž nedochovaly se však již dodnes jejich jména, příběhy ani osudy. Vždyť kolik dalších nevinných obětí bylo umučeno v přízemí okrouhlé věže zvané "kozí díra", kde byla šatlava již v r. 1560, a kde ještě v první polovině 19. století prováděl své nemilosrdné praktiky obávaný ředitel panství Josef Brosch. V 19. století byla prý na Zelené Hoře dokonce zavražděna kněžna z rodu Colloredo-Mansfeldů! Tak jako na jiných hradech byli ve středověku do zelenohorských zdí pro svá rozmanitá provinění zaživa zazdíváni lidé. V loňském roce provedený psychotronický výzkum ukázal, že nachází se v zámeckých zdech celkem dvaadvacet koster. Dle pověsti straší v oněch místech, kde nalezli svou smrt a jejich vzdechy a nářek, vycházející ze zdí, lze někdy slyšet dlouho do noci.