V „Pamětech žamberských je projeven názor, že Žampach dostal jméno (a byl založen) Petrem se Sandbachu, který se    přistěhoval ve 2.pol.13. století z krajin nad Metují. I „Popis Potštejna" J. Zoubka shodně s těmito uvedenými názory, kladl vznik Žampachu hradu do 2.poloviny 13.stol. První zmínky o hradu jsou z r.1308. Často setkáváme se se jmény pánů ze Žampachu ve 14.století. Slyšíme, že hrady jejich v té době jsou postrachem a ke škodě obyvatelů.Jsou doupaty šlechticů-zbojníků a rytířů loupežníků. Velmi si stěžuje kronikář kláštera zbraslavského (klášteru tomu náleželo panství lanškrounské s Lanšperkem, které mu Václav II.daroval) na své rytířské sousedy. Po násilné smrti Václavově v Olomouci 1306 umocnil se pan z Dubé zboží tohoto kláštera a vydíral úroky a platy na poddaných po dvě léta.Mniši sebrali 1000 hřiven,aby zboží vykoupili. Opat Petr takto naříká:" Ženy a panny z oděvů slečené jsem tam běhati a lkáti a naříkati svýma očima viděl,až kosti mé nad tím strnuly a duch můj se zhroutil.“ Aby se obyvatelům ulehčilo,věnoval jim opat celý roční výnos panství (300 hřiven stříbrných.).
Za Jindřicha Korutanského bylo ještě hůře.Tu cisterciáci,aby zabránili dalším loupežím a násilí na svém panství, platili svým loupežným sousedům za pokoj. Mezi těmi sousedy je i Petr ze Žampachu, který i když dostal 60 hřiven stř. nepřestával ze Žampachu a Brandýsa řeholníky znepokojovat, takže tito své zboží dali pod ochranu 1316 Ignáci Hlaváčovi z Dubé a na Třebechovicích.
Osudy Potštejna a Žampachu jsou si tehdy velmi podobné, oboje zboží má společného pána.Byl to Mikuláš z Potštejna (Žampachu, Litic, Chocně a Ctislavi), který zbujničil a loupil. Po stížnostech u Karla IV. prosil sice Mikuláš o milost, pak ale znovu začal své nekalé dílo, takže Karel IV.vypravil se v r.1338 proti Potštejnu. Po dvou měsících hradu dobyl.Mikuláš s nejlepšími pomocníky dal se podkopati ve věži.Zboží jeho bylo darováno nejvyššímu purkrabí v Praze Janu Vartenberku.Ježek, syn Mikulášův utekl do Polska,odkud se r.1341 vrátil.Dostal milost a část otcových statků zpět, mezi nimi i Žampach.Ježek nedržel statek dlouho. Po patnácti letech pustil jej svému vasalu rytíři Janu Pancířovi se Smojna,který se tak stal hradním pánem na Žampachu. Paměti o něm jsou neúplné a nemůže se o jeho původu řicí. Za krále Jana zúčastnil se mnoha polních tažení a provázel krále Jana i v krvavé bitvě u Kressy. I za krále Karla vynikal mezi královskými milci svou statečností .Provázel r.1355 Karla IV. na korunovační cestě do Pisy - při známém přepadení vyznamenal se takovou statečností divokou,že Karel v odměnu za statečnost - zavěsil mu na krk zlatý řetěz, který sám nosíval a pasoval Smanického na rytíře.Pyšný na své vyznamenání,ale zvyklý životu válečnému,spěchal Pancíř Z Itálie na Žampach, kde s několika svými pomocníky hýřivě žil. Aby na to měl,začal loupit a okrádat cestující kupce i své sousedy. Jako kdysi Mikuláš, Ježek z Potštejna, vlastní pán hradu, mu to nechtěl trpět a veřejně označil Pancíře za zbojníka. Pancíř prý ho zajal,uvěznil a  konečně i odstranil. Teď měl volné ruce a nikdo nebyl před ním jist. Loupeží denně přibývalo.Formani byli na veřejných cestách o zboží, koně i vozy okrádáni. Zvěsti o tom došly i ke Karlovi IV. Navzdor špatnému počasí chtěl Karel viníka hned potrestat a tak ke konci r. 1356 přitáhl k Žampachu. Menší loupežníci v kraji chrudimském a hradeckém (kteří řádili po vzoru Pancířově) byli i potrestáni a nakonec nechal si Karel IV. Žampach. Položil se táborem na severovýchodní straně hradu na návrší u Žamberka, které odtud dodnes sluje Karlovice. Pancíře varoval s dodatkem, „jestli se dobrovolně poddá,že zapomene starých zločinů a dává mu naději na milost."Pancíř vzdorně odpověděl: “Má-li císař chuť,může přijít a se mnou se měřit." Nato byl Žampach obležen a po tuhém odporu prolomenou branou vzat. Pancíř s 18 pomocníky - tovaryši zajat. Když pak byl předveden, udiven připomenul si Karel rytíře, kterému před 9 měsíci zavěsil zlatý řetěz na krk v Pise. Rozhorlen vyskočil a řekl: „Takový lump nosí můj dar! Za tehdejší svou statečnost dostals´ řetěz zlatý, za nynější činy položím ti oprátku na krk,aby se teď mohlo říci - Karel IV. rytíře obšťastnil dvojím darem. Jednou čestným zlatým, podruhé za zlotřilost." A poručil jej s 18 pomocníky proti hradu, kde stálo mnoho jedlí,na tyto pověsit. Pancíři dostalo se té milosti, že byl pověšen opodál od ostatních.  Bieneberg vypravuje, že na místě,kde Pancéř neslavně skončil, vsadili mladý stromek,který za jeho času (r.1787) stál. Křižánský lesní Jos.Javůrek - přes 80 let starý - mu r. 1786 ukazoval, kde ony jedle stály a vypravoval, že jeho otec jako hoch pařezy těch jedlí viděl a kopal. Všechny stály na svahu proti Křižánkám. |

Při opravě starého patra na hradě v kapli našli (vypravuje Bienenberg) lidskou kostru, při níž ležel dlouhý nůž. Lidé měli zato,že je to kostra popraveného rytíře. Na faře v Písečné chovají obraz Pancířův. Byl nalezen v zámku na Žampachu a Cruso Bishofem faře darován.Představuje poprsí asi 62 létého rytíře (Pancíře) se zlatým řetězem na krku. Nad hlavou na rámu je vázanka z oprátky. V pozadí stráň svažující se k jihovýchodu - sem tam křovinami porostlá. Ve skutečnosti bude to portrét některého z Bukovských.
Po popravě byl hrad rozhašen a zboží přepuštěno právoplatnému majiteli Čeňkovi z Potštejna s podmínkou, že hrad více nepostaví, což tento schválil. R.1375 zanechal hrad dědici Václavu ze Žampachu, od toho přešel kolem r.1370 na Jana (staršího) Žampacha z Potštejna.  

Na konci 14. stol. vyskytuje se jméno Žampachů z Potštejna nebo Potštejnů se Žampachu velmi často. Tak Bušek z Kyšperka řečený ze Žampachu je pánem podacím kostela v Mladkově (1354-1360-1369), v Lukavici (1354).  Jan ze Žampachu jinač z Potštejna byl podacím pánem kostela ve Vamberku. Zasedal na soudu zemském v letech 1388-92, zemřel r. 1395. Spolu s manželkou nadal Mikuláš Žampach z Potštejna r.1396 nového faráře v Lukavici a r.1397 v Nekoři. Potštejnská větev sídlem v Černíkovicích jmenuje se rovněž po hradu Žampachu. Jsou to např. Kolda ze Žampachu na Černíkovicích (1398),Jan starší a Jan mladší Žampachové na Černíkovicích,Václav ze Žampachu a na Ratibořicích.Tato větev proslula rovněž svou výbojností. Jako svědek v řízení Magdaleny Altars v Brandýse podepsán jest (r.1399) Petr ze Žampachu příjmím Kolneh (?) z Sudslavi. Pota z Potštejna je r. 1374 arcijáhnem pražským.