Starší trhovou ves Žebrák získal syn Oldřicha z Valdeka, který zemřel roku 1281. Hrad, jenž získal jméno po skalním žebru, na jehož konci stojí, založil teprve jeho vnuk Oldřich Zajíc (umírá 1304). Nové sídlo žebrácké (později házmburské) větve Buziců bylo postaveno asi 2km severně od obce na ostrohu, vytvořeném křemencovým valem, který se táhl shora od severovýchodu a zde nad soutokem Pekelského a Stroupinského potoka končil. Protože hřeben byl velmi dlouhý a jen několik metrů široký, byl příčný příkop, jímž byl křemencový val napříč proťat, vzdálen od obou potoků téměř 200 m. Na tomto neobyčejně úzkém a protáhlém staveništi byl postaven vnitřní hrad, jehož nejdůležitější část, okrouhlá věž, měla v průměru více než 11 m. Těsně za ní, oddělen asi 2,5m širokou mezerou stál palác, který byl na nejširším místě za věží včetně zdí asi 10m široký a přes 30m dlouhý. Z budov, které vyplňovaly mezeru mezi palácem a příčným příkopem, zůstaly jen nepatrné zbytky zdí. Teprve těsně nad příkopem se zachoval základ obdélného stavení s dodatečně vestavěnými rohovými pilířky pro klenbu.

K hornímu hradu se připojovalo předhradí, založené ve svahu, z něhož však zbyla jen severní a západní část. Jižní část, založená na úbočí křemencového valu, až na nesouvislé zbytky zdí úplně zmizela. Původní cesta na hrad odbočovala v Žebráku od hlavní dálkové komunikace k severu, pod okrouhlou věží horního hradu překročila Mlýnský potok a pokračovala podél jižní, dnes zmizelé části předhradí až k příčnému příkopu. Za ním se otočila zpět a vstoupila do severní části předhradí, založené hluboko ve svahu. K ochraně brány, prolomené v příčné zdi, která se tu postavila příchozímu v cestu, byla po pravé straně do pravoúhlého nároží vestavěna druhá okrouhlá věž, přístupná přímo z ochozu severní hradby hrotitým portálkem. Na rozdíl od velké věže vnitřního hradu byla slabší a menší; měla v průměru necelých 9 m a obvodní zeď jen 2 m silnou.

Horní věž bývala spojena v 1. patře padacím můstkem přímo se sousedním palácem a odtud také přístupná. Ostění vstupního portálku, prolomeného vysoko nad terénem, je dnes vylámané a nahrazené, ale horní část pravoúhlé vpadliny pro padací most je dosud patrná. Vzhledem k neobyčejné těsnosti staveniště byla okružní zeď horního hradu, která se připojovala k nároží paláce, otočena kolem velké věže, kde byl vrchol valu nejširší, ve formě jakéhosi velmi těsně obepjatého pláště, který ponechával mezi zdí a věží jen úzkou, 1m širokou uličku. Na západ od věže, kde se hřeben zase zužoval a prudce svažoval suťovým podnožím k soutoku potoků, se obě ramena pláště, uzavřená příčnou zdí, zase spojila a vytvořila před věží protáhlou, jen asi 3,2 m širokou baštu, uzavřenou na konci ostrohu půlkruhem. Tak došlo k vzniku neobvyklého útvaru protáhlé bašty s oblým čelem, které tu bylo podmíněno vlastně jen mimořádně úzkým staveništěm, nedovolujícím rozvinutí do šířky a znesnadňujícím neobyčejně tvrdým materiálem zakládání hlouběji ve svazích. Měla-li věž zůstat volná, bylo to jediné řešení, které umožňovalo hradní posádce plynou cirkulaci z podstřešení paláce po ochozech hradebních zdí kolem věže.

Dalším neobvyklým zjevem tohoto hradu je druhá okrouhlá věž, střežící vstup do předhradí. Není tak výjimečná svou existencí – podobné věže byly už na Bezdězi a na Pecce – jako spíš svým zařízením a způsobem zapojení do hradebního okruhu. Je mnohem slabší, než bývají obvykle velké věže (vnitřní průměr měří 4,8 m při síle zdi pouhé 2 m). Přízemí, uzavřené ve výši hradebního ochozu rovným stropem, bylo zcela temné, bez otvorů; otvor, jímž se dnes pracně protáhneme dovnitř, byl vylámán dodatečně. Patro bylo sice na konci 14. století – podobně jako na hlavní hradní věži, přestavěno, ale na jeho zařízení se sotva co změnilo. Vzhledem k tomu, že věž nebyla přístupná zdola a stála v nároží, musel být vchod už od počátku na dnešním místě, mezi oběma hradbami. A protože se nezměnila ani poloha stropu, je zřejmé, že už od počátku měl být ve stejné výši jako ochozy hradebních zdí. Byl tedy zapojen mnohem těsněji do komunikace hradebních ochozů, než bývalo zvykem dříve, např. na Volfštejně, na Bezdězu nebo ještě v Dobronicích. V 15. století byla věž dovybavena patrem se střílnami a zřejmě nesla další roubené nebo hrázděné patro či polopatro pro střelce z ručnic. (Jednalo se o jednu z nejstarších snah o reakci na rozvoj dělostřelby po husitských válkách.)

Hrad nabyl zvláštní důležitosti zejména od roku 1346, kdy byl Karel IV. zvolen za krále v říši. Ležel totiž poblíž hlavní cesty, která spojovala Prahu, přes Zdice, Plzeň a Brod s Norimberkem a odtud přes Würzburg s Porýním, kam už dříve a od dob Karlovy mnohem naléhavěji směřovaly politické zájmy českých Lucemburků. To bylo také jedním z hlavních důvodů, proč už v roce 1336 Jan Lucemburský hrad získal pro sebe záměnou za panství budyňské, které dostal jako náhradu dosavadní držitel Žebráka, Zbyněk Zajíc z Házmburka. V roce 1341 koupil hrad i s panstvím Karlův nejmladší bratr Jan Jindřich, když byl vypuzen z Tyrol; ten také hrad opravil a patrně i rozšířil. Postavil zde novou kapli ke cti sv. Apolináře a sv. Markéty a daroval jí obec Praskolesy, což Karel v roce 1349 potvrdil. Krátce nato, po rozvodu Jana Jindřicha s tyrolskou dědičkou Markétou Maultasch a po jeho odchodu na Moravu, připadl hrad králi, který hradní kapli přivtělil v roce 1357 k nově založenému děkanství karlštejnskému. Hrad sloužil bezpochyby jako přestupní stanice a místo noclehu při častých Karlových cestách do říše a zejména při návštěvách říšských sněmů, svolávaných obvykle do Norimberka.

K takovým "přestupným" hradům patřil zřejmě od roku 1336 i Žebrák. Jeho význam podstatně stoupl zvláště od roku 1353, kdy byla spolu s Laufem za Karla IV. přikoupena za 20000 zlatých celá Horní Falc a část Horních Frank. Proto byl Žebrák zařazen do Majestas Carolina mezi hrady, které nesměly být zastaveny královně nejdéle na 20, jiným osobám pouze na 10 let. Těsně před smrtí v roce 1377 dal Karel obehnat zdí i městečko Žebrák, takže dálková cesta, která jím procházela, byla pak na obou koncích obce uzavřena věžovými branami.

Prosperita hradu hodně závisela na vztazích českého dvora k říši. To se projevilo zvláště v době Václavově, který na hradě nejčastěji meškal v letech 1383–96, kdy alespoň občas zajížděl do říše. V té době byl hrad patrně také přestavěn.

Přestavba se týkala především starého hradního paláce, postaveného na křemencovém valu těsně za velkou okrouhlou věží, s níž byl spojen už od svého založení v 1. patře padacím můstkem. O přestavbě, která byla velmi pronikavá, protože ponechala ze starší budovy jen spodní část obvodových zdí, lze si dnes udělat představu pouze podle zbytku severní zdi se čtyřmi velkými obdélníky oken, profilovaných šikmicí s vloženým oblým prutem. Kamenné venýře oken dostaly v průčelí široké rámy z bílého štuku, stejně jako ve východním průčelí královského paláce nahoře na Točníku. Opakuje se tu tedy podobné pojetí průčelí, jaké je třeba na Menštejně a Bečově. Palác byl prodloužen a zcela přestavěn. V patře nyní obsahoval velký sál, klenutou místnost spojenou s přízemím šnekovým schodištěm a další prostoru v rozšíření. Současně byla také stará velká věž vedle paláce pokryta hrubou omítkou, v níž byly vytaženy bílé hladké pásky, napodobující kvádrování. Dále byla zvýšena o nástavbu snad obytného charakteru. Kaple, která stávala patrně až na východním konci hřbetu, zmizela zatím beze stopy.

Starý a malý hrad, nezpůsobilý vzhledem k mimořádné těsnosti staveniště k rozšíření, nestačil potřebám krále, zvyklého od nejútlejšího dětství přepychu, ani početné družině a četným vzácným hostům ze zahraničí, zejména z říše, kteří sem za králem přicházeli. Proto dal král postavit ještě jednu obytnou budovu v předhradí, kde byl terén k rozvinutí takové stavby příhodnější. Podobně jako na Lokti nevázala se ani tady nová budova stavební čarou, vymezenou starší okružní hradbou, ale protrhla rovným čelem zcela bezohledně její oblou linii. K tomuto širšímu křídlu, obrácenému průčelím k západu, k potoku, přiléhalo užší dvorní křídlo, přistavěné k starší hradbě, z něhož však dnes zbyly už jen základy. Mělo se jednat o využití starší menší věže v čele bývalého nádvoří, která obdržela novou funkci jako okrouhlé boční průčelí nového úzkého paláce, jež zaujal původní nádvoří beze zbytku. Hlavní obytné křídlo mělo dvě patra, krytá trámovými stropy, po nichž zbyly kapsy v dosud stojící západní zdi, uplatnila se i roubená komora. Úzká okna s lavičkami ve výklencích mají ostění už dávno vytrhané. Na severu přiléhal k budově užší přístavek se zbytky točitého schodiště. Jediným charakteristickým znakem, který dovoluje datování a slohové zařazení stavby, je zbytek jihozápadního nároží, vyzděného z bosovaných kvádrů. Podobné kvádry zpevňovaly také druhé zevní nároží budovy, ale ty byly po devastaci hradu v 16. století vytrhány. Současně bylo k hornímu hradu přihrazeno na jihu podhradí, uzavřené dvěma branami: jedna byla za mostem, překračujícím Mlýnský potok, druhá na východě, kde hřeben horního hradu přetínal příkop. Byly tu postaveny také další budovy (dnes pivovar připomínaný již v roce 1590), o čemž svědčí gotické okno v jeho západní části, a podhradí, které bylo přičleněno k Točníku.

Řetěz staveb se táhl i mezi bývalým jádrem a kaplí nad příkopem. Nejpozději od této doby byla součástí obranného systému i soustava rybníků, obléhající hrad ze tří stran, která vydržela až do 19. století. První brána podhradí byla přístupná po hrázi mezi dvěma rybníky, kde cesta vstupovala na zvoditý most.

Stavby byly výrazně narušeny požáry v roce 1395, 1532 a také hledači pověstného pokladu Václava IV.