Na rozdíl od zámecké skály, jejíž osídlení lze vysledovat již v pravěku, nebyla Pastýřská stěna nikdy trvale osídlena. Nicméně již v pravěku sem přicházeli lidé, o čemž svědčí nález dvou bronzových seker z mladší doby bronzové náležejících lužické kultuře. Po staletí bylo osídleno úpatí Pastýřské stěny v místech dnešního Labského nábřeží. Rozkládala se zde vesnice Weiher, písemně poprvé doložená na počátku 16. století. Název Weiher (v překladu rybník) se odvozoval od rybníčků a mokřin, které v těchto místech tvořily dnes již neexistující deltu ústí Jílovského potoka do Labe. Obyvatelé Weiheru byli především lodníci a rybáři, ale též řemeslníci jako košíkáři a truhláři. Vesnice se postupně rozrůstala podél dnešní Teplické ulice směrem do Jílovského údolí. Její obyvatelé přeměňovali lesy podél labského břehu až k Chrochvicím na pole a louky. Také jižní svahy Pastýřské stěny a sousedního Červeného Vrchu se změnily na louky a pastviny. Již nejspíše v této době získala Pastýřská stěna své jméno. V roce 1540 je ve Weiheru doložen jistý Klement Schäfer, jehož pozemky se nacházely „pod skalou“. Příjmení Schäfer (ovčák) přešlo později na přilehlou stěnu, které se začalo říkat Schäferwand, tedy vlastně Schäferova stěna, v současném nepřesném překladu Pastýřská stěna. Tento název se používal jen pro skalní stěnu tyčící se nad Labem, zatímco zbytek masivu táhnoucí se směrem ke Škrabkám nesl název Rotberg (Červený Vrch). Romantismus 19. století dal vzniknout pověstem o pastýři a pokladu.

Vystoupíme-li asi do poloviny sousední osady Červený Vrch, a máme dostatek představivosti, uvidíme ve skalní stěně pod dnešní restaurací „hlavu spícího pastýře“, zvlášť dobře patrnou při jemném sněhovém poprašku. Celý skalní masiv Pastýřské stěny (resp. tehdy Červeného Vrchu) byl součástí děčínského velkostatku a po staletí se využíval jako hospodářský les pro těžbu dřeva. Na jižním svahu kopce se nacházela vrchnostenská vinice, jejíž polohu dodnes připomíná název ulice Na Vinici.