Im Gegensatz zum gegenüberliegenden Burgfelsen, dessen Siedlung auf prähistorische Zeiten zurückzuführen ist, war die Hirtenwand nie dauerhaft bewohnt. In der Vorgeschichte sind jedoch bereits Menschen hierher gekommen, was durch die Entdeckung von zwei Bronzeäxten aus der Spätbronzezeit, die zur Lausitzer Kultur gehören, belegt wird. Im heutigen Labský-Damm wurden Jahrhunderte lang die Ausläufer der Hirtenmauer besiedelt. Hier lag das Dorf Weiher, das zu Beginn des 16. Jahrhunderts erstmals geschrieben wurde. Der Name Weiher (übersetzt aus dem Teich) wurde von Teichen und Feuchtgebieten abgeleitet, die an diesen Stellen ein nicht mehr existierendes Delta der Mündung des Jílovský-Baches zur Elbe bildeten. Weihers Bewohner waren hauptsächlich Schiffer und Fischer, aber auch Handwerker wie Korbmacher und Schreiner. Das Dorf erweiterte sich allmählich entlang der heutigen Teplická-Straße in Richtung des Jílovský-Tals. Seine Bewohner verwandelten die Wälder entlang des Elbufers auf Feldern und Wiesen in Chrochvice. Auch die Südhänge der Schäferwand und des benachbarten Rotberg sind zu Wiesen und Weiden geworden. Die Hirtenmauer hat inzwischen wahrscheinlich ihren Namen erhalten. 1540 haben wir einen gewissen Klement Schäfer in Weiher, dessen Land "unter dem Felsen" lag. Der Familienname Schäfer ging später an die angrenzende Mauer über, die in der aktuellen ungenauen Übersetzung der Schäferwand Schäferwand genannt wurde. Dieser Name wurde nur für die Felswand verwendet, die über der Elbe aufragte, während der Rest des Massivs, das sich in Richtung der Schaber erstreckte, Rotberg (Červený Vrch) hieß. Die Romantik des 19. Jahrhunderts brachte eine Legende über Hirten und Schätze hervor.

Wenn wir in die Mitte des Nachbardorfs Rotberg kommen und wir haben genug Vorstellungskraft, werden wir in der Felswand unterhalb des heutigen Restaurants einen "Kopf eines schlafenden Hirten" sehen, der insbesondere in feinem Schneepulver sichtbar ist. Das gesamte Felsmassiv von Schäferwand(damals Rotberg) gehörte zum Gut Děčín und wurde jahrhundertelang als landwirtschaftlicher Wald für den Holzeinschlag genutzt. Am Südhang des Hügels befand sich ein Weingut, dessen Name immer noch an die Straße Na Vinici erinnert.