Eine interessante Geschichte verbindet die Pastýřská stěna mit den Napoleonischen Kriegen. Nach der Niederlage in Dresden waren die alliierten russischen, preußischen und österreichischen Truppen gezwungen, sich nach Böhmen zurückzuziehen. Erst am 30. August 1813 besiegten sie in der Schlacht von Chlumec in Ústí nad Labem die erste französische Armee und eroberten General Vandamm. Kurz nach der Schlacht kam der Kommandant der Festung Theresienstadt zur Feldrüstung Chasteler mit der Idee, eine starke Grenzfestung zu errichten. Ralčeský Gibraltar sollte auf der Pastýřská stěna und dem benachbarten Hund gebaut werden. Die Idee wurde definitiv vom Nachlassverwalter des Grafen Thun-Wirtschaftsrats, Wolfgang Kropf, entwickelt, der schließlich den General von der Ungeeignetheit eines solchen Gebäudes überzeugte. Dann befahl Chasteler, am Red Hill und am Brückenkopf an der Elbe nur eine abfallende Verteidigungslinie zu bauen. Der Schaden an unnötig geschlagenen Bäumen betrug jedoch über 900 Gold. Darüber hinaus verursachten die "alliierten" Kosakentruppen erheblichen Schaden, indem sie die umliegenden Dörfer plünderten.

Eine weitere Attraktion der Hirtenmauer war das 1919 gegründete Waldtheater in einem einfachen heutigen Zoo von Gustav Franz Pilz, dem Direktor und Inhaber des Podmokel Varieté (heute Stadttheater). Seine Theatergesellschaft hat zwei Blockgebäude errichtet, in denen permanente Szenen und ein Auditorium mit Holzbänken davor stehen. Der Eingang des Komplexes bestand aus einem großen Holztor mit Registrierkassen. Der Theaterbesuch war jedoch nicht sehr hoch und wurde 1925 vom Eigentümer geschlossen.

In der Mitte des Waldes in der Pastýřská stěna an der Stelle des abgebrochenen Waldtheaters befindet sich das Gebäude der Jugendherberge Nr. 1286, die den Studentenclubs während der Ferien eine günstige und einfache Unterkunft bot. Nach der Gründung des Zoos wurde die Herberge als Verwaltungsgebäude in ihren Komplex integriert.