Zajímavá historie váže Pastýřskou stěnu k období napoleonských válek. Po porážce u Drážďan byla spojenecká ruská, pruská a rakouská vojska nucena ustoupit do Čech a teprve 30. srpna 1813 v bitvě u Chlumce na Ústecku se podařilo porazit první francouzskou armádu a zajmout generála Vandamma. Krátce po bitvě přišel velitel terezínské pevnosti polní zbrojíř Chasteler s myšlenkou vybudovat silnou pohraniční pevnost. Na Pastýřské stěně a sousedním špičáku měl vzniknout ˇčeský Gibraltar“. Nápadu se rozhodně postavil správce panství hraběcí thunský hospodářský rada Wolfgang Kropf, který nakonec generála přesvědčil o nevhodnosti takové stavby. Chasteler pak nařídil pouze vystavět šikmou obrannou linii na Červeném Vrchu a předmostí u Labe. I tak činila škoda na zbytečně pokácených stromech přes 900 zlatých. Navíc „spojenecké“ kozácké oddíly způsobily značné škody loupením po okolních vesnicích.

Další atrakcí Pastýřské stěny, se roku 1919 stalo lesní divadlo zřízené v prostou dnešní ZOO Gustavem Franzem Pilzem, ředitelem a majitelem podmokelského Varieté (dnešního městského divadla). Jeho divadelní společnost zde zřídila dvě srubové stavby sloužící jaké stálé kulisy a před nimi hlediště z dřevěných lavic. Vstup do areálu byl tvořen velkou dřevěnou branou s pokladnami. Návštěvnost divadla však nebyla příliš vysoká a majitel ho roku 1925 uzavřel.

Uprostřed lesa na Pastýřské stěně v místech zrušeného lesního divadla vyrostla v roce 1936 budova studentské ubytovny (Jugendherberge) č.p. 1286, která poskytovala o prázdninách levné a jednoduché ubytování studentským spolkům. Po vzniku ZOO byla ubytovna integrována do jejího areálu jako správní budova.