Koncem 19. století začala mít Pastýřská stěna pro obyvatele tehdy již silně průmyslových Podmokel nový význam jako cíl vycházek a výletů do přírody. První hostinec byl na vrcholu Pastýřské stěny nad Labem postaven místní sekcí Horského spolku pro České Švýcarsko (Gebirgsverein für die Böhmische Schweiz) roku 1892. Jednalo se o malý dřevěný srub později doplněný krytou terasou, který byl určen pouze pro letní provoz. Přístup sem byl zpočátku možný pouze z jižní strany. Teprve roku 1899 zbudoval horský spolek výstup skalní stěnou ze severní strany od Červeného Vrchu. Na horním konci schodiště na to dodnes upomíná ve skále vysekaný nápis „Felsensteig Rotberg 1899“. Do tohoto období spadá postupná výstavba lesních promenád z pískoncových kamenů, které se táhnou po celé délce Pastýřské stěny až nad Dolní Oldřichov.

V roce 1905 byla v sousedství původního dřevěného hostince na vrcholu Pastýřské stěny postavena nová zděná restaurace s hotelovými pokoji a 13 m vysokou vyhlídkovou věží (č.p. 236). Stavbu v podobě romantické hradní zříceniny s prvky novorenesance financovalo město Podmokly a provedla ji renomovaná podmokelská firma Andreas Putz & Wilhelm Weber. Restaurace se od svého postavení nachází v majetku města a je pronajímána. Ještě před první světovou válkou kolem ní vznikla soustava krytých i nekrytých teras s hudebním pavilonem, mezi nimiž se rozprostírala velká plocha užívaná v létě jako taneční parket a v zimě jako kluziště. Podle inzerátu z roku 1913 se sem vešlo až 2000 návštěvníků.