V podloží dnešních skalních masivů leží tak jako v širokém okolí krystalinické vrstvy starohorních břidlic. Krystalinikum je tvořeno hlubinnými vyvřelinami (biotitický gramodiorit) paleozoického stáří, které byly průběhu dalších epoch částečně přeměněny (metamorfovány) na břidlice. Ty vystupují na povrch pouze poblíž ústí říčky Suché Kamenice (byly těženy v lomu – dnes parkoviště jižně od Hřenska). V podloží křídy lze vysledovat další přeměněné vrstvy do podoby krystalických vápenců (Maxičky a Sněžník).

Další vývin probíhal severně od děčínské kotliny (Lužický žulový masiv – patrně předkambrického stáří, permské vrstvy, jurské sedimenty slepenců, vápenců, dolomitů a slínovců),  ale pro naše účely stojí poněkud mimo, a proto se jím nebudeme zabývat. V nynější děčínské kotlině v té době zřejmě probíhal denudační proces (zarovnávání terénu na parovinu), a další změny jsou zaznamenány až ve svrchní křídě sedimentací okolních masivů ve stupních cenoman - turon, v horních partiích pak coniac - santon. Následně probíhalo období souše dlouhé desítky miliónů let, kdy děčínská kotlina byla součástí rozlehlé pevniny sahající od střední Francie až po západní okraj Ruské tabule. V období oligocénu (starší třetihory) byly vrstvy pískovců zpevněny jednak pochody chemickými (působením kyseliny křemičité) a později také horotvornými procesy (vulkanismy a tektonika alpsko-karpatského vrásnění). V tomto období také vznikla světově proslulá diatomitová sedimentační pánev, později známá jako Bechlejovická stěna. Byl zaznamenán třetihorní výskyt korýšů, hmyzu a obojživelníků, rovněž tak celé řady dřevin a dalších druhů rostlin (cca 75 druhů). Podobné diatomitové lokality se našly i v Huntířově, Brložci a Soutěskách, u Markvartic a Veselíčka.

V období spodního miocénu (svrchní třetihory) proběhla I. neovulkanická fáze, která probíhala naším územím ve směru od severozápadu k jihovýchodu. Vulkanismus se západně, jižně a východně od Děčína projevoval povrchovými formami – lávovými příkrovy a proudy, které pronikaly vrstvami pískovce. Na okrajích Českého středohoří a údolích hluboko zaříznutých vodotečí jsou naproti tomu časté vypreparované formy podpovrchového vulkanismu - hlavně v podobě výplní sopouchů, žil a přívodních kanálů k povrchovým výlevům, i vlastní podpovrchová tělesa, která původně vůbec nedosahovala na povrch tehdejšího terénu. Svým složením se jedná o znělce (fonolity), trachyty a čediče (bazalty). Nejkrásnější ukázkou vypreparovaného sopouchu je vrch Vrabinec (351 m n.m.) u Babětína, vzdálenější jsou pak známy z Panské skály u Kamenického Šenova, nebo Zlatého vrchu nad Lískou čedičové varhany).Pozoruhodná je horizontální sloupcovitá odlučnost znělce na lokalitě Pustý zámek u České Kamenice. Původně zde býval lom, jehož vytěžené sloupy tvoří vyzdívku Dlouhé jízdy.            

Zatímco západní, severní a severovýchodní část Děčína a jeho okolí tvoří zpevněné pískovce svrchní křídy, na východě, jihu a jihozápadě je krajina formována zmíněnými vyvřelinami (znělce, čediče, trachyty). Současnou podobu zdejší krajiny modelovalo Labe s jeho přítoky – Ploučnicí, Jílovským potokem a několika menšími potoky. Z morfologického hlediska jsou nejdůležitějšími dominantami Pastýřská stěna, Červený vrch, Kvádrberk a Zámecká skála, na které v půlkruhu navazují třetihorní Sokolí, Pustý vrch, Chlum a Vrabinec, na levém břehu Labe pak Sedmihoří, Chmelník, Lotharův vrch, Popovický vrch a Klobouk (až na Popovický vrch a Vrabinec kolem 500m); nad údolím Jílovského potoka se na obzoru rýsuje nejvyšší hora Labských pískovců - Děčínský Sněžník (723m). Na okrajích některých pískovcových kopců jsou náznaky malých skalních měst (Kvádrberk, Pastýřská stěna, Sněžník).

Nejstarším dokladem podoby děčínské kotliny pocházející z mladšího pleistocénu (stupeň würm) je říční terasa na Fockeho výšině na někdejším soutoku Labe s Ploučnicí (dnešní areál nemocnice v nadmořské výšce cca 200m). Zajímavostí je výskyt materiálu severského původu (zejména pazourků*). To nám dává představu, v jaké výškové poloze se nacházel tok Labe. Krajina tehdy zřejmě působila poměrně plochým dojmem, ze které na severu vyčnívaly dnešní Růžovský a Arnoltický vrch.

*  Neznamená to ovšem, že by čelo severského ledovce až sem! Ten vytvořil morénu v oblasti Jítravského sedla, a její uloženiny sem byly dopraveny Ploučnicí a jejím přítokem, Panenským potokem.

Po masivním tání ledovců a působením četných povodní se údolí řek rychle zahlubovala a rozšiřovala. Navzdory tomu dle názorů geologů tvořila Pastýřská stěna se zámeckou skálou téměř do konce poslední doby ledové jeden masiv, a Labe jej obtékalo po východní straně. Dokazují to mnohametrové naplaveniny v trase původního řečiště.  /gpfg str. 105 Během této, jistě dramatické události, byla odkryta východní strana masivu Pastýřské stěny. Původní tok Labe později sledovala Ploučnice, která se do Labe vlévala  někde v prostoru dnešní Střelnice. Tomu ostatně nasvědčuje fakt, že ve středověku sem přivádělo vodu rameno Ploučnice, které napájelo několik rybníků (jeden z nich byl v prostoru dnešního Kokosu, další v prohlubni za Obchodní akademií, třetí – zvaný Děkanský býval na místě Sportovní haly a Dopravního inspektorátu, a poslední ležel západně od ulice 28. října). Rameno Ploučnice se postupně zanášelo, a rybníky se měnily v bažiny. Po jejich vysušení se plocha bývalých rybníků využívala k pěstování zeleniny, a dalších užitkových plodin. Původní tvar rybníků je v terénu patrný dodnes, a na místech posledních dvou byla později vybudována zahradnictví**, která se udržela až do poloviny 20. století.

** těch bylo v Děčíně celá řada, později zastavěná čtvrť před Střelnicí se původně jmenovala Zwiebel-garten, doslovně cibulová zahrada, spíše se tím myslela zahrada zeleninová.  

Podle starých plánů města se Ploučnice vlévala do Labe až do 70. let 19. století na místě železničního mostu severozápadní dráhy. V době stavby mostu byl tok Ploučnice prodloužen a do Labe zaústěn v dnešní poloze. Labe pochopitelně nebylo regulováno až do poloviny 19. století, takže břehy se zvolna svažovaly k vodní hladině. Také koryto Jílovského potoka v posledních 150ti letech několikrát změnilo svou podobu i polohu zaústění do Labe. Původně Jílovský potok ústil až pod Pastýřskou stěnou, v době výstavby železnice bylo vyústění toku přemístěno asi 150m pod železniční most přes Labe – přibližně proti viaduktu u mototechny; v polovině 90. let 20. století byl tok potoka znovu zkrácen, a jeho ústí bylo přeloženo do dnešní polohy – tedy asi 150 m před železniční most. 

V prostoru Pastýřské stěny bývaly dva velké lomy: první na JZ straně kopce, před nynějším jižním portálem tunelu – poskytoval kvalitní pískovec. Kámen horší kvality a písek byly těženy na JV straně, za dnešní restaurací Černé Kladno. Horší kvalita a stabilita skal této lokality byla zřejmě příčinou jejich řícení v zimě 2017-18. /bnlk

Přestože východní část Pastýřské stěny je podstatně stabilnější a kvalitnější než strana jižní, docházelo i zde k řícení skalních bloků. Velký vliv na tyto jevy měla silniční i železniční doprava, a překvapivě, jak prokázala níže uvedená měření, především doprava lodní. Proto byla již v polovině 60. let 20. století v rámci Technických služeb města založena horolezecká skupina, která se o bezpečnost skal starala. Skály byly zároveň monitorovány organizací Geologie Praha, která v 70. letech vypracovala projekt na stabilizaci skal speciálními jistícími kotvami. Realizace projektu proběhla ve druhé polovině 80. let, po roce 1990 však byla zrušena bez dokončení.       

/gpfg - Glöckner Petr: Fyzickogeografické a geologické poměry okresu Děčín    Nadace  Vlastivěda okresu děčínského – Řada příroda  1995 

/bnlk - Belisová Natalie: Lomy v kaňonu Labe    in: Kámen, revue kámen.cz