Pastýřská stěna sloužila od nejstarších dob jako zdroj stavebního kamene pro výstavbu domů v nejbližším okolí. K významnější těžbě pískovce zde došlo ve čtyřicátých letech 19. století v souvislosti se stavbou železniční trati Praha-Drážďany. Kamene z Pastýřské stěny se v omezené míře užívalo také při stavbě řetězového mostu přes Labe v letech 1853-1855 a při dalších stavbách. Největší kamenolom se nacházel na jihozápadní straně masivu nedaleko ovčího můstku. Pohled na jeho lomovou stěnu dnes zakrývá zástavba Teplické ulice.

Vrchol lomové stěny dnes poskytuje vyhlídku do Jílovského údolí, které se v minulosti proslavilo především knoflíkářskou výrobou. Počátky knoflíkářství na Děčínsku je třeba hledat v první polovině 18. století, kdy se výroba přezek a cvočků stala vítaným přivýdělkem pro obyvatele hornaté a málo úrodné oblasti na rozhraní Labských pískovců a Krušných hor. Prvním výrobcem odlévaných mosazných a cínových přezek byl údajně Christian Hieke v nedalekých Petrovicích na Ústecku. Tereziánský katastr zaznamenává v Petrovicích již dvanáct přezkařů, v Jílovém pět cvočkařů a po jednom v Javorech, v Libouchci a ve Sněžníku. V té době se cvočkaři z panství sdružovali do jednoho cechu spolu s kováři a zámečníky v Děčíně. K sortimentu přezkařů a cvočkařů brzy přibyly kovové knoflíky a další odlévané i ražené drobné výrobky z kovu. Z Petrovic se brzy výroba rozšířila na děčínské panství, především do Tisé, kde již před polovinou 19. století vzniklo několik knoflíkářských manufaktur. Knoflíkářské firmy v té době z velké části využívaly domácí dělníky. Skutečná tovární výroba knoflíků se v Jílovském údolí rozběhla až v souvislosti se stavbou Duchcovsko-podmokelské dráhy, která umožňovala rychlou a levnou expedici výrobků do celé monarchie. V té době se zde kromě tradičních kovových knoflíků vyráběly též soustružené knoflíky z kostí a od druhé poloviny 60. let 19. století také ze skořápek ořechů kamenáčů (plod brazilské palmy Phytelephas, který má velmi pevnou skořápku podobnou slonovině).