Tradycja stawiania krzyży sięga okresu po powstaniu listopadowym w 1831 r., kiedy to władze rosyjskie zabroniły stawiania krzyży na grobach poległych i straconych powstańców. Ich bliscy, postanowili więc zamiast na grobach, stawiać symboliczne krzyże ku ich czci właśnie na wzniesieniu pod Jurgajciami, które z czasem zaczęto nazywać Górą Krzyży. Podobna sytuacja powtórzyła się po powstaniu styczniowym. Krzyży stale przyby­wało, bowiem z czasem ludzie zaczęli w ten sposób upamiętniać także swych bliskich zesłanych na Sybir. Góra stała się miejscem pielgrzymek i wkrótce zasłynęła w związku z cudownym spełnianiem się intencji pątników, którzy wypisywali swe prośby na tabliczkach lub bezpośrednio na krzyżach. Sława góry zaniepokoiła słynnego "Wieszatiela" - gubernatora wileńskiego Murawiowa, który nakazał usunięcie krzyży. Na miejscu usuniętych pojawiały się jednak ciągle nowe. z czasem utarł się zwyczaj odprawiania na górze nabożeństw majowych i mszy w intencji poległych, straconych, zesłanych i zaginionych. W 1900 r. na górze stało 130 krzyży, a w 1938 - ok. 400. w 1961 r. miejscowe władze komunistyczne postanowiły zlikwidować miejsce kultu. Na górze znajdowało się wtedy ok. 5 tys. krzyży, które przy udziale NKWD i milicji zostały spalone i zniszczone za pomocą spychaczy. Krzyże jednak znowu zaczęły wyrastać na górze i ponownie zniszczono je za pomocą spychaczy w 1973 r. Przez kilka następnych lat trwała prawdziwa "wojna o krzyże". w dzień wzgórza pilnowała milicja, w nocy ludzie ustawiali krzyże, rano niszczyli je milicjanci, itd. Później powstał projekt zatopienia góry przez spiętrzenie wód rzeczki Kulpy i urzą­dzenia tu kolektora ścieków z Szawli. Koniec tym zmaganiom przyniósł rok 1980, kiedy to na międzynarodowej konferencji poświęconej prawom człowieka (odbyła się w Meksyku) przedsta­wiono dokumenty o prześladowaniu wolności wyznania na Litwie, co sprzeczne było z międzynarodowymi konwencjami podpisanymi przez ZSRR. Wybuchł skandal na skalę międzynarodową, po którym represje zasadniczo ustały, choć później zdarzały się jeszcze aresztowania wśród pielgrzymów. Od tego czasu liczba krzyży na Świętej Górze zaczęła szybko rosnąć. Po proklamowaniu niepodleg­łości przez Litwę, w dniach 3-14 czerwca 1990 r., w celu upamięt­nienia ofiar terroru komunistycznego na Litwie, zorganizowano tzw. Marsz Niepodległości i Nadziei, podczas którego pod Górę Krzyży dotarło z krzyżami na ramionach kilkadziesiąt tysięcy pielgrzymów z całej Litwy. Ustawiono tu wówczas i poświęcono wotum dziękczynne za uzyskanie niepodległości w postaci dużej drewnianej rzeźby Matki Bolejącej niesionej przez pielgrzymów przez całą Litwę.