Первоначально гора была местом памяти. После неудачного польского восстания 1831 года против русского царя (Литва, как часть Речи Посполитой, по международному договору 1772 года отошла Российской империи) многие повстанцы пали в боях. Но, так как тел погибших не нашли, родственники в память о каждом из них установили на горе по кресту. Однако есть версии и о более древнем происхождении Горы Крестов — она якобы возникла на месте языческого капища с приходом христианства, в XIV веке (Литва была католизирована позднее других стран Европы, а православие появилось здесь несколькими веками раньше).

Учитывая историю мемориала, неудивительно, что в советское время гора для литовцев стала символом национального протеста и борьбы с коммунистическим режимом. КГБ не удалось уничтожить Крестовую гору, пишет Daily Mail. С 1964 по 1984 года были предприняты четыре попытки уничтожить место поклонения. Однако каждый раз после того, как бульдозер сносил кресты, на горе быстро и во множестве появлялись новые. Эти действия стали своего рода мирным протестом жителей Литвы против проводимой советскими властями политики.

Известно, что одно распятие было установлено Папой Римским Иоанном Павлом II во время его визита в Литву 7 сентября 1993 года. Этот жест сделал Гору Крестов известной во всем католическом мире, что привело к значительному увеличению посещающих гору паломников и туристов. В 2007 году здесь случился пожар, но всего за одно лето выгоревшее пепелище вновь покрылось крестами. По народному поверью, тому, кто оставит на Горе крестов крест, будет способствовать удача, пишет Rus.db.lv.