தமிழில் மறை என்பது வேதங்களையும், காடு என்பது ஆரண்யத்தையும் (காடு) குறிக்கிறது. மறைக்காடு என்பது வேதாரண்யம் என்றும், வேதங்கள் இத்தலத்தில் தோன்றியதாகவும், இங்கு சிவபெருமானை வழிபட்டதாகவும் கூறப்படுகிறது. இக்கோயில் முதலாம் ஆதித்த சோழனால் கட்டப்பட்டது, மேலும் திருப்புரம்பயம் போரில் அவர் பெற்ற வெற்றியின் நினைவாக காவேரி ஆற்றங்கரையில் அவர் கட்டிய கோவில்களில் இதுவும் ஒன்று.

வேதங்கள் அருகிலுள்ள நாலுவேதபதியில் (நான்கு வேதங்களின் இல்லம்) தங்கி, புஷ்பவனத்தில் இருந்து பறிக்கப்பட்ட மலர்களைக் கொண்டு சிவபெருமானுக்கு பூஜை செய்து, பிரதான (கிழக்கு) நுழைவாயில் வழியாக கோயிலுக்குள் நுழைந்தனர். கலியுகம் தொடங்கியவுடன், வேதங்கள் சிவபெருமானிடம் இனி பூமியில் வேலை இல்லை என்று கூறி, பிரதான நுழைவாயிலைப் பூட்டிவிட்டு கோயிலை விட்டு வெளியேறினர். அதனால், கோவிலுக்குள் நுழைய, பக்கவாயிலையே மக்கள் பயன்படுத்தினர். ஒருமுறை, அப்பர் மற்றும் சம்பந்தர் ஒன்றாக கோயிலுக்குச் சென்றனர். சம்பந்தரின் வேண்டுகோளுக்கு இணங்க, அப்பர் 10 பதிகங்களைப் பாடினார், கதவுகளைத் திறக்குமாறு இறைவனைக் கேட்டுக் கொண்டார், அவரது வேண்டுகோளின்படி கதவுகள் திறக்கப்பட்டன. தரிசனத்திற்குப் பிறகு, சம்பந்தர் பதிகம் பாடினார், அது கதவை நிரந்தரமாக மூடியது.

அவர்கள் இக்கோயிலில் இருந்தபோது, நோய்வாய்ப்பட்ட மன்னன் கூன் பாண்டியனைக் குணப்படுத்த உதவுவதற்காக சம்பந்தர் மதுரைக்கு அழைக்கப்பட்டார். அப்பர், சம்பந்தருக்கு ஏற்படும் ஆபத்துகளை நினைத்து, கோள்கள் சரியாக அமையவில்லை என்றும், அப்போது வெளியேறுவது ஆபத்து என்றும் கூறினார். இதற்குப் பதிலளிக்கும் விதமாக, சம்பந்தர் இங்கு கோளறு பதிகம் பாடினார், இது சிவபெருமானின் பக்தருக்கு, நவக்கிரகங்கள் அல்லது உண்மையில் வேறு எந்த எதிர்மறையான சக்திகளின் பாதகமான விளைவுகளும் இருக்க முடியாது என்று கூறுகிறது.

இலங்கையில் நடந்த போரின் போது பலரைக் கொன்ற பாவத்தைப் போக்க ராமர் இந்தக் கோயிலுக்குச் சென்றதாகக் கூறப்படுகிறது. இலங்கையில் அவர் கொன்ற வீரர்களின் பேய்களான வீர ஹத்தியால் ராமர் துரத்தப்பட்டார். வீர ஹத்தி இங்குள்ள விநாயகரால் உதைக்கப்பட்டதால் அவருக்கு வீர ஹத்தி சேத்த விநாயகர் என்று பெயர் வந்தது. ராமேஸ்வரம் போலவே, ராமர் பாதம் அருகில் ராமர் பாதம் என்ற இடத்தில் பராமரிக்கப்படுகிறது.

இங்கு நடந்த சிவன் மற்றும் பார்வதி திருமணத்தை அகஸ்தியர் தரிசனம் செய்தார். கருவறையில் உள்ள மூலவரின் பின்புற சுவரில் கல்யாண கோலம் செதுக்கப்பட்டுள்ளது.

பூமியில் படைக்கப்படுவதற்கு முன்பு பிரம்மா இக்கோயிலில் வழிபட்டார். விஸ்வாமித்திர முனிவர் பிரம்மரிஷி அந்தஸ்தைப் பெறும் வழியில் இங்கு வழிபட்டார்.

பஞ்ச லிங்கம் பாண்டவர்களால் நிறுவப்பட்டதாகக் கூறப்படுகிறது.

இந்த கோவில் 64 சக்தி பீடங்களில் ஒன்றாக கருதப்படுகிறது (சுந்தரி பீடம்).

ஒருமுறை கோவிலில் தீபம் அணையவிருந்தது. சிவபெருமான் பார்வதியிடம் விளக்கை மீண்டும் ஏற்றுபவர் மூவுலகுக்கும் ஆண்டவராக மாறுவார் என்று கூறினார். நெய்யைக் குடிப்பதற்காக ஒரு எலி விளக்கின் மீது ஏறி, அதன் செயல்பாட்டில், திரியை இழுத்தது, இதனால் விளக்கு மீண்டும் பிரகாசமாக மாறியது. சிவபெருமான் தனது வார்த்தையைக் காப்பாற்றினார், எலி மீண்டும் மன்னனாக மகாபலியாக பிறந்தது.

முச்சுகுந்த சக்கரவர்த்தி இந்திரனுடன் தொடர்பு கொண்ட பிறகு பெற முடிந்த மரகதலிங்கங்களில் ஒன்றான சப்த விடங்கஸ்தலங்களில் இதுவும் ஒன்றாகும்.

இக்கோயிலில் அப்பர், சம்பந்தர், சுந்தரர் ஆகியோர் பதிகம் பாடியுள்ளனர். அருணகிரிநாதர் இங்கு திருப்புகழ் பாசுரங்களைப் பாடியுள்ளார். சேரமான் பெருமானுடன் சுந்தரர் இக்கோயிலுக்குச் சென்றுள்ளார்.

திருவிளையாடல் புராணத்தைத் தொகுத்துப் பாடிய பரஞ்சோதி முனிவர் (சிறுத்தொண்டர்) இங்கு பிறந்தார்.

அம்மன் வேதநாயகி வீணையின் இசையை விட இனிமையான குரல் உடையவர், எனவே சரஸ்வதி கையில் வீணை இல்லாமல் காட்சியளிக்கிறார்.

கடலுக்கு அருகாமையில் இருப்பதால் வேதாரண்யத்தில் வசிக்கும் மக்களின் வீடுகளுக்கு உப்பு கலந்த தண்ணீர் வருகிறது. இருப்பினும், கோவிலில் உள்ள தண்ணீர் இனிமையாக இருப்பதால், முழு நகரமும் இந்த கோவிலில் இருந்து குடிநீரைப் பெறுகிறது.

கோவிலுக்கு கிழக்கே உள்ள கடற்கரை ஆதி சேது என்று அழைக்கப்படுகிறது, மேலும் இங்கு நீராடுவது ராமேஸ்வரத்தில் 100 முறை குளிப்பதற்கு சமமாக கருதப்படுகிறது. தமிழ் மாதங்களான தை, ஆடி மற்றும் மஹாளய மாதங்களில் அமாவாசை தினத்தில் பக்தர்களுக்கு மிகவும் பிரசித்தி பெற்ற தலம் இது.

கல்வெட்டுகளின்படி, விஜயாலய சோழனின் மகனான சோழ மன்னன் I ஆதித்யனால் இக்கோயில் புனிதப்படுத்தப்பட்டது. பிற்கால மன்னர்களைத் தவிர முதலாம் ஆதித்யனின் மகன் பராந்தக சோழனின் கல்வெட்டுப் பதிவுகளும் உள்ளன.