விநாயகர் கஜமுகாசுரனைக் கொல்ல நேர்ந்தது, அதன் விளைவாக இந்த இடம் இறந்த அரக்கனின் இரத்தத்தால் நிறைந்தது. எனவே அந்த இடம் முழுவதும் சிவப்பு நிற காடு போல் காட்சியளித்தது. இது அந்த இடத்திற்கு அதன் பெயரை வழங்குகிறது – சென்-கட்டான்-குடி. அதன்பின், கணபதி இங்கு சிவபெருமானை வழிபட்டார்.

இத்தலம் இலக்கியங்களிலும், சம்பந்தரின் தேவாரப் பதிகத்திலும் கணபதீஸ்வரம் என்றும் அழைக்கப்படுகிறது, மேலும் தமிழகத்தில் கணபதியை தெய்வமாகக் குறிப்பிடும் பழமையான குறிப்புகளில் இதுவும் ஒன்றாகும். தமிழகத்தில் விநாயகர் வழிபட்ட முதல் தலங்களில் ஒன்றாக இது கருதப்படுகிறது. கேள்விக்குரிய விநாயகர், 7 ஆம் நூற்றாண்டில், பல்லவர்கள் புலிகேசினை தோற்கடித்த பின்னர், பல்லவ தளபதியான பரஞ்சோதியால் வாதாபியிலிருந்து (இன்றைய பாதாமி) இங்கு கொண்டு வரப்பட்டார். பரஞ்சோதி இறைவனை போர்க்களத்தில் வணங்கிவிட்டு இங்கு அழைத்து வந்தார். பின்னர், அவர் சைவத் துறவியானார், தன்னை 63 நாயன்மார்களில் ஒருவரான சிறுத்தொண்டர் என்று அழைத்தார். இதுவும் அவரது அவதார ஸ்தலமாகும். இக்கோயிலில் தனி சன்னதி கொண்ட இந்த விநாயகர் மீது முத்துசுவாமி தீட்சிதர் பாடிய “வாதாபி கணபதிம் பஜே” பாடப்பட்டுள்ளது.

சிறுத்தொண்டரும் அவரது மனைவியும் தினமும் சிவபக்தர்களுக்கு உணவு உண்பதற்கு முன் உணவளிப்பார்கள். ஒரு நாள், ஒரு பக்தர் வந்து, மனித இறைச்சியை வழங்குமாறு கேட்டார் – குறிப்பாக குடும்பத்தின் முதல் ஆண் குழந்தைக்கு. தம்பதிகள் தங்கள் மகன் சீராளனை விருந்தினருக்கு உணவளிக்கச் சொன்னார்கள். விருந்தினருக்கு உணவளிக்க அவர் உடனடியாக தனது உயிரைக் கொடுத்தார். உணவு பரிமாறப்பட்டபோது, விருந்தினர் தான் தனியாக சாப்பிட மாட்டேன் என்று கூறினார், ஆனால் புரவலர்களின் மகன் தன்னுடன் உட்கார வேண்டும் என்று விரும்பினார். என்ன செய்வதென்று தெரியாமல், மனதளவில் சிவனிடம் பிரார்த்தனை செய்துவிட்டு, மகனின் பெயரைச் சொன்னார்கள். அவர்கள் வியக்க, சீராளன் உடன் வந்தான். அப்போது விருந்தாளி தம்மை சிவபெருமானாக வெளிப்படுத்தி, பார்வதியுடன் குடும்பத்தை ஆசிர்வதித்து, சிறுத்தொண்டரை நாயன்மாராக உயர்த்தினார். விருந்தினருக்கு உணவளிக்கும் இந்த சம்பவம் கோயிலில் உள்ள பலகையில் சித்தரிக்கப்பட்டுள்ளது.

திருக்கண்ணபுரம் (இதற்கு ராமேஸ்வரம் என்றும் பெயர்) அருகில் குழந்தை இல்லாத ஒரு அரசன் இருந்தான். தனது வேட்டையாடலின் போது, நான்கு பெண் குழந்தைகளை – கைக்குழந்தைகளை – கண்டுபிடித்து தனது மகள்களாக வளர்த்து வந்தார். அவர்கள் வளர்ந்த பிறகு, அவர்கள் அனைவரும் சிவபெருமானை மணக்க விரும்பினர், எனவே மன்னர் சிவனை வணங்கினார். இறைவன் அவரது விருப்பத்தை நிறைவேற்றினார், மேலும் பார்வதியின் வடிவங்களான நால்வரும் சிவனுடன் ஒன்றிணைந்து அருகிலுள்ள நான்கு கோயில்களில் வழிபடுகிறார்கள்: வைத்த திருக்குழல் நாயகி (திருச்செங்காட்டங்குடி), கருந்தர் குழலி அம்மன் (திருப்புகளூர்), வேந்தர் குழலி அம்மன் (திருமருகல்) மற்றும் சரிவர். குழலி அம்மன் (திருக்கண்ணபுரம்). கர்ப்பிணிப் பெண்ணின் சுகப் பிரசவத்திற்கு நால்வரும் உதவினர், மேலும் அந்தந்த கோயில்களில் சூலிகாம்பாள் என்று அழைக்கப்படுகிறார்கள். பிரசவம் முடிந்து இரவு தாமதமாக வந்ததால், பிரதான கோவில் மூடப்பட்டதால், அவர்களின் சன்னதிகள் அந்தந்த கோவில்களுக்கு வெளியே உள்ளன.

இந்தக் கோவிலைப் பற்றி இன்னொரு சுவாரஸ்யமான கதையும் உண்டு. ஆய்யடிகள் காடவர்கோன் – பல்லவ மன்னன் மற்றும் பின்னர் ஒரு நாயனார் சிறுத்தொண்டர் சிவன் அருளியதைக் கேள்விப்பட்டு, சில காலம் இங்கு வந்து வழிபட்டார். சிவபெருமான் சிறுத்தொண்டரை ஆசிர்வதிக்கும் உருவத்தைப் பார்க்க அவர் விரும்பினார், ஆனால் அவரது கைவினைஞர்களால் பல முயற்சிகள் செய்தும் நல்ல சிற்பத்தைத் தயாரிக்க முடியவில்லை. ஒரு சிவபக்தர், சிறிது தண்ணீருக்காக கைவினைஞரை அணுகினார், ஆனால் விரக்தியடைந்த சிற்பி அவரிடம் உருகிய உலோகம் மட்டுமே இருப்பதாக பதிலளித்தார். இருப்பினும் பக்தர் அதைக் கேட்டார், அது ஊற்றப்பட்டபோது, பக்தர் மறைந்தார், அதற்குப் பதிலாக உத்திர பசுபதியின் சரியான விக்கிரகம் உள்ளது. சிலையின் தலையின் மேல் கூடுதல் உலோகம் இருந்தது. மக்கள் அதை அகற்றும் முயற்சியில் ஈடுபட்டபோது, சிலையில் இருந்து இரத்தம் வெளியேறத் தொடங்கியது, அவர்கள் உள்ளூர் மருந்துகளைப் பயன்படுத்துவதை நிறுத்தினர். தலையில் தழும்புகளுடன் கூடிய இந்த சிலை இன்றும் கோயிலில் வழிபடப்படுகிறது.

அஷ்ட வீரட்டானக் கோயில்களின் வீரட்டேஸ்வரர் தெய்வங்களைக் குறிக்கும் 8 மூர்த்திகளின் வரிசை இந்தக் கோயிலில் இடம்பெற்றுள்ளது.

இந்த மையக் கோயில் பல்லவக் கோயிலாகும், இடைக்கால சோழர் காலத்தில் மாற்றியமைக்கப்பட்டது.