తొలి పూజలు అందుకునే గణపతి అనేక క్షేత్రాలలో ఆవిర్భవించారు. అటువంటి మహిమాన్వితమైన క్షేత్రాల్లో ఒకటిగా శ్రీకాళహస్తి చెప్పబడుతోంది. ఈ క్షేత్రంలో పాతాళ గణపతి కూడా దర్శనమిస్తుంటారు. ఈ పాతాళ గణపతి గురించి ధూర్జటి శ్రీ కాళహస్తి మహాత్మ్యంలో, శ్రీనాథుని హరవిలాసంలో ప్రస్తావన ఉంది. ఈ స్వామి వారు నలభై అడుగుల లోతులో కొలువై ఉండడం వెనుక ఒక కథనం కలదు.
పూర్యం అగస్త్యుడు ఈ క్షేత్రంలో జీవనదిలో ప్రవేశించాలని పరమశివుని ప్రార్థిస్తుంటాడు. ప్రార్థనతో స్వర్ణముఖి నది పాయ ఏర్పడింది కానీ అందులో నీళ్లు ఉండవు. గణపతిని పూజించకుండా ఈ కార్యాన్ని చేయడమే అందుకు కారణమని గ్రహించిన అగస్త్యుడు గణపతిని ఆరాధించాడు. పాతాళంలోనికి చేరుకున్న గణపతి ఆ మహర్షి కోరికను నెరవేర్చాడు.