సృష్టికర్త బ్రహ్మకు, పరమేశ్వరునికి ఓ వాగ్వివాదం చోటుచేసుకుంది. ఆ సమయంలో బ్రహ్మ ఐదవ ముఖం శివుని చూసి పరిహాసపూర్వకంగా నవ్వింది. దానితో శివుడు ఆగ్రహించాడు. ఆయన నుంచి కాల బైరవుడు బయటికి వచ్చి బ్రహ్మ ఐదో ముఖాన్ని నరికేశాడు. అప్పటి నుంచి బ్రహ్మ చతుర్ముఖుడయ్యాడని కథ ప్రాచుర్యంలో వుంది.
తన వల్లనే కాలభైరవునికి పాపం వచ్చిందని భావించి శివుడు, ఆ పాపం కాశీలోకి ప్రవేశించలేకపోవడంతో కాలభైరవుణ్ని కాశీ పట్ట్టణానికి అధిపతిగా నియమించాడు. అందుకే కాలభైరవ స్తోత్రంలో కాశికాపురాధినాథ కాలభైరవం భజే అని ఉంటుంది. అంతేకాక కాశీ యాత్రకు వెళ్ళిన వారు కాలభైరవుని దర్శించనిదే కాశీ యాత్ర పూర్తి చేసినట్లు కాదని పండితులు చెప్తుంటారు. కాలభైరవుడే, వీరభద్రుడని కొందరి నమ్మకం. కాలభైరవుని తరహాలోనే వీరభద్రుడు కూడా శివుని అంశమేనని ఆధ్యాత్మిక పండితులు చెప్తుంటారు.
అందుచేత తమ కాలాన్ని సద్వినియోగం చేసుకోదలచిన వారు కాలభైరవుని ఆరాధించాలి. అంతేగాక కాలభైరవుణ్ని శివుని ఆలయాలకు సంరక్షకునిగా భావిస్తారు. కాశీలో శివుని ఆలయాన్ని మూసివేసే ముందు ఆ తాళం చెవుల్ని లాంఛనంగా భైరవునికి అప్పగిస్తారు. అలాంటి మహిమాన్వితమైన కాలభైరవుడిని కాలాష్టమి (సెప్టెంబర్ 2) ఆదివారం పూట పూజించే వారికి ఈతిబాధలుండవు. పాపాలు తొలగిపోతాయి. కాలానుకూలం చేకూరుతుందని ఆధ్యాత్మిక పండితులు సూచిస్తున్నారు.