తారకాసురుని సంహరించేందుకు శివుని హాలహాలం నుంచి కాళిని పార్వతీ దేవి ఉద్భవింపజేసింది. ఓ మహిళ చేతులారా తారకాసురుడు సంహరించబడుతాడనే వరం పొంది వుండటంతో కాళికాదేవి అతనిని సంహరిస్తుంది. ఆ తాపంతో కాళీమాత ఎనిమిది చిన్నారులుగా మారింది. ఆ ఎనిమిది మంది చిన్నారులను ఏకం చేసిన శివుడు.. ఆ రూపానికి భైరవుడనే పేరు పెట్టారు.
12 రాశులు కాలచక్రంలో నిక్షిప్తమైవుంటాయి. ఈ రాశుల్లో పుట్టే ప్రజలను సంరక్షించే పనిని కాల భైరవునికే చెందుతుంది. అందుకే ఆయనను కాల భైరవుడని పిలుస్తారు. తలలో మేషం, నోటిలో వృషభం, చేతుల్లో మిథునం, ఛాతిలో కర్కాటకం, బొజ్జలో సింహం, నడుములో కన్య, పిరుదుల్లో తులాం, వెనుక భాగంలో వృశ్చికం, తొడలపై ధనుస్సు, మోకాలులో మకరం, కింది కాలి భాగంలో కుంభం, పాదంలో మీనం అనే రాశులుంటాయి.