लिंग पुराण में कथा है कि जिस समय रामचंद्रजी युद्ध में विजयी होकर अयोध्या जा रहे थे, वे रुद्रसागर तट के निकट ठहरे थे। इसी रात्रि को भगवती कालिका भक्ष्य की शोध में निकली हुईं इधर आ पहुंचीं और हनुमान को पकड़ने का प्रयत्न किया, परंतु हनुमान ने महान भीषण रूप धारण कर लिया। तब देवी डरकर भागीं। उस समय अंश गालित होकर पड़ गया। जो अंश पड़ा रह गया, वही स्थान कालिका के नाम से विख्यात है।

इस समय मंदिर में भव्य मूर्ति विद्यमान है; परंतु कुछ वृद्धजनों का कहना है कि वास्तव में वहां मूर्ति नहीं है। केवल स्थल ही माननीय है। मूर्ति तो पीछे की है। पता नहीं चलता कि यह मंदिर कब बना है।
इसी मंदिर के निकट लगा हुआ स्थिर गणेश का प्राचीन मंदिर है। पौराणिक काल से जो विख्यात है। गणेश की मूर्ति विशाल है। इसी प्रकार गणेश मंदिर के सामने भी एक हनुमान मंदिर प्राचीन है, वहीं विष्णु की सुंदर चतुर्मुख प्रतिमा है। खेत के बीच में गोरे भैरव का स्थान भी प्राचीन है। गणेशजी के निकट ही से थोड़ी दूरी पर शिप्रा की पुनीत धारा बह रही है। इस घाट पर अनेक सती की मूर्तियां हैं। उज्जैन में जो सतियां हुई हैं; उनका स्मारक स्थापित है। नदी के उस पार उखरेश्वर नामक प्रसिद्ध श्मशान-स्थली है।