यहाँ के प्राचीनतम स्थानों में भगवती श्री हरसिद्धीजी का स्थान भी विशेषतापूर्ण है। रूद्रसागर तालाब के सुरम्य तट पर चारों ओर मजबूत प्रस्तर दीवारों के बीच, यह सुंदर मंदिर बना हुआ है। कहा जाता है कि अवंतिकापुरी की रक्षा के लिए आसपास देवियों का पहरा है, उनमें से एक हरसिद्धी देवी भी हैं, किंतु शिवपुराण के अनुसार यहाँ हरसिद्धी देवी की प्रतिमा नहीं है।
सती के शरीर का अंश, अर्थात हाथ की कोहनी मात्र है, जो शिवजी द्वारा छिन्न-भिन्न किए जाने के समय वहाँ आकर गिर गई है, तांत्रिकों के सिद्धांतनुसार यह पीठ स्थान है, 'यस्मात्थस्थानांहि मातृणां पीठं से नैवे कथ्यते।'
उज्जयिनी के महात्म्य में इस स्थान का परिचय इस प्रकार है प्राचीनकाल में चण्डमुण्ड नामक दो राक्षस थे, इन दोनों ने अपने प्रबल पराक्रम से समस्त संसार पर अपना आतंक जमा लिया था, एक बार ये दोनों कैलाश पर गए, शिव पार्वती द्यूत-क्रीड़ा में निरत थे। ये अंदर प्रवेश करने लगे, तो द्वार पर ही नंदीगण ने उन्हें जाने से रोका, इससे नंदीगण को उन्होंने शस्त्र से घायल कर दिया। शिवजी ने इस घटना को देखा। तुरंत उन्होंने चंडी का स्मरण किया। देवी के आने पर शंकर ने राक्षसों के वध की आज्ञा दी।
WD
'वध्यतां देवि तो दैत्यौ वधामति वचोऽब्रबीत'' स्वीकार कर देवी ने तत्क्षण उनको यमधाम भेज दिया। शंकरजी के निकट आकर विनम्रता से वध-वृ्त्त सुनाया। शंकरजी ने प्रसन्नता से कहा - हे चण्डि तुमने इन दुष्टों का वध किया है, अत: लोक ख्याति में हरसिद्ध नाम प्रसिद्धि करेगा। तभी से इस महाकाल-वन में हरसिद्धी विराजित हैं। हरस्तामाह हे चण्डि संहृतौ दानवौ हरसिद्धी रतो लोके नाम्ना ख्याति गामिष्यासि (अ.19 ष्टलो. 10)
मंदिर की चहारदीवारी के अंदर चार प्रवेश-द्वार हैं। मंदिर का द्वार पूर्व दिशा की तरफ है। द्वार पर सुंदर बंगले बने हुए हैं। बंगले के निकट दक्षिण-पूर्व के कोण में एक बावड़ी बनी हुई है। जिसके अंदर एक स्तंभ है, उस पर 'सं. 1447 माधवदि' खुदा हुआ है, मंदिर के अंदर देवीजी की मूर्ति नहीं है श्री यंत्र बना हुआ स्थान है, इसी स्थान के पीछे भगवती अन्नपूर्णा की सुंदर प्रतिमा है।
मंदिर के पूर्व द्वार से लगा हुआ सप्तसागर (रूद्रसागर) तालाब है। इस तालाब में किसी समय कमल-पुष्प खिले होते थे। ऐसा नयन-मनोहर दृश्य उपस्थित करते थे कि दर्शकों की गति को रोककर क्षण भर पुष्पराज को देखने के लिए हठात आकर्षित करते थे, बंगले के निकट एक पुख्ता गुफा बनी हुई है। प्राय: साधक लोग इसमें डेरा लगाए रहते हैं।
देवीजी के मंदिर के ठीक सामने बड़े ऊँचे दीप-स्तम्भ खड़े हुए हैं। प्रतिवर्ष नवरात्र के दिनों में पाँच दिन तक इन प्रदीप-मालाएँ लगाई जाती हैं। इन दिनों हजारों दर्शकों का समूह जमा रहा करता है। दीप-मालिका की परम रमणीय शोभा को देखकर मालूम होता है मानो जगमगाते हुए रत्नों के दो महान प्रकाशमान, उच्च स्तम्भ स्वर्गीय सौंदर्य को बरसाते हुए खड़े हैं। जिस समय से यह प्रज्जवलित होते हैं, उस समय रूद्रसागर में भी इनका दूर प्रतिबिंब पड़ता है यह शोभा अवर्णनीय और अपूर्व तथा हृदय के अनुभव की वस्तु होती है।
कहा जाता है कि देवीजी सम्राट विक्रमादित्य की अराध्य रही हैं। इस स्थान पर विक्रम ने अनेक वर्ष-पर्यन्त तप किया है। परमारवंशीय राजाओं की कुल-पूज्या यही हैं। मंदिर के पीछे एक कोने में कुछ 'सिर, सिन्दूर चढ़े हुए रखे हैं। ये 'विक्रमादित्य के सिर' बतलाए जाते हैं। विक्रम ने देवी की प्रसन्नता प्राप्त करने के लिए ग्यारह बार अपने हाथों से अपने मस्तक की बलि की, पर बार-बार सिर आ जाता था। बारहवीं बार सिर नहीं आया।
यहाँ शासन संपूर्ण हो गया। इस तरह की पूजा प्रति बारह वर्ष में एक बार की जाती थी। यों 144 वर्ष शासन होता है, किंतु विक्रम का शासनकाल 135 वर्ष माना जाता है। यह देवी वैष्णवी हैं, यहाँ पूजा में बलि नहीं चढ़ाई जाती। यहाँ का पुजारी गुसाई हैं।
और्छा स्टेट के गझेटियर में पेज 82.83 में लिखा है कि- 'यशवंतराव होलकर ने सत्ररहवीं शताब्दी में और्छा राज्य पर हमला किया था, वहाँ के लोग जुझौतिये ब्राह्मणों की देवी हरसिद्धी के मंदिर में अरिष्ठ निवारणार्थ प्रार्थना कर रहे थे। औचित्य वीरसिंह और उसका लड़का 'हरदौल', सवारों की एक टुकड़ी लेकर वहाँ पहुँचा, मराठों की सेना पर चढ़ाई कर दी, मराठे वहाँ से भागे, उन्होंने यह समझा कि इनकी विजय का, कारण यह देवी हैं। तब फिर वापस लौटकर वहाँ से मूर्ति को उठा लाए, वही मूर्ति उज्जैन के शिप्रा-तट पर हरसिद्धीजी हैं।'
परंतु पुराणों में भी हरसिद्धी देवीजी का वर्णन मिलता है। अतएव अठारहवीं शताब्दी की इस घटना का इससे संबंध नहीं मालूम होता। मंदिर का इस सिंहस्थ के समय पुन: जीर्णोद्धार किया गया है। यहाँ 'हरसिद्धी भक्त मंडल' द्वारा विगत वर्षों से नवरात्र महोत्सव भी आरंभ हुआ है।
मंदिर के पीछे अगस्तेश्वर का पुरातन सिद्ध-स्थान है। ये महाकालेश्वर के दीवान कहे जाते हैं। रूद्रसागर की पाल के नीचे शिप्रा-तट के मार्ग पर एक रामानुज कोट नामक विशाल मंदिर और संस्था स्थापित है।
इस मंदिर की प्रतिष्ठा संवत 1975 में हुई। यहाँ के आचार्य गरुड़ध्वजजी एक शांत प्रकृति के साधु थे, यहाँ एक संस्कृत पाठशाला भी थी, इसी स्थान के निकट दो धर्मशालाएँ हैं, जहाँ यात्रीगण रहा करते हैं। वेंकटेश-भवन नदी के तट पर एक सुंदर स्थान है और रामनुज कोट से लगी हुई गजाघर की धर्मशाला भी बड़ी है, यहाँ एक संस्कृत-पाठशाला है 'बंबई वाले की धर्मशाला' नाम से विख्यात यह धर्मशाला मंगलकार्यों के लिए उपयोगी होती है।
