कहते है कि नील और फणेश नाम के दो भील लड़के थे। उन्होंने शिकार खेलते समय वन में एक पहाड़ी पर भगवान शिव की लिंग मूर्ति देखी। नील उस मूर्ति की रक्षा के लिए वही रूक गया और फणीश लौट आया।

नील ने पूरी रात मूर्ति का पहरा इसलिए दिया ताकि कोई जंगली पशु उसे नष्ट न कर दे। सुबह वह वन में चला गया। दोपहर के समय जब वह लौटा तो उसके एक हाथ में धनुष, दूसरें में भुना हुआ मांस, मस्तक के केशो में कुछ फूल तथा मुंह में जल भरा हुआ था। उसके हाथ खाली नहीं थे, इसलिए उसने मुख के जल से कुल्ला करके भगवान को स्नान कराया। पैर से मूर्ति पर चढ़े पुराने फूल व पत्ते हटाए। बालों में छिपाए फूल मूर्ति पर गिराए तथा भुने हुए मांस का टुकडा भोग लगाने के लिए रख दिया।

दूसरे दिन नील जब जंगल गया तो वहां कुछ पुजारी आए। उन्होंने मंदिर को मांस के टूकड़ों से दूषित देखा। उन्होंने मंदिर की साफ सफाई की तथा वहां से चले गए। इसके बाद यह रोज का क्रम बन गया। नील रोज जंगल से यह सब सामग्री लाकर चढ़ाता और पुजारी उसे साफ कर जाते। एक दिन पुजारी एक स्थान पर छिप गए ताकि उस व्यक्ति का पता लगा सके, जो रोज रोज मंदिर को दूषित कर जाता है।

उस दिन नील जब जंगल से लौटा तो उसे मूर्ति में भगवान के नेत्र दिखाई दिए। एक नेत्र से खून बह रहा था। नील ने समझा कि भगवान को किसी ने चोट पहुंचाई है। वह धनुष पर बाण चढ़ाकर उस चोट पहुंचाने वाले व्यक्ति को ढूंढने लगा। जब उसे कोई नही मिला तो वह कई प्रकार की जड़ी बूटियां ले आया तथा वह भगवान की आंख का उपचार करने लगा।

परंतु रक्त धारा बंद न हुई। तभी उसे अपने बुजुर्गों की एक बात याद आई, “मनुष्य के घाव पर मनुष्य का ताजा चमड़ा लगा देने से घाव शीघ्र भर जाता है”। नील ने बिना हिचक बाण की नोक घुसाकर अपनी एक आंख निकाली तथा उसे भगवान के घायल नेत्र पर रख दिया।

मूर्ति के नेत्र से रक्त बहना तत्काल बंद हो गया। छिपे हुए पुजारियों ने जब यह चमत्कार देखा तो वह दंग रह गए। तभी मूर्ति की दूसरी आंख से रक्त धारा बहने लगी। नील ने मूर्ति की उस आंख पर अपने पैर का अंगूठा टिकाया ताकि अंधा होने के बाद वह टटोलकर उस स्थान को ढ़ूंढ़ सके। इसके बाद उसने अपना दूसरा नेत्र निकाला तथा उसे मूर्ति की दूसरी आंख पर लगा दिया।

तभी वह स्थान अलौकिक प्रकाश से भर गया। भगवान शिव प्रकट हो गए, तथा उन्होंने नील का हाथ पकड़ लिया। वे नील को अपने साथ शिवलोक ले गए। नील का नाम उसी समय से कण्णप्प (तमिल में कण्ण नेत्र को कहते है) पड़ गया। पुजारियों ने भी भगवान तथा भोले भक्त के दर्शन किए तथा अपने जीवन को सार्थक किया।

कण्णप्प की प्रशंसा में आदि शंकराचार्य जी ने एक श्लोक में लिखा है—"रास्ते में ठुकराई हुई पादुका ही भगवान शंकर के अंग झाड़ने की कूची बन गई। आममन (कुल्ले) का जल ही भगवान का दिव्याभिषेक जल हो गया और मांस ही नैवेद्य बन गया। अहो! भक्ति क्या नहीं कर सकती? इसके प्रभाव से एक जंगली भील भी भक्तबतंस (भक्त श्रेष्ठ) बन गया"।।

मंदिर में मुख्य स्थान पर भगवान शिव की लिंग रूप मूर्ति है। यही वायुतत्व लिंग है। इसलिए पुजारी भी इसका स्पर्श नहीं करते। मूर्ति के पास स्वर्णपट्ट स्थापित है, उसी पर माला इत्यादि चढ़ाकर पूजा की जाती है। इस मूर्ति में मकड़ी, हाथी तथा सर्प के दांतों के चिन्ह स्पष्ट दिखाई देते है। कहा जाता है कि सबसे पहले मकड़ी, हाथी तथा सर्प ने भगवान शिव की आराधना की थी। उनके नाम पर ही श्री कालहस्तीश्वर नाम पड़ा है। श्री का अर्थ है मकड़ी, काल का अर्थ सर्प तथा हस्ती का अर्थ है हाथी।