नमस्कार दोस्तों! अगर आप एक Blogger (Blogspot) ब्लॉग चला रहे हैं और चाहते हैं कि Google, Bing या अन्य सर्च इंजन आपके ब्लॉग को सही तरीके से क्रॉल करें, इंडेक्स करें और सर्च रिजल्ट्स में बेहतर रैंकिंग दें, तो Robots.txt और Custom Robots Header Tags आपके सबसे अच्छे दोस्त बन सकते हैं।
आजकल हर ब्लॉगर को SEO की बुनियादी बातें समझनी जरूरी हैं। लेकिन कई नए ब्लॉगर्स को ये नहीं पता होता कि Robots.txt क्या है और Custom Robots Header Tags कैसे काम करते हैं। गलत सेटिंग से आपका पूरा ब्लॉग सर्च इंजन से छुप सकता है या फिर अनचाहे पेज इंडेक्स होकर डुप्लिकेट कंटेंट का इश्यू क्रिएट कर सकते हैं।
इस आर्टिकल में हम इन दोनों टूल्स को विस्तार से समझेंगे। पहले Robots.txt के बारे में जानेंगे, फिर Blogger में इसे कैसे enable और customize करेंगे। उसके बाद Custom Robots Header Tags की पूरी डिटेल्स, उनके directives, स्टेप-बाय-स्टेप कॉन्फिगरेशन, बेस्ट प्रैक्टिस और टिप्स भी कवर करेंगे। यह गाइड पूरी तरह प्रैक्टिकल और अपडेटेड (2026 तक) है, जो आपको Google Search Console में बेहतर परफॉर्मेंस दिलाएगी।
चलिए शुरू करते हैं!
Robots.txt क्या है?
Robots.txt एक साधारण टेक्स्ट फाइल है जो आपके वेबसाइट के रूट डायरेक्टरी में रखी जाती है। यह सर्च इंजन के क्रॉलर्स (जैसे Googlebot) को बताती है कि कौन-कौन से पेज क्रॉल कर सकते हैं और कौन-कौन से नहीं। इसे "Robots Exclusion Protocol" भी कहते हैं।
उदाहरण के लिए, अगर आप नहीं चाहते कि सर्च इंजन आपके ब्लॉग के /admin या /search वाले पेज को क्रॉल करे, तो Robots.txt में Disallow कमांड यूज करके आप उसे ब्लॉक कर सकते हैं। वहीं Allow कमांड से स्पेसिफिक फोल्डर को परमिशन दे सकते हैं।
Robots.txt का सबसे बड़ा फायदा यह है कि यह साइट-वाइड निर्देश देता है। मतलब एक ही फाइल से पूरे ब्लॉग का कंट्रोल। लेकिन याद रखें – यह क्रॉलिंग को कंट्रोल करता है, इंडेक्सिंग को नहीं। इंडेक्सिंग के लिए meta robots या X-Robots-Tag यूज होते हैं, जो हम बाद में Custom Robots Header Tags में देखेंगे।
Google के आधिकारिक डॉक्यूमेंटेशन के अनुसार, Robots.txt फाइल UTF-8 एन्कोडिंग में होनी चाहिए और इसका नाम ठीक "robots.txt" होना चाहिए (केस-सेंसिटिव)। अगर कोई क्रॉलर Robots.txt नहीं मानता (जैसे कुछ खराब बॉट्स), तो वह फिर भी क्रॉल कर सकता है, लेकिन ज्यादातर सम्मानित सर्च इंजन इसे फॉलो करते हैं।
Robots.txt के मुख्य Directives
- User-agent: – किस क्रॉलर के लिए नियम लागू हों (जैसे Googlebot, Bingbot या * सभी के लिए)
- Allow: – क्रॉल करने की परमिशन
- Disallow: – क्रॉल ब्लॉक
- Sitemap: – साइटमैप का लिंक बताता है ताकि क्रॉलर आसानी से सभी पेज ढूंढ सके
एक सिंपल उदाहरण:
User-agent: * Allow: / Sitemap: https://yourblog.blogspot.com/sitemap.xml
Blogger Blog में Robots.txt का महत्व क्यों है?
Blogger प्लेटफॉर्म Google का है, इसलिए इसका डिफॉल्ट Robots.txt पहले से ही काफी अच्छा सेट होता है। डिफॉल्ट में User-agent: * Allow: / और ऑटोमैटिक साइटमैप शामिल होता है। लेकिन जब आपका ब्लॉग बड़ा हो जाता है, लेबल पेजेस, आर्काइव पेजेस या प्राइवेट कंटेंट बढ़ जाता है, तब कस्टम Robots.txt की जरूरत पड़ती है।
महत्वपूर्ण पॉइंट्स:
- डुप्लिकेट कंटेंट से बचाव (आर्काइव पेजेस को ब्लॉक)
- Google Search Console में क्रॉल बजट बचाना
- अनचाहे पेजेस को इंडेक्स होने से रोकना
- AI बॉट्स (ChatGPT, Perplexity आदि) को कंट्रोल करना (2026 में बहुत जरूरी)
- साइटमैप को सही तरीके से सबमिट करना
अगर आप Robots.txt को सही से कॉन्फिगर नहीं करते, तो Googlebot अनचाहे पेजेस पर समय बर्बाद कर सकता है और आपके महत्वपूर्ण पोस्ट्स को कम प्राथमिकता मिल सकती है।
Blogger में Robots.txt को Enable और Configure कैसे करें?
Blogger में पहले से डिफॉल्ट Robots.txt होता है, लेकिन अब (2025-2026 अपडेट के बाद) आप आसानी से कस्टम बना सकते हैं। स्टेप-बाय-स्टेप गाइड:
- Blogger डैशबोर्ड में लॉगिन करें।
- बाएं साइडबार से Settings पर क्लिक करें।
- Crawlers and Indexing सेक्शन में नीचे स्क्रॉल करें।
- Enable custom robots.txt को ON (Yes) करें।
- अब Custom robots.txt पर क्लिक करें।
- टेक्स्ट एडिटर में अपना कोड पेस्ट करें।
- Save पर क्लिक करें।
बेस्ट प्रैक्टिस Robots.txt उदाहरण Blogger के लिए (2026 Optimized):
User-agent: * Allow: / Disallow: /search Disallow: /admin Disallow: /feeds Sitemap: https://yourblog.blogspot.com/sitemap.xml Sitemap: https://yourblog.blogspot.com/atom.xml
यह कोड सभी पेजेस को अलाउ करता है लेकिन सर्च और एडमिन पेजेस को ब्लॉक करता है। अगर आप स्पेसिफिक बॉट को ब्लॉक करना चाहते हैं (जैसे GPTBot), तो लिखें:
User-agent: GPTBot Disallow: /
ध्यान दें: गलत Disallow से आपका पूरा ब्लॉग ब्लॉक हो सकता है। हमेशा टेस्ट करें।
Custom Robots Header Tags क्या होते हैं?
Custom Robots Header Tags Blogger का एक पावरफुल फीचर है जो X-Robots-Tag HTTP हेडर या meta robots टैग के रूप में काम करता है। यह Robots.txt से अलग है क्योंकि:
- Robots.txt → साइट-वाइड क्रॉलिंग कंट्रोल
- Custom Robots Header Tags → पेज-टाइप स्पेसिफिक इंडेक्सिंग कंट्रोल
यह तीन कैटेगरी पर काम करता है:
- Home Page tags
- Archive and search page tags
- Post and page tags
इनकी मदद से आप होमपेज को फुल इंडेक्स करने की परमिशन दे सकते हैं, जबकि आर्काइव पेजेस को noindex करके डुप्लिकेट कंटेंट से बच सकते हैं। यह Googlebot को सीधे HTTP हेडर में निर्देश देता है, जो meta tag से ज्यादा पावरफुल होता है।
Custom Robots Header Tags के मुख्य Directives और उनका मतलब
| Directive | मतलब (Hindi Explanation) | कब इस्तेमाल करें |
|---|---|---|
| all | सभी क्रॉलिंग और इंडेक्सिंग की अनुमति | होम और पोस्ट पेजेस के लिए डिफॉल्ट |
| noindex | सर्च रिजल्ट्स में न दिखाएं (लेकिन क्रॉल हो सकता है) | आर्काइव, लेबल, सर्च पेजेस |
| nofollow | लिंक्स को फॉलो न करें | कम महत्वपूर्ण पेज |
| noodp | ODP (DMOZ) डायरेक्टरी से टाइटल/डिस्क्रिप्शन न लें | हर जगह (अब भी रेकमेंडेड) |
| noarchive | कैश्ड वर्जन न दिखाएं | प्राइवेसी सेंसिटिव कंटेंट |
| nosnippet | स्निपेट या थंबनेल न दिखाएं | पेड कंटेंट |
| notranslate | Google ट्रांसलेट न करे | अगर भाषा महत्वपूर्ण हो |
Blogger में Custom Robots Header Tags को Enable और Configure कैसे करें?
स्टेप-बाय-स्टेप:
- Settings → Crawlers and Indexing पर जाएं।
- Enable custom robots header tags को ON करें।
- तीन सेक्शन दिखेंगे: Home Page tags, Archive and search page tags, Post and page tags।
- हर सेक्शन में Edit पर क्लिक करें।
- जरूरी directives को टॉगल ON करें।
- Save Changes करें।
रेकमेंडेड सेटिंग्स (2026 Best Practice):
- Home Page tags: all + noodp (ON)
- Archive and search page tags: noindex + noodp (ON)
- Post and page tags: all + noodp (ON)
यह सेटिंग सबसे ज्यादा ब्लॉगर्स द्वारा यूज की जाती है। आर्काइव पेजेस को noindex करने से Google डुप्लिकेट कंटेंट पेनल्टी से बच जाता है और पोस्ट पेजेस को फुल वैल्यू मिलती है।
Robots.txt और Custom Robots Header Tags का सही उपयोग करने के फायदे
1. बेहतर क्रॉल बजट: Googlebot सिर्फ महत्वपूर्ण पेजेस पर फोकस करता है।
2. फास्टर इंडेक्सिंग: साइटमैप के साथ मिलकर नए पोस्ट्स जल्दी इंडेक्स होते हैं।
3. डुप्लिकेट इश्यूज से मुक्ति: आर्काइव पेजेस ब्लॉक होने से कैनोनिकल इश्यू कम।
4. SEO ट्रैफिक बढ़ोतरी: सही निर्देश से रैंकिंग इम्प्रूव।
5. प्राइवेसी प्रोटेक्शन: अनचाहे पेजेस छुपे रहते हैं।
रियल उदाहरण: एक ब्लॉगर ने Archive pages को noindex किया, तो उसका ऑर्गेनिक ट्रैफिक 35% बढ़ गया क्योंकि Google ने मुख्य पोस्ट्स को ज्यादा इम्पोर्टेंस दी।
कॉमन मिस्टेक्स और एक्सपर्ट टिप्स
- गलती 1: पूरा ब्लॉग noindex कर देना – कभी न करें!
- गलती 2: Robots.txt में गलत Disallow – हमेशा Google Search Console का Robots.txt Tester यूज करें।
- टिप: हर बदलाव के बाद 24-48 घंटे इंतजार करें, फिर GSC में URL Inspection से चेक करें।
- टिप: AI बॉट्स को ब्लॉक करने के लिए अलग User-agent ऐड करें।
- टिप: साइटमैप को Robots.txt में जरूर ऐड करें।
अपनी सेटिंग्स कैसे Verify और Test करें?
- Google Search Console में अपना ब्लॉग ऐड करें।
- URL Inspection टूल से कोई भी URL टेस्ट करें।
- Robots.txt Tester से फाइल चेक करें।
- Live URL पर "site:yourblog.blogspot.com" सर्च करके देखें कि अनचाहे पेजेस दिख रहे हैं या नहीं।
अगर सब ठीक है, तो Congratulations! आपका ब्लॉग अब SEO के लिए पूरी तरह ऑप्टिमाइज्ड है।
निष्कर्ष
Robots.txt और Custom Robots Header Tags Blogger के दो सबसे पावरफुल SEO टूल्स हैं। सही कॉन्फिगरेशन से आपका ब्लॉग तेजी से इंडेक्स होगा, ट्रैफिक बढ़ेगा और AdSense रेवेन्यू भी अच्छा कमाएगा। हमेशा सावधानी से बदलाव करें और नियमित चेक करते रहें।
अगर आपको यह गाइड पसंद आई तो कमेंट में बताएं और अपने ब्लॉग का URL शेयर करें – हम चेक करके फीडबैक देंगे!
शुभकामनाएं! आपके ब्लॉग की सक्सेस के लिए।
अस्वीकरण
यह आर्टिकल शैक्षिक उद्देश्य के लिए है। बदलाव से पहले बैकअप लें।