इस post में हम आपको बताने जा रहे हैं की WordPress ब्लॉग में Robot.txt file को SEO के लिए optimize कैसे करें? में कुछ दिनों से देख रहा हूँ की अक्सर नए ब्लॉगर को यह टेंशन होता है की उसका ब्लॉग search engine में सही से index नही हो रहा है. सभी ब्लॉगर को यह बात पता होना चाहिए की Robot.txt SEO का बहुत important हिस्सा होता है. यदि आप इसका गलत उपयोग करते हो तो आपके ब्लॉग को search engine से penalty भी मिल सकती है. अगर आप इसका सही उपयोग करके अपने ब्लॉग को search engine में अच्छी position पर ला सकते हो।

SEO ब्लॉगिंग में सफलता पाने का #No 1 Key है. लेकिन सभी ब्लॉगर SEO को सही से समझ नही पाता है और search engine optimization सही से नही कर पाता है. जिसके कारण वह ब्लॉगिंग में सफलता प्राप्त नही कर पाता है. मेने ऐसे बहुत से लोगों को देखा है जो की starting से ही SEO को अच्छे से समझ लिया और अच्छे से Optimize भी किया. जिसके कारण वो बहुत ही कम समय में एक सफल ब्लॉगर बन गया. इसीलिए यदि आप एक नए ब्लॉगर हो तो में आपको एक बात बताना चाहूँगा की यदि आपको एक सफल ब्लॉगर बनना है तो पहले SEO को अच्छे से समझें और फिर उसका सही उपयोग करके optimize करें. अगर आपके ब्लॉग की SEO process में कोई mistake नही होगी तो धीरे धीरे आपका ब्लॉग famous होता जायेगा।

में कुछ दिनों से देख रहा हूँ की social media में बहुत से ब्लॉगर अपने ब्लॉग को बेचने की बात भी कर रहे हैं. में उनकी भावना को समझ सकता हूँ की जो बहुत मेहनत करके अपने ब्लॉग में post डाले और उससे उसको कोई benefit नही मिले तो गुस्सा होगा ही। लेकिन जो भी मेरे भाई ऐसा करते हैं तो में उनसे एक बार फिर से कहना चाहूँगा की परिश्रम भी बेकार नही जाता है, आज नही तो कल आपको उस ब्लॉग से फायदा मिलेगा ही. बस आप अपना हिम्मत नही हारें और regular work करते रहें।

हम इस post में Robot.txt के बारे में बताने वाले हैं. बहुत से नए ब्लॉगर अपने ब्लॉग में Robot.txt का गलत इस्तेमाल कर देता है. जिससे उसका ब्लॉग search engine में index ही नही होता है. अगर आपको भी robot.txt के बारे में पता नही है है तो इस post को पढ़े. हम इस post में इससे सम्बंधित पूरी जानकरी देने की कोशिश करेंगे।

Robot.txt क्या है?

Robot.txt एक file होती है, जिसे सभी ब्लॉग में होना SEO के लिए important है. इसमें हम कुछ code का प्रयोग करके search engine को यह बताते हैं की हमारे site की किस content को search engine में crawl/index कराना है और किस content को index नही कराना है. हमारे ब्लॉग में कुछ files ऐसी होती है जो हमारे readers के लिए नही होती है और वो file default में search engine में index होता है. जब search engine में हमारे ब्लॉग की useless URLs ज्यादा index होगी तो हमारे ब्लॉग को search engine से penalty मिल सकती है. इसीलिए हमें अपने ब्लॉग के useless file को search engine से hide करने के लिए Robot.txt द्वारा उसे block करना पड़ता है. Robot.txt में किसी file को index करने से block करने के disallow: टैग का use किया जाता है.
जब search engine किसी भी website को crawl करता है तो सबसे पहले वो उस site के robot.txt file को check करता है की किस content को crawl करना है और किस content को crawl नही करना है. सभी search engine (Google, Bing, Yahoo, Yandex, Ask.com etc) Robot.txt को allow करता है. यदि आपको अपने ब्लॉग के किसी post, page या image को search engine में नही दिखाना है तो इसके लिए आपको search engine से request नही करना होगा बल्कि अपने ब्लॉग के robot.txt फ़ाइल में उसको Disallow करना होगा। अगर हम आपको simple में कहें तो Robot.txt के द्वारा हम सभी search engine को यह बताते हैं की site के किस post, page, image etc. को index करना है और किसको index नही करना है।

अपने Blog के Default Robot.txt file को Edit क्यों करे?

दोस्तों आपको Readymade के बारे में पता होगा ही की इसमें design सिर्फ दिखावे के लिए होता है. यदि आपको readymade को better बनाना है तो उसे अपने customize करना होगा. उसी तरह हमारे ब्लॉग में भी होता है. हमारे ब्लॉग की robot.txt file में default codes use किया होता है यानि की सिर्फ main main files को allow और disallow किया होता है. जबकि better SEO के लिए छोटे से छोटे file को allow/disallow करना जरुरी है. इसीलिए अगर हमें अपने ब्लॉग की performance को ज्यादा better बनाना है तो इसे edit करके अपने हिसाब से customize करना होगा. हमारे ब्लॉग के Robot.txt file को आप इस link से देख सकते हो. www.BloggingHindi.com/robot.txt इसी तरह आप किसी भी wordpress ब्लॉग का robot.txt file इस link देख सकते हो. www.yourblog.com/robot.txt (यहाँ yourblog.com के स्थान पर अपने ब्लॉग का domain add करें)

Robot.txt file में किस किस tag का use किस काम के लिए किया जाता है?

जिस तरह किसी भी coding language में tag का use किया जाता है, उसी तरह robot.txt में भी कुछ tags का use होता है. वैसे robot.txt तो txt file में होता है और इसमें कुछ simple tags use होते हैं. हम आपको निचे इसके बारे में बता रहे हैं की कौन कौन से tags का use किस काम के लिए होता है।

User-agent:
यह robot.txt का एक बहुत ही important tag है. इस tag के द्वारा हम search engine को यह बताते हैं की किस किस search engine को यह करना है. जैसे हम Google के लिए User-agent: googlebot का use करते हैं और सभी search engine के लिए User-agent: * का use करते है. जब हम robot.txt में किसी URL या File को Allow/Disallow करते हैं तो सबसे पहले हमे User-agent: टैग का use करना होता है. क्योकि इससे ही पता चलता है की आप किन किन search engine bot को allow या disallow के लिए order कर रहे हो।

Disallow:
यह टैग भी search engine के लिए बहुत ज्यादा मायने रखता है. जब हम किसी file में disallow का use करेंगे तो search engine में crawl या index नही होगा. जैसे की हमें अपने Blog Directory के wp-admin file को search engine में index नही करना है तो हम कुछ इस तरह से लिखेंगे. एक बात याद रहे की हमें अपने ब्लॉग directory के file को disallow करना है. इसीलिए हमें अपने ब्लॉग का domain नही लिखना है. (जैसे अगर www.blogginghindi.com/wp-admin होगा तो सिर्फ /wp-admin ही लिखना होगा।)

User-agent: *
Disallow: /wp-admin/

Allow:
आपको तो अब समझ में आ ही गया होगा की जिस तरह disallow: टैग का मतलब index नही करने के लिए होता है तो उसी तरह allow टैग का use किसी file को search engine में index करने के लिए किया जाता है. जैसे की हमें अपने blog directory में से wp-content/uploads/ फ़ाइल को search engine में index करना है तो हम कुछ इस तरह लिखेंगे।

User-agent: *

Allow: /wp-content/uploads/
Sitemap:
Robot.txt file में इस टैग का use करना बहुत important होता है. क्योकि इससे हम अपने ब्लॉग की sitemap को allow करते हैं. जिससे search engine bot हमारे ब्लॉग की sitemap के सभी URL को index करता है. जब हम sitemap को robot.txt में allow करते हैं तो कुछ इस तरह से लिखते हैं।

User-agent: *
Sitemap: https://www.blogginghindi.com/post-sitemap.xml

Robot.txt edit करते समय किन बातों को ध्यान में रखें।

1. आप robot.txt file में comment का use नही कर सकते हैं. जिस तरह php coding में हम comment कुछ इस तरह लिखते है. /** comment here */ आप robot.txt में इस तरह comments नही use कर सकते हो.

2. फालतू का space use नही करे. जैसे की Dis allow: /wp-admin ये गलत हुआ. क्योकि इसमें Dis अलग और allow अलग है. उसका सही तरीका कुछ इस तरह होगा।

User-agent: *
Disallow: /wp-admin/

3. Command का rule नही तोड़े. जैसे की सबसे पहले हमें User-agent: * को लिखना होता है और फिर Allow: या Disallow: का use होता है. यदि आप कुछ इस तरह लिखोगे तो गलत होगा।

Disallow: /wp-admin/
User-agent: *

सही तरीका कुछ इस तरह का होगा।

User-agent: *
Disallow: /wp-admin/

4. यदि आपको अपने ब्लॉग के multi file को allow या disallow करना है तो आप सभी file को एक ही tag में नही लिख सकते हो। जैसे हम आपको निचे जो बता रहे हैं वो गलत होगा।

User-agent: *
Disallow: /support /cgi-bin /images/

सही तरीका कुछ इस तरह का होगा।

User-agent: *
Disallow: /support
Disallow: /cgi-bin
Disallow: /images

5. Robot.txt में capital और small letter का use properly करें. जैसे की यदि आप Disallow: /Download/ लिखे हो और आपके ब्लॉग directory में download होगा तो search engine समझने में miss करेगा।

WordPress ब्लॉग के लिए Custom Robot.txt कैसे बनाये।

आपको पता होगा की हमें अपने wordpress ब्लॉग के सभी files को search engine में index नही करना होता है बल्कि बहुत से ऐसे content होते हैं, जिन्हें search engine से hide करके रखना होता है. यदि हम उन content को search engine से hide नही करेंगे तो हमारे ब्लॉग को search engine किसइ penalty मिल सकती है. तो चलिए हम बताते हैं की हमें अपने ब्लॉग के किस content को robot.txt में allow/disallow करना होता है।

Disallow: /cgi-bin/ – हमें इसको disallow करना होता है, जिससे ये search engine में index नही हो. यह हमारे readers के लिए useful नही होता है, इसीलिए इसे search engine में noindex करना होगा।

Disallow: /wp-admin/ – आपको तो पता होगा की yourdomain.com/wp-admin से हम हमारे ब्लॉग में login करते हैं. यह भी हमारे readers के लिए useful नही है. So इसे भी Disallow करना जरुरी है।

Disallow: /archives/ – यह भी हमारे visitors के लिए उपयोगी नही होता है. इसे भी Disallow करें।

Disallow: /comments/feed/ – गूगल search engine में comments को crawl करना पसंद नही करता है. इसीलिए इसे भी Disallow करें।

User-agent: Googlebot-Image
Allow: /wp-content/uploads/ – यदि आप एक WordPress user हो तो शायद आपको पता होगा की जब हम अपने ब्लॉग में image या other file upload करते हैं तो वो yourdomain.com/wp-content/uploads/ में ही store होता है. आपको ये भी पता होगा की हमें Google में image index कराना होता है. इसीलिए इसे Allow यानि index करना होता है।

Disallow: /wp-content/plugins/ – यह हमारे visitors के लिए useful नही होता है. So इसे भी Disallow करें।

Disallow: /readme.html – आपको तो पता होगा की किसी भी ब्लॉग के readme file में ब्लॉग के version और कुछ information होता है, जो हमारे visitor के लिए नही है. इसको भी Disallow करें।
Sitemap: https://www.blogginghindi.com/post-sitemap.xml – 

हमारे ब्लॉग के robot.txt file में यह होना बहुत जरुरी है. क्योकि इससे Search engine bot को हमारे sitemap file के बारे में पता चलता है।

Copy These All Robot.txt Codes:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /archives/
disallow: /*?*
Disallow: *? replytocom
Disallow: /comments/feed/

User-agent: Mediapartners-Google*
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: *
Allow: /?display=wide
Allow: /wp-admin/admin-ajax.php

sitemap: https://www.blogginghindi.com/sitemap.xml

Note: ऊपर बताये हुए code में https://www.blogginghindi.com/sitemap.xml में अपने ब्लॉग के sitemap का URL replace करें।

WordPress में Robot.txt file को update कैसे करें।

आपने ऊपर बताये हुए code को copy कर लिया है. अब इसे आपको अपने ब्लॉग में update करना होगा. इसके लिए बहुत ही simple process है. इससे पहले की हम आपको निचे process बताये एक जरुरी सुचना देना चाहेंगे की हम निचे जो step बता रहे हैं उसको follow करने के लिए आपके ब्लॉग में Yoast SEO plugin होना चाहिए।

Step 1: सबसे पहले अपने ब्लॉग में login करें और menu में SEO पर Click करें. उसके बाद Tools पर Click करें।

Step 2: अब एक नया page open होगा. इसमें 3 options होंगे लेकिन आपको File Editor पर Click करना है।

Step 3: अब इस page में Robot.txt लिखा होगा, उसके निचे एक box होगा. आपको उसी box में अपना copy किया हुआ Robot.txt code को paste करना है और Save Changes to Robot.txt पर Click करें।

में उम्मीद करता हूँ की Robot.txt क्या है? और Custom Robot.txt WordPress में कैसे use करें. इसके बारे में पता चल गया होगा। यदि आपके मन में इससे related कोई सवाल है तो comment करके हमें बताएं. ताकि हम आपकी समश्या को हल करने की कोशिश करेंगे। अगर post अच्छा लगे तो Social media में share जरूर करें।