طريقة إنشاء ملف robots.txt مخصص لمحركات البحث في مدونة بلوجر

سلام الله عليكم جميعا ، في هذا الموضوع سنتعرف على أهمية robots.txt في المدونة ، ما هوا هذا الملف ، كل هذا في موضوع على مدونة أندرويد لمين.

ماهي روبوتات محركات البحث

هي الروبوتات التي تقرأ البيانات من الموقع الويب أو صفحات الويب ، وتنقلها إلى قاعدة بياناتها مثل Google consol أو Bing أو yandex أو مواقع الأرشفة الأخرى.

كيف تتم عملية الزحف إلى الموقع الخاص بك

يتفاعل كل روبوت زحف لمحرك بحث أولا مع ملف robots.txt و قواعد الزحف الخاصة لموقع الويب سوى كان وورد بريس أو بلوجر ، مما يعني أن ملف robot.txt مهما جدا في تحسين محرك البحث في الموقع الويب الخاص بك ، تشرح هذه المقالة عن طريقة إضافة هذا الملف المخصص الهام لمحركات الزحف.

ما هي وظائف ملف robots.txt

ملف robots.txt يُعلم محرك البحث بالصفحات التي يجب الزحف إليها و الصفحات لا ينبغي الزحف لها ، و من ثم يسمح لنا بالتحكم في عمل روبوتات محرك البحث مثل Google console أو Bing أو غيرها ، في ملف robots.txt نعلن وظائف وكيل المستخدم بالسماح أو عدم السماح بالأرشفة ، و وظائف خريطة الموقع لمحركات البحث مثل Yandex أو Google وما إلى ذلك ، دعونا نفهم أكثر هذه المصطلحات وما تعني ، عادة ما نستخدم العلامات الوصفية لبرنامج الروبوت لجميع محركات البحث ، لفهرسة منشورات المدونة عبرى مواقع الفهرسة ولكن إذا كنت تريد حظر الروبوتات في بعض أقسام الموقع ، فيجب أن تعلم ملف robots.txt لموقع الخاص بك بذلك.

ملف robots.txt الإفتراضي لمدونة بلوجر (تحليل)

لإنشاء ملف روبوت مخصص مثالي لمدونة بلوجر علينا أول فهم هذا الملف و تحليل البنية الإفتراضي هكذا يبدو ملف robots.txt في مدونة بلوجر.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.exemple.com/sitemap.xml

Mediapartners-Google

السطر الأول ماذا يعني ، يُعلن عن تعليمات البرمجية في Google AdSense هذا يعني أنه يمكنه الزحف إلى الموقع بالكامل و عرض الإعلانات.

User-agent

يعني تعليمات لجميع برامج الزحف الأخرى ، بخلاف جوجل أدسنس باستخدام وظيفة Allow و Disallow هكذا يعمل.

Disallow

هذا هوا السطر الذي يمكنه إعلان عن أقسام الصفحة التي لا ينبغي لمحركات البحث الزحف إليها.

Allow

هذا السَطر يسمح لموقع الويب بأكمله بالزحف ، كما يْمكن تضمين أقسام خاصة من موقع الخاص بك لا يجب فهرستها في نتائج البحث.

خريطة الموقع أو sitemap

يسمح لمحرك البحث بكتشاف صفحات الموقع الخاص بك ، أو نطلق عليه تسمية النطاق.

إنشاء ملف robots.txt مخصص و مثالي لمدونة بلوجر

لقد فهمنا الأن كيف يقوم ملف robots.txt بالعمل ، و كل قسم ماذا يعمل فلنقم بتحسينه لنحصل على أفضل مُحسنات محركات البحث ، يسمح ملف robots الإفتراضي للأرشيف بالفهرسة التي تسبب مشكلة المحتوى المكرر ، يمكننا منع المحتوى المكرر عن طريق إقاف روبوتات من الزحف إلى قسم الأرشيف.

Disallow: /search

هذه هي العلامة التي تعطل الزحف إلى كل الصفحات البحث و التسمية ، Allow تسمح للروبوتات بالزحف إلى المشاركات و صفحات في المدونة ، هكذا سيبدو ملف robots.txt المخصص الجديد في مدونة بلوجر بهذا الشكل.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search*
Allow: /
#sitemap of the blog
Sitemap: https://www.example.com/sitemap.xml

طريقة إضافة ملف robots.txt في مدونة بلوجر

سجل ذخولك في بلوجر ، إنتقل إلى إعدادات المدونة في الأسفل حيث موجود إعدادات robots.txt مخصص ستجده غير مفعل قم بتفعيله ، الأن ضع الملف هنا كما في الصورة.

هكذا كما في الصورة تقوم بوضع الملف في المكان الصحيح ، أنا شخصيا أستعمل هذا ملف ، إنه مثالي يقوم بعمل ممتاز و يساعد محركات البحث بالوصول إلى صفحات الموقع ، لا تنسى إستبذال الموقع الخاص بك في العنوان بالملف ، هنا قد إنتهينا و أتمنا أنني أفدتكم بهذه المعلومات المفيد جميع هذه المعلومات مأخودة من الأنترنت و مجربة في مدونة أندرويد لمين.