دمتم ودامت أيامكم بكل خير ، بعد شرحنا في الدرس السابق من دروس دورة بلوجر على مدونة الحضرمي للبرمجة لطريقة انشاء ملف خريطة الموقع واخذنا نبذة عنها وعن طريقة انشاء ملف sitemap وارساله الى محرك بحث جوجل Google ، اليوم نقدم لكم شرح تفصيلي لملف robots.txt ، ما هو ملف الروبوت ؟ كيف يعمل ؟ ما الفرق بين ملف robots.txt و ملف sitemap.xml. ما فائدة كلا الملفين في تحسين موقعك الإلكتروني ومساعدة محركات البحث من الوصول الى موقعك ، وفهمه ، وهيكلته بالطريقة الصحيحة . كيفية الحصول على ترتيب جيد ضمن نتائج البحث ، لتحسين ترتيب الموقع بين آلاف المواقع الإلكترونية الأخرى وتصدر نتائج البحث.
نبذة عن ملف robots.txt
المقصود بـ ملف robots.txt : بأنه عبارة عن ملف يقدم معلومات لبرامج زحف محركات البحث عن الصفحات التي يمكن للزاحف الوصول إليها من موقعك الإلكتروني وأيضا يتضمن معلومات عن الصفحات التي لا يمكن لـ زواحف البحث الوصول إليها. وغالبا ما يتم إستخدام هذه المعلومات لتسريع الموقع وكذلك تسريع فهرسة صفحات المدونة بمعنى أنه يفيد في تجنب ثقل الموقع بسبب طلبات البحث.لماذا نستخدم ملف robots.txt؟
يتم استخدام ملف robots.txt لإدارة عدد زيارات الزواحف الى مدونتك ، وعادة ما يستخدم لإخفاء صفحة من نتائج البحث على جوجل وفق نوع الملف :
- صفحة ويب : فإذا كنت تعتقد ان موقعك يبدو ثقيلا بسبب طلبات زاحف جوجل . او اذا كنت تريد لزواحف البحث تجنب فهرسة بعض الصفحات التي تبدو غير هامة .ويجب عدم استخدام robots.txt كطريقة لإخفاء صفحاتك من نتائج البحث على الويب.
- ملف وسائط : يمكنك استخدام robots.txt لإدارة حركة الزحف لموقعك الالكتروني اضافة الى ذلك منع ظهور ملفات الصور والفيديو والملفات الصوتية في نتائج البحث على جوجل Google. يمكنك قراءة المزيد حول منع ظهور الصور على محرك بحث جوجل .
ويجب عليك قبل البدء بتركيب ملف robots.txt على مدونتك او موقعك الإلكتروني ان تكون على دراية ببعض المعلومات حول الية عمل الملف وكيف يقوم بمنع زواحف الويب من الوصول الى موقعك ، بالإضافة الى ذلك ان الإستخدام الخاطئ لهذا الملف قد يؤدي الى تجاهل موقعك او مدونتك من قبل زواحف ومحركات البحث . فلذا قبل تركيب الملف كن حذرا بعض الشئ حتى لا تسبب مشكلة في تجاهل محرك البحث لمدونتك . وهذه من المشاكل الشائعة التي يعاني منها الكثير من المبتدئين في مجال التدوين ، لماذا لا تظهر مدونتك في محرك البحث ؟ السبب يا عزيزي مثل هذه البيانات التي يجب عليك ان تكون حذرا عند التعامل معها او تعديلها او إضافتها الى موقعك . ويجب عليك اتباع الشروحات الموثوقة . لأن الكثير يقومون بنشر المعلومات بدون خبرة .
طريقة إنشاء ملف robots.txt لمدونة بلوجر
وهنا سوف نقدم لكم طريقة انشاء ملف الروبوت لمدونات بلوجر فقط ، ما يعني أن هذا الملف ليس مخصص لمدونات بلوجر ، ايضا مواقع الويب المستضافة على السيرفرات وعلى منصات الويب الأخرى كالورد برس وغيرها. ايضا يقومون بتضمين ملف حظر الزواحف robots.txt . وقد تختلف الطريقة قليلا بينهما لكن الفكرة واحدة والمفهوم واحد .
اكواد ملف الروبوت وشرح مبسط للملف :
User-agent: *
Disallow: /
Allow: /
Sitemap: https://www.hadram-pro.com/sitemap.xml
يتم تركيب ملف robots.txt في مدونة بلوجر من لوحة التحكم ، بالنسبة لمواقع الويب المستضافة الأخرى يوجد ملف robots.txt في جذر موقعك على الويب. و الملف robots.txt هو ملف نص عادي يتّبع معيار استبعاد الروبوتات او زواحف الويب لبعض الصفحات والسماح بالوصول لبعض الصفحات وذلك حسب تعديلك على هذا الملف. بحيث يتكون ملف robots.txt من قاعدة واحدة أو أكثر .السطر المضمن في راس صفحة ملف الروبوت "User-agent: *".يعتبر قاعدة من قواعد موقعك يجب على زواحف وبوتات الويب الالتزام بها واتباعها . وذلك وفقا لـ إعداداتك و قواعدك.
حيث تمنع كل قاعدة (أو تسمح) وصول زاحف معيّن إلى مسار ملف محدّد في هذا الموقع الإلكتروني. ويمكنك قراءة دليل ملف robots.txt من شركة جوجل للمزيد من التفاصيل .شرح طريقة تركيب ملف robots.txt على مدونة بلوجر
لتركيب الملف على مدونتك يجب عليك إتباع الخطوات الموضحة أدناه . بالتفصيل وكما هي :-- قم بنسخ الاكواد الموضحة أدناه. مع تعديل رابط مدونة الحضرمي للبرمجة . إلى رابط مدونتك . كذلك يفضل نسخ رابط موقعك من المتصفح مباشرة . لأنه من المحتمل أثناء كتابة دومين موقعك يدويا قد تحدث بعض الأخطاء . التي لا ينتبه لها البعض .
- إنتقل إلى لوحة التحكم في مدونة بلوجر - الإعدادات - إعدادات البحث - برامج الزحف والفهرسة - ملف robots.txt مخصص.
- قم بلصق النص كما هو ويجب وضع دومين موقعك بدلا من الدومين المحدد بالأحمر وضعته فقط للتوضيح .
User-agent: *
Disallow: /
Allow: /
Sitemap: https://www.hadram-pro.com/sitemap.xml
انقر على زر حفظ ، ثم اضغط على الكلمة "google search console" . انتقل الى أدوات مشرفي المواقع وقم بإرسال ملفات السايت ماب التالية :
- rss.xml.
- feeds/posts/default.
- atom.xml.
- sitemap.xml.
الخلاصة
نبذة عن ملف robots.txt؟ :ماذا يقصد بالملف . يسمح للزواحف من الوصول إلى صفحات موقعك الإلكتروني . ايضا لا يسمح من الوصول إلى بعض الصفحات . ويحتوي على بعض القواعد التي يقوم مالك الموقع بكتابتها على شكل نصوص . وتختلف الطريقة من مواقع الإنترنت المستضافة على سيرفرات ، والتي يكون تصميمها مختلف عن تصميم بلوجر . فائدته في تحسين ارشفة مواضيع المدونة وتسريع الموقع . وكذا تأهيل الموقع من تصدر نتائج محركات البحث .
طريقة تركيب ملف robots.txt ؟ على مدونة بلوجر بالصور ، وايضا مرفق بعض بعض ملفات الخلاصة rss.xml ، ملفات اتوم atom.xml ، ملفات السايت ماب sitemap.xml . وبهذه الطريقة انت تضمن ان مدونتك او موقعك اصبح متاحا و يمكن الزحف الى الموقع وفهرسته . والى اللقاء في درس قادم من دورة بلوجر . يرجى متابعة المدونة وكذلك يمكنكم الإبلاغ عن مشكلة او رابط لا يعمل او لديكم اقتراح بوضع تعليق اسفل المشاركة وسوف نقوم بالرد عليه مباشرة .
المصادر : https://support.google.com