

هل تسعى لجعل موقعك يظهر في نتائج البحث الأولى على جوجل؟ ملف robots.txt هو عنصر أساسي يساعدك على التحكم في كيفية وصول محركات البحث إلى موقعك وفهرسته. في هذا الدليل الشامل، سنوضح لك كيفية إنشاء ملف robots.txt مثالي لأي موقع ويب لتحسين السيو وتقليل الأخطاء.
ملف robots.txt هو ملف نصي بسيط يعمل كمرشد لمحركات البحث مثل Google وBing. من خلاله، يمكنك تحديد الصفحات أو الأقسام التي يُسمح لمحركات البحث بالوصول إليها وأيها يجب استبعاده.
اختيار محرر نصوص مناسب: استخدم برامج مثل Notepad أو TextEdit لإنشاء ملف نصي جديد.
يستخدم ملف robots.txt للتحكم في كيفية قيام محركات البحث بفحص وفهرسة موقع الويب الخاص بك. إليك نموذج مثالي لملف robots.txt لموقع ووردبريس:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /trackback/ Disallow: /cgi-bin/ Disallow: /xmlrpc.php Disallow: /feed/ Disallow: /comments/ Disallow: /category/*/feed/ Allow: /wp-content/uploads/ Sitemap: https://example.com/sitemap.xml
يستخدم ملف robots.txt للتحكم في كيفية قيام محركات البحث بفحص وفهرسة موقعك الإلكتروني. إليك نموذج مثالي لملف robots.txt لمتجر Woocommerce:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /trackback/ Disallow: /cgi-bin/ Disallow: /xmlrpc.php Disallow: /feed/ Disallow: /comments/ Disallow: /category/*/feed/ Disallow: /cart/ Disallow: /checkout/ Disallow: /my-account/ Disallow: /?s=* Disallow: /*add-to-cart=* Allow: /wp-content/uploads/ Sitemap: https://example.com/sitemap.xml
قم بنسخ هذا الملف - تأكد من تعديل عنوان URL الخاص بخريطة موقعك.
(لا تنسَ إعادة تسمية الملف إلى robots.txt قبل رفعه إلى موقع WooCommerce الخاص بك)
إذا كنت تستخدم Blogger (Blogspot)، يمكنك تخصيص ملف robots.txt الخاص بك لتحسين فهرسة محركات البحث وحماية بعض المناطق في مدونتك من الزحف. إليك نموذج منظم لملف robots.txt لموقع Blogger:
User-agent: * Disallow: /search Disallow: /*?updated-max=* Disallow: /*?max-results=* Disallow: /*?m=1 Allow: / Sitemap: https://yourblog.blogspot.com/sitemap.xml
نسخ ملف robots.txt للمدونة، افتح الملف وتأكد من استبدال عنوان URL الخاص بخريطة موقعك.
(تأكد من إعادة تسمية الملف إلى robots.txt قبل رفعه إلى مدونتك على Blogger)
تقوم Wix بإدارة ملف robots.txt بشكل تلقائي نيابةً عنك. ولكن إذا كنت بحاجة إلى إعداد مخصص، يجب عليك اتباع الخطوات التالية في لوحة معلومات Wix. إليك مثال على ملف robots.txt لـ Wix:
User-agent: * Disallow: /editor/ Disallow: /users/ Disallow: /sites/ Disallow: /account/ Disallow: /login/ Disallow: /signup/ Disallow: /cart/ Disallow: /checkout/ Allow: /sitemap.xml Sitemap: https://yourwixsite.com/sitemap.xml
تحميل ملف robots.txt لـ Wix – قم بفتح الملف وتأكد من استبدال عنوان URL الخاص بخريطة موقعك.
(لا تنسَ إعادة تسمية الملف إلى robots.txt قبل رفعه إلى موقعك على Wix)
يقوم Shopify بإنشاء ملف robots.txt لمتجرك بشكل تلقائي، ولكن يمكنك تخصيصه باستخدام قالب robots.txt.liquid. إليك مثال على ملف robots.txt النموذجي لمتجر Shopify:
مثال على robots.txt لمتجر Shopify
User-agent: * Disallow: /admin/ Disallow: /cart Disallow: /checkout Disallow: /orders Disallow: /account Disallow: /collections/*sort_by* Disallow: /collections/*filter* Allow: /sitemap.xml Sitemap: https://yourshopifystore.com/sitemap.xml
تحميل ملف robots.txt لـ Shopify – قم بفتح الملف وتأكد من استبدال عنوان URL الخاص بخريطة موقعك.
(لا تنسَ إعادة تسمية الملف إلى robots.txt قبل رفعه إلى موقعك على Shopify)
تعليقات
0