What is Bot Traffic?How do I stop bot traffic?ما هي حركة البوت وكيف يمكنني إيقاف حركة الآلية ؟
What is Bot Traffic?How do I stop bot traffic?ما هي حركة البوت وكيف يمكنني إيقاف حركة الآلية ؟
حركة مرور Bot هي في الأساس حركة مرور غير بشرية إلى موقع ويب. حركة مرور الروبوت هي نتيجة تطبيقات البرامج التي تقوم بتشغيل المهام الآلية. يمكن للروبوتات أداء المهام المتكررة بسرعة كبيرة ، بمعدل لا يستطيع البشر ببساطة إدارته.
من خلال هذه القدرة على أداء المهام المتكررة بسرعة ، يمكن استخدام الروبوتات من أجل الخير والشر. يمكن لبرامج الروبوت "الجيدة" ، على سبيل المثال ، فحص مواقع الويب للتأكد من أن جميع الروابط تعمل. يمكن إطلاق العنان للروبوتات "السيئة" لاستهداف مواقع الويب ذات الزيارات الكثيفة ، بما يكفي لإرباك الموقع وإزالته.
نظرًا لأن الروبوتات هي مجرد نصوص برمجية ، فيمكنها أداء أي عدد من الوظائف. يتم استخدام الروبوتات على سبيل المثال بواسطة محركات البحث مثل Google للزحف إلى الويب لجلب المعلومات وتحليلها ، مما يتيح بدوره لهذه الشركات الاحتفاظ بنتائج البحث محدثة وذات صلة.
بالنسبة للمستخدمين النهائيين مثل متصفحات مواقع الويب ، فإن حركة مرور الروبوت ليست مشكلة في الحقيقة. ومع ذلك ، بالنسبة لمالكي المواقع ، فإن حركة مرور الروبوتات أمر بالغ الأهمية: سواء كان ذلك لضمان قيام Google بالزحف إلى موقعك بشكل صحيح ، أو لتعزيز دقة نتائج التحليلات ، أو لضمان صحة وأداء موقع الويب الخاص بك ، أو لمنع السلوك الضار على موقع الويب الخاص بك والإعلانات.
بشكل لا يصدق ، أكثر من نصف حركة مرور الويب هي حركة مرور روبوت. لكن المقلق هو أن 28.9٪.
أنواع مختلفة من حركة مرور الروبوت What are Different Types Of Bot Traffic
من أجل الفهم الكامل لحركة مرور الروبوتات ، يتعين على المرء أن ينظر إلى أنواع مختلفة من حركة مرور الروبوت - والتي يمكن أن تشمل برامج زحف الويب لمحركات البحث مثل Google ، أو برامج الروبوت الضارة التي تُستخدم لمهاجمة مواقع الويب. يمكن أن تشمل الأنواع المختلفة من زيارات الروبوت ما يلي:
"روبوتات جيدة" good bots
تحسين محركات البحث (SEO): تقوم روبوتات محرك البحث بالزحف ، وفهرسة وفهرسة صفحات الويب ، ويتم استخدام النتائج بواسطة موفري البحث مثل Google لتقديم خدماتهم
مراقبة مواقع الويب: تراقب هذه الروبوتات مواقع الويب وصحة مواقع الويب بحثًا عن مشكلات مثل أوقات التحميل وأوقات التعطل وما إلى ذلك
التجميع: تجمع هذه الروبوتات معلومات من مواقع ويب مختلفة أو أجزاء من موقع ويب ، وتقوم بجمعها في مكان واحد
القشط: ضمن هذه الفئة ، يوجد روبوتات "جيدة" و "سيئة". تقوم هذه الروبوتات "بكشط" أو "رفع" المعلومات من مواقع الويب ، مثل أرقام الهواتف وعناوين البريد الإلكتروني. يمكن استخدام القشط (عندما يكون قانونيًا بالطبع) للبحث على سبيل المثال ، ولكن يمكن أيضًا استخدامه لنسخ المعلومات بشكل غير قانوني
"الروبوتات السيئة" bad bots
البريد العشوائي: هنا ، تُستخدم برامج الروبوت لأغراض البريد العشوائي ، غالبًا ضمن قسم "التعليقات" في مواقع الويب
DDoS: يمكن استخدام الروبوتات لإزالة موقعك بهجوم رفض الخدمة
احتيال الإعلان: يمكن استخدام برامج الروبوت للنقر فوق إعلاناتك تلقائيًا
هجمات DDoS والهجمات الضارة: الروبوتات عبارة عن شبكة من أجهزة الكمبيوتر المصابة ببرامج ضارة ويتم التحكم فيها كمجموعة ، غالبًا بدون علم المالكين
كيف تكتشف حركة مرور البوت؟ How To Detect Bot Traffic?
يُعد اكتشاف حركة مرور الروبوت خطوة أولى رائعة في ضمان حصولك على جميع مزايا برامج الروبوت الجيدة (مثل الظهور في نتائج بحث Google) مع منع برامج التتبع السيئة من تكلفتك.
عند اكتشاف كيفية اكتشاف حركة مرور الروبوتات ، فإن أفضل مكان للبدء هو استخدام Google Analytics.
إذا تساءلت مع نفسك ، "هل يمكنني رؤية حركة مرور الروبوت في حساب التحليلات الخاص بي؟" ، الإجابة هي: يمكنك بالتأكيد الحصول على إشارة إليها. تحتاج إلى معرفة ما الذي تبحث عنه ، وستتمكن من الحصول على إشارة إلى حركة مرور الروبوت ، ولكن قد لا تجد مسدسًا قويًا.
النسب الرئيسية التي يجب تتبعها هنا هي:
معدل الارتداد
مشاهدات الصفحة
مقاييس تحميل الصفحة
متوسط مدة الجلسة
يتم التعبير عن معدل الارتداد كـ a ويظهر لزوار موقع الويب الخاص بك الذين يتنقلون بعيدًا عن الموقع بعد مشاهدة صفحة واحدة فقط. من المرجح أن يصل البشر إلى موقعك (من نتيجة محرك بحث ، على سبيل المثال) ، ثم النقر لاستكشاف عرضك. لا يهتم الروبوت باستكشاف موقعك ، لذلك "يضرب" صفحة واحدة ويغادر. يعد معدل الارتداد المرتفع مؤشرًا رائعًا على اكتشاف حركة مرور الروبوت.
يعد معدل الارتداد المرتفع مؤشرًا على حركة مرور الروبوت
مشاهدات الصفحة هي تقريبا عكس ذلك. قد يزور الزائر العادي بضع صفحات في موقعك ، ثم يمضي قدمًا. إذا رأيت فجأة حركة مرور حيث يتم عرض 50 أو 60 صفحة ، فهذا على الأرجح ليس حركة مرور بشرية.
مقاييس تحميل الموقع البطيء. هذا أيضًا مهم جدًا للمراقبة. إذا تباطأت أوقات التحميل فجأة ، وكان موقعك بطيئًا ، فقد يشير ذلك إلى قفزة في حركة مرور الروبوت ، أو حتى هجوم DDoS (رفض الخدمة الموزع) باستخدام برامج الروبوت. قد تكون هناك حاجة لحل تقني في بعض الحالات (المزيد حول هذا أدناه) ، ولكن هذه خطوة أولى جيدة في كيفية اكتشاف برامج الروبوت.
متوسط ستخبرك مدة الجلسة بالكثير عن كيفية تفاعل المستخدمين من مختلف المصادر مع الموقع. في الصورة أدناه ، من المرجح أن تجلب شبكة Microsoft Corp حركة مرور غير بشرية. ثانيتان هي طريقة كلاسيكية لنقرات الروبوت.
كيفية منع برامج الروبوت من الزحف إلى موقعي How To Stop Bots From Crawling My Site
عند اكتشاف كيفية منع برامج التتبع من الزحف إلى موقعي ، من المهم أن تضع في اعتبارك أن بعض برامج التتبع جيدة ، أي أنك تريدها أن تقوم بالزحف إلى موقعك. على سبيل المثال ، من الممكن منع جميع برامج الروبوت من التعامل مع موقع الويب الخاص بك ، وهذا يعني أيضًا أنك ستسقط من نتائج بحث Google ، على سبيل المثال.
محطتك الأولى هي ملف robots.txt الخاص بك. هذا ملف نصي بسيط يقدم إرشادات للروبوتات التي تزور صفحتك من حيث ما يمكنها فعله وما لا يمكنها فعله ، فبدون ملف robots.txt ، سيتمكن أي روبوت من زيارة صفحتك. يمكنك أيضًا إعداد ملفك بحيث لا يتمكن أي روبوت من زيارة صفحتك (على الرغم من الاطلاع على التحذير أعلاه).
يتمثل "الحل الوسط" في وضع القواعد ، والخبر السار هو أن الروبوتات "الجيدة" ستلتزم بهذه القواعد. ومع ذلك ، فإن الأخبار السيئة هي أن الروبوتات "السيئة" ستتجاهل هذه القواعد تمامًا.
عندما يتعلق الأمر بالروبوتات "السيئة" ، ستحتاج إلى المشاركة في حل تقني. هذا هو المكان الذي تأتي فيه خدمة CDN (شبكة توصيل المحتوى). إحدى مزايا CDN الجيدة هي الحماية التي يمكن أن توفرها ضد الروبوتات الضارة وهجمات DDoS. بعض أكثرها شيوعًا هي Cloudflare و Akamai ، والتي يمكن أن تمنع بعض الروبوتات من الزحف إلى الموقع. كما تقول Cloudflare نفسها ، "ستساعد مصادر بيانات Cloudflare في تقليل عدد برامج التتبع وبرامج الزحف السيئة التي تصيب موقعك تلقائيًا (وليس كل)".
هناك أيضًا حلول لمكافحة الروبوتات المصممة لهذا الغرض والتي يمكن تثبيتها ، ولكن من المهم ملاحظة أن معظم هذه الحلول يمكن أن تحمي موقع الويب الخاص بك بشكل جيد نسبيًا ، ولكن لا يمكنها حمايتك خارج ذلك - على سبيل المثال إعلاناتك على محركات البحث وغيرها من الخصائص.
هناك خيار آخر أكثر تعقيدًا (وأقل فاعلية) وهو حظر عناوين IP يدويًا حيث تعلم أن حركة المرور مرتبطة بالروبوت. خدعة يمكنك استخدام الأصل الجغرافي لحركة المرور. إذا كانت حركة المرور الخاصة بك عادة من الولايات المتحدة وأوروبا ، وفجأة ترى الكثير من عناوين IP من الفلبين ، فقد يكون ذلك عبارة عن روبوت أو مزرعة نقر.
لماذا من المهم حماية إعلاناتك؟Why Is It Important To Protect Your Ads?
أحد أكبر التهديدات لحملاتك الإعلانية ، وبالتالي لمستقبل عملك ، هو حركة مرور الروبوت. أظهر CHEQ وقسم الاقتصاد بجامعة بالتيمور أنه حتى الروبوتات الانتهازية من المقرر أن تكلف الشركات 10 مليارات دولار في عام 2020. يمكن برمجة الروبوتات للنقر على إعلاناتك ، مما يترك الفوضى في أعقابها: على سبيل المثال ، عن طريق استنزاف حساب Adwords الخاص بك ، عن طريق التسبب تقوم Google بتصنيف أداء إعلانك على أنه ضعيف ، وذلك عن طريق إيقاف عرض إعلانك أثناء إبراز إعلانات المنافسين بشكل بارز ، ومن خلال التأثير على معدلات التحويل وجعل تحليلاتك بلا معنى.