הגדרת אינטרנט ספיידרדינג ו Crawlers אינטרנט

עכבישים הם תוכניות (או סקריפטים אוטומטיים) ש"זוחלים "דרך האינטרנט ומחפשים נתונים. עכבישים נוסעים דרך כתובות אתר אינטרנט ויכולים למשוך נתונים מדפי אינטרנט כגון כתובות דוא"ל. עכבישים משמשים גם כדי להאכיל מידע למצוא באתרי אינטרנט למנועי חיפוש.

עכבישים, אשר נקראים גם 'אינטרנט סורקים' חיפוש באינטרנט ולא כולם ידידותיים בכוונתם.

שולחי דואר זבל Spider אתרי אינטרנט כדי לאסוף מידע

Google, Yahoo!

ומנועי חיפוש אחרים אינם היחידים המעוניינים לסרוק אתרי אינטרנט - כך גם שולחי דואר זבל ושולחי ספאם.

עכבישים וכלים אוטומטיים אחרים משמשים שולחי דואר זבל כדי למצוא כתובות דוא"ל (באינטרנט נוהג זה מכונה לעתים קרובות "הקציר") באתרי אינטרנט ולאחר מכן להשתמש בהם כדי ליצור רשימות דואר זבל.

-> ->

עכבישים הם גם כלי המשמש את מנועי החיפוש כדי למצוא מידע נוסף על האתר שלך אבל נותר ללא ביקורת, אתר ללא הוראות (או, 'הרשאות') על איך לסרוק את האתר שלך יכול להציג הגדולות - סיכוני אבטחת מידע. עכבישים נוסעים על ידי הקישורים הבאים, והם מאוד מיומנת במציאת קישורים למסדי נתונים, קבצי תוכניות ומידע אחר, אשר ייתכן שלא תרצה להם גישה.

מנהלי אתרים יכולים להציג יומנים כדי לראות מה עכבישים ורובוטים אחרים ביקרו באתרים שלהם. מידע זה מסייע למנהלי אתרים לדעת מי מוסיף לאינדקס את האתר שלהם, ובאיזו תדירות.

מידע זה שימושי משום שהוא מאפשר למנהלי אתרים כדי לכוונן את SEO שלהם עדכון רובוט. txt קבצים לאסור על רובוטים מסוימים לסרוק את האתר שלהם בעתיד.

טיפים על הגנה על האתר שלך מפני סורק רובוטים לא רצויים

יש דרך פשוטה למדי כדי לשמור על הסורקים לא רצויים מתוך האתר שלך. גם אם אתה לא מודאג עכבישים זדוניים לסרוק את האתר שלך (obsuscating כתובת הדוא"ל לא יגן עליך מפני רוב הסורקים), אתה עדיין צריך צריך לספק למנועי החיפוש הוראות חשובות.

לכל אתרי האינטרנט יש קובץ הממוקם בספריית השורש הקרויה רובוטים. קובץ txt. קובץ זה מאפשר לך להנחות סורקי אינטרנט שבהם אתה רוצה שהם ייראו לדפי אינדקס (אלא אם כן צוין אחרת בנתוני meta של דף ספציפי כדי לא להיות באינדקס) אם הם מנוע חיפוש.

בדיוק כפי שאתה יכול לספר סורקים רצה איפה אתה רוצה אותם לגלוש, אתה יכול גם להגיד להם איפה הם לא יכולים ללכת ואפילו לחסום סורקים ספציפיים מכל האתר שלך.

חשוב לזכור כי גם רובוטים להרכיב היטב. קובץ txt יהיה בעל ערך עצום עבור מנועי החיפוש ויכול גם להיות מרכיב מפתח בשיפור הביצועים של האתר שלך, אבל כמה סורקים הרובוט עדיין להתעלם ההוראות שלך. מסיבה זו, חשוב לשמור את כל התוכנות, תוספים ויישומים מעודכנים בכל עת.

מאמרים קשורים ומידע

בשל השכיחות של קצירת המידע המשמש למטרות מזיק (דואר זבל), חקיקה עברה בשנת 2003 כדי להפוך פרקטיקות מסוימות בלתי חוקיים. חוקים אלה להגנה על הצרכן נופלים תחת CAN-SPAM Act of 2003.

חשוב לך לקחת את הזמן כדי לקרוא על CAN-SPAM Act אם העסק שלך עוסק בכל דיוור המוני או איסוף מידע.

אתה יכול למצוא מידע נוסף על חוקי אנטי ספאם וכיצד להתמודד עם שולחי דואר זבל, ומה שאתה כבעל עסק לא יכול לעשות, על ידי קריאת המאמרים הבאים:

• CAN-SPAM Act 2003
• CAN- SPM חוק כללים עבור מלכ"רים
• 5 CAN-SPAM כללים עסקים קטנים צריכים להבין