Découvrez ce qu’est AhrefsBot et comment empêcher le fond d’explorer votre site à l’aide de .htaccess et robots.txt des dossiers.

AhrefsBot est un navigateur Web qui exploite une base de données de liens pour les outils de marketing en ligne Ahrefs. Le bot explore constamment le Web pour remplir sa base de données avec de nouveaux liens et pour vérifier l’état des liens trouvés précédemment. En d’autres termes, AhrefsBot est un bot qui est principalement utilisé comme contrôle de backlink.

AhrefsBot

Selon ahrefs.com, l’amende parcourt plus de 6 milliards de pages Web toutes les six heures et met à jour l’index Ahrefs toutes les 15-30 minutes.

Les données de lien collectées par Ahrefs sont utilisées à diverses fins et par les spécialistes du marketing numérique pour planifier, mettre en œuvre et surveiller des campagnes de marketing en ligne.

Certaines personnes affirment que le robot d’Ahref est un mauvais site qui ne respecte pas robots.txt le fichier et le contournement n’autorisent ni n’autorisent les règles. Cependant, Ahrefs conteste cette affirmation en disant: «Nous respectons absolument le fichier robots.txt: à la fois autorise et autorise les règles. Voir https://ahrefs.com/robot pour un aperçu complet de notre robot d’exploration. « 

Bot peut également utiliser la bande passante de votre site et ralentir votre site. Un autre souci pour le fond est qu’il est utilisé par les spammeurs qui y participent fait référence au spam indexation pour spammer votre site avec un trafic de référence indésirable.

D’autres ont rapporté que l’entreprise derrière le fond est connue pour être malhonnête et apporter un soutien trompeur à ceux qui ont des questions sur le fond mais nous ne pouvons pas valider ces affirmations.

Comment bloquer AhrefsBot

Vous pouvez bloquer AhrefsBot avec les fichiers robots.txt et .htaccess. Le blocage d’AhrefsBot n’affecte pas négativement votre classement et peut en fait être bénéfique en nettoyant l’utilisation de la bande passante. Cela peut également empêcher vos concurrents de vérifier vos backlinks.

Voici des solutions qui empêchent le bot d’Ahref d’explorer votre site:

Méthode 1: utilisez le fichier robots.txt

Le fichier robot.txt autorise les robots d’exploration à explorer un site et l’ajout de code au fichier peut empêcher des robots comme AhrefsBot d’explorer votre site. La plupart des robots d’exploration suivent les règles du fichier robots.txt; Cependant, certains n’incluront pas de mauvais bots. AhrefsBot peut suivre les règles ou non.

  • Ajoute ça à robots.txt fichier. Le fichier Robots.txt se trouve dans les fichiers de votre site et se trouve dans votre répertoire racine de votre site.
User-agent: AhrefsBot

Disallow:/

Méthode 2: utilisez le fichier httaccess

L’utilisation du fichier htaccess est une excellente méthode que vous pouvez utiliser pour empêcher AhrefsBot et d’autres robots d’explorer votre site. Le fichier .htaccess vous permet de bloquer les mauvais bots par des adresses IP, ou dans ce cas, des plages IP car AhrefsBot utilise plusieurs adresses IP et plages.

  • Ajoute ça à .htaccess fichier. Comme le fichier robots.txt, le fichier .htaccess est à la racine des fichiers de votre site.
deny from 173.199.64.0 - 173.199.127.255

Autres plages IP utilisées par Ahrefs:

54.36.148.0/24
54.36.149.0/24
54.36.150.0/24
195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24

Si le bot a exploré votre site à partir d’une autre adresse IP, ajoutez simplement le même code à votre fichier .htaccess avec les adresses IP mises à jour, mais gardez cet intervalle là.

Une autre solution

De plus, vous pouvez ajouter ce code au fichier .htaccess pour bloquer AhrefsBot.

RewriteEngine On

RewriteCond %{REQUEST_URI} !/robots.txt$

RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]

RewriteRule ^.*.*

J’espère que vous avez trouvé ces informations utiles et que vous avez réussi à empêcher AhrefsBot d’explorer votre site. Laissez un commentaire ci-dessous si vous avez des questions ou des suggestions.



Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *