Si vous souhaitez empêchez OpenAI et ses applications comme ChatGPT ou WebGPT d’accéder à vos contenus, ajoutez ces lignes dans votre robots.txt
User-agent: ChatGPT-User
Disallow: /
User-agent: CCBot
Disallow: /
Pour bloquer ChatGPT ou tout autre agent d’indexation d’OpenAI dans le fichier robots.txt de votre site web, vous devez spécifier l’agent utilisateur approprié pour OpenAI et indiquer les directives de restriction d’accès.
Il est également essentiel de se rappeler que le respect du fichier robots.txt n’est pas juridiquement obligatoire et dépend de l’éthique des développeurs des robots. La plupart des moteurs de recherche réputés et des crawlers respectent robots.txt, mais ce n’est pas une garantie contre tous les types de robots ou de scrapers.