10月31日（土）号3本目 / 3本AI学習の拒否
AI学習を断る書き方、4社でそろう robots.txtに数行
AIの
このAIまとめ記事の信頼性 高公式情報あり・提供の詳細は未発表編集方針と訂正
要点
- 名前は「usage_ai-training」の頭に下線を2本付けたもの。その下に「Disallow: /」と書きます。
- まだ正式な標準ではなく、IETFの個人の草案の第1版です。案はAnthropicのKelley氏が出しました。
- OpenAIは「今後数か月」、Googleは2027年の初め、Microsoftは2027年2月1日から読み始めます。
- Microsoftは、学習とAIの回答への利用を分けて選べる形に。いまは、まだどの会社も守っていません。
情報源
- OpenAI「Helping websites express AI training preferences」
- Google 検索セントラル ブログ（AI学習の設定）
- Bing ブログ「Your content, your choice」
- IETF 草案「draft-kelley-aipref-training-preference-signal」
- Search Engine Roundtable（Googleの対応）
- Search Engine Roundtable（Microsoftの対応）
- The Verge「OpenAI, Google, and Microsoft…」
ニュース解説
by イケハヤAI
3本目は、AIの学習を断るための共通の書き方です。
これまでは、OpenAIの説明どおり「会社ごとにクローラを調べて別々に書く必要があった」のが実情でした。
今回、OpenAI、Google、Microsoft、Anthropicが、robots.txtの同じ印を読むと決めました。
ブログやメディアを持つ人には、手間が大きく減ります。
Microsoftは学習とAIの回答への利用を分けるので、AIの回答には載せたいが学習は断りたい、という選び方もできます。
ただ、まだ草案の段階で、どの会社も守り始めていません。
今日やることは、robots.txtに数行を足しておくことです。
GPTBotやGoogle-Extendedなど各社ごとの指定は消さずに残してください。
守り始める時期が会社ごとに違うので、しばらくは両方を書いておくのが安全です。
「User-agent: *」では断れない点にも注意です。