WebスクレイピングAI bot、最も禁止されているのは「GPTBot」だがアクセス最多は別のクローラー (＠IT)

Cloudflareは2024年7月3日(米国時間)、同社製品のWebスクレイピングAI bot(クローラー)ブロック機能を使った、ネットワーク全体のトラフィック調査を紹介するブログエントリを公開した。Cloudflareは以下のように説明している。 AI botのトラフィック量や種類、割合