IT之家 9 月 26 日音尘海角社区 免费视频，收集奇迹商 Cloudflare 本周推出一系列防 AI 爬虫的器用，包括可检察 AI 爬虫具体行径的 AI Audit 和一键屏蔽统共 AI 爬虫的 Block AI Scrapers and Crawlers。站长们不错部署经营奇迹，从而选藏我方网站的推行被用于磨练 AI 的机器东谈主爬虫扒取。

IT之家注：爬虫是一种自动化的设施，不错在互联网上搜索和取得信息，当今好多厂商使用经营爬虫扒取各大网站信息用于磨练 AI 模子，经营爬虫容易导致被扒网站产生重大荒谬流量，为此站长需支付不菲的收集带宽用度，同期也容易导致网站上重大原创 / 秘密推行败露。

Cloudflare 推出的经营器用主要附近签名比对、启发式算法、机器学习和步履分析手艺来辩认爬虫，用户不错检察 AI 爬虫的多样步履，包括爬虫类型、侦探频率和扫描推行，站长还不错按照需要放行“善意的 AI 机器东谈主”执取信息（此类“善意的 AI 机器东谈主”主要寻找网站的 robots.txt 来取得信息海角社区 免费视频，一样不会对网站自己产生荒谬流量，也不会将网页所独特据平直用于全盘磨练模子）。

要是不笃定奈何贬责这些 AI 爬虫，站长们也不错使用 Block AI Scrapers and Crawlers 功能，一键屏蔽统共 AI 爬虫。

互联网为好多大言语模子（如 OpenAI 的 GPT 模子和谷歌的 Bard）提供了大部分的磨练数据海角社区 免费视频，如今好多厂商为了刷自家 AI 模子分数，鼎力通过收集爬虫“拿来式”地取得磨练数据，从而让本应你情我愿的步履变得“恶名化”，各大收集商平直推出此类禁用 AI 爬虫的奇迹也在猜度之中。