欧盟AI网络抓取行为合规指南征求意见
2026年7月7日，欧洲数据保护委员会（European Data Protection Board，下称“EDPB”）发布《生成式人工智能语境下网络抓取指南》征求意见稿（Guidelines 03/2026 on web scraping in the context of generative AI, Version 1.0，下称“《指南》”），意见反馈截至2026年10月30日。
《指南》是EDPB对既有《通用数据保护条例》（“GDPR”）在AI网络抓取场景中的解释，未另行创设一部欧盟网络抓取法。其直接讨论的是个人数据保护问题，未系统涵盖版权、文本和数据挖掘（TDM）、平台合同、数据库权利、网络安全或《欧盟人工智能法》等AI爬虫可能涉及的全部合规问题。因此，该《指南》中涉及的内容只是GDPR规则在生成式人工智能网络抓取场景下的具体化，并没有直接触及《欧盟人工智能法》的相关规则。但是，《指南》对于网络抓取行为在哪些情况下可能被视为不合规仍然有很好的参考的作用，因此，本文将对主要的原则进行介绍并简要结合中国的规制情况简要进行评述。
一、《指南》的适用范围和技术对象
（一）适用于生成式人工智能训练和微调场景
生成式人工智能模型的训练或微调通常需要使用来自不同来源的大规模数据。《指南》聚焦两类场景：一是自行组织或委托第三方从互联网抓取数据用于开发生成式人工智能；二是组织取得并复用由其他主体已经抓取的数据集，用于训练或者微调模型。1
《指南》不适用于以下场景：组织处理自身已经持有的个人数据；数据经纪商仅抓取、持有并向外提供数据集，但自身无意训练人工智能模型等。2
（二）网络抓取行为的含义
《指南》将网络抓取初步定义为使用自动化工具，从公开可用的网络服务提取并存储信息。相关来源可以包括公共登记册、开放数据门户、新闻网站、社交媒体、论坛和个人网站。3《指南》指出，这些网站中的许多可能包含个人数据。
按照收集标准的具体程度和限制程度，抓取可以分为目标型抓取和非目标型抓取。前者按照域名、语言、主题等预先设定的条件收集数据；后者以预设条件为起点，在抓取过程中不断发现和跟随新链接并收集数据。4并明确了网络爬虫过程通常可分为几个独立的步骤，即：定义数据收集标准、提取、清洗，及结构化与存储。
二、网络抓取何时进入GDPR规制范围
只要抓取过程包含个人数据的提取、清洗、组织、检索或者存储，即可能构成GDPR定义的个人数据处理。
在大规模抓取过程中，控制者可能在数据主体不知情的情况下收集大量、年代久远或者高度私密的信息，甚至无法准确掌握数据集中包含哪些个人数据以及涉及哪些个人，此时控制者需要证明其符合GDPR的要求。
此外，如果AI模型记忆并复述训练数据集中包含的数据，则会对个人隐私和数据主体权利构成额外风险。模型基于训练数据的推理能力也可能对数据主体构成额外风险。
因此在模型训练、测试和部署阶段需要注意考虑是否符合GDPR。
三、参与主体的角色及其对应责任
训练数据集的形成可能涉及模型开发者、抓取服务商、数据经纪商等多个主体共同参与。各方属于控制者、共同控制者还是处理者，取决于其对处理目的和关键手段的实际影响，合同中的称谓不具有决定作用。具体角色的认定应视个案情况具体分析。
原则上，如果模型开发者决定训练目的、来源类别和收集规则，并要求抓取服务商按照书面指示建立数据集，模型开发者通常会被认定为控制者，抓取服务商更可能被认定为处理者。5若开发者取得一个此前已经由其他主体独立抓取的数据集，则双方原则上分别对自身的抓取和后续复用负责。如果双方共同决定抓取及模型开发的目的和手段，则更可能构成共同控制者。6
四、数据保护基本原则的适用
（一）合法性与目的限制
控制者应结合拟使用的数据集和网站类型，保证个人数据处理合法、公平和透明。抓取目的本身也应合法，并被具体、明确地表达；不得以与收集目的不相容的方式继续处理数据。7
（二）透明度
个人数据应以相对于数据主体透明的方式处理。这包括告知数据主体其个人数据正在被处理。然而，网络抓取往往发生在控制者与数据主体不存在直接关系的情况下，而使得遵守透明度原则具有挑战。
原则上，控制者应依GDPR向数据主体说明其个人数据来源、类别、处理目的、法律依据、保存安排和权利。只有在逐一提供信息客观不可能或者需要不成比例努力时，控制者才可能依据GDPR第14（5）（b）条例外，不逐一通知数据主体。8
GDPR第14（5）（b）条的例外不能因收集的数据量大而自动成立。控制者应针对整个数据集开展并记录评估，比较逐一通知所需努力与不通知对个人造成的影响，并考虑数据主体数量、数据年代和已经采取的保障措施。即使逐一通知例外成立，控制者也必须采取措施保护数据主体权利，并至少公开提供GDPR第14（1）至（2）条要求的信息。9《指南》还建议在可行范围内以可检索方式公开被抓取网页的域名和URL，并说明抓取日期或期间。复用他人已抓取的数据集时，应提供原抓取控制者的联系方式或者其隐私说明链接。10《指南》也通过示例对于是否成比例的努力进行了说明。
（三）数据最小化
数据最小化原则并不禁止使用大规模数据训练模型，但要求个人数据必须与处理目的适当、相关并限于必要范围。在抓取前，企业应评估合成数据能否实现目的，设定准确的来源和收集标准，制作数据地图和数据盘点，并排除以下情形：
不需要的金融、位置或地理定位信息；
主要由未成年人使用的网站、结构上集中包含脆弱群体或高度敏感信息的网站；
通过robots.txt、ai.txt、CAPTCHA、机器人身份验证或其他技术措施明确反对自动抓取的网站。11
此外，企业应通过语法过滤机制去除社会保障号码、电话号码等具有稳定格式的标识信息，并在可行时使用合成数据替代真实数据，或者采取匿名化、假名化措施。12
（四）准确性
从来源复杂、缺乏维护或者年代久远的网页中容易抓取形成不准确或过时的个人数据。《指南》建议优先选择官方、可信且持续维护的来源，记录抓取时间，并在训练前检查数据格式和抽样核验事实准确性。如果模型投入市场后预计会生成构成个人数据的输出，控制者还应考虑最终输出的准确性并降低生成错误个人数据的风险。13
五、个人数据处理的法律基础
在进行涉及收集个人数据或重复使用被爬取数据的爬虫操作之前，控制者必须确定处理的合法基础。
（一）同意
《指南》明确，同意很可能不是可适用的法律基础。在大规模间接收集场景中，抓取者通常与数据主体没有直接关系，控制者通常难以在抓取前取得数据主体的同意。
个人将数据发布在任何人可以访问的网页上，并不等于其同意第三方将该数据用于生成式人工智能训练，数据主体甚至可能并不知道信息已经公开。特别是，不能把“技术上可访问”“由用户上传”或者“没有robots.txt”直接转换为GDPR意义上的同意。14
（二）正当利益
私营主体援引GDPR第6（1）（f）条的正当利益的，必须同时满足三项条件：第一，存在控制者或第三方追求的正当利益；第二，处理个人数据对该利益具有必要性；第三，数据主体的利益、基本权利和自由没有优先于该利益。15具体而言：
第一，合法利益：所主张的利益应当合法、清楚而具体、真实且现实存在，而不是推测性的。对于尚未确定具体应用的通用模型，企业至少应说明开发目标是商业、公共利益、科学研究还是内部使用。 16
第二，必要性：处理必须有助于实现所追求的利益，并且不存在同等有效、但对个人侵扰更小的替代方式。缩小来源和收集条件、使用假名化数据或合成数据，均可能是侵扰较小的方案。17
第三，平衡测试：应在企业或第三方利益与数据主体的利益、权利和自由之间进行衡量。企业应结合数据性质、处理背景、可能后果及其发生概率、数据主体的预期、可能采取的风险缓解措施等因素考虑抓取活动对个人利益、基本权利以及自由的影响。18
六、特殊类别数据：不存在一般豁免
揭示种族或民族出身、政治观点、宗教或哲学信仰、工会成员身份，以及遗传、生物识别、健康、性生活或性取向的数据，属于GDPR第9条所称的“特殊类别个人数据”，原则上禁止处理。有意抓取此类数据时，控制者除了需要具备一般的合法性基础，还必须满足第9（2）条规定的适用条件。19
在大规模抓取中，控制者可能已经使用来源排除和内容过滤措施，但仍残余收集其无意处理的特殊类别个人数据。《指南》援引欧盟法院在 GC and Others v CNIL20中的判断，认为搜索引擎经营者责任应在其职责、权限和能力范围内确定；但同时强调，该案只可能在处理活动及事实情境足够相似时提供参考，不能被理解为对GDPR第9条和第10条的一般豁免。21控制者至少应逐案证明四项条件：第一，处理活动与判决中的搜索引擎处理具有相关相似性；第二，特殊类别个人数据仅属偶发、残余收集而非有意处理；第三，抓取前难以或无法判断是否及在何种范围内包含此类数据；第四，控制者已经在自身职责、权限和能力范围内采取措施防止相关数据传播。未满足这些条件时，控制者不能仅以技术上难以完全过滤为由援引该案。22
对于确属偶发和残余的特殊类别个人数据，《指南》提出了企业应施行的最低措施：抓取前设定精确标准、过滤器并排除结构上高风险的网站；抓取后立即或在识别后尽快删除相关数据，并响应数据主体提出的经验证属实的删除请求；模型开发期间防止从模型中提取此类数据，开展抗隐私攻击测试和输出过滤；部署后持续监测输出，一旦发现问题即加强过滤、限制特定提示或功能，并在技术可行时考虑模型遗忘或具有同等效果的措施。23
七、企业合规落地启示：从“可抓取”转向“可说明”
《指南》所体现的监管思路，是将生成式人工智能训练中的网络抓取行为置于完整的个人数据处理的框架下，评估其是否符合GDPR的要求。企业不宜仅以网页是否公开、抓取工具是否绕过技术措施或者数据量是否足够大来判断风险，而应能够说明为何需要相关个人数据、为何选择相关来源、采取了哪些限制，以及数据主体如何知情、反对和寻求删除。由于目前的《指南》文件仍是公开咨询稿，企业还应持续关注最终版本可能作出的调整，但是预计公开咨询稿透露出的整体监管原则不会有重大变化，因此企业需要对此加以足够重视并提前参照《指南》进行合规布局和安排。
需注意的是，由于《指南》仅是对GDPR规则的解释适用，《指南》中关于透明度的规则并不涉及《人工智能法》下通用目的人工智能模型提供者需要对外公开模型训练素材摘要的要求，因此通用目的人工智能模型提供者仍需要注意《人工智能法》下关于透明度的额外要求。
中国虽然目前没有与《指南》完全对等的、专门针对生成式AI背景下网络爬虫的系统性指南，但在从生成式AI训练数据、网络爬虫、个人信息保护、数据安全、网络安全、反不正当竞争等多个角度对该问题进行了一定的规制，例如在《生成式人工智能服务管理暂行办法》之中要求提供者开展预训练、优化训练等训练数据处理活动，应当“使用具有合法来源的数据和基础模型；……涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形” 24。在2026年发布的《个人信息安全规范》征求意见稿之中，也在多处对于人工智能产品或服务使用个人信息开展预训练、优化训练的情况做出了规定，包括限于实现业务所需的最小必要范围、显著告知处理目的、方式和影响范围，取得个人同意、提供撤回同意的途径或方式等25。
《指南》对于网络爬虫在生成式AI的语境下提供了更多的一些思考维度和落地的合规指引，特别是对于全球运营的企业搭建相应的合规系统也需多维度的考虑相关的合规要求。
*感谢实习生杨晨对本文的贡献
[1] European Data Protection Board, Guidelines 03/2026 on web scraping in the context of generative AI, Version 1.0, adopted on 7 July 2026, paras. 2–3.
[2] 《指南》第4—6段。
[3] 《指南》第7段。
[4] 《指南》第8段。
[5] 《指南》第16段。
[6] 《指南》第17—20段。
[7] 《指南》第21—23段；GDPR第5(1)(a)及(b)条。
[8] 《指南》第24—27段。
[9] 《指南》第30段。
[10] 《指南》第31—33段。
[11] 《指南》第37段。
[12] 《指南》第38段。
[13] 《指南》第39—42段。
[14] 《指南》第45段。
[15] 《指南》第47段。
[16] 《指南》第48—50段。
[17] 《指南》第51—52段。
[18] 《指南》第55—61段。
[19] 《指南》第67段。
[20] Judgment of the Court (Grand Chamber) of 24 September 2019, GC and Others v Commission nationale de l’informatique et des libertés (CNIL), Case C‑136/17, ECLI:EU:C:2019:773.
[21] 《指南》第72段。
[22] 《指南》第73—75段。
[23] 《指南》第74段。
[24] 参见《生成式人工智能服务管理暂行办法》第七条。
[25] 参见《数据安全技术 个人信息安全规范（征求意见稿）》第6.1、6.7条。
声 明
《君合法律评论》所刊登的文章仅代表作者本人观点，不得视为君合律师事务所或其律师出具的正式法律意见或建议。如需转载或引用该等文章的任何内容，请注明出处。未经本所书面同意，不得转载或使用该等文章中包含的任何图片或影像。如您有意就相关议题进一步交流或探讨，欢迎与本所联系。
