第52章 合规与法规¶
合规不是上线前填一张表。企业 Agent 平台会处理数据、生成内容、调用工具、影响业务决策,还可能跨地区、跨租户、跨供应商运行。法规和标准进入工程后,问题会变得很具体:这个 Agent 属于什么风险等级,用了哪些数据和模型,输出影响谁,谁能复核,事故发生后能不能还原证据。NIST AI RMF 用 Govern、Map、Measure、Manage 四个功能组织 AI 风险管理;NIST AI 600-1 针对生成式 AI 进一步补充风险轮廓;EU AI Act 采用风险分级思路,对高风险 AI 系统和通用 AI 模型提出不同义务;中国的生成式 AI 服务管理、深度合成管理和生成合成内容标识要求,则强调内容安全、数据来源、标识和服务责任。C2PA 和 Content Credentials 进一步把内容来源、编辑历史和签名证明变成可验证元数据。
真正的压力通常出现在事故之后。业务方质疑一份 AI 生成的经营报告,平台需要说明它用了哪个数据集、哪条 SQL、哪个指标口径、哪个模型版本、谁改过报告、谁批准导出;客户投诉客服 Agent 给了错误承诺,团队需要还原当时的用户输入、检索证据、工具调用、拒答策略和人工接管记录;合规负责人追问某个外部模型是否处理了个人信息,工程团队不能只说“我们有脱敏”,而要拿出数据流、日志和供应商配置。
合规工程化的核心,是把这些追问提前变成平台控制点。风险分类决定一个 Agent 能接哪些数据、能调用哪些工具、需要什么人工监督;控制矩阵把法规、内部制度和工程模块连起来;内容溯源让导出的报告、图表、图片和文本能回到 Run、数据和审批;审计报告把分散证据整理成合规团队能复核的材料。没有这套链路,合规就会退化成发布前人工签字,上线后却无法解释系统行为。
本章把 NIST AI RMF、EU AI Act、中国生成式 AI 合规要求和内容溯源要求翻译成平台工程:风险分类、控制矩阵、证据链、内容溯源、审计报告和发布验收。这里不提供法律意见,也不替企业判断具体法规适用性,而是帮助工程团队建立和法务、合规、安全团队对话的共同语言。工程侧至少要知道该记录什么、由谁负责、证据存在哪里、变更后如何重新评估。
52.1 合规工程化框架¶
企业 Agent 合规的第一步是建立控制矩阵。矩阵的行是风险和义务,列是平台控制点和证据。法务、合规、安全、平台和业务团队只有围绕这张矩阵,才是在讨论同一个对象。这张矩阵要把“要求”拆成可以被系统记录、测试和审计的字段。表 52-1 先给出一个最小框架,后面的 NIST、EU、中国要求和 C2PA 都可以挂到这些对象上。控制矩阵目的在于让每条要求都能找到系统证据,把法规条文工程化成一堆字段只是手段之一。比如“人工监督”不能只写成制度承诺,要落到审批记录、复核界面、撤销路径和 SLA;“数据来源可追溯”不能只写数据目录链接,要落到每次 Run 的输入数据、检索片段、工具返回和保留策略;“内容标识”不能只写页面提示,要落到导出文件、元数据、签名或水印策略。
表52-1:Agent 合规工程化框架。来源:本书整理。
| 合规对象 | 工程问题 | 证据形态 |
|---|---|---|
| 用途和风险 | Agent 用于什么业务,是否影响个人权益、财务、雇佣、安全或合规决策 | use case registry、risk tier、owner |
| 数据来源 | 训练、检索、上下文和工具数据是否合法、可追溯、可删除 | data lineage、license、retention、ACL |
| 模型和供应商 | 使用哪些模型、版本、部署区域和供应商 | model card、provider contract、region、version |
| 输出控制 | 内容是否安全、是否有标识、是否可解释、是否可复核 | guardrail log、citation、watermark/provenance |
| 人工监督 | 高风险场景是否有人在回路、能否撤销或纠正 | approval record、appeal path、review SLA |
| 监控和事故 | 是否监控漂移、误用、安全事件和用户反馈 | trace、eval report、incident record |
控制矩阵如果只是 Excel,就很快会和真实系统脱节。图 52-1 中的矩阵位于平台链路中央,连接用例登记、数据血缘、模型注册、策略引擎、评估系统和审计报告,承担的是合规团队与工程系统之间的中间层职责。
图52-1:合规控制矩阵在平台中的位置。来源:本书自绘。Alt text:控制矩阵位于 Agent 平台中间层,左侧连接法规要求(EU AI Act、NIST、国内法规),右侧连接平台各模块(Guardrails、Trace、审批、发布验收),矩阵格表示哪条法规要求对应哪个平台控制。
图 52-1 把控制矩阵放在用例登记、数据血缘、模型注册、策略引擎、评估系统和审计报告之间,使它成为工程契约,而非一张离线 Excel。合规负责人关心“是否可审计”,平台侧要回答每个控制项的证据来源、负责人、版本和验收条件。DataAgent 是一个典型例子:它会读取语义层、生成 SQL、查询湖仓、生成图表和报告。合规证据除了最终回答,还要保存指标口径、SQL、执行权限、数据快照、模型版本、图表参数和用户确认记录。否则当业务方质疑“这个数字怎么来的”时,平台只能解释模型,无法解释数据和流程。
控制矩阵还要把“法律条文是否适用”和“系统是否留证”分开。适用性判断应由法务和合规团队给出,工程团队不能擅自下结论;但无论最终适用哪一套规则,平台都应该提前准备可追溯证据。比如同一个 Agent 先在内部试点,后来开放给外部客户,适用义务可能变化;如果早期没有记录数据来源、模型版本、输出标识和人工复核,后面补合规材料会很困难。合规工程化要求证据从第一天就跟随系统运行,不能等审计时回填。
控制矩阵还要能处理“范围变了”的情况。一个内部 DataAgent 只服务经营分析时,可能属于中风险内部工具;后来接入客户画像、允许导出客户名单、面向外部客户开放查询,风险等级和控制项都会变化。矩阵如果只是项目立项时的一份文档,就无法跟上这种变化。平台应把工具新增、数据源新增、用户范围变化、输出形态变化和地区变化作为触发条件,提醒合规团队重新评审。这类触发条件最好由系统自动发现一部分。工具注册表新增了导出客户名单的动作,数据目录把某张表标记为个人信息,网关路由到新的模型供应商,前端新增对外分享入口,这些变化都应进入控制矩阵的变更队列。合规团队仍负责判断适用规则,但工程系统要把“需要重新判断”的事实暴露出来。
52.2 NIST AI RMF 风险管理¶
NIST AI RMF 不把 AI 风险只交给安全团队,而是要求组织建立治理、映射、度量和管理流程。落到企业 Agent 平台后,这四个功能需要变成表 52-2 这样的工程动作,否则框架很难进入发布和运营流程。
表52-2:NIST AI RMF 到 Agent 平台动作的映射。来源:本书整理。
| AI RMF 功能 | 平台动作 | 典型证据 |
|---|---|---|
| Govern | 定义 AI 资产责任人、风险分级、审批流程和例外处理 | use case owner、policy version、approval log |
| Map | 描述应用场景、用户、数据、模型、工具和影响对象 | system card、data flow、threat model |
| Measure | 评估质量、安全、公平、鲁棒性、隐私和可解释性 | eval report、red team report、bias check |
| Manage | 处理风险、上线门禁、监控、事故响应和持续改进 | release gate、monitoring alert、incident record |
这套映射必须持续更新。很多企业会在立项时做一次风险评估,但模型、数据、prompt、工具和业务流程都会变化。AI RMF 的思路更接近生命周期治理:每次模型升级、工具新增、数据源变更、策略修改和业务范围扩展,都要重新触发风险评估或至少更新证据。持续性也意味着合规不能只作为发布前阻塞点。图 52-2 对应一条平台循环:风险信息从用例登记进入评估和发布,再从运行监控、事故和反馈回到治理更新。
图52-2:NIST AI RMF 生命周期闭环。来源:本书自绘。Alt text:环形闭环含 GOVERN、MAP、MEASURE、MANAGE 四个核心功能,箭头表示风险治理贯穿 AI 系统全生命周期,标注每个功能对应的典型活动(如 MAP 阶段的风险识别与分类)。
这个循环里最容易被忽略的是反馈路径。上线后的事故、用户申诉、质量漂移和新数据源接入,都可能改变原来的风险判断;如果这些信息不能回到 use case registry 和控制矩阵,合规评估就会停留在发布前那一刻。平台实现上,至少要让模型版本、数据源变更、策略版本和评估报告能够触发重新评估。反馈路径还包括低频但高影响事件。比如一次红队发现 Prompt 注入可以诱导导出敏感字段,一次用户申诉指出 AI 报告误导了审批,一次供应商模型区域切换改变了数据处理地点。这些事件不一定每天发生,但一旦发生就会改变控制矩阵。平台要把事件类型、影响用例、涉及数据和修复状态记录下来,避免同类问题在其他 Agent 中重复出现。
AI RMF 对工程团队的作用,是把“谁负责、如何识别、怎样度量、如何处置”落到同一套流程。很多 Agent 风险来自多个小变化叠加:模型供应商换了区域,RAG 接入了新知识库,工具权限扩大了,评估集却没有更新。只要这些变化没有触发重新 Map 和 Measure,Manage 阶段看到的监控就会滞后。平台应把这类变化做成事件,不能依赖项目经理手动通知合规团队。
52.3 EU AI Act 风险分级¶
EU AI Act 采用风险分级。不是所有 AI 系统都承担相同义务。禁止性风险、高风险、有限风险和低风险场景的要求不同;通用 AI 模型还会有透明度、技术文档、版权政策和系统性风险相关义务。企业平台团队不一定直接成为法规意义上的 provider,但只要面向欧盟用户或业务流程,就需要和法务一起判断角色和责任。平台团队不能替代法律判断,但可以在立项阶段先问对问题:这个用例是否影响重要权益,是否面向外部用户,是否由通用模型支撑,是否需要透明度或人工监督。表 52-3 用工程语言概括风险分级,目的就是让这些问题提前出现。
表52-3:EU AI Act 风险分级的工程含义。来源:本书整理。
| 风险层级 | 典型判断 | 平台动作 |
|---|---|---|
| 禁止性风险 | 操纵、社会评分等被禁止用途 | 用例登记阶段直接拒绝或升级法务评审 |
| 高风险 | 影响就业、教育、信贷、执法、关键基础设施等重要权益 | 风险管理、数据治理、日志、透明度、人工监督、准确性和安全控制 |
| 有限风险 | 用户需要知道正在和 AI 交互或内容由 AI 生成 | 明确告知、内容标识、可解释说明 |
| 低风险 | 普通辅助、低影响内部工具 | 基础安全、日志、用户反馈和可撤销机制 |
| 通用 AI 模型相关 | 使用外部基础模型或自研模型 | 供应商文档、模型版本、部署区域、输出标识和评估证据 |
企业 Agent 的复杂点在于同一个平台可以承载不同风险用例。内部制度问答可能是低风险,招聘简历筛选可能进入高风险,面向客户的理财建议可能同时涉及金融监管和 AI 法规。平台不能把所有应用都按同一门槛处理,而要按 use case registry 绑定风险等级。风险等级还会随着功能组合变化。一个只总结公开制度的助手,接入员工档案和绩效系统后,风险边界就变了;一个只做经营分析的 DataAgent,如果输出被用于信贷审批或薪酬考核,也可能从普通分析工具变成影响个人权益的系统。平台需要在工具接入、数据域扩展、用户范围变化和输出用途变化时重新判断风险,不能只在应用创建时打一次标签。
52.4 中国生成式 AI 合规要求¶
中国语境下,生成式 AI 服务需要同时关注内容安全、数据合规、深度合成标识、个人信息保护、算法备案或安全评估等要求。对企业内部平台来说,先要识别服务对象、开放范围、数据来源、内容生成和标识责任,不能机械套用所有消费级规则。具体适用性需要由法务和合规团队判断,但工程团队不能等判断完成后才补证据。表 52-4 将常见要求对应到平台控制项,团队可以据此提前准备内容安全、数据来源、个人信息、标识和服务责任相关证据。
表52-4:中国生成式 AI 合规要求与平台控制项。来源:本书整理。
| 关注点 | 工程控制 | 证据 |
|---|---|---|
| 内容安全 | 输入输出分类、敏感内容拦截、风险提示和人工复核 | guardrail log、review record |
| 数据来源 | 训练、检索、上传和工具数据来源可追溯 | data lineage、license、consent、retention |
| 个人信息 | 最小化处理、脱敏、访问控制、删除和更正流程 | PII policy、access log、deletion record |
| 深度合成与生成内容标识 | 对生成图片、音频、视频、文本等按场景做显式或隐式标识 | content label、metadata、watermark/provenance |
| 服务责任 | 用户协议、投诉处理、风险处置、日志留存 | terms、appeal log、incident record |
| 安全评估和备案 | 按服务类型和开放范围准备材料 | system description、model/data/eval reports |
DataAgent 生成的数据报告也需要合规视角。报告里如果包含客户、员工、财务或未公开经营数据,不能因为它是“模型生成的摘要”就降低治理要求。相反,摘要可能更容易被转发和误读,因此更需要权限、标识、引用和导出审计。旁路链路也要进入治理。很多合规风险发生在调试截图、失败样例、评测集、人工标注表、导出 CSV、Slack/飞书转发和 BI 报告附件中,主回答只是其中一个出口。Agent 平台如果只审查最终文本,不审查这些旁路材料,敏感信息仍可能泄露。控制矩阵应把“谁能看日志、谁能导出、谁能访问失败样例、样例保存多久”写成工程控制项。旁路材料的责任人也要明确。评测集通常由平台团队维护,但其中的失败样例可能来自业务数据;人工标注表可能由外包团队处理;导出报告可能在业务部门内部继续流转。若只给主系统做权限控制,旁路材料会在协作工具、临时文件和邮件里复制。合规工程化要把这些材料视为系统输出的一部分,规定脱敏、访问、留存和销毁路径。
52.5 内容溯源与 C2PA¶
生成式 AI 让内容真假、来源和编辑历史更难判断。C2PA 的思路是给数字内容附加可验证的 provenance 信息,记录创建者、工具、编辑和签名。Content Credentials 则把这类信息产品化展示。对企业 Agent 来说,内容溯源不只用于公开媒体,也适用于内部报告、营销素材、培训材料和 AI 生成图片。内容溯源也不必一开始就追求最高规格。企业可以先从显式标注和元数据开始,再在对外发布、品牌内容和审计材料中引入签名证明。表 52-5 按能力层次拆开,便于不同风险内容采用不同方案。
表52-5:内容溯源能力层次。来源:本书整理。
| 层次 | 能力 | 适用内容 |
|---|---|---|
| 显式标注 | 页面、报告、图片旁说明由 AI 生成或辅助生成 | 对外内容、客户材料、高风险内部报告 |
| 元数据标识 | 文件 metadata 写入生成工具、模型、时间和责任人 | 图片、文档、音视频、导出报告 |
| 签名证明 | 使用 C2PA 等机制绑定内容凭据和签名 | 对外发布、品牌内容、审计材料 |
| 证据链引用 | 保留 prompt、模型、输入数据、引用和审批记录 | DataAgent 报告、合规分析、经营决策 |
放到平台流程里,生成内容不应该从 Agent 直接流向导出。图 52-3 中的链路要求内容先经过策略、标识、签名和审计记录;这样即使内容被二次传播,仍然可以回到原始生成记录。
图52-3:生成内容溯源链路。来源:本书自绘。Alt text:链路从最终 Agent 输出出发,依次追溯到使用的工具调用、检索的知识片段、原始输入,每步标注 trace ID 和时间戳,体现每条结论可追溯到完整决策链。
对于 DataAgent,内容溯源还要回答“数字从哪里来”。一份经营分析报告的 provenance 不能停在“由某模型生成”,还要包含数据集、SQL、指标口径、时间范围、图表参数、用户编辑和审批记录。这类证据链比单纯水印更有用。图 52-4 用报告样张展示这些信息如何聚合到同一份合规证据包里。
图52-4:AI 生成报告的合规证据包样张。来源:本书自绘。Alt text:证据包样张展示封面、控制矩阵摘要、关键控制点测试结果、异常事件日志等部分,体现可提交给监管或审计方的合规报告结构。
这份样张分成两层:上层是给业务和合规负责人看的报告摘要,说明结论、数据范围、审批状态和风险提示;下层是给审计和工程团队看的证据包,包含 SQL、数据集、模型版本、prompt、图表配置和签名记录。企业如果只做可见水印,而不保存这些底层证据,发生争议时仍然无法说明报告是如何生成的。证据包还要区分“可公开展示”和“仅内部审计”。对外报告可以展示生成标识、数据范围和责任人,内部证据包则保留完整 SQL、trace、prompt、模型版本、工具返回和审批记录。两层材料不能混在一起,否则要么对外泄露实现细节和敏感数据,要么内部审计拿不到足够证据。平台应在导出时生成不同视图,而非让作者手工整理。证据包生成也应有固定时点。报告草稿阶段可以记录可变证据,提交审批时冻结当前数据快照、模型版本和用户编辑记录,对外导出时再写入生成标识和签名。若证据包一直随底层数据变化而变化,就无法说明某个导出文件当时依据的是哪一版事实。
合规团队真正需要的是能直接回答问题的证据视图,而不是更多原始日志。一次审计会问用途是什么、数据从哪里来、模型在哪里运行、输出如何标识、谁做过复核、事故后如何纠正。平台如果只把原始 trace 交出去,合规人员仍要手工拼材料。更好的做法是把控制矩阵、运行记录和导出证据包连接起来,让每个控制项都能点回相应系统记录。证据视图还要保留责任人。每条控制项应能看到业务 Owner、平台负责人、数据负责人和合规复核人,避免审计时只剩系统日志、没人能解释当时的业务判断。责任人字段看起来简单,却能把合规从“查系统”推进到“找得到人”。
52.6 合规控制矩阵的生成与校验¶
本节给出一个合规控制矩阵生成器的设计。输入是 Agent 用例描述、风险等级、数据源、模型、工具和目标地区;输出是一份 Markdown/JSON 控制矩阵,列出需要的控制项、证据字段和上线条件。若后续将它纳入 mini-platform,可以采用如下目录结构;当前仓库尚未包含该实验目录,本节不提供可运行命令。
mini-platform/projects/compliance-control-matrix/
├── README.md
├── configs/
│ ├── frameworks.yaml
│ ├── controls.yaml
│ └── regions.yaml
├── samples/
│ ├── dataagent_use_case.yaml
│ └── customer_support_agent.yaml
├── scripts/
│ ├── generate_matrix.py
│ └── validate_evidence.py
└── reports/
└── dataagent_compliance_matrix.md
用例输入可以这样描述。
use_case:
id: dataagent_revenue_analysis
owner: analytics_platform
users: [regional_manager, finance_analyst]
regions: [CN, EU]
risk_tier: medium
data_sources:
- dataset: sales_order
pii: false
financial: true
- dataset: customer_profile
pii: true
fields: [customer_id, region, segment]
models:
- provider: local
model: enterprise-llm
outputs:
- chart
- markdown_report
- csv_export
报告不需要把所有法规条文照搬进去,先要让平台负责人和合规负责人能看到适用框架、必需控制、证据映射、上线门禁和缺口。最小报告结构可以按六段组织:先写 use case summary,说明用例、责任人、用户、地区和风险等级;再写 applicable frameworks,说明 NIST、EU、中国要求和内部制度哪些适用、哪些不适用、判断依据是什么;随后列出 required controls,把数据、模型、输出、人工监督和审计控制项落到平台模块;接着写 evidence mapping,说明每个控制项对应的 trace、评估、审批和元数据在哪里;release gate 用于明确上线前必须满足的条件;gaps 则记录当前缺失证据、责任人和补齐时间。
这份报告的价值不在格式,而在它把“合规是否满足”拆成可验证问题。合规负责人可以基于适用框架和缺口判断风险,平台负责人可以基于证据映射判断系统是否已经留痕,业务 Owner 可以基于 release gate 判断上线是否还缺流程承诺。若报告只停留在法规摘要,工程团队不会知道该补 trace、补审批,还是补数据来源;若报告只停留在工程字段,合规团队又无法判断是否覆盖真实义务。
控制矩阵还要能处理变更。模型供应商变化、数据源新增、输出从内部报告变成客户材料、服务地区从中国扩展到欧盟,都会改变适用框架和证据要求。平台不应把矩阵当成一次性文档,而要把它和 use case registry、模型注册表、数据目录和发布记录连接起来。这样用例发生变化时,系统至少能提示哪些控制项需要重新评审。报告生成后还要校验证据是否存在。矩阵里写了“人工复核”,系统就要能找到审批记录;写了“数据来源可追溯”,就要能找到数据集、SQL、检索片段和保留策略;写了“内容标识”,导出的文件就要真的包含标识或元数据。没有证据校验,控制矩阵会变成漂亮的目录。平台至少应在发布前跑一次 evidence check,把缺口写成阻塞项或例外审批。对早期平台来说,自动化程度可以低,但字段不能缺。每个用例至少要有责任人、用户群、数据类型、输出形态、地区、风险等级、人工监督、申诉路径和证据位置。只要这些字段稳定,后续再把控制项生成、证据采集和报告导出自动化,就不会推翻前面的治理模型。
52.7 合规要求的平台化落点¶
合规章节最容易写成法规摘要,但工程团队真正需要的是控制点。NIST AI RMF、EU AI Act、中国生成式 AI 要求和内容溯源标准,都要落到平台对象上:模型、数据、工具、用户、输出、日志、评测和事故响应。若只在文档里写“遵守合规要求”,开发和运维都不知道该改哪个模块。风险分级应进入 Agent 发布流程。低风险知识问答可以走轻量评审,高风险财务、法务、人事和生产变更场景,需要更严格的评测、审批、日志留存和人工复核。风险等级还应影响默认能力:是否允许外部模型,是否允许导出,是否强制引用证据,是否需要保留完整 trace。数据治理是合规落地的基础。平台要知道哪些数据进入模型上下文,哪些数据写入日志,哪些数据进入评测集,哪些数据出现在前端和报告产物中。很多合规事故并非发生在模型回答里,而是发生在调试日志、失败样例、截图、导出文件和人工标注集里。合规控制矩阵应覆盖这些旁路链路。内容溯源也要与业务产物结合。报告、图表、代码、邮件草稿和审批建议都应记录生成来源、模型版本、工具证据和人工修改记录。C2PA 或水印只能解决一部分传播问题,企业内部更需要能回到 Run 和 Artifact 的证据链。这样外部质疑某份材料时,平台能说明它由谁生成、谁修改、依据哪些数据发布。
52.8 合规证据的平台化落点¶
合规要求进入 Agent 平台后,不能只停留在制度文本。平台要能拿出证据说明某次模型调用、数据访问、工具执行和内容发布符合当时的规则。证据包括用户身份、权限判断、数据来源、模型版本、策略版本、人工审批、输出脱敏、用户可见内容和后续修订。没有这些证据,合规检查只能依赖会议纪要和人工说明,无法支撑规模化运行。合规证据应当尽量来自运行系统,而非事后补填。Runtime 记录 Run 和 Step,Tool Registry 记录工具风险和版本,Guardrails 记录策略命中,Trace 记录上下文和产物,发布系统记录灰度和回滚。这些记录如果能按 case_id 或 run_id 串起来,就形成了合规审计所需的基础材料。若每个系统各自存日志,合规团队就需要人工拼接,效率低且容易遗漏。合规落点还要考虑访问控制。审计人员需要看到足够证据,但不一定应该看到所有原始数据。平台应提供脱敏视图、最小授权和临时解密流程。这样既能支持审计,又不会因为合规检查扩大敏感数据暴露面。
52.9 法规变化下的配置治理¶
AI 合规要求会持续变化,企业内部政策也会随业务调整。平台不能把合规规则写死在代码里,也不能把所有规则都交给 Prompt。更稳妥的做法是把合规要求拆成可配置的策略、可测试的样本和可审计的发布记录。法规变化后,团队先更新控制矩阵和策略配置,再跑回归样本,最后灰度发布。配置治理要避免两个极端。一个极端是规则过度抽象,所有场景都套同一条“高风险需审批”,导致业务无法执行;另一个极端是规则散落在各业务线,平台无法统一审计。比较可行的方式是保留平台级底线规则,同时允许业务域配置更细的审批、脱敏和留痕要求。平台级规则负责不可突破的边界,业务域规则负责具体流程差异。合规章节的写法也应避免变成法规摘要。读者真正需要的是把法规要求落到平台能力:身份、权限、数据治理、策略发布、Trace、人工审批、评测和报告。法规条文会变化,但这些工程落点相对稳定。只要平台把证据链和配置治理做好,面对具体法规更新时就不必从头重建系统。
52.10 数据主体权利与删除链路¶
合规工程里常被低估的是删除和更正链路。用户、客户或员工要求删除数据时,平台需要知道相关信息是否存在于原始数据、文档解析结果、向量索引、Memory、Trace、评测样本、报告产物和备份中。只删除业务库记录,不能保证 Agent 平台不再引用这些信息。数据主体权利在 Agent 系统里会穿透多层派生资产。删除链路需要区分使用场景。在线检索和 Memory 应尽快停止使用相关信息;审计 Trace 可能因合规或安全原因需要保留,但应限制访问并标记不可用于模型上下文;评测样本可以保留脱敏版本,但要断开与原始身份的联系。不同资产的处理方式不同,平台必须有资产目录和数据血缘,否则无法执行删除请求。更正链路同样重要。客户名称、合同状态、指标口径或组织架构发生变化后,旧知识可能仍在向量索引和报告缓存里。平台应支持重新解析、重新索引和版本失效,并在 Trace 中保留当时使用旧数据的说明。这样既能尊重数据更新,也能解释历史回答为什么不同。
52.11 合规评审的工程输入¶
合规评审不应只拿产品说明和流程图。平台团队应向合规团队提供工程输入:数据流图、模型调用链、工具风险分级、权限矩阵、Trace 字段、脱敏策略、保留周期、人工审批点和评测样本。合规团队基于这些材料判断风险,反馈也能落到具体控制点,而非停留在原则性要求。工程输入要保持更新。新增工具、引入新模型、扩大数据域、上线多 Agent 或开放外部协议,都可能改变合规风险。平台发布流程应要求对应材料同步更新,并让合规评审看到变化差异。若每次评审都从零解释系统,效率会很低,也容易漏掉关键变化。合规和工程之间的协作,最终要形成共同语言。合规团队不需要理解每一行代码,但需要知道风险在哪里被控制;工程团队不需要背诵所有法规条款,但需要知道哪些能力必须留证。第52章要把这种协作方式讲清楚,而非把法规名称罗列一遍。
52.12 跨境与外部模型调用边界¶
企业 Agent 平台经常会调用外部模型、托管向量库、第三方 OCR 或外部 Agent 服务。只要数据离开企业受控环境,就需要明确跨境、数据处理者、日志保留和再训练使用边界。平台不能只看模型效果和价格,还要知道请求内容、系统提示、检索片段、工具结果和用户身份是否会被外部服务记录。外部调用边界应写入模型目录和服务配置。不同模型可以对应不同数据等级:公开资料可以使用外部通用模型,内部敏感数据应使用受控部署或脱敏后调用,高敏业务数据可能只能在私有环境处理。调用前的路由系统要读取数据等级和合规策略,而非由业务代码临时决定使用哪个模型。合规审计还需要供应商证据,例如数据处理协议、日志保留说明、安全认证、区域配置和删除机制。这些材料不应只保存在采购系统里,平台配置也要能关联到具体模型和服务。否则当某个模型调用被质疑时,团队很难证明当时使用的外部服务符合要求。
52.13 合规样本与持续回归¶
合规控制需要样本化。不同地区、数据类型、用户角色和业务动作对应不同合规要求,不能只靠人工审核文档。平台可以把典型合规场景写成样本:未授权访问、敏感字段导出、跨境调用、未成年人内容、受监管行业建议、数据删除请求、审计追溯请求。每次模型、工具、策略或数据域变更,都跑相关样本。合规样本目的在于验证工程控制是否仍然生效,替代法务判断只是手段之一。样本通过,只说明平台在这些场景下按预期执行;样本失败,则说明某个控制点需要修复或重新评估。这样合规团队可以把抽象要求落到可回归的系统行为上。持续回归也能降低沟通成本。工程团队提交变更时,不必每次重新解释所有风险,只需要说明哪些合规样本受影响、结果如何、是否需要人工豁免。合规团队的审核也从主观判断转向证据判断。对于快速迭代的 Agent 平台,这种机制比静态制度更可靠。合规控制还要保存执行证据,而非只保存制度文本。
52.14 合规证据包与发布节奏¶
合规工程化的交付物,不应只是一次评审会议纪要。平台更需要可复用的合规证据包。证据包应包含场景说明、用户范围、模型和工具清单、数据来源、数据分类、跨境调用说明、内容安全策略、输出留存策略、删除链路、红队与合规样本结果、人工复核节点和事故响应方案。每个 Agent 或能力上线时,都可以从证据包中抽取材料给法务、内控、安全和业务负责人审阅。这样合规评审就不会每次从头开始问同样的问题。
证据包要和发布节奏绑定。模型升级、外部模型调用、数据源新增、工具写操作开放、内容生成范围扩大、用户群从内部扩到外部,都会改变合规风险。发布单应说明本次变化触发了证据包中的哪些条目:是否新增个人信息处理,是否新增跨境传输,是否改变内容生成和分发范围,是否影响用户删除请求,是否需要重新跑合规样本。若变化没有触发风险条目,发布可以走轻量路径;若触发高风险条目,就要进入正式复审。
证据包还要能处理法规变化。法规或监管指引更新后,团队需要知道哪些 Agent、数据源、模型调用和输出场景受影响。若证据只散落在项目文档和聊天记录中,影响分析会变成手工排查。把证据结构化后,平台可以按数据类型、用户范围、模型来源、输出渠道和留存策略检索受影响场景。合规团队看到的是一组可复审的风险事实,避免只拿到缺少上下文的 Agent 名称列表。
早期平台可以从少量必填字段开始:场景、用户、数据、模型、工具、输出、留存、删除、审计和 owner。字段不需要覆盖所有法规条款,但要能回答上线和复审最常见的问题。随着新法规、新业务和新事故出现,再把字段扩展为更细的控制项。合规能力的成熟度,取决于证据是否能被持续更新和复用,而不是一次评审材料写得多厚。
52.15 合规证据的留存与删除边界¶
合规工程不能只保存更多日志。证据留存要说明保存什么、保存多久、谁能访问、何时删除、删除后如何证明已经处理。Agent 运行中会产生用户输入、工具参数、检索片段、模型输出、审批意见、Trace、评测样本和导出产物。不同材料的合规要求不同:有些需要长期留存以支持审计,有些应尽快脱敏或删除,有些只能保留指纹和版本号。
删除边界要覆盖关联资产。用户请求删除数据时,平台不能只删除会话文本,还要检查 Memory、向量索引、评测样本、报告 Artifact、缓存、日志和备份。若某些证据因审计要求需要保留,应说明法律依据、保留期限和访问限制。合规团队需要看到工程系统如何执行这些动作,而不是只看到制度条款。
合规证据包应能支持外部问责。审计人员或监管要求查看某次决策时,平台要能提供模型版本、数据来源、权限判断、人工审批、输出去向、保留策略和删除状态。证据包越清楚,合规沟通越少依赖口头解释。第52章的目标,是把法规要求翻译成可执行、可复查、可删除的工程记录。
52.16 合规证据与产品发布的共同节奏¶
合规证据应进入产品发布节奏。很多团队在功能上线后才补合规材料,结果架构图、数据流、模型路由、权限策略和用户提示都已经固化,后续只能靠文档解释风险。更稳妥的做法,是在需求评审时标记数据类别、用户范围、外部调用、输出去向和留存要求;在开发阶段确认 Trace、审批和删除链路;在发布前生成证据包并跑合规样本。这样合规不再是上线前的补票动作,而是平台能力的一部分。
产品发布节奏也要识别合规触发点。新增外部模型、接入个人信息、开放外部用户、增加导出渠道、引入跨境路由、允许自动写操作,都应触发更严格复审。相反,只改内部提示文案或优化低风险读接口,可以走轻量路径。发布系统若能根据触发点选择审查深度,团队就不用把所有改动都送进同样繁重的流程,也不会把高风险改动当成普通功能发布。
早期可以先用一份结构化发布说明支撑合规节奏。说明包含场景、用户、数据、模型、工具、输出、留存、删除、审计和 owner。字段不必覆盖所有法规条款,但要能回答发布时最常见的问题。随着监管变化和事故复盘,字段再逐步扩展。合规工程化的价值,在于证据能随产品迭代更新,而不是每次审查都重新写一份静态材料。
52.17 合规审计查询的产品化¶
合规审计不能只依赖工程师查日志。审计人员需要按用户、Run、artifact、数据类别、模型供应商、工具、审批人和策略版本查询证据。若每次审计都要临时拼接日志,平台很难证明某项控制长期有效。审计查询应成为产品能力,至少为合规、安全和内控团队提供受控视图。
产品化审计视图要控制信息粒度。审计人员需要看到证据是否存在、控制是否执行、谁批准了动作、输出去了哪里,但不一定需要看到完整用户输入和原始敏感字段。工程视图和审计视图可以共享底层 Trace,展示内容按角色裁剪。这样既能支持审计,又能减少审计材料本身的泄漏风险。
早期可以先支持几类查询:某个 artifact 的来源链路,某个用户的数据访问记录,某个外部模型调用的数据类别,某条策略的命中和例外。随着场景增加,再扩展到数据主体请求、跨境调用和删除证明。
52.18 合规证据作为内部产品¶
合规证据只有在内部团队能够自行消费时,才真正有用。法务、内审、安全、数据治理和业务 owner 会围绕同一次 Run 提出不同问题。法务关心输出是否属于受监管用途,内审关心谁批准了导出,数据治理关心哪些数据类别进入模型,业务 owner 关心用户修订是否改变了已发布产物。平台应提供按角色裁剪的证据视图,而不是只导出一份原始日志。
内部证据产品需要稳定词汇。数据类别、模型供应商、策略版本、artifact 状态、审批状态、删除回执这些词,在看板、发布记录和事故报告里应保持同一含义。如果每个团队都给同一字段换名字,合规评审就会变成翻译工作。统一词汇也能让团队跨 Agent、跨业务域比较案例。
证据产品还应提供引导式查询。审计人员不应为了回答常见问题而理解底层表名和 Trace 结构。他们可以从 artifact、用户、供应商、策略或时间窗口进入,再逐步查看相关证据。敏感细节默认脱敏,只有经过具体审批路径后才展示。这样既能提高审计效率,也能减少审计权限本身带来的泄漏风险。
早期可以先提供一小组证据查询目录,并为更深层复核保留申请路径。重点是让合规证据成为平台运行的一部分。当发布、事故复盘和外部审计都能读取同一份证据时,合规就不会停留在并行文档流程,而会变成共享工程记录。
52.19 外部审计前的证据冻结与复核¶
外部审计、客户安全评估或监管问询到来前,平台需要冻结一份可复核证据包。冻结并不意味着停止业务,而是固定审计窗口、用例范围、模型版本、策略版本、数据类别、审批记录、Trace 样本和删除回执,避免团队在问询过程中不断用最新状态覆盖历史事实。Agent 平台的行为会随模型、策略和知识库更新而变化,若没有冻结机制,团队很容易拿当前配置解释过去事件,导致证据前后不一致。
证据冻结要保留最小必要信息。审计方通常需要确认控制是否执行、谁批准了动作、数据是否进入外部模型、输出是否被发布、用户是否有申诉路径,并不一定需要完整 Prompt、原始附件或敏感字段。平台应把审计证据拆成摘要、可验证引用和受控明细三层。摘要用于快速说明控制结果;可验证引用指向 Trace、artifact、审批和策略版本;受控明细只在授权后展开。这样既能回应审计问题,也能避免审计过程本身扩大数据暴露。
复核流程还要处理历史变更。若审计窗口内发生过模型切换、策略例外、人工审批绕行、数据删除或 artifact 撤回,证据包要说明变更前后状态、原因、批准人和影响范围。对于用户删除请求或数据主体权利请求,平台还要证明删除动作执行到了哪些存储、哪些衍生产物保留了不可删除的审计记录、哪些缓存已经失效。没有这些说明,合规团队只能给出原则性回答,无法支撑客户或监管的细问。
早期平台可以把证据冻结做成发布与审计共用的能力。每个高风险用例定期生成审计快照,记录用例定义、模型与策略版本、外部调用、人工监督、用户申诉、删除请求和样本回放结果。审计到来时,团队从快照出发补充材料,而不是从日志里临时拼接。这样合规会成为可重复的工程流程,审计响应速度和证据一致性都会更稳定。
52.20 控制矩阵的变更管理¶
合规控制矩阵不是一次性文档。用例范围、模型供应商、数据来源、跨境路径、用户群、输出形态和人工监督方式都会变化,矩阵也要随之更新。若控制矩阵只在上线前编写,半年后它很可能已经无法解释真实系统。平台需要把控制矩阵作为版本化资产管理:每次新增高风险用例、切换外部模型、改变数据类别、调整审批路径或修改删除策略,都要判断是否影响控制项。
控制矩阵变更要有工程输入。合规团队需要知道哪些 Run 会受影响,哪些策略版本会改变,哪些证据字段会新增或删除,哪些历史 artifact 仍按旧控制运行。平台团队则需要从矩阵中得到可执行要求:需要新增哪个策略、哪个 Trace 字段、哪个审批状态、哪个保留规则、哪个评测样本。若矩阵只是法规条款和责任人列表,工程团队很难把它变成系统行为。
变更还要有回归样本。一个控制项从“人工审批”改为“抽样复核”,会改变风险承担方式;一个数据类别从普通数据升为敏感数据,会影响权限、脱敏、保留和导出;一个模型供应商切换到境外服务,会影响跨境证据和合同材料。每类变化都应有样本验证控制是否仍在执行。样本通过后,矩阵版本、策略版本和发布记录要绑定,避免审计时找不到当时的依据。
早期可以用轻量流程管理矩阵变更。变更单只要求回答四件事:变更影响哪些用例,新增或修改哪些控制,证据在哪里产生,哪些样本证明控制有效。这个流程不需要把工程团队变成合规团队,但能让合规要求落到系统可执行的字段、状态和样本上。控制矩阵越贴近运行证据,后续审计和客户问询就越少依赖人工回忆。
52.21 合规控制的证据抽样¶
合规控制不能只在上线评审时检查一次。平台应定期抽样真实 Run,验证控制矩阵中的字段是否仍能被证据支撑。抽样可以按风险等级、租户、模型路由、工具类型、数据域和导出行为分层。每个样本要能回答:用户是谁,数据从哪里来,模型在哪里运行,调用了哪些工具,输出是否进入下游,是否有人工复核,删除和留存策略是否适用。
抽样结果要回到控制矩阵。若某类 Run 经常缺少 owner,说明发布模板不完整;若导出样本缺少字段脱敏记录,说明工具或前端没有写入证据;若外部模型调用缺少区域信息,说明网关日志字段不足。合规团队不应只指出问题,还要把缺失字段变成平台 backlog,并在下一次发布或审计冻结前复测。
早期可以每月抽取少量高风险样本,形成证据抽样报告。报告不追求覆盖所有法规条款,重点看证据链是否完整、字段是否可复用、责任人是否能解释。这样合规工程化会从静态清单进入持续校验。
52.22 人工监督证据与删除留存校验¶
许多合规框架都会提到人工监督,但平台不能只保存一个“已人工复核”的勾选框。真正有价值的监督证据应说明谁复核、复核前看到了哪些材料、可选动作是什么、是否有权做出该决定、决定是否改变了输出或工具动作。若复核发生在风险动作之后,或者 reviewer 看不到关键证据,监督就很难证明有效。HITL 记录应和 Run、Trace、策略版本和 artifact 版本绑定。
人工监督还要覆盖申诉和例外。用户申诉一次合规拦截,reviewer 放行某个导出,或者业务 owner 批准短期例外,这些都属于合规证据。平台应记录适用范围、到期时间、复测要求和后续责任人。没有到期时间的例外会变成长期旁路;没有复测要求的放行会让下一次发布无法判断风险是否仍然存在。
删除和留存校验要覆盖派生产物。Agent 输出经常变成报告、仪表盘、评测样本、缓存、Memory、向量 chunk 和共享文档。一次删除请求如果只删除原始会话,派生内容仍可能继续可见。平台不一定要删除所有审计记录,但必须区分实时内容、派生内容、保留证据和法定记录,并为每类内容给出动作和回执。这样合规团队才能解释为什么用户可见内容已经移除,而某些审计引用仍被保留。
早期可以把人工监督和删除留存纳入同一组高风险抽样。抽样检查外部模型调用、敏感数据输出、受监管内容生成、高风险写动作和删除请求。每条样本都要能回到控制矩阵项和发布记录。本阶段的重点是建立可复测的证据习惯,法规覆盖面可以随着样本、控制项和审计要求逐步扩展。
52.23 合规证据目录的服务化¶
合规证据目录需要服务化。法务、内审、安全、数据治理和业务 owner 会围绕同一条 Run 提出不同问题,如果所有查询都依赖工程师临时导出日志,审计响应会很慢,也容易暴露过多敏感信息。平台可以把证据目录做成受控服务:按 artifact、用户、模型供应商、策略版本、审批人、数据类别和时间窗口查询,并根据角色返回不同粒度的材料。
服务化目录还要保留查询记录。谁在什么时间查看了哪些证据、是否展开了敏感字段、是否导出了材料,都应进入审计日志。这样合规证据本身也受到治理。早期不需要做复杂门户,可以先提供固定查询模板和人工审批入口,把高频审计问题变成可重复的产品能力。
52.24 客户问询的证据响应¶
客户安全问询会检验合规证据是否可用。客户通常会问模型供应商、数据出境、日志保留、删除请求、人工审批、事故通知和安全认证。若平台证据分散在采购、工程、法务和业务文档中,响应会慢且口径不一致。
早期可以准备一组客户问询模板,把常见问题映射到证据目录中的字段和负责人。模板不需要替代正式法务审查,但能让平台团队快速找到事实来源。这样合规能力会直接支撑销售、安全评估和客户信任,而不只服务内部审计。
本章小结¶
合规进入企业 Agent 平台后,要求要被翻译成可执行、可记录、可验证的控制项,而不能停留在“知道有哪些法规”。NIST AI RMF 提供风险管理流程,EU AI Act 提供风险分级视角,中国生成式 AI 相关要求强调内容安全、数据来源和标识责任,C2PA 则提供内容 provenance 的技术路径。平台团队要把这些要求沉淀成 use case registry、控制矩阵、证据链、发布验收和审计报告。这样合规就不会变成上线前临时补材料,而会贯穿设计、开发、评估和运营。
合规工程化还有一个容易被低估的作用:把抽象要求转成团队分工。业务 Owner 负责说明用途和用户影响,数据团队负责来源和权限,模型团队负责版本和评估,平台团队负责 trace、审批和证据留存,安全合规团队负责风险分级和例外审批。责任链清楚后,监管、审计或客户质询来临时,平台能拿出过程证据,不必临时回忆当时为什么这样上线。早期平台可以先从高风险或外部可见的 Agent 用例开始建立控制矩阵。每个用例记录地区、用户群、数据来源、模型版本、输出形态、人工监督和申诉路径,再把这些字段与 trace 和发布记录关联。等矩阵稳定后,再逐步接入自动证据采集和审计报告生成。
