AI隐私与安全（2026.08.25）

概念编号：097

一句话理解

使用 AI 时，要同时保护输入数据、模型和工具权限，并防止信息泄露、越权操作和恶意利用。

具体解释

风险包括敏感信息进入训练或日志、模型泄露资料、Prompt Injection、恶意工具调用、供应链问题、越权访问和输出被滥用。安全设计需要数据最小化、权限控制、用户同意、日志审计和人工复核。

边界与易混淆概念

• 隐私不等于安全：隐私关注个人或敏感信息，安全还包括系统、工具和基础设施防护。
• 有登录不等于安全：最小权限、隔离、审计和审批同样重要。
• 模型拒答不等于整个系统安全：外部工具和数据路径也要检查。

例子

让 Agent 读取本地文件前限定目录、要求用户确认写操作，并在日志中记录调用结果，是基础安全控制。

相关概念

• AI护栏（Guardrails）（2026.08.25）
• 人在回路（Human-in-the-loop）（2026.08.25）
• MCP（模型上下文协议）（2026.08.24）

来源

• NIST AI Risk Management Framework
• Model Context Protocol Specification

概念卡更新日志

• 2026.08.25｜创建概念卡：依据 NIST 风险框架、MCP 安全要求和 AI 工具使用边界，登记为 097。