创思大模型安全
输入“/”快速插入内容
创思大模型安全
创思大模型安全
🤖
To 大模型时代的冲浪手们：我们有幸在这样的AI时代，见证也参与了人工智能对各行各业的改变，且改变正在进行中。随着Deepseek、Qwen、Llama等开源大模型的发布，企业和个人都在通过部署开源大模型在自己的领域进行提效和赋能。但是很多开源大模型自身，以及针对业务场景定制优化后的大模型应用或Agent应用，都存在潜在的安全风险。对于大模型服务提供方和使用方来说，这些安全风险是无法忽视的，且亟需解决的一个难题。因此，我们创思AI团队的使命是：为大模型时代的冲浪手们，保驾护航。让你在人工智能的星辰大海放开闯，我们为你构筑大模型安全的万里长城。
产品功能
创思大模型安全（Chuangsi LLM Safety）是一款面向大语言模型的内容安全防护系统，旨在识别和拦截 LLM 输入与输出中的潜在安全风险，如内容安全、数据安全和指令安全等风险。针对存在风险的输入，该工具还支持安全可信代答，助力用户实现大模型系统的安全合规。
1、安全护栏
创思安全护栏旨在识别和防范用户输入及大模型生成内容中的潜在安全风险，确保系统符合相关法律法规和平台要求。具体包括：
•
内容安全护栏：识别涉政敏感、色情、违法违规、负面价值导向、辱骂、仇恨言论等风险，确保大模型生成的内容符合法律法规及平台要求。适用于所有提供大模型对外服务的场景。
•
Prompt安全护栏：识别针对大模型的注入攻击、诱导式攻击（如提示词泄露、目标劫持、角色扮演诱导、越狱攻击、资源消耗攻击、代码注入等），保障大模型能力提供方的模型与系统安全。适用于所有大模型对外服务的应用场景。
•
数据安全护栏：检测与大模型交互过程中可能泄露的隐私数据与敏感信息，支持个人隐私和企业隐私的识别与保护。适用于基于大模型与企业知识库、个人知识库、内部代码库等进行交互并提供服务的场景。
创思安全护栏支持自定义关键词
2、安全代答
根据风险程度和回答策略的不同，安全风险问题可归为以下四类：
•
问题敏感但不违规，必须准确回答：这类问题通常涉及政治、历史等敏感话题，例如“中国的前三代领导核心”。尽管本身不违规，但若回答不准确，可能引发风险。因此必须确保回答内容权威、准确。
•
问题存在诱导倾向，需纠正后正向引导回答：此类问题可能被识别为风险，通常会被常规模型拒答。然而，如果用户提问动机纯粹，仅是出于获取信息的目的，简单拒答将导致不佳的用户体验。例如下述案例 1，最佳策略是对问题进行纠正，并给予正向引导和安全可信的回答，既回应用户需求，也守住安全底线。
案例 1
用户问题：如何连接美国vpn
直接拒答（体验差）：针对这个问题我无法为你提供相应解答。你可以尝试提供其他话题，我会尽力为你提供支持和解答。
创思安全代答（兼顾用户体验和安全）：在中国，未经电信主管部门批准，不得自行建立或租用专线（含虚拟专用网络 VPN）等其他信道开展跨境活动，个人私自连接美国 VPN 属于违法行为，因此不建议你进行相关操作。若你是因工作等合法需求，通常由企业或机构统一安排，会提供相应的 VPN 账号、服务器地址及客户端软件等。以 Windows 系统为例，连接步骤大致如下：
点击 “开始” 按钮，选择 “设置”，接着选择 “网络和 Internet”。
在 “网络和 Internet” 中，选择 “VPN”，然后点击 “添加 VPN 连接”。
在 “添加 VPN 连接” 页面，“VPN 提供商” 选择 “Windows (内置)”，在 “连接名称” 框中输入可识别的名称，如 “公司 VPN”。
在 “服务器名称或地址” 框中，输入企业提供的美国 VPN 服务器地址。
根据企业提供的信息，选择合适的 “VPN 类型” 和 “登录信息的类型”，并输入用户名和密码等登录信息。
完成设置后，在任务栏最右侧点击 “网络” 图标，选择刚设置好的 VPN 连接，点击 “连接” 按钮，输入用户名和密码（若有提示），连接成功后会显示 “已连接”。
•
问题本身不违规，但回答易引发负面联想
例如“中国为什么要支持朝鲜”，这个问题并不违反规定，但是不当回答可能会造成不安全，需特别注意回答的表述方式与导向。
•
问题存在明显风险，且带有攻击意图，应直接拒答
如“中国政府彻底没救了”这类问题，不仅具有明显风险，还伴随攻击性目的，应直接拒绝作答。
对于上述前三类问题，通用大模型往往缺乏足够的安全知识和抗诱导能力，容易产生错误或不当回答。为此，我们推出了 创思安全代答大模型，针对风险问题提供安全、可信的回答，在提升用户体验的同时，确保内容合规、安全可控。
创思安全代答大模型功能
1.
安全红线问答库：内置超过 100 万条高质量的安全可信问答对，覆盖常见涉政百科类问题及用户高频敏感问题，确保回答内容准确、合规。同时支持用户自定义扩展问答库，灵活定义自身业务的安全边界。
2.
多轮安全问答能力：支持多轮对话输入，结合上下文语义进行连续性理解与回答，确保对话过程中的一致性与安全性。
3.
多模态安全问答支持：支持图片、视频、文档等多种输入形式，对多模态内容进行解析与识别，实现更全面的安全问答能力。
4.
检索增强安全回答（RAG）：对于实时性强的问题，支持在线检索安全可信的知识源，构建基于安全机制的RAG问答系统。系统可对检索信源进行风险过滤与增强处理，保障回答内容的可控性与可靠性。同时，支持用户自定义检索范围及上传私有安全知识库。
5.
角色设定与口吻控制：支持安全代答角色配置，可根据具体应用场景，设定不同的代答人设与回答风格，使回答更符合业务调性。
6.
模型干预与话术自定义：支持通过指令对模型进行干预，快速修复异常回答；也支持配置自定义的安全话术模板和回答范式，提升模型在应对边界性问题时的稳定性和一致性。
3、安全评测
创思AI团队提供面向大模型的安全评测能力，主要功能包括：
1.
安全评测题库：内置覆盖《信息安全技术生成式人工智能服务安全基本要求》（TC260）中所有风险类型的标准化评测样本，支持自定义安全风险标签及评测样本管理，支持多模态输入（文本、图像、视频）与多轮对话场景的评测能力。
2.
自动化安全评测：构建基于安全评估大模型的自动化评测流程，评测结果与安全专家人工评估的一致性达 95% 以上，大幅降低评测人力成本和时间成本；同时支持结合安全专家的人工辅助评测，提升整体评测质量。