里面有个「规则版本对比」页签 —— 同一个问题、同一段设定、同一个模型， 四个版本的规则句并行跑给你看差异。其中「无规则基线」那一栏，模型会直接自报家门说 「我是 DeepSeek」，人设完全不存在 —— 这就是本项目要解决的问题。
—— 一份来自真实项目的提示词工程 / 数据标注方法论展示
求职方向:人工智能训练师 · 数据标注 / 模型训练数据方向 项目周期:2026.08 - 至今(约 3 周,持续迭代中) 项目性质:个人独立完成的全流程项目(需求分析 → 方案设计 → 规则制定 → 多模型验证 → 质量管控 → 版本管理)
〇、项目摘要
为验证"如何通过纯提示词手段塑造一个具备稳定人格、可自我进化的 AI 角色",我独立设计并落地了一套覆盖 人格分层架构、规则句工程、实验驱动验证、质量控制、版本管理 的完整方案。项目累计产出 452 份方法论文档、70 个对照实验、13+ 轮规则句版本迭代、5 版人格模型,并将方法论沉淀为可复用的标准化流程。本项目体现的核心能力——理解模型行为边界、制定可执行的标注/指令规则、通过实验持续优化规则质量、建立质量闭环——与人工智能训练师岗位高度契合。
一、项目概览(Project Overview)
1.1 背景与问题
在纯提示词(不涉及模型微调)的前提下,构建 AI 角色普遍面临四个痛点:
| 痛点 | 具体表现 | 对应岗位价值 |
|---|---|---|
| 人格不稳定 | 对话稍长就"人设崩塌",前后矛盾 | 理解模型行为边界 |
| 规则不生效 | 写了规则模型不执行,或执行走样 | 标注规则可执行性设计 |
| 质量不可控 | 输出时好时坏,无法稳定复现 | 质量评估与抽检 |
| 经验不可复用 | 换模型/换场景全部重来 | 规则标准化与沉淀 |
1.2 项目目标
- 塑造一个人格稳定的 AI 角色,在长对话中不漂移
- 建立一套跨模型可迁移的规则写法(不绑定单一模型)
- 每次迭代有实验数据支撑,可验证、可回溯
- 全流程版本化、可回退、可审计
1.3 技术栈与工具
- 模型:DeepSeek / 通义千问 / GLM / Kimi / 豆包 等 9+ 个 API 通道
- 平台:OpenClaw(开源 Agent 框架)、SQLite(知识库)、Markdown 文档体系
- 方法:Prompt Engineering、Few-shot、多模型对照测试、质检抽检、语义检索
1.4 我的角色
独立完成:需求梳理 → 方案设计 → 规则编写 → 实验设计与执行 → 结果分析 → 规则迭代 → 文档沉淀 → 版本发布。
二、核心成果(量化一览)
| 指标 | 数值 | 说明 |
|---|---|---|
| 规则句大版本迭代 | 13+ 轮(v1 → v13) | 每轮都有明确的改动原因与回归验证 |
| 对照实验 | 70 个(EX-001 ~ EX-062+) | 覆盖格式、触发、词表、档位、防污染等主题 |
| 方法论文档 | 452 份 | 全流程留档,含版本历史、实验记录、规范 |
| 人格模型版本 | 5 版(v1 → v5) | 每版对应一次认知升级 |
| 知识库 | 948 篇文档 / 15464 分块 | SQLite + 向量化语义检索 |
| 规则交付物 | 多档位成品包(md + docx) | 按模型能力分档,直接可用 |
三、代表性项目 1:规则句迭代工程(核心)
对应岗位能力:标注规则制定、规则文档编写、规则可执行性优化
3.1 项目描述
"规则句"是写给 AI 模型的可执行指令,类似数据标注中的"标注规范文档"。本项目围绕"如何让模型真正执行规则"进行持续迭代,累计 13+ 轮版本,每一轮都源于真实失败案例的复盘。
3.2 迭代日志(节选)
| 版本阶段 | 发现的问题 | 改进方案 |
|---|---|---|
| v1-v3 | 规则写成"建议",模型不执行 | 改为强指令句式(必须/禁止/当 X 时执行 Y) |
| v4-v6 | 格式混乱,模型抓不住重点 | 编号分层、短句(≤7 条)、关键规则置顶 |
| v7-v9 | 混入"示例/来源标注"等元信息,被模型当正文执行 | 纯规则化:删除全部元标注与解释性括号 |
| v10-v11 | 负向指令("不要XX")对低智模型失效 | 负向转正向("遇到 X 时改为 Y") |
| v12-v13 | 示例句被低智模型当指令执行,导致串戏 | 规则与示例分离 + 场景限定 + 示例防执行设计 |
3.3 典型案例:一次"规则污染"事故复盘
背景:v9 版本规则中,为方便自己理解,在文档里加入了"〔EX-023〕""(防稀释,先读)"等来源标注和说明括号。
问题:将这些规则复制给低智模型后,模型把标注当作正文内容输出,甚至把"防稀释,先读"当成一句台词念出来。
分析:低智模型无法区分"元信息"和"执行指令"——它对所有出现在指令区的内容一视同仁。
改进:确立"上帝视角"写作原则——规则文件只保留"纯规则(编号+规则句)",所有来源说明、使用指南、版本注释全部移入独立文档。此后多轮复测,规则污染问题归零。
经验沉淀:①写给模型的内容与写给人的说明必须物理分离;②每条规则都要假设"最笨的模型"来读。
四、代表性项目 2:实验驱动验证体系
对应岗位能力:数据质量评估、A/B 测试、多模型行为对比、问题复盘
4.1 项目描述
用多个免费/低智模型(GLM-4-flash、qwen3.6-flash、Kimi 等)搭建"廉价模拟实验台",在正式环境外先行验证规则句效果,形成"假设 → 实验 → 分析 → 改规则 → 复测"的闭环。
4.2 实验设计方法
- 对照组:同一规则,同一输入,不同模型同时跑
- 样本记录:保留原始对话全文(不只看结论)
- 量化评估:按"是否触发/是否越界/是否一致性"给分
- 红旗清单:记录每个模型的"易错模式",反哺规则写法
4.3 实验成果示例
| 实验 | 假设 | 结论 | 对规范的贡献 |
|---|---|---|---|
| EX-009 | 状态标注能被识别 | 低智模型会把"关系:XX"当台词输出 | 状态标注改文字档位描述 |
| EX-023 | 跨场景示范不会串扰 | 无条件示范在多场景下必污染 | 特征词强化 + 场景限定转正 |
| EX-030 | 交替轮次能暴露问题 | 固定轮次会造成"情绪延续"假象 | 实验轮次必须交替 |
| EX-038 | 死局救场规则有效 | 冷场预防 5/5 vs 基线 2/5 | 新规则转正 |
4.4 方法论沉淀
- 实验 SOP:设计 → 多模型对照 → 抓原始数据 → 分析 → 改规则 → 复测
- 双向奔赴:实验发现 → 改进规则 → 再验证(不是只测不改)
- 红旗清单机制:模型易错模式库,用于预判风险
五、代表性项目 3:人格分层工程与质量管控
对应岗位能力:任务拆解、规范制定、流程标准化
5.1 人格分层架构
将 AI 角色的"人格"拆为五个独立文件层,职责清晰、互不污染:
| 层级 | 文件 | 作用 |
|---|---|---|
| 灵魂层 | SOUL.md | 价值观、底线原则 |
| 身份层 | IDENTITY.md | 人设、说话风格 |
| 记忆层 | MEMORY.md + 日记 | 长期记忆、历史教训 |
| 行为层 | AGENTS.md | 工作规则、红线 |
| 思维层 | 人格模型 v5 | 思考方式、纠错机制 |
核心洞察:人格 = 本性(是什么)+ 思维机制(怎么想)。两者分离管理,避免"改了性格忘了逻辑"。
5.2 质量管控体系
- 检查团三件套:话尺(删废话)、行尺(不越界)、因尺(结论有依据)
- 交付自审四问:①对方复制后会发生什么 ②换场景是否失效 ③是否有测试残留 ④是否会被模型误读
- P0 铁律七条:每条对应一个真实教训,作为行为底线
5.3 工程化能力
- 三段式版本号(V大-小-修订),旧版归档可回退
- 交付物双格式(md 源文件 + docx 成品)
- 知识库语义检索(SQLite + bge-small-zh 向量化)
- 事故复盘档案:8 类事故(进程卡死/会话中断/文件丢失等)各配预案与回滚命令
六、与人工智能训练师岗位的能力映射
| 本项目实践 | 岗位职责对应 | 佐证数据 |
|---|---|---|
| 规则句工程(指令设计/迭代/防误读) | 标注规范制定、规则文档编写 | 13+ 轮版本迭代,全部留档 |
| 70 个对照实验 | 标注质量评估、模型行为测试 | EX-001~EX-062+ 实验记录 |
| 多模型行为差异研究 | 理解模型能力边界、任务适配 | 9+ 模型通道实测对比 |
| 红旗清单(易错模式库) | 错误模式预判、质检重点规划 | 覆盖格式/触发/词表/污染等 |
| 质量四把尺(自审体系) | 质检流程设计、交付标准 | 话尺/行尺/因尺 + 自审四问 |
| 实验 SOP + 复测闭环 | 数据迭代、回归测试 | 双向奔赴方法论 |
| 版本管理与归档 | 数据版本管理、可溯源 | 三段式版本 + 历史归档 |
| 知识库建设 | 标注知识库、FAQ 管理 | 948 文档 / 15464 分块 |
七、我的收获与思考
- 模型的"笨"是重要的设计输入——规则要按最笨的模型来写,这样高智模型表现只会更好。这个认知直接来自多模型对照实验。
- 没有数据支撑的优化都是玄学——前几版凭感觉改规则,效果反复;引入实验体系后,每次改动都有明确结论,效率大幅提升。
- 文档即资产——452 份文档看似"浪费",但在版本回退、问题定位、经验复用上价值巨大,相当于给自己建了"标注知识库"。
- 质量是设计出来的,不是检查出来的——自审四问把问题拦截在交付前,比事后返工成本低得多。
本项目全部实验记录、版本历史、规则文档均真实留档,可提供进一步材料。
第二部分 · AI 提示词工程实践报告 · 调教小鱼
—— 从零构建一个"活着的"AI 角色：纯提示词工程的完整方法论
实践周期:2026-08-13 至今(约 3 周持续迭代) 技术路线:OpenClaw Agent 平台 + 多模型(DeepSeek/通义千问/GLM/豆包/Kimi)+ 零代码微调,全部能力通过提示词工程 + 系统工程实现 交付成果:一个具备稳定人格、自主记忆、高质量交互与自我进化能力的 AI 角色(下称"小鱼"),以及一套可复用的通用方法论体系
一、项目背景与目标
在纯提示词(不涉及模型微调)约束下,构建一个"像人一样"的 AI 角色,要求:
- 人格稳定——不因对话上下文漂移而"人格分裂"
- 可迁移——方法论换任何模型/平台都能复用,不绑定单一模型
- 可验证——每次迭代都有实验数据支撑,不是"我觉得这样好"
- 工程化——版本可管理、可回退、可审计
结论先行:以上目标全部达成,并沉淀出 452 份方法论文档、70 个对照实验、13+ 个大版本规则句迭代、5 版人格模型。
二、核心方法论体系(五层)
第 1 层:人格工程——AI 角色的"三观"怎么定
AI 角色跑偏的根本原因:只给性格形容词,没给决策逻辑。因此采用分层文件架构:
| 层级 | 文件 | 作用 | 类比 |
|---|---|---|---|
| 灵魂层 | SOUL.md | 价值观、底线性原则 | 世界观 |
| 身份层 | IDENTITY.md | 我是谁、人设基调、说话风格 | 出生证明 |
| 记忆层 | MEMORY.md + 日记 | 长期记忆、用户画像、历史教训 | 人生经历 |
| 行为层 | AGENTS.md | 工作规则、硬性红线、协作规范 | 家规 |
| 思维层 | 人格模型 v5 | 怎么思考、怎么听懂、怎么真改 | 大脑操作系统 |
关键洞察:人格 = 本性(是什么样的人)+ 思维机制(怎么想问题)。两者分离管理,本性管"我是什么",思维层管"我怎么处理信息"。
第 2 层:规则句工程——写给 AI 的"指令语言"
这是投入最深、迭代最多的核心。规则句不是散文,是可直接执行的指令,经历了从 v1 到 v13 的残酷迭代,每版都对应真实翻车教训:
| 版本阶段 | 典型问题 | 解法 |
|---|---|---|
| v1-v3 | 规则像"写作建议",AI 不执行 | 改为强指令句式:"必须/禁止/当 X 时执行 Y" |
| v4-v6 | 格式混乱,AI 分不清主次 | 编号分层(❶❷❸)、短句 ≤7 条、重要规则置顶 |
| v7-v9 | 混入"示例""来源标注"等元信息,AI 当正文执行 | 纯规则化:删光一切元标注、使用说明、解释括号 |
| v10-v11 | 负向指令("不要XX")失效 | 负向转正向("遇到 X 时改为 Y") |
| v12-v13 | 示例句被低智模型当真执行导致串戏 | 示例防执行设计 + 场景限定 + 规则与示例分离 |
上帝视角原则(第 9 版确立):写规则句 = 编剧写世界观,只规定规则本身,绝不向角色解释"为什么有这个规则"——解释即污染。
第 3 层:实验驱动开发——不靠感觉,靠数据
用多个免费/低智模型(GLM-4-flash、qwen3.6-flash、豆包 flash、Kimi、Kilo 等)做"廉价模拟实验",先在小模型上验证规则句有效性,再上真实环境:
- 70 个编号实验(EX-001 ~ EX-062+):每个实验 = 假设 → 设计 → 多模型对照跑 → 抓原始对话 → 分析 → 改规则 → 复测
- 双向奔赴闭环:实验发现 → 改进规则句 → 复测验证,不是只测不改
- 多模型对照:同一题让 4-6 个模型跑,观察差异(高智/低智模型对标注的理解完全不同)
- 红旗清单:记录"低智模型会误读什么",反哺规则句写法
典型案例:EX-009 发现低智模型把"关系:XX"状态标注当台词输出 → 推动"状态标注改文字档位"的规范升级;EX-023 跨场景串扰卡死 1h42m → 推动"特征词强化 + 场景限定"转正。
第 4 层:质量保障——交付前的"四把尺"
- 检查团三件套:话尺(删废话)、行尺(不越界不脑补)、因尺(每个结论有依据)
- 交付自审四问:①他复制进去会怎样?②换个人设会失效吗?③有没有测试痕迹?④会被模型误读吗?
- P0 铁律七条:听懂才算开始、不脑补、风格=操作化、交付前自审、结论有依据、认错必须真改、通用性优先
- 防补全机制:识别 AI"顺着话头编造"的行为并阻断
第 5 层:工程化与成本控制
- 版本管理:三段式命名(V大-小-修订),旧版永不覆盖、移入版本历史、可回退
- 知识库:948 篇文档 / 15464 分块向量化入库(SQLite + bge-small-zh),支持语义检索
- 模型路由省钱体系:免费渠道吃满(本地代理 + 免费模型),按任务难度分级路由,成本从日均数十元压到近零
- 事故预防档案:进程卡死/会话中断/额度风控等 8 类事故,每类都有预案与回滚命令
三、可量化成果
| 维度 | 数据 |
|---|---|
| 方法论文档 | 452 份(prompt-engineering 库) |
| 对照实验 | 70 个(EX-001~EX-062+) |
| 规则句大版本 | 13+(v1→v13,全部留档可审计) |
| 人格模型 | 5 版迭代(v1→v5) |
| 知识库 | 948 文档 / 15464 分块 / 语义检索可用 |
| 支持模型 | 9+ 个 API 通道实测调优 |
| 迭代周期 | 3 周内完成从 0 到体系成型 |
四、能力迁移——与"人工智能训练师"岗位的对应关系
| 本实践沉淀的能力 | 岗位对应价值 |
|---|---|
| 规则句工程(指令设计/迭代/防误读) | 数据标注规范制定、标注质检标准设计 |
| 70 个对照实验方法论 | 标注质量评估、模型行为测试、A/B 验证 |
| 多模型差异认知(高智/低智行为差异) | 理解模型能力边界,设计适配的标注任务 |
| 红旗清单(模型易错模式库) | 标注错误模式预判与预防 |
| 质量四把尺(自审体系) | 质检流程设计、交付标准制定 |
| 人格分层工程 | 训练数据体系设计、任务分解 |
| 工程化/版本管理/可回退 | 数据管线管理、流程规范化 |
五、一句话总结
三周时间,用纯提示词把一个通用模型"调教"成有稳定人格、能自我进化的 AI 角色——这中间踩过的每一个坑(元标注污染、负向指令失效、低智模型误读、上下文漂移)都变成了可复用的方法论。提示词工程不是"写漂亮话",而是理解模型如何思考、用实验驱动迭代、把经验沉淀成规则——这正是 AI 训练师的核心素养。
报告基于真实项目记录撰写,所有实验与版本迭代均有留档可溯源。