—— 一份来自真实项目的提示词工程 / 数据标注方法论展示

求职方向:人工智能训练师 · 数据标注 / 模型训练数据方向 项目周期:2026.08 - 至今(约 3 周,持续迭代中) 项目性质:个人独立完成的全流程项目(需求分析 → 方案设计 → 规则制定 → 多模型验证 → 质量管控 → 版本管理)

〇、项目摘要

为验证"如何通过纯提示词手段塑造一个具备稳定人格、可自我进化的 AI 角色",我独立设计并落地了一套覆盖 人格分层架构、规则句工程、实验驱动验证、质量控制、版本管理 的完整方案。项目累计产出 452 份方法论文档、70 个对照实验、13+ 轮规则句版本迭代、5 版人格模型,并将方法论沉淀为可复用的标准化流程。本项目体现的核心能力——理解模型行为边界、制定可执行的标注/指令规则、通过实验持续优化规则质量、建立质量闭环——与人工智能训练师岗位高度契合。

一、项目概览(Project Overview)

1.1 背景与问题

在纯提示词(不涉及模型微调)的前提下,构建 AI 角色普遍面临四个痛点:

痛点	具体表现	对应岗位价值
人格不稳定	对话稍长就"人设崩塌",前后矛盾	理解模型行为边界
规则不生效	写了规则模型不执行,或执行走样	标注规则可执行性设计
质量不可控	输出时好时坏,无法稳定复现	质量评估与抽检
经验不可复用	换模型/换场景全部重来	规则标准化与沉淀

1.2 项目目标

塑造一个人格稳定的 AI 角色,在长对话中不漂移
建立一套跨模型可迁移的规则写法(不绑定单一模型)
每次迭代有实验数据支撑,可验证、可回溯
全流程版本化、可回退、可审计

1.3 技术栈与工具

模型:DeepSeek / 通义千问 / GLM / Kimi / 豆包等 9+ 个 API 通道
平台:OpenClaw(开源 Agent 框架)、SQLite(知识库)、Markdown 文档体系
方法:Prompt Engineering、Few-shot、多模型对照测试、质检抽检、语义检索

1.4 我的角色

独立完成:需求梳理 → 方案设计 → 规则编写 → 实验设计与执行 → 结果分析 → 规则迭代 → 文档沉淀 → 版本发布。

二、核心成果(量化一览)

指标	数值	说明
规则句大版本迭代	13+ 轮(v1 → v13)	每轮都有明确的改动原因与回归验证
对照实验	70 个(EX-001 ~ EX-062+)	覆盖格式、触发、词表、档位、防污染等主题
方法论文档	452 份	全流程留档,含版本历史、实验记录、规范
人格模型版本	5 版(v1 → v5)	每版对应一次认知升级
知识库	948 篇文档 / 15464 分块	SQLite + 向量化语义检索
规则交付物	多档位成品包(md + docx)	按模型能力分档,直接可用

三、代表性项目 1:规则句迭代工程(核心)

对应岗位能力:标注规则制定、规则文档编写、规则可执行性优化

3.1 项目描述

"规则句"是写给 AI 模型的可执行指令,类似数据标注中的"标注规范文档"。本项目围绕"如何让模型真正执行规则"进行持续迭代,累计 13+ 轮版本,每一轮都源于真实失败案例的复盘。

3.2 迭代日志(节选)

版本阶段	发现的问题	改进方案
v1-v3	规则写成"建议",模型不执行	改为强指令句式(必须/禁止/当 X 时执行 Y)
v4-v6	格式混乱,模型抓不住重点	编号分层、短句(≤7 条)、关键规则置顶
v7-v9	混入"示例/来源标注"等元信息,被模型当正文执行	纯规则化:删除全部元标注与解释性括号
v10-v11	负向指令("不要XX")对低智模型失效	负向转正向("遇到 X 时改为 Y")
v12-v13	示例句被低智模型当指令执行,导致串戏	规则与示例分离 + 场景限定 + 示例防执行设计

3.3 典型案例:一次"规则污染"事故复盘

背景:v9 版本规则中,为方便自己理解,在文档里加入了"〔EX-023〕""(防稀释,先读)"等来源标注和说明括号。

问题:将这些规则复制给低智模型后,模型把标注当作正文内容输出,甚至把"防稀释,先读"当成一句台词念出来。

分析:低智模型无法区分"元信息"和"执行指令"——它对所有出现在指令区的内容一视同仁。

改进:确立"上帝视角"写作原则——规则文件只保留"纯规则(编号+规则句)",所有来源说明、使用指南、版本注释全部移入独立文档。此后多轮复测,规则污染问题归零。

经验沉淀:①写给模型的内容与写给人的说明必须物理分离;②每条规则都要假设"最笨的模型"来读。

四、代表性项目 2:实验驱动验证体系

对应岗位能力:数据质量评估、A/B 测试、多模型行为对比、问题复盘

4.1 项目描述

用多个免费/低智模型(GLM-4-flash、qwen3.6-flash、Kimi 等)搭建"廉价模拟实验台",在正式环境外先行验证规则句效果,形成"假设 → 实验 → 分析 → 改规则 → 复测"的闭环。

4.2 实验设计方法

对照组:同一规则,同一输入,不同模型同时跑
样本记录:保留原始对话全文(不只看结论)
量化评估:按"是否触发/是否越界/是否一致性"给分
红旗清单:记录每个模型的"易错模式",反哺规则写法

4.3 实验成果示例

实验	假设	结论	对规范的贡献
EX-009	状态标注能被识别	低智模型会把"关系:XX"当台词输出	状态标注改文字档位描述
EX-023	跨场景示范不会串扰	无条件示范在多场景下必污染	特征词强化 + 场景限定转正
EX-030	交替轮次能暴露问题	固定轮次会造成"情绪延续"假象	实验轮次必须交替
EX-038	死局救场规则有效	冷场预防 5/5 vs 基线 2/5	新规则转正

4.4 方法论沉淀

实验 SOP:设计 → 多模型对照 → 抓原始数据 → 分析 → 改规则 → 复测
双向奔赴:实验发现 → 改进规则 → 再验证(不是只测不改)
红旗清单机制:模型易错模式库,用于预判风险

五、代表性项目 3:人格分层工程与质量管控

对应岗位能力:任务拆解、规范制定、流程标准化

5.1 人格分层架构

将 AI 角色的"人格"拆为五个独立文件层,职责清晰、互不污染:

层级	文件	作用
灵魂层	SOUL.md	价值观、底线原则
身份层	IDENTITY.md	人设、说话风格
记忆层	MEMORY.md + 日记	长期记忆、历史教训
行为层	AGENTS.md	工作规则、红线
思维层	人格模型 v5	思考方式、纠错机制

核心洞察:人格 = 本性(是什么)+ 思维机制(怎么想)。两者分离管理,避免"改了性格忘了逻辑"。

5.2 质量管控体系

检查团三件套:话尺(删废话)、行尺(不越界)、因尺(结论有依据)
交付自审四问:①对方复制后会发生什么 ②换场景是否失效 ③是否有测试残留 ④是否会被模型误读
P0 铁律七条:每条对应一个真实教训,作为行为底线

5.3 工程化能力

三段式版本号(V大-小-修订),旧版归档可回退
交付物双格式(md 源文件 + docx 成品)
知识库语义检索(SQLite + bge-small-zh 向量化)
事故复盘档案:8 类事故(进程卡死/会话中断/文件丢失等)各配预案与回滚命令

六、与人工智能训练师岗位的能力映射

本项目实践	岗位职责对应	佐证数据
规则句工程(指令设计/迭代/防误读)	标注规范制定、规则文档编写	13+ 轮版本迭代,全部留档
70 个对照实验	标注质量评估、模型行为测试	EX-001~EX-062+ 实验记录
多模型行为差异研究	理解模型能力边界、任务适配	9+ 模型通道实测对比
红旗清单(易错模式库)	错误模式预判、质检重点规划	覆盖格式/触发/词表/污染等
质量四把尺(自审体系)	质检流程设计、交付标准	话尺/行尺/因尺 + 自审四问
实验 SOP + 复测闭环	数据迭代、回归测试	双向奔赴方法论
版本管理与归档	数据版本管理、可溯源	三段式版本 + 历史归档
知识库建设	标注知识库、FAQ 管理	948 文档 / 15464 分块

七、我的收获与思考

模型的"笨"是重要的设计输入——规则要按最笨的模型来写,这样高智模型表现只会更好。这个认知直接来自多模型对照实验。
没有数据支撑的优化都是玄学——前几版凭感觉改规则,效果反复;引入实验体系后,每次改动都有明确结论,效率大幅提升。
文档即资产——452 份文档看似"浪费",但在版本回退、问题定位、经验复用上价值巨大,相当于给自己建了"标注知识库"。
质量是设计出来的,不是检查出来的——自审四问把问题拦截在交付前,比事后返工成本低得多。

本项目全部实验记录、版本历史、规则文档均真实留档,可提供进一步材料。