墨穗app.notebase.cn
控制台
内容库
动态
管理
账户
U
用户
--
在线
v1.0.165 · 墨穗笔记
笔记

Notebase墨穗
静水流深,落墨成穗。

0笔记
0工具
30推荐

分类导航

按主题直达

编辑精选

站内用户贡献 · 真实笔记

最新收录

每日更新
继续浏览全部内容 →

笔记

0
加载中...

工具

0

此页用于记录用户反馈问题后的每一次改进

关于

笔记用法

“写笔记”支持四种格式——Word 文档、Excel 表格、Markdown、纯文本,起稿或二次编辑时都能随时切换,同一篇笔记想用哪种形态来记,都由你说了算。

md、txt、csv、json 这类纯文本则原样载入,不做多余加工。拿一张现成的表倒进来、改几笔、再导出去,等于白用一台免费的格式转换器。

要带走就在右上角点“下载”,可导出 PDF、Word、Markdown、Excel、TXT 等格式;列表卡片“⋯”菜单里,也有同样的下载入口。

工具用法

在“工具”页点“+ 上传工具”即可发布:填好名称与链接,再用 Markdown 把使用方法写清楚——能解决什么问题、怎么装、怎么用,比堆介绍实在。

要分发安装包就一并上传压缩包(ZIP、RAR、7Z、TAR.GZ,最大 35MB),别人在详情页一键下载;只放链接不带附件也可以。

工具按大家的收藏热度排序,好用的自然会被顶上来。发布后可在详情页或卡片菜单里编辑、下架。

隐藏笔记

写笔记时勾上“隐藏”,这篇就只存在于你自己的账号里:不进列表、不进搜索、不上首页精选,也不会出现在任何公开的页面,链接发给别人同样打不开。

适合放密码、草稿、日记这类只给自己看的内容;想公开,去“发布”打开它,把“隐藏”的勾去掉再保存,之后编辑会默认保持原状态,不会悄悄变回公开。

不想公开、只想临时给人看:点“分享”生成一条带密码和有效期的链接,到期自动失效,你也能随时撤销。

数据安全

你的内容会同时保存在多个副本上,系统定期做备份与完整性校验,再配合异地容灾机制:就算某台机器出问题,数据也不会丢,可以长期放心存放;特别重要的资料,仍建议你另外再留一份备份。

技术

全站跑在容器化、模块化的现代架构上,更新、部署、回滚都很快,扩展性和稳定性都按长期运营的标准来设计(Built for reliability, designed to scale)。

理念

这个网站最早只是一个人的笔记仓库,后来慢慢长成现在的知识中枢。设计上很克制——没有广告、没有追踪、没有推荐算法,只是干干净净地存放一些东西;既然做好了,就公开出来,万一有人用得上呢。

原则

不做大而全,不做平台梦,保持简单、保持克制、保持好奇。所有内容都由用户贡献、由用户维护:不会突然冒出付费墙,不会在角落塞广告位,也不会把你的数据卖给第三方。

更多

产品会持续迭代,站内日志页记录着每一次改动,改了什么都有迹可循;想了解这个站是怎么一步步走到今天的,翻翻日志就能看到来龙去脉。

举报

如果在这里看到涉嫌违规的内容,点对应卡片右侧的“举报”按钮就能提交,我们会尽快核实处理;也谢谢你花一点时间,一起把这里维护干净。

趋势

// 点击导航加载发现
归档
// 归档为空
最近浏览
// 暂无浏览记录
发布
// 加载中...
用户发布
// 加载中...
用户管理
// 加载中...
访问统计
// 加载中...
内容审核
// 加载中...
个人信息
// 加载中...
返回首页

Fable 5 技能蒸馏:在廉价模型上复用大模型能力的 Prompt 方案

2026-07-08人工智能

Fable 5 技能蒸馏:在廉价模型上复用大模型能力的 Prompt 方案

一个通过 Prompt 让大模型(如 Claude Opus)在退役前生成可被廉价模型直接调用的“技能”文件的工具。

一、项目背景与痛点

大语言模型(LLM)的迭代速度极快,OpenAI、Anthropic 等厂商几乎每几个月就会发布新版本,旧版本模型(如 GPT-3.5、Claude 2 等)逐渐被淘汰或退役。对于依赖特定模型能力的开发者来说,这带来了几个现实问题:

  1. 能力丢失:某些旧模型在特定任务(如代码生成、逻辑推理、创意写作)上经过长期调优,其“手感”和输出风格是后续版本无法完美复现的。
  2. 成本压力:顶级模型(如 Claude Opus、GPT-4)的 API 调用成本高昂,不适合大规模生产环境。而廉价模型(如 Claude Haiku、GPT-3.5-Turbo)虽然便宜,但能力不足。
  3. 技能不可迁移:大模型本身是一个黑箱,其内部的“技能”无法直接导出给其他模型使用。

tomicz/fable-5-train-opus-skills-after-it-retires 项目正是为了解决这一问题而生。它提供了一种基于 Prompt 的技能蒸馏方法:在 Claude Opus 等高性能模型退役前,通过精心设计的 Prompt,让模型生成一系列结构化的“技能”文件(Skill Files),这些文件可以被更便宜的模型加载并执行,从而复用原模型的部分能力。

二、项目原理与工作流

核心思想

该项目本质上是一个 Meta-Prompt(元提示) 系统。它不依赖于模型微调或权重导出,而是通过 Prompt 引导大模型将自身知识结构化为可复用的指令集。这些指令集以 JSON 或 Markdown 格式保存,包含角色定义、任务规则、示例、输出格式等要素。廉价模型在推理时,只需加载这些技能文件作为系统提示的一部分,即可模拟原模型的行为。

工作流示例

  1. 准备阶段:你拥有一个即将退役的高性能模型(如 Claude Opus),以及一个你想迁移的特定技能(例如“生成符合 PEP8 的 Python 代码”)。
  2. 执行 Prompt:向 Claude Opus 发送项目提供的 Prompt,其中包含技能名称、描述、期望输出格式等参数。
  3. 生成技能文件:模型返回一个结构化的 JSON 文件,内容大致如下:

{
"skill_name": "pep8_python_code_generator",
"version": "1.0",
"description": "Generates Python code strictly following PEP8 conventions, with docstrings and type hints.",
"system_prompt": "You are an expert Python developer. Always adhere to PEP8. Include docstrings and type hints. Output only code, no explanations.",
"examples": [
{
"input": "Write a function to calculate factorial",
"output": "def factorial(n: int) -> int:\n """Calculate factorial of n recursively."""\n if n <= 1:\n return 1\n return n * factorial(n - 1)"
}
],
"constraints": [
"Maximum line length: 79 characters",
"Use 4 spaces for indentation",
"Include module-level docstring if multiple functions"
]
}

  1. 部署到廉价模型:将生成的 skill JSON 文件嵌入到廉价模型(如 Claude Haiku)的系统提示中。例如:

python
import anthropic

client = anthropic.Anthropic(api_key="your-key")

with open("pep8_python_code_generator.json", "r") as f:
skill = json.load(f)

response = client.messages.create(
model="claude-3-haiku-20240307",
system=skill["system_prompt"], # 直接使用技能中的系统提示
messages=[
{"role": "user", "content": "Write a function to calculate factorial"}
]
)

  1. 效果验证:廉价模型在加载技能文件后,其输出质量应明显优于未加载时的默认行为,且更接近原模型在该技能上的表现。

三、安装与使用

该项目本身无需安装,它只是一个 Prompt 模板。使用步骤如下:

步骤 1:获取 Prompt

从仓库根目录找到 prompt.md 或 prompt.txt 文件,复制其内容。

步骤 2:配置参数

在 Prompt 中,你需要替换以下占位符:

  • {SKILL_NAME}:技能名称(如 code_reviewer)
  • {SKILL_DESCRIPTION}:技能详细描述(如“审查 Python 代码,指出潜在 bug 和性能问题”)
  • {OUTPUT_FORMAT}:技能文件输出格式(JSON 或 Markdown)
  • {EXAMPLES}:可选,提供 1-3 个输入输出示例,帮助模型理解任务

步骤 3:发送给高性能模型

将填充后的 Prompt 发送给 Claude Opus(或 GPT-4 等),模型会返回一个技能文件。

步骤 4:在廉价模型中使用

将返回的技能文件内容作为系统提示的一部分,或者直接作为用户消息的前缀,然后开始正常对话。

四、核心亮点

  1. 零成本迁移:不需要微调、不需要 LoRA、不需要任何模型权重。只需一个 Prompt 和一次 API 调用。
  2. 即插即用:生成的技能文件是纯文本,可以存储、分享、版本控制,任何支持系统提示的 API 都可以加载。
  3. 聚焦特定能力:你可以为每个技能单独生成文件,比如“代码审查技能”、“创意写作技能”、“数学解题技能”,然后按需组合。
  4. 对抗模型退役:当旧模型退役后,你仍然可以通过技能文件让新模型(或廉价模型)重现其部分能力。
  5. 开源透明:整个方法完全公开,你可以检查、修改 Prompt,甚至改进蒸馏过程。

五、适用场景

  • 企业级应用:当公司依赖某个特定模型版本进行生产任务,但该版本即将退役时,可以批量生成技能文件,平滑迁移到更便宜的模型上。
  • 个人开发者:希望利用顶级模型的能力但预算有限,可先用 Opus 生成技能,再在 Haiku 上运行日常任务。
  • 模型对比研究:通过技能蒸馏,量化不同模型在特定任务上的能力差距。
  • 知识传承:将资深模型(如经过大量微调的专家模型)的技能固化下来,供后续模型学习。

六、与其他同类项目对比

项目/方法 原理 成本 可迁移性 依赖模型权重 适用模型
Fable 5 Skill Distillation Prompt 蒸馏 极低(仅 API 费用) 高(纯文本) 否 任何支持系统提示的 LLM
模型微调(Fine-tuning) 修改模型权重 高(GPU + 数据准备) 低(仅限同架构模型) 是 需要权重可访问的模型
LoRA / Adapter 低秩适配 中(训练成本) 中(需适配层) 是 部分开源模型
Chain-of-Thought 提示 推理时引导 低 低(依赖模型自身) 否 任何 LLM

优势:相比微调和 LoRA,本项目完全不需要训练,成本几乎为零;相比 CoT 提示,它能将技能“固化”为独立文件,而不是依赖每次推理时的临时引导。

局限:技能蒸馏的效果受限于原模型表达能力和 Prompt 质量;复杂技能(如多轮对话、长上下文推理)可能难以通过单次 Prompt 完整捕获;生成的技能文件对廉价模型的提升幅度因任务而异。

七、总结评价

tomicz/fable-5-train-opus-skills-after-it-retires 是一个巧妙且实用的工具。它抓住了 LLM 生态中的一个真实痛点——模型退役与技能迁移,并用最轻量的方式(一个 Prompt)提供了解决方案。虽然它不能完全替代微调,但对于大多数日常任务,尤其是需要快速、低成本复用大模型能力的场景,它是一个值得尝试的选择。

适用人群:所有使用 LLM API 的开发者、AI 产品经理、对模型能力迁移感兴趣的研究者。

项目链接:https://github.com/tomicz/fable-5-train-opus-skills-after-it-retires

相似推荐
DeepSeek Harness Windows 安装保姆教学:一条 npx 命令跑起 Web UIMistral OCR:重新定义文档理解的OCR技术Claude Opus 4.8 深度解析:更诚实、更高效的 AI 协作新纪元Claude Opus 5 深度解析:半价逼近前沿智能的日常化模型Gemma 4:Google DeepMind 开源模型的最新里程碑DeepSeek-R1 深度解析:纯强化学习激发大模型推理能力,蒸馏小模型同样强悍
编写使用方法
Markdown 格式 · Ctrl+Enter 确定
0 字新建笔记
欢迎回来
登录你的墨穗笔记账户
忘记密码?
还没有账户?立即注册
创建账户
注册你的专属墨穗笔记
已有账户?去登录
找回密码
输入注册邮箱获取验证码
返回登录
请输入图片中的验证码以继续注册
加载中...
取消
新建收藏
手动添加你喜欢的内容
取消
编辑头像与昵称
上传新头像或修改你的显示昵称
支持 JPG/PNG,最大 2MB
取消

问题反馈

隐私提醒

取消
编辑工具
受控分享
为这篇笔记生成限时 / 带密码的临时链接
关闭