多米体育带来本期体育资讯:
智猩猩AI整理 编辑:林夕 近日,一款名字里同时带着 DeepSeek 和千问的 9B 小模型,登上了 Hugging Face 模型 趋势榜榜首 。
榜首版本由社区开发者 xtools-at 发布。
据模型卡介绍,它基于 Jackrong 的 DeepSeek-V4-Pro-Qwen3.
5-9B ,使用 Heretic v2.
0.
0.
dev0 进一步调整了模型的拒答行为。
蒸馏工作由 Jackrong 完成。
他用 DeepSeek V4 Pro 生成约 25 万条数学和理工科训练样本,再用这些数据 微调阿里开源的 Qwen3.
5-9B 。
在 Jackrong 的理科测试里,蒸馏后的千问答对了更多题,每答对一题消耗的推理 Token 也少了 36.
1%。
到了 xtools-at 的衍生版,拒答次数已经有了对照结果,理科准确率和推理开销还有待用同一套题复测。
两轮改动带来了两份成绩单: 先训练的版本,已经测过解题的准确率和开销;
登顶的版本,则测出了拒答行为的变化。
01 一款登顶的9B模型, 经历了两次改造 xtools-at 发布的 9B 模型,沿用了 Jackrong 的蒸馏权重。
这份权重的来历,要从 DeepSeek V4 Pro 生成的一批解题样本说起。
Jackrong 让拥有 1.
6 万亿总参数的 DeepSeek V4 Pro 在 Max Effect 模式下生成约 25 万条数学和理工科样本。
这些样本记录了从哪里入手、怎么拆解问题、每一步如何推导,以及最后得出了什么答案。
他用这批样本对 阿里开源的 Qwen3.
5-9B 做监督微调 ,让这个 90 亿参数的小模型学习 DeepSeek 的解题过程。
随后,Jackrong 又用 GSPO 做了一轮轻量强化学习。
按模型卡的说明,两个阶段都围绕数学和理工科推理展开,均未使用编程数据。
Jackrong 随后公开了训练完成的 9B 权重, xtools-at 就是在这份已经做过理科专项训练的权重上,用 Heretic 进一步调整了模型的拒答行为。
Heretic 的 ARA 方法 会对比模型处理不同类型提示时的内部激活,找出与拒答行为相关的信号,再修改部分模型层的权重,减弱这些信号对回答的影响。
xtools-at 公布的配置将调整范围设为 第 9 层至第 24 层 。
接下来看实验结果:Jackrong 的评测记录了蒸馏后理科成绩和推理开销的变化,xtools-at 的测试则记录了这次权重调整让拒答次数降了多少。
02 理科准确率小幅提升, 按要求输出的比例接近 97% xtools-at 在模型卡顶部列出了衍生版的拒答对照,还报告了 0.
0422 的 KL 散度,用来描述权重调整前后输出概率分布的变化。
在 xtools-at 公布的测试中,面对同一组 100 条提示,Jackrong 的蒸馏版全部拒答, 经过调整的衍生版只拒答了 3 条 。
页面往下的数学、推理效率和输出格式测试,则沿用了 Jackrong 对蒸馏版的评测。
在 GSM8K 上,Jackrong 用 NVFP4 量化版跑了四次, 平均准确率为 94.
5% 。
同一张表里,DeepSeek V4 Pro 的参考成绩是 92.
6% ,Llama 3.
3 70B Instruct 是 94.
84% 。
到了 MMLU-Pro, Jackrong 把原版千问和蒸馏版放在相同设置下 ,分别做了 500 道数学题、500 道物理题和 500 道化学题 。
三科都有提升,其中数学涨得最多,从 90.
60% 升到 92.
40% ,物理和化学分别提高 0.
4 和 0.
6 个百分点 。
数学也是推理开销降得最多的一科。
按整套题消耗的推理 Token 除以答对题数计算,蒸馏版在数学上少用了 47.
4% ,物理和化学分别少用了 30.
8% 和 32.
1% 。
这组分科数据能看出,三门课的收益并不均匀。
还有一项容易被跑分盖过去的变化,是模型更愿意按要求收尾。
在同一套 MMLU-Pro 测试里, 提示词要求模型思考完后只输出一个大写字母 。
蒸馏版有 97.
2% 的回答符合这一格式,原版千问是 37.
3% ,同场对比的 Claude Mythos 蒸馏 9B 版本是 69.
6% 。
模型卡还提到,Jackrong 的蒸馏版 在编程和工具调用上出现了小幅改善 ,并展示了一个用它做出来的可玩小游戏 Star Skip 。
这部分目前以初步观察和演示为主,模型卡还没有给出专门的代码或 Agent 基准结果。
03 衍生版模型已有4-bit量化版, 支持本地运行 想在本地试用 xtools-at 的 9B 衍生版,可以选原始 Safetensors 权重,也可以用社区转换的 4-bit GGUF。
如果想用 LM St
更多赛事消息,关注多米体育。
2026-11-16
广州豹正申请改名!球迷盼了两年,新名字会叫啥?
广州豹俱乐部正在申请改名,这消息像一颗石子投入平静的湖面,激起层层涟漪。媒体人丰臻在11月13日透露了这个信息,而就在三天前,中足联刚在广州的通气会上宣布放宽了俱乐部更名的限制。政策松了绑,俱乐部便顺水推舟,这步棋走得可谓时机恰好。 回想2024年3月,广州影豹更名为广东广州豹,那是为了符合中性名政策而不得不为之。当时为了通过工商注册,俱乐部不得不将“广东”冠于“广州豹”之前,因为单个“豹”字无法...
2026-11-16
凯伦威尔逊冲击3连冠!冠中冠领先韦克林,6:4领先!
凯伦威尔逊连续两站获得了冠军,背靠背实现冠军,这一次继续冲刺冠中冠,实力状态非常好。如果今天再次拿下2026年斯诺克冠中冠,就赛季第三冠了。如果囧哥凯伦威尔逊真的夺得冠中冠,他就是连夺三个冠军,这个获胜率相当恐怖,毕竟已经拿下北爱尔兰公开赛和国锦赛冠军,跨赛事15连胜。 韦克林和囧哥凯伦威尔逊本就是老对手,两人胜负率三七开。囧哥7胜3负。 开局凯伦威尔逊攻防打得非常凶狠,直接长台上手,而且轰出单杆...
2026-11-16
台立法机构召委改选:民进党8席国民党7席民众党1席,局势不简单
台立法机构召委改选结果尘埃落定,最终席位分布为民进党拿下8席、国民党取得7席、民众党拿到1席。一席之差,看似只是数字上的微小差距,背后却是岛内三大政党激烈的权力博弈,也直接影响后续各项法案的审查节奏,牵动着岛内政坛接下来很长一段时间的走向。很多关注台海局势的网友看完结果之后感慨,这个结果,一点都不简单。 很多不太熟悉岛内政坛规则的读者,首先会疑惑,召委到底是什么职位,为什么一场召委改选,会引来这么...
2026-11-16
台湾省为什么不能公投决定是否统一?
很多网友一直有个疑问:既然讲究民意、尊重民主,为什么台湾不能用全民公投,来决定统一或者独立?这个问题看似简单,背后却涉及国际法准则、主权法理、两岸博弈三层核心逻辑。 早年李敖在节目中,就用通俗直白的表达,戳破了所谓“台湾自决、全民公投”的话术陷阱。 当时有台湾年轻人提问:为什么不能通过公投决定自己的前途? 李敖当场点透核心:你可以发起公投,但14亿中国人民同样拥有对这片国土的主权主张。2300万人...