在大模子后老师中，数据不再仅仅 “越多越好”，而是要像东说念主类学习一样，动态遴选最合适难度的样本。华为提议的 EDCO 圭臬，将样本难度揣度与动态课程编排引入鸿沟大模子微调；数月后，由 Rutgers、Amazon、Google 等作家参与的 DARE 论文即援用 EDCO，并将其手脚难度感知强化学习老师的伏击对比基线。这意味着，“老师数据如何被遴选” 正在从工程细节走向核默算法问题。

作家来自华为 GTS 研发部 AI 数据团队，永久聚焦鸿沟大模子数据、老师与评测圭臬。面向通讯等专考场景，他们温煦的不是 “再堆些许数据”，而是一个更施行的问题：当高质料鸿沟数据稀缺且粗略时，模子每一步究竟应该先学哪些样本？

老师一个鸿沟大模子，有时像准备一场高强度磨砺：题库很贵，时辰有限，但你并不知说念下一说念题究竟是在查漏补缺，照旧在铺张老师预算。

在通讯、医疗、法律等垂直鸿沟，高质料数据频繁稀缺且粗略。传统微调要么赶紧采样，要么在老师前按照长度、困惑度等目的排好一个固定课程。但模子才略会不断变化：昨天不会的题，今天可能仍是掌抓；看似基础的样本，也可能仍然卡在某个专科常识点上。

于是问题来了：能不行让模子每一步齐学现时最该学的数据？

华为 GTS 研发部 AI 数据团队通过永久在鸿沟大模子的老师扩充提议 EDCO（Entropy-based Dynamic Curriculum Orchestration），用推理熵动态编排老师课程，让模子陆续濒临现时最困惑、最有学习价值的样本。该责任已被 ICML 2026 接收。

论文标题：EDCO: Dynamic Curriculum Orchestration for Domain-specific Large Language Model Fine-tuning

代码地址：https://github.com/GTS-AIData/EDCO

从 “从易到难”，到 “现时最该学”

静态课程学习像一张老师前写好的课表：先学什么、后学什么，一朝敬佩就不再篡改。这在从零学习时很当然，但鸿沟大模子微调不是从小学数学启动，而是在已有通用才略上补专科短板。

尤其在通讯这么的专科鸿沟中，“简便” 和 “有效” 并不老是一趟事。无线收集优化任务频频不是看一条告警或一个目的就能下论断，而是要把路测轨迹、信令经由、参数配置、话统目的和巨匠端正放在一齐分析：雷同是掉线率升高，背后可能是消除问题、切换参数不对理、邻区配置缺失，也可能是容量受限或结尾行为异常。

数通场景雷同如斯。确凿运维输入频繁来自多厂商、多确立、多左券的非结构化日记，文本长、术语密集、款式不长入。模子不仅要读懂日记，还要麇集收集拓扑、路由关系和左券机制进行判断、打算与概述分析。这意味着，通讯任务中的样本难度并不由文本长度或名义样式决定。“同症不同因”“短问长推理”“长文本找关节异常值” 在这里尽头无数：

一说念两行的题，可能荫藏着复杂左券机制或关节参数各异；

一段很长的日记，着实决定谜底的可能仅仅少数异常目的或字段；

模子在某类厂商、制式或左券场景中学会的才略，移动到另一类场景时随机可靠。

按困惑度（PPL）、长度这些事先算好的静态目的以致在部分场景中不如赶紧遴选，施行因为模子的才略鸿沟一直变化。模子仍是把 "该学的" 刷完毕，剩下的老师预算齐耗在它早就掌抓的题上。

EDCO 的中枢判断很径直：样本价值不是固定属性，开云体育(kaiyun)官网而取决于模子当下是否仍然不敬佩。推理熵越高，证实模子濒临该样本越游移，也越可能处在才略鸿沟隔壁。

从这个角度看，EDCO 施行上把传统 “从易到难” 的课程，改形成一种更稳当鸿沟大模子微调的动态反向课程：不是一味先喂简便题，而是在每个老师阶段主动寻找仍能引发探索、幸免模子过早自信的样本。

EDCO：让模子学会挑 “难而有效” 的样本

图 1：EDCO 举座框架：推理熵揣度、动态课程生成与 LLM 老师闭环。

EDCO 的老师闭环由三部分构成：领先揣度老师池中样本对现时模子的推理熵；随后遴选推理熵最高的一批样本构成下一阶段课程；临了用该课程不绝微调模子，并鄙人一个阻隔重新打算熵值、更新样本聚合。

1. 用推理熵谋略样本挑战性

EDCO 对老师池样本揣度现时模子的推理熵。高熵样本不是简便真谛上的 “艰辛”，而是现时模子仍然拿不准、可能带来更强学习信号的样本。

这种界说的公正在于，样本是否伏击不再由老师前的静态难度决定，而是由模子及时现象决定。模子仍是掌抓的样本会冉冉退出课程，仍然让模子游移的样本则会被保留住来不绝老师。

2. 用前缀熵揣度把动态课程作念轻

完好序列熵揣度本钱很高。EDCO 通过 quick-answer prompting 让模子尽快干与谜底主体，再用前缀 token 要求熵类似完好序列熵。实验中，单样本熵揣度时辰从 2.24 秒降至 0.37 秒，打算支拨减少 83.5%。

3. 每个阶段重新选 top-N 高熵样本

在每个老师阻隔，EDCO 基于现时模子重新揣度样本熵值，并遴选最高熵样本构成下一阶段老师集。样本会跟着模子现象动态收支课程，而不是按固定轨则走完一遍。

关节瞎想：动态更新不行太贵

动态课程听起来很当然，但着实落地时会遭受一个径直问题：若是每次齐要让模子对扫数这个词数据池生成完好谜底，再打算完好序列熵，老师支拨会尽头高。EDCO 因此瞎想了两个轻量化战术。

第一，开云官网入口 - 开云kaiyun(中国)官网quick-answer prompting 会带领模子尽快干与谜底主体，减少长链路推理带来的冗余生成；第二，前缀熵揣度只使用输出前若干 token 类似完好序列熵。论文实验透露，前缀揣度与完好序列揣度具有较强关系性，大概保留样本排序所需的主要不敬佩性信号。

图 2：前缀熵揣度与完好序列熵揣度趋势一致，并可通过 prefix 长度完结褂讪性与后果。

进一步看后果，完好序列揣度单样本耗时 2.24 秒，前缀揣度仅需 0.37 秒；在 8 卡并行时，耗时可降至 0.04 秒。关于需要周期性扫描老师池的动态课程圭臬来说，这一步让 EDCO 从 “念念路可行” 变成了 “老师中可用”。

实验收尾：三域、两模子、两范式全面考据

接洽团队在通讯、医疗、法律三个鸿沟考据了 EDCO，模子消除 Qwen3-4B 与 Llama3.2-3B，老师范式消除 SFT 与 RLFT。其中，通讯鸿沟树立了 Datacom 与 Wireless 两类任务，阔别对应数通运维分析与无线收集优化两种典型高复杂度场景。

Wireless 任务温煦无线收集问题会诊与优化建议生成，样本触及路测、信令、配置、话统等多类专科输入，要求模子从长文本和结构化目的中识别关节异常，麇集端正与教化推理根因。Datacom 任务则面向数通收集运维，消除多厂商、多确立、多左券日记输入，要求模子清晰鸿沟术语、判断路由与左券现象，并完成打算和概述分析。

图 3：EDCO 在通讯鸿沟 RLFT 与 SFT 树立下的主收尾。

在通讯鸿沟 RLFT 中，EDCO 在 Datacom 上达到 46.96%，高于赶紧采样的 40.43% 和 PPL 课程的 44.78%；在 Wireless 上达到 38.70%，雷同优于其他基线。

值得闪耀的是，在 Wireless 场景中，一些静态战术以致会让性能低于未老师模子。这证实在专科任务中，课程战术并不是 “有就比莫得好”：若是排序信号不适配模子现时才略，反而可能把老师推向低效以致非常的标的。

在 SFT 中，EDCO 也获取最高准确率：Wireless 为 33.7%，Datacom 为 36.3%。在 MedQA 上达到 36.7%，JEC-QA 上达到 17.4%，跨鸿沟上风依然保持。

更强的动态基线对比雷同证实问题：在 Datacom 上，EDCO 达到 47.0%，彰着高于 Dynamic-PPL 的 41.3% 和 SEC 的 34.78%。动态更新本人还不够，关节是遴选什么信号。

机制分析：让模子学会 “有所弃取”

图 4：EDCO 在老师过程中看守更高推理熵，并陆续更新课程样本构成。

EDCO 不仅仅挑更难的样本。老师过程分析透露，赶紧采样与 PPL 课程下模子推理熵下落更快，而 EDCO 能在老师过程中陆续看守更高熵值，让模子不断战役仍具挑战性的样本。

课程构成也在不断变化：第一次老师阻隔中有 3000 个新样本干与课程，之后每个阻隔仍会陆续加入此前未被选中过的高熵样本，同期保留部分仍未被模子掌抓的旧样本。这意味着 EDCO 并不是简便 “一轮刷题”，而是在 “温习难点” 和 “引入新挑战” 之间动态均衡。

论文还在 MedQA 上固定 Qwen3-1.7B 参数，对比 EDCO 与赶紧采样诱发的梯度信号。收尾透露，EDCO 所选样本的批次内梯度标的一致性达到 0.92，高于赶紧采样的 0.82；平均推理熵为 1.51，高于赶紧采样的 1.23；RL 梯度范数为 3.77，高于赶紧采样的 2.62。

这证实 EDCO 选出的样本既能提供更强学习信号，又能减少梯度结巴。与其让模子在扫数样本上平均用劲，不如让它把有限老师预算花在着实能鼓吹参数更新的场所。

跋文

EDCO 给鸿沟大模子微调提供了一个很特地据中心 AI 滋味的启示：数据的价值不单取决于数据本人，还取决于模子现时处在什么现象。

通过推理熵驱动的动态课程编排，EDCO 让模子在老师过程中陆续濒临现时最有信息增益的样本；通过 quick-answer prompting 与前缀熵揣度，它又把动态课程的额外本钱完结在可经受范围内。

该圭臬不篡改模子结构，也不绑定单一老师认识，可同期接入 SFT 与 RLFT，对通讯、医疗、法律等专科任务齐展现出褂讪收益。

鸿沟微调：优先学习现时最有信息增益的专科样本

老师后果：用前缀熵揣度裁汰动态评估本钱

圭臬兼容：不篡改模子结构和老师认识，可接入 SFT 与 RLFT

在高质料鸿沟数据越来越粗略的今天开云kaiyun(中国)官网，如何安排数据干与老师，可能会和如何构造数据本人一样伏击。