跨任务认知机制激活规则:调研结论与方案(v2 主线修订版)
版本:v2 主线修订版(2026-10-31)|在 v2 讲解版(2026-10-30)基础上改写,并吸收《激活强度:定义、表示与可执行研究方案》(2026-10-31)的结论|对应《调研需求v2-跨任务激活规则》|文中“上轮”指《认知机制按阶段自适应激活-跨领域调研与验证方案》和《补充说明-从三任务案例到大规模机制库》。本修订没有新增文献检索。只想看主线,读《跨任务认知机制激活-研究主线》即可。
本版改了什么
v2 的推荐其实是“借策略算强度”:只有 3 个任务时,规则只用理论项,也就是在模拟器里用基础策略算出最划算的强度;人工任务特征要到 6–10 个任务时才作为修正加进来。但 v2 的写法让人以为主线是“人工给任务打特征 → 套公式算强度”:开头的例子是“时间紧迫度”公式,特征一章写得最长,还把实验设计变量排在可靠性第一。照这样读,策略对强度的影响就被忽略了。
本版把重心摆正:
- 主线写明:强度由任务和策略共同决定,规则要借策略来算。 新增 1.3 节;1.4 节的例子换成借策略算的例子。
- 第三部分改写。 规则的主干是“每个机制一个价格,加上每个任务自己策略的好处曲线”(资源理性);新增“这和让智能体在训练里自己选强度等价”(3.2)和“跨任务不变的到底是什么”(3.3);混合写法、修正项和残差改为任务多了以后逐级放开(3.5)。
- 第四部分大幅压缩。 规则的输入分成“从策略算出的量”(主)和“人工任务特点”(辅)两类。候选清单、四道检查等细节移到附录 G。
- 第五部分的对手加入四条“一刀切”规则,主指标改为补齐比例。
- 第六部分按《激活强度》方案的研究 A、B、C 更新第一项研究,并新增“分阶段:让智能体自己决定”。
- 记号调整。 机制强度在代码里的取值(v2 记作 φ)本版写作 θ,与《激活强度》方案一致;v2 里规则的共享参数 θ,本版叫“规则参数”,主干里就是每个机制一个价格 λ;阶段的下标从 s 改为 p,s 留给“可比强度”。附录的记号也已统一。
- 附录基本保留,按新主线改了几处(附录 A.1、A.2、A.6 的判断,附录 B 开头,附录 C 的术语,附录 D 的检索说明,附录 E.1–E.3),并新增附录 G。
怎么读这份报告
- 对这些方法不熟,就从第一部分读起。 第一部分不讲结论,只讲清问题是什么、强度为什么和策略有关、规则是什么、常用词的意思。
- 第二部分是结论速览,每条都注明在哪里展开。
- 第三到六部分逐个回答核心问题。 每部分开头先说“这一部分在回答什么”,再列要点,后面展开讲。
- 附录是参考资料,不是主线:跨领域对比、方法对比、术语表、检索说明、技术版、参考文献,以及人工任务特点的细节。需要细节时再查。
- 文中“例子”里的数字都是编的,只用来说明意思,不是你们的数据。
- 证据标签:已验证表示文献本身报告了这一事实;推断表示从别的领域推到你们的问题,合理但没人检验过;待实验表示需要你们的数据或模拟来检验。标签后面注明“仅读摘要”等字样的,表示核验时只读到了摘要或工作稿。
第一部分 先把问题讲清楚
1.1 你们现在是怎么做的
你们的用户模型有两层:
- 基础策略(也叫虚拟用户)。 每个任务(单词阅读、接管后换道、行人过街)各训练一个强化学习策略。它在 POMDP 框架里,学会在给定约束下尽量把任务做好。
- 认知机制。 目前有三个:看不准(感知噪声 P2)、新消息听不进去(新证据抑制 B2)、反应慢半拍(执行延迟 E1)。每个机制有一个强度,记作 θ(论文和 v2 记作 φ):0 表示关闭,数值越大,限制越强。训练策略时,θ 是策略的一个输入,所以同一个策略可以在不同强度下运行,并在每个强度下学会尽量做好。这种策略写作 π(a | o, θ),叫“参数条件化策略”。
论文里,每个任务(以及每个人)的 θ 是拟合出来的:试很多个 θ 值,每个值都让模型跑一遍,看哪个值产生的行为最像这个任务里真人的数据,就取哪个值。
1.2 想做到什么
拟合需要这个任务的人类数据,这带来三个问题:
- 机制库将来要扩到几十个机制,用到很多任务上;
- 每来一个新任务,都先采人类数据再拟合,代价太高;
- 逐个任务拟合得到的只是一堆数字,说不出“为什么这个任务需要更强的执行延迟”。
所以目标是:来了一个新任务,先搭好环境、训练出它的基础策略,然后不用这个任务的人类数据,就能算出每个机制该开多强。 这叫“零样本”预测。零样本省掉的是人类数据,不是训练:新任务的基础策略照样要训,而且后面会看到,它正是算强度要用的工具。
1.3 强度由任务和策略共同决定
这是整份报告的出发点。“强度和策略有关”有两层意思。
第一层:量出来的强度依赖策略。 行为是“机制 × 策略”一起产生的,而策略会适应限制。交通研究里有现成的例子:司机会预判,预判能抵消反应慢和估计不准带来的不稳定(Treiber 等 2006);用真实轨迹校准跟车模型时,显式加上反应时间,拟合几乎没有改善(Kesting & Treiber 2008)。所以同样是 0.3 秒的延迟,在会预判的策略里几乎看不出来,在不会预判的策略里影响很大。反过来,从人的行为反推强度时,换一个策略或换一种建模,反推出的数就会变。这一层对所有机制都成立。
第二层:强度本身可能是“选”出来的。 有些限制不全是硬约束,而是人在“做好”和“省力”之间的分配,比如花多少注意力去看、新消息信几分、动作要多快。这时强度和策略是一起决定的。这一层对部分机制成立。
由此得出三条推论,它们决定了本报告的主线:
- 规则不能只看任务描述。 只用人工任务特征(如时间紧迫度)去算强度的公式,看不到策略能补偿多少,也看不到建模的影响。
- 规则要借策略来算。 新任务的策略训好后,先看它在不同强度下能拿到多少好处,再决定开多强。
- 跨任务共用的,不应该是强度这个数本身,而是更底层的东西。 主线的候选是每个机制一个“价格”:为了减轻这项限制,人愿意付出多少力气。价格是否真的跨任务通用,是要检验的假设(3.3)。
还有一部分建模的影响,借策略也算不出来,就是模拟器和真实实验不一样的地方(3.6)。
1.4 “激活规则”是什么:一个编出来的例子
激活规则就是一个计算方法:输入是新任务的策略和少数几个共享参数,输出是每个机制的强度。报告里把它记作 g。主线的规则只有一句话:在新任务的“好处曲线”上,找“好处 − 价格 × 代价”最大的那个强度。
例子(数字是编的)
只看反应慢半拍。先在每个任务里,让训练好的策略在不同延迟下做任务,记下它能拿到的好处(归一化到 0–1),连起来就是“好处曲线”。再假设一份力气的“价格”对所有任务都一样,价格 × 代价 = 0.02 ÷ 延迟秒数(越快越费劲)。
延迟(秒) 0.1 0.2 0.3 0.4 0.6 接管任务的好处 0.997 0.986 0.965 0.933 0.837 阅读任务的好处 1.000 0.998 0.996 0.992 0.982 价格 × 代价 0.200 0.100 0.067 0.050 0.033 接管:好处 − 价格 × 代价 0.797 0.886 0.898 0.883 0.804 阅读:好处 − 价格 × 代价 0.800 0.898 0.929 0.942 0.949
- 接管任务时间紧,延迟一大好处掉得快,最划算的点在 0.3 秒左右;
- 阅读任务延迟几乎不影响读懂,最划算的点在 0.6 秒左右;
- 来了一个新任务:搭环境、训练策略、画出它的好处曲线,用同一个价格找最划算的点。这一步不需要新任务的人类数据。
价格是规则里唯一的共享参数,用已有任务的人类数据定下来。“越紧迫,延迟越小”这条规律不是人写进公式的,是从两个任务的策略身上算出来的。如果接管任务的策略学会了提前动作,它的好处曲线会更平,算出的延迟也会更大。
对照 v2 开头的例子:v2 写的是“执行延迟强度 = 0.6 − 0.4 × 时间紧迫度”,其中 −0.4 要拿数据拟合,而且公式不知道策略能补偿多少。现在这种写法里,时间紧迫度的作用通过策略的好处曲线体现出来。人工任务特征并没有被丢掉,只是退到修正的位置,任务多了以后才加(3.5)。
围绕这个规则,有三件不同的事要定:
| 要定的事 | 意思 | 在例子里对应什么 |
|---|---|---|
| 规则的形式 | 跨任务共用的是什么,强度怎么从策略算出来 | 共用价格;在好处曲线上找“好处 − 价格 × 代价”最大的点 |
| 代价的形式 | 每个机制“减轻限制要花多少力气”怎么写 | 0.02 ÷ 延迟秒数 |
| 参数取值 | 共享参数各取多少 | 价格 |
报告里说的“零样本”,就是这三件事全部只用旧任务的数据来定,新任务的人类数据一点都不用。新任务的人类数据只在最后用来检验:预测得准不准。
1.5 读这份报告需要的几个词
- 强度 θ:代码里机制算子上的那个数,比如延迟几秒。模拟器只认它。
- 可比强度:能在任务之间比较的强度,借策略算出,比如“机制改变了多大比例的决定”“适应之后还损失多少好处”(3.3)。
- 好处曲线:让策略在不同强度下尽量做好,它拿到的好处连成的曲线。只用模拟器算,不用人类数据。
- 代价、价格:代价是把限制减轻到某个强度要花多少力气;价格是一份力气值多少好处,每个机制一个,记作 λ。
- 特征(任务特点):描述任务或任务阶段的数,比如时间预算、环境变化的快慢。本版分成两类:从策略算出的量,和人工给的任务特点(第四部分)。
- 拟合:反复调整参数,让模型模拟出的行为最接近已有的人类数据。
- 残差:规则算出来的值,和用该任务人类数据单独拟合出的值之差,即规则没说中的部分。各任务的残差通常有多大,统计上叫“任务间方差”,记作 τ²。
- 先验:数据不够时,事先给某个数设定的合理范围。
- 留一任务检验:一种考试。3 个任务里拿 2 个来定参数,用剩下的 1 个检验预测,轮流做 3 次。被留出的任务,它的人类数据在定参数时一点都不能碰。
- 基线(对手):拿来比较的更简单的做法。规则只有赢过这些简单做法,才说明它真的有用。
- 似然、模拟推断:似然是给定参数时观察到这批数据的概率。你们的模型算不出它,只能通过模拟来比较,所以要用“模拟推断”。
更多术语见附录 C。
1.6 六个核心问题分别在问什么
调研需求里列了六个核心问题。按新的主线,它们的分量不一样:
| 核心问题 | 用大白话说 | 在主线里的分量 | 答案在 |
|---|---|---|---|
| 2 规则形式 | 规则长什么样?跨任务共用的是什么? | 主线核心 | 第三部分 |
| 5 验证 | 怎么证明规则对新任务真的有用?和谁比?至少需要多少任务? | 主线核心 | 第五部分 |
| 1 特征 | 规则的输入用什么? | 主线主要用从策略算出的量;人工任务特点是次要的修正 | 第四部分(细节在附录 G) |
| 4 估计 | 规则里的数字怎么用多个任务的数据定下来? | 先用简单办法(倒算价格),任务和机制多了再升级 | 6.4 |
| 3 机制扩展 | 机制扩到几十个时,怎么挑出每个任务需要的机制、分清相似的机制? | 以后的事 | 6.3 |
| 6 数据 | 现有数据能检验什么?该采什么新数据? | 决定先做模拟还是先采数据 | 6.5 |
这一轮在 1、2、5 上检索较充分;3、4、6 主要沿用补充说明里的来源,检索较浅。
第二部分 结论速览
1. 强度由任务和策略共同决定,规则要借策略来算。
同样的强度,在会补偿的策略里影响小,在不会补偿的策略里影响大;有些机制的强度本身还是人在“做好”和“省力”之间选出来的。所以规则的主干是:每个机制一个跨任务共用的“价格”,加上每个任务自己策略的好处曲线,在曲线上找“好处 − 价格 × 代价”最大的点。整个规则里,要用人类数据定的只有价格推断。详见 1.3、3.1。
2. 强度在一个回合内固定时,这和“让智能体在训练里自己选强度”等价,第一步不用新训练。
策略以强度为输入,已经学会了每个强度下怎么做最好;让它自己选强度、奖励里减去价格 × 代价,最后选中的就是好处曲线上的那个点。前提是策略在每个强度下都接近最优,这要检查。强度要随阶段变化时,才需要两层强化学习。详见 3.2、6.2。
3. 跨任务不变的到底是什么,本身是要检验的假设。
四种候选:物理强度(秒、误差比例)、决策错位率、好处损失、价格。每种对应一条“一刀切”规则,每个机制只有一个参数,所以 3 个任务就能比较待实验。详见 3.3。
4. 以理论为主,人工任务特点只做修正,而且要等任务多了再加。
三个领域里“只用理论 / 只用数据 / 两者结合”的直接比较都表明,结合最好,而且数据越少,理论那一项越重要已验证;用到认知机制上是推断。3 个任务时只用价格;6–10 个任务时,再让价格随一两个任务特点变化,或加少量修正和残差。详见 3.4、3.5。
5. 检验用留一任务,规则必须赢过简单对手;3 个任务只能算案例。
对手包括所有机制都关、所有任务用同一个物理强度、照搬最相似的任务。主指标是补齐比例:在“全关”和“用本任务数据单独拟合”之间,规则补上了多少。3 个任务能否定,不能证实;残差通常有多大根本估不出来已验证。详见第五部分。
6. 先用假数据跑通,再用真人数据;建模不像实验的部分,规则算不出来。
先造一批“答案已知”的假任务,检查方法能不能找回答案、判定标准该定多严。另外,模拟器和真实实验不一样的地方会被拟合进强度里,规则算不出,只能靠体检(换一种合理建模,看结论变不变)来处理。详见 3.6、6.1。
整体流程
哪些有证据,哪些是推断
| 结论 | 依据 | 证据强度 |
|---|---|---|
| 策略会补偿限制,同一个强度在不同策略下效果不同 | 交通研究:预判能抵消反应延迟;校准跟车模型时加反应时间几乎无改善 | 交通领域的文献转引自实施计划,本轮未重新核验;推到所有机制是推断 |
| 强度一回合内固定时,在好处曲线上取最优点,等价于让智能体自己选强度 | 由最优性直接推出;前提是策略在每个强度下都接近最优 | 推导成立;前提待实验 |
| 价格跨任务通用 | 证据矛盾:一项研究中三种“怕费力”的测量互不相关,另一项研究中两个领域相关 0.34 | 已验证,结论不一;在你们的机制上待实验 |
| 理论和数据结合,比只用其一好 | 风险选择预测、化工建模、儿童用药三个领域的直接比较 | 在那些领域已验证;用到认知机制上是推断 |
| 数据越少,理论那一项越重要 | 风险选择预测:题目少时去掉理论项误差翻倍,题目多时几乎没影响 | 已验证·工作稿 |
| 专家打分可能不可靠 | 15 道题、6 个特征:专家共识预测难度的相关为 0.33,最好的 AI 打分为 0.89 | 已验证·仅摘要 |
| 3 个任务时,误差范围只能靠事先设定 | 统计学里只有 3 组数据时的经典例子 | 已验证 |
| 3 个机制至少需要 5 个任务 | 由心理测量的可辨识条件推算 | 推断 |
第三部分 核心问题 2:规则写成什么样
这一部分在回答什么:规则长什么样,也就是新任务的每个机制强度怎么算出来,以及跨任务共用的到底是什么。
要点
- 主干:每个机制一个价格,加上每个任务自己策略的好处曲线,取“好处 − 价格 × 代价”最大的点。
- 强度一回合内固定时,这和“让智能体在训练里自己选强度”等价,第一步不用新训练。
- 跨任务不变的是什么,有四种候选假设,3 个任务就能比较。
- 以理论为主、数据修正,依据是三个领域的直接比较。
- 人工任务特点、修正项和残差,按任务数逐级放开。
3.1 主干:借策略算强度
计算理性的基本假设是:人在约束下做最优的事。把这个假设再往前推一步:机制强度本身也是人“选”出来的。把限制减轻(看得更准、反应更快、更愿意更新信念)要花力气,人会在“做好”和“省力”之间找最划算的点。这叫“资源理性”(Lieder & Griffiths 2020)。
写成规则,需要三样东西:
| 部件 | 是什么 | 从哪里来 | 用不用人类数据 |
|---|---|---|---|
| 好处曲线 Ṽ_k(θ) | 任务 k 的策略在强度 θ 下尽量做好,拿到的好处(归一化到 0–1) | 用参数条件化策略在不同 θ 下评估,取多个种子 | 不用 |
| 代价 C_m(θ) | 把机制 m 的限制减轻到 θ 要花多少力气 | 每个机制事先定一个主要形式和一个备选形式 | 不用 |
| 价格 λ_m | 一份力气值多少好处 | 用已有任务的人类数据倒算 | 用,只用已有任务的 |
规则是:
θ*_{m,k} = argmax_θ [ Ṽ_k(θ) − λ_m · C_m(θ) ]
即在任务 k 的好处曲线上,找“好处减去价格乘以代价”最大的那个强度。1.4 的例子就是这样算的。
代价怎么写。 《激活强度》方案给了三个机制的主要形式,含义都是“限制越轻越费力”:
- 看不准:看得越准,需要的信息量越大,C = ½ · log₂(1 + S_k / σ²),S_k 是被测量在本任务里的相对变化范围(理性疏忽,Sims 2003);
- 新消息听不进去:每次更新实际吸收的信息,C = (1 − ρ) · Ī_k,Ī_k 是理想更新每一步平均带来的信息量;
- 反应慢半拍:越快越费劲,C = c ÷ τ(参照运动“活力”的研究,Shadmehr 等 2016)。
S_k、Ī_k 都从模拟器算,不用人类数据。
价格怎么定。 先在每个已有任务上拟合出群体强度 θ̂_k,也就是让这群人整体最像的值。在最划算的点上,“再减轻一点限制带来的好处”正好等于“多花的力气乘以价格”,所以价格可以直接倒算:
λ̂_k = Ṽ_k′(θ̂_k) ÷ C_m′(θ̂_k)
几个任务倒算出的价格合起来,用到新任务上。检验价格是否通用,就是看各任务的 λ̂_k 是否一致。
策略在哪里起作用。 好处曲线是策略跑出来的:策略越能补偿某项限制,这条曲线越平,算出的强度越大。所以策略的影响直接进入了规则,而不是被忽略。
好处和问题。 好处是有理论依据,原则上能推到从没见过的任务;要用人类数据定的数很少,每个机制一个。问题是每个机制都要说清代价,代价形式选错,结果就偏;人未必真的最优;价格未必跨任务通用。这些放在 3.6。
3.2 这和“在训练里决定强度”是什么关系
一种更直接的想法是:别在训练之后算强度,让智能体在训练里自己决定开多强,奖励里扣掉价格 × 代价。它和 3.1 是什么关系?
- 强度在一个回合内固定时,两者结果相同。 智能体在回合开始时选 θ,之后按 θ 做任务。它最后会选的,就是使“好处 − 价格 × 代价”最大的 θ,也就是 3.1 在好处曲线上算出的点。因为参数条件化策略在训练时已经学会了每个 θ 下怎么做最好。所以 3.1 是“让智能体自己选”的省算力版本,第一步不需要新训练。
- 前提要检查。 等价成立的前提是:参数条件化策略在每个 θ 上都接近最优。检查办法:在 θ 范围的 1/3 和 2/3 处,各另外训练一个“固定 θ”的策略(3 个种子),比较回报。差距大于换种子带来的差距,就说明好处曲线会偏,要先改进训练。
- 强度随阶段变化时,才需要真的放进训练。 这时是两层强化学习:上层在阶段边界选下一段的强度,奖励里含 −λ·C;下层是用分段常数的强度日程训练出的策略。阶段怎么分也可以交给上层学,人为划分的阶段只用来检查(6.2)。
两种做法都依赖建模,因为训练环境本身就是建模的产物。所以“放进训练”不能让强度摆脱建模。它解决的是另一件事:让强度由策略自己权衡出来,而不是事后拟合出的一个旋钮。
3.3 跨任务不变的是什么:四个假设
价格不是唯一的候选。“规则对新任务能用”的前提,是有某样东西在任务之间不变。它可以是:
| 假设:跨任务不变的是 | 含义 | 新任务怎么算 | 借不借策略 |
|---|---|---|---|
| 物理强度(R-物理) | 人在各任务里受到的物理限制相同,例如运动延迟大体是人的固定属性 | 取其他任务 θ(秒、韦伯分数等)的平均 | 不借 |
| 决策错位率 f(R-信息) | 人在各任务里被机制搅乱的决定所占比例相同 | 取其他任务 f 的平均,用新任务的换算表变回 θ | 借:用无限制策略和机制算子算,不重新训练 |
| 好处损失 ℓ(R-代价) | 人在各任务里接受同样比例的表现损失 | 取其他任务 ℓ 的平均,用新任务的换算表变回 θ | 借:用适应后的策略算 |
| 价格 λ(R-资源理性,主线) | 人按同一个价格,在每个任务里自适应地分配力气 | 取其他任务的价格,在新任务的好处曲线上找最划算的点 | 借:用好处曲线算 |
几个词:
- 决策错位率 f:拿一个没有任何限制的策略,把机制按 θ 加到它的输入上,不让它适应,看它的决定有多大比例被改变。0 表示不变,1 表示全变。
- 好处损失 ℓ:让策略在 θ 下尽量做好,它比没有限制时少得的好处,占“没有限制”到“随机乱做”之间差距的比例。ℓ = 1 − Ṽ。
- 换算表:每个任务一张 θ 和 f(或 ℓ)的对照表,只用模拟器算。
f 和 ℓ 放在一起也有意义:f 大而 ℓ 小,说明这个任务允许策略绕开这项限制,补偿的空间大。
四条规则每个机制都只有一个参数,所以 3 个任务就能比:哪种假设下“一刀切”猜新任务最准,就是第一项研究的结果(6.1)。这比“规则赢不赢一刀切”多回答一件事:跨任务不变的到底是什么。 价格那一条是主线,因为它把“强度是选出来的”这层意思也包括了进去,并且能自然地扩展到分阶段(3.2)。但它是假设,不是结论。
物理强度那一条不借策略。它不是主线,而是用来对照的:如果它赢了,说明这个机制更像人的固定属性,和策略关系不大。
3.4 为什么以理论为主:三个领域的直接比较
这一轮在三个领域找到了“只用理论/只用数据/两者结合”在新问题上的直接比较。它们都不是认知机制的研究,但问题的结构和你们很像。
例一:预测人在赌博题上怎么选(行为经济学)。 研究者要预测:面对一道没见过的二选一彩票题,有多少比例的人会选 A。有三种做法:只用一个心理学理论(叫 BEAST)直接预测;只用机器学习从大量题目里学;把理论的预测当作机器学习的一个输入(叫 BEAST-GB)。结果是已验证·工作稿:
- 只用理论:在题目较少的 CPC18 竞赛中,完备度为 88.9%;换到覆盖面更广的 choices13k 数据集(约 13,000 道题),降到 65.7%。
- 两者结合:在这两个数据集上分别达到 92.6% 和 96.2%。
- 只用 176 道题训练的结合模型,已经比用约 9,000 道题训练的神经网络更准。
- 题目少时,去掉理论那一项,误差翻倍;题目多时,去掉它差异不显著。
- 换到没见过的实验情境(16 个情境,每次留出一个),结合模型比“直接照搬其他情境里同一道题的结果”好 13%。
“完备度”的意思见 5.3。
例二:化工反应器建模(过程工程)。 反应器遵循已知的物理化学方程,但方程里有些参数(比如反应速率)测不到。做法是:让神经网络只负责估这些测不到的参数,再把估出的参数送进方程,由方程算出结果。和纯神经网络相比,这种“灰箱”模型在训练范围内外都预测得更准,需要的数据也少得多已验证·仅摘要。
它的结构和你们完全一样:方程对应你们的基础策略,测不到的参数对应机制强度 θ,神经网络对应激活规则。
例三:从成人剂量推儿童用药(药物计量)。 常用“体重的 0.75 次方”这个公式,从成人的药物清除率推算儿童的。结果是已验证:
- 2 岁(有的研究定在 5 岁)以上,这个公式就够用,在一项研究中甚至比更复杂的生理机理模型还准;
- 更小的婴幼儿体内过程不同,需要额外的修正;
- 而且为一种药学到的修正,换一种药就不适用。
三个例子合起来,对你们意味着三点推断:
- 理论单独用,适用面一宽就不行;作为结合中的一项,即使它单独表现差,也仍然有用。 所以即使算出的理论值比较粗糙,也值得保留;任务多了以后,再由数据决定信多少(3.5 的 η)。
- 数据越少,理论越重要。 你们只有个位数的任务,正处在最需要理论的阶段。
- 在一个任务上学到的修正,换到机制起作用方式不同的任务上,可能就失效了。 所以修正项要少,并尽量用方向明确的特征;任务特有的部分交给残差 v;新任务明显超出已有任务的范围时,只给误差范围,不给单一数值(见附录 G.6)。
还没有回答的是:在你们的问题里,“从资源权衡推出的理论”是否真的优于“按数据画线”。例一的理论是描述人怎么选的行为理论,例三的公式来自生理规律,都不是“收益减代价求最优”。这只能靠你们自己做比较,见 3.3、3.5 和 6.1待实验。
各部分的文献依据汇总在附录 E.2。
3.5 逐级放开:什么时候加任务特点和残差
数据能支撑的参数个数有限。3 个任务、每个任务 3 个阶段,一共只有 9 行数据。所以规则按任务数逐级放开,每一级都要先赢过上一级,才能往上走:
| 级别 | 任务数 | 规则 | 每个机制定几个数 | 为什么这样做 |
|---|---|---|---|---|
| R0 一刀切 | 3 | 3.3 的四条规则,主线是“同一个价格” | 1 个 | 和对手“所有任务同一个物理强度”一样只有 1 个数,比较最公平。赢了,就说明借策略带来了信息 |
| R1 价格随任务特点变 | 6–10 | λ_{m,k} = exp(α_m + β_m · x_k),每个机制事先只选一个最有理由的任务特点 x | 2 个 | 价格可能不完全通用(3.6),让它随一个特点有规律地变 |
| R2 混合:理论值+修正+残差 | 6–10 起;15–20 以上再放开 | 强度 = 压到合理范围(a + η × 理论值 + b × 特点 + v) | 2–4 个 | 理论系统性偏了时,用少量特点修正;残差 v 承认规则说不中的部分 |
R1 的候选任务特点都优先从模拟器算(更多候选见附录 G):
| 机制 | 候选特点 | 怎么算 | 理由 |
|---|---|---|---|
| 反应慢半拍 | 任务特征时间 | 无限制策略的决定“过期”所需的时间,即决策错位率到 0.5 时的延迟 | 延迟长不长,要跟世界变化的快慢比 |
| 看不准 | 决策需要分辨的差别 ÷ 被测量的变化范围 | 看无限制策略在动作切换点附近的状态差 | 噪声大不大,要跟需要分辨的差别比 |
| 新消息听不进去 | 环境波动程度 | 用理想卡尔曼滤波的稳态增益 | 人在稳定环境里更新得少,在多变环境里更新得多(Behrens 等 2007;Nassar 等 2010) |
注意:在信息坐标下一刀切,对反应慢半拍来说,大致相当于在物理坐标下按“任务特征时间”缩放。所以“比较坐标”(3.3)和“加任务特点”其实是同一件事的两种写法,这也是要先做 3.3 那个比较的原因。
R2 就是 v2 推荐的混合写法,各项含义如下:
| 项 | 名称 | 大白话 |
|---|---|---|
| η × 理论值 | 理论项 | 理论值是 3.1 算出的最划算强度;η 表示信多少理论:η=1 完全照理论,η=0 完全不用 |
| b × 特点 | 修正项 | 用一两个特点补上理论没考虑到的系统偏差。大多数 b 应为 0 |
| v | 任务残差 | 某个任务特有、规则说不中的部分 |
| 压到合理范围 | 链接函数 | 保证算出的强度不超出策略训练时见过的范围 |
三种写法是“套娃”关系:η=1、b=0、不估 v 时,就是 R0 的价格规则;η=0 时,就是纯“按数据画线”。所以“理论到底有没有用”不必事先拍板:任务够多以后,看 η 估出来是否明显大于 0 就行。v2 的公式里还有一项个人偏离 u,表示同一任务里每个人和平均水平的差别;现阶段规则只管群体(每个任务所有人共用一个值),u 暂缓。
遇到下面的情况,要换方案:
- 某个机制说不清代价,就算不出它的理论值,只能对它用另外三条一刀切规则,或按数据画线。
- 一次模拟要跑很久时,好处曲线没法临时算,只能事先在不同强度上算好,存成表。
- 机制很多时,同时找所有机制最划算的组合,计算量很大,需要先筛掉不相关的机制(6.3)。
- 任务多了以后,η 估出来接近 0、留一任务检验也没有改进,说明理论没用,就退回按数据画线。
3.6 前提和风险
- “关闭”必须等于“强度为 0”。 所有机制取 0 时,策略必须是没有认知限制的理想观察者:看得准,按贝叶斯规则理想地更新,下令后立即执行。现在的代码还不满足:新消息听不进去的滤波器假设的观测噪声是写死的,结果它和看不准会互相顶替;过街里开关还会改变模型结构(《激活强度》方案第 2 节)。不先修好,3.3 的比较没有意义。
- 每个机制都要说清代价。 3.1 给了主要形式,还各有备选形式。代价形式选错,算出的强度就偏。比较主要形式和备选形式,本身也是要做的检验。
- 价格未必跨任务通用。 现有证据是矛盾的。一项研究(6 个研究、663 人)发现,三种测“认知努力”的任务彼此几乎不相关;另一项研究(104 人)发现,同一批人在工作记忆任务和噪声中听句子任务里的“怕累程度”中等相关(r=0.34)已验证。所以任务多了以后,价格要允许随任务变化(R1)。
- 策略要在每个强度下都接近最优。 否则好处曲线偏,算出的强度也偏(3.2 的检查)。
- 人未必真的最优。 人可能系统地偏离“最划算的点”。这部分交给 R2 的修正项和残差。
- 只按任务成绩选强度,会把限制全关掉。 如果奖励里只有任务成绩,最优解很可能是所有限制都为 0,模型就不像人了。代价项写进来,就是为了把“限制省了力气”算进去推断。
- 建模不像实验的部分,规则算不出来。 如果模拟器和真实实验不一样,比如模拟器给的信息比真实驾驶模拟器更全,拟合时就会把“看不准”调大来补。这种补丁不在好处曲线里。借策略来算,能让结论明确地以这套建模为条件,并且前后一致:新任务用哪个策略算强度,就用同一个策略去模拟。但它不能让结论摆脱建模。这部分只能靠体检(换一种合理建模,看结论变不变)和成功标准的第二层来处理(《跨任务激活规则-分阶段实施计划》1.5、1.6 节和第 0 步)。
第四部分 核心问题 1:规则的输入
这一部分在回答什么:规则的输入用什么、怎么得到,以及怎么保证在新任务上也能得到。
要点
- 输入分两类:从策略算出的量(主),人工任务特点(辅)。
- 从策略算出的量带着“策略能补偿多少”和“建模是什么样”的信息,人工任务特点不带,所以前者是主干。
- 人工任务特点只在任务多了以后(R1、R2)才用,每个机制最多一两个,方向事先写好。
- 两类输入都绝不能包含人在新任务上的表现。
4.1 两类输入
| 类别 | 例子 | 怎么得到 | 在规则里的位置 |
|---|---|---|---|
| 从策略算出的量(主) | 好处曲线;决策错位率 f 和好处损失 ℓ 的换算表;机制敏感度(只开一个机制时行为变化多大);用无限制策略或理想观察者算出的任务特点,如任务特征时间、需要分辨的差别、环境波动程度 | 新任务的策略训好后,在模拟器里跑;不用人类数据 | 规则的主干(3.1、3.3),以及 R1 里价格随之变化的那个特点 |
| 人工任务特点(辅) | 实验设计变量(接管时间预算、车距车速、词长词频、有无次任务);仪器和日志记录(事件时间戳、碰撞时间) | 由设计者给出,或从记录中读出 | 只在 R2 作少量修正 |
为什么前者是主干:同一个人工任务特点(比如“时间预算 5 秒”),在会预判的策略和不会预判的策略里,对强度的意义不一样;从策略算出的量直接反映了这一点。别的领域也有把“模型算出的量”当输入的成熟做法:算法选择里用便宜程序跑一小会儿得到的“探针特征”,任务嵌入里用固定网络的敏感模式作任务的“指纹”,风险选择预测里把理论的预测值本身当特征,题目少时去掉它,误差翻倍已验证;用到机制上是推断。
要注意两点:
- 机制敏感度说明的是“这个机制能改变什么”,不等于“人在这个任务里需要开它”,这需要检验待实验。
- 专家打分和语言模型读任务描述生成的特点,不推荐。 一项研究里,以专家共识为输入预测题目难度,相关只有 0.33已验证·仅摘要;医学考试题目难度预测竞赛中,读文字自动生成特点的最好成绩(误差 0.299)只比直接猜平均值(0.311)好一点已验证。
4.2 人工任务特点:什么时候用、怎么用
- 什么时候用:3 个任务时不用。6–10 个任务时,每个机制最多加一两个,事先登记,并规定作用方向(如“越紧迫,延迟越小”)。15–20 个任务以上,才从较多候选里挑。
- 好特点的三个条件:能跨任务比较(用比值,不依赖单位);能客观测量(写成任务规格里的参数,不写“难不难”);绝不包含人在这个任务上的表现。
- 进入规则前要过四道检查:可靠吗;能用吗(在任务之间有没有变化、和别的特点是否重复);有没有预测力;去掉会怎样。
- 新任务超出已有任务的范围时,只报告放宽的误差范围并标明“外推”,不给单一数值。
候选清单、四道检查的做法、数量上限和外推规则的细节见附录 G。
4.3 不能偷看答案:防泄漏清单
“泄漏”指规则的输入里,不知不觉混进了预测时本来拿不到、或者带着答案信息的东西。数据挖掘领域对此有专门的讨论(Kaufman 等 2012,只核了题录)。具体到你们,要注意六点:
- 时间上不能超前。 某一时刻的特征,只能用这一时刻之前已经发生的信息。像“这个阶段一共持续了多久”这种事后才知道的量,不能用。
- 不能用新任务的人类表现。 反应时、成功率、轨迹统计都不行,间接用法也不行(比如用成功率去校准“难度”)。
- 标注的人不能看结果。 给特征打分的人不能先看到人类数据;标注规则和取值在拟合前定死。
- 挑特征也算拟合。 如果要从多个特征里挑,挑选只能用训练任务,被留出的任务不能参与。
- 模拟器算出的量只用策略和任务规格。 价格 λ 要用人类数据定,也只能用训练任务的数据。赌博题预测研究里,理论的参数沿用以前竞赛的估计,没有在新数据上重新调已验证·工作稿。
- 留一份记录。 如果某个特征和人类结果的相关高得不正常,回头查是不是泄漏了。
第五部分 核心问题 5:怎么证明规则对新任务有效
这一部分在回答什么:怎样才算证明了“规则对没见过的任务也能用”,包括怎么考、和谁比、怎么打分、至少要多少任务。
要点
- 考法是“留一任务”:用其余任务定规则,用留出的任务检验,轮流做。
- 3 个任务时,主要比较四条“一刀切”规则,并且都要赢过“所有机制都关”和“照搬最相似的任务”。
- 主指标是补齐比例;另外给“预测分布”整体打分。
- 任务很少时,单次的胜负可能是运气,判定标准要事先用模拟数据定好。
- 3 个任务只能算案例;6–10 个任务能做小规模的正式检验。
5.1 检验方法:留一任务
做法就是 1.5 说的考试:3 个任务里拿 2 个定规则,预测第 3 个;轮流做 3 次,每次都把预测和第 3 个任务的真人数据比较。
认知建模里,这个做法有一个正式名字,叫“泛化准则”:在一组实验设计上定参数,在一个新的设计上检验。它和常见的交叉验证不同:交叉验证的测试数据来自同一个实验,泛化准则的测试数据来自没用过的实验。研究指出,数据多时交叉验证容易偏向复杂的模型,而泛化准则能挑出更简单、推广得更好的模型已验证·仅摘要。有研究就用它比较了 8 个决策学习模型:用每个人在一个赌博任务上估出的参数,去预测这个人在另一个赌博任务上的表现已验证·仅摘要。
具体要求:
- 除了留出整个任务,也可以留出阶段、留出条件。 这种检验更弱,但次数更多,可以作为补充。
- 调参的设置事先定死,不要用留一任务的结果来挑。 机器学习的“跨领域泛化”评测发现,用“留一领域”来挑模型设置,反而比用训练数据挑更差(平均准确率 63.8 对 67.0);而且在那个评测里,最朴素的方法几乎没有被任何新方法明显超过已验证。启示是:任务少时,要认真对待简单对手。
- 每一轮单独报告,不要合成一个 p 值。 原因见 5.5。
- 先判断新任务在不在已有范围内,见附录 G.6。
- 检查误差范围是否诚实。 如果说“有 80% 的把握落在这个范围内”,那实际上大约 80% 的时候应该落在范围内。研究很少时,常规方法算出的误差范围往往偏窄,见 5.5。
5.2 要赢过哪些对手
一个规则“预测得还不错”说明不了什么,要看它是否比更简单的做法好。对手分两组。
3 个任务时(R0):
| 对手或候选 | 怎么做 | 用了新任务的人类数据吗 | 说明什么 |
|---|---|---|---|
| B0 所有机制都关 | θ=0 | 没用 | 补齐比例的起点;说明机制本身是必要的 |
| B1 同一个物理强度(R-物理) | 每个机制一个常数(秒、韦伯分数等),用训练任务定 | 没用 | 不借策略的一刀切。价格规则赢了它,才说明借策略带来了信息 |
| R-信息、R-代价 | 3.3 的另外两条一刀切规则 | 没用 | 和价格规则互为对手,看哪种“不变”最站得住 |
| R-资源理性(主线) | 3.1 的价格规则 | 没用 | 被检验的规则 |
| B8 照搬最相似的任务 | 找最接近的训练任务,直接用它拟合出的强度 | 没用 | 规则是否比“找个像的照搬”更好。风险选择预测研究中,53 个心理学模型都没赢过这类对手 |
| B9 完全不拟合的理论 | 价格也不用数据定,取事先设定的值 | 没用 | 理论本身离真人有多远 |
| B3 用新任务的数据单独拟合 | 留出任务用自己的人类数据拟合 | 用了 | 这是上限,不是对手:零样本最多能做到多好;也是补齐比例的终点 |
| B7 人和人之间的差距 | 把同一任务的真人随机分成两半,比较两半的差距 | — | “噪声底”:任何模型都不可能比这更接近真人 |
任务多了以后(R1、R2)再加:
| 对手 | 怎么做 | 说明什么 |
|---|---|---|
| B4 打乱特点 | 把任务特点在任务之间随机调换,其他不变 | 参数一样多,只是特点错了。如果它和规则一样好,说明特点没起作用 |
| B5 换用别的任务的特点 | 给留出任务套上另一个任务的特点 | 检验特点是否真的携带了这个任务的信息 |
| B2 同一个强度+误差范围 | 同 B1,但承认任务之间有差异 | 规则除了知道“任务之间有差异”,是否还说出了差在哪里 |
| B6 只用理论/只用修正 | η=1 且不加修正;或者 η=0 | 分别看理论和修正各贡献了多少 |
5.3 用什么指标打分
先确定比较哪些行为:事先登记一组分阶段的行为统计量(比如每个阶段的反应时、轨迹特征、事件发生的时间),拟合前定死。然后用下面几个指标:
补齐比例(主指标之一)。 它衡量:在“所有机制都关”和“用本任务数据单独拟合”之间,规则补上了多少。
例子(数字是编的)
所有机制都关(B0)时,模拟和真人的差距是 10;用本任务数据单独拟合(B3)时是 4;规则预测的强度下是 6。
补齐比例 = (10 − 6) ÷ (10 − 4) ≈ 67%
1 表示和单独拟合一样好,0 表示和不开机制一样,负数表示比不开还差。
它和经济学的“完备度”(Fudenberg 等 2022)是同一类指标,只是两端换了。完备度以“最笨的对手”(这里取 B1)为起点、以噪声底为终点,适合任务多了以后回答“规则比一刀切好多少”;风险选择预测研究也用它报告结果已验证·仅摘要。3 个任务时比较的是四条一刀切规则,B1 本身就是候选之一,所以用补齐比例作主指标。
给“预测分布”打分(主指标之二)。 规则给出的不是一个数,而是一群模拟人的行为分布。统计上有一类专门给分布打分的方法,叫“适当评分规则”(如能量得分、CRPS)。它保证“如实报告自己的预测分布”时得分最高,不会鼓励模型故意说得更自信或更保守(Gneiting & Raftery 2007,本轮只核了题录)。
逐个统计量算“像不像”。 自动驾驶仿真竞赛 WOSAC 的做法是:每个场景模拟 32 次,对每个行为统计量,用模拟结果画出直方图,看真实数据落在这个直方图里的概率高不高,再按事先定好的权重汇总。它在 44,920 个没参与训练的场景上评估已验证。你们可以照搬这个思路。
分布距离(辅助)。 比较两组样本差多远,例如 MMD已验证。它只比较两组样本,不直接给“预测分布”打分,所以作辅助指标。
误差范围是否诚实。 名义上 80% 的范围,实际是否大约 80% 的时候包含真值。
策略本身有没有问题。 报告每个任务的基础策略完成任务的表现,防止把“策略没训好”误当成“规则不行”。
5.4 3 个任务能证明什么,需要多少任务
3 个任务只能算案例。 留一任务只有 3 轮,每轮一个结果。它能“证伪”(规则在某个任务上明显不行),但不能“证实”(3 次都好也可能是运气)。几个参照:
| 参照 | 来源 | 说的是什么 | 对你们意味着什么 |
|---|---|---|---|
| 分层模型只有 3 组 | Gelman 2006 | 只有 3 组时,“组和组之间差多少”几乎估不出来,结果很依赖事先设定;在常用的平坦设定下,少于 3 组时完全估不出 | 3 个任务时,误差范围基本由事先设定决定 |
| 元分析的经验法则 | Cochrane 手册等 | 每个特征至少约 10 项研究(没有严格依据) | 特征要非常少 |
| 元强化学习 | Meta-World | 在 10 个训练任务上成功率约 87%,在新任务上只有约 32%–36% | 靠“学”出来的映射,任务只有个位数时泛化很差,所以规则要有很强的结构 |
| 赌博题预测 | Plonsky 等 2025 | 留一情境检验用了 16 个情境 | 想说“能推广到新情境”,参照规模是十几个 |
| 区分机制 | 心理测量的可辨识条件(见 6.3) | 每个机制要有一个只需要它的任务,并至少出现在 3 个任务里 | 3 个机制至少需要 5 个任务 |
建议的节奏推断:
- 3 个任务:把流程跑通,作为案例。
- 6–10 个任务:事先登记规则形式和判定标准,做一次小规模的正式检验;特征不超过 1–2 个。
- 15–20 个以上:可以从较多候选特征中挑选;机制数到 10 个左右时,任务数也接近区分机制所需的数量。
5.5 任务少时的统计陷阱
- “差值除以标准误”不可靠。 两个模型预测相近、数据少、模型又不完全对时,用留一法比较得到的不确定性估计会失真,有时数据再多也纠正不了(Sivula 等 2025)已验证·仅摘要。四条一刀切规则在 3 个任务上的预测可能很接近;任务多了以后,R1、R2 和 R0 又是“套娃”关系,预测本来就相近,都正是这种情况。
- 常规误差范围往往偏窄。 元分析里,常规方法给出的“新研究会落在哪”的范围,只有在研究之间差异大、且各研究规模相近时才准;其他情况下偏窄,多加研究也不一定能改善(Partlett & Riley 2017)已验证·仅摘要。
- 留一法的快速近似算法在分层模型里常常失效,需要特别处理(Riha 等 2026,预印本)已验证·仅摘要。如果你们用模拟训练出的推断网络,每轮直接重算也不贵。
对策是用模拟数据事先定判定标准推断:造一批假任务,一半按“规则成立”生成数据(比如各任务价格相同),一半按“规则不成立”生成数据(比如各任务价格不同,或者其实是物理强度相同),对它们跑完全相同的留一任务流程,看两种情况下“规则比对手好多少”各是什么样的分布。据此事先写下:在真实数据上要好多少,才算数。
3 个任务时的判定规则(参照《激活强度》方案 3.4 节,具体门槛以假任务上的定标为准):
- 某条规则在三个任务上的补齐比例都 ≥ 0.5,并且平均值比次优规则高出换种子带来的标准差的 2 倍以上:记为“这个机制在该假设下跨任务近似不变”;
- 各规则之间的差别在种子误差以内:三个任务分不出高下,等更多任务或条件;
- 所有规则的补齐比例都 < 0:这个机制的强度不能跨任务一刀切,需要任务特点(R1、R2)。
第六部分 路线图(含核心问题 3、4、6)
这一部分在回答什么:接下来按什么顺序做;分阶段怎么做;机制扩到几十个时怎么办(核心问题 3);规则里的数字怎么估(核心问题 4);数据和实验怎么设计(核心问题 6)。
要点
- 第一项研究(约三周):统一实现、算好处曲线和换算表、用留一任务比较四种“不变”假设。
- 分阶段时,让智能体自己决定每个阶段开多强;前提是价格能跨任务通用。
- 机制扩到几十个时:先筛掉不相关的机制,效果相似的按“环节”归组,每个机制配一个“探针任务”。任务数下限:3 个机制至少 5 个任务,20 个机制至少 34 个。
- 现有数据(各任务的参与者不同)只能检验任务层面的规则。
6.1 第一项研究:用三个任务比较四种“不变”假设
这一项就是《激活强度》方案第 7 节的研究 A、B、C,再加上 v2 原有的假数据检查。全程只用开发和验证数据,不碰锁住的测试数据。
| 步骤 | 做什么 | 用到真人数据吗 | 怎样算通过(事先写好) |
|---|---|---|---|
| S0 事先登记 | 写下四条规则、每个机制的代价形式(主要和备选)、对手、行为统计量、打分方法、留一方案、判定标准 | 否 | 文档定稿后不再改 |
| A 统一实现 | 基础模型改成理想观察者;修好新消息听不进去的零点;加三项共享测试:零强度测试(θ=0 与直接关闭逐步输出相同)、等价测试、校准测试;重训受影响的模型(并入多种子训练) | 否 | 三项测试全部通过 |
| B 好处曲线和换算表 | 每个任务 × 机制:θ 取 11 个点,算决策错位率 f 和好处损失 ℓ(多种子),以及物理坐标和任务特点;检查策略在各 θ 下是否接近最优(3.2) | 否 | f、ℓ 随 θ 单调;种子间差异小于相邻网格点之差;固定 θ 策略与条件化策略的回报差在种子误差以内 |
| S1 假数据检查 | 造“答案已知”的假任务(在现有任务上改条件),检查方法能否找回已知的价格、能否认出数据是按哪种“不变”假设生成的,并定下判定门槛 | 否 | 认对的比例达到事先定的门槛;写下“算赢”的门槛 |
| C 留一任务比较 | 估出每个任务的群体强度 θ̂_k,换算成 f、ℓ、λ;用四条规则分别预测留出任务,算补齐比例;看三个任务倒算出的价格是否一致 | 是 | 按 5.5 的判定规则 |
| 可选:任务内条件 | 用实验内部的条件(车距车速、词长词频、场景)把一行拆成多行,做留一条件检验 | 是 | 同上 |
遇到这些情况,先停下来: S1 认不出不同的假设;C 里价格规则最多只有 1 轮赢过 B1;赢不了照搬最相似任务(B8);三个任务倒算出的价格差别远大于种子误差。这时先回头检查代价形式和实现,不要急着往规则里加参数。
6.2 分阶段:让智能体自己决定
同一个任务里,不同阶段可能需要不同强度。比如接管任务以事件为界分成几段:接管提示 → 第一次操作 → 开始换道 → 换道完成。
主路线:让智能体自己决定每个阶段开多强(3.2 的两层结构)。
- 下层:用分段常数的强度日程训练策略。现在的策略只见过一个回合内固定的强度,阶段内切换会落到训练没见过的情况,所以必须重训。
- 上层:在阶段边界选下一段的强度,奖励里含 −λ·C。
- 阶段怎么分,可以交给上层自己学;人为划分的阶段只用来检查。
- 这样,“规则”就缩成每个机制一个价格,阶段之间的变化由智能体自己学出来。
前提和岔路口(与《跨任务激活规则-分阶段实施计划》第 5 步之后的岔路口一致):如果 6.1 和之后的检验表明价格基本能跨任务通用,走上面的主路线;如果不通用,就退回人为划分阶段、按阶段用规则算强度的做法。
要防一个强零假设。 即使强度固定不变,一个知道自己处在哪个阶段的最优策略,本身也会在不同阶段做出不同的行为。Jokinen 等的驾驶多任务模型几乎没有拟合参数,阶段依赖的行为来自固定的限制加上信念的变化已验证。所以“行为随阶段变化”推不出“强度随阶段变化”,必须赢过“强度固定、策略感知阶段”这个对照,以及打乱阶段标签、随机切换点等伪对照(见上轮报告)。
6.3 核心问题 3:机制扩到几十个时怎么办
这个问题在问三件事:机制从 3 个变成几十个以后,(1)每个任务真正需要哪些机制,怎么挑出来;(2)两个机制作用在同一个环节、效果相似时,怎么分清是谁在起作用;(3)需要准备什么样的任务、准备多少个。本轮在这个问题上检索较浅,下面主要沿用补充说明里的来源。
- 先筛选。 用“定义筛选设计”:m 个机制只需要 2m+1 次模拟,就能大致看出每个机制对每个任务有没有影响已验证·仅摘要。20 个机制只需要 41 次群体模拟。没有影响的“机制×任务”组合直接剪掉。算法配置的研究发现,95%–99% 的改进往往来自 1–4 个参数;如果机制库也是这样,每个任务真正起作用的机制会很少(推断)。
- 让规则自动挑。 用一种统计设定(叫“正则化马蹄先验”),事先说明“预计每个任务只有 1–4 个机制起作用”,让数据决定是哪几个推断。也可以用上轮提到的 SBMI,同时推断“开不开”和“开多强”。
- 效果相似的机制按环节归组。 比如几个机制都作用在“知觉证据形成”这个环节,它们可能互相替代,数据分不出来。对策有三个:按环节(知觉、信念更新、动作执行)报告“这个环节有没有机制在起作用”;规定同一个环节最多只有一个机制起作用;专门设计一个能把它们区分开的测试条件推断。
- 为每个机制准备“探针任务”。 心理测量有一个成熟做法:每种要测的能力,用三个表面上不同的任务去测,只取它们共同的部分,避免某个任务的特殊性混进来已验证。对应到机制库:每个机制至少有一个(近似)只需要它的任务,并且至少出现在三个不同的任务里。
需要多少任务。 按心理测量的可辨识条件推算:每个机制至少要有一个只需要它的任务,并且至少出现在 3 个任务中。这样算出的任务总数至少是 M+⌈2M/r⌉,其中 M 是机制数,r 是一个普通任务平均用到的机制数推断。
表 6a 按 r=3 计算的任务数下限
| 机制数 M | 3 | 5 | 10 | 20 | 30 |
|---|---|---|---|---|---|
| 任务数下限 | 5 | 9 | 17 | 34 | 50 |
这是针对“开或关”这种二值情况的推算;你们要估的是强度,所需的任务只会更多。所以现有 3 个任务,连 3 个机制的严格区分都不够。一个缓冲的办法是在任务内部做多个条件,但它只能帮助估计任务内部的变化,任务之间的推广仍然取决于任务数。
6.4 核心问题 4:怎么估计规则里的数字
这个问题在问:你们的模型算不出似然,只能通过模拟来比较行为;各任务的参与者又不同。在这种情况下,怎么把多个任务的数据合在一起,定下规则里的共享数字。
主线上的做法很简单。 R0 每个机制只有一个价格,可以分两步定:先在每个训练任务上估出群体强度 θ̂_k(沿 θ 网格找“这群人整体差距最小”的点,用抛物线插值求最小值,按被试做自助法给出区间);再用一阶条件倒算 λ̂_k,取平均。参数这么少时,两步走够用。
训练范围。 策略训练时强度的取值范围(论文里的 b)只负责覆盖,不再当结果报告。按《激活强度》方案 5.2 节,覆盖到好处损失约 0.6,或覆盖到估计区间上界的 1.5 倍,取较大者。
任务和机制多了以后再升级。 两步走会把个体差异估偏(药物计量的老结论,见上轮),残差大小也只能靠先验。到 R1、R2 时,可以换成下面的做法(本轮在这个问题上检索较浅):
| 做法 | 大白话 | 优点 | 缺点 |
|---|---|---|---|
| E2 一次全估 | 用“规则 → 强度 → 策略 → 行为”整条链造模拟数据,训练一个网络,直接估规则的参数 | 训练一次,之后很快;能同时估出残差大小 | 要模拟很多不同的任务组合,成本高 |
| E3 按任务拆开再相加 | 每个任务学一个“给定强度时,这些行为出现的可能性有多大”的近似,再把各任务的结果加起来 | 增减任务很方便,做留一任务检验时只要去掉一项 | 残差和个人偏离需要额外处理 |
| E4 让策略覆盖足够的强度范围 | 训练策略时,随机关掉一些机制,每个任务只开筛选后的少数几个机制,并让规则的输出不超出训练范围 | 防止规则给出策略没见过的强度 | 机制很多时能否覆盖得了,目前没有证据 |
以后还可以试“边训练边校准”(训练和推断交替进行),它只适用于已有真人数据的任务,见《跨任务激活规则-分阶段实施计划》第 3 步。技术细节见附录 E.4。
6.5 核心问题 6:数据与实验设计
这个问题在问:在“不同任务的参与者不同”的现状下,能检验哪些结论;如果采集新数据,该怎么设计;有没有公开数据能增加任务数。
现有数据能检验的:任务层面的规则(规则本身、任务残差),以及任务内的个人差异。不能检验的:一个人在不同任务中是否一致,也就是个人特质。因为每个人只做了一个任务,人的影响和任务的影响混在一起,分不开(上轮结论不变)。
如果采集新数据:
- “探针任务组+应用任务”。 先用一组探针任务定下每个机制的强度尺度,再在应用任务上检验零样本预测。
- 部分重叠。 每人做 2–3 个任务,安排成“任意两个任务之间都有共同的参与者”,这样能估出个人特质占多大比例。但要有心理准备:很多认知任务的个体差异,重测信度很低,许多低于 .25;一项 522 人、37 个任务的研究发现,任务指标和问卷指标几乎不相关,任务也大体预测不了现实中的结果。所以先用模拟算好样本量已验证。
- 任务内多做条件。 用定义筛选设计,在每个任务内操控 3–4 个特征,给规则提供更多数据行。
公开数据:
表 6b 可用于检验方法的公开数据
| 数据 | 规模 | 可以用来做什么 | 限制 |
|---|---|---|---|
| Psych-101(Binz 等 2025) | 160 个实验、60,092 名参与者、10,681,650 次选择 | 检验“价格是否跨任务共用”“规则形式”等问题 | 数据是逐试次的文字转写,要变成你们的任务需要逐个重写;实验以选择、记忆、探索类为主(据媒体对论文的转述),和连续的感知—动作任务差别大。页面标注 Apache-2.0 许可、可直接下载;页面显示的实验数(76)与 160 不一致,原因未查明 |
| choices13k(Peterson 等 2021) | 13,006 道风险选择题的人类选择比例 | 作为外部练习场,比较“题目特征 → 参数”的不同写法 | 不含你们的机制 |
| 自我调节任务集(Eisenberg 等 2019) | 522 人 × 37 个任务(另有 23 个问卷) | 估计同一批人跨任务的相关和重测信度,判断个人特质大概占多少 | 不是序贯决策任务 |
| 接管荟萃分析(Zhang 等 2019,上轮) | 129 项研究的汇总结果 | 检验规则在汇总层面的方向和量级(比如时间越紧,接管是否越快) | 只有汇总数据,没有个人轨迹 |
这些数据都不能直接变成你们机制库里的新任务:把一个公开实验改成你们的任务,要重写成 POMDP 并训练基础策略,成本不低。更现实的用法是检验方法流程推断。
个人层面暂缓。 同一任务里每个人和平均水平的差别(v2 公式里的 u),以及同一个人在不同任务里是否一致,现阶段都不做:规则先只管群体,每个任务所有人共用一个值。
第七部分 需要你补充或拍板的事
需要拍板(来自《激活强度》方案,决定第一项研究能否开始):
- 基础模型是否改成理想观察者(推荐改)。代价是看不准、新消息听不进去相关的模型要重训,论文里新消息听不进去的数值不能再直接比较。不改的话,这个机制就不能参加跨任务比较。
- 任务固有噪声取多少。 推荐取 0,即看不准关闭时看得完全准;另一个选择是保留现在隐含的 5%,算进基础模型。
- 要不要给策略真实加速度。 推荐一律不给,让它从信念里估计,这样强度从 0 开始变化时,模型结构不会突然跳变。
- 每个机制的代价形式(3.1 的主要形式和备选形式)是否接受。
需要补充(按对方法选择的影响排序):
- 现有三个任务里,人为操控了哪些条件? 比如接管时间预算有几档、词长有几种、车距和车速有几种组合,以及是否逐试次记录。这决定能不能用“任务内多做条件”增加检验力(6.1、6.5)。
- 一次群体模拟要跑多久? 这决定好处曲线能不能临时算,还是要事先算好存表。
- 未来一年计划增加多少任务和机制?能否让同一批人做多个任务? 这决定按 5.4 的哪一档来规划,以及要不要采用重叠设计。
附录 A 跨领域类比
本附录回答两个问题:你们的问题在其他领域对应什么,以及各领域哪些做法能搬过来。正文的依据大多从这里来。
A.1 本问题可以表述为哪些已有问题
表 A1 十种已有问题表述及其成立条件
| # | 已有问题 | 与本问题的对应 | 成立条件 | 本问题中是否满足 | 判断 |
|---|---|---|---|---|---|
| F1 | 解释性 IRT/LLTM | 条件=题,任务=题组,特征→机制强度 | 特征可编码;响应参数可估;题数足够(常为几十至数百);加性线性 | 前两项部分满足(强度是潜变量,经昂贵模拟器才连到数据);题数不足;加性未知 | 修正项与残差的统计写法(v2 曾作主骨架) |
| F2 | 元回归与随机效应预测 | 任务=研究,θ 后验=研究效应估计 | 每个研究有效应估计及其不确定性;研究数充足;新研究与旧研究“足够相似”(可交换) | 估计不确定性可由摊销推断给出;研究数=任务数,目前 K=3 | 决定预测区间的写法 |
| F3 | 药物计量的协变量模型与外推 | 任务=人群或药物,特征=协变量 | 有理论骨架;有外部验证数据;个体间/场合间变异可分 | 理论骨架缺失,需自己定义;外部验证数据尚无 | 最强的外推模板,骨架需自建 |
| F4 | 算法选择与经验性能模型 | 任务=实例,机制开关=配置 | 特征便宜;性能可大量测量;目标是择优而非复现分布 | 特征部分可得;人类数据稀缺;目标是分布保真度 | 借特征设计与评估,不借选择器 |
| F5 | 上下文 MDP 的零样本泛化 | x=上下文,θ 作为上下文的一部分输入策略 | 上下文显式;训练上下文足够多样 | 上下文显式;训练任务只有个位数 | 借训练覆盖与评估协议 |
| F6 | 函数型与外推校准 | θ(x),x=任务特征 | 确定性模拟器;每个 x 有重复观测;差异项可建模 | 输出是群体行为分布,不是点预测 | 借“插值与外推要区分”的思路 |
| F7 | 可迁移性(transportability) | 任务=群体,“选择图”声明任务间差异来源 | 能事先声明哪些机制或函数在任务间不同 | 可以声明,但需要领域知识 | 借“事先声明差异”的做法 |
| F8 | 资源理性/有界最优的跨任务预测 | θ* 由收益与认知代价决定 | 代价可声明且跨任务稳定 | 代价未声明;稳定性证据混杂 | 规则主干(本版) |
| F9 | 行为预测竞赛与“理论+机器学习” | 问题=任务/条件;理论模型的预测作为特征,数据驱动的学习器做校正 | 有数百至上万个问题;结果是群体选择率等汇总量;理论模型可廉价计算 | 结果层面相近(都是群体分布);问题数远远不足;理论项(规范预测 ψ)需自建 | 唯一找到的“理论/数据/混合”在新问题上的直接对比;借评估协议 |
| F10 | 序列式灰箱(混合)建模 | 网络估计机理模型中不可测的参数,参数再送入机理模型 | 有部分已知的机理模型;不可测参数随输入变化;能经机理模型把误差传回网络 | 结构完全对应(g 估 θ,θ 送入 π);但你们经昂贵模拟器连接、没有梯度,只能做模拟推断 | 结构模板 |
推断表中判断是对各问题条件的逐条比对,不是原文献的结论。
A.2 结论:最小公共结构
没有任何一个已有问题同时具备“参数由理论借机理模型算出、参数经昂贵无似然模拟器连到群体数据、样本是少数几个任务”这三点。按本版主线,最小公共结构是:
- 主干来自 F8:资源理性。强度是在本任务好处曲线上的最优取舍点,跨任务共享的是价格。F10 提供结构依据:规则只负责不能直接测量的参数,行为仍由机理模型(这里是策略)产生。
- “理论值加校正”的写法来自 F3、F9:理论作为固定骨架,只做少量校正,而且校正不能随便跨对象迁移。F9 提供了这种做法在新问题上有效的直接证据,但对象是选择率,不是机制强度。
- 统计写法来自 F1、F2:任务多了以后,用任务特点预测价格或修正项,加任务层残差,预测分布含异质性。
- 推断机器来自上轮:参数条件化策略作摊销模拟器,做模拟推断。
A.3 它不是什么
它不是普通的多任务学习或元学习,也不是门控网络(上轮已排除)。原因是任务太少。两个参照:
- Meta-World 的 ML10 在 10 个训练任务、5 个留出任务上训练,训练任务成功率 86.9%(RL²),留出任务仅 35.8%(RL²)和 31.6%(MAML)。这是论文 arXiv 版本图注中的数字,其他榜单页给出的数字不同,应以原文为准已验证。
- CoinRun 的研究发现,智能体会对相当大的训练集过拟合;Procgen 的泛化协议建议每个环境训练 500 个关卡,理由是该规模接近泛化开始起作用的区域已验证。
这些是强化学习里的泛化,不能直接换算成你们的任务数,但它们提示:靠学习得到的跨任务映射需要远多于个位数的任务,所以 g 必须强约束(低维、结构化)才有希望。
A.4 Centaur 说明了什么,没说明什么
Centaur 在 Psych-101 上微调(160 个实验、60,000 多名参与者、1,000 多万次选择),能预测留出参与者,也能泛化到新的 cover story、任务结构改动和新领域已验证。它证明“跨很多实验的统一预测”可以做到,但它是数据驱动的黑箱,没有机制库,也不给出机制强度。对你们有两点用处:可作为公开数据来源(见 6.4),以及说明跨任务预测的数据规模量级。它不是 g 的候选形式推断。
A.5 各领域与本问题的逐项映射
共考察 11 个领域或问题族。表 A2 给出每个领域里与“机制、强度、任务/阶段特征、激活规则、人类数据、对新任务的预测”对应的概念,表 A3 给出可迁移之处和不成立的假设。
表 A2 各领域中与“机制/强度/任务阶段特征/激活规则/人类数据/对新任务的预测”对应的概念
| 领域 | 机制 | 强度 | 任务/阶段特征 | 激活规则 | 人类数据 | 对新任务的预测 |
|---|---|---|---|---|---|---|
| 教育测量:LLTM、解释性 IRT、题目难度预测 | 认知操作(Q 矩阵的列) | 操作对难度的贡献权重 η_f | 题目特征 q_i(设计变量或专家编码) | b_i = q_iᵀη + 随机残差 | 人×题二值作答矩阵 | 新题难度 q_newᵀη,带残差不确定性 |
| 算法选择与配置 | 候选算法或配置选项 | 配置参数值 | 实例特征(含探针特征、计时特征) | 选择器;经验性能模型(随机森林、GP) | 算法在实例上的运行时或得分(廉价、大量) | 新实例上的最优算法或运行时 |
| 药物计量 | 生理过程(清除、分布、成熟) | 结构参数(CL、V) | 协变量:体重、年龄、器官功能 | 体重^0.75 × 成熟函数 × 其他协变量,加个体间/场合间随机效应 | 稀疏的群体血药浓度 | 新人群或新药的参数与预测区间 |
| 模拟器校准(函数型、外推、多输出) | 模拟器组件 | 校准参数 θ(可随 x 变) | 控制输入/设计变量 x | θ(x) 的函数先验加差异项 δ(x) | 物理观测(少) | 未观测的 x 或输出上的预测 |
| 上下文 MDP、多目标 RL | 环境上下文维度;目标 | 上下文值 c;偏好向量 w | 上下文 c(设计者已知,作策略输入) | 策略对 c 或 w 的条件化 | 无(环境回报) | 新上下文上的零样本表现 |
| 认知科学:资源理性、有界最优 | 约束或策略 | 认知代价权重、约束参数 | 任务结构、收益、时间 | θ* = argmax[V − Σλ·c] | 行为数据 | 由原理预测新任务行为 |
| 认知科学:统一建模、任务本体 | 无显式机制库(Centaur 为黑箱);多资源理论有资源维度 | — | 自然语言任务描述;Cognitive Atlas 的任务参数;多资源需求向量 | 微调的语言模型;冲突矩阵 | 160 个实验、60,000 多名参与者 | 新 cover story、新结构、新领域的选择预测 |
| 统计:元回归、随机效应预测、transportability | 效应修饰因素 | 研究效应量 θ_k | 研究级协变量 x_k | θ_k = βᵀx_k + u_k | 研究汇总估计 | 新研究的预测分布;可迁移性判定 |
| 行为预测竞赛(风险选择) | 行为理论 BEAST 的成分(悲观、等权偏向、对收益符号敏感、减少即时后悔等) | 理论参数(沿用先前竞赛的估计,不在新数据上重拟合) | 问题的客观特征、朴素特征、心理特征(抽样倾向) | 梯度提升树,以理论预测(foresight)和心理特征为输入 | 每道题的群体选择率(数百至上万道题) | 新题、新实验情境上的选择率 |
| 过程工程:序列式灰箱建模 | 机理模型中的物理、化学过程 | 不可测的过程参数(如反应速率) | 过程状态与操作条件 | 神经网络:状态 → 参数,再送入机理模型 | 过程输出的测量 | 训练范围内外的过程轨迹 |
| 交通与 HCI(上轮已覆盖) | 反应延迟、估计误差、预判 | 反应时、误差方差 | 场景、界面 | 手工设定或按场景拟合 | 轨迹、行为数据集 | 少量先例(如 Jokinen 2021 零拟合参数) |
A.6 可迁移之处、不成立的假设与判断
表 A3 迁移判断(证据等级见各行)
| 领域 | 可直接迁移 | 在本问题中不成立的假设 | 本轮证据 | 判断 |
|---|---|---|---|---|
| 教育测量 | ①特征→参数的加性规则加随机残差;②“题组”对应任务;③人×题交叉随机效应;④用新题预测准确度评价特征;⑤设计变量优先于事后编码;⑥“先标定特征权重、再预测新生成题目”的认知设计系统流程;⑦特征必须做效标验证,不能只报一致性 | ①响应直接观测难度,你们的强度是潜变量;②题数几十到几百;③特征由专家逐项编码;④同一批人做所有题 | 理论驱动的特征可解释大部分难度方差(上轮已引 De Boeck 2008:87.5%)。认知设计系统用 LLTM 由刺激特征预测新生成题目的难度(经综述转述);模拟研究显示,计算机化自适应测验中用预测难度代替标定难度,只需多做几道题就能达到相近精度,特征解释率越高,需要多做的越少已验证·仅摘要。表面文本特征预测新题几乎无增益:最佳 RMSE 0.299 对基线 0.311;ITEC 队伍报告 Lasso、随机森林优于复杂模型,其随机森林在 43 个提交中排第 4已验证。专家评分:4 名专家、6 个 LLM 对 15 道五年级数学题的 6 个特征评分,专家间 Fleiss κ 在 3 个特征上不高于随机;以专家共识作 LLTM 设计矩阵,恢复难度的相关为 0.33,最好的 LLM 为 0.89已验证·仅摘要 | 保留,作修正项与残差的写法(v2 曾作主骨架) |
| 算法选择与配置 | ①“探针特征”:运行廉价程序得到的实例特征;②“最佳单一算法到逐实例最优”的闭合比例作评价;③特征空间覆盖诊断(实例空间分析) | ①性能可廉价大量测量;②目标是择优,不是复现行为分布;③实例成百上千;④训练信号是确定性的运行时 | Hutter 等 2014:11 个算法、35 个实例分布上,预测能泛化到新实例、新配置及二者同时;新引入探针特征和计时特征,SAT、MIP、TSP 分别有 138、121、64 个特征。2014 年 SAT 竞赛:最佳单一求解器解 300 题中的 77%,逐实例择优可达 92%(ASlib)。实例空间依赖于所选测试实例,因此覆盖度要诊断(Smith-Miles & Bowly 2015)已验证 | 保留特征与评估;降级选择器 |
| 药物计量 | ①理论固定骨架+估计的校正项+随机效应;②标准化参数化便于跨研究汇总;③外部数据评估;④按适用域建立“决策表” | ①骨架来自生理比例定律,你们没有等价的“定律”;②稠密的生理机制模型可做内推;③协变量连续(体重) | 儿科清除率的推荐标准模型是“体重^0.75+sigmoid 成熟函数”,标准化便于跨研究比较和模型荟萃(Germovsek 2017)。对 12,620 个假想药物做 PBPK 模拟,没有证据支持单一的异速指数;5 岁以上用 0.75 次方预测准确,年龄越小越差(Calvier 等 2017);据此提出按年龄、消除途径、游离分数选方法的决策表(van Rongen 等 2022);对 ≤5 岁儿童六种模型的外部评估中,除固定 0.75 外,多数年龄组平均预测误差在 50% 以内,个体预测不稳定(Mahmood 等 2014)。机理与经验的直接对比:把酪氨酸激酶抑制剂从成人外推到 ≥2 岁儿童,经验异速缩放的谷浓度预测全部落在 2 倍范围内,PBPK 有 3/5 超出(Centanni 等 2024);2 岁以下需要经验的成熟校正,而这些校正不能跨药物迁移(Malik & Edginton 2019 引言)已验证 | 保留,作混合形式的模板 |
| 模拟器校准 | ①区分插值预测与外推预测;②差异项不可识别时,不推断它也可校准参数(Gibbs 后验);③多输出“转置”场景用分层先验加联合模型误差 | ①模拟器确定且每个 x 有重复观测;②目标是点参数,不是规则;③输出是行为分布 | 外推预测要求校准后的模型用于没有数据的设置,传统 GP 差异项常不可识别且计算不稳定(Woody 等,arXiv:1909.05428);转置场景需引入跨输出联合误差(arXiv:2410.00116)已验证·仅摘要 | 保留作外推可信度工具;不作主方法 |
| 上下文 RL/多目标 RL | ①最优行为需要显式上下文,因此 x 必须包含决定最优策略的变量;②单一网络覆盖整个偏好空间;③显式设计训练/测试上下文分布 | ①目标是回报最优,不是像人;②上下文维度低;③训练上下文足够多 | 上下文 MDP 的最优行为需要显式上下文信息,朴素方案难以泛化到复杂上下文空间(Benjamins 等 2023);MORL 用广义 Bellman 方程学一个覆盖全部线性偏好的网络,在 4 个领域验证(Yang 等 2019)已验证 | 保留训练覆盖与评估协议;不保留规则部分 |
| 资源理性与有界最优 | ①规范先验缩小预测空间;②每个机制声明“节省什么、花费什么” | ①代价参数跨任务稳定;②人会把 θ 设到最优 | Howes 等 2009:通过分析各策略的收益而非拟合参数来缩小预测空间;Lieder & Griffiths 2020 给出统一框架。代价跨任务稳定性:三种认知努力测量互不相关(Mækelæ 等 2023,六个研究、N=663,相关系数的绝对值均小于 .1);N-back 与噪声中言语理解的努力折扣正相关,r=0.29,控制任务负荷、表现、工作记忆容量与奖励敏感性后 r=0.34(Crawford 等 2022,N=104)已验证 | 保留,作规则主干;λ 须允许任务层随机效应 |
| 统一建模与任务本体 | ①任务的客观参数化(Cognitive Atlas 锚定在测量层);②多资源需求向量加冲突矩阵;③表示共享导致多任务约束;④VACP 式逐阶段需求评分 | ①需要数百实验的数据;②需求编码有公认难点;③VACP 为军用航空开发,用到其他工作需另行论证 | Wickens 2002:四维模型(阶段、通道、编码、视觉通道),计算版含需求向量和冲突矩阵,文中把“任务需求编码”列为三个挑战之一;Wickens 2008:多资源模型预测与数据高相关;Musslick & Cohen 2021:表示共享与多任务约束的权衡已验证·仅摘要。VACP 把任务按视觉、听觉、认知、心理运动四个通道逐项评分来预测工作负荷;一项驾驶模拟研究按阶段建模 VACP 负荷,发现与瞳孔直径变化对应已验证·仅摘要。其效度证据多为与生理或主观负荷的会聚,未见用于预测行为模型参数 | 保留作特征维度来源;不作规则形式 |
| 统计 | ①预测分布含研究间方差;②先验对少组数据敏感;③预注册协变量;④“选择图”事先声明差异 | ①效应估计已知;②研究数充足 | 随机效应预测要求新研究与旧研究足够相似(可交换),贝叶斯法适合预测但对先验敏感(Higgins 等 2009);组数少时顶层标准差建议用半 t/半 Cauchy 先验(Gelman 2006;Polson & Scott 2012);3 组时均匀先验下组间标准差的后验有极长右尾(Gelman 2006 的三组例子);Cochrane 的“每协变量至少 10 项研究”无实证来源(Viechtbauer 的评论);可迁移性可在观测数据之前由选择图判定(Pearl & Bareinboim 2014)已验证 | 保留,作预测写法与预注册规则 |
| 行为预测竞赛 | ①理论预测作为特征,由灵活学习器校正;②以“完备度”和“不可约误差”评价;③留一情境检验,并与“直接经验泛化”比较;④特征分组消融 | ①题目数数百至上万,能训练梯度提升;②理论(BEAST)是描述性的,不是规范式;③目标是汇总选择率,不是序贯行为 | CPC18 冠军 BEAST-GB 完备度 92.6%;只用 BEAST 为 88.9%,在 choices13k 上降到 65.7%,混合为 96.2%。去掉理论特征在 CPC18 上使 MSE 翻倍,在约 9,000 道题的 choices13k 上差异不显著(p=.22);只用客观特征 MSE 0.0153,全模型 0.0084;用 176 道题训练即优于全数据训练的神经网络(0.0110 对 0.0113)。16 个情境留一,平均完备度 87.2%;在 828 个可比实例上比直接经验泛化好 13%,而 53 个行为模型都不如直接经验泛化已验证·工作稿 | 保留:问题 2 的直接证据、问题 5 的协议 |
| 过程工程灰箱建模 | 网络只估不可测参数,输出由机理模型生成;所需样本少、外推好 | 训练时能把输出误差经机理模型回传;你们的“机理模型”是 RL 策略,只能经模拟推断连接 | 序列式混合模型比标准黑箱网络内插、外推都准得多,更易解释,所需训练样本显著更少(补料分批生物反应器案例)已验证·仅摘要 | 保留,作结构依据 |
| 交通与 HCI | ①固定一套机制默认值做跨条件预测;②分布匹配式评估:逐特征用仿真展开估计似然,在留出场景上评估 | 驾驶员模型的机制库规模小;WOSAC 评估的是数据驱动的交通体,不是认知模型 | 上轮:Jokinen 等 2021 几乎不拟合参数,在 2×2 条件、12 名被试上 R² 0.49–0.95。Salvucci 2006 的 ACT-R 驾驶模型在一个架构内同时解释车道保持、弯道与换道中的转向、横向位置和注视分布已验证·仅摘要;WOSAC 在 44,920 个留出场景上,用每场景 32 次展开拟合 9 个特征的直方图,计算真实轨迹的似然并加权汇总;基于规则的 IDM 交通体过于礼让,日志回放则过于激进已验证 | 保留,作“零拟合”基线的先例和分布层面指标的来源 |
A.7 排除与降级及理由
- 纯黑箱元学习或基础模型(Centaur 类):需要 160 个实验量级的数据,无法给出机制强度,因此排除。
- 以随机森林或 GP 直接建模 g(x):算法选择里它们在训练分布内最准,但对特征空间外的外推没有保证;对 K 很小的任务级回归,参数化形式更可控。旁证:过程工程中纯黑箱网络的外推明显差于灰箱(Psichogios & Ungar 1992),风险选择中黑箱神经网络在数据少时不如理论+数据的混合(Plonsky 等 2025)已验证。但这两项都不是随机森林/GP 与参数化规则的直接对比。
- 门控/混合专家(MoE):上轮已排除,原因不变。
- 机器人技能库的组合泛化:本轮未检索,暂不纳入。
附录 B 规则候选方法对比
规则的候选形式分 M1–M8 八类(估计层的 E1–E4 见 6.4)。按本版主线:M4(规范式、资源理性)是规则主干,即 3.1 的价格规则;M5(混合)是任务多了以后的扩展,即 3.5 的 R2;M1–M3 是 R1、R2 里修正项和残差的写法;M6、M7 因任务数太少不推荐;M8 要等“任务×条件”达到数百个才可行。
B.1 来源、预测对象与训练信号
表 B1 规则层方法的来源、预测对象、输入输出与训练信号
| 编号 | 方法 | 来源领域 | 预测对象 | 输入→输出 | 训练信号 |
|---|---|---|---|---|---|
| M1 | LLTM 式加性规则加任务残差 | 教育测量 | 机制强度的链接后取值 | 特征向量 → 强度均值+残差方差 | 人类行为的模拟保真度(经摊销推断得到 θ 后验) |
| M2 | 稀疏分层元回归(正则化马蹄先验) | 统计 | 同上,但系数稀疏 | 特征向量 → 稀疏线性预测+预测区间 | 同上 |
| M3 | 固定理论骨架加估计的校正项 | 药物计量 | 同上 | 特征 → 骨架函数(形式固定)× 估计的校正函数 | 同上 |
| M4 | 规范式:资源理性/有界最优 | 认知科学 | θ* | 任务模型、收益、代价权重 λ → θ* | λ 的拟合依赖人类数据;骨架本身不需要 |
| M5 | 混合:规范偏移项+稀疏描述校正+任务残差 | 综合:药物计量、模拟器校准的差异项、理论约束的机器学习 | 同上 | 规范预测 ψ_m、特征 z → 强度均值+残差 | 同上 |
| M6 | 经验性能模型(随机森林、GP)+实例特征 | 算法选择 | 同上,黑箱 | 特征 → 强度 | 同上,但需要较多任务 |
| M7 | 神经基础模型/元学习 | 认知科学(Centaur)、元 RL | 行为选择,不直接给强度 | 自然语言任务描述 → 行为 | 大规模人类行为数据 |
| M8 | 理论预测作特征+梯度提升(BEAST-GB 式) | 行为预测竞赛 | 行为统计量(不经 θ) | 任务特征+理论模型的预测 → 群体行为统计量 | 数百个以上“任务×条件”的人类汇总数据 |
B.2 接入要求、计算代价、外推能力与局限
表 B2 规则层方法的接入要求、计算代价、外推能力、局限与代表文献
| 编号 | 接入 π(a|o,θ) 的要求 | 计算代价 | 外推能力 | 局限 | 代表文献 |
|---|---|---|---|---|---|
| M1 | 无额外要求,g 嵌入模拟器 | 低:只增加规则参数的维度 | 在特征取值范围内可预测;范围外靠线性假设,不可靠。要求特征捕捉难度的成因 | 加性线性是假设;需要行数足够;理论特征与表面特征效果差异大 | De Boeck & Wilson 2004;Janssen 等 2004;De Boeck 2008(上轮);Yaneva 等 2024 |
| M2 | 同上 | 低到中:后验抽样 | 系数稀疏降低过拟合;预测区间需含 τ² | 少组时 τ 靠先验;正则化马蹄的全局尺度要按预期非零数设定 | Piironen & Vehtari 2017;Gelman 2006;Higgins 等 2009 |
| M3 | 同上;骨架须由你们给出 | 低 | 在骨架适用的“内部”较好;在过程发生变化的边界(如新生儿的成熟)失效,需要校正,而经验校正不能跨对象迁移 | 需要“定律”级的骨架,认知机制缺乏现成骨架 | Germovsek 等 2017;Calvier 等 2017;van Rongen 等 2022;Malik & Edginton 2019 |
| M4 | 需要对每个任务评估 J_k(θ)(可用基础策略模拟);需要代价函数 c_m(θ_m) | 中:每个任务扫描 θ 网格并模拟 | 若代价跨任务稳定,则可对全新任务外推;否则无保证。旁证:纯理论在问题空间变宽时明显退化(BEAST 完备度 88.9%→65.7%),尽管 BEAST 不是规范式 | 代价需要为每个机制声明;跨任务稳定性证据混杂;人未必最优 | Howes 等 2009;Lieder & Griffiths 2020;Callaway 等 2022(上轮);Mækelæ 等 2023;Crawford 等 2022 |
| M5 | M4 与 M2 的要求之和 | 中 | 规范项提供“远处”的锚;描述项提供“近处”的校正;任务残差给出诚实的不确定性。跨领域直接证据:理论+数据的混合在新问题、新情境上优于纯理论和纯数据(Plonsky 等 2025);灰箱的外推优于黑箱(Psichogios & Ungar 1992) | 参数更多;规范项系数 η 在少任务时难估;需要嵌套比较来检验规范项是否有用 | Plonsky 等 2025;Psichogios & Ungar 1992;Germovsek 等 2017;Kennedy & O'Hagan 2001(上轮);Peterson 等 2021;Bourgin 等 2019 |
| M6 | 同 M1 | 低到中 | 训练分布内强;特征空间外无保证。Hutter 等 2014 评估的是新实例、新配置及二者同时,本轮未见对全新实例分布的外推评估(第 6–9 节结果未读到)推断 | 需要数百个实例级别的样本;难以给出机制层解释 | Hutter 等 2014;Bischl 等 2016(ASlib) |
| M7 | 不接入机制库 | 高:大模型微调 | 在其训练分布附近的新任务有效 | 数据规模远超你们;不给机制强度 | Binz 等 2025 |
| M8 | 不经 θ,直接预测行为统计量;可把 θ=0 策略或规范 θ* 下的模拟行为当作“理论预测”特征 | 中 | 有数百道题时,在新题、新情境上优于纯理论和纯数据 | 不给机制强度,与“机制库”目标不符;需要数百个以上单位,你们的任务数远远不够 | Plonsky 等 2025;Erev 等 2017 |
读表要点:
- 表中“外推能力”一栏仍多为推断:没有任何一类在“用任务特征预测认知机制强度并外推到新任务”这件事上有直接验证。目前找到的直接证据(M5、M8 两行)来自风险选择与过程工程,对象分别是选择率和过程参数。
- Peterson 等 2021 展示了“用理论约束机器学习,得到更准且保留理论洞见的模型”的做法,数据量是 13,006 个风险选择问题。Bourgin 等 2019 先用认知模型生成的合成数据预训练神经网络,再用少量人类数据微调,在两个基准上取得当时最好的结果已验证·仅摘要。后者在结构上与“用模拟器训练摊销估计器”相同,提示 g 的先验也可以由模拟器生成,而不只靠手写推断。两项都是在选择任务内、数据充足的条件下做的,与你们的少任务条件不同。
附录 C 术语表
符号
| 符号 | 含义 |
|---|---|
| θ | 机制强度:代码里机制算子上的参数(论文和 v2 记作 φ)。0 表示关闭,越大表示限制越强 |
| θ̂_k | 用任务 k 的人类数据拟合出的群体强度 |
| θ* | 规则算出的最划算强度 |
| s | 可比强度:能在任务之间比较的强度 |
| f | 决策错位率:机制改变了无限制策略多大比例的决定 |
| ℓ | 好处损失:适应之后少得的好处所占比例 |
| Ṽ_k(θ) | 任务 k 的好处曲线(归一化),Ṽ = 1 − ℓ |
| C_m(θ) | 机制 m 的代价:把限制减轻到 θ 要花多少力气 |
| λ_m | 机制 m 的价格:一份力气值多少好处 |
| g | 激活规则 |
| x、z | 任务或阶段的特点。z 指放进修正项的那几个 |
| α、β | R1 里价格随任务特点变化的系数 |
| η | 理论项的系数,表示信多少理论(R2) |
| b | 修正项的系数(R2) |
| v、τ² | v 是任务残差;τ² 是残差一般有多大(任务间方差) |
| u | 同一任务内,个人与平均水平的偏离(暂缓) |
| π_k(a|o,θ) | 任务 k 的参数条件化策略:在观测 o 和机制强度 θ 下选动作 a |
| k、p、m、i | 分别指任务、阶段、机制、个人 |
名词
| 术语 | 大白话解释 |
|---|---|
| 资源理性 | 假设人在“做好”和“省力”之间找最划算的点,机制强度也是这样选出来的 |
| 好处曲线 | 让策略在不同强度下尽量做好,它拿到的好处连成的曲线。只用模拟器算 |
| 代价 | 把限制减轻到某个强度要花多少力气 |
| 价格 | 一份力气值多少好处。主线假设它跨任务共用 |
| 一阶条件 | 在最划算的点上,“再减轻一点限制带来的好处”等于“多花的力气乘以价格”。据此可以从拟合出的强度倒算价格 |
| 可比强度、换算表 | 可比强度是能在任务之间比较的强度;换算表是每个任务一张“代码里的强度 ↔ 可比强度”的对照表,只用模拟器算 |
| 决策错位率 | 把机制加到无限制策略的输入上、不让它适应,它的决定被改变的比例 |
| 好处损失 | 策略适应限制之后,比没有限制时少得的好处所占比例 |
| 理想观察者 | 没有任何认知限制的智能体:看得准,按贝叶斯规则理想地更新,下令后立即执行。所有机制取 0 时的基础模型应当是它 |
| 参数条件化策略 | 以机制强度为输入的策略,同一个策略能在不同强度下运行 |
| 补齐比例 | (全关的差距 − 规则的差距) ÷ (全关的差距 − 单独拟合的差距)。1 表示和单独拟合一样好,0 表示和全关一样 |
| 特征(任务特点) | 描述任务或阶段的数。分两类:从策略算出的量(主),人工给的任务特点(辅)。都必须不看人的表现就能得到 |
| 参数、系数 | 规则里的数字。系数专指乘在某个量前面的数 |
| 拟合 | 反复调整参数,让模型模拟出的行为最接近已有的人类数据 |
| 规则的形式 | 规则长什么样(直线、曲线、有没有理论项),区别于“形式定好后数字取多少” |
| 零样本 | 预测新任务时,完全不用这个新任务的人类数据 |
| 残差(偏差) | 规则算出的值,与用该任务人类数据单独拟合出的值之差,即规则没说中的部分 |
| 任务间方差 | 各任务的残差通常有多大,决定对新任务的预测该附带多宽的误差范围 |
| 先验 | 数据不够时,事先给某个数设定的合理范围 |
| 似然 | 给定参数时,观察到这批数据的概率。你们的模型算不出它,所以叫“无似然” |
| 模拟推断(NPE 等) | 先用大量模拟数据训练一个网络,之后输入行为数据,就能直接给出参数可能的取值范围 |
| 分层模型 | 同时描述“总体规律”“各任务的偏离”“各人的偏离”的模型,本文的混合规则就是一种 |
| 描述式规则 | 直接按数据画线:强度 = a + b × 特征 |
| 规范式规则 | 从“人会在表现与省力之间找最划算的点”推出强度(本版的主干) |
| 混合规则 | 以理论算出的值为主,加少量修正和残差(本版的 R2) |
| 链接函数 | 把规则算出的值压到合理范围内,保证不超出策略训练过的强度 |
| 留一任务检验 | 用其余任务定规则,用留出的任务检验,轮流进行 |
| 泛化准则 | 认知建模中留一任务这类检验的正式名称:在一组设计上定参数,在新设计上检验 |
| 交叉验证 | 把同一个实验的数据分成几份,轮流留出一份检验。测试数据和训练数据来自同一个实验 |
| 基线(对手) | 拿来比较的更简单的做法,如“所有任务用同一个强度” |
| 噪声底 | 把同一任务的真人随机分成两半,两半之间的差距。任何模型都不可能比这更接近真人 |
| 完备度 | (对手误差 − 规则误差) ÷ (对手误差 − 噪声底)。0% 表示不比对手好,100% 表示达到极限 |
| 闭合比例 | 类似完备度,但分母换成“对手与有数据单独拟合的上限之差” |
| 适当评分规则 | 给“预测分布”打分的方法(如能量得分、CRPS),如实报告自己的预测时得分最高 |
| MMD(最大均值差异) | 衡量两组样本分布差多远的一种距离 |
| 误差范围(预测区间) | 对新任务给出的可能取值范围;“诚实”指名义 80% 的范围,实际约 80% 的时候包含真值 |
| 外推 | 新任务的特征超出了已有任务的范围,这时预测可信度下降 |
| 泄漏 | 规则的输入里混进了预测时拿不到、或带着答案信息的东西 |
| 探针特征 | 运行一个便宜的程序或模型得到的特征 |
| 机制敏感度 | 只把一个机制打开到某个强度时,关键行为变化多少。由模拟器算出 |
| 探针任务 | 只需要一个机制的任务,用来单独确定这个机制的强度 |
| Q 矩阵 | “任务 × 机制”的 0/1 表,标出每个任务需要哪些机制 |
| 定义筛选设计 | 一种实验安排:m 个变量只需 2m+1 次试验,就能看出每个变量有没有作用 |
| 正则化马蹄先验 | 一种统计设定:事先假定“大多数系数为 0,只有少数起作用”,让数据决定是哪几个 |
| 灰箱模型 | 神经网络只负责估测不到的参数,结果仍由已知方程算出 |
| 解释性 IRT、LLTM | 教育测量中“用题目特征预测题目难度”的模型。本文把“任务 × 阶段”当作题,把机制强度当作难度 |
| 认知设计系统 | 教育测量的出题方法:先确定影响解题的特征并标定权重,再预测新生成题目的难度 |
| BEAST、BEAST-GB | BEAST 是描述人在风险选择中怎么选的理论;BEAST-GB 把 BEAST 的预测作为机器学习的输入 |
| CPC18、choices13k | 风险选择的预测竞赛(题目较少)和大数据集(约 13,000 道题) |
| PBPK、异速缩放 | 药物计量里从成人推到儿童的两类方法:PBPK 按生理过程建模;异速缩放用“体重的 0.75 次方”等比例规则 |
| I² | 元分析中衡量各研究之间差异大小的指标 |
附录 D 检索范围与核验说明
本轮分两步:第一步按“问题 1、2、5 优先”检索约 35 次;第二步核验第一步只读了摘要或题录未核的文献,并补查问题 1、2、5,又用了约 50 次。两步都没有耗尽检索额度。
本修订版没有新增检索。 新增的内容来自两处:一是《激活强度》方案对三个任务代码的审计和推导(其中“新消息听不进去”的等价式已在过街代码上做过数值验证);二是交通研究中“预判抵消延迟”的两篇文献(Treiber 等 2006;Kesting & Treiber 2008),转引自《跨任务激活规则-分阶段实施计划》,本轮未重新核验。
- 较充分:解释性 IRT 与认知设计系统、题目难度预测、特征标注的效标验证;算法选择的实例特征与任务嵌入;行为预测竞赛中理论与数据的混合;药物计量的协变量外推,含机理模型与经验缩放的直接对比;灰箱建模;上下文 RL;资源理性与有界最优;跨任务验证,含泛化准则、完备度、LOO 不确定性、预测区间覆盖、分布层面的评分。
- 较浅:问题 3(稀疏选择、标定任务)、问题 4(跨数据集摊销推断、高维 θ 的策略覆盖)、问题 6(公开数据集),主要依赖补充说明中的来源。
- 未检索,不作结论:机器人技能库的组合泛化;认知架构默认参数的跨任务稳定性(只核到 Salvucci 2006 的 ACT-R 驾驶模型摘要);基于模型的荟萃分析(MBMA)的原始文献。
- 仍未读全或未核完:Hutter 等 2014 的特征贡献表(Table 3)没有读到;Plonsky 等 2025 的数字取自 arXiv 工作稿,正式版正文未读;Jones & Nachtsheim 2011 的卷期;Meta-World 的会议版本;Embretson 认知设计系统的原始文献(只读到综述转述)。其余见参考文献中的标注。
- 已弃用的数字:第一版引用过“儿科不同年龄段估计的异速指数从 0.2 到 2.01”,来源是一篇博士论文的综述(二手),未能在原始文献中核到,本文不再使用,改以 Calvier 等 2017 的结论为准。原出处
- 文件夹中同名不带 -v2 的文件是第一版,内容已全部并入本文,不必再读。
附录 E 正文各表的技术版
正文为了好读,省略了下标和部分技术细节。本附录保留完整写法,供实现时查对。
E.1 规则的完整写法
主干(R0,资源理性):
θ*_{m,k,p} = argmax_θ [ Ṽ_{k,p}(θ) − λ_m · C_m(θ) ]
Ṽ_{k,p}(θ):任务 k(阶段 p)上参数条件化策略在 θ 下的归一化好处,Ṽ = 1 − ℓ,模拟得到
C_m(θ):机制 m 的代价,限制越轻越大
P2:C = ½·log₂(1 + S_k/σ²);B2:C = (1−ρ)·Ī_k;E1:C = c/τ
λ_m:价格。由训练任务的一阶条件倒算:λ̂_k = Ṽ_k′(θ̂_k) / C_m′(θ̂_k),再跨训练任务平均
一刀切的另外三条(对照):
R-物理:θ_{m,新} = mean_k θ̂_{m,k}
R-信息:θ_{m,新} = (T^f_{m,新})⁻¹( mean_k f_{m,k}(θ̂_{m,k}) )
R-代价:θ_{m,新} = (T^ℓ_{m,新})⁻¹( mean_k ℓ_{m,k}(θ̂_{m,k}) )
T^f、T^ℓ:任务自己的换算表,只用模拟器算
R1:λ_{m,k} = exp(α_m + β_m · x_k)
R2(混合,即 v2 推荐的写法):
θ_{i,m,k,p} = h⁻¹( a_m + η_m·ψ_m(k,p; λ) + Σ_j b_{mj}·z_j(x_{k,p}) + v_{m,k,p} + u_{i,m,k} )
ψ_m(k,p; λ):R0 算出的最划算强度(v2 称“规范预测”;v2 写作 argmax[J + Σλ·r],r = −C)
b_mj ~ 正则化马蹄先验(预期非零个数 p0 由先验给定),符号约束来自机制语义
v_{m,k,p} ~ N(0, τ_m²),τ_m ~ 半 t,尺度由先验预测检查确定
u:个人偏离,现阶段暂缓
下标:i 个人、m 机制、k 任务、p 阶段。h⁻¹ 是有界链接函数。正则化马蹄先验和半 t 先验的含义见附录 C。
E.2 混合规则各部件的文献依据
表 E1 混合规则各部件的文献依据
| 部件 | 依据 | 等级 |
|---|---|---|
| 特征→参数的加性规则加误差项 | LLTM 带误差项(Janssen 等 2004);De Boeck 2008 的 87.5%(上轮) | 已验证 |
| 理论固定骨架加估计的校正 | 儿科清除率的标准模型,推荐标准化参数化(Germovsek 2017);没有普适的异速指数,年龄越小固定指数的偏差越大(Calvier 等 2017) | 已验证 |
| 预测分布含任务间异质性,少组时先验敏感 | Higgins 等 2009;Gelman 2006;Polson & Scott 2012 | 已验证 |
| 稀疏系数,按预期非零数设先验 | Piironen & Vehtari 2017 | 已验证 |
| 规范先验缩小预测空间 | Howes 等 2009 | 已验证 |
| 资源理性:强度是好处与代价的最优取舍,跨任务共享价格 | Lieder & Griffiths 2020 给出框架;价格跨任务稳定的证据矛盾(Mækelæ 等 2023;Crawford 等 2022) | 框架已验证;用于认知机制强度待实验 |
| 理论预测作输入,数据少时价值最大 | BEAST-GB:去掉理论特征在 CPC18 上 MSE 翻倍,在 choices13k 上不显著;176 道题训练即优于全数据训练的神经网络(Plonsky 等 2025) | 已验证·工作稿 |
| 网络只估不可测参数、输出由机理模型产生:外推更好、样本更省 | Psichogios & Ungar 1992 | 已验证·仅摘要 |
| 理论骨架在过程稳定处可靠;过程变化处要校正,校正不能跨对象迁移 | Calvier 等 2017;Centanni 等 2024;Malik & Edginton 2019 | 已验证 |
| 以上部件合在一起用于认知机制强度 | — | 推断待实验 |
E.3 基线与指标
表 E2 基线与对照(技术版)
| 编号 | 基线 | 做法 | 是否零样本 | 作用 |
|---|---|---|---|---|
| B0 | 全部机制关闭 | θ=0,基础策略原样 | 是 | 下限,说明机制有必要 |
| B1 | 同一个物理强度(R-物理) | 每个机制一个跨任务共享常数(物理单位),在训练任务上拟合 | 是 | 不借策略的一刀切;价格规则必须胜过它 |
| R-信息 | 同一个决策错位率 | 取训练任务 f 的平均,用留出任务的换算表 T^f 变回 θ | 是 | 与价格规则比较“跨任务不变的是什么” |
| R-代价 | 同一个好处损失 | 取训练任务 ℓ 的平均,用留出任务的换算表 T^ℓ 变回 θ | 是 | 同上 |
| R-资源理性 | 同一个价格(主线规则) | 由训练任务的一阶条件倒算 λ̂,在留出任务的好处曲线上取最优点 | 是 | 被检验的规则 |
| B2 | 常数需求加任务间异质性 | 同 B1,但预测分布含 τ | 是 | 检验特征是否比“只知道任务间有差异”提供更多信息 |
| B3 | 逐任务拟合上限 | 在被留出的任务上用其人类数据拟合(可含阶段变化) | 否 | 上限,闭合比例的分母 |
| B4 | 打乱特征伪对照 | 训练与预测时把 x_{k,s} 在 (k,s) 间置换,保持边缘分布和参数个数 | 是 | 等灵活度;g 须显著优于 |
| B5 | 特征互换 | 给留出任务使用另一个任务的特征 | 是 | 检验特征是否真携带任务信息 |
| B6 | 嵌套对比 | 纯规范(η=1,b=0);纯描述(η=0) | 是 | 分别评估规范项与描述项的边际贡献 |
| B7 | 人—人噪声底 | 同一任务内人类被试随机对半拆分,计算两半之间的分布距离 | — | 可达到的距离量级;区分“差距”与“抽样噪声” |
| B8 | 最近邻任务迁移 | 用特征空间中最近的训练任务(或若干近邻的加权)在对应阶段拟合得到的 θ 作为预测 | 是 | 对应行为预测中的“直接经验泛化”,检验 g 的函数形式是否胜过“找个相似任务照搬”。Plonsky 等的结果中,53 个行为模型都没赢过这条基线 |
| B9 | 零拟合理论 | 只用规范项,λ 取先验均值,不用任何人类数据 | 是 | 对应 Jokinen 等 2021 式的零拟合预测,衡量“理论本身”离人类多远 |
表 E3 群体层面的保真度指标(技术版)
| 指标 | 定义 | 说明 |
|---|---|---|
| 预注册统计量向量 T | 分阶段的行为统计量(延迟类、轨迹类、事件时序类等),拟合前冻结 | 沿用上轮的行为指纹 |
| 分布距离 | 对标准化后的 T 用最大均值差异(MMD,Gretton 等 2012);对一维统计量用 Wasserstein-1 距离 | MMD 是分布间的积分概率度量,可做两样本检验已验证;Wasserstein-1 为标准量,本轮未专门检索。作辅助指标:它比较两个样本,不直接为“预测分布”打分 |
| 适当评分规则 | 以零样本预测分布为留出人类样本打分:多维统计量用能量得分,一维用 CRPS 或对数得分 | 严格适当的评分规则保证“报告真实的预测分布”时期望得分最优(Gneiting & Raftery 2007;仅核题录,内容据其通行用法)。建议作主指标 |
| 逐统计量近似似然 | 对每个统计量,用 N 次模拟展开拟合直方图,计算人类观测值的对数似然,再按预注册的权重汇总 | WOSAC 的做法:每场景 32 次展开、9 个特征、用直方图而非核密度,在 44,920 个留出场景上评估;日志回放本身也拿不到满分,相当于“噪声底”已验证 |
| 预测区间覆盖 | 零样本预测分布(含 v、u 与有限样本变异)对留出人类样本的 PIT/秩直方图;名义 80%/90% 区间的实际覆盖 | 对应“新研究的预测区间”概念(Higgins 等 2009);估计器本身的校准用上轮的模拟校准检验 |
| 补齐比例(主指标) | 补齐 = (D_B0 − D_g) ÷ (D_B0 − D_B3);每个“机制 × 规则 × 留出任务”一个值 | 用于 3 个任务时比较四条一刀切规则(《激活强度》方案 3.4 节);B1 本身是候选之一,所以起点取 B0 |
| 完备度与归一化闭合比例 | 完备度 = (D_naive − D_g) ÷ (D_naive − D_irr),D_naive 取 B1,D_irr 取噪声底 B7;闭合比例 = (D_B1 − D_g) ÷ (D_B1 − D_B3) | 完备度即模型捕获的可预测变异比例(Fudenberg 等 2022);BEAST-GB 以朴素基线和不可约噪声为两端报告完备度已验证。闭合比例类比算法选择的“最佳单一→逐实例最优”(ASlib:77%→92%)。分母不超过噪声底 B7 时不报告 |
| 策略质量检查 | 每个任务报告基础策略的任务表现与人类任务表现之差 | 防止把策略训练差异误当作规则失效 |
E.4 估计层方法
表 E4 估计层方法与策略训练覆盖(技术版;本轮检索较浅)
| 编号 | 方法 | 做法 | 优点 | 局限 | 依据 |
|---|---|---|---|---|---|
| E1 | 两阶段:逐任务摊销 NPE,再对 θ 后验做元回归 | 先得到每个任务/阶段的 θ 后验,再以其为“带不确定性的观测”回归到 x | 实现简单,可复用上轮的逐任务推断 | 两阶段法的个体间变异估计有偏(Sheiner & Beal 1980,上轮);先验可能被重复计入推断 | 上轮 |
| E2 | 联合分层摊销推断 | 从完整生成模型(规则参数→v→θ→策略→行为)模拟多任务数据集,训练一个网络直接输出规则参数的后验 | 一次摊销,推断时毫秒级;能同时给出 τ | 训练数据集需包含不同任务数的情形;任务专属策略使模拟昂贵 | Habermann 等 2025(上轮);Rodrigues 等 2021:利用共享全局参数的辅助观测消解不确定性,并已用于真实 EEG 数据已验证 |
| E3 | 神经似然按任务分解、对数似然相加 | 每个任务学 p(统计量|θ, x),跨任务相加后做 MCMC;任务间条件独立 | 天然支持任意多个任务与观测;便于逐折重算(留一任务) | 需要先对 v、u 做边缘化;似然估计误差累积 | Geffner 等 2023:神经后验估计处理多个观测代价大,神经似然可在推断时聚合多个观测,其提出的组合式得分模型兼得二者之长已验证 |
| E4 | 策略训练覆盖高维 θ | 对 θ 随机屏蔽(给 θ=0 留概率质量);每任务只开启筛选后的少数机制;单一网络覆盖整个偏好空间;用有界链接函数把 g 的输出限制在策略训练支持内 | 防止规则产出策略没见过的 θ | 高维 θ 下的训练覆盖没有证据,MORL 的实验只在 4 个领域,未见高维偏好空间的覆盖结果 | 补充说明(随机屏蔽);Yang 等 2019;有界链接函数为推断 |
注意:E3 对“留一任务”最方便:去掉某个任务只需去掉它的对数似然项,不必重训网络。E2 需要在训练集中包含不同任务子集,或在推断时遮蔽对应任务。
E.5 “需要多少任务”的参照锚点
表 E5 “需要多少任务”的参照锚点(技术版)
| 锚点 | 来源 | 数字 | 含义 |
|---|---|---|---|
| 元回归经验法则 | Cochrane Handbook;Viechtbauer 评论;AHRQ(经综述转述) | 每协变量 ≥10 项研究;AHRQ:连续 6–10、分类 ≥4 | 无实证来源;是下限提示 |
| 元强化学习 | Meta-World ML10 | 10 个训练任务→5 个留出任务:训练 86.9%,留出 31.6%–35.8% | 少任务下学出的映射泛化差 |
| 过程化关卡泛化 | CoinRun、Procgen | 相当大的训练集仍过拟合;泛化协议用 500 关 | 学习型映射需要远多于个位数的单位 |
| 跨实验统一建模 | Centaur | 160 个实验 | 黑箱路线的规模量级 |
| Q 矩阵可辨识 | Gu & Xu;Chen 等(上轮) | 每属性一个纯探针,且 ≥3 次出现 | 任务数 ≥ M+⌈2M/r⌉(见 6.3) |
| 分层模型的组数 | Gelman 2006 | 3 组时,均匀先验下组间标准差的后验有极长右尾;1–2 组时后验不可积;建议半 Cauchy 等弱信息先验 | K=3 时 τ 由先验决定 |
| 预测区间覆盖 | Partlett & Riley 2017 | 仅在 I²>30% 且研究规模相近时合格;加研究数不能稳定改善 | 少任务时必须用模拟检查覆盖 |
| 留一情境检验 | Plonsky 等 2025 | 16 个实验情境、828 个可比实例 | 情境级泛化主张的参照规模 |
附录 F 参考文献
正文按“作者+年份”引用。只读到摘要或搜索摘录的条目已标注;卷期、DOI 未核实的也已标注。
- Achille, Lam, Tewari, Ravichandran, Maji, Fowlkes, Soatto & Perona (2019). Task2Vec: Task Embedding for Meta-Learning. ICCV 2019, 6429–6438. DOI 10.1109/ICCV.2019.00653. arXiv:1902.03545(仅读摘要)
- Ahn, Busemeyer, Wagenmakers & Stout (2008). Comparison of decision learning models using the generalization criterion method. Cognitive Science, 32(8), 1376–1402. DOI 10.1080/03640210802352992(仅读摘要)
- Bediwy & Mojoyinola (2026). Validating LLM-Rated Item Features for Explanatory Item Response Models. Proceedings of AIME-Con 2026: Works in Progress, 382–388. ACL Anthology(读了摘要中的主要数字;全文未读)
- Benedetto (2023). A quantitative study of NLP approaches to question difficulty estimation. AIED 2023(CCIS 1831). arXiv:2305.10236. arXiv(单一作者;仅读摘要)
- Benedetto, Cremonesi, Caines, Buttery, Cappelli, Giussani & Turrin (2023). A Survey on Recent Approaches to Question Difficulty Estimation from Text. ACM Computing Surveys, 55(9), Article 178. DOI 10.1145/3556538. DOI
- Benjamins, Eimer, Schubert, Mohan, Döhler, Biedenkapp, Rosenhahn, Hutter & Lindauer (2023). Contextualize Me – The Case for Context in Reinforcement Learning. Transactions on Machine Learning Research (06/2023). arXiv:2202.04500. arXiv
- Binz, Akata, Bethge, Brändle, Callaway, Coda-Forno, Dayan 等 (2025). A foundation model to predict and capture human cognition. Nature, 644(8078), 1002–1009. DOI 10.1038/s41586-025-09215-4. Nature
- Bischl, Kerschke, Kotthoff, Lindauer, Malitsky, Fréchette, Hoos, Hutter, Leyton-Brown, Tierney & Vanschoren (2016). ASlib: A benchmark library for algorithm selection. Artificial Intelligence, 237, 41–58. DOI 10.1016/j.artint.2016.04.003. arXiv:1506.02465(已核卷期)
- Bourgin, Peterson, Reichman, Griffiths & Russell (2019). Cognitive model priors for predicting human decisions. ICML 2019, PMLR 97, 5133–5141. arXiv:1905.09397(读了摘要;PMLR 页码经 choices13k 仓库的引用信息获得)
- Busemeyer & Wang (2000). Model comparisons and model selections based on generalization criterion methodology. Journal of Mathematical Psychology, 44(1), 171–189. DOI 10.1006/jmps.1999.1282. PDF(仅读摘要)
- Calvier, Krekels, Välitalo, Rostami-Hodjegan, Tibboel, Danhof & Knibbe (2017). Allometric scaling of clearance in paediatric patients: When does the magic of 0.75 fade? Clinical Pharmacokinetics, 56(3), 273–285. DOI 10.1007/s40262-016-0436-x. PMC5315734(读了摘要与要点)
- Centanni, Zaher, Elhad, Karlsson & Friberg (2024). Physiologically-based pharmacokinetic models versus allometric scaling for prediction of tyrosine-kinase inhibitor exposure from adults to children. Cancer Chemotherapy and Pharmacology. DOI 10.1007/s00280-024-04678-0. PMC11390758(仅读摘要;卷期未核)
- Cobbe, Hesse, Hilton & Schulman (2020). Leveraging Procedural Generation to Benchmark Reinforcement Learning. arXiv:1912.01588. arXiv
- Cobbe, Klimov, Hesse, Kim & Schulman (2019). Quantifying Generalization in Reinforcement Learning. ICML 2019. PDF 副本(仅读摘要)
- Cochrane Handbook for Systematic Reviews of Interventions, Chapter 10, §10.11.5.1. 在线(引文经 Viechtbauer 2022-03-28 在 R-sig-meta-analysis 邮件列表的转引读取;该评论指出此法则无实证支持。存档)
- Crawford, Eisenstein, Peelle, …, Braver (2022). Domain-general cognitive motivation: Evidence from economic decision-making – Final Registered Report. Cognitive Research: Principles and Implications, 7, 23. DOI 10.1186/s41235-022-00363-z. Springer(已核标题;中间作者未列全;读了结果部分的主要数字)
- De Boeck & Wilson (eds.) (2004). Explanatory Item Response Models. Springer. DOI 10.1007/978-1-4757-3990-9. 其中第 6 章:Janssen, Schepers & Peres. Models with item and item group predictors. DOI 10.1007/978-1-4757-3990-9_6. Springer(仅读摘要)
- Eisenberg, Bissett, Enkavi, Li, MacKinnon, Marsch & Poldrack (2019). Uncovering the structure of self-regulation through data-driven ontology discovery. Nature Communications. DOI 10.1038/s41467-019-10301-1. PMC(参与者与任务数据来自新闻稿 EurekAlert)
- Erev, Ert, Plonsky, Cohen & Cohen (2017). From anomalies to forecasts: Toward a descriptive model of decisions under risk, under ambiguity, and from experience. Psychological Review, 124(4), 369–409. DOI 10.1037/rev0000062(仅读摘要)
- Fischer (1973). The linear logistic test model as an instrument in educational research. Acta Psychologica, 37(6), 359–374. DOI 10.1016/0001-6918(73)90003-6(已核题录;正文未读)
- Fudenberg, Kleinberg, Liang & Mullainathan (2022). Measuring the completeness of economic models. Journal of Political Economy, 130(4), 956–990. DOI 10.1086/718371. EconPapers(读了摘要,以及第一作者讲稿中的定义)
- Geffner, Papamakarios & Mnih (2023). Compositional Score Modeling for Simulation-Based Inference. ICML 2023, PMLR 202, 11098–11116. PMLR
- Gelman (2006). Prior distributions for variance parameters in hierarchical models (comment on article by Browne and Draper). Bayesian Analysis, 1(3), 515–534. DOI 10.1214/06-BA117A. PDF(读了第 4.2、5.2、7.1 节)
- Germovsek, Barker, Sharland & Standing (2017). Scaling clearance in paediatric pharmacokinetics: All models are wrong, which are useful? British Journal of Clinical Pharmacology, 83(4), 777–790. DOI 10.1111/bcp.13160. PMC
- Gneiting & Raftery (2007). Strictly proper scoring rules, prediction, and estimation. Journal of the American Statistical Association, 102(477), 359–378. DOI 10.1198/016214506000001437(仅核题录;正文本轮未读)
- Gretton, Borgwardt, Rasch, Schölkopf & Smola (2012). A Kernel Two-Sample Test. JMLR, 13, 723–773. JMLR
- Gulrajani & Lopez-Paz (2021). In Search of Lost Domain Generalization. ICLR 2021. arXiv:2007.01434. arXiv
- Higgins, Thompson & Spiegelhalter (2009). A re-evaluation of random-effects meta-analysis. JRSS-A, 172(1), 137–159. DOI 10.1111/j.1467-985X.2008.00552.x. PMC
- Howes, Lewis & Vera (2009). Rational adaptation under task and processing constraints: Implications for testing theories of cognition and action. Psychological Review, 116(4), 717–751. NASA 副本
- Hutter, Xu, Hoos & Leyton-Brown (2014). Algorithm runtime prediction: Methods & evaluation. Artificial Intelligence, 206, 79–111. DOI 10.1016/j.artint.2013.10.003. arXiv:1211.0906(读了摘要与第 1–5 节;第 6–9 节结果与 Table 3 未读到)
- Jones & Nachtsheim (2011). A Class of Three-Level Designs for Definitive Screening in the Presence of Second-Order Effects. 期刊卷期未核(据记忆为 Journal of Quality Technology)。PDF(仅读摘要)
- Kaufman, Rosset, Perlich & Stitelman (2012). Leakage in data mining: Formulation, detection, and avoidance. ACM Transactions on Knowledge Discovery from Data, 6(4), 1–21. DOI 10.1145/2382577.2382579(仅核题录)
- Kirk, Zhang, Grefenstette & Rocktäschel (2023). A survey of zero-shot generalisation in deep reinforcement learning. Journal of Artificial Intelligence Research. DOI 10.1613/jair.1.14174. arXiv:2111.09794(仅读摘要:作者建议不要只靠程序化生成来设计泛化基准;正文未引用具体结论)
- Lieder & Griffiths (2020). Resource-rational analysis: Understanding human cognition as the optimal use of limited computational resources. Behavioral and Brain Sciences, 43, e1. DOI 10.1017/S0140525X1900061X. PDF(仅读摘要)
- Luo & Yang (2024). Frontiers in Psychology. DOI 10.3389/fpsyg.2024.1353419(题名未核;内容为认知设计系统题库在计算机化自适应测验中用预测难度与标定难度的模拟比较;仅读摘要)
- Mahmood, Staschen & Goteti (2014). Prediction of drug clearance in children: an evaluation of the predictive performance of several models. The AAPS Journal, 16(6), 1334–1343. DOI 10.1208/s12248-014-9667-7. PMC4389735(仅读摘要)
- Malik & Edginton (2019). Physiologically-based pharmacokinetic modeling vs. allometric scaling for the prediction of infliximab pharmacokinetics in pediatric patients. CPT: Pharmacometrics & Systems Pharmacology, 8(11), 835–844. DOI 10.1002/psp4.12456. PMC6875711(读了摘要与引言摘录)
- Miyake & Friedman (2012). The nature and organization of individual differences in executive functions: Four general conclusions. Current Directions in Psychological Science, 21(1), 8–14. DOI 10.1177/0963721411429458. PDF 副本(已核题录;任务不纯与潜变量做法见文内摘录)
- Montali, Lambert, Mougin, Kuefler, Rhinehart, Li, Gulino, Emrich, Yang, Whiteson, White & Anguelov (2023). The Waymo Open Sim Agents Challenge. NeurIPS 36, Datasets and Benchmarks Track. arXiv:2305.12032. NeurIPS(读了评估方法部分)
- Musslick & Cohen (2021). Rationalizing constraints on the capacity for cognitive control. Trends in Cognitive Sciences, 25(9), 757–775. DOI 10.1016/j.tics.2021.06.001. 页面(仅读摘要)
- Mækelæ, Klevjer, Westbrook, Eby, Lima-Eriksen & Pfuhl (2023). Is it cognitive effort you measure? Comparing three task paradigms to the Need for Cognition scale. PLOS ONE, 18(8), e0290177. DOI 10.1371/journal.pone.0290177. PubMed(已核题录;仅读摘要)
- Partlett & Riley (2017). Random effects meta-analysis: Coverage performance of 95% confidence and prediction intervals following REML estimation. Statistics in Medicine, 36(2), 301–317. DOI 10.1002/sim.7140. Keele(仅读摘要)
- Pearl & Bareinboim (2014). External validity: From do-calculus to transportability across populations. Statistical Science, 29(4), 579–595. DOI 10.1214/14-STS486. Project Euclid
- Peterson, Bourgin, Agrawal, Reichman & Griffiths (2021). Using large-scale experiments and machine learning to discover theories of human decision-making. Science, 372(6547), 1209–1214. DOI 10.1126/science.abe2629. PDF(仅读摘要)
- Piironen & Vehtari (2017). Sparsity information and regularization in the horseshoe and other shrinkage priors. Electronic Journal of Statistics, 11(2), 5018–5051. DOI 10.1214/17-EJS1337SI. DOI
- Plonsky, Apel, Ert, Tennenholtz, Bourgin, Peterson, Reichman, Griffiths, Russell, Carter, Cavanagh & Erev (2025). Predicting human decisions with behavioural theories and machine learning. Nature Human Behaviour, 9(11), 2271–2284. DOI 10.1038/s41562-025-02267-6. arXiv:1904.06866(数字取自 arXiv v3 工作稿,2025-03-28;正式版正文未读,数字可能有出入。情境数在工作稿方法部分为 16 个,讨论部分写作 15 个)
- Poldrack, Kittur, Kalar, Miller, Seppa, Gil, Parker, Sabb & Bilder (2011). The cognitive atlas: toward a knowledge foundation for cognitive neuroscience. Frontiers in Neuroinformatics, 5, 17. DOI 10.3389/fninf.2011.00017. Frontiers(“锚定在测量层”一句出自 RRID 资源摘要)
- Polson & Scott (2012). On the half-Cauchy prior for a global scale parameter. Bayesian Analysis, 7(4), 887–902. DOI 10.1214/12-BA730. arXiv:1104.4937(已核题录;仅读摘要)
- Psichogios & Ungar (1992). A hybrid neural network–first principles approach to process modeling. AIChE Journal, 38(10), 1499–1511. DOI 10.1002/aic.690381003(仅读摘要)
- Psych-101 数据集页面。Hugging Face(读取了许可、规模与格式)
- Riha, Jedhoff, Bürkner & Vehtari (2026). Approximating Bayesian leave-one-group-out cross-validation. arXiv:2609.05713(预印本,2026-09-04)。arXiv(仅读摘要);以及 Vehtari 的层级模型交叉验证案例研究 Aalto
- Roberts 等 (2017). Cross-validation strategies for data with temporal, spatial, hierarchical, or phylogenetic structure. Ecography, 40(8), 913–929. DOI 10.1111/ecog.02881. DOI
- Rodrigues, Moreau, Louppe & Gramfort (2021). HNPE: Leveraging Global Parameters for Neural Posterior Estimation. NeurIPS 2021. arXiv:2102.06477. arXiv
- Salvucci (2006). Modeling driver behavior in a cognitive architecture. Human Factors, 48(2), 362–380(仅读摘要)
- Sivula, Magnusson, Matamoros & Vehtari (2025). Uncertainty in Bayesian leave-one-out cross-validation based model comparison. Bayesian Analysis(在线优先,卷期未定). DOI 10.1214/25-BA1569. arXiv:2008.10296(已核作者与发表信息;仅读摘要)
- Smith-Miles & Bowly (2015). Generating new test instances by evolving in instance space. Computers & Operations Research, 63, 102–113. Monash(仅读摘要)
- Tack, Buseyne, Chen, D'hondt, De Vrindt, Gharahighehi, Metwaly, Nakano & Noreillie (2024). ITEC at BEA 2024 Shared Task: Predicting Difficulty and Response Time of Medical Exam Questions with Statistical, Machine Learning, and Language Models. BEA 2024, 512–521. ACL Anthology(已核题录;仅读摘要)
- VACP 相关:Comprehensive Modeling and Evaluation of Workload in Driving Simulation Using the VACP Paradigm。AHFE 开放获取会议论文(作者与年份未核)。链接(仅读摘要)。VACP 为军用航空开发、推广到其他工作需另行验证的讨论,见 Human Aspects of Transportation III(AHFE 2022)中介绍 OWAT 方法的论文(题名与作者未核)。链接。VACP 原始来源 McCracken & Aldrich (1984) 经上述文献转引,未核。
- van Rongen, Krekels, Calvier, de Wildt, Vermeulen & Knibbe (2022). An update on the use of allometric and other scaling methods to scale drug clearance in children: Towards decision tables. Expert Opinion on Drug Metabolism & Toxicology, 18(2), 99–113. DOI 10.1080/17425255.2021.2027907(仅读摘要)
- Wickens (2002). Multiple resources and performance prediction. Theoretical Issues in Ergonomics Science, 3(2), 159–177. DOI 10.1080/14639220210123806. CORE 摘要;Wickens (2008). Multiple resources and mental workload. Human Factors. DOI 10.1518/001872008X288394. SWOV 摘要
- Woody, Ghaffari & Hund (2019). Bayesian Model Calibration for Extrapolative Prediction via Gibbs Posteriors. arXiv:1909.05428. arXiv;Sire, Garnier, Durantin, Kerleguer, Defaux & Perrin. Bayesian Calibration for Prediction in a Multi-Output Transposition Context. arXiv:2410.00116. arXiv(已核作者;后者 DOI 10.1615/Int.J.UncertaintyQuantification.2025056586 指向 International Journal for Uncertainty Quantification,卷期未核;均仅读摘要)
- Yaneva, North, Baldwin, Ha, Rezayi, Zhou, Ray Choudhury, Harik & Clauser (2024). Findings from the First Shared Task on Automated Prediction of Difficulty and Response Time for Multiple-Choice Questions. BEA 2024, 470–482. ACL Anthology(数字取自对全文的抓取摘录)
- Yang, Sun & Narasimhan (2019). A Generalized Algorithm for Multi-Objective Reinforcement Learning and Policy Adaptation. NeurIPS 32. NeurIPS
- Yu, Quillen, He, Julian, Narayan, Shively, Bellathur, Hausman, Finn & Levine (2019). Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning. arXiv:1910.10897. arXiv(已核作者;会议版本未核;数字取自 arXiv 版图注,其他版本和榜单页给出的数字不同)
- 认知设计系统与自动出题的二手来源:Automatic Item Generation of Figural Analogy Problems: A Review and Outlook. arXiv:2201.08450. arXiv(作者未核,读了 2.2 节);以及 Frontiers in Psychology 2019 年一篇自动出题研究的引言,DOI 10.3389/fpsyg.2019.00884(题名与作者未核)。两者转述了 Embretson(1998)的认知设计系统,原始文献本轮未读。
- 诊断试验准确度元分析的异质性研究综述(转述 Cochrane 与 AHRQ 对协变量数的建议)。arXiv:2603.10686。arXiv(仅读相关段落)
上轮已引、本轮复用(括号内为上轮报告的参考文献编号):De Boeck (2008) #28;Gu & Xu (2021) #42;Chen, Liu, Xu & Ying (2015) #22;Hedge, Powell & Sumner (2018) #46;Habermann 等 (2025) #44;Sheiner & Beal (1980) #105;Ribbing & Jonsson (2004) #97;Fawcett & Hoos #36;Callaway 等 (2022) #19;Kennedy & O'Hagan (2001) #58;Zhang 等 (2019) #127;Gold 等 (2018) #40;Markkula 等 (2016) #78;Behrens 等 (2007) #9;Penny 等 (2010) #90;Schröder & Macke (2024) #102;Talts 等 (2018) #113;Lieder 等 (2018) #72;Jokinen 等 (2021) #53;Cornelisse & Vinitsky (2024) #26。
本修订版新增
- Kesting & Treiber (2008). Calibrating car-following models by using trajectory data: Methodological study. Transportation Research Record, 2088, 148–156. DOI 10.3141/2088-16. arXiv:0803.4063(转引自《跨任务激活规则-分阶段实施计划》,本轮未重新核验)
- Treiber, Kesting & Helbing (2006). Delays, inaccuracies and anticipation in microscopic traffic models. Physica A, 360, 71–88.(同上)
- Nassar, Wilson, Heasly & Gold (2010). An approximately Bayesian delta-rule model explains the dynamics of belief updating in a changing environment. Journal of Neuroscience, 30(37), 12366–12378.(引自《激活强度》方案)
- Shadmehr, Huang & Ahmed (2016). A representation of effort in decision-making and motor control. Current Biology, 26(14), 1929–1934.(同上)
- Sims (2003). Implications of rational inattention. Journal of Monetary Economics, 50(3), 665–690.(同上)
附录 G 人工任务特点的细节(原 v2 第四部分)
这些内容在 v2 里是正文第四部分。按本版主线,人工任务特点只在任务多了以后作少量修正,所以移到这里备查。读的时候注意一点:G.2 表里的“可靠”指客观、不偷看答案,不是指能反映策略。第③类“模拟器算出的量”在本版里是规则的主干,不只是特征之一。
G.1 好特征要满足什么
特征是描述任务或任务阶段的数。比如“剩余时间 ÷ 完成动作最少需要的时间”,可以描述接管任务每个阶段有多紧迫。
好特征要满足三条:
- 能跨任务比较,不依赖单位。 阅读的时间以毫秒计,过街的时间以秒计,直接比秒数没有意义。要用比值,比如可用时间 ÷ 最少需要的时间、信号强度 ÷ 噪声、容许误差 ÷ 动作幅度。
- 能客观测量。 写成任务规格里的参数(时间预算、距离、概率),不要写成“难不难”这类主观判断。认知科学的任务本体库 Cognitive Atlas 也是这样做的:任务用可操作的参数来描述,而不是用概念来描述已验证·仅摘要。
- 不包含人在这个任务上的表现。 如果先用“这个任务的成功率低”来定义“任务难”,再用“任务难”去预测人的表现,等于先偷看了答案。
另外几条做法:
- 阶段以事件为界。 沿用上轮的做法:比如接管任务按“接管请求 → 第一次操作 → 开始换道 → 换道完成”划分阶段,而不是按固定秒数切。特征里还可以加上“离最近一个事件过了多久”。
- 事先登记。 特征的定义和取值,在接触新任务的人类数据之前写下来,之后不再改。
- 事先写好方向。 如果机制的含义能给出方向(例如“越紧迫,执行延迟越小”这样的假设),就在规则里规定系数的正负;拿不准的就不规定。
G.2 特征从哪里来:按可靠性排序
| 排序 | 来源 | 你们任务里的例子 | 可靠程度 | 说明 |
|---|---|---|---|---|
| ① | 实验设计变量 | 接管时间预算、车距与车速、词长、有无次任务 | 最可靠 | 由设计者决定,客观、不花额外成本。教育测量里,按理论设计的题目特征能解释大部分难度差异(上轮:87.5%) |
| ② | 仪器、日志记录 | 眼动、位置、碰撞时间(TTC)、事件时间戳 | 可靠 | 要确认里面没混进人的表现结果 |
| ③ | 模拟器算出的量 | 只打开某个机制时行为变化多少(机制敏感度);理论算出的 ψ;关闭所有机制时完成任务最少要多久 | 取决于模拟器 | 不需要人类数据。别的领域有类似做法已验证,用在机制上是推断 |
| ④ | 专家打分 | 请专家给每个任务的“视觉负荷”“认知负荷”打分 | 要先验证 | 一项研究里,4 位专家在 6 个特征中有 3 个的一致程度不超过随机;以专家共识为输入,预测题目难度的相关只有 0.33,最好的 AI 打分为 0.89已验证·仅摘要 |
| ⑤ | 程序读任务描述自动生成 | 用语言模型把任务说明转成一串数 | 效果有限 | 医学考试 667 道题的难度预测竞赛中,最好的成绩(误差 0.299)只比直接猜平均值(0.311)好一点已验证 |
| ⑥ | 由人的表现反推 | 用成功率、反应时定义“难度” | 禁止 | 等于偷看答案 |
为什么第③类值得重视。 别的领域有三个类似做法:
- 算法选择。 要预测某个求解程序在一道新题上要跑多久,先让一个便宜的程序在这道题上跑一小会儿,把跑的情况当作特征,叫“探针特征”。某一类程序的探针特征,常常能预测另一类程序的表现已验证。
- 任务嵌入(Task2Vec)。 把一个新任务的数据送进一个固定的神经网络,看网络的哪些部分对这个任务最敏感,把这种敏感模式当作任务的“指纹”,用来挑选最合适的预训练模型已验证·仅摘要。
- 赌博题预测。 第三部分例一里,理论对每道题的预测值本身就是一个特征;题目少时去掉它,误差翻倍已验证·工作稿。
对你们来说,对应的做法是:在新任务的模拟器里,把每个机制单独打开到某个强度,看关键行为(反应时、轨迹、事件时间)变化多大,得到每个机制的“敏感度”;再算出理论上最划算的强度 ψ。这些都不需要人类数据,执行前就能得到推断。
要注意:敏感度说明的是“这个机制能改变什么”,不等于“人在这个任务里需要开它”,这一点需要检验待实验。另外,ψ 的单位就是机制强度,在本版里它就是规则的主干;敏感度的单位是行为,更适合作为修正项里的特征推断。
G.3 候选特征清单
下面是候选特征。哪个特征对应哪个机制,大多还是假设,要靠后面的检查和检验来确定。
| 编号 | 特征 | 大白话 | 怎么得到 | 执行时拿得到吗 | 可能影响的机制 | 证据 |
|---|---|---|---|---|---|---|
| D1 | 相对紧迫度 | 剩下的时间够不够 | 剩余可用时间 ÷ 关闭所有机制时完成动作最少需要的时间 | 能:时间戳实时可得,最少时间可事先模拟 | 执行延迟、新证据抑制 | 紧迫度影响接管和制动时机有直接证据(上轮);“用比值”是推断 |
| D2 | 证据信噪比 | 看不看得清 | 由刺激的几何或物理量(距离、大小、对比度)经感知模型换算 | 需要几何记录 | 知觉噪声 | 阅读模型中有支持(上轮) |
| D3 | 环境变化快慢 | 情况会不会变、好不好预测 | 隐藏状态的转换概率 | 设计者知道;模型要从经验里推 | 新证据抑制 | 直接证据只来自非交通任务(上轮) |
| D4 | 动作精度要求 | 动作要多准、时间窗多窄 | 容许时间窗 ÷ 动作最短时间;落点容许误差 | 能 | 执行延迟 | 假设 |
| D5 | 同时做几件事的冲突 | 有没有次任务,它和主任务抢不抢同一种资源 | 按感知通道、处理阶段、编码方式,给主次任务的需求打分,算冲突 | 能 | 知觉噪声、执行延迟 | 多资源理论有支持已验证·仅摘要;和机制的关系是假设 |
| D6 | 出错后果是否严重 | 犯错代价有多大,各种错的代价是否差别很大 | 错误代价比,如碰撞对比延误 | 能 | 可能调节各个机制 | 假设 |
| D7 | 经验 | 做过几次了 | 试次序号、第几次接管 | 能 | 新证据抑制、执行延迟 | 有直接证据:重复接管会变快(上轮) |
| D8 | 模拟器算出的敏感度与 ψ | 这个机制在这个任务里能改变多少行为;理论上最划算的强度 | 见 G.2 | 能,事先算好 | 对应机制本身 | 别的领域有类似做法已验证;用到机制上是推断 |
| D9 | 阶段位置 | 现在处在哪个阶段,离上一个事件多久 | 离最近事件的时间或距离,按阶段长度归一 | 能 | 随阶段变化的机制 | 上轮 |
说明:D5 只在同时有主、次任务时才有意义(比如接管时还在做次任务);单纯阅读或过街时,它可能是常数。
G.4 特征进入规则之前的四道检查
“看起来合理”“专家意见一致”都不够。每个特征要过四道检查推断:
| 检查 | 做什么 | 为什么 |
|---|---|---|
| 1 可靠吗 | 两个人独立标注,看是否一致;模拟器算出的量,换随机种子看会不会变 | 一致是最起码的要求,但专家意见一致也可能一起错 |
| 2 能用吗 | 看这个特征在已有的任务和阶段之间有没有变化,和别的特征是不是几乎一样 | 在所有任务里取值都一样,或者和别的特征完全重复,就根本估不出它的作用。这类问题光看专家一致性是查不出来的已验证·仅摘要 |
| 3 有没有预测力 | 在已有任务内部,看这个特征能不能解释各阶段单独拟合出的强度为什么不同 | 教育测量里就是用“能不能还原出题目难度”来检验特征的 |
| 4 去掉会怎样 | 把一类特征整体去掉,看留一任务检验的成绩变差多少 | 赌博题预测研究就是这样确认理论特征重要的 |
只有 3 个任务时,第 3、4 道检查只能在任务内部的阶段之间做;跨任务的检查要等任务多了再做。
G.5 特征不能太多
规则里能放几个特征,取决于有多少行数据。3 个任务各 3 个阶段,只有 9 行。元分析有一条经验法则:每个特征至少要有 10 项研究。按这个标准,9 行连 1 个特征都不够。这条法则没有严格的依据,只能当作下限提示已验证。所以:
- 3 个任务时,需要估系数的修正特征最多 0–1 个;其余靠理论项,或者事先规定方向。
- 阶段层面的特征在任务内部有变化,可以用任务内的差异来估系数,不受任务数限制。但“任务内部的规律”不一定等于“任务之间的规律”,最好把特征拆成“任务平均值”和“任务内的变化”两部分分别估推断。
- 参照:算法运行时间预测的研究发现,往往 5–10 个特征就够用了,而那里有成百上千个实例已验证。你们的数据少了两个数量级,只能更省。
G.6 新任务超出范围时怎么办
如果新任务的某个特征取值远远超出已有任务的范围(比如已有任务的紧迫度都在 0.2–0.6,新任务是 0.95),规则就是在“外推”,可信度会下降。建议:
- 事先检查新任务的每个特征,是否落在已有任务的范围内;
- 超出范围、而且这个特征在规则里确实起作用时,只报告一个放宽了的误差范围,并标明“外推”,不给单一数值推断。
别的领域也这样做。算法选择研究会把已有实例画在特征空间里,标出没覆盖到的区域已验证;儿童用药为每种推算方法规定适用的年龄和药物类型,不适用就换方法已验证·仅摘要。