01 · Ontology + learning interface
先算清 world-side unit outcome,再解释 learner 如何预测
每个 observation 实际来自一个 latent modeled unit。世界侧先有 \(U=u^\star\): 给定 predictors \(X=x\) 与 event realization \(E=e\),真实 outcome 是 \(Y=f_\theta(x,e;u^\star)\)。样本编号不参与这次计算。
actual token embedding $u$ 稳定且唯一,这是 modeling assumption,不是 one-shot data 已经识别出的 latent coordinate;可逆重参数化仍然给出等价表示。
- \(O\):一般任务中的 admissible evidence;ordinary regression 默认 \(O=X=x\)。
- $U=u^\star$:model-level selector 的 actual token/unit embedding realization。
- $q_\phi(du\mid O):=\mathcal A_\phi(O)(du)$:generic evidence-indexed learner-side candidate law。
- \(X=x\):普通 ML 中既是 factual evidence,也是 factual mechanism query。
- $E$:一次 realization 的 event noise。
- $\widetilde U$ / $\widetilde u$:仅用于 learner-side integration / sampling 的 computational candidate variable / realization;candidate $\widetilde u$ 调节 $f$,但不替代 world-side selector $U$。
No automatic posterior semantics. 这里不要求 population prior \(P_U\),也不会仅因写了 \(q_\phi\) 就自动得到 prior → likelihood → posterior。 $\mathcal A_\phi$ 是直接学习的 stochastic abduction operator:evidence 进入它,得到 candidate-representation distribution。 随机的是 learner 的不确定性,不是 physical unit 每次 prediction 都重新获得 identity。 Cauchy 是当前默认实现,不是 generic interface 本身;point 与 Gaussian 是同层替代路线。
Three abduction commitments. Point 直接给出 $\widehat u_\phi(x)$;Gaussian 用有限 covariance 表达局部 uncertainty;Cauchy 用 location / scale 表达重尾、全局开放的 candidate-mechanism uncertainty。Cauchy 没有有限 mean / variance,也不表示任何 unit 能生成任何 outcome; outcome support 仍由 $f_\theta$ 与 $E$ 决定。
分号只是角色分隔:左边是一次调用的 input / noise,右边是调节机制的 unit; 它不额外声称条件独立。Mechanism 不是另一个变量;mechanism 就是 $f$。
Representation–mechanism simplicity strategy
如果 $u$ 捕捉了稳定、与 response 有关的 unit heterogeneity,$f_u$ 就可以保持简单。 当前可以先研究 (y^{(n)}=a(u^{(n)})+b(u^{(n)})^\top x^{(n)}+\sigma(u^{(n)})e^{(n)})。 这不是为每个 unit 独立拟合任意函数;我们仍学习共享 map $f(x,e;u)$。
同一条 outcome law,有三层读法
$\equiv f(\cdot,\cdot;u)$ 给定 candidate representation 后的 unit mechanism。
$(u^{(n)},x^{(n)},e^{(n)},y^{(n)})$,且 $y^{(n)}=f(x^{(n)},e^{(n)};u^{(n)})$。
自然语言:由 token embedding $u^{(n)}$ 表征的某个 modeled token 经历了一次 event; input、noise 与 outcome 分别实现为 (x^{(n)},e^{(n)},y^{(n)})。
通常 $u,e$ 不可直接观测,数据表中允许用于认识 token 的部分记为 $O$。 $\mathcal A(O)$ 给出关于 $u$ 的 candidate uncertainty,而不是输出一个确定 token, 更不是假设一行数据已经暴露完整的 unit。
如果当前任务只问普通 predictive distribution,直接写 (p(y\mid X=x)) 就够了。 这不是理论退步,而是选择最小模型。
02 · Exact SCM relation
SCM 的 shared assignment 本来也会诱导 unit-specific slice
标准 SCM 可以声明 population-shared structural assignment;固定某个 unit 的 exogenous realization 后,就得到该 unit 的 response map:
当前 grammar 也可通过 (\varepsilon=(U,E)) 嵌入 SCM。因此不能说 “SCM 只有共同的 $f$,我们才让每个 unit 有自己的函数”;差异不在表达能力。
精确 novelty:把 unit-specific mechanisms 设为 primary modeling objects, 显式分开 fixed actual representation、learner-side candidate uncertainty、event noise、 evidence 与 mechanism input,并限定 prediction 是 conditional response,而不是唯一 physical mechanism 或一条被选中的 unit response。
02 · Prediction is not generation
Outcome prediction 与 outcome generation 学的是不同对象
普通 supervised learning 首先学习由总体样本估计的 observational conditional law; Unit Mechanism Learning 则把 shared family 的 unit-specific instances 作为 modeling objects;预测时把 \(X=x\) 先作为 factual evidence abduct unit,再把同一个 \(x\) 作为 factual query 送入 generator。
看到这些信息时,结果通常是什么?
由 population data 估计,再应用到 individual prediction。当前框架显式拆出 \(X=x\to\) abduction result \(\to f_\theta(x,E;u)\to Y\)。
对这个 unit,在这个 context 下,结果如何产生?
即使 input $x$ 相同,不同 $u$ 或 $c$ 也可以诱导不同的 outcome law。
一句话区分:Outcome prediction 学习“看到这些信息时,结果通常是什么”; outcome generation 学习“对这个 unit,在这个 context 下,结果如何由输入、机制与事件噪声产生”。
先 abduction 得到 evidence 可能对应哪些 candidate units;每个 candidate representation 直接调用 \(f_\theta(x,E;u)\);最后综合这些生成结果,得到 predictive distribution。
这个方向是不对称的:mechanism family、observational mix 与 event noise 可以推出 population conditional;但 \(P_{\mathrm{obs}}(Y\mid X)\) 通常不能唯一反推出 \(f_{u,c}\) 以及 mixing / noise 结构。Unit Mechanism Learning 学的是共享、由 $u$ 调节的 mechanism family, 不是给 $n$ 个样本各拟合一个无关函数。
Predictors \(X=x\) 是 evidence;它的 causal role 仍需另行声明
冰淇淋销量可以预测另一项季节性指标,并不意味着把冰淇淋销量送入机制就会生成那项指标。 当前 ordinary ML slice 沿用读者熟悉的 \(X=x\):它既作为 learner 看到的 predictors / factual evidence,也作为 factual query。这个双重角色不保证每个 predictor 都是 \(Y\) 的 causal parent。若有额外 identity evidence 或 alternative query,再显式拆成 (O,x^{\mathrm F},x^{\mathrm Q})。
ordinary regression 中就是看到的 predictors $X=x$,用来调用 abduction operator。
factual prediction 时 $x^{\mathrm Q}=x^{\mathrm F}=x$;alternative query 时改为 $x'$。
写出 unit-level structural equation,只是声明一个可学习、可检验的 outcome-generation model target;它不保证识别了真实物理机制,也不自动获得 causal / counterfactual semantics。
03 · Unit and event
样本不是 unit:它是 unit 经历的一次 event
单次抽样数据里,$n$ 只是账本里的行号;actual $u^{(n)}$ 是该行背后 token 的 embedding realization。 不建议让 observation index 充当 unit ontology;它容易把一次 factual event 误写成 一个 unit 的完整 response function。
主 protocol:events_per_unit = 1。
每个 unit 只暴露一个 factual \((O^{(n)},X^{(n)},Y^{(n)})\)。当 \(X\) 是 action 或 treatment 时,
这正对应 potential-outcome setting:只看见一个 assigned-input outcome,alternative-intervention
responses 仍然 missing。学习信号来自跨 units 的 $X_i$ variation 与 shared structure。
Synthetic evaluator 可以为同一个 hidden actual $u^{(n)}$ 私藏 alternative-input response grid, 但这份 oracle truth 不进入 training、early stopping 或 model selection,也不增加 factual event count。
框架也允许 repeated observations,但那是显式 opt-in 的 longitudinal extension: 让 $n$ 索引 observation、$r$ 索引 event。world side 始终保持 actual $u^{(n)}$;若 joint learner-side task 需要 coherent sampled mechanism,才从 $q_\phi(du\mid O)$ sample 一次 candidate $u$ 并跨 events 复用。 Repeated natural events 不等于观察到了 alternative interventions。
inference 与 generative semantics 需要分开:普通 conditional prediction 固定的是 factual evidence 得到的 point / Gaussian / Cauchy abduction result,再对 candidate outcomes 做 composition;它输出的是 \(p_{\phi,\theta}(y\mid O,x)\),不是一个 token 或一条被选中的 token response。 只有 longitudinal / joint task 需要一条 coherent sampled mechanism 时,才 sample 一次 candidate candidate $u$ 并跨 events 复用;event-noise coupling 仍需另行声明。
这里 $j$ 是观测 / mechanism call 的索引,不是默认送进 $f$ 的数值输入。真正的 dynamic model 通常需要 state transition;只有 clock time 还有未被 state 或 context 吸收的生成作用时,才把时间直接输入机制。
- $u$:world side 在选定研究时间尺度内跟随同一个 token 保持;sampled candidate 只服务 joint learner-side semantics。
- $x_{i,j}$:该 unit 第 $j$ 次 event 的 mechanism input。
- $e_{i,j}$:event-level randomness;同一 unit、同一 nominal context 也可能有不同 realization。
identity representation 唯一不等于 coordinate 已识别,也不等于 response 唯一。 $h$ 的 injectivity 是 modeling assumption;$u\mapsto f_u$ 不要求 injective,不同 units 可以 response-equivalent。一个有用的 candidate representation 必须由 query time 可用的 $O_i$ 支持,不是样本 ID,对 response mechanism 有意义, 并在 one-shot population 上支持 held-out-unit 与 alternative-input generalization; 若另有 repeated-event data,再额外检验 within-unit stability。
更大的 Unit/Context-Specific Mechanism Learning 框架
$U$ 与 $C$ 都调节 $f$,但它们不是两个可互换的 latent code。 $U$ 回答“这是谁”:它表征跨 event 保持的 response-relevant unit heterogeneity。$C$ 回答“处于什么环境”: 同一 context 可被多个 unit 共享,同一 unit 也可进入不同 context。
$O_i$ 可以包含 context measurements,也必然是在某个 context 中采集的 evidence; 但 \(\mathcal A(O)\) 输出的是关于 candidate \(u\) 的 distribution,不是一个新的 physical identity。 不能因为 evidence 带有环境信息,就让 $U$ 静默吞掉 $C$。 若 $C$ 未观测,context inference 是另一个 modeling problem。
$f_{u_1,c}\not\equiv f_{u_2,c}$:同一 context 内仍可存在 unit-level heterogeneity。
$f_{u,c_1}\not\equiv f_{u,c_2}$:同一 unit 在 alternative context 中可有不同 mechanism。
这里的 $\not\equiv$ 表示框架允许这种 variation,不是断言任意两个标签都必然 产生不同响应律。如果 context 只改变 selection、measurement 或 input distribution, 它应进入 observation / sampling model,而不是自动改写 $f$。
对同一 unit $j$ 的 repeated events,最完整的 event notation 是:
$u_j$ 跟随 unit 保持;$c_{j,t}$ 与 $e_{j,t}$ 可随 event 变化。但 context 是可在 units / events 之间复用和比较的生成条件,$e_{j,t}$ 则是该条件下的一次随机实现。
为什么当前仍专注 Unit Mechanism Learning?
固定 context 不是说 context 不重要,而是先隔离 umbrella 中最细粒度的问题: 环境不变时,好的 unit representation 能否让 unit-specific mechanisms 在共享的 unit-modulated family 中变得简单、稳定? 因此当前不同时声称解决 multi-context identification、transportability 或 alternative-context mechanism recovery。这些属于 Context Mechanism Learning,并需额外的 cross-context data、support、invariance 或 transport assumptions。
04 · Specialization map
常见技术模型怎样放进这两条式子?
关键不是把 existing research 硬塞进一个大模型,而是展示它们如何成为这两条式子的不同特例。
| 从 general frame 做什么 | 得到的 model shape | Existing research anchors |
|---|---|---|
| 折叠 $U,E$,令 observed $X$ 直接索引预测 | $P(Y\mid X)$ | supervised learning、regression、classification、calibration |
| 保留 $u\sim\mathcal A(O)$,学习共享的 $f(x,e;u)$,但不赋予 intervention 语义 | Unit Mechanism Learning | mixed effects、mixture models、meta-learning、probabilistic embeddings |
| 要求从 observations / interventions 中学到有意义的 $U$ | causal representation | Interventional Causal Representation Learning |
| 把 \(X\) 解释为 treatment / action;固定 factual \(x\) 的 abduction result,只改变 target query | \(Y_u(x)\) 或 intervention-indexed generation | potential outcomes、SCM / SEM、HTE |
| 把固定的 $c_0$ 放开为 $c$,并追问什么保持稳定 | Context Mechanism Learning(future extension) | JCI、domain generalization、IRM、transportability |
| 引入跨 event 的 state / dependence;event index 只负责索引 | dynamic / sequential generation | state-space models、system identification、MDP / RL、World Models |
| world side 保持同一 \(U=u\),learner side 复用 factual abduction result,并明确不同世界的 \(E\) coupling | unit-level structural counterfactuals | structural counterfactual models、DiscoSCM、legacy HCGM causal applications |
这不是“覆盖所有研究”的 theorem,而是一张 specialization map:先识别问题激活了哪些角色, 再进入最合适的 existing research,不必从头发明建模语言。
05 · Complexity and boundary
大框架什么时候应该折回去?
- 只问普通 predictive distribution:写 $P(Y\mid X=x)$ 即可。
- 要追踪同一个体:展开 $U$。
- 要讨论环境迁移、站点差异或时间变化:再从固定的 $c_0$ 扩展到 Context Mechanism Learning。
- 要解释重复 realization 或 cross-world coupling:展开 $E$ 及其 coupling assumption。
- 要问 intervention / policy / treatment:把 mechanism input $X$、target value $x$ 与 factual evidence $O$ 明确分开。
Unit/Context-Specific Mechanism Learning 给出完整坐标。 当前先固定 context,只有一个 distinction 会改变答案时,才把它显式化。
底层 event representation 是 specialization map 的 semantic checksum。 无论模型怎样折叠角色,都应该还能回答:哪一个 unit、经历了哪一次 event、哪些量只是 evidence、哪些量真正进入 mechanism。 否则 $U$ 会退化成样本 ID,$E$ 会退化成 residual,$f$ 也会重新变成没有生成语义的 predictor。
Unit Mechanism Learning 真正特别的地方
- 把 unit heterogeneity 当成 primitive,而不是 pooled residual;
- 把 representation quality 与 mechanism simplicity 放在同一个 modeling tradeoff 中;
- 区分 factual evidence 与 target condition;
- 让 candidate-unit mechanism evaluation 与对 representation uncertainty 的 reduction 分开;
- 明确 event noise 在不同 occasion / world 中是重采样、共享,还是通过 coupling 关联;
- 允许 Cauchy-affine 等 family 为 candidate selection 或生成机制提供 robustness 与 closed-form outcome distribution,但不把具体 family 冒充成整个 DGP ontology。
Unit Mechanism Learning 假设 actual unit 有稳定、唯一的 representation;从 evidence abduce candidate-unit uncertainty,让每个 candidate representation 决定 shared family 中的一条 unit response function,再综合这些可能性得到 conditional response。 Context 与 causal semantics 只在 query 真正需要时扩展。
References
参考入口
- Judea Pearl, The Causal Foundations of Structural Equation Modeling: structural assignments、interventions 与 potential responses 的共同语义入口。
- Donald Rubin, Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies: potential-outcome 视角的经典原始论文。
- Joris Mooij et al., Joint Causal Inference from Multiple Contexts: 把 context variables 显式纳入多环境 causal modeling。
- Kartik Ahuja et al., Interventional Causal Representation Learning: causal representation 的识别需要 intervention 与结构性 assumptions。
- Diederik Kingma and Max Welling, Auto-Encoding Variational Bayes: latent-variable generative modeling 的代表性接口;它本身并不赋予 causal semantics。