Unit Mechanism Learning

Unit Mechanism Learning · Data-generating process

为什么好的 unit representation
让生成机制更简单?

一个 observation 实际来自一个 latent modeled unit;从 admissible evidence 中 abduce candidate-unit uncertainty,再学习由 representation 调节的简洁 outcome-generating mechanism。 它是 Unit/Context-Specific Mechanism Learning 在固定 context 下的专注切片;主 observation regime 有意固定每个 unit 一个 factual event。

中文概念博客 2026-07-16 约 14 分钟 OUTCOME-PREDICTION-GENERATION-2026-07-16-V16

01 · Ontology + learning interface

先算清 world-side unit outcome,再解释 learner 如何预测

每个 observation 实际来自一个 latent modeled unit。世界侧先有 \(U=u^\star\): 给定 predictors \(X=x\) 与 event realization \(E=e\),真实 outcome 是 \(Y=f_\theta(x,e;u^\star)\)。样本编号不参与这次计算。

Model-level unit selection \[ Y(x)=f_\theta(x,E;U), \\ U=u\text{ is one token/unit embedding realization}. \]

actual token embedding $u$ 稳定且唯一,这是 modeling assumption,不是 one-shot data 已经识别出的 latent coordinate;可逆重参数化仍然给出等价表示。

01 · Factual evidence $X=x$ 这个样本暴露的 predictors;用于认识同一个 actual token。
02 · Unit abduction $\widehat u_\phi(x)$ or $q_\phi(u\mid x)$ Point、Gaussian 或 Cauchy;这是 learner uncertainty,不是 identity redraw。
03 · Outcome generation $Y=f_\theta(x,E;u)$ 同一个 \(x\) 再作为 factual query;\(u\) 指定 token,\(E\) 指定 event randomness。
\[ \underbrace{x}_{\text{factual evidence for }U} \qquad\text{and}\qquad \underbrace{x}_{\text{query to }Y_u(\cdot)}. \]
  • \(O\):一般任务中的 admissible evidence;ordinary regression 默认 \(O=X=x\)。
  • $U=u^\star$:model-level selector 的 actual token/unit embedding realization。
  • $q_\phi(du\mid O):=\mathcal A_\phi(O)(du)$:generic evidence-indexed learner-side candidate law。
  • \(X=x\):普通 ML 中既是 factual evidence,也是 factual mechanism query。
  • $E$:一次 realization 的 event noise。
  • $\widetilde U$ / $\widetilde u$:仅用于 learner-side integration / sampling 的 computational candidate variable / realization;candidate $\widetilde u$ 调节 $f$,但不替代 world-side selector $U$。

No automatic posterior semantics. 这里不要求 population prior \(P_U\),也不会仅因写了 \(q_\phi\) 就自动得到 prior → likelihood → posterior。 $\mathcal A_\phi$ 是直接学习的 stochastic abduction operator:evidence 进入它,得到 candidate-representation distribution。 随机的是 learner 的不确定性,不是 physical unit 每次 prediction 都重新获得 identity。 Cauchy 是当前默认实现,不是 generic interface 本身;point 与 Gaussian 是同层替代路线。

Three abduction commitments. Point 直接给出 $\widehat u_\phi(x)$;Gaussian 用有限 covariance 表达局部 uncertainty;Cauchy 用 location / scale 表达重尾、全局开放的 candidate-mechanism uncertainty。Cauchy 没有有限 mean / variance,也不表示任何 unit 能生成任何 outcome; outcome support 仍由 $f_\theta$ 与 $E$ 决定。

分号只是角色分隔:左边是一次调用的 input / noise,右边是调节机制的 unit; 它不额外声称条件独立。Mechanism 不是另一个变量;mechanism 就是 $f$。

Representation–mechanism simplicity strategy

如果 $u$ 捕捉了稳定、与 response 有关的 unit heterogeneity,$f_u$ 就可以保持简单。 当前可以先研究 (y^{(n)}=a(u^{(n)})+b(u^{(n)})^\top x^{(n)}+\sigma(u^{(n)})e^{(n)})。 这不是为每个 unit 独立拟合任意函数;我们仍学习共享 map $f(x,e;u)$。

同一条 outcome law,有三层读法

01 · Structural law $Y\leftarrow f(X,E;U)$ 总体层面的随机变量与生成结构。
02 · Configured mechanism $f_u(\cdot,\cdot)$
$\equiv f(\cdot,\cdot;u)$
给定 candidate representation 后的 unit mechanism。
03 · Event realization $y^{(n)}=f_{u^{(n)}}(x^{(n)},e^{(n)})$ observation row $n$ 实际发生的 input、noise 与 outcome。
One full structural event

$(u^{(n)},x^{(n)},e^{(n)},y^{(n)})$,且 $y^{(n)}=f(x^{(n)},e^{(n)};u^{(n)})$。

自然语言:由 token embedding $u^{(n)}$ 表征的某个 modeled token 经历了一次 event; input、noise 与 outcome 分别实现为 (x^{(n)},e^{(n)},y^{(n)})。

通常 $u,e$ 不可直接观测,数据表中允许用于认识 token 的部分记为 $O$。 $\mathcal A(O)$ 给出关于 $u$ 的 candidate uncertainty,而不是输出一个确定 token, 更不是假设一行数据已经暴露完整的 unit。

如果当前任务只问普通 predictive distribution,直接写 (p(y\mid X=x)) 就够了。 这不是理论退步,而是选择最小模型。

02 · Exact SCM relation

SCM 的 shared assignment 本来也会诱导 unit-specific slice

标准 SCM 可以声明 population-shared structural assignment;固定某个 unit 的 exogenous realization 后,就得到该 unit 的 response map:

\[ Y=f_Y(X,\varepsilon), \qquad \varepsilon=(U,E), \qquad f_u^{\mathrm{SCM}}(x,E):=f_Y(x;u,E). \]

当前 grammar 也可通过 (\varepsilon=(U,E)) 嵌入 SCM。因此不能说 “SCM 只有共同的 $f$,我们才让每个 unit 有自己的函数”;差异不在表达能力。

Shared family $f(x,e;u,c)$ 跨 units 共享,并由 unit / context 调节。
Primary modeling object $f_{u,c}(x,e)$ shared family 的 unit-conditioned instance。
Predictive target $p_{\phi,\theta}(y\mid O,x)$ abduction result 与 generator 合成的 predictive distribution。

精确 novelty:把 unit-specific mechanisms 设为 primary modeling objects, 显式分开 fixed actual representation、learner-side candidate uncertainty、event noise、 evidence 与 mechanism input,并限定 prediction 是 conditional response,而不是唯一 physical mechanism 或一条被选中的 unit response。

02 · Prediction is not generation

Outcome prediction 与 outcome generation 学的是不同对象

普通 supervised learning 首先学习由总体样本估计的 observational conditional law; Unit Mechanism Learning 则把 shared family 的 unit-specific instances 作为 modeling objects;预测时把 \(X=x\) 先作为 factual evidence abduct unit,再把同一个 \(x\) 作为 factual query 送入 generator。

Outcome prediction
\[ \widehat p(y\mid x) \approx p_{\mathrm{obs}}(y\mid X=x). \]

看到这些信息时,结果通常是什么?

由 population data 估计,再应用到 individual prediction。当前框架显式拆出 \(X=x\to\) abduction result \(\to f_\theta(x,E;u)\to Y\)。

Outcome generation
\[ Y\leftarrow f(X,E;U,C),\qquad p_\theta(y\mid x,u,c):=\mathcal L_E\{f_\theta(x,E;u,c)\}. \]

对这个 unit,在这个 context 下,结果如何产生?

即使 input $x$ 相同,不同 $u$ 或 $c$ 也可以诱导不同的 outcome law。

一句话区分:Outcome prediction 学习“看到这些信息时,结果通常是什么”; outcome generation 学习“对这个 unit,在这个 context 下,结果如何由输入、机制与事件噪声产生”。

Evidence-conditioned outcome prediction \[ p_{\phi,\theta}(y\mid O,x) =\int p_\theta(y\mid x,u)\,q_\phi(u\mid O)\,du. \]

先 abduction 得到 evidence 可能对应哪些 candidate units;每个 candidate representation 直接调用 \(f_\theta(x,E;u)\);最后综合这些生成结果,得到 predictive distribution。

Fine structure mechanism family unit/context modulation + event noise
Observational mix sampling / measurement 哪些 units 与 contexts 进入可见数据
Projection $P_{\mathrm{obs}}(Y\mid X)$ population-estimated predictive law

这个方向是不对称的:mechanism family、observational mix 与 event noise 可以推出 population conditional;但 \(P_{\mathrm{obs}}(Y\mid X)\) 通常不能唯一反推出 \(f_{u,c}\) 以及 mixing / noise 结构。Unit Mechanism Learning 学的是共享、由 $u$ 调节的 mechanism family, 不是给 $n$ 个样本各拟合一个无关函数。

Predictors \(X=x\) 是 evidence;它的 causal role 仍需另行声明

冰淇淋销量可以预测另一项季节性指标,并不意味着把冰淇淋销量送入机制就会生成那项指标。 当前 ordinary ML slice 沿用读者熟悉的 \(X=x\):它既作为 learner 看到的 predictors / factual evidence,也作为 factual query。这个双重角色不保证每个 predictor 都是 \(Y\) 的 causal parent。若有额外 identity evidence 或 alternative query,再显式拆成 (O,x^{\mathrm F},x^{\mathrm Q})。

Factual evidence $x^{\mathrm F}$

ordinary regression 中就是看到的 predictors $X=x$,用来调用 abduction operator。

Mechanism query $x^{\mathrm Q}$

factual prediction 时 $x^{\mathrm Q}=x^{\mathrm F}=x$;alternative query 时改为 $x'$。

写出 unit-level structural equation,只是声明一个可学习、可检验的 outcome-generation model target;它不保证识别了真实物理机制,也不自动获得 causal / counterfactual semantics。

03 · Unit and event

样本不是 unit:它是 unit 经历的一次 event

单次抽样数据里,$n$ 只是账本里的行号;actual $u^{(n)}$ 是该行背后 token 的 embedding realization。 不建议让 observation index 充当 unit ontology;它容易把一次 factual event 误写成 一个 unit 的完整 response function。

主 protocol:events_per_unit = 1 每个 unit 只暴露一个 factual \((O^{(n)},X^{(n)},Y^{(n)})\)。当 \(X\) 是 action 或 treatment 时, 这正对应 potential-outcome setting:只看见一个 assigned-input outcome,alternative-intervention responses 仍然 missing。学习信号来自跨 units 的 $X_i$ variation 与 shared structure。

\[ \mathcal D_N=\{(O^{(n)},X^{(n)},Y^{(n)})\}_{n=1}^N, \qquad Y^{(n)}=f_\theta(X^{(n)},E^{(n)};u^{(n)}). \]

Synthetic evaluator 可以为同一个 hidden actual $u^{(n)}$ 私藏 alternative-input response grid, 但这份 oracle truth 不进入 training、early stopping 或 model selection,也不增加 factual event count。

框架也允许 repeated observations,但那是显式 opt-in 的 longitudinal extension: 让 $n$ 索引 observation、$r$ 索引 event。world side 始终保持 actual $u^{(n)}$;若 joint learner-side task 需要 coherent sampled mechanism,才从 $q_\phi(du\mid O)$ sample 一次 candidate $u$ 并跨 events 复用。 Repeated natural events 不等于观察到了 alternative interventions。

inference 与 generative semantics 需要分开:普通 conditional prediction 固定的是 factual evidence 得到的 point / Gaussian / Cauchy abduction result,再对 candidate outcomes 做 composition;它输出的是 \(p_{\phi,\theta}(y\mid O,x)\),不是一个 token 或一条被选中的 token response。 只有 longitudinal / joint task 需要一条 coherent sampled mechanism 时,才 sample 一次 candidate candidate $u$ 并跨 events 复用;event-noise coupling 仍需另行声明。

\[ u\sim q_\phi(\cdot\mid O), \qquad y^{(n,r)}=f_u(x^{(n,r)},e^{(n,r)}) \equiv f(x^{(n,r)},e^{(n,r)};u). \]

这里 $j$ 是观测 / mechanism call 的索引,不是默认送进 $f$ 的数值输入。真正的 dynamic model 通常需要 state transition;只有 clock time 还有未被 state 或 context 吸收的生成作用时,才把时间直接输入机制。

  • $u$:world side 在选定研究时间尺度内跟随同一个 token 保持;sampled candidate 只服务 joint learner-side semantics。
  • $x_{i,j}$:该 unit 第 $j$ 次 event 的 mechanism input。
  • $e_{i,j}$:event-level randomness;同一 unit、同一 nominal context 也可能有不同 realization。

identity representation 唯一不等于 coordinate 已识别,也不等于 response 唯一。 $h$ 的 injectivity 是 modeling assumption;$u\mapsto f_u$ 不要求 injective,不同 units 可以 response-equivalent。一个有用的 candidate representation 必须由 query time 可用的 $O_i$ 支持,不是样本 ID,对 response mechanism 有意义, 并在 one-shot population 上支持 held-out-unit 与 alternative-input generalization; 若另有 repeated-event data,再额外检验 within-unit stability。

更大的 Unit/Context-Specific Mechanism Learning 框架

\[ Y\leftarrow f(X,E;U,C), \qquad y^{(n)}=f_{u^{(n)},c^{(n)}}(x^{(n)},e^{(n)}) \equiv f(x^{(n)},e^{(n)};u^{(n)},c^{(n)}). \]

$U$ 与 $C$ 都调节 $f$,但它们不是两个可互换的 latent code。 $U$ 回答“这是谁”:它表征跨 event 保持的 response-relevant unit heterogeneity。$C$ 回答“处于什么环境”: 同一 context 可被多个 unit 共享,同一 unit 也可进入不同 context。

$O_i$ 可以包含 context measurements,也必然是在某个 context 中采集的 evidence; 但 \(\mathcal A(O)\) 输出的是关于 candidate \(u\) 的 distribution,不是一个新的 physical identity。 不能因为 evidence 带有环境信息,就让 $U$ 静默吞掉 $C$。 若 $C$ 未观测,context inference 是另一个 modeling problem。

Fixed context, compare units

$f_{u_1,c}\not\equiv f_{u_2,c}$:同一 context 内仍可存在 unit-level heterogeneity。

Fixed unit, compare contexts

$f_{u,c_1}\not\equiv f_{u,c_2}$:同一 unit 在 alternative context 中可有不同 mechanism。

这里的 $\not\equiv$ 表示框架允许这种 variation,不是断言任意两个标签都必然 产生不同响应律。如果 context 只改变 selection、measurement 或 input distribution, 它应进入 observation / sampling model,而不是自动改写 $f$。

对同一 unit $j$ 的 repeated events,最完整的 event notation 是:

\[ y_{j,t}=f_{u_j,c_{j,t}}(x_{j,t},e_{j,t}) \equiv f(x_{j,t},e_{j,t};u_j,c_{j,t}). \]

$u_j$ 跟随 unit 保持;$c_{j,t}$ 与 $e_{j,t}$ 可随 event 变化。但 context 是可在 units / events 之间复用和比较的生成条件,$e_{j,t}$ 则是该条件下的一次随机实现。

为什么当前仍专注 Unit Mechanism Learning?

\[ C=c_0,\qquad f_{u,c_0}(x,e)\equiv f_u(x,e). \]

固定 context 不是说 context 不重要,而是先隔离 umbrella 中最细粒度的问题: 环境不变时,好的 unit representation 能否让 unit-specific mechanisms 在共享的 unit-modulated family 中变得简单、稳定? 因此当前不同时声称解决 multi-context identification、transportability 或 alternative-context mechanism recovery。这些属于 Context Mechanism Learning,并需额外的 cross-context data、support、invariance 或 transport assumptions。

04 · Specialization map

常见技术模型怎样放进这两条式子?

关键不是把 existing research 硬塞进一个大模型,而是展示它们如何成为这两条式子的不同特例。

01 · General frame unit selection + outcome generation 先保留共同问题语言。
02 · Specialize 固定、折叠或激活一个角色 改变 $U$、$X$、$C$、$E$ 或 dynamic state 的 modeling commitment。
03 · Research line 进入最接近的 existing research 复用成熟 estimand、assumptions、algorithms 与 evidence。
从 general frame 做什么 得到的 model shape Existing research anchors
折叠 $U,E$,令 observed $X$ 直接索引预测 $P(Y\mid X)$ supervised learning、regression、classification、calibration
保留 $u\sim\mathcal A(O)$,学习共享的 $f(x,e;u)$,但不赋予 intervention 语义 Unit Mechanism Learning mixed effects、mixture models、meta-learning、probabilistic embeddings
要求从 observations / interventions 中学到有意义的 $U$ causal representation Interventional Causal Representation Learning
把 \(X\) 解释为 treatment / action;固定 factual \(x\) 的 abduction result,只改变 target query \(Y_u(x)\) 或 intervention-indexed generation potential outcomesSCM / SEM、HTE
把固定的 $c_0$ 放开为 $c$,并追问什么保持稳定 Context Mechanism Learning(future extension) JCI、domain generalization、IRM、transportability
引入跨 event 的 state / dependence;event index 只负责索引 dynamic / sequential generation state-space models、system identification、MDP / RL、World Models
world side 保持同一 \(U=u\),learner side 复用 factual abduction result,并明确不同世界的 \(E\) coupling unit-level structural counterfactuals structural counterfactual models、DiscoSCM、legacy HCGM causal applications

这不是“覆盖所有研究”的 theorem,而是一张 specialization map:先识别问题激活了哪些角色, 再进入最合适的 existing research,不必从头发明建模语言。

05 · Complexity and boundary

大框架什么时候应该折回去?

  1. 只问普通 predictive distribution:写 $P(Y\mid X=x)$ 即可。
  2. 要追踪同一个体:展开 $U$。
  3. 要讨论环境迁移、站点差异或时间变化:再从固定的 $c_0$ 扩展到 Context Mechanism Learning。
  4. 要解释重复 realization 或 cross-world coupling:展开 $E$ 及其 coupling assumption。
  5. 要问 intervention / policy / treatment:把 mechanism input $X$、target value $x$ 与 factual evidence $O$ 明确分开。

Unit/Context-Specific Mechanism Learning 给出完整坐标。 当前先固定 context,只有一个 distinction 会改变答案时,才把它显式化。

底层 event representation 是 specialization map 的 semantic checksum。 无论模型怎样折叠角色,都应该还能回答:哪一个 unit、经历了哪一次 event、哪些量只是 evidence、哪些量真正进入 mechanism。 否则 $U$ 会退化成样本 ID,$E$ 会退化成 residual,$f$ 也会重新变成没有生成语义的 predictor。

Unit Mechanism Learning 真正特别的地方

  • 把 unit heterogeneity 当成 primitive,而不是 pooled residual;
  • 把 representation quality 与 mechanism simplicity 放在同一个 modeling tradeoff 中;
  • 区分 factual evidence 与 target condition;
  • 让 candidate-unit mechanism evaluation 与对 representation uncertainty 的 reduction 分开;
  • 明确 event noise 在不同 occasion / world 中是重采样、共享,还是通过 coupling 关联;
  • 允许 Cauchy-affine 等 family 为 candidate selection 或生成机制提供 robustness 与 closed-form outcome distribution,但不把具体 family 冒充成整个 DGP ontology。

Unit Mechanism Learning 假设 actual unit 有稳定、唯一的 representation;从 evidence abduce candidate-unit uncertainty,让每个 candidate representation 决定 shared family 中的一条 unit response function,再综合这些可能性得到 conditional response。 Context 与 causal semantics 只在 query 真正需要时扩展。

References

参考入口