Learning DiscoSCM Network computation · V2

Architecture before claims

神经网络到底
计算了什么?

八维 factual evidence \(O\) 先被编码成对同一 token code 的候选分布;一维 query \(x\) 不再进入 encoder,而只改变 shared bilinear mechanism。location、unit scale 与 event noise 随后被解析合成为完整 response law。

01

Full computation graph

一次 abduction,多个 queries

蓝色路径只读取 \(x^F\);紫色对象是可复用的 UnitDistribution; 绿色路径接收 \(x^Q\);金色模块完成无需 latent Monte Carlo 的解析传播。

Learning DiscoSCM 的完整 Cauchy Unit 网络结构:factual evidence 进入 evidence encoder,输出 location 与 scale 形成 UnitDistribution;query 进入 bilinear map;二者和 event noise 解析合成为 Cauchy response law;底部区分训练和 fixed-abduction 推理。
Figure 1 · Cauchy Unit end-to-end architecture. 在小屏幕上可横向滑动;论文级矢量版本可 单独打开
recognition / evidence path
stored unit object
query / mechanism path
analytic uncertainty composition
02

Exact forward pass

把整张图拆成四步计算

这里逐项对应真实实现,而不是抽象的 encoder–decoder 占位图。

A1

Recognize from evidence

两层 GELU evidence encoder

\(O\in\mathbb R^8\)Linear 8→64GELULinear 64→64GELU

backbone 只处理 factual evidence。它不接收 alternative query,也没有 row ID 作为 mechanism input。

A2

Form an explicit unit object

location / scale 双头

\[ m_\phi(O)\in\mathbb R^4,\qquad \gamma_\phi(O)=\gamma_{\min}+\operatorname{softplus}(h_\phi)\in\mathbb R_+^4 \]

二者组成 \(q_\phi(u\mid O)=\prod_j\operatorname{Cauchy}(u_j;m_j,\gamma_j)\)。 这是 learner-side candidate distribution,不是 actual identity 被重新抽样。

B1

Change the query, keep the token

shared bilinear mechanism

\[ b_\theta(x)=\alpha+\beta x,\qquad g_\theta(x)=a+B^\top x \] \[ f_\theta(x,E;u)=b_\theta(x)+g_\theta(x)^\top u+\sigma E. \]

query \(x\) 同时改变 population-level base response 与 unit modulation weight;stored \(A_O\) 不变,所以 query change 不会偷换 token。

B2

Compose uncertainty exactly

Cauchy 解析传播

\[ m_Y=b_\theta(x)+g_\theta(x)^\top m_\phi(O) \] \[ s_Y=\sum_{j=1}^{4}|g_{\theta,j}(x)|\gamma_{\phi,j}(O)+\sigma \]

输出 \(p_{\phi,\theta}(y\mid O,x)=\operatorname{Cauchy}(m_Y,s_Y)\)。训练与 inference 都不需要对 latent \(u\) 做 Monte Carlo。

Train · factual diagonal

训练时,两种 factual 输入来自同一 row

\((O,x,y)\)\(p_{\phi,\theta}(y\mid O,x)\)exact Cauchy NLL

backprop 同时更新 encoder 参数 \(\phi\) 与 mechanism 参数 \(\theta\)。\(O\) 与 \(x\) 都是 factual,但维度和计算角色不同。

Infer · fixed abduction

推理时,先存 unit object,再遍历 queries

\(A_O=\mathcal A_\phi(O)\)\(x_1,\ldots,x_K\)\(K\) response laws

abduce 只调用一次;response_law_from_unit 对同一个 token 重复调用。

03

Seven real model graphs

我们到底和哪些网络比较?

confirmatory matrix 使用七个模型。它们共享相同的 evidence、query、split、corruption 和 training budget;真正改变的是 uncertainty geometry、response family 与是否显式形成 unit object。

GeometryCauchy Unit vs Gaussian Unit vs Point Unit
Loss familyDirect Cauchy vs Direct Gaussian
Factorization / capacityCauchy Unit vs Direct / Varying Coefficient / MoE
Family A

显式 Unit factorization

三者共享同一 encoder 与 bilinear mechanism,只改变 abducted uncertainty geometry。

Geometry control

Gaussian Unit

5,267 params
\(O\)8→64→64
GELU
\(\mu,s\)
4 + 4
Gaussian
UnitDistribution
+\(x\)bilinear
map
Gaussian
law

Scale rule: \(\sqrt{\sum_j g_j^2s_j^2+\sigma^2}\)。结构相同,比较 \(L_2\) 与 \(L_1\) uncertainty geometry。

Concentration control

Point Unit

5,267 params
\(O\)8→64→64
GELU
\(\widehat u\)
4 dims
Point
UnitDistribution
+\(x\)bilinear
map
Cauchy
event law

unit scale 被置零;保留 event-scale Cauchy response。参数计数仍包含共享 encoder 的 scale head,但 forward 不使用其输出。

Family B

Direct distributional predictors

不形成可存储 unit object;每个 query 都与 evidence 拼接后重新通过整个网络。

Primary baseline

Direct Cauchy

5,216 params
\([O;x]\in\mathbb R^9\)9→66→66
GELU
location head
scale head
Cauchy
law

最重要的 capacity-matched baseline。没有 abduce / response_law_from_unit 分界。

Loss-family control

Direct Gaussian

5,216 params
\([O;x]\in\mathbb R^9\)9→66→66
GELU
location head
scale head
Gaussian
law

与 Direct Cauchy 完全相同的 network body;只替换 response family 和 NLL。

Family C

Flexible non-unit alternatives

检验优势是否只是来自 query-dependent coefficients 或 mixture flexibility。

Coefficient baseline

Varying-Coefficient Cauchy

4,996 params
\(O\in\mathbb R^8\)8→64→64
GELU
intercept + slope
for location & scale
+\(x\)Cauchy
law

evidence 直接条件化 response coefficients,但不将它们解释为 latent token distribution。

Mixture baseline

4-Expert Cauchy MoE

5,008 params
\(O\)8→64→64
gate
softmax
4 weights
+\(x\)4 affine
experts
Cauchy
mixture

evidence 只决定 mixture weights;四个 experts 的 location 随 query 线性变化,scale 为 expert-specific 常数。

ModelEvidence / query routingStored unit objectOutput lawParameters
Cauchy Unitseparate \(O\to\) encoder; \(x\to\) bilinear mapyes · Cauchy \(m,\gamma\)Cauchy5,267
Gaussian Unitsame Unit routingyes · Gaussian \(\mu,s\)Gaussian5,267
Point Unitsame Unit routingyes · point \(\widehat u\)Cauchy event law5,267
Direct Cauchyconcatenate \([O;x]\)noCauchy5,216
Direct Gaussianconcatenate \([O;x]\)noGaussian5,216
Varying Cauchy\(O\to\) coefficients; apply \(x\)noCauchy4,996
Cauchy MoE4\(O\to\) gate; \(x\to\) expertsno4-Cauchy mixture5,008

Primary capacity contract

主对照把容量差距压到 1% 内

Cauchy Unit 使用 \(64,64\) encoder 与 \(d=4\) latent code;Direct Cauchy 使用 \(66,66\) hidden widths。两者相差 51 个可训练参数,即以 Unit model 为分母约 0.97%。

Cauchy Unit5,267
Direct Cauchy5,216

Δ = 51 parameterssame optimizer · same rows · same corruption · same query grid

04

What the diagram does not prove

计算闭式,不等于因果问题已经闭合

01

没有恢复 actual code

one-shot likelihood 监督 composed factual law,不唯一识别 \(u^\star\)、latent axes 或 encoder–mechanism decomposition。

02

没有识别 off-diagonal law

fixed-abduction 是 computational linkage contract;alternative-query causal meaning 仍需 intervention、support、confounding 与 stability assumptions。

03

没有证明 Unit 优势

formal confirmatory 状态为 not_confirmed。架构是真实实现,但当前实验没有支持预声明的 Unit robustness advantage。