这份笔记想回答的是同一个问题：现实里我们只能看到一个样本，如何据此对产生它的机制说点什么？
两者靠一座桥连接：由样本算出来的任何数字(均值、方差、秩和……)本身也是随机的，换一个样本就会变。这个数字的分布称为抽样分布，整个统计推断就建立在它之上。
几乎每一种检验，都是下面三步的变体：
不同方法之间的差别，主要在第 2 步：这个分布从哪里来？有三条路：
三条路殊途同归，区别在于各自依赖哪些假设。这也是笔记里反复强调“应用条件”的原因。
全文按“遇到什么问题，引出什么工具”推进：
线性代数笔记里，所有分解都是“换一组基看同一个变换”。这里，所有检验都是“在 \(H_0\) 的分布下看同一个统计量有多极端”，而且两者最后在“投影”处汇合。
本章的问题： 如何用数学语言描述“结果不确定”的现象？先建立事件与概率的语言(1 到 6 节)，再把事件变成数，引入随机变量与分布，并用大数定律和中心极限定理搭好通向统计的桥(7 到 8 节)。
现代统计分析建立在一个核心的哲学观念上：我们观察到的数据，并非确定性的，而是由一个潜在的、不可观测的随机过程所产生的。这个过程被称为数据生成过程 (Data Generating Process, DGP)。
我们能观测到的数据只是一个样本 (随机实验产生的结果)，我们的目标是通过这个样本，去推测那个产生它的、更本质的概率模型。倘若根据该数据有了一个假设的概率模型，我们就需要对概率模型进行参数推断，然后对参数进行检验。
如果一项试验能够在相同条件下重复进行，并且该试验至少有两种可能的结果，但在每一次试验前无法确定哪个结果会实现，则称之为随机试验。换言之，随机试验是无法确切预知结果的一种机制。此处“试验”表示一般意义上的观察或测度的过程，而未必是类似于物理学等自然科学中真正实施的实验。
怎么理解“相同条件下重复进行”？“相同条件”对应各次试验的结果服从同一个分布(同分布)，“重复进行”对应各次试验之间互不影响(独立)，合起来就是统计学中的一个重要假设：独立同分布 (i.i.d.)。多次重复同时也意味着频率的概念：概率可以理解为大量重复试验下相对频率的极限。
为了描述DGP，我们需要一套严谨的语言，这就是集合论。
实施一次实验仅会得到样本空间中的一个 (且仅仅一个) 基本结果，而当我们讨论某个事件 A 发生的时候，我们指的是属于 A 的某个基本结果出现了。
事件 (集合) 的运算与法则—实际是基本结果的重叠情况。
完全穷尽且互斥的事件集构成了样本空间 S 的一个分割 (partition)；完全穷尽且互斥事件的集合可视为正交基的完备集，可表示样本空间 S 中的任意事件 B，而 \(B \cap A_i\) 代表事件 B 在正交基 \(A_i\) 上的投影。
任何一个事件 B 都可以被这组基“表示”出来，其在每个基 \(A_i\) 上的投影 (Projection) 就是 \(B \cap A_i\)。因此，事件 B 可以被唯一地分解为： \(B = (B \cap A_1) \cup (B \cap A_2) \cup ... \cup (B \cap A_n)\) 这个分解是理解全概率公式的几何直觉。(这里的“基”和“投影”只是类比： \(B \cap A_i\) 是事件 \(B\) 在各个 \(A_i\) 中的分量，严格地说是一种分解，而不是内积意义下的投影。)
分配律从右侧到左侧总是容易忘记，可以将运算符号一并作为公因子并提取出来例如 A∩ 或者 A∪; De Morgan’s laws 是上标运算，内部符号反号。
概率函数是从事件到实数的映射，是定义在事件上的函数 (事件域)，其定义域为 \(\sigma\)-代数 (\(\sigma\)-algebra)。 \(\sigma\)-代数 F 是样本空间 S 的一些子集组成的集合，且满足以下三个条件：
由此三条可以推导出 \(\emptyset \in F\) 以及对可数交集封闭。(S, F) 则称为可测空间。
参考来源: Casella, G., & Berger, R. L. (2002). Statistical Inference. Duxbury Press. Section 1.2.
概率是赋予事件的一个数值，用以衡量其发生可能性的大小。它被严格定义在一个概率空间 (S, F, P) 上，其中：
S: 样本空间。
F: 事件域 (\(\sigma\)-algebra)，一个包含了我们所有感兴趣事件的集合，且对补、可数并、可数交运算封闭。
P: 概率测度，一个满足以下三条公理的函数：
基本推论:
这些推论可以通过 S 的分解以及集合互斥的关系来证明。
对概率有两种理解:
当样本空间中的基本结果等可能时，概率计算简化为计数问题： \(P(A) = |A| / |S|\) 。
逻辑联系: 任何一个排列任务，都可以分解为两步：1. 先从 n 个元素中“组合”出 x 个 (\(C^n_x\) 种方法)。2. 再将这 x 个元素进行全排列 (\(x!\) 种方法)。
根据乘法原理，我们得到： \(P^n_x = C^n_x \times x!\) 。因此，组合的公式可以由排列导出，这体现了两者内在的逻辑关系： \(C^n_x = \frac{P^n_x}{x!} = \frac{n!}{x!(n-x)!}\)
它描述的是一种预测关系 (predictive relationship)，但不等于因果关系 (causal relationship)。这是计量经济学中一个至关重要的区别。
\(P(A|B) = \frac{P(A \cap B)}{P(B)}\), (假设 \(P(B) > 0\))
我们有如下的计算事件 A 和 B 的联合概率的乘法法则：
\(P(A \cap B) = P(A|B)P(B) = P(B|A)P(A)\)
其有如下推广：
对于多个事件 \(A_1, A_2, ..., A_n\)，联合概率可以递归地计算：
\(P(A_1 \cap A_2 \cap ... \cap A_n) = P(A_1)P(A_2|A_1)P(A_3|A_1 \cap A_2) ... P(A_n|A_1 \cap A_2 \cap ... \cap A_{n-1})\)
事实上，有 n! 种不同的条件序列可以表示联合概率 \(P(\bigcap_{i} A_i)\)，但是在时间序列分析中，若 i 表示时间，则事件 \(A_i\) 基于前 \(i-1\) 个事件的条件概率 \(P(A_i|A_1 \cap A_2 \cap ... \cap A_{i-1})\) 是最自然的，有合乎逻辑的解释，即以 \(i-1\) 期可获取的历史信息预测下一期事件 \(A_i\) 发生的概率。
独立性 (Independence): 描述了事件之间完全没有关联的特殊情况。如果信息 B 对预测 A 毫无帮助，即 \(P(A|B) = P(A)\)，则称 A, B 独立。其标准定义为： \(P(A \cap B) = P(A)P(B)\)
多个事件的独立性: 对于事件 \(A_1, ..., A_k\)，它们相互独立，当且仅当其任意子集的联合概率都等于各自概率的乘积。例如，对于3个事件，需要满足4个条件：
独立 vs. 互斥: 如果两个事件有正概率，那么它们不可能既独立又互斥。互斥意味着一个发生另一个必不发生 (极度相关)，而独立意味着两者发生与否互不相干。
全概率公式: 正是前述“事件投影”思想的概率体现。如果 \(B_i\) 是样本空间的一个分割 (一组完备正交基)，那么任何事件 A 的总概率等于其在各个基上的分量的概率之和——分量 \(A \cap B_i\) 的概率为 \(P(A \cap B_i) = P(A|B_i)P(B_i)\)，其中 \(P(B_i)\) 是基 \(B_i\) 的权重， \(P(A|B_i)\) 是在 \(B_i\) 之内 \(A\) 所占的比例。 \(P(A) = \sum_{i} P(A \cap B_i) = \sum_{i} P(A|B_i)P(B_i)\)
贝叶斯定理: 是统计推断的灵魂，它将“执果索因”的过程数学化。 \(P(B_i|A) = \frac{P(A \cap B_i)}{P(A)} = \frac{P(A|B_i)P(B_i)}{P(A)} = \frac{P(A|B_i)P(B_i)}{\sum_{j} P(A|B_j)P(B_j)}\)
贝叶斯更新过程的直观理解：这是一个信念迭代更新的循环。我们从一个初始的“先验”信念出发，当“新证据”出现时，我们利用“似然”来评估证据在不同假设下的支持度，最终得到一个融合了先验知识和新证据的、更可靠的“后验”信念——我们已知的条件是先验概率，以及似然概率；当结果 A 出现后就会更新我们的先验概率 \(B_i\)。
下图把上面两条公式共用的图像画出来：样本空间 S 被分成互斥且穷尽的 \(B_1, \dots, B_4\) 四块，每块的宽度就是 \(P(B_i)\)；事件 A 是横跨各块的那团蓝色区域，它落在第 \(i\) 块里的部分就是分量 \(A \cap B_i\)，于是 \(P(A)\) 是这四块分量之和。贝叶斯定理是同一张图的另一种读法——已知结果落在 A 里，问它来自哪一块。
1 样本空间 $$S$$ 的一个分割与事件 $$A$$（蓝色椭圆）：竖线把 $$S$$ 分成互斥且穷尽的四块，画在椭圆内的线段为白色，$$A$$ 因此被分成四份，每份即 $$A \cap B_i$$
前面处理的对象是事件，而实际分析的是数据，也就是数，因此需要把基本结果映射为实数。
一个关键的计算：设 \(X_1, \ldots, X_n\) 独立同分布，均值为 \(\mu\)，方差为 \(\sigma^2\)，则样本均值 \(\bar{X}\) 满足：
$$E(\bar{X}) = \mu, \quad Var(\bar{X}) = \frac{\sigma^2}{n}$$
均值的波动随样本量增大而缩小，其标准差 \(\sigma/\sqrt{n}\) 称为标准误 (standard error)。后面几乎所有检验统计量的分母，都是某种标准误。
更关键的一句话：统计量是随机变量。样本均值 \(\bar{X}\)、样本方差 \(s^2\) 都是样本的函数，换一个样本就换一个值，因此它们各有自己的分布，称为抽样分布 (sampling distribution)。统计推断就是在假设的抽样分布下，判断手里这个观测值是否“太极端”。
常见的分布在后文各有用处：二项分布 \(B(n, p)\) 描述 \(n\) 次独立伯努利试验中成功的次数，泊松分布 \(Po(\lambda)\) 是它在稀有事件下的极限，它们在 B(n, p)/Po(λ) Test 一节使用；正态分布及由它构造出的 \(\chi^2\) 分布、 \(t\) 分布、 \(F\) 分布在 Parametric Statistics 一章使用。
上一节只给出了 \(\bar{X}\) 的均值和方差，没有给出它的分布。两个极限定理补上了这一点(设 \(X_1, X_2, \ldots\) 独立同分布，均值为 \(\mu\)，方差 \(\sigma^2\) 有限)：
这两条定理解释了本笔记中反复出现的现象：
但 CLT 只是近似，近似得好不好取决于样本量和总体的偏斜程度。小样本且总体不正态时，就需要精确分布、非参数方法或模拟，这正是后面各章分工的由来。
留下的问题： 以上都假定分布(数据生成过程)是已知的。现实中它是未知的，我们只有一个样本。从样本出发去推断总体，就是统计学要做的事。
本章的问题： 概率部分假定机制已知。现实中只有数据，面对一批数据，第一步是用少数几个数把它说清楚：中心在哪里，波动有多大，各类占多大比例。注意这些描述都只针对手里的样本；样本与总体之间的差距(抽样误差)，要等到后面的推断才能处理。
首先了解数据的频数分布,选用合适的集中以及离散趋势描述数据。
频数表的编制：
标准差的单位与原数据相同,方差的单位是原始数据单位的平方。变异系数是一个无量纲的相对数，所以可以用于不同尺度, 不同单位均值相差较大的数据直接相互比较。 方差/标准差/变异系数的计算都依赖于均值的计算。
- \(CV = \frac{S}{\bar{X}} \cdot 100\%\)
\(M = L + \frac{i}{f_X}(n \cdot X\% - \sum{f_L})\)
其中 \(L\) 为 \(X\%\) 分位数所在组段的下限, \(i\) 为该组段的组距, \(f_X\) 为该组段的频数, \(\sum{f_L}\) 为该组段之前的累计频数; 中位数对应 \(X = 50\)。
分类变量数据主要依赖于各种相对数描述,包括比例(proportion),速率(rate), 相对比(ratio). 其中rate主要涉及到时间的概念,需要注意孕产妇死亡率等是相对比指标。
数据的标准化法：
动态数列：定基/环比,变化/增长(-1),平均发展速度/平均变化速度(-1)。
本章的问题： 数据是怎么得到的？推断依赖“样本能代表总体”“各次观测独立同分布”这类假设，而这些假设是否成立，主要由设计决定，不能事后靠计算补救。随机化、对照与重复，就是让这些假设变得合理的手段，也是区分“预测关系”与“因果关系”(见概率部分第 5 节)的关键。
医学实验的特点：最终对象是人
医学实验设计要素：
实验设计的基本原则：
常用的设计方案包括完全随机化,区组化设计,析因设计以及被试内设计。被试内设计通过将个体的差异转化为重复测量的差异,而减少了误差。
调查研究最大特点在于其只能被动观察,以及需要更大样本进而有更大的误差。
调查设计的原则需要完整,可行,经济,时效。
可行性分析可以通过逻辑分析,或者经验判断,或者试调查。
抽样的基本程序包括界定研究总体和调查总体,设计抽样方法,编制抽样框架,抽取样本,评估样本。
调查技术包括问卷,电话,访谈,观察法以及敏感问题调查技术-随机化应答技术。
非抽样误差包括抽样框误差,无回答误差,以及计量误差。
非抽样误差的估计有以下方法：
本章的问题： 若假定总体服从某种分布(常常是正态)，样本统计量的抽样分布能否精确推出？可以：由正态总体的样本得到 \(\chi^2\) 分布、 \(t\) 分布、 \(F\) 分布，再据此构造均值、率、方差的各种检验。每一节都是同一套骨架：统计量、 \(H_0\) 下的分布、与观测值比较，只是统计量不同。
首先给出各分布构造的定义：
三条构造对应的密度画在下面： \(\chi^2\) 与 \(F\) 都只取正值、向右偏，自由度越大越接近对称； \(t\) 关于 \(0\) 对称，自由度越大越贴近标准正态，图中的灰色虚线就是标准正态。同一族内，颜色由深到浅对应自由度增大。
2 $$\chi^2(n)$$、$$F(m, n)$$ 与 $$t(n)$$ 的密度：同族内颜色由深到浅对应自由度增大，$$t$$ 面板中的灰色虚线是标准正态
设 \(\left\{ x_{i} \right\}_{i=1}^{n}\) 是来自正态总体 \(\mathcal{N}(\mu, \sigma^2)\) 的样本,其样本均值和方差分别为:
则：
- 这里描述的是正态总体样本的均值服从正态分布,而经 \(\sigma^2\) 标准化后的样本方差 \(\frac{(n-1)s^2}{\sigma^2}\) 服从卡方分布(注意 \(s^2\) 本身并不服从卡方分布)。
- 注意 \(s^2\) 是样本方差,而不是样本均值所服从的正态分布的方差,后者为 \(\frac{\sigma^2}{n}\)。
设 \(\left\{ x_i \right\}_{i=1}^m\) 是来自 \(\mathcal{N}(\mu_1, \sigma_1^2)\) 的样本, \(\left\{ y_i \right\}_{i=1}^n\) 是来自 \(\mathcal{N}(\mu_2, \sigma_2^2)\) 的样本,且两样本相互独立,那么：
则：
证明：
设 \(\left\{ x_{i} \right\}_{i=1}^{n}\) 是来自正态总体 \(\mathcal{N}(\mu, \sigma^2)\) 的样本,其样本均值和方差分别为:
则：
证明：
设 \(\left\{ x_i \right\}_{i=1}^m\) 是来自 \(\mathcal{N}(\mu_1, \sigma_1^2)\) 的样本, \(\left\{ y_i \right\}_{i=1}^n\) 是来自 \(\mathcal{N}(\mu_2, \sigma_2^2)\) 的样本,且两样本相互独立,那么：
设 \(\sigma_1^2 = \sigma_2^2 = \sigma^2\), 则：
证明：
由两样本独立且正态分布：
由卡方变量可加性 (此时 \(\sigma_1^2 = \sigma_2^2 = \sigma^2\))：
由 \(\bar{x}, \bar{y}\) 与 \(s_x^2, s_y^2\) 的独立性(定理 1 的第 3 条)以及两样本的独立性,上面的标准正态变量与卡方变量相互独立。按 \(t\) 分布的构造,将前者除以 \(\sqrt{\frac{s_p^2 (m + n - 2)/\sigma^2}{m + n - 2}} = \frac{s_p}{\sigma}\), \(\sigma\) 约去,即得：
$$\frac{(\bar{x} - \bar{y}) - (\mu_1 - \mu_2)}{s_p \cdot \sqrt{\frac{1}{m} + \frac{1}{n}}} \sim t(m + n - 2)$$
From wikipedia:
For exactness, the t-test and Z-test require normality of the sample means, and the t-test additionally requires that the sample variance follows a scaled \(\chi^2\) distribution, and that the sample mean and sample variance be statistically independent. Normality of the individual data values is not required if these conditions are met. By the central limit theorem, sample means of moderately large samples are often well-approximated by a normal distribution even if the data are not normally distributed. For non-normal data, the distribution of the sample variance may deviate substantially from a \(\chi^2\) distribution.
However, if the sample size is large, Slutsky’s theorem implies that the distribution of the sample variance has little effect on the distribution of the test statistic. That is as sample size
\({\displaystyle {\sqrt {n}}({\bar {X}}-\mu )\xrightarrow {d} N\left(0,\sigma ^{2}\right)}\) as per the Central limit theorem.
\({\displaystyle s^{2}\xrightarrow {p} \sigma ^{2}}\) as per the Law of large numbers.
\({\displaystyle \therefore {\frac {{\sqrt {n}}({\bar {X}}-\mu )}{s}}\xrightarrow {d} N(0,1)}\)
我们知道 \(t\) 分布的构造定义如下：
$$\frac{X}{\sqrt{\chi^2_{(n - 1)}/(n-1)}}, \quad X \sim \mathcal{N}(0, 1) \text{ 且与 } \chi^2_{(n-1)} \text{ 相互独立}$$
从 \(t\) 的构造中可知,我们需要一个 \(X \sim \mathcal{N}(0, 1)\) 的正态变量；而在大样本情况下, 依据中心极限定理,样本均值近似服从正态分布。 进一步地,依据大数定律, \(s^2 \xrightarrow{p} \sigma^2\) , 再由 Slutsky 定理,用 \(s\) 替代 \(\sigma\) 不改变统计量的极限分布,所以可以进行 \(z\) 检验。实际上,在大样本下如下近似总是成立的：
具体地, 设二项分布 \(X \sim B(n, p)\):
则：
\(X \overset{\cdot}{\sim} \mathcal{N}(np, np(1-p)), \text{ 当 } n \rightarrow \infty\)
\(\hat{p} = X/n \overset{\cdot}{\sim} \mathcal{N}(p, \frac{1}{n}p(1-p))\)
对于二项分布而言,其总体的期望以及方差实际上描述的就是多次独立的伯努利实验的期望与方差。
而大样本下 \(t\) 分布近似于 \(z\) 分布。所以 \(t\) 分布可以应用于小样本下的正态总体,以及大样本下的任意总体的均值的检验。
在应用 \(t\) 检验时,我们往往只有一个或两个样本的均值与方差,计算的关键就在于如何利用样本方差计算得到均值分布的方差。
应用条件：
\(t(\nu) = \frac{\bar{d} - 0}{s_{\bar{d}}} = \frac{\bar{d}}{s_{\bar{d}}}, \ \nu = n - 1, \ s_{\bar{d}} = s_d \cdot \sqrt{\frac{1}{n}}\), 其中 \(n\) 为对子数
证明：
应用条件：
两个总体的比较需要对方差齐性进行检验：
注意：先做方差齐性检验、再据此选择 \(t\) 检验类型的两步法,会改变最终检验的实际 I 型错误率。近年的方法学文献(如 Delacre, Lakens & Leys, 2017)建议默认使用不要求方差齐性的 Welch \(t\) 检验(R 中
t.test()的默认设置即为 Welch)。
When \(\sigma_1 = \sigma_2 = \sigma\):
When \(\sigma_1 \neq \sigma_2 \text{ 或未知} \rightarrow \text{ Welch's t-Test}\):
通过 \(\text{Satterthwaite}\) 法,对自由度进行校正
设事件 \(A\) 发生的概率为 \(\pi\), 那么在 \(n\) 次伯努利试验中,该事件发生次数 \(k\):
其中 \(P(k)\) 正好是牛顿二项展开式 \(\left[ (1 - \pi) + \pi \right]^n\) 的第 \(k + 1\) 项, 所有项之和为 1。
设 \(X \sim B(n, \pi)\), 则：
当 \(\pi\) 特别小时,设 \(\lambda = n\pi\), 则当 \(n \rightarrow \infty\) :
\(n\) 足够大,以至于每 \(\frac{1}{n}\) 中只有发生与不发生两种情况。
每一份 \(\frac{1}{n}\) 中其概率都为 \(\frac{\lambda}{n}\) (即 \(\pi\))
每一份中之间是相互独立的。
则 \(X \sim Po(\lambda)\)
泊松分布最大的特征就是其均值与方差都等于 \(\lambda\), 实践中常用方差与均值之比来检查数据是否存在过度离散(方差大于均值)或欠离散。需要注意,均值等于方差只是泊松分布的必要条件,而不是充分条件。此外,泊松分布具有可加性。考虑 \(X_1 \sim Po(\lambda_1), X_2 \sim Po(\lambda_2)\), 且互相独立：
该假设的原理如下：
If the group means are drawn from populations with the same mean values, the variance between the group means should be lower than the variance of the samples, following the central limit theorem - wikipedia
其需要满足的假设如下：
Tiku (1971) found that “the non-normal theory power of F is found to differ from the normal theory power by a correction term which decreases sharply with increasing sample size.” The problem of non-normality, especially in large samples, is far less serious than popular articles would suggest - wikipedia
设有 \(a\) 个组,第 \(i\) 组有 \(n_i\) 个观测 \(Y_{ij}\), \(N = \sum n_i\), \(\bar{Y}_i\) 为第 \(i\) 组均值, \(\bar{Y}\) 为总均值：
\(Y_{ij} - \bar{Y} = (Y_{ij} - \bar{Y}_i) + (\bar{Y}_i - \bar{Y})\)
\(\sum_{i=1}^a\sum_{j=1}^{n_i} \left( Y_{ij} - \bar{Y} \right)^2 = \sum_{i=1}^a\sum_{j=1}^{n_i} \left(Y_{ij} - \bar{Y}_i \right)^2 + \sum_{i=1}^a n_i\left( {\bar{Y}_i - \bar{Y}} \right)^2\)
\(F = \frac{\sum_{i=1}^a n_i\left( \bar{Y}_i - \bar{Y} \right)^2 \bigg/ (a - 1)}{\sum_{i=1}^a\sum_{j=1}^{n_i} \left(Y_{ij} - \bar{Y}_i \right)^2 \bigg/ (N - a)} \sim F_{(a-1, N-a)}\)
平方展开后的交叉项之和为 0。从公式的推导之中可以看到,其核心在于对变异(SS, sum of squares)的分解 \(SS_{\text{total}} = SS_{\text{within group}} + SS_{\text{between group}}\)。方差分析需要进行Levene’s方差齐性检验,该检验实际上是对每个值减去该组均值的差异做单因素方差分析：
若以组中位数代替组均值计算 \(Z_{ij}\), 即为 Brown-Forsythe 检验,对非正态数据更稳健(R 中
car::leveneTest()默认即采用中位数)。
当处理因素有多个时,进行方差分析,不仅要考虑每个因素的影响,还需要考虑因素之间的交互作用对观测值的影响。而随机区组设计先按区组分组、再在区组内随机分配处理,每个区组与处理的组合格中只有一个观测,此时交互作用无法与误差分开估计,因此需要假定区组与处理之间没有交互作用(可加性假设),只考虑区组与处理两个因素分别对结果的影响；
其中 \(i\) 表示区组 (\(i = 1, \ldots, n\)), \(j\) 表示处理水平 (\(j = 1, \ldots, a\)), \(\bar{Y}_{i\cdot}\) 与 \(\bar{Y}_{\cdot j}\) 分别为区组均值与处理均值。
从上面的公式可以看出,随机区组设计将变异分为两个变量来源(区组,实验因素),以及个体本身的误差,其中误差项的自由度为 \((n-1)(a - 1)\)。
对于混杂因素的控制还有将线性回归与方差分析结合起来的协方差分析,其对个体值的分解如下：
其中 \(\alpha_i\) 为第 \(i\) 组的处理效应, \(X\) 是混杂因素(协变量), \(b\) 为 \(Y\) 对 \(X\) 的回归系数。
方差分析对各处理组均数是否相等总的检验,在 \(H_0\) 被拒绝以后,需要确定究竟是哪些处理组之间存在差异,此时需要进行均数之间的多重比较,这就涉及到累计I型错误率。
当 \(a\) 个处理组均数需要两两比较时候,共需要比较 \(c = a!/[2!(a-2)!]\)。 设每次检验的检验水准为 \(\alpha\) ,累积I型错误概率为 \(\alpha'\) (假定各次检验近似相互独立), 则
\(q\) 检验用于任意两组之间的相互比较。SNK法是逐步比较法,依据两个均值之间的跨度 \(r\) 选用不同的临界值; 当比较均值的组数较多时,Tukey法比Bonferroni法更有效,组数较少时,Bonferroni法更有效。
其计算过程如下：
则 \(q\) 统计量：
其中 \(\bar{Y}_i, \bar{Y}_h\) 及 \(n_i, n_h\) 分别是两个比较组的均数以及样本例数, \(MS_{\text{within group}}\) 为进行方差分析得到的组内均方。以自由度 \(\nu = N - a\) 和跨度 \(r\) 查 \(q\) 界值表。
\(t_D\) 统计量处理组与对照组的比较,该统计量的计算如下：
其中 \(\bar{Y}_i, \bar{Y}_c\) 及 \(n_i, n_c\) 分别是实验组与对照组的均数以及样本例数, \(MS_{\text{within group}}\) 为进行方差分析得到的组内均方。临界值需查 Dunnett- \(t\) 界值表(不同于普通的 \(t\) 分布),自由度为 \(N - a\)。
\(q\) 检验那一节提到的 Bonferroni 法,是把每次比较的检验水准一律定为 \(\alpha / c\) ,从而保证族系错误率不超过 \(\alpha\) 。Holm 法是它的逐步下降 (step-down) 改进:从小的一端开始逐个检验,界值逐次放宽,因此凡 Bonferroni 法能拒绝的假设 Holm 法都能拒绝,反过来不一定——在控制同一个错误率的前提下,Holm 法一致地更有效。
设共有 \(c\) 个检验(即上一段的比较次数),将其 p 值由小到大排列为 \(p_{(1)} \le p_{(2)} \le \cdots \le p_{(c)}\) ,对应的原假设记为 \(H_{(1)}, \ldots, H_{(c)}\) ,则过程如下：
等价的 p 值校正形式为
Bonferroni 法对每一次比较都用同一个界值 \(\alpha / c\) ,Holm 法只用它卡住最小的那一个,此后界值逐步放宽到 \(\alpha / (c-1)\) 、 \(\alpha / (c-2)\) 等等,所以两者的差别在拒绝个数较多时才明显。需要强调的是两者控制的是同一个量——族系错误率 (family-wise error rate, FWER),即全部比较中至少犯一次 I 型错误的概率,也就是本节开头那个累积 I 型错误概率 \(\alpha'\) ;那里假定了各次检验近似独立,不独立时 \(\alpha'\) 会更大。Holm 法在任意相依结构下都成立,不要求各次检验相互独立。
FWER 的要求在比较次数 \(c\) 很大时过于严格:只要 \(c\) 到成千上万(例如高通量筛选里的表达谱或全基因组关联分析),界值 \(\alpha / c\) 就小到几乎没有假设能被拒绝。Benjamini 与 Hochberg 于是改而控制错误发现率 (false discovery rate, FDR),即所有被拒绝的原假设里错误拒绝所占比例的期望。
设仍把 p 值由小到大排列为 \(p_{(1)} \le \cdots \le p_{(c)}\) ,事先给定目标错误发现率 \(q\) (这里的 \(q\) 与前面的 \(q\) 检验无关),则过程如下：
等价的 p 值校正形式为
FDR 与 FWER 的差别在于惩罚的对象:FWER 不允许出现任何一次错误拒绝,FDR 只要求错误拒绝在全部拒绝中所占的比例足够小。因此 \(c\) 较大时 BH 法比 Holm 法宽松得多,代价是明知会混进少量假阳性。BH 法在各次检验相互独立或满足正相依 (positive regression dependence on a subset, PRDS) 时成立;若相依结构完全未知,需改用 Benjamini-Yekutieli 法,代价是界值再除以调和数 \(\sum_{j=1}^{c} 1/j\) 。
两种校正都作用在 p 值上,因此与前面各节的检验统计量无关:无论用的是 \(t\) 检验、 \(q\) 检验还是秩和检验,只要把得到的 p 值按上面的次序排好再校正即可。
本章的问题： 当总体分布未知、不能假定为正态，或者数据本身就是分类变量、等级变量时，上一章的构造不再适用。思路是换一条路径得到 \(H_0\) 下的分布：对分类数据比较观测频数与理论频数(卡方检验、Fisher 精确检验)；对数值或等级数据只用它们的秩次，不依赖具体的数值分布(秩检验)。
卡方检验用于观测变量为无序分类变量时, 用于检验零假设下观测频数与理论频数(将所有组合并为一个组计算出的每个结局的频率分布,然后乘以原组的频数)之间偏离如此大范围的概率(如果观测变量为有序的分类变量,则该使用秩相关的检验)。该方法应用的条件如下：
不宜有 \(\frac{1}{5}\) 的格子数的理论频数小于 \(5\), 或有一个格子的理论频数小于1,否则将导致分析的偏性。可采取扩大样本含量,或者合并或者删除不符合条件的数据。后两者会损失信息,样本随机性,可能会影响推断结论。
多个样本率(即多分组,观测变量为无序的二分类变量)的比较,显著的差异只能推断出这几组之间有总体的差异,但是不能推出其中两者之间是否存在差异。此时可将不同组的数据两两组合重新进行卡方检验进行推断,此时的检验水准的计算公式为 \(\frac{\alpha}{k(k-1)/2 + 1}\)
考虑一个 \(R \times C\) 的列联表
- 如果为单变量,按样本分组；如果观测变量是无序二分类的,则是率的比较；如果观测变量为无序多分类,则为频数分布的比较。
- 如果为两个无序的观测变量,则为两个观测变量关联性检验,此时还需要进一步计算关联系数 \(C \text{ (contingency coefficient)} = \sqrt{\frac{\chi^2}{n + \chi^2}}\)
对于称为四格表的资料,即 \(2 \times 2\) 的列联表,其计算的简化形式为：
特别地, 当 \(n \ge 40\) 且理论频数存在 \(1 \le E < 5\) 时有如下的 Yates 连续性校正 (Yates correction for continuity)：
实际上Pearson卡方值是正态总体中一种连续性的变量,四格表资料的卡方值为不连续的值,卡方分布仅仅是对表格资料的统计量分布的近似分布。 当四格表中有小于5的期望值时,其卡方值偏大,减去 \(0.5\) 进行 Yates 连续性校正。
若 \(n < 40 \text{ 或 } E < 1\) 则采用Fisher确切概率法。
Fisher确切概率法可以推广到 \(R \times C\) 列联表 (Fisher-Freeman-Halton 检验),可用于任意情况的检验。但上面给出的只是某一种表格的概率。要得到 \(P\) 值,需要在固定边际合计的条件下,把所有概率不大于当前表格概率(即至少同样极端)的表格的概率累加起来,得到出现如此极端结果的概率。
当四格表资料为配对设计时,该检验称为 McNemar Test, 检验两者阳性率是否一致,该值完全由两组中阳性的频数决定,则：
若 \(b + c \le 40\), 则：
因为 Pearson \(\chi^2\) 能反映实际频数和理论频数的吻合程度,所以 \(\chi^2\) 检验可以用作频数分布的拟合优度检验(goodness of fit test),用于判断样本是否符合正态分布,二项分布,Poisson分布等(自由度为组数 \(- 1 -\) 由样本估计的参数个数)。
用于总体分布未知,且观测变量为数值变量或者有序分类变量情况,需要关注的是不同的秩和检验的秩和 \(T\) 是如何计算的以及遇到相等的数据该如何处理(只有数值变量会遇到相同的数据,对于观测变量为有序的等级数据,因为用的是其每一类结果的平均秩次,不存在该问题)。
依差值的绝对值从小到大编秩。编秩时遇到差值为 \(0\) 的舍去不计,此时有效样本例数减少(每有一个差值为 0,有效例数 \(n\) 就减少 1); 遇到绝对值差值相等差数,符号相同则顺次编秩,符号相反则取平均秩次,再给秩次冠以原差值的正负号。分别计算出正负秩次和 \(T_+, T_-\) ,任取其中一个作为统计量秩和 \(T\)
当相同差值数较多时(包括差值为 0 的值),采用如下校正式：
$$Z = \frac{\left| T - \frac{n(n + 1)}{4} \right| - 0.5}{\sqrt{\frac{n(n+1)(2n+1)}{24} - \frac{\sum \left( t_j^3 - t_j \right)}{48}}}$$
其中, \(t_j\) 是第 \(j\) 个相同差值的个数。
则统计量 \(T\):
当相同秩较多时,有如下校正：
单因素的方差分析对应Kruskal-Wallis Test, 随机区组设计的方差分析对应Friedman Test.
Kruskal-Wallis Test
构造 \(H\) 统计量：假设有 \(a\) 个组,第 \(i\) 组的样本量 \(n_i\) , \(N\) 为各组样本量之和,将各组数据合并,编秩次,秩次相同的取平均值。 \(R_{ij}\) 为第 \(i\) 个组的第 \(j\) 个个体的秩次, \(\bar{R}_i\) 为第 \(i\) 个组的平均秩次, \(\bar{R}\) 为总平均秩次, \(R_i\) 为第 \(i\) 组的秩和。
从上式可以看出 \(H\) 统计量实际上是组间变异与总的变异的比值。
没有相同秩次时,秩次服从均匀分布, 上式可以简化为：
相同秩次过多时,上述以均匀分布为基础推导的公式需要进行校正：
其中 \(C = 1 - \sum(t_j^3 - t_j) / (N^3 - N)\) .
\(n_i\) 与 \(a\) 较小时 直接计算或者查表。
\(n\) 较大时, \(H\) 近似服从于 \(\chi^2_{a-1}\) .
实际上也可以对数据编秩,然后用数据的秩次代替原数据进行方差分析得到 \(F\) 统计量, \(H\) 统计量与 \(F\) 统计量有如下关系：
\(F = \frac{H/(a-1)}{(N-1-H)/(N-a)}\)
Friedman Test
在区组(行)内进行编秩,有相同的则取平均秩次。 \(i\) 代表不同的区组, \(j\) 代表不同的处理水平。
从上式可以看到 \(M\) 统计量是处理水平之间的变异与总的变异的比值。
如果没有相同秩次时,上式可以简化为：
当相同秩过多时可以进行校正,校正系数为
\(C = 1 - \sum_{i=1}^{n}\sum_{p=1}^{l_i}(t_{ip}^3 - t_{ip})/[na(a^2 -1 )]\)
\(M_c = M/C\)
其中 \(l_i\) 为第 \(i\) 个区组内相同秩次的组数, \(t_{ip}\) 为其中第 \(p\) 组相同秩次的个数。
当 \(n\) 以及 \(a\) 较小时直接查表或精确计算。 \(n\) 较大时 \(M\) 近似服从于 \(\chi^2_{a-1}\) .
同样地,我们也可以直接用编秩后数据代替原始数据的值进行随机区组设计的方差分析, 此时的 \(F\) 统计量与 \(M\) 统计量的关系如下：
本章的问题： 前面都是在“比较几组”。如果两个变量都是连续的，我们关心的是它们之间的关系：相关刻画关系的强度，回归给出用 \(X\) 预测 \(Y\) 的方程。最后一章会看到，前面的许多检验其实都是线性回归的特例。
考虑两个连续变量 \(X, Y\) (对相关系数做假设检验时,要求 \((X, Y)\) 服从二元正态分布), 那么其样本的 Pearson 积差相关系数(product-moment correlation coefficient):
对于相关有如下注意的问题：
对于非正态分布变量或者总体分布未知变量考虑使用 Spearman 等级相关(rank correlation)。将 \(n\) 对观察值 \(X_i, Y_i\) 由小到大编秩,则有：
该简化公式适用于无相同秩次的情况。若存在相同秩次，应使用Pearson公式计算秩次的相关系数。
简单线性回归,即只有一个自变量的线性回归,其回归方程形式如下：
对参数 \(b\) 有如下 \(F\) 检验：
对参数 \(b\) 同时有如下 \(t\) 检验：
对于拟合程度的判断可由决定系数确定：
对于拟合的回归方程,确定数值 \(X_0\), 那么有：
其中 \(S = \sqrt{MS_{\text{residuals}}}\), \(t_{\alpha, \nu}\) 为双侧界值, \(\nu = n - 2\)。
下面把这两个式子画在一起：蓝线是拟合的回归直线，窄的蓝色带是总体均值 \(\mu_{Y|X_0}\) 的置信带（第一个式子），宽的灰色带是单个新观测 \(Y_0\) 的预测带（第二个式子）。两个式子只差根号里多出的那个 \(1\)，图上就是两条带一宽一窄的差别；两条带都在 \(X\) 远离 \(\bar{X}\) 时变宽——回归线在自变量取中部时最可靠。
3 回归的均值响应置信带（蓝色窄带）与个体预测带（灰色宽带）：两者都在 $$X$$ 远离均值处变宽
利用上面的第二个式子可以进行统计控制,即如果想要将 \(Y\) 控制在一定范围,则可以通过控制 \(X\) 将个体预测值控制在一定范围之中。注意,这是用 \(X\) 去控制 \(Y\) 的反向应用,隐含了 \(X\) 对 \(Y\) 具有因果作用这一前提; 若 \(X\) 与 \(Y\) 之间只有预测关系,干预 \(X\) 未必能改变 \(Y\)。
本章的问题： 有了各种检验之后，回头看它们共同的逻辑： \(p\) 值到底是什么，置信区间怎么解释，两类错误如何权衡，以及当抽样分布的推导依赖了不成立的假设时，还有哪些办法。
求得样本统计量的分布,则可求得 \(H_0\) 下样本统计量向假设的预期偏离如此大范围的机率,则依据小概率定律,选择拒绝或者不拒绝原假设。
但是实际上要求得统计量的分布并不容易,对于参数统计,我们常常需要假设其分布,然后推理出相关统计量的分布；非参数统计则需要对其编秩,然后推断出秩和的分布。(此外还可以用计算机模拟得到这个分布，三条路径的对比见最后一章。)
对于 \(t/z\) 检验而言,统计量 \(t/z\) 的大小表示为向均值偏离多少个标准差, 而置信区间的形式则为均值加上多少个标准差。
\(t/z = \frac{\bar{x} - \mu_{\bar{x}}}{\sigma_{\bar{x}}}\)
总体均值的 95% 置信区间为 \(\bar{x} \pm t_{\alpha/2, \nu} \cdot \sigma_{\bar{x}}\) (\(\alpha = 0.05\); 大样本或总体方差已知时,用 \(z_{\alpha/2}\) 代替 \(t_{\alpha/2, \nu}\))
置信区间的含义在于：在相同条件下重复抽样,用每个样本分别计算置信区间,长期来看约有 95% 的区间包含总体均值(例如用 100 个样本得到 100 个区间,平均约有 95 个包含总体均值)。但对于某一个样本计算出来的区间,其是否包含总体均值只有是或者不是,而不是有 95% 的概率包含,因为该区间一旦算出,以及总体均值,都是确定的值。
\(H_0\) 没有差异为阴性结果, \(H_1\) 为具有差异,阳性结果。I 型错误是 \(H_0\) 为真时拒绝 \(H_0\) 所犯的错误,其概率为 \(\alpha\); II 型错误是 \(H_1\) 为真时不拒绝 \(H_0\) 所犯的错误,其概率为 \(\beta\)。 \(1 - \beta\) 即为检验功效,即在 \(H_1\) 为真的情况下,在指定的 \(\alpha\) 检出其存在差异的概率,类似于诊断试验中的敏感度(sensitivity).
下图按双侧检验把这三者的关系画出来：黑线是 \(H_0\) 下统计量的分布，蓝线是 \(H_1\) 下的分布，两条虚线是 \(\pm c\)（临界值）。 \(H_0\) 的两条红色尾部各是 \(\alpha/2\)，两侧合计才是 \(\alpha\)； \(H_1\) 落在两条临界值之间的灰色部分是 \(\beta\)，落在它们之外的浅蓝色部分是功效 \(1 - \beta\)（左侧那块面积极小，图上几乎看不见）。把临界值往外移（检验标准更严）， \(\alpha\) 变小而 \(\beta\) 变大：两者此消彼长，要同时改善只能增大样本量（两条曲线变窄）或增大真实的差异。
4 $$H_0$$（黑）与 $$H_1$$（蓝）下统计量的分布（双侧检验）：两侧尾部各为 $$\alpha/2$$，$$H_1$$ 在两条临界值之间的灰色部分是 $$\beta$$，其外的浅蓝色部分即功效 $$1 - \beta$$
但是在实际的假设检验过程,倘若需要求得样本统计量的分布,往往需要知晓总体的概率分布。由此在假设检验过程之中,除了零假设以外,实际上在样本统计量的分布的计算之中,同时隐含了总体的分布以及方差齐性等假设,而这些假设也有对应的检验方法。因此,p 值并非“原假设为真的概率”,而是在原假设及所有其他模型假设(如正态性、方差齐性)均成立的前提下,获得当前或更极端观测结果的条件概率。对 p 值的这种误读是统计学中最常见的错误之一。以上所考虑的是一定要得到样本统计量的确切分布,进而得到精确的概率,例如正态总体假设下,方差齐性的 \(t\) 检验,但是很多情况下我们不必得到样本统计量的精确分布,得到一个大概估计即可,例如大样本下的正态检验, \(R \times C\) 列联表值用卡方分布近似,非参数检验-秩检验等。在计算机时代,我们可以直接利用 Bootstrap 重抽样模拟样本统计量的分布(用于估计标准误与置信区间),或者利用置换检验:在零假设下各观测可交换,重新随机分配组别标签,直接模拟统计量在零假设下的分布。
许多参数检验方法都可以被看作是线性模型的特例。例如，两独立样本t检验在数学上等价于一个自变量为二分类虚拟变量（0/1）的简单线性回归。同样，方差分析（ANOVA）也等价于一个自变量为多个虚拟变量的多元线性回归。
两独立样本t检验 vs. 简单线性回归: 一个两独立样本t检验（如比较男性和女性的身高差异）在数学上等价于一个简单线性回归模型。在这个模型中，因变量是身高，自变量是一个虚拟编码的分类变量（如，男性=1，女性=0）。回归系数 b 的t检验结果与合并方差(假定方差齐性)的两独立样本t检验的结果完全一样; Welch t检验则没有这种等价关系。
ANOVA vs. 多元线性回归: 单因素方差分析（ANOVA）等价于一个使用虚拟编码（dummy coding）的多元线性回归模型。F检验的结果是相同的。这揭示了ANOVA实际上是一般线性模型(General Linear Model)的一个特例(注意它不同于广义线性模型 Generalized Linear Model,后者包含 logistic 回归、Poisson 回归等)。
本章的问题： 前面学了许多检验，它们是一堆互不相干的公式，还是同一件事的不同形态？本章把它们收进同一个框架，并且和线性代数笔记里的“投影”汇合。
所有检验共享前言里的骨架：统计量、 \(H_0\) 下的分布、 \(p\) 值。下表按“要回答的问题”把前面的方法排成一张地图：
| 要回答的问题 | 参数方法 | 非参数方法 | 统计量 | \(H_0\) 下的分布 |
|---|---|---|---|---|
| 单样本均值与已知值比较 | 单样本 \(t\) 检验(大样本用 \(z\)) | Wilcoxon 符号秩检验(对与已知值之差) | \(t\) | \(t(n-1)\) |
| 配对样本均值比较 | 配对 \(t\) 检验 | Wilcoxon 符号秩检验(对差值) | \(t\) | \(t(n-1)\) |
| 两独立样本均值比较 | Student \(t\) 检验 / Welch \(t\) 检验 | Wilcoxon 秩和检验 | \(t\) | \(t(m+n-2)\) / Welch 近似 |
| 两样本方差比较 | \(F\) 检验 | 无 | \(F\) | \(F(m-1, n-1)\) |
| 多组均值比较 | 单因素 ANOVA | Kruskal-Wallis 检验 | \(F\) / \(H\) | \(F(a-1, N-a)\) / 近似 \(\chi^2_{a-1}\) |
| 随机区组设计 | 随机区组 ANOVA | Friedman 检验 | \(F\) / \(M\) | \(F\) / 近似 \(\chi^2_{a-1}\) |
| ANOVA 之后的多重比较 | \(q\) 检验、Dunnett 检验、Bonferroni、Holm、BH | 无 | \(q\) / \(t_D\) (Holm、BH 直接作用于 \(p\) 值) | \(q\) 分布 / Dunnett 分布 |
| 率或二分类变量(一或两个样本) | \(z\) 检验(二项分布的正态近似) | Fisher 精确检验 | \(Z\) | \(\mathcal{N}(0, 1)\) / 超几何分布 |
| 计数或发生率的比较 | Poisson 的 \(z\) 检验 | 无 | \(Z\) | \(\mathcal{N}(0, 1)\) |
| 无序分类变量(列联表) | 卡方检验(配对设计用 McNemar) | Fisher 精确检验 | \(\chi^2\) | \(\chi^2\)，自由度 \((R-1)(C-1)\)，四格表为 1 |
| 两个变量的关联 | Pearson 相关 | Spearman 秩相关 | \(t\) | \(t(n-2)\) |
| 线性关系 | 回归系数 \(b\) 的 \(t\) 检验 / \(F\) 检验 | 无 | \(t\) / \(F\) | \(t(n-2)\) / \(F(1, n-2)\) |
几乎所有检验统计量都可以读成“偏离假设的程度，除以随机波动的大小”，也就是信号除以噪声：
信号越强、噪声越小，统计量越极端， \(p\) 值越小。增大样本量，实际上是在缩小噪声(标准误 \(\propto 1/\sqrt{n}\))，所以检验功效随 \(n\) 增大而提高，这也是“两类错误”一节的图中两条曲线变窄的原因。
| 路径 | 做法 | 依赖的假设 | 本笔记中的例子 |
|---|---|---|---|
| 精确分布 | 假定总体分布，严格推出统计量的分布 | 总体的分布形式(如正态)、观测独立 | \(t\) 检验、 \(F\) 检验、方差分析；Fisher 精确检验；小样本秩和检验查表 |
| 渐近近似 | 大样本下用极限分布近似 | 样本量足够大，方差有限 | 二项与泊松的正态近似、大样本 \(z\) 检验、Pearson 卡方检验、秩和检验的 \(Z\) 近似 |
| 计算机模拟 | 重抽样或重新分配标签，直接模拟分布 | 样本代表总体(Bootstrap)，或零假设下观测可交换(置换检验) | Bootstrap、置换检验 |
选择哪条路，取决于哪些假设可以接受。无论哪条路， \(p\) 值始终是“在这些假设全部成立时”的条件概率(见假设检验原理一节)。
把容量为 \(n\) 的样本 \(x_1, \ldots, x_n\) 看成 \(\mathbb{R}^n\) 中的一个向量 \(\mathbf{x}\)。线性代数笔记里的投影、正交补、子空间的维数，在这里直接就是统计量的含义。
设样本来自 \(\mathcal{N}(\mu, \sigma^2)\)，即 \(\mathbf{x} \sim \mathcal{N}(\mu\mathbf{1}, \sigma^2 I)\)，其中 \(\mathbf{1}\) 是全 1 向量。记 \(P = \frac{1}{n}\mathbf{1}\mathbf{1}^T\)，它是向 \(\mathbf{1}\) 所张成的直线(一维子空间)的投影矩阵：
$$P\mathbf{x} = \bar{x}\mathbf{1}, \quad \|(I - P)\mathbf{x}\|^2 = \sum_{i=1}^{n}(x_i - \bar{x})^2 = (n-1)s^2$$
也就是说，样本均值是 \(\mathbf{x}\) 在这条直线上的投影，样本方差是 \(\mathbf{x}\) 在它的正交补(维数为 \(n - 1\))上的投影长度的平方，再除以 \(n - 1\)。由此得到三点：
同样的图像解释了方差分析与回归：
方差分析：设 \(P_g\) 是向“各组均值张成的空间”(维数为 \(a\))的投影，则 \(P_g - P\) 的像是 \(a - 1\) 维子空间， \(I - P_g\) 的像是 \(N - a\) 维子空间，三者相互正交，于是
$$\|(I - P)\mathbf{y}\|^2 = \|(P_g - P)\mathbf{y}\|^2 + \|(I - P_g)\mathbf{y}\|^2$$
即 \(SS_{\text{total}} = SS_{\text{between group}} + SS_{\text{within group}}\) 是勾股定理，而 \(F\) 就是两个正交子空间上“单位维数的投影长度平方”之比：
$$F = \frac{\|(P_g - P)\mathbf{y}\|^2/(a-1)}{\|(I - P_g)\mathbf{y}\|^2/(N-a)}$$
线性回归：它是向设计矩阵的列空间做投影(线性代数笔记中的最小二乘)，拟合值 \(\hat{\mathbf{y}} = P_X\mathbf{y}\)，残差落在列空间的正交补中。有截距时，决定系数 \(R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}}\) 等于 \(\mathbf{y}\) 的中心化向量与拟合偏差向量夹角余弦的平方。
这也解释了为什么“两样本 \(t\) 检验、ANOVA 都是线性回归的特例”(上一章最后一节)：它们只是在不同的设计矩阵(列空间)上做投影。
条件期望也是投影：给定 \(X\) ， \(E[Y\mid X]\) 是 \(Y\) 在“所有 \(X\) 的可测函数”这个子空间上的正交投影。所以“回归 = 投影”不只对线性回归成立；最小二乘只是把投影限制在 \(X\) 的线性函数子空间里。
同一个贝叶斯公式，在概率论里是一道计算题，在统计里就是推断的框架。
整份笔记可以浓缩成一条流程：
总体 (数据生成过程) → 抽样 → 样本 → 统计量 → 抽样分布 (精确 / 渐近 / 模拟) → 与观测值比较 → 推断 ( \(p\) 值、置信区间)
概率负责“抽样分布”，实验设计负责“抽样”，描述统计负责“统计量”，而每一种具体的检验方法，只是在这条流程的某一环上做出不同的选择。