概率论学习笔记

概率论

1 随机事件与概率

1.1 随机试验

随机试验的特点：

1. 可重复性
2. 多样性与明确性（结果具有多样性，但观察可以确定结果）
3. 不确定性

1.2 样本空间与随机事件

随机试验中所有可能出现的基本结果称为样本点，记为$\omega$，由所有样本点构成的集合称为样本空间，用其大写字母表示$\Omega$。

注意点：样本空间由观察规定。举例：掷一枚硬币，观察出现正反面图案，记出现正面图案为事件A。则样本空间为$\{0,1\}$。若观察行动为：掷硬币直到出现两次反面，则样本空间为$\{t|t\in N, t\geq 2\}$。

1.3 事件的关系和运算

子事件：$A\subset B$。和事件：$A\cup B$。积事件：$A\cap B$。互斥事件：$AB=\phi$。

差事件：$A-B=\overline{A}B=A-AB$。完备事件组：$\sum\limits_{i=1}^nA_i=\Omega$，则称$\sum\limits_{i=1}^nA_n$，为完备事件组。

事件之间的运算符合逻辑代数的关系运算律。

1.4 事件的概率

1.4.1 主观概率

有些实际问题无法进行完全相同的多次实验，因此采用主观概率。如医生估计此次手术成功的概率。

1.4.2 统计概率

频率：事件A在n次重复实验中出现了r次，则频率为$f_n(A)=\frac{r}{n}$。

频率的性质：

1. 非负性
2. 规范性$f_n(\Omega)=1$
3. 有限可加性，设A，B为独立事件$f_n(A+B)=f_n(A)+f_n(B)$

统计概率：若$\lim\limits_{n\rightarrow+\infty}f_n(A)=p$，则事件的统计概率记为$P(A)=p$。

1.4.3 古典概率

样本空间中的事件个数有限且具有等可能性，则古典概率记为$P(A)=\frac{r}{n}$。

1.4.4 几何概率

古典概率的拓展，当样本区域有限，事件A可以用其子区域表示，事件A的概率与其几何测度有关，与区域的位置和形状无关，则几何概率记为：

$$P(A)=\frac{A的几何测度}{\Omega的几何测度}$$

1.5 概率的公理化

1.5.1 定义

设$\Omega$是随机试验E的样本空间，F是其中的子集合，称为事件域，P是E下定义在F上的实值集合函数（测度），即$P:F\mapsto[0,1]$。如果P满足：

1. 非负性
2. 规范性$P(\Omega)=1$
3. 可列可加性，若事件互斥：$P(\sum\limits_{i=1}^{+\infty}(A_i))=\sum\limits_{i=1}^{+\infty}P(A_i)$

则P(A)为事件A的概率。

1.5.2 性质

1. 空集概率为0
2. 有限可加性$P(\sum\limits_{i=1}^{n}(A_i))=\sum\limits_{i=1}^{n}P(A_i)$
3. $P(\overline{A})=1-P(A)$
4. $若A\subset B,则P(B-A)=P(B)-P(A)$
5. 单调性$A\subset B,P(A)>P(B)$
6. 加法公式$P(A\cup B)=P(A)+P(B)-P(AB)$

加法公式的一般化

$$P\left(\bigcup_{i=1}^nA_i\right)=\sum_{i-1}^nP(A_i)-\sum_{i=1}^{n-1}\sum_{j=i+1}^{n}P(A_iA_j)+\sum_{i=1}^{n-2}\sum_{j=i+1}^{n-1}\sum_{k=j+1}^{n}P(A_iA_jA_k)-\cdots+(-1)^{n-1}P(A_1A_2\cdots A_n)$$

1.6 条件概率

1.6.1 定义

A、B是样本空间$\Omega$中的两个随机事件，若P(A)>0，则$\frac{P(AB)}{P(A)}$为事件A发生的条件下事件B的条件概率。记为P(B|A)，即

$$P(B|A)=\frac{P(AB)}{P(A)}$$

条件概率符合概率的三大基本公理。

1.6.2 乘法公式

$$P(AB)=P(A)P(B|A)=P(B)P(A|B)$$

多事件拓展：

$$P(ABC)=P(A)P(BC|A)=P(A)P(B|A)P(C|AB)$$ $$P\left(\prod_{i=1}^nA_i\right)=P(A_1)P(A_2|A_1)\cdots P(A_n|\prod_{i=1}^nA_i)$$

1.6.3 全概率公式

$$P(B)=\sum_{i-1}^nP(A_i)P(B|A_i)$$

1.6.4 Bayes公式

$$P(A_k|B)=\frac{P(A_kB)}{P(B)}=\frac{P(A_k)P(B|A_k)}{\sum_{i=1}^nP(A_i)P(B|A_i)}$$

1.7 事件独立性

1.7.1 定义

若$P(AB)=P(A)P(B)$则称A、B为独立事件。同理可得其充要条件：$P(A|B)=P(A)$。

相互独立：n个随机事件中，对其中k个事件(k>1)均有$P(\sum\limits_{i=1}^kA_i)=\prod\limits_{i=1}^kP(A_i)$，则称事件相互独立。

两两独立：n个随机事件中，对其中2个事件均有$P(\sum\limits_{i=1}^2A_i)=\prod\limits_{i=1}^2P(A_i)$，则称事件两两独立。

性质1：若$A_1,A_2,A_3\cdots A_n$相互独立，则$\overline{A_1},\overline{A_2},A_3\cdots A_n$也相互独立。

性质2：若$A_1,A_2,A_3\cdots A_n$相互独立，将其分成两组，并对组内事件进行交并补差运算后，两组分别得到的事件依旧相互独立。

1.7.2 独立重复试验

1. 两个试验的结果相互独立，则两个实验相互独立。
2. n个试验的结果相互独立，则称n重独立试验。
3. 若试验的结果只有两个则称伯努利试验。
4. 若n重独立试验中每次都是伯努利试验则称n重伯努利试验。

1.7.3 二项概率公式

n重伯努利试验中成功k次的概率为：

$$P_n(k)=C_n^kp^k(1-p)^{n-k}$$

1.7.4 几何概率公式

表示首次成功发生在第k次的概率：

$$G(k)=q^{k-1}p$$

1.7.5 负二项概率公式

成功r次发生在第k次的概率：

$$G_r(k)=C_{k-1}^{r-1}p^rq^{k-r}$$

1.8 本章错题

1.8.1 A组

P36.7：某码头只能容纳一条船，A、B两条船在24小时内等概率到达，卸货时间分别为3、4小时，求有一条船在码头外等待的概率。

P36.12：设10件产品中有4个次品，从中任取两件不放回，已知其中一件是次品，求另一件是次品的概率。

P36.13：10个零件中有3个次品，一次取一件，不放回连取4次，求第4次才取得次品的概率。

2 一维随机变量及其分布

2.1 随机变量及其分布函数

随机变量：设$\Omega$为随机试验E上的样本空间，X为$\Omega$上的一个单实值函数，若满足对任意的$x\in R$，有$\{X \leqslant x\}=\{\omega| X(\omega) \leqslant x, \omega \in \Omega\}\in\mathscr{F}$，其中$\mathscr{F}$是事件域。

分布函数：设X为一个随机变量，记

$$F(x)=P\{X\leqslant x\},x\in R$$

分布函数性质：

1. 非负性 $0\leqslant F(x)\leqslant 1$
2. 单调不减性 $x_1<x_2, F(x_1)<Fx_2$
3. 规范性 $F(-\infty)=\lim\limits _{x \rightarrow-\infty} F(x)=0, \quad F(+\infty)=\lim\limits _{x \rightarrow+\infty} F(x)=1$
4. 右连续性 $F(x+0)=\lim\limits _{t \rightarrow x+0} F(t)=F(x), x \in \mathbf{R}$
5. 函数F(x)在点x连续的充分必要条件是$P\{X=x\}=0$

2.2 离散型随机变量及其分布率

如果X可取有限多个或可列多个不同的值，则称X为离散型随机变量。

离散型随机变量分布率可用公式、表格或大括号表示。

性质：

1. 非负性 $p_i\geqslant0, i = 1, 2, 3, …$
2. 正则性 $\sum\limits_{i=1}^{+\infty}p_i=1$

2.3 常见离散型分布率

2.3.1 退化（单点）分布

$$P\{X=c\}=1$$

2.3.2 两点分布

$$P\{X=k\}=p^{k}(1-p)^{1-k}, \quad k=0,1$$

记为$X \sim B(1, p)$.

2.3.3 二项分布

$$\{P | X=k\}=C_{n}^{k} p^{k}(1-p)^{n-k}, \quad k=0,1,2, \cdots, n, 0<p<1$$

记为$X\sim B(n,p)$

2.3.4 几何分布

$$P\{X=k\}=p(1-p)^{k-1}, \quad k=1,2,3, \cdots, 0<p<1$$

记为$X\sim G(p)$，几何分布具有无记忆性，对于每个k>0，都有

$$P\{X=k+1| X>k\}=P\{ X=1 \}$$

2.3.5 泊松分布

$$P\{X=k\}=\mathrm{e}^{-\lambda} \frac{\lambda^{k}}{k !}, \quad k=0,1,2, \cdots, \lambda>0$$

记为$X\sim P(\lambda)$

泊松定理：如果$\lim\limits_{n\rightarrow+\infty} n p_{n}=\lambda>0$，则

$$\lim _{x \rightarrow+\infty} C_{n}^{t} p_{n}^{k}\left(1-p_{n}\right)^{n-k}=\mathrm{e}^{-\lambda} \frac{\lambda^{k}}{k !}, k=0,1,2, \cdots$$

由泊松定理可知，当n很大p很小时，二项分布可以用泊松分布近似：

$$C_{n}^{k} p^{k}(1-p)^{n-k} \approx \mathrm{e}^{-n p} \frac{(n p)^{k}}{k !}, k=0,1,2, \cdots, n$$

2.4 连续型随机变量及其分布函数

定义：设F(x)为随机变量X的分布函数，如果F(x)可以表示为非负函数f(x)的积分，

$$F(x)=\int_{-\infty}^{x} f(t) \mathrm{d} t, x \in \mathbf{R}$$

则称X为连续性随机变量，称f(x)为X的密度函数，称F(x)为连续性分布函数。

性质：

1. 非负性 $f(x) \geqslant 0, x \in \mathbf{R}$
2. 规范性 $\int_{-\infty}^{+\infty} f(x) \mathrm{d} x=1$
3. $P\{a<X \leqslant b\}=\int_{a}^{b} f(x) \mathrm{d} x$，其中a，b均为常数，且$a<b$，对数集$A, P\{ X \in A\}=\int_{A} f(x) \mathrm{d} x$
4. F(x)是x的连续函数
5. 在f(x)的可微点x处，有$F^{\prime}(x)=f(x)$

概率为0的事件不一定是不可能事件，概率为1的事件也不一定是必然事件。

2.5 常见连续型分布率

2.5.1 均匀分布

$$F(x)=\left\{\begin{array}{ll} 0, & x<a \\ \frac{x-a}{b-a}, & a \leqslant x<b \\ 1 & x \geqslant b \end{array}\right.$$

记为$X\sim U[a,b]$

2.5.2 指数分布

$$f(x)=\left\{\begin{array}{ll} \lambda \mathrm{e}^{-\lambda x}, & x>0 \\ 0, & x \leqslant 0 \end{array}\right.$$

记为$X \sim \Gamma(1, \lambda),\lambda >0$

设X为连续性非负随机变量，则X服从指数分布的充分必要条件是对任何的$s,t\geqslant0$，有

$$P\{X>s+t| X>s\}=P\{ X>t \}$$

此式也称无记忆性or无后效性。

2.5.3 正态分布

$$f(x)=\frac{1}{\sqrt{2 \pi\sigma^2} } \mathrm{e}^{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}}, x \in \mathbf{R}$$

记为$X\sim N(\mu,\sigma^2)$

标准正态分布

$$f(x)=\frac{1}{\sqrt{2 \pi}} \mathrm{e}^{-\frac{x^{2}}{2}}, \quad x \in \mathbf{R}$$

记为$X\sim N(0,1)$

性质：

1. f(x),F(x)处处为正且存在各阶导数
2. 在$(-\infty,\mu)$内f(x)单调增，在$(\mu, +\infty)$内单调减。
3. $f(\mu+x)=f(\mu-x)$
4. $F(x)=\Phi\left(\frac{x-\mu}{\sigma}\right)$
5. $\Phi(-x)=1-\Phi(x)$

2.6 随机变量函数的分布

2.6.1 离散型

先列表，再合并。

2.6.2 连续型

2.6.2.1 通用方法

$$\begin{aligned} &F_{y_{2}}(y)=P\left\{Y_{2} \leqslant y\right\}=P\left\{X^{2} \leqslant y\right\}\\ &\begin{array}{ll} =\left\{\begin{array}{ll} P\{-\sqrt{y} \leqslant X \leqslant \sqrt{y} |, & y>0 \\ 0, & y \leqslant 0 \end{array}\right. \\ =\left\{\begin{array}{ll} F_{x}(\sqrt{y})-F_{x}(-\sqrt{y}), & y>0 \\ 0, & y \leqslant 0 \end{array}\right. \end{array} \end{aligned}$$

即利用定义转化分布函数，然后恒等变换。

求导可得密度函数。

2.6.2.2 单调函数

$Y=g(X)$，$g(x)$的反函数存在，且单调可导，则Y的密度函数为：

$$f_{Y}(y)=\left\{\begin{array}{ll} \left|h^{\prime}(y)\right| f_{X}[h(y)], & y \in D \\ 0, & \text { 其他 } \end{array}\right.$$

3 多维随机变量及其分布

3.1 二维随机变量及其分布函数

二维随机变量：设$\Omega$是随机试验E的样本空间，X，Y是定义在$\Omega$上的实值函数，对任意x，y，有$\{X \leqslant x, Y \leqslant y\}=\{\omega| X(\omega) \leqslant x 且\quad Y(\omega) \leqslant y, \omega \in \Omega \}\in \mathscr{F}$，则称(x,y)为概率空间$(\Omega, \mathscr{F}, P)$上的二维随机变量。

联合分布函数：$F(x, y)=P\{X \leqslant x, Y \leqslant y\}$为(X,Y)的联合分布函数。

性质：

1. $0 \leqslant F(x, y) \leqslant 1,-\infty <x, y<+\infty$
2. $F(x+0, y)=F(x, y), \quad F(x, y+0)=F(x, y)$

3.1.2 二维离散型随机变量及其分布率

定义：随机变量(X,Y)的所有可能取值是有限个数对或可数多个对，则称(X,Y)是二维离散型随机变量。

联合分布率：

$$P\left\{X=a_{i}, Y=b_{j}\right\}=p_{i j}, \quad i, j=1,2, \cdots$$

性质：

1. $p_{i j} \geqslant 0, i, j=1,2, \cdots$
2. $\sum\limits_{i=1}^{+\infty} \sum\limits_{j=1}^{+\infty} p_{i j}=1$

3.1.3 二维连续性随机变量及其分布率

定义：设二维随机变量(X,Y)的分布函数F(x,y)，如果存在非负二元可积函数f(x,y)，使得对任意的实数x，y，有

$$F(x, y)=\int_{-\infty}^{x} \int_{-\infty}^{y} f(u, v) \mathrm{d} u \mathrm{d} v$$

则称(X,Y)是二维连续性随机变量，称函数f(x,y)为(x,y)的联合密度函数。

性质：

1. $f(x, y) \geqslant 0, \quad(x, y) \in \mathbf{R}^{2}$
2. $\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x, y) \mathrm{d} x \mathrm{d} y=1$
3. 若f(x,y)在(x,y)处连续，则有$\frac{\partial^{2} F(x, y)}{\partial x \partial y}=f(x, y)$
4. $P\{(X, Y) \in D\}=\iint\limits_{D} f(x, y) \mathrm{d} x \mathrm{d} y$

3.1.4 n维随机变量及其联合分布

如果$X_1,X_2,X_3,\cdots X_n$是定义在一个样本空间$\Omega$上的n个随机变量，则称$X=(X_1,X_2,\cdots,X_n)$为n维随机变量。

联合分布函数：

$$F\left(x_{1}, x_{2}, \cdots, x_{n}\right)=P\left\{X_{1} \leqslant x_{1}, X_{2} \leqslant x_{2}, \cdots, X_{n} \leqslant x_{n}\right\}$$

联合分布率：

$$P\left\{X_{1}=a_{1, k_{1}}, X_{2}=a_{2, k_{2}}, \cdots, X_{n}=a_{n, k,}\right\}$$

联合分布率和联合分布函数关系：

$$F\left(x_{1}, x_{2}, \cdots, x_{n}\right)=\sum_{a_{1}, k_{1}\leqslant x_1} \sum_{a_2,k_2\leqslant x_2}\cdots\sum_{a_{n}, k_{n} \in x_{n}} P\left\{X_{1}=a_{1, k_{1}}, X_{2}=a_{2, k_{2}}, \cdots, X_{n}=a_{n, k_{n}}\right\}$$

多项分布：

$$P\left\{X_{1}=k_{1}, X_{2}=k_{2}, \cdots, X_{r}=k,\right\}=\frac{n !}{k_{1} ! k_{2} ! \cdots k_r!} p_{1}^{k_{1}} p_{2}^{k_{2}} \cdots p_{r}^{k_{r}}$$

n维连续性随机变量的联合分布函数：

$$F\left(x_{1}, x_{2}, \cdots, x_{n}\right)=\int_{-\infty}^{x_{n}} \int_{-\infty}^{x_{n-1}} \cdots \int_{-\infty}^{x_{1}} f\left(t_{1}, t_{2}, \cdots, t_{n}\right) \mathrm{d} t_{1} \mathrm{d} t_{2} \cdots \mathrm{d} t_{n}$$

3.2 边缘分布函数与随机变量的独立性

联合分布函数$\Rightarrow$边缘分布函数：

$$F_{X}(x)=P\{X \leqslant x\}=P\{X \leqslant x, Y<+\infty\}=F(x,+\infty)$$ $$F_{r}(y)=P\{Y \leqslant y\}=P\{X<+\infty, Y \leqslant y\}=F(+\infty, y)$$

边缘分布率：

$$p_{i\cdot}=\sum_{i=1}^{+\infty}p_{ij}=P\{X=a_i\}$$ $$f_{x}(x)=\int_{-\infty}^{+\infty} f(x, y) \mathrm{d} y, x \in \mathbf{R}$$

3.2.2 独立性

对$\forall x,y\in R$，有$F(x,y)=F(x)\cdot F(y)$，则称X，Y独立。

二维离散：

$$P\{X=a_i,Y=b_i\}=P\{x=a_i\}\cdot P\{Y=b_j\}$$

二维连续：

$$f(x,y)=f_X(x)\cdot f_Y(y)$$

n维离散：

$$P\left\{X_{1}=x_{1}, X_{2}=x_{2}, \cdots, X_{n}=x_{n}\right\}=\prod_{i=1}^{n} P\left\{ X_{i}=x_{i}\right\}$$

n维连续：

$$f\left(x_{1}, x_{2}, \cdots, x_{n}\right)=\prod_{i=1}^{n} f_{x_{i}}\left(x_{i}\right)$$

性质1：如果一组随机变量相互独立，则将其任意分组后，且任意两组都没有相同的随机变量，则组与组相互独立。

性质2：如果两组随机变量相互独立，则由这两组随机变量构成的两个多维连续函数也相互独立。

3.3 条件分布

3.3.1 离散型随机变量的条件分布

$$P\left\{X=a_{i}|Y=b_{j}\right\}=\frac{P\left\{X=a_{i}, Y=b_{j}\right\}}{P\left\{Y=b_{j}\right\}}=\frac{p_{i j}}{p_{. j}}, \quad i=1,2, \cdots.$$

3.3.2 连续型随机变量的条件分布

$$F_{X | Y}(x | y)=\int_{-\infty}^{x} \frac{f(u, y)}{f_{Y}(y)} \mathrm{d} u, x \in \mathbf{R}, f_{X | Y}(x | y)=\frac{f(x, y)}{f_{Y}(y)}, x \in \mathbf{R}$$

3.4 二维随机变量函数的分布

3.4.1 离散型随机变量函数的分布

设$X\sim B(m,p), Y\sim (n,p)$，且X，Y相互独立，则$Z=X+Y\sim (m+n, p)$。

如果$X_1,X_2,\cdots,X_n$独立同分布于B(1,p)，则$Z=\sum\limits_{i=1}^{n}X_i\sim B(n,p)$。

3.4.2 连续型随机变量函数的分布

3.4.2.1 极值函数及其分布

二元极值函数

$$\begin{aligned} F_{z_{1}}(z) &=P\left\{Z_{1} \leqslant z |=P\{\max (X, Y) \leqslant z\}\right.\\ &=P\{X \leqslant z, Y \leqslant z\} \\ &=P\{X \leqslant z\} \cdot P\{Y \leqslant z\} \\ &=F_{X}(z) \cdot F_{Y}(z) \\ f_{z_{1}}(z) &=F_{z_{1}}^{\prime}(z)=F_{X}^{\prime}(z) \cdot F_{Y}(z)+F_{X}(z) \cdot F_{Y}^{\prime}(z) \\ &=f_{X}(z) \cdot F_{Y}(z)+F_{X}(z) \cdot f_{Y}(z) \\ F_{z_{2}}(z) &=P\left\{Z_{2} \leqslant z\right\}=P\{\min (X, Y) \leqslant z\}=1-P\{\min (X, Y)>z\} \\ &=1-P\{X>z, Y>z\}=1-P\{X>z\} \cdot P\{Y>z\} \\ &=1-\left[1-F_{X}(z)\right] \cdot\left[1-F_{Y}(z)\right] \\ f_{z_{2}}(z) &=F_{z_{2}}^{\prime}(z)=f_{X}(z)\left[1-F_{Y}(z)\right]+f_{Y}(z)\left[1-F_{X}(z)\right] \end{aligned}$$

多元极值函数，$X_1,X_2,\cdots,X_n$独立同分布，记$X_{(n)}=max(X_1,X_2,\cdots,X_n)$，$X_{(1)}=min(X_1,X_2,\cdots,X_n)$。

$$\begin{array}{c} F_{X_{(n)}}(z)=[F(z)]^{n}, \quad F_{X_{(1)}}(z)=1-[1-F(z)]^{n} \\ f_{X_{(n)}}(z)=n[F(z)]^{n-1} f(z), \quad f_{X_{(1)}}(z)=n[1-F(z)]^{n-1} f(z) \end{array}$$

3.4.2.2 X+Y和函数的分布

Z=X+Y

$$\begin{aligned} F_{z}(z) &=P\{Z \leqslant z\}=P\{X+Y \leqslant z\} \\ &=\iint\limits_{D} f(x, y) \mathrm{d} x \mathrm{d} y \\ &=\int_{-\infty}^{+\infty} \mathrm{d} x \int_{-\infty}^{z-x} f(x, y) \mathrm{d} y \\ & \stackrel{t=x+y}= \int_{-\infty}^{+\infty} \mathrm{d} x \int_{-\infty}^{z} f(x, t-x) \mathrm{d} t \\ &=\int_{-\infty}^{t} \mathrm{d} t \int_{-\infty}^{+\infty} f(x, t-x) \mathrm{d} x \\ f_{z}(z)=F_{Z}^{\prime} &(z)=\int_{-\infty}^{+\infty} f(x, z-x) \mathrm{d} x, \quad z \in \mathbf{R} \end{aligned}$$

当X和Y相互独立时，Z=X+Y的密度函数为

$$f_{Z}(z)=\int_{-\infty}^{+\infty} f_{X}(z-y) f_{Y}(y) \mathrm{d} y=\int_{-\infty}^{+\infty} f_{X}(x) f_{Y}(z-x) \mathrm{d} x$$

Z=aX+bY卷积公式

$$f_{Z}(z)=\frac{1}{|b|} \int_{-\infty}^{+\infty} f\left(x, \frac{z-a x}{b}\right) \mathrm{d} x=\frac{1}{|a|} \int_{-\infty}^{+\infty} f\left(\frac{z-b y}{a}, y\right) \mathrm{d} y, \quad z \in \mathbf{R}$$

若$X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)$，

$$X+Y\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$$

多元情形：

$$\sum_{i=1}^{n} a_{i} X_{i} \sim N\left(\sum_{i=1}^{n} a_{i} \mu_{i}, \sum_{i=1}^{n} a_{i}^{2} \sigma_{i}^{2}\right)$$

3.4.2.3 一般随机变量函数Z=g(X,Y)的分布

一般方法：先求F(Z)再求f(z)

若X，Y独立同分布于$N(0,\sigma^2)$,$Z=\sqrt{X^2+Y^2}$服从参数为$\sigma$的瑞利分布：

$$f_{z}(z)=\frac{z}{\sigma^{2}} \exp \left\{-\frac{z^{2}}{2 \sigma^{2}}\right\}, z>0$$

$X,Y\sim N(0,1)$,$Z=X^2+Y^2$服从参数为1/2的指数分布，也是参数为2的卡方分布。

$$f_Z(z) = F_Z'(z)=\frac{1}{2}e^{-\frac{t}{2}}$$

参数为n的卡方分布：

$$f(x)=\left\{\begin{array}{ll} \frac{1}{2^{\frac{-\pi}{2}} \Gamma\left(\frac{n}{2}\right)} x^{\frac{-1}{2}-1} \mathrm{e}^{-\frac{x}{2}}, & x>0 \\ 0, & 其他 \end{array}\right.$$

3.5 二维正态分布

$$\begin{aligned} f\left(x_{1}, x_{2}\right)=& \frac{1}{2 \pi \sigma_{1} \sigma_{2} \sqrt{1-\rho^{2}}} \exp \left\{\frac{-1}{2\left(1-\rho^{2}\right)}\left[\frac{\left(x_{1}-\mu_{1}\right)^{2}}{\sigma_{1}^{2}}\right.\right.\\ &\left.\left.-2 \rho \frac{\left(x_{1}-\mu_{1}\right)\left(x_{2}-\mu_{2}\right)}{\sigma_{1} \sigma_{2}}+\frac{\left(x_{2}-\mu_{2}\right)^{2}}{\sigma_{2}^{2}}\right]\right\},\left(x_{1}, x_{2}\right) \in \mathbf{R}^{2} \end{aligned}$$

记为$(X_1,X_2)\sim N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho)$

n维情形：

$$f(x)=\frac{1}{2 \pi \sqrt{\operatorname{det}(\boldsymbol{\Sigma})}} \exp \left\{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu}) \boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})^{\top}\right\}$$

二维正态分布的边缘分布是正态分布。

卷积公式可得：

$$Z_{1}=b_{1} X_{1}+b_{2} X_{2}+b_{3} \sim N\left(b_{1} \mu_{1}+b_{2} \mu_{2}+b_{3}, b_{1}^{2} \sigma_{1}^{2}+b_{2}^{2} \sigma_{2}^{2}+2 b_{1} b_{2} \sigma_{1} \sigma_{2} \rho\right)$$

4 随机变量的数字特征

4.1.1 离散型期望

$$EX = \sum_{i=1}^{+\infty}a_ip_i$$

4.1.2 连续型期望

若$\int_{-\infty}^{+\infty}xf(x)dx$绝对收敛，则称X的期望存在。

$$EX = \int_{-\infty}^{+\infty}xf(x)dx$$

4.1.3 随机变量函数期望

$$E[g(X)]=\left\{\begin{array}{l} \sum\limits_{i=1}^{+\infty} g\left(a_{i}\right) P\left\{X=a_{i} \}\right. ,X为离散型\\ \int_{-\infty}^{+\infty} g(x) f(x) \mathrm{d} x,X为连续性 \end{array}\right.$$ $$E[g(X, Y)]=\left\{\begin{array}{l} \sum\limits_{i=1}^{+\infty} \sum\limits_{j=1}^{+\infty} g\left(a_{i}, b_{j}\right) P\left\{X=a_{i}, Y=b_{j}\right\} ,X为离散型\\ \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} g(x, y) f(x, y) \mathrm{d} x \mathrm{d} y,X为连续型 \end{array}\right.$$

4.1.4 方差

设X为随机变量， 若$E(X-EX)^2<+\infty$,则称其为X的方差，记为DX。

$$D X=\left\{\begin{array}{l} \sum\limits_{i=1}^{+\infty}\left(a_{i}-E X\right)^{2} P\left\{X=a_{i} \}\right. \\ \int_{-\infty}^{+\infty}(x-E X)^{2} f(x) \mathrm{d} x \end{array}\right.$$

由定义可推导得

$$DX=EX^2-(EX)^2$$

4.1.5 常见分布的数字特征

分布类型	数学期望EX	方差DX	偏度$r_1$	峰度$r_2$
0-1分布，$B(1,p)$	p	p(1-p)	$\frac{1-2p}{\sqrt{p(1-p)}}$	$\frac{1}{p(1-p)}-3$
二项分布，$B(n,p)$	np	np(1-p)	$\frac{1-2p}{\sqrt{np(1-p)}}$	$3+\frac{1-6p(1-p)}{np(1-p)}$
泊松分布，$P(\lambda)$	$\lambda$	$\lambda $	$\lambda^{-1/2}$	$\lambda^{-1}+3$
几何分布，$G(p)$	$\frac{1}{p} $	$\frac{1-p}{p^2}$	$\frac{2-p}{\sqrt{1-p}}$	$9+\frac{p^2}{1-p}$
均匀分布，$U[a,b]$	$\frac{a+b}{2}$	$\frac{(b-a)^2}{12}$	0	$\frac {9}{5}$
指数分布，$\Gamma(1,\lambda)$	$\frac{1}{\lambda}$	$\frac{1}{\lambda^2}$	2	9
正态分布，$N(\mu,\sigma^2)$	$\mu$	$\sigma $	0	3

4.2.1 数学期望的性质

1. $Ec=c$
2. $E(aX+b)=aEX+b$
3. $E(aX+bY)=aEX+bEY$
4. 若XY独立，$E(XY)=EX\cdot EY$

4.2.2 方差的性质

1. $Dc=0$
2. $D(aX+b)=a^2DX$
3. $D(X \pm Y)=D X+D Y \pm 2 E[(X-E X)(Y-E Y)]$
4. XY独立，$D(X\pm Y)=DX+DY$
5. $DX=E(X-EX)^2\leqslant E(X-x)^2$
6. $P\left\{|X-E X| \geqslant \varepsilon \right\} \leqslant \frac{D X}{\varepsilon^{2}}$

4.3.1 协方差

$$cov(X,Y)=E[(X-EX)(Y-EY)]$$

展开得：

$$cov(X,Y)=E(XY)-EX\cdot EY$$

1. $cov(c,X)=0$
2. $cov(X,X)=DX$
3. $cov(X,Y)=cov(Y,X)$
4. $cov(aX,bY)=ab\cdot cov(Y,X)$
5. $cov(X+Y,Z)=cov(X,Z)+cov(Y,Z)$
6. $D\left(\sum\limits_{i=1}^{n} a_{i} X_{i}\right)=\sum\limits_{i=1}^{n} a_{i}^{2} D X_{i}+\sum\limits_{i=1}^{n} \sum\limits_{j=1,j\neq i}^{n} a_{i} a_{j} \operatorname{cov}\left(X_{i}, X_{i}\right)$

下列性质等价：

$$cov(X,Y)=0\\ E(XY)=EX\cdot EY\\ D(X\pm Y)=DX+DY$$

独立是以上性质的充分条件，而非充要条件。

4.3.2 相关系数

作用：消除随机变量的量纲。

$$X^*=\frac{X-EX}{\sqrt{DX}},Y^*=\frac{Y-EY}{\sqrt{DY}}$$ $$EX^*=EY^*=0,DX^*=DY^*=1$$

相关系数定义：

$$\rho(X, Y) \triangleq \frac{\operatorname{cov}(X, Y)}{\sqrt{D X \cdot D Y}}$$

性质：

1. $|\rho(X,Y)|\leqslant1$

2. 由方差性质可知，$D(X^\pm Y^)=0\Leftrightarrow P\{X^\pm Y^=0\}=1$

   $$即P\left\{\frac{X-EX}{\sqrt{DX}}=\pm \frac{Y-EY}{\sqrt{DY}}\right\}=1\\ 可简化为P\{Y=aX+b\}=1$$

   $a=\pm\sqrt{\frac{DY}{DX}},b=EY-aEX$

$	\rho(X,Y)	$	相关程度
1	正相关
-1（去绝对值）	负相关
$\geqslant0.8$	强相关
$\leqslant0.5$	弱相关
0	不相关

4.4 原点矩&中心矩

对任意正整数k，若$E(X^k)$存在，则称其为X的k阶原点矩。

若$E(X-EX)^k$存在，则称其为X的k阶中心矩。

5 极限定理

5.1 大数定律

5.1.1 切比雪夫大数定律

EX、DX存在，且存在常数C，使得$DX\leqslant C$，有

$$\lim _{n \rightarrow+\infty} P\left\{\left|\bar{X}_{n}-E \bar{X}_{n}\right|<\varepsilon\right\}=1$$

5.1.2 辛钦大数定律

EX、DX存在，且$EX=\mu, DX=\sigma^2$：

$$\lim _{n \rightarrow+\infty} P\left\{\left|\bar{X}_{n}-\mu\right|<\varepsilon\right\}=1$$

即$\bar{X}_{n} \frac{P}{n \rightarrow+\infty} \mu$

5.1.3 伯努利大数定律

设$\{X_i\}$为独立同分布的二项分布随机变量序列。

$$\lim _{n \rightarrow+\infty} P\left\{\left|\frac{\mu_{n}}{n}-p\right|<\varepsilon\right\}=1$$

即$\frac{\mu_n}{n}\frac{P}{n \rightarrow+\infty} p$

5.2 中心极限定理

5.2.1 独立同分布的中心极限定理

设$\{X_i\}$为独立同分布的随机变量序列，且$EX_i=\mu,DX_i=\sigma^2$则对任意实数有

$$\lim _{n \rightarrow+\infty} P\left\{\frac{\bar{X}_{n}-\mu}{\sigma / \sqrt{n}} \leqslant x\right\}=\Phi(x)$$

即

$$\frac{\bar{X}_{n}-\mu}{\sigma / \sqrt{n}} \sim N(0,1)$$ $$\sum_{i=1}^{n} X_{i} \sim N\left(n \mu, n \sigma^{2}\right)$$

5.2.2 拉普拉斯定理

设$\{X_i\}$为独立同分布的二项分布随机变量序列，$Y_n=\sum\limits_{i=1}^nX_i$

$$\lim _{n \rightarrow+\infty} P\left\{\frac{Y_{n}-n p}{\sqrt{n p(1-p)}} \leqslant x\right\}=\Phi(x)$$

6 数理统计的基本概念

6.1 总体与样本

为研究总体，从总体中随机抽取n个个体进行观测，称之为样本，其数量n为样本容量。

简单样本：

1. 独立性：样本$X_1,X_2,\cdots,X_n$为相互独立的随机变量。
2. 代表性：样本$X_1,X_2,\cdots,X_n$中的每个随机变量与总体X具有相同概率分布。

由所有样本组成的集合$\Omega=\{(x_1,x_2,\cdots,x_n)|x_i\in R,i=1,2,\cdots,n\}$称为样本空间。

设总体的分布函数为$F(x)$， $X_1,X_2,\cdots,X_n$是总体的样本，则该样本的联合分布函数为：

$$\begin{aligned} F\left(x_{1}, x_{2}, \cdots, x_{n}\right) &=P\left\{X_{1} \leqslant x_{1}, X_{2} \leqslant x_{2}, \cdots, X_{n} \leqslant x_{n}\right\}=\prod_{i=1}^{n} P\left\{X_{i} \leqslant x_{i}\right\} \\ &=\prod_{i=1}^{n} F\left(x_{i}\right), \quad x_{i} \in \mathbf{R}, i=1,2, \cdots, n \end{aligned}$$

若总体为连续型随机变量，且密度函数为$f(x)$，则样本的联合密度函数：

$$f(x_1,x_2,\cdots,x_n)=\prod_{i=1}^nf_{X_i}(x_i)=\prod_{i=1}^nf(x_i),x_i\in \mathbf{R}, i=1,2,\cdots, n$$

若为离散型，则联合分布律为：

$$P\{X_1=x_1,X_2=x_2,\cdots,X_n=x_n\}\\ =\prod_{i=1}^nP\{X=x_i\},x_i=a_1,a_2,\cdots,i=1,2,\cdots,n$$

6.2.1 经验分布函数

$x_1,x_2,\cdots,x_n$由小到大排序，则根据频率得到：

$$\begin{aligned} F(x) &=P\{X \leqslant x\} \\ & \approx f_{n}\{X \leqslant x\}=\left\{\begin{array}{ll} 0, & x<x_{(1)} \\ \frac{k}{n}, & x_{(k)} \leqslant x<x_{(k+1)}, \quad(k=1,2, \cdots, n-1) \\ 1, & x \geqslant x_{(n)} \end{array}\right. \end{aligned}$$

称$F_n(x)$为总体X的经验分布函数。

6.2.2 直方图

作用：拟合密度函数曲线。

作图方法：

1. 求出样本值的上下限，确定有界区间$[a,b]$
2. 确定组数$m=1.87(n-1)^{0.4}$，组距$\frac{b-a}{m}$
3. 区间频率$f_i=\frac{\gamma_i}{n}$
4. 作图，以$[t_i,t_{i+1)}$为底，以$\frac{f_i}{t_{i+1}-t_i}$为高作长方形，所有长方形面积之和为1

6.3 统计量

定义：设$X_1,X_2,\cdots,X_n$为来自总体X的样本，若样本函数$T=T(x_1,x_2,\cdots,x_n)$不含任何未知参数，则T称为统计量。

6.3.1 样本矩统计量

1. $\bar{X}=\frac{1}{n} \sum\limits_{i=1}^{n} X_{i}$
2. 方差$S^2=\frac{1}{n-1}\sum\limits_{i=1}^n(X_i-\bar{X})^2$
3. 样本k阶原点矩$M_k=\frac{1}{k}\sum\limits_{i-1}^nX_i^k$
4. 样本k阶中心矩$M_k^*=\frac{1}{n}\sum\limits_{i=1}^n(X_i-\bar{X})^k$

$$\begin{aligned} &M_{1}=\bar{X}\\ &S^{2}=\frac{n}{n-1} M_{2}^{*}\\ &M_{2}^{*}=\frac{1}{n} \sum_{i=1}^{n} X_{i}^{2}-\bar{X}^{2} \end{aligned}$$

样本均值和样本方差的性质：

1. $\sum\limits_{i=1}^n(X_i-\bar{X})=0$
2. $E \bar{X}=E X, \quad D \bar{X}=\frac{1}{n} D X, \quad E M_{2}^{*}=\frac{n-1}{n} D X, \quad E S^{2}=D X$
3. $n\rightarrow+\infty$,$\bar{X} \stackrel{P}{\longrightarrow} E X$
4. $\sum\limits_{i=1}^n(X_i-\bar{X})^2=\sum\limits_{i=1}^n(X_i-x)^2$

6.3.2 顺序统计量

给定一组样本观测值，从小到大排列。

$$\begin{aligned} &R=X_{(n)}-X_{(1)}\\ &\tilde{x}=\left\{\begin{array}{ll} X_{\left(\frac{n+1}{2}\right)}, & \text { 当 } n \text { 为奇数时 } \\ \frac{1}{2}\left(X_{\left(\frac{s}{2}\right)}+X_{\left(\frac{s}{2}+1\right)}\right), & \text { 当 } n \text { 为偶数时 } \end{array}\right. \end{aligned}$$

R样本极差，$\tilde{x}$中位数。

最大最小顺序统计量的分布函数：

$$\begin{aligned} F_{(1)}(x) &=P\left\{X_{(1)} \leqslant x\right\}=1-P\left\{X_{(1)}>x\right\} \\ &=1-P\left\{X_{1}>x, X_{2}>x, \cdots, X_{n}>x\right\}=1-\prod_{i=1}^{n} P\left\{X_{i}>x\right\} \\ &=1-(P\{X>x\})^{n}=1-[1-F(x)]^{n} \\ F_{(n)}(x) &=P\left\{X_{(n)} \leqslant x\right\}=P\left\{X_{1} \leqslant x, X_{2} \leqslant x, \cdots, X_{n} \leqslant x\right\} \\ &=\prod_{i=1}^{n} P\left\{X_{i} \leqslant x\right\}=(P\{X \leqslant x\})^{n} \\ &=[F(x)]^{n} \end{aligned}$$

如果X为连续性随机变量，则可求得概率密度函数：

$$\begin{array}{l}f_{(1)}(x)=\frac{\mathrm{d} F_{(1)}(x)}{\mathrm{d} x}=n[1-F(x)]^{n-1} f(x) \\f_{(n)}(x)=\frac{\mathrm{d} F_{(n)}(x)}{\mathrm{d} x}=n[F(x)]^{n-1} f(x)\end{array}$$

6.4 抽样分布

6.4.1 样本均值X的分布

假设$X_1, X_2,\cdots,X_n$来自正态分布$X\sim N(\mu,\sigma^2)$的样本，则有$\frac{\bar{X}-\mu}{\sigma}\sqrt{ n}\sim N(0,1)$

假设$X_1, X_2,\cdots,X_n$来自任意非正态分布的样本，当n足够大时，则有$\frac{\bar{X}-\mu}{\sigma}\sqrt{ n}\sim N(0,1)$

6.4.2 常用的三个重要分布

卡方分布

假设$X_1, X_2,\cdots,X_n$来自标准正态分布$X\sim N(0,1)$的随机变量，记$\chi^2=\sum\limits_{i=1}^nX_i^2$，则称统计量$\chi^2$服从自由度为n的卡方分布。记为$\chi^2\sim \chi^2(n)$。

分布函数为：

$$f(x)=\left\{\begin{array}{ll} \frac{1}{2^{\frac{n}{2}} \Gamma\left(\frac{n}{2}\right)} x^{\frac{n}{2}-1} \mathrm{e}^{-\frac{x}{2}}, & x>0 \\ 0, & x \leqslant 0 \end{array}\right.$$ $$\Gamma(\alpha)=\int_0^{+\infty}x^{\alpha-1}e^{-x}dx$$

重要性质：

$E\chi^2=n,D\chi^2=2n$

可加性：$\chi^2(n_1)+\chi^2(n_2)\sim \chi^2(n_1+n_2)$

$$\chi^{2}=\sum_{i=1}^{n}\left(\frac{X_{i}-\mu}{\sigma}\right)^{2}=\frac{1}{\sigma^{2}} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2} \sim \chi^{2}(n)$$

t分布

设$X\sim N(0,1), Y\sim \chi^2(n)$，且x和Y相互独立，记$T=\frac{X}{\sqrt{Y/n}}$则称T服从自由度为n的t分布，记为$T\sim t(n)$

密度函数：

$$f(x)=\frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n \pi} \Gamma\left(\frac{n}{2}\right)}\left(1+\frac{x^{2}}{n}\right)^{-\frac{n+1}{2}}, x \in \mathbf{R}$$

性质：

1. $f(x)=f(-x)$
2. $n>1, ET=0$
3. $n>2,DT=\frac{n}{n-2}$
4. $n=1,f(x)=\frac{1}{\pi}\cdot\frac{1}{1+x^2}$
5. $n\rightarrow+\infty,f(x)\rightarrow\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$即n充分大时，T分布近似于标准正态分布。

F分布

$X,Y\sim\chi^2(m),\chi^2(n)$，记$F=\frac{X/m}{Y/n}\sim F(m,n)$

密度函数：

$$f(x)=\left\{\begin{array}{ll} \frac{\Gamma\left(\frac{m+n}{2}\right)}{\Gamma\left(\frac{m}{2}\right) \Gamma\left(\frac{n}{2}\right)}\left(\frac{m}{n}\right)^{\frac{m}{2}} x^{\frac{m-1}{2}-1}\left(1+\frac{m x}{n}\right)^{-\frac{n+m}{2}}, & x>0 \\ 0, & x \leqslant 0 \end{array}\right.$$

重要性质：

$F\sim F(m,n),\frac{1}{F}\sim F(n,m)$

$T\sim t(n),T^2\sim F(1,n)$

6.4.3 分位数

对给定的概率p，有分位数$v_p$使得下列等式成立

$F(v_p)=P\{X\leqslant v_p\}=\int_{-\infty}^{v_p}f(x)dx=p$

将标准正态分布、卡方分布、t分布、F分布的分位数分别记为$u_p,\chi_p^2(n),t_p(n),F_n(m,n)$

1. $u_{0.5}=0,-u_p=u_{1-p}$
2. $t_{0.5}(n)=0,-t_p(n)=t_{1-p}(n)$
3. n充分大时$(n>45),\chi_{p}^{2}(n) \approx \frac{1}{2}\left(u_{p}+\sqrt{2 n-1}\right)^{2}$
4. $F_{1-p}(n, m)=\frac{1}{F_{p}(m, n)}, 0<p<1$

6.4.4 抽样分布

假设$X_1, X_2,\cdots,X_n$来自正态分布$X\sim N(\mu,\sigma^2)$的样本

$\frac{(n-1) S^{2}}{\sigma^{2}}=\frac{1}{\sigma^{2}} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2} \sim \chi^{2}(n-1)$

$\bar{X},S^2$相互独立

$\begin{aligned}
&\frac{\bar{X}-\mu}{S} \sqrt{n} \sim t(n-1)\\
&E S^{2}=\sigma^{2}, D S^{2}=\frac{2 \sigma^{4}}{n-1}
\end{aligned}$

假设$X_1, X_2,\cdots,X_n$来自正态分布$X\sim N(\mu,\sigma^2)$的样本,$Y_1, Y_2,\cdots,Y_n$来自正态分布$Y\sim N(\mu,\sigma^2)$的样本，两样本相互独立，令

$$\begin{array}{c} \bar{X}=\frac{1}{m} \sum_{i=1}^{m} X_{i}, \bar{Y}=\frac{1}{n} \sum_{j=1}^{n} Y_{j} \\ S_{x}^{2}=\frac{1}{m-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}, S_{y}^{2}=\frac{1}{n-1} \sum_{j=1}^{n}\left(Y_{j}-\bar{Y}\right)^{2} \end{array}$$

则

$$(1) F=\frac{S_{x}^{2} / S_{Y}^{2}}{\sigma_{1}^{2} / \sigma_{2}^{2}} \sim F(m-1, n-1)\\ (2) 当 \sigma_{1}^{2}=\sigma_{2}^{2}=\sigma^{2} 时 T=\frac{(\bar{X}-\bar{Y})-\left(\mu_{1}-\mu_{2}\right)}{S_{w} \sqrt{\frac{1}{n}+\frac{1}{m}}} \sim t(m+n-2)$$

其中

$$S_{w}^{2}=\frac{(m-1) S_{x}^{2}+(n-1) S_{y}^{2}}{m+n-2}$$

7 参数估计

7.1 参数估计的基本概念

总体分布已知，但有未知参数，求未知参数的问题就是参数估计。

参数估计常用两种方法：点估计，区间估计

7.2 点估计

未知参数$\theta$，称统计量$\hat{\theta}=T\left(X_{1}, X_{2}, \cdots, X_{n}\right)$为其点估计量，$T\left(X_{1}, X_{2}, \cdots, X_{n}\right)$为点估计值。

7.2.1 矩估计法

$$\hat{EX}^l=M_l=\frac{1}{n}\sum_{i=1}^nX_i^l$$

故可得

$$\hat{EX}=\bar{X}$$ $$\hat{D} X=\hat{E} X^{2}-(\hat{E} X)^{2}=\frac{1}{n} \sum_{i=1}^{n} X_{i}^{2}-(\bar{X})^{2}=M_{2}^*$$

用样本矩代替总体矩所得到未知参数的点估计量称为矩估计量，矩估计量的样本值称为矩估计值。

7.2.2 最大似然估计

设$\theta_1,\theta_2,\cdots,\theta_k$是总体的未知参数，$\Theta$是参数的取值范围，称为参数空间。

$$L\left(\theta_{1}, \theta_{2}, \cdots, \theta_{k} ; x_{1}, x_{2}, \cdots, x_{n}\right)=\left\{\begin{array}{ll} \prod\limits_{i=1}^{n} P\left\{X=x_{i}\right\}, \text { 当总体 } X \text { 是离散型时} \\ \prod\limits_{i=1}^{\infty} f\left(x_{i}\right), \quad \text { 当总体 } X \text { 是连续型时 } \end{array}\right.$$

求未知参数的最大似然估计值，即在参数空间内，让似然函数达到最大值。

$$\max _{\left(\theta_{1}, \theta_{2}, \cdots, \theta_{1}\right) \in \Theta} \ln L\left(\theta_{1}, \theta_{2}, \cdots, \theta_{k} ; x_{1}, x_{2}, \cdots, x_{n}\right)$$ $$\frac{\partial \ln L\left(\theta_{1}, \theta_{2}, \cdots, \theta_{k} ; x_{1}, x_{2}, \cdots, x_{n}\right)}{\partial \theta_{l}}=0, l=1,2, \cdots, k$$

7.3 估计的评判标准

7.3.1 无偏性

$$\text { 对任意 } \theta \in \Theta \text { 均有 } \lim _{n \rightarrow+\infty} E\left(\hat{\theta}_{n}-\theta\right)=0$$

则称其为无偏估计。

7.3.2 有效性

若两个估计都是无偏估计，且$D\hat\theta_1 <D\hat\theta_2$,则称前者比后者有效。

若$\hat\theta^*$小于一切其他估计，则称其为最小方差无偏估计，或最优无偏估计。

比有效性使用更广泛的是均方误差：

$$\operatorname{MSE}(\hat{\theta}, \theta)=D \hat{\theta}+(E \hat{\theta}-\theta)^{2}$$

7.3.3 相合性

若$\lim\limits _{n \rightarrow+\infty} E \hat{\theta}_{n}=\theta$,$\lim\limits _{n \rightarrow+\infty} D \hat{\theta}_{n}=0$,则称其具有相合性。

若样本的k阶原点矩存在，则样本的k阶原点矩是样本$EX^k$的相合估计。

7.4 区间估计

$$P\{T_1<\theta<T_2\}=1-\alpha$$

$T_1$,$T_2$分别称为置信上限和置信下限。

7.4.1 单正态总体参数的置信区间

$\mu$的置信区间

1. $\sigma^2$已知

$$\left(\bar{X}-\frac{\sigma}{\sqrt{n}} u_{1-\frac{\alpha}{2}}, \quad \bar{X}+\frac{\sigma}{\sqrt{n}} u_{1-\frac{\alpha}{2}}\right)$$

1. $\sigma^2$未知

$$\left(\bar{X}-\frac{S}{\sqrt{n}} t_{1-\frac{a}{2}}(n-1), \bar{X}+\frac{S}{\sqrt{n}} t_{1-\frac{a}{2}}(n-1)\right)$$

$\sigma^2$的置信区间

1. $\mu$已知

$$S_{1}^{2}=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}\text{ , }\chi^{2}=\frac{n S_{1}^{2}}{\sigma^{2}} \sim \chi^{2}(n)$$ $$\left(\frac{n S_{1}^{2}}{\chi_{1-\frac{a}{2}}(n)}, \frac{n S_{1}^{2}}{\chi_{\frac{a}{2}}^{2}(n)}\right)$$

1. $\mu$未知

$$\chi^{2}=\frac{(n-1) S^{2}}{\sigma^{2}} \sim \chi^{2}(n-1)$$ $$\left(\frac{(n-1) S^{2}}{\chi_{1-\frac{a}{2}}(n-1)}, \frac{(n-1) S^{2}}{\chi_{\frac{a}{2}}(n-1)}\right)$$

7.4.2 比率p的置信区间

$X\sim B(1,p)$

$$\left(\bar{X}-u_{1-\frac{\alpha}{2}} \sqrt{\frac{\bar{X}(1-\bar{X})}{n}}, \bar{X}+u_{1-\frac{\alpha}{2}} \sqrt{\frac{\bar{X}(1-\bar{X})}{n}}\right)$$

因为p就是二项分布的$\mu$，所以其实就是套用$\mu$已知时的单正态参数置信区间

8 假设检验

8.1 两类错误

	$H_0$成立	$H_0$不成立
拒绝$H_0$	弃真（第一类错误）	正确
接受$H_0$	正确	纳伪（第二类错误）

8.2 正态总体的参数假设检验

8.2.1 总体均值假设检验

8.2.2 总体方差假设检验

8.2.3 比率p的假设检验

$B\sim B(1,p)$

$$U=\frac{\bar{X}-p_{0}}{\sqrt{p_{0}\left(1-p_{0}\right)}} \sqrt{n} \stackrel{\text { 近似 }}{\sim} N(0,1)$$ $$\mathscr{X}_{0}=\left\{| u |>u_{1-\frac{\alpha}{2}}\right\}$$

和区间估计一样，比率p的检验可以参考正态总体均值的假设检验。