probability-and-statistics

概率论与数理统计

高数预备知识

$$\int_{-\infin}^{+\infin}e^{-x^2}dx=\sqrt\pi$$

伽马函数

$$\Gamma(\alpha)=\int_0^{+\infin}x^{\alpha-1}e^{-x}dx=(\alpha-1)\Gamma(\alpha-1)$$

$$\Gamma(\frac 12)=\sqrt\pi$$

贝塔函数$(p>0,q>0)$

$$B(p,q)=\frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)}=\int _0^1x^{p-1}(1-x)^{q-1}dx$$

分布函数

0-1分布

$$X\sim b(1,p)$$

$$P\{X=k\}=p^k(1-p)^{1-k},k=0,1$$

$$E(X)=p$$

$$D(X)=p(1-p)$$

二项分布

$$X\sim b(n,p)$$

$$P\{X=k\}=C_n^kp^k(1-p)^{n-k},k=0,1,...,n$$

$$E(X)=np$$

$$D(X)=np(1-p)$$

泊松分布

$$X\sim \pi(\lambda)$$

$$P\{X=k\}=\frac{\lambda^ke^{-\lambda}}{k!},k=0,1,2,...$$

$$E(X)=\lambda$$

$$D(X)=\lambda$$

均匀分布

$$X\sim U(a,b)$$

$$f(x)=\begin{cases} \begin{aligned} \frac 1{b-a}&,b<x<a\\ 0&,else \end{aligned} \end{cases}$$

$$E(X)=\frac{a+b}2$$

$$D(X)=\frac{(b-a)^2}{12}$$

指数分布

$$f(x)=\begin{cases} \begin{aligned} \frac 1\theta e^{-\frac x\theta}&,x>0\\ 0&,else \end{aligned} \end{cases}$$

$$E(X)=\theta$$

$$D(X)=\theta^2$$

正态分布

$$X\sim N(\mu,\sigma^2)$$

$$f(x)=\frac 1{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

$$E(X)=\mu$$

$$D(X)=\sigma^2$$

抽样分布

卡方分布

$X_1,X_2,...,X_n$是来自正态总体$N(0,1)$的样本，则

$$\chi^2=X_1^2+X_2^2+...+X_n^2 \sim\chi^2(n)$$

若 $\chi_1^2\sim\chi^2(n_1)$， $\chi_2^2\sim\chi^2(n_2)$，则

$$\chi_1^2+\chi_2^2\sim\chi^2(n_1+n_2)$$

若 $\chi^2\sim\chi^2(n_1)$, 则

$$E(\chi^2)=n$$

$$D(\chi^2)=2n$$

上分位数

$$P\{\chi^2>\chi^2_\alpha(n)\}=\alpha$$

t分布

$X\sim N(0,1)$, $Y\sim\chi^2(n)$，且$X$和$Y$相互独立，则：

$$\frac{X}{\sqrt {\frac {Y}{n}}}\sim t(n)$$

上分位数

$$P\{t>t_\alpha(n)\}=\alpha$$

$$t_{1-\alpha}(n)=-t_\alpha(n)$$

F分布

$U\sim \chi^2(n_1)$, $V\sim \chi^2(n_2)$，且$U$和$V$相互独立，则：

$$\frac{\frac {U}{n_1}}{\frac {V}{n_2}}\sim F(n_1,n_2)$$

$$\frac 1{F}\sim F(n_2,n_1)$$

上分位数

$$P\{F>F_\alpha(n_1,n_2)\}=\alpha$$

$$F_{1-\alpha}(n_1,n_2)=\frac{1}{F_\alpha(n_2,n_1)}$$

正态分布的样本均值和样本方差的分布

• $X_1,X_2,...,X_n$有相同的均值$\mu$ , 方差 $\sigma^2$，则

$$E(\overline X)=\mu$$

$$D(\overline X)=\frac{\sigma^2}n$$

$$E(S^2)=\sigma^2$$

• $X_1,X_2,...,X_n$是来自正态总体$N(\mu,\sigma ^2)$的样本，则

$$\overline X \sim N(\mu,\frac{\sigma^2}n)$$

$$\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$$

$\overline X$和$S^2$相互独立

$$\frac{\overline X-\mu}{\frac{S}{\sqrt n}}\sim t(n-1)$$

• $X_1,X_2,...,X_{n_1}$是来自正态总体$N(\mu_1,\sigma_1 ^2)$的样本, $Y_1,Y_2,...,Y_{n_2}$是来自正态总体$N(\mu_2,\sigma_2 ^2)$的样本, 两个样本相互独立，则

两个样本的平均值：

$$\overline X=\frac 1 {n_1}\sum_{i=1}^{n_1}X_i$$

$$\overline Y=\frac 1{n_2}\sum_{i=1}^{n_2}Y_i$$

两个样本的样本方差

$$S_1^2=\frac 1{n_1-1}\sum_{i=1}^{n_1}(X_i-\overline X)^2$$

$$S_2^2=\frac 1{n_2-1}\sum_{i=1}^{n_2}(Y_i-\overline Y)^2$$

满足以下性质

$$\frac{\frac{S_1^2}{S_2^2}}{\frac{\sigma_1^2}{\sigma_2^2}}\sim F(n_1-1,n_2-1)$$

当$\sigma_1^2=\sigma_2^2=\sigma^2$时，

$$\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{S_W\sqrt{\frac 1{n_1}+\frac 1{n_2}}}\sim t(n_1+n_2-2)$$

其中

$$S_W^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$$

正态总体均值、方差的置信区间与单侧置信限

（置信水平为$1-\alpha$）

单个正态总体

估计$\mu$，已知$\sigma^2$

根据

$$\frac{\overline X-\mu}{\sigma}\sqrt n \sim N(0,1)$$

置信区间

$$(\overline X -\frac{\sigma}{\sqrt n}z_{\frac \alpha 2},\overline X +\frac{\sigma}{\sqrt n}z_{\frac \alpha 2})$$

置信上界

$$\overline \mu =\overline X+\frac{\sigma}{\sqrt n}z_{\alpha}$$

置信下界

$$\underline \mu = \overline X-\frac{\sigma}{\sqrt n}z_{\alpha}$$

估计$\mu$，未知$\sigma^2$

根据

$$\frac{\overline X-\mu}{S}\sqrt n \sim t(n-1)$$

置信区间

$$(\overline X -\frac{S}{\sqrt n}t_{\frac \alpha 2}(n-1),\overline X +\frac{S}{\sqrt n}t_{\frac \alpha 2}(n-1))$$

置信上界

$$\overline \mu =\overline X +\frac{S}{\sqrt n}t_{\alpha}(n-1)$$

置信下界

$$\underline \mu =\overline X -\frac{S}{\sqrt n}t_{\alpha}(n-1)$$

估计$\sigma^2$，未知$\mu$

根据

$$\frac {(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$$

置信区间

$$(\frac{(n-1)S^2}{\chi^2_{\frac \alpha 2}(n-1)},\frac{(n-1)S^2}{\chi^2_{1-\frac \alpha 2}(n-1)})$$

置信上界

$$\overline {\sigma^2}=\frac{(n-1)S^2}{\chi^2_{1-\alpha}(n-1)}$$

置信下界

$$\underline {\sigma^2}=\frac{(n-1)S^2}{\chi^2_{\alpha}(n-1)}$$

两个正态总体

估计$\mu_1-\mu_2$，已知$\sigma_1^2$和$\sigma_2^2$

根据

$$\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\sim N(0,1)$$

置信区间

$$(\overline X-\overline Y-z_{\frac \alpha 2}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}},\overline X-\overline Y+z_{\frac \alpha 2}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}})$$

置信上界

$$\overline {\mu_1-\mu_2}=\overline X-\overline Y+z_{\alpha}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}$$

置信下界

$$\underline {\mu_1-\mu_2}=\overline X-\overline Y-z_{\alpha}\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}$$

估计$\mu_1-\mu_2$，未知$\sigma_1^2$, $\sigma_2^2$，但$\sigma_1^2=\sigma_2^2=\sigma^2$

根据

$$\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{S_W\sqrt{\frac 1{n_1}+\frac 1{n_2}}}\sim t(n_1+n_2-2)$$

其中：

$$S_W^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$$

置信区间

$$(\overline X-\overline Y-S_W\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}t_{\frac \alpha 2}(n_1+n_2-2),\overline X-\overline Y+S_W\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}t_{\frac \alpha 2}(n_1+n_2-2))$$

置信上界

$$\overline {\mu_1-\mu_2}=\overline X-\overline Y+S_W\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}t_{\alpha}(n_1+n_2-2)$$

置信下界

$$\underline {\mu_1-\mu_2}=\overline X-\overline Y-S_W\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}t_{\alpha}(n_1+n_2-2)$$

估计$\frac{\sigma_1^2}{\sigma_2^2}$，未知$\mu_1$和$\mu_2$

根据

$$\frac{\frac{S_1^2}{S_2^2}}{\frac{\sigma_1^2}{\sigma_2^2}}\sim F(n_1-1,n_2-1)$$

置信区间

$$(\frac{\frac{S_1^2}{S_2^2}}{F_{\frac \alpha 2}(n_1-1,n_2-1)},\frac{\frac{S_1^2}{S_2^2}}{F_{1-\frac \alpha 2}(n_1-1,n_2-1)})$$

置信上界

$$\overline{(\frac{\sigma_1^2}{\sigma_2^2})}=\frac{\frac{S_1^2}{S_2^2}}{F_{1-\alpha}(n_1-1,n_2-1)}$$

置信下界

$$\underline{(\frac{\sigma_1^2}{\sigma_2^2})}=\frac{\frac{S_1^2}{S_2^2}}{F_{\alpha}(n_1-1,n_2-1)}$$

正态总体均值、方差的检验法

(显著性水平为$\alpha$)

$H_0$为原假设, $H_1$为备择假设

单个正态总体均值的检验

总体$X\sim N(\mu,\sigma^2)$

如果方差已知

已知$\sigma^2$, 检验$\mu$

利用检验统计量

$$Z=\frac{\overline X-\mu_0}{\sigma}\sqrt n \sim N(0,1)$$

若$H_0: \mu\le \mu_0$, $H_1: \mu> \mu_0$, 拒绝域为

$$z=\frac{\overline x-\mu_0}{\sigma}\sqrt n \ge z_\alpha$$

若$H_0: \mu\ge \mu_0$, $H_1: \mu< \mu_0$, 拒绝域为

$$z=\frac{\overline x-\mu_0}{\sigma}\sqrt n \le -z_\alpha$$

若$H_0: \mu= \mu_0$, $H_1: \mu\ne \mu_0$, 拒绝域为

$$|z|=|\frac{\overline x-\mu_0}{\sigma}\sqrt n| \ge z_{\frac \alpha 2}$$

如果方差未知

未知$\sigma^2$, 检验$\mu$

利用检验统计量

$$t=\frac{\overline X-\mu_0}{S}\sqrt n \sim t(n-1)$$

若$H_0: \mu\le \mu_0$, $H_1: \mu> \mu_0$, 拒绝域为

$$t=\frac{\overline x-\mu_0}{S}\sqrt n \ge t_\alpha (n-1)$$

若$H_0: \mu\ge \mu_0$, $H_1: \mu< \mu_0$, 拒绝域为

$$t=\frac{\overline x-\mu_0}{S}\sqrt n \le - t_\alpha (n-1)$$

若$H_0: \mu= \mu_0$, $H_1: \mu\ne \mu_0$, 拒绝域为

$$|t|=|\frac{\overline x-\mu_0}{S}\sqrt n| \ge t_{\frac \alpha 2} (n-1)$$

两个正态总体均值差的检验

如果两个总体方差已知

已知$\sigma_1^2$, $\sigma_2^2$, 检验$\mu_1-\mu_2$

利用检验统计量

$$Z=\frac{\overline X-\overline Y-\delta}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_1^2}{n_1}}} \sim N(0,1)$$

若$H_0: \mu_1-\mu_2\le \delta$, $H_1: \mu_1-\mu_2> \delta$, 拒绝域为

$$z=\frac{\overline x-\overline y-\delta}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_1^2}{n_1}}}\ge z_\alpha$$

若$H_0: \mu_1-\mu_2\ge \delta$, $H_1: \mu_1-\mu_2< \delta$, 拒绝域为

$$z=\frac{\overline x-\overline y-\delta}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_1^2}{n_1}}}\le-z_\alpha$$

若$H_0: \mu_1-\mu_2= \delta$, $H_1: \mu_1-\mu_2\ne \delta$, 拒绝域为

$$|z|=|\frac{\overline x-\overline y-\delta}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_1^2}{n_1}}}|\ge z_{\frac \alpha 2}$$

如果两个总体方差未知

未知$\sigma_1^2$, $\sigma_2^2$，但$\sigma_1^2=\sigma_2^2=\sigma^2$，检验$\mu_1-\mu_2$

利用检验统计量

$$t=\frac{\overline X-\overline Y -\delta}{S_W\sqrt{\frac 1{n_1}+\frac 1{n_2}}}\sim t(n_1+n_2-2)$$

其中

$$S_W^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$$

若$H_0: \mu_1-\mu_2\le \delta$, $H_1: \mu_1-\mu_2> \delta$, 拒绝域为

$$t=\frac{\overline x-\overline y -\delta}{S_W\sqrt{\frac 1{n_1}+\frac 1{n_2}}}\ge t_\alpha(n_1+n_2-2)$$

若$H_0: \mu_1-\mu_2\ge \delta$, $H_1: \mu_1-\mu_2< \delta$, 拒绝域为

$$t=\frac{\overline x-\overline y -\delta}{S_W\sqrt{\frac 1{n_1}+\frac 1{n_2}}}\le -t_\alpha(n_1+n_2-2)$$

若$H_0: \mu_1-\mu_2= \delta$, $H_1: \mu_1-\mu_2\ne \delta$, 拒绝域为

$$|t|=|\frac{\overline x-\overline y -\delta}{S_W\sqrt{\frac 1{n_1}+\frac 1{n_2}}}|\ge t_{\frac \alpha 2}(n_1+n_2-2)$$

正态总体方差的检验

单个总体的情况

检验$\sigma^2$

利用检验统计量

$$\chi^2=\frac {(n-1)S^2}{\sigma_0^2}\sim \chi^2(n-1)$$

若$H_0: \sigma^2\le \sigma_0^2$, $H_1: \sigma^2 >\sigma_0^2$, 拒绝域为

$$\chi^2=\frac {(n-1)S^2}{\sigma_0^2} \ge \chi^2_{\alpha}(n-1)$$

若$H_0: \sigma^2\ge \sigma_0^2$, $H_1: \sigma^2 <\sigma_0^2$, 拒绝域为

$$\chi^2=\frac {(n-1)S^2}{\sigma_0^2} \le \chi^2_{1-\alpha}(n-1)$$

若$H_0: \sigma^2= \sigma_0^2$, $H_1: \sigma^2 \ne \sigma_0^2$, 拒绝域为

$$\chi^2=\frac {(n-1)S^2}{\sigma_0^2} \ge \chi^2_{\frac \alpha 2}(n-1)$$

或

$$\chi^2=\frac {(n-1)S^2}{\sigma_0^2} \le \chi^2_{1-\frac \alpha 2}(n-1)$$

两个总体的情况

检验$\frac{\sigma_1^2}{\sigma_2^2}$

利用检验统计量

$$F=\frac{\frac{S_1^2}{S_2^2}}{\frac{\sigma_1^2}{\sigma_2^2}}\sim F(n_1-1,n_2-1)$$

若$H_0: \sigma_1^2\le \sigma_2^2$, $H_1: \sigma_1^2> \sigma_2^2$, 拒绝域为

$$F=\frac{S_1^2}{S_2^2}\ge F_{\alpha}(n_1-1,n_2-1)$$

若$H_0: \sigma_1^2\ge \sigma_2^2$, $H_1: \sigma_1^2 < \sigma_2^2$, 拒绝域为

$$F=\frac{S_1^2}{S_2^2}\le F_{1-\alpha}(n_1-1,n_2-1)$$

若$H_0: \sigma_1^2 = \sigma_2^2$, $H_1: \sigma_1^2 \ne \sigma_2^2$, 拒绝域为

$$F=\frac{S_1^2}{S_2^2}\le F_{1-\frac \alpha 2}(n_1-1,n_2-1)$$

或

$$F=\frac{S_1^2}{S_2^2}\ge F_{\frac \alpha 2}(n_1-1,n_2-1)$$

基于成对数据的检验

$D_i=X_i-Y_i$ , $i=1,2,...,n$

$D_i\sim N(\mu_D,\sigma^2_D)$

利用检验统计量

$$t=\frac{\overline D-0}{S_D}\sqrt n \sim t(n-1)$$

若$H_0: \mu_D\le 0$, $H_1: \mu_D>0$, 拒绝域为

$$t=\frac{\overline D-0}{S_D}\sqrt n \ge t_\alpha(n-1)$$

若$H_0: \mu_D\ge 0$, $H_1: \mu_D<0$, 拒绝域为

$$t=\frac{\overline D-0}{S_D}\sqrt n \le -t_\alpha(n-1)$$

若$H_0: \mu_D= 0$, $H_1: \mu_D\ne 0$, 拒绝域为

$$|t|=|\frac{\overline D-0}{S_D}\sqrt n |\ge t_{\frac \alpha 2}(n-1)$$