概率论与数理统计

Author： GuZhengSVT
发布时间：September 10, 2024
564 views
No comments
3316 words
Categories：数学

前言

第一版前言

[[2024-09-14]] 今天补考终于结束了，听说正考直接放原卷，这几天刷了三套网上得来的“西电原卷”（21 年和两套 23 年）。上午刷的 21 年题，下午 $\frac{1}{4}$ 是一个字不改的原题，我都看笑了。
戴浩当年说尽力给钱班找最好的老师，现在看来数统院没人了？讲课不行可以说是重心不在教学、天赋不在教书；出套卷子直接搬旧题，还是近几年的，题也没审错漏百出，给我气笑了。
自己出的卷子毫无含金量，自己也不做做看。这是态度问题。
你电期末考试放水挺好的，但不要总是拿老本糊弄人。对学生大谈创新，对自己能混就行。这不是做学术的态度，更不是教书应有的态度。

概率论就此告一段落，这两天反复看笔记刷题订正不少错误，也明晰了这门课的知识结构。虽然内容仍然偏少，但作为期末复习的材料大抵足够，这版就作为终版吧（大概）。
中秋继续整理电动力学和数字信号处理。

第二版前言

Nothing is final!!!
——钱学森

补充了分布函数左右连续问题，看来这门课离 final 还有很远……

事件运算转逻辑运算

$A \cup B=A+B$
$A \cap B=A \cdot B$
$A-B=A \bar{B}$
$A$ 事件发生 $B$ 事件不发生，由韦恩图易证。
可以将 $-B$ 理解为 $\cdot (-B)$ ，$-B$ 即为 $\bar{B}$
若 $A \subset B$ ，$A \cup B=B,A \cap B=A$

事件运算转逻辑运算后，大部分法则共通。
运用数电中学到的逻辑函数运算与化简，可将复杂事件运算化简。
Tips：卡诺图

四大事件概率公式

$$
\begin{cases}
P(A+B)=P(A)+P(B)-P(AB)\\
P(A-B)=P(A)-P(AB)=P(A \bar{B})\\
P(AB)=P(B) \cdot P(A|B)=P(A) \cdot P(B|A)\\
P(A|B)=\frac{P(AB)}{P(B)}\\
\end{cases}
$$

推论

$P(A+B+C)$ ，将 $A+B$ 看成一个事件，运用上面的加法公式，两次拆分得到：
$$
P(A+B+C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)
$$
更多和事件概率可依此递推得到。

对立事件：$A$ 不发生的概率，韦恩图一目了然。
$$
P(\bar{A})=P(1 \cdot \bar{A})=P(1-A)=P(1)-P(1 \cdot A)=1-P(A)
$$

非负性与规范性

非负性：对于任意事件 $A$ ，$0 \le P(A) \le 1$ 。
规范性：对于总事件 $\Omega$ ，$P(\Omega)=1$ 。

相互独立

$$
\begin{cases}
P(AB)=P(A) \cdot P(B)\\
P(A|B)=P(A)
\end{cases}
$$
独立必相互独立。

古典概型

各基本事件发生概率相等。

Eg. 抛硬币，掷骰子……
$$
P(A)=\frac{A包含基本事件数}{\Omega 中基本事件数}
$$
古典条件概率公式
$$
P(B|A)=\frac{P(AB)}{P(A)}=\frac{同时在A,B中的基本事件数}{A包含基本事件数}
$$

伯努利概型（二项分布）

$n$ 次独立实验，每次实验只有 $A,\bar{A}$ 两种结果。

$X \sim B(n,p)$
$$
P_n(k)=C_n^kp^k(1-p)^{n-k}
$$
其中，$p=P(A),1-p=P(\bar{A})$

几何概型

事件 所占线/面/体积 部分与整个 线/面/体 的 长度/面积/体积 比值。
当事件所占空间维度低于总事件空间 $\Omega$ 维度时，该事件概率恒为 0 。
==Warning==：事件概率为 0 不代表一定不发生。
Eg：随机选中圆内某点，选中任意点概率为 0，但都可能发生。

均匀分布

$x \sim U(a,b)$
近似为几何分布中的线性分布，各点处概率密度：
$$
f(x)=
\begin{cases}
0,x \le a\\
\frac{1}{b-a},a < x \le b\\
0,x>b\\
\end{cases}
$$

分布函数：
$$
F(x)=
\begin{cases}
0,x \le a\\
\frac{x-a}{b-a},a<x \le b\\
1,x>b\\
\end{cases}
$$

指数分布

$x \sim E(\lambda)$

概率密度

$$
f(x)=
\begin{cases}
\lambda e^{-\lambda x},x>0\\
0,x \le 0\\
\end{cases}
$$

分布函数

$$
F(x)=
\begin{cases}
1-e^{-\lambda x},x \ge 0\\
0,x<0\\
\end{cases}
$$

泊松分布

$X \sim \pi(\lambda)$
$$
P(X=k)=\frac{e^{-\lambda}\lambda^k}{k!}
$$

正态分布

$x \sim N(\mu,\sigma^2)$

概率密度

$$
f(x)=\frac{1}{\sqrt{2 \pi} \sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},x \in R,\sigma>0
$$

分布函数

$$
F(x)=\int^{x}_{-\infty}f(t)dt
$$
显然，$F(\mu)=\frac{1}{2}$ ，即 $P(x \le \mu)=P(x>\mu)=\frac{1}{2}$ 。

标准正态分布

当 $\mu=0,\sigma=1$ 时，此分布为标准正态分布。
$$
\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}
$$
$$
\varPhi(x)=\int^{x}_{-\infty}\varphi(t)dt
$$

推论

$$
\varPhi(-x)=1-\varPhi(x)
$$
$$
F(x)=\varPhi(\frac{x-\mu}{\sigma})
$$
正态分布标准化：
$$
X \sim N(\mu,\sigma^2),Z=\frac{X-\mu}{\sigma}\sim N(0,1)
$$

全概率公式

完备事件组

$$
\begin{cases}
B_1 \cup B_2 \cup B_3 \cup \cdots \cup B_n=\Omega\\
B_i \cap B_j=\varnothing,i \ne j,1 \le i \le n,1 \le j \le n\\
\end{cases}
$$
称 $B_1,B_2,B_3,\cdots B_n$ 构成 $\Omega$ 的一个完备事件组。

全概率公式

$$
\begin{align}
P(A)
&=P(AB_1 \cup AB_2 \cup \cdots \cup AB_n)\\
&=P(AB_1)+P(AB_2)+\cdots +P(AB_n)\\
&=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+\cdots +P(B_n)P(A|B_n)\\
\end{align}
$$

贝叶斯公式

$$
P(B_1|A)=\frac{P(AB_1)}{P(A)}=\frac{P(B_1)P(A|B_1)}{P(A)}
$$

一维离散型随机变量

分布律

$$
P(X=x_i)=p_i=\frac{X=x_i情况数}{总情况数},i=1,2,\cdots
$$

分布函数

$$
F(x)=\sum_{x_i<x}p_i,x \in R
$$

一维连续型随机变量

概率密度

$$
f(x)=F'(x)
$$

分布函数

$$
F(x)=\int_{-\infty}^xf(t)dt
$$

区间概率

$$
P(a<x \le b)=\int_a^bf(x)dx=F(b)-F(a)
$$

$\because$ $P(x=a)=0,a \in R$
$\therefore$ 区间两边等号随意取

规范性

$$
F(\infty)=\int^{\infty}_{-\infty}f(x)dx=1
$$

$$
F(-\infty)=0
$$

二维离散型随机变量

联合分布律

$P(X=x_i,Y=y_j)$
将 X，Y 可能取值列二维表，填入对应概率。

边缘分布律

$P(X=x_i),P(Y=y_j)$
将联合分布律的行/列相加，得到 $f_Y(x),f_X(y)$

条件分布

$P(X=x_i|Y=y_j),P(Y=y_i|X=x_j)$
联合分布率每行/列除以该行/列对应的边缘分布律。
即每行/列的联合分布率化为成比例项，各项和为 1。

两变量独立性

==此处的独立性指的是线性无关，不代表完全独立无关。==
将联合分布表写成矩阵 $\vec{A}$ ，当 $\det \vec{A}=0$ 时 X 与 Y 独立。
Or：联合分布表各行/列成比例时 X 与 Y 独立。
Or：联合分布率 $\ne$ 边缘分布率乘积，即 $P(X=x_i,Y=y_j)\ne P(X=x_i)P(Y=y_j)$ 时，X 与 Y 不相互独立。

二位连续性随机变量

联合密度函数

$$
f(x,y)
$$

规范性

$$
\int^{\infty}_{-\infty}\int^{\infty}_{-\infty}f(x,y)dxdy=1
$$

边缘密度函数

$$
f_X(x)=\int^{\infty}_{-\infty}f(x,y)dy
$$
$$
f_Y(y)=\int^{\infty}_{-\infty}f(x,y)dx
$$

条件密度

$$
f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}
$$

独立性

$$
f(x,y)=f_X(x)f_Y(y)
$$
满足以上条件时，X 与 Y 相互独立。

分布函数

设 $Z=X-Y$ ，
$$
\begin{align}
F_Z(z)
&=P(Z<z)\\
&=P(X-Y<z)\\
&=P(X<Y+z)\\
&=\int^{y}_{-\infty}\int^{y+z}_{-\infty}f(x,y)dxdy\\
\end{align}
$$
即分布函数 $F_Z(z)=\iint_Df(x,y)dxdy$ 。由分布函数求导得概率密度函数 $f_Z(z)$ 。
==Warning==：$F_Z(z)$ 满足规范性。

期望与方差

关系式

$$
DX=EX^2-(EX)^2
$$
$$
D(cX)=c^2DX
$$
$$
D(X+Y)=D(X)+D(Y)+2Cov(X,Y)
$$
X 与 Y 相互独立时 $Cov(X,Y)=0$ 。

常见期望与方差

$(0,1)$ 分布

$$
EX=p,DX=p(1-p)
$$

$B(n,p)$ 二项分布

$$
EX=np,DX=np(1-p)
$$

$U(a,b)$ 均匀分布

$$
EX=\frac{a+b}{2},DX=\frac{(b-a)^2}{12}
$$

$E(\lambda)$ 指数分布

$$
EX=\frac{1}{\lambda},DX=\frac{1}{\lambda^2}
$$

$P(\lambda)$ 泊松分布

$$
EX=\lambda,DX=\lambda
$$

$N(\mu,\sigma^2)$ 正态分布

$$
EX=\mu,DX=\sigma^2
$$

协方差与相关系数

协方差

$$
Cov(X,Y)=E(XY)-E(X)E(Y)
$$
显然，$X=Y$ 时，$Cov(X,X)=DX$ 。
$$
Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)
$$
$$
Cov(X-Y,Z)=Cov(X,Z)+Cov(-Y,Z)=Cov(X,Z)-Cov(Y,Z)
$$

切比雪夫不等式估计概率

$$
P(|X-EX|\ge \varepsilon)\le \frac{DX}{\varepsilon^2}
$$

中心极限定理

大量独立变量同分布，可近似为正态分布。
若 $x_1,x_2,\cdots,x_n$ 独立且同分布，则
$$
\sum_{i=1}^nx_i \sim N(\sum^{n}_{i=1}E(x_i),\sum^{n}_{i=1}D(x_i))
$$

三大分布

$\chi^2$ （卡方）分布

$$
X=x_1^2+x_2^2+\cdots +x_n^2 \sim \chi^2(n),x_i \sim N(0,1)且相互独立
$$
上 $\alpha$ 分位点 $\chi^2_\alpha(n)$
密度函数在第一象限

$t$ 分布

$$
X=\frac{x_1}{\sqrt{x_2/n}}\sim t(n),x_1 \sim N(0,1),x_2 \sim \chi^2(n),x_1与x_2相互独立
$$
上 $\alpha$ 分位点 $t_\alpha(n)$
密度函数形似正态分布，左右对称

$F$ 分布

$$
X=\frac{x_1/n_1}{x_2/n_2} \sim F(n_1,n_2),x_1 \sim \chi^2(n_1),x_2 \sim \chi^2(n_2),x_1与x_2相互独立
$$
上 $\alpha$ 分位点 $F_\alpha(n_1,n_2)$
密度函数在第一象限

估计法

简单随机样本相互独立且同分布时，估计未知参数。

矩估计法

样本量较大时，将样本近似为平均分布，样本均值替代总体均值（总体矩=样本矩）。

根据所给分布律/密度函数求出期望 $EX$ （一阶总体矩）
根据所给样本求样本均值 $\bar{X}$ （一阶样本矩）
令 $EX=\bar{X}$ 解出 $\theta_0$ 即为 $\hat{\theta}$

最大似然估计法

估计值使得样本发生概率最大。
样本似然函数：
$$
L(x_1,x_2,\cdots,x_n;\theta)=
\begin{cases}
P(X=x_1)P(X=x_2)\cdots P(X=x_n),离散型\\
f(x_1;\theta)f(x_2;\theta)\cdots f(x_n;\theta),连续型\\
\end{cases}
$$
求 $L$ 最大值，即求导得其驻点。因连乘求导繁琐，先将其化为对数形式后对未知参数 $\theta$ 求导。
$$
(\ln L)'=
\begin{cases}
(\ln P_1+\ln P_2+\cdots +\ln P_n)',离散型\\
[\ln f(x_1;\theta)+\ln f(x_2;\theta)+\cdots +\ln f(x_n;\theta)]',连续型\\
\end{cases}
=0
$$
解出驻点 $\theta_0$ ，即为估计值 $\hat{\theta}$ 。

无偏性与有效性

若 $E(\hat{\theta})=\theta$ ，则称 $\hat{\theta}$ 为 $\theta$ 的无偏估计。
若 $\hat{\theta_1},\hat{\theta_2}$ 均为无偏估计，且 $D(\hat{\theta_1})<\hat{\theta_2}$ ，则称 $\hat{\theta_1}$ 比 $\hat{\theta_2}$ 更有效。

区间估计

$X \sim N(\mu,\sigma^2)$ ，通常将给定的 $\bar{X}=\mu,S=\sigma$ 。
置信度：$1-\alpha$ ，通常 $\alpha=5\%$ 。

求 $\mu$ 置信区间

$\sigma^2$ 已知

枢轴量（标准化）：
$$
\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)
$$
$$
\mu \in (\bar{x}-\frac{\sigma}{\sqrt{n}}\mu_{\frac{\alpha}{2}},\bar{x}+\frac{\sigma}{\sqrt{n}}\mu_{\frac{\alpha}{2}})
$$

$\sigma^2$ 未知

枢轴量：
$$
\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)
$$
$$
\mu \in (\bar{x}-\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1),\bar{x}+\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1))
$$

求 $\sigma^2$ 置信区间

通常 $\mu$ 未知。
枢轴量：
$$
\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)
$$
$$
\sigma^2 \in (\frac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)},\frac{(n-1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)})
$$

假设检验

一般取 $\alpha=5\%$

$\mu$ 检验

提出假设 $H_0:\mu=\mu_0,H_1:\mu \ne \mu_0$
选择检验统计量（枢轴量）
- $\sigma^2$ 已知，选择 $\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$ ，为 U 检验
- $\sigma^2$ 未知，选择 $\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$ ，为 T 检验
根据选择的枢轴量求得拒绝域
$W=(-\infty,-\mu_{\frac{\alpha}{2}})\cup (\mu_{\frac{\alpha}{2}},\infty)$
$W=(-\infty,-t_{\frac{\alpha}{2}}(n-1))\cup (t_{\frac{\alpha}{2}}(n-1),\infty)$
若根据 $\bar{X}$ 计算所得枢轴量在 $W$ 内，假设 $H_0$ 不成立。

$\sigma^2$ 检验

$$
S=\sqrt{S^2}=\sqrt{\frac{1}{n-1}\sum^{n}_{i=1}(x_i-\bar{X})}
$$

提出假设 $H_0:\sigma^2=\sigma_0^2,H_1:\sigma^2 \ne \sigma_0^2$
选择检验统计量
$\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$ ，为$\chi^2$ 检验
求得拒绝域
$W=(0,\chi^2_{1-\frac{\alpha}{2}}(n-1)) \cup (\chi^2_{\frac{\alpha}{2}}(n-1),\infty)$
若根据 $S$ 计算所得枢轴量在 $W$ 内，假设 $H_0$ 不成立。

补充

分布函数

对于连续型随机变量，分布函数连续。
对于离散型随机变量，由于不同教材对分布函数定义不同，有左连续或右连续情况。

左连续

$$
F(x)=P(X<x)
$$
在此定义下
$$
F(x)=F(x^-)=F(x-0)=P(X<x)
$$
$$
F(x^+)=F(x+0)=P(X<x)+P(X=x)
$$
当 $P(X=x)\ne 0$ 时，显然 $F(x^+)>F(x)=F(x^-)$ ，此时分布函数左连续而右不连续。

右连续

$$
F(x)=P(X \le x)
$$
在此定义下
$$
F(x)=F(x^+)=F(x+0)=P(X \le x)
$$
$$
F(x^-)=F(x-0)=P(X \le x)-P(X=x)
$$
当 $P(X=x)\ne 0$ 时，显然 $F(x^+)=F(x)>F(x^-)$ ，此时分布函数右连续而左不连续。

抛硬币举例

抛一次硬币，正面计 1，反面计 0 。
X 是一维离散型随机变量
$$
\begin{cases}
P(x=0)=0.5\\
P(x=1)=0.5\\
P(x=others)=0\\
\end{cases}
$$
由此得
$$
\begin{cases}
P(x<0)=0\\
P(0 \le x < 1)=0.5\\
P(x \ge 1)=1\\
\end{cases}
$$
当设分布函数为 $F(x)=P(X<x)$ 时，
$$
F(x)=
\begin{cases}
0, & x \le 0\\
0.5, & 0 < x \le 1\\
1, & x>1\\
\end{cases}
$$
$F(0^-)=F(0)=0$，$F(0^+)=0.5$，$x=0$ 是间断点，左连续而右不连续。

Last modification：September 18, 2024

我很可爱，请给我钱。

概率论与数理统计

GuZhengSVT • 2024 年 09 月 10 日

<h2>前言</h2>
<h3>第一版前言</h3>
<p>[[2024-09-14]] 今天补考终于结束了，听说正考直接放原卷，这几天刷了三套网上得来的“西电原卷”（21 年和两套 23 年）。上午刷的 21 年题，下午 $\frac{1}{4}$ 是一个字不改的原题，我都看笑了。<br />
戴浩当年说尽力给钱班找最好的老师，现在看来数统院没人了？讲课不行可以说是重心不在教学、天赋不在教书；出套卷子直接搬旧题，还是近几年的，题也没审错漏百出，给我气笑了。<br />
自己出的卷子毫无含金量，自己也不做做看。这是态度问题。<br />
你电期末考试放水挺好的，但不要总是拿老本糊弄人。对学生大谈创新，对自己能混就行。这不是做学术的态度，更不是教书应有的态度。</p>
<p>概率论就此告一段落，这两天反复看笔记刷题订正不少错误，也明晰了这门课的知识结构。虽然内容仍然偏少，但作为期末复习的材料大抵足够，这版就作为终版吧（大概）。<br />
中秋继续整理电动力学和数字信号处理。</p>
<h3>第二版前言</h3>
<blockquote>
<p>Nothing is final!!!<br />
——钱学森</p>
</blockquote>
<p>补充了分布函数左右连续问题，看来这门课离 final 还有很远……</p>
<h2>事件运算转逻辑运算</h2>
<ul>
<li>$A \cup B=A+B$ </li>
<li>$A \cap B=A \cdot B$ </li>
<li>$A-B=A \bar{B}$<br />
$A$ 事件发生 $B$ 事件不发生，由韦恩图易证。<br />
可以将 $-B$ 理解为 $\cdot (-B)$ ，$-B$ 即为 $\bar{B}$ </li>
<li>若 $A \subset B$ ，$A \cup B=B,A \cap B=A$ </li>
</ul>
<p>事件运算转逻辑运算后，大部分法则共通。<br />
运用数电中学到的逻辑函数运算与化简，可将复杂事件运算化简。<br />
Tips：卡诺图</p>
<h2>四大事件概率公式</h2>
<p>$$<br />
\begin{cases}<br />
P(A+B)=P(A)+P(B)-P(AB)\\<br />
P(A-B)=P(A)-P(AB)=P(A \bar{B})\\<br />
P(AB)=P(B) \cdot P(A|B)=P(A) \cdot P(B|A)\\<br />
P(A|B)=\frac{P(AB)}{P(B)}\\<br />
\end{cases}<br />
$$</p>
<h3>推论</h3>
<p>$P(A+B+C)$ ，将 $A+B$ 看成一个事件，运用上面的加法公式，两次拆分得到：<br />
$$<br />
P(A+B+C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)<br />
$$<br />
更多和事件概率可依此递推得到。</p>
<p>对立事件：$A$ 不发生的概率，韦恩图一目了然。<br />
$$<br />
P(\bar{A})=P(1 \cdot \bar{A})=P(1-A)=P(1)-P(1 \cdot A)=1-P(A)<br />
$$</p>
<h2>非负性与规范性</h2>
<p>非负性：对于任意事件 $A$ ，$0 \le P(A) \le 1$ 。<br />
规范性：对于总事件 $\Omega$ ，$P(\Omega)=1$ 。</p>
<h2>相互独立</h2>
<p>$$<br />
\begin{cases}<br />
P(AB)=P(A) \cdot P(B)\\<br />
P(A|B)=P(A)<br />
\end{cases}<br />
$$<br />
独立必相互独立。</p>
<h2>古典概型</h2>
<blockquote>
<p>各基本事件发生概率相等。</p>
</blockquote>
<p>Eg. 抛硬币，掷骰子……<br />
$$<br />
P(A)=\frac{A包含基本事件数}{\Omega 中基本事件数}<br />
$$<br />
古典条件概率公式<br />
$$<br />
P(B|A)=\frac{P(AB)}{P(A)}=\frac{同时在A,B中的基本事件数}{A包含基本事件数}<br />
$$</p>
<h2>伯努利概型（二项分布）</h2>
<blockquote>
<p>$n$ 次独立实验，每次实验只有 $A,\bar{A}$ 两种结果。</p>
</blockquote>
<p>$X \sim B(n,p)$<br />
$$<br />
P_n(k)=C_n^kp^k(1-p)^{n-k}<br />
$$<br />
其中，$p=P(A),1-p=P(\bar{A})$ </p>
<h2>几何概型</h2>
<p>事件 <em>所占线/面/体积</em> 部分与整个 <em>线/面/体</em> 的 <em>长度/面积/体积</em> 比值。<br />
当事件所占空间维度低于总事件空间 $\Omega$ 维度时，该事件概率恒为 0 。<br />
==Warning==：事件概率为 0 不代表一定不发生。<br />
Eg：随机选中圆内某点，选中任意点概率为 0，但都可能发生。</p>
<h2>均匀分布</h2>
<p>$x \sim U(a,b)$<br />
近似为几何分布中的线性分布，各点处概率密度：<br />
$$<br />
f(x)=<br />
\begin{cases}<br />
0,x \le a\\<br />
\frac{1}{b-a},a &lt; x \le b\\<br />
0,x&gt;b\\<br />
\end{cases}<br />
$$</p>
<p>分布函数：<br />
$$<br />
F(x)=<br />
\begin{cases}<br />
0,x \le a\\<br />
\frac{x-a}{b-a},a&lt;x \le b\\<br />
1,x&gt;b\\<br />
\end{cases}<br />
$$</p>
<h2>指数分布</h2>
<p>$x \sim E(\lambda)$ </p>
<h3>概率密度</h3>
<p>$$<br />
f(x)=<br />
\begin{cases}<br />
\lambda e^{-\lambda x},x&gt;0\\<br />
0,x \le 0\\<br />
\end{cases}<br />
$$</p>
<h3>分布函数</h3>
<p>$$<br />
F(x)=<br />
\begin{cases}<br />
1-e^{-\lambda x},x \ge 0\\<br />
0,x&lt;0\\<br />
\end{cases}<br />
$$</p>
<h2>泊松分布</h2>
<p>$X \sim \pi(\lambda)$<br />
$$<br />
P(X=k)=\frac{e^{-\lambda}\lambda^k}{k!}<br />
$$</p>
<h2>正态分布</h2>
<p>$x \sim N(\mu,\sigma^2)$ </p>
<h3>概率密度</h3>
<p>$$<br />
f(x)=\frac{1}{\sqrt{2 \pi} \sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},x \in R,\sigma&gt;0<br />
$$</p>
<h3>分布函数</h3>
<p>$$<br />
F(x)=\int^{x}_{-\infty}f(t)dt<br />
$$<br />
显然，$F(\mu)=\frac{1}{2}$ ，即 $P(x \le \mu)=P(x&gt;\mu)=\frac{1}{2}$ 。</p>
<h3>标准正态分布</h3>
<p>当 $\mu=0,\sigma=1$ 时，此分布为标准正态分布。<br />
$$<br />
\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}<br />
$$<br />
$$<br />
\varPhi(x)=\int^{x}_{-\infty}\varphi(t)dt<br />
$$</p>
<h3>推论</h3>
<p>$$<br />
\varPhi(-x)=1-\varPhi(x)<br />
$$<br />
$$<br />
F(x)=\varPhi(\frac{x-\mu}{\sigma})<br />
$$<br />
正态分布标准化：<br />
$$<br />
X \sim N(\mu,\sigma^2),Z=\frac{X-\mu}{\sigma}\sim N(0,1)<br />
$$</p>
<h2>全概率公式</h2>
<h3>完备事件组</h3>
<p>$$<br />
\begin{cases}<br />
B_1 \cup B_2 \cup B_3 \cup \cdots \cup B_n=\Omega\\<br />
B_i \cap B_j=\varnothing,i \ne j,1 \le i \le n,1 \le j \le n\\<br />
\end{cases}<br />
$$<br />
称 $B_1,B_2,B_3,\cdots B_n$ 构成 $\Omega$ 的一个完备事件组。</p>
<h3>全概率公式</h3>
<p>$$<br />
\begin{align}<br />
P(A)<br />
&amp;=P(AB_1 \cup AB_2 \cup \cdots \cup AB_n)\\<br />
&amp;=P(AB_1)+P(AB_2)+\cdots +P(AB_n)\\<br />
&amp;=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+\cdots +P(B_n)P(A|B_n)\\<br />
\end{align}<br />
$$</p>
<h3>贝叶斯公式</h3>
<p>$$<br />
P(B_1|A)=\frac{P(AB_1)}{P(A)}=\frac{P(B_1)P(A|B_1)}{P(A)}<br />
$$</p>
<h2>一维离散型随机变量</h2>
<h3>分布律</h3>
<p>$$<br />
P(X=x_i)=p_i=\frac{X=x_i情况数}{总情况数},i=1,2,\cdots<br />
$$</p>
<h3>分布函数</h3>
<p>$$<br />
F(x)=\sum_{x_i&lt;x}p_i,x \in R<br />
$$</p>
<h2>一维连续型随机变量</h2>
<h3>概率密度</h3>
<p>$$<br />
f(x)=F'(x)<br />
$$</p>
<h3>分布函数</h3>
<p>$$<br />
F(x)=\int_{-\infty}^xf(t)dt<br />
$$</p>
<h3>区间概率</h3>
<p>$$<br />
P(a&lt;x \le b)=\int_a^bf(x)dx=F(b)-F(a)<br />
$$</p>
<p>$\because$ $P(x=a)=0,a \in R$<br />
$\therefore$ 区间两边等号随意取</p>
<h3>规范性</h3>
<p>$$<br />
F(\infty)=\int^{\infty}_{-\infty}f(x)dx=1<br />
$$</p>
<p>$$<br />
F(-\infty)=0<br />
$$</p>
<h2>二维离散型随机变量</h2>
<h3>联合分布律</h3>
<p>$P(X=x_i,Y=y_j)$<br />
将 X，Y 可能取值列二维表，填入对应概率。</p>
<h3>边缘分布律</h3>
<p>$P(X=x_i),P(Y=y_j)$<br />
将联合分布律的行/列相加，得到 $f_Y(x),f_X(y)$ </p>
<h3>条件分布</h3>
<p>$P(X=x_i|Y=y_j),P(Y=y_i|X=x_j)$<br />
联合分布率每行/列除以该行/列对应的边缘分布律。<br />
即每行/列的联合分布率化为<strong>成比例项</strong>，各项和为 1。</p>
<h3>两变量独立性</h3>
<p>==此处的独立性指的是线性无关，不代表完全独立无关。==<br />
将联合分布表写成矩阵 $\vec{A}$ ，当 $\det \vec{A}=0$ 时 X 与 Y 独立。<br />
Or：联合分布表各行/列成比例时 X 与 Y 独立。<br />
Or：联合分布率 $\ne$ 边缘分布率乘积，即 $P(X=x_i,Y=y_j)\ne P(X=x_i)P(Y=y_j)$ 时，X 与 Y 不相互独立。</p>
<h2>二位连续性随机变量</h2>
<h3>联合密度函数</h3>
<p>$$<br />
f(x,y)<br />
$$</p>
<h3>规范性</h3>
<p>$$<br />
\int^{\infty}_{-\infty}\int^{\infty}_{-\infty}f(x,y)dxdy=1<br />
$$</p>
<h3>边缘密度函数</h3>
<p>$$<br />
f_X(x)=\int^{\infty}_{-\infty}f(x,y)dy<br />
$$<br />
$$<br />
f_Y(y)=\int^{\infty}_{-\infty}f(x,y)dx<br />
$$</p>
<h3>条件密度</h3>
<p>$$<br />
f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}<br />
$$</p>
<h3>独立性</h3>
<p>$$<br />
f(x,y)=f_X(x)f_Y(y)<br />
$$<br />
满足以上条件时，X 与 Y 相互独立。</p>
<h3>分布函数</h3>
<p>设 $Z=X-Y$ ，<br />
$$<br />
\begin{align}<br />
F_Z(z)<br />
&amp;=P(Z&lt;z)\\<br />
&amp;=P(X-Y&lt;z)\\<br />
&amp;=P(X&lt;Y+z)\\<br />
&amp;=\int^{y}_{-\infty}\int^{y+z}_{-\infty}f(x,y)dxdy\\<br />
\end{align}<br />
$$<br />
即分布函数 $F_Z(z)=\iint_Df(x,y)dxdy$ 。由分布函数求导得概率密度函数 $f_Z(z)$ 。<br />
==Warning==：$F_Z(z)$ 满足规范性。</p>
<h2>期望与方差</h2>
<h3>关系式</h3>
<p>$$<br />
DX=EX^2-(EX)^2<br />
$$<br />
$$<br />
D(cX)=c^2DX<br />
$$<br />
$$<br />
D(X+Y)=D(X)+D(Y)+2Cov(X,Y)<br />
$$<br />
X 与 Y 相互独立时 $Cov(X,Y)=0$ 。</p>
<h3>常见期望与方差</h3>
<h4>$(0,1)$ 分布</h4>
<p>$$<br />
EX=p,DX=p(1-p)<br />
$$</p>
<h4>$B(n,p)$ 二项分布</h4>
<p>$$<br />
EX=np,DX=np(1-p)<br />
$$</p>
<h4>$U(a,b)$ 均匀分布</h4>
<p>$$<br />
EX=\frac{a+b}{2},DX=\frac{(b-a)^2}{12}<br />
$$</p>
<h4>$E(\lambda)$ 指数分布</h4>
<p>$$<br />
EX=\frac{1}{\lambda},DX=\frac{1}{\lambda^2}<br />
$$</p>
<h4>$P(\lambda)$ 泊松分布</h4>
<p>$$<br />
EX=\lambda,DX=\lambda<br />
$$</p>
<h4>$N(\mu,\sigma^2)$ 正态分布</h4>
<p>$$<br />
EX=\mu,DX=\sigma^2<br />
$$</p>
<h2>协方差与相关系数</h2>
<h3>协方差</h3>
<p>$$<br />
Cov(X,Y)=E(XY)-E(X)E(Y)<br />
$$<br />
显然，$X=Y$ 时，$Cov(X,X)=DX$ 。<br />
$$<br />
Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)<br />
$$<br />
$$<br />
Cov(X-Y,Z)=Cov(X,Z)+Cov(-Y,Z)=Cov(X,Z)-Cov(Y,Z)<br />
$$</p>
<h3>相关系数</h3>
<p>$$<br />
\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{DX \cdot DY}}<br />
$$<br />
$|\rho|$ 越大，相关性越强。<br />
$Y=X$ 时，$X$ 与 $X$ 相关性最强，得到 $\rho=1$ 。<br />
$Y=-X$ 时，$-X$ 与 $X$ 相关性最强，得到 $\rho=-1$ 。<br />
显然 $|\rho| \le 1$ 。<br />
$\rho=0$ 时 $X$ 与 $Y$ 不相关。<br />
==Warning==：不相关 $\nRightarrow$ 独立，独立 $\Rightarrow$ 不相关。</p>
<h2>切比雪夫不等式估计概率</h2>
<p>$$<br />
P(|X-EX|\ge \varepsilon)\le \frac{DX}{\varepsilon^2}<br />
$$</p>
<h2>中心极限定理</h2>
<p>大量独立变量同分布，可近似为正态分布。<br />
若 $x_1,x_2,\cdots,x_n$ 独立且同分布，则<br />
$$<br />
\sum_{i=1}^nx_i \sim N(\sum^{n}_{i=1}E(x_i),\sum^{n}_{i=1}D(x_i))<br />
$$</p>
<h2>三大分布</h2>
<h3>$\chi^2$ （卡方）分布</h3>
<p>$$<br />
X=x_1^2+x_2^2+\cdots +x_n^2 \sim \chi^2(n),x_i \sim N(0,1)且相互独立<br />
$$<br />
上 $\alpha$ 分位点 $\chi^2_\alpha(n)$<br />
密度函数在第一象限</p>
<h3>$t$ 分布</h3>
<p>$$<br />
X=\frac{x_1}{\sqrt{x_2/n}}\sim t(n),x_1 \sim N(0,1),x_2 \sim \chi^2(n),x_1与x_2相互独立<br />
$$<br />
上 $\alpha$ 分位点 $t_\alpha(n)$<br />
密度函数形似正态分布，左右对称</p>
<h3>$F$ 分布</h3>
<p>$$<br />
X=\frac{x_1/n_1}{x_2/n_2} \sim F(n_1,n_2),x_1 \sim \chi^2(n_1),x_2 \sim \chi^2(n_2),x_1与x_2相互独立<br />
$$<br />
上 $\alpha$ 分位点 $F_\alpha(n_1,n_2)$<br />
密度函数在第一象限</p>
<h2>估计法</h2>
<p>简单随机样本相互独立且同分布时，估计未知参数。</p>
<h3>矩估计法</h3>
<p>样本量较大时，将样本近似为平均分布，样本均值替代总体均值（总体矩=样本矩）。</p>
<ol>
<li>根据所给分布律/密度函数求出期望 $EX$ （一阶总体矩）</li>
<li>根据所给样本求样本均值 $\bar{X}$ （一阶样本矩）</li>
<li>令 $EX=\bar{X}$ 解出 $\theta_0$ 即为 $\hat{\theta}$ </li>
</ol>
<h3>最大似然估计法</h3>
<p>估计值使得样本发生概率最大。<br />
样本似然函数：<br />
$$<br />
L(x_1,x_2,\cdots,x_n;\theta)=<br />
\begin{cases}<br />
P(X=x_1)P(X=x_2)\cdots P(X=x_n),离散型\\<br />
f(x_1;\theta)f(x_2;\theta)\cdots f(x_n;\theta),连续型\\<br />
\end{cases}<br />
$$<br />
求 $L$ 最大值，即求导得其驻点。因连乘求导繁琐，先将其化为对数形式后对未知参数 $\theta$ 求导。<br />
$$<br />
(\ln L)'=<br />
\begin{cases}<br />
(\ln P_1+\ln P_2+\cdots +\ln P_n)',离散型\\<br />
[\ln f(x_1;\theta)+\ln f(x_2;\theta)+\cdots +\ln f(x_n;\theta)]',连续型\\<br />
\end{cases}<br />
=0<br />
$$<br />
解出驻点 $\theta_0$ ，即为估计值 $\hat{\theta}$ 。</p>
<h2>无偏性与有效性</h2>
<p>若 $E(\hat{\theta})=\theta$ ，则称 $\hat{\theta}$ 为 $\theta$ 的无偏估计。<br />
若 $\hat{\theta_1},\hat{\theta_2}$ 均为无偏估计，且 $D(\hat{\theta_1})&lt;\hat{\theta_2}$ ，则称 $\hat{\theta_1}$ 比 $\hat{\theta_2}$ 更有效。</p>
<h2>区间估计</h2>
<p>$X \sim N(\mu,\sigma^2)$ ，通常将给定的 $\bar{X}=\mu,S=\sigma$ 。<br />
置信度：$1-\alpha$ ，通常 $\alpha=5\%$ 。</p>
<h3>求 $\mu$ 置信区间</h3>
<h4>$\sigma^2$ 已知</h4>
<p>枢轴量（标准化）：<br />
$$<br />
\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)<br />
$$<br />
$$<br />
\mu \in (\bar{x}-\frac{\sigma}{\sqrt{n}}\mu_{\frac{\alpha}{2}},\bar{x}+\frac{\sigma}{\sqrt{n}}\mu_{\frac{\alpha}{2}})<br />
$$</p>
<h4>$\sigma^2$ 未知</h4>
<p>枢轴量：<br />
$$<br />
\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)<br />
$$<br />
$$<br />
\mu \in (\bar{x}-\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1),\bar{x}+\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1))<br />
$$</p>
<h3>求 $\sigma^2$ 置信区间</h3>
<p>通常 $\mu$ 未知。<br />
枢轴量：<br />
$$<br />
\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)<br />
$$<br />
$$<br />
\sigma^2 \in (\frac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)},\frac{(n-1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)})<br />
$$</p>
<h2>假设检验</h2>
<p>一般取 $\alpha=5\%$ </p>
<h3>$\mu$ 检验</h3>
<ol>
<li>提出假设 $H_0:\mu=\mu_0,H_1:\mu \ne \mu_0$ </li>
<li>选择检验统计量（枢轴量）<ul>
<li>$\sigma^2$ 已知，选择 $\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$ ，为 U 检验</li>
<li>$\sigma^2$ 未知，选择 $\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$ ，为 T 检验</li>
</ul>
</li>
<li>根据选择的枢轴量求得拒绝域<br />
$W=(-\infty,-\mu_{\frac{\alpha}{2}})\cup (\mu_{\frac{\alpha}{2}},\infty)$<br />
$W=(-\infty,-t_{\frac{\alpha}{2}}(n-1))\cup (t_{\frac{\alpha}{2}}(n-1),\infty)$ </li>
<li>若根据 $\bar{X}$ 计算所得枢轴量在 $W$ 内，假设 $H_0$ 不成立。</li>
</ol>
<h3>$\sigma^2$ 检验</h3>
<p>$$<br />
S=\sqrt{S^2}=\sqrt{\frac{1}{n-1}\sum^{n}_{i=1}(x_i-\bar{X})}<br />
$$</p>
<ol>
<li>提出假设 $H_0:\sigma^2=\sigma_0^2,H_1:\sigma^2 \ne \sigma_0^2$ </li>
<li>选择检验统计量<br />
$\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$ ，为$\chi^2$ 检验</li>
<li>求得拒绝域<br />
$W=(0,\chi^2_{1-\frac{\alpha}{2}}(n-1)) \cup (\chi^2_{\frac{\alpha}{2}}(n-1),\infty)$ </li>
<li>若根据 $S$ 计算所得枢轴量在 $W$ 内，假设 $H_0$ 不成立。</li>
</ol>
<h2>补充</h2>
<h3>分布函数</h3>
<p>对于连续型随机变量，分布函数连续。<br />
对于离散型随机变量，由于不同教材对分布函数定义不同，有左连续或右连续情况。</p>
<h4>左连续</h4>
<p>$$<br />
F(x)=P(X&lt;x)<br />
$$<br />
在此定义下<br />
$$<br />
F(x)=F(x^-)=F(x-0)=P(X&lt;x)<br />
$$<br />
$$<br />
F(x^+)=F(x+0)=P(X&lt;x)+P(X=x)<br />
$$<br />
当 $P(X=x)\ne 0$ 时，显然 $F(x^+)&gt;F(x)=F(x^-)$ ，此时分布函数左连续而右不连续。</p>
<h4>右连续</h4>
<p>$$<br />
F(x)=P(X \le x)<br />
$$<br />
在此定义下<br />
$$<br />
F(x)=F(x^+)=F(x+0)=P(X \le x)<br />
$$<br />
$$<br />
F(x^-)=F(x-0)=P(X \le x)-P(X=x)<br />
$$<br />
当 $P(X=x)\ne 0$ 时，显然 $F(x^+)=F(x)&gt;F(x^-)$ ，此时分布函数右连续而左不连续。</p>
<h4>抛硬币举例</h4>
<p>抛一次硬币，正面计 1，反面计 0 。<br />
X 是一维离散型随机变量<br />
$$<br />
\begin{cases}<br />
P(x=0)=0.5\\<br />
P(x=1)=0.5\\<br />
P(x=others)=0\\<br />
\end{cases}<br />
$$<br />
由此得<br />
$$<br />
\begin{cases}<br />
P(x&lt;0)=0\\<br />
P(0 \le x &lt; 1)=0.5\\<br />
P(x \ge 1)=1\\<br />
\end{cases}<br />
$$<br />
当设分布函数为 $F(x)=P(X&lt;x)$ 时，<br />
$$<br />
F(x)=<br />
\begin{cases}<br />
0, &amp; x \le 0\\<br />
0.5, &amp; 0 &lt; x \le 1\\<br />
1, &amp; x&gt;1\\<br />
\end{cases}<br />
$$<br />
$F(0^-)=F(0)=0$，$F(0^+)=0.5$，$x=0$ 是间断点，左连续而右不连续。</p>