事件运算转逻辑运算
- $A \cup B=A+B$
- $A \cap B=A \cdot B$
- $A-B=A \bar{B}$
$A$ 事件发生 $B$ 事件不发生，由韦恩图易证。
可以将 $-B$ 理解为 $\cdot (-B)$ ，$-B$ 即为 $\bar{B}$ - 若 $A \subset B$ ，$A \cup B=B,A \cap B=A$
事件运算转逻辑运算后，大部分法则共通。
运用数电中学到的逻辑函数运算与化简，可将复杂事件运算化简。
Tips：卡诺图
四大事件概率公式
$$
\begin{cases}
P(A+B)=P(A)+P(B)-P(AB)\\
P(A-B)=P(A)-P(AB)=P(A \bar{B})\\
P(AB)=P(B) \cdot P(A|B)=P(A) \cdot P(B|A)\\
P(A|B)=\frac{P(AB)}{P(B)}\\
\end{cases}
$$
推论
$P(A+B+C)$ ，将 $A+B$ 看成一个事件，运用上面的加法公式，两次拆分得到：
$$
P(A+B+C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)
$$
更多和事件概率可依此递推得到。
对立事件：$A$ 不发生的概率，韦恩图一目了然。
$$
P(\bar{A})=P(1 \cdot \bar{A})=P(1-A)=P(1)-P(1 \cdot A)=1-P(A)
$$
非负性与规范性
非负性：对于任意事件 $A$ ，$0 \le P(A) \le 1$ 。
规范性：对于总事件 $\Omega$ ，$P(\Omega)=1$ 。
相互独立
$$
\begin{cases}
P(AB)=P(A) \cdot P(B)\\
P(A|B)=P(A)
\end{cases}
$$
独立必相互独立。
古典概型
各基本事件发生概率相等。
Eg. 抛硬币，掷骰子……
$$
P(A)=\frac{A包含基本事件数}{\Omega 中基本事件数}
$$
古典条件概率公式
$$
P(B|A)=\frac{P(AB)}{P(A)}=\frac{同时在A,B中的基本事件数}{A包含基本事件数}
$$
伯努利概型（二项分布）
$n$ 次独立实验，每次实验只有 $A,\bar{A}$ 两种结果。
$B(n,p)$
$$
P_n(k)=C_n^kp^k(1-p)^{n-k}
$$
其中，$p=P(A),1-p=P(\bar{A})$
几何概型
事件 所占线/面/体积 部分与整个 线/面/体 的 长度/面积/体积 比值。
当事件所占空间维度低于总事件空间 $\Omega$ 维度时，该事件概率恒为 0 。
==Warning==：事件概率为 0 不代表一定不发生。
Eg：随机选中圆内某点，选中任意点概率为 0，但都可能发生。
均匀分布
$U(a,b)$
近似为几何分布中的线性分布，各点处概率密度：
$$
f(x)=
\begin{cases}
0,x \le a\\
\frac{1}{b-a},a < x \le b\\
0,x>b\\
\end{cases}
$$
分布函数：
$$
F(x)=
\begin{cases}
0,x \le a\\
\frac{x-a}{b-a},a<x \le b\\
1,x>b\\
\end{cases}
$$
指数分布
$E(\lambda)$
概率密度
$$
f(x)=
\begin{cases}
\lambda e^{-\lambda x},x>0\\
0,x \le 0\\
\end{cases}
$$
分布函数
$$
F(x)=
\begin{cases}
1-e^{-\lambda x},x \ge 0\\
0,x<0\\
\end{cases}
$$
正态分布
$N(\mu,\sigma^2)$
概率密度
$$
f(x)=\frac{1}{\sqrt{2 \pi \sigma}}e^{-\frac{(x-\mu)^2}{2\sigma^2}},x \in R,\sigma>0
$$
分布函数
$$
F(x)=\int^{x}_{-\infty}f(t)dt
$$
显然，$F(\mu)=\frac{1}{2}$ ，即 $P(x \le \mu)=P(x>\mu)=\frac{1}{2}$ 。
标准正态分布
当 $\mu=0,\sigma=1$ 时，此分布为标准正态分布。
$$
\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}
$$
$$
\varPhi(x)=\int^{x}_{-\infty}\varphi(t)dt
$$
推论
$$
\varPhi(-x)=1-\varPhi(x)
$$
$$
F(x)=\varPhi(\frac{x-\mu}{\sigma})
$$
正态分布标准化：
$$
X~N(\mu,\sigma^2),Z=\frac{X-\mu}{\sigma}~N(0,1)
$$
全概率公式
完备事件组
$$
\begin{cases}
B_1 \cup B_2 \cup B_3 \cup \cdots \cup B_n=\Omega\\
B_i \cap B_j=\varnothing,i \ne j,1 \le i \le n,1 \le j \le n\\
\end{cases}
$$
称 $B_1,B_2,B_3,\cdots B_n$ 构成 $\Omega$ 的一个完备事件组。
全概率公式
$$
\begin{align}
P(A)
&=P(AB_1 \cup AB_2 \cup \cdots \cup AB_n)\\
&=P(AB_1)+P(AB_2)+\cdots +P(AB_n)\\
&=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+\cdots +P(B_n)P(A|B_n)\\
\end{align}
$$
贝叶斯公式
$$
P(B_1|A)=\frac{P(AB_1)}{P(A)}=\frac{P(B_1)P(A|B_1)}{P(A)}
$$
一维离散型随机变量
分布律
$$
P(X=x_i)=p_i=\frac{X=x_i情况数}{总情况数},i=1,2,\cdots
$$
分布函数
$$
F(x)=\sum_{x_i<x}p_i,x \in R
$$
一维连续型随机变量
概率密度
$$
f(x)=F'(x)
$$
分布函数
$$
F(x)=\int_{-\infty}^xf(t)dt
$$
区间概率
$$
P(a<x \le b)=\int_a^bf(x)dx=F(b)-F(a)
$$
$\because$ $P(x=a)=0,a \in R$
$\therefore$ 区间两边等号随意取
规范性
$$
F(\infty)=\int^{\infty}_{-\infty}f(x)dx=1
$$
$$
F(-\infty)=0
$$
二维离散型随机变量
联合分布律
$P(X=x_i,Y=y_j)$
将 X，Y 可能取值列二维表，填入对应概率。
边缘分布律
$P(X=x_i),P(Y=y_j)$
将联合分布律的行/列相加，得到 $f_Y(x),f_X(y)$
条件分布
$P(X=x_i|Y=y_j),P(Y=y_i|X=x_j)$
联合分布率每行/列除以该行/列对应的边缘分布律。
即每行/列的联合分布率化为成比例项，各项和为 1。
两变量独立性
==此处的独立性指的是线性无关，不代表完全独立无关。==
将联合分布表写成矩阵 $\vec{A}$ ，当 $\det \vec{A}=0$ 时 X 与 Y 独立。
Or：联合分布表各行/列成比例时 X 与 Y 独立。
Or：联合分布率 $\ne$ 边缘分布率乘积，即 $P(X=x_i,Y=y_j)\ne P(X=x_i)P(Y=y_j)$ 时，X 与 Y 不相互独立。
二位连续性随机变量
联合密度函数
$$
f(x,y)
$$
规范性
$$
\int^{\infty}_{-\infty}\int^{\infty}_{-\infty}f(x,y)dxdy
$$
边缘密度函数
$$
f_X(x)=\int^{\infty}_{-\infty}f(x,y)dy
$$
$$
f_Y(y)=\int^{\infty}_{-\infty}f(x,y)dx
$$
条件密度
$$
f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}
$$
独立性
$$
f(x,y)=f_X(x)f_Y(y)
$$
满足以上条件时，X 与 Y 相互独立。
分布函数
设 $Z=X-Y$ ，
$$
\begin{align}
F_Z(z)
&=P(Z<z)\\
&=P(X-Y<z)\\
&=P(X<Y+z)\\
&=\int^{y}_{-\infty}\int^{y+z}_{-\infty}f(x,y)dxdy\\
\end{align}
$$
即分布函数 $F_Z(z)=\iint_Df(x,y)dxdy$ 。由分布函数求导得概率密度函数 $f_Z(z)$ 。
==Warning==：$F_Z(z)$ 满足规范性。
期望与方差
关系式
$$
DX=EX^2-(EX)^2
$$
$$
D(cX)=c^2DX
$$
$$
D(X+Y)=D(X)+D(Y)+2Cov(X,Y)
$$
X 与 Y 相互独立时 $Cov(X,Y)=0$ 。
常见期望与方差
$(0,1)$ 分布
$$
EX=p,DX=p(1-p)
$$
$B(n,p)$ 二项分布
$$
EX=np,DX=np(1-p)
$$
$U(a,b)$ 均匀分布
$$
EX=\frac{a+b}{2},DX=\frac{(b-a)^2}{12}
$$
$E(\lambda)$ 指数分布
$$
EX=\frac{1}{\lambda},DX=\frac{1}{\lambda^2}
$$
$P(\lambda)$ 泊松分布
$$
EX=\lambda,DX=\lambda
$$
$N(\mu,\sigma)$ 正态分布
$$
EX=\mu,DX=\sigma^2
$$
协方差与相关系数
协方差
$$
Cov(X,Y)=E(XY)-E(X)E(Y)
$$
显然，$X=Y$ 时，$Cov(X,X)=DX$ 。
$$
Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)
$$
$$
Cov(X-Y,Z)=Cov(X,Z)+Cov(-Y,Z)=Cov(X,Z)-Cov(Y,Z)
$$
相关系数
$$
\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{DX \cdot DY}}
$$
$|\rho|$ 越大，相关性越强。
$Y=X$ 时，$X$ 与 $X$ 相关性最强，得到 $\rho=1$ 。
$Y=-X$ 时，$-X$ 与 $X$ 相关性最强，得到 $\rho=-1$ 。
显然 $|\rho| \le 1$ 。
$\rho=0$ 时 $X$ 与 $Y$ 不相关。
==Warning==：不相关 $\nRightarrow$ 独立，独立 $\Rightarrow$ 不相关。
切比雪夫不等式估计概率
$$
P(|X-EX|\ge \varepsilon)\le \frac{DX}{\varepsilon^2}
$$
中心极限定理
大量独立变量同分布，可近似为正态分布。
若 $x_1,x_2,\cdots,x_n$ 独立且同分布，则
$$
\sum_{i=1}^nx_i \sim N(\sum^{n}_{i=1}E(x_i),\sum^{n}_{i=1}D(x_i))
$$
三大分布
$\chi^2$ （卡方）分布
$$
X=x_1^2+x_2^2+\cdots +x_n^2 \sim \chi^2(n),x_i \sim N(0,1)且相互独立
$$
上 $\alpha$ 分位点 $\chi^2_\alpha(n)$
密度函数在第一象限
$t$ 分布
$$
X=\frac{x_1}{\sqrt{x_2/n}}\sim t(n),x_1 \sim N(0,1),x_2 \sim \chi^2(n),x_1与x_2相互独立
$$
上 $\alpha$ 分位点 $t_\alpha(n)$
密度函数形似正态分布，左右对称
$F$ 分布
$$
X=\frac{x_1/n_1}{x_2/n_2} \sim F(n_1,n_2),x_1 \sim \chi^2(n_1),x_2 \sim \chi^2(n_2),x_1与x_2相互独立
$$
上 $\alpha$ 分位点 $F_\alpha(n_1,n_2)$
密度函数在第一象限
估计法
简单随机样本相互独立且同分布时，估计未知参数。
矩估计法
样本量较大时，将样本近似为平均分布，样本均值替代总体均值（总体矩=样本矩）。
- 根据所给分布律/密度函数求出期望 $EX$ （一阶总体矩）
- 根据所给样本求样本均值 $\bar{X}$ （一阶样本矩）
- 令 $EX=\bar{X}$ 解出 $\theta_0$ 即为 $\hat{\theta}$
最大似然估计法
估计值使得样本发生概率最大。
样本似然函数：
$$
L(x_1,x_2,\cdots,x_n;\theta)=
\begin{cases}
P(X=x_1)P(X=x_2)\cdots P(X=x_n),离散型\\
f(x_1;\theta)f(x_2;\theta)\cdots f(x_n;\theta),连续型\\
\end{cases}
$$
求 $L$ 最大值，即求导得其驻点。因连乘求导繁琐，先将其化为对数形式后对未知参数 $\theta$ 求导。
$$
(\ln L)'=
\begin{cases}
(\ln P_1+\ln P_2+\cdots +\ln P_n)',离散型\\
[\ln f(x_1;\theta)+\ln f(x_2;\theta)+\cdots +\ln f(x_n;\theta)]',连续型\\
\end{cases}
=0
$$
解出驻点 $\theta_0$ ，即为估计值 $\hat{\theta}$ 。
无偏性与有效性
若 $E(\hat{\theta})=\theta$ ，则称 $\hat{\theta}$ 为 $\theta$ 的无偏估计。
若 $\hat{\theta_1},\hat{\theta_2}$ 均为无偏估计，且 $D(\hat{\theta_1})<\hat{\theta_2}$ ，则称 $\hat{\theta_1}$ 比 $\hat{\theta_2}$ 更有效。
区间估计
$X \sim N(\mu,\sigma^2)$ ，通常将给定的 $\bar{X}=\mu,S=\sigma$ 。
置信度：$1-\alpha$ ，通常 $\alpha=5\%$ 。
求 $\mu$ 置信区间
$\sigma^2$ 已知
枢轴量（标准化）：
$$
\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)
$$
$$
\mu \in (\bar{x}-\frac{\sigma}{\sqrt{n}}\mu_{\frac{\alpha}{2}},\bar{x}+\frac{\sigma}{\sqrt{n}}\mu_{\frac{\alpha}{2}})
$$
$\sigma^2$ 未知
枢轴量：
$$
\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)
$$
$$
\mu \in (\bar{x}-\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1),\bar{x}+\frac{S}{\sqrt{n}}t_{\frac{\alpha}{2}}(n-1))
$$
求 $\sigma^2$ 置信区间
通常 $\mu$ 未知。
枢轴量：
$$
\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)
$$
$$
\sigma^2 \in (\frac{(n-1)S^2}{\chi^2_{\frac{\alpha}{2}}(n-1)},\frac{(n-1)S^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)})
$$
假设检验
一般取 $\alpha=5\%$
$\mu$ 检验
- 提出假设 $H_0:\mu=\mu_0,H_1:\mu \ne \mu_0$
- 选择检验统计量（枢轴量）
- $\sigma^2$ 已知，选择 $\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$ ，为 U 检验
- $\sigma^2$ 未知，选择 $\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)$ ，为 T 检验
- 根据选择的枢轴量求得拒绝域
$W=(-\infty,-\mu_{\frac{\alpha}{2}})\cup (\mu_{\frac{\alpha}{2}},\infty)$
$W=(-\infty,-t_{\frac{\alpha}{2}}(n-1))\cup (t_{\frac{\alpha}{2}}(n-1),\infty)$ - 若根据 $\bar{X}$ 计算所得枢轴量在 $W$ 内，假设 $H_0$ 不成立。
$\sigma^2$ 检验
$$
S=\sqrt{S^2}=\sqrt{\frac{1}{n-1}\sum^{n}_{i=1}(x_i-\bar{X})}
$$
- 提出假设 $H_0:\sigma^2=\sigma_0^2,H_1:\sigma^2 \ne \sigma_0^2$
- 选择检验统计量
$\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$ ，为$\chi^2$ 检验 - 求得拒绝域
$W=(0,\chi^2_{1-\frac{\alpha}{1}}(n-1)) \cup (\chi^2_{\frac{\alpha}{2}}(n-1),\infty)$ - 若根据 $S$ 计算所得枢轴量在 $W$ 内，假设 $H_0$ 不成立。
