本科阶段概率论与数理统计要解决的五个问题

  • 求复杂事件的概率 $P(A)$
  • 求分布 $F(x), F(x,y)$
  • 求数字特征 $EX, DX, cov(X,Y), \rho_{_{XY}}$
  • 大样本下的定理定律
  • 估计

复杂事件概率

事件与概率的基本概念

  • 试验 $E$
  • 样本点 $\omega_i$
  • 样本空间 $\Omega$
  • 事件

古典概型

定义

若 $E$ 的 $\Omega$ 满足:

(1) 有限个 $\omega_i$

(2) 对所有的 $\omega_i$ 等可能性

则称为古典概型, 其中:

$$P(A)=\frac{A 中样本点总数}{\Omega 中样本点总数}$$

计数方法

穷举法

集合对应法

  • 加法原理: 主要应用与多方法问题 $(\sum_{i=1}^n m_i)$
  • 乘法原理: 主要应用于多步骤问题 $(\prod_{i=1}^n m_i)$

排列组合

  • 排列: $P_n^m=\frac{n!}{(n-m)!}$, 即从n个元素中有序取出m个元素, 特别地, 全排列 $P_n^n=n!$
  • 组合: $C_n^m=\frac{n!}{(n-m)!m!}$, 从n个元素中无序取出m个元素

对立事件思想

利用 $P(A)=1-P(\bar{A})$, 当某个概率难以计算时, 通过计算其对立事件来求得该事件的概率

几何概型

定义

若 $E$ 的 $\Omega$ 满足:

(1) 无限个 $\omega_i$

(2) 对所有的 $\omega_i$ 等可能性

则称为几何概型, 其中:

$$P(A)=\frac{A 在样本空间占据的面积}{\Omega 总面积}$$

概率为0(1)不一定是不可能事件(必然事件)

重要公式求概率

对立事件公式

$$P(A)=1-P(\bar{A})$$

减法公式

$$P(A-B)=P(A)-P(AB)$$

加法公式

$$P(A+B)=P(A)+P(B)-P(AB)$$

条件概率公式

$$P(A|B)=\frac{P(AB)}{P(B)}$$

乘法公式

$$P(AB)=P(A|B)P(B)=P(BA)=P(B|A)P(A)$$

全集分解公式(全概率公式)

$$P(B)=P(B\Omega)=P(BA_1+BA_2+…+BA_n)=\sum_{i=1}^n{P(BA_i)}=\sum_{i=1}^n{P(B|A_i)P(A_i)}$$

贝叶斯公式(逆概率公式)

$$P(A_j|B)=\frac{P(A_jB)}{P(B)}=\frac{P(B|A_j)P(A_j)}{\sum_{i=1}^n{P(B|A_i)P(A_i)}}$$

求分布

概念

随机变量($r.v.$)

分布函数

$$F(x)=P{X\le{x}}, x\in(-\infty,+\infty)$$

离散型

可能取值: 有限个或无穷可列个(可数个)

分布律 $P(X=x_i)=p_i,i\in{N_+}$, 一般可以列出表格:

$x_1$ $x_2$ $x_3$ $x_n$
$p_1$ $p_2$ $p_3$ $p_n$

分布函数 $F(x)\triangleq{P{X\le{x}}}$

连续型

可能取值: 无穷不可列个

定义: 对于 $X$, 若有非负可积函数 $f(x)$ 使得 $\forall{x}$ 有 $F(x)=\int_{-\infty}^xf(t)dt, x\in(-\infty,+\infty)$, 称 $X$ 为连续型 $r.v.$, $F(x)$ 为分布函数, $f(x)$ 为概率密度函数. $f(x)>0$ 的区间称为正概率密度区间.

常见一维分布(5个离散型, 3个连续型)

0-1 分布($Ber-E_1$)

$$X\sim \begin{pmatrix}
1 & 0\
p & 1-p
\end{pmatrix}$$

二项分布($Ber-E_n$)

  • 各次试验相互独立
  • 结果概率相同
  • 只有两个对立结果

当结果发生 $k$ 次:

$$P{X=k}=C_n^kp^k(1-p)^{n-k}, k=0,1,2,…,n$$

几何分布($Ber-E_\infty$)

  • 与几何无关, 历史遗留问题
  • 成功一次就结束
  • 又称为离散等待分布

当试验 $k$ 次:

$$P{X=k}=p(1-p)^{k-1}, k=0,1,2,…$$

超几何分布

有限($M$)个元素中有 $N$ 个特殊元素, 从总体中取 $n$ 个元素, 其中特殊元素取到 $k$ 次的概率:

$$P{X=k}=\frac{C_M^kC_{N-M}^{n-k}}{C_N^n}, k=0,1,2,…,N$$

泊松分布

$$P{X=k}=\frac{\lambda^k}{k!}e^{-\lambda},k\in{N}$$

其中: $\lambda$ - 强度

泊松分布的期望等于 $\lambda$ 的值.

均匀分布(几何概型的数学化)

$$X\sim{f(x)}=\left{\begin{matrix}
\frac{1}{b-a} &,a<x<b \
0 & ,其他
\end{matrix}\right.$$

称 $X\sim{U(a,b)}$.

指数分布(连续等待分布)

$$X\sim{f(x)}=\left{\begin{matrix}
\lambda e^{-\lambda x}&,x>0 \
0&,其他
\end{matrix}\right.$$

称 $X\sim{E_X(\lambda)}$, 其中 $\lambda$ - 失效率. 期望 $EX=\frac{1}{\lambda}$.

正态分布

$$X\sim{f(x)}=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},x\in{R}$$

称 $X\sim{N(\mu,\sigma^2)}$. 当样本足够多时, 任何分布均收敛至正态分布(中心极限定理).

二维随机变量及其分布函数

二维随机变量: $(X,Y)$

联合分布函数

$$F(x,y)\triangleq{P{X\leq x,Y\leq y}}$$

边缘分布函数

若 $(X,Y)\sim{F(x,y)}$:

$$F_X(x)\triangleq{P{X\leq x}}=P{X\leq x,Y\leq+\infty}=F(x,+\infty)=\lim_{y\to+\infty}F(x,y)$$

$$F_Y(y)\triangleq{P{Y\leq y}}=P{X\leq +\infty,Y\leq y}=F(+\infty,y)=\lim_{x\to+\infty}F(x,y)$$

独立性

$$F(x,y)=F_X(x)F_Y(y)\Leftrightarrow X,Y相互独立$$

离散型随机变量分布

$$(X,Y)\sim{p_{ij}}$$

$p_{ij}$ - 联合分布率

连续型随机变量分布

$$(X,Y)\sim{f(x,y)}$$

$f(x,y)$ - 联合概率密度

边缘概率密度:

$$f_X(x)=\int_{-\infty}^{+\infty}f(x,y)dy$$

$$f_Y(y)=\int_{-\infty}^{+\infty}f(x,y)dx$$

求数字特征($EX,DX,cov(X,Y),\rho_{_{X,Y}}$)

数学期望 $EX$

离散型

$$X\sim{p_i}\Rightarrow EX=\sum_i{x_i p_i}$$

连续型

$$X\sim{f(x)}\Rightarrow EX=\int_{-\infty}^{+\infty}xf(x)dx$$

方差 $DX$

定义:

$$DX\triangleq{E(X-EX)^2}$$

定义公式

离散型

$$X\sim{p_i}\Rightarrow{DX=E(X-EX)^2}=\sum_i(x_i-EX)^2p_i$$

连续型

$$X\sim{f(x)}\Rightarrow{DX=E(X-EX)^2}=\int_{-\infty}^{+\infty}(x-EX)^2f(x)dx$$

从定义推导

$$\begin{align}
DX & =E(X-EX)^2=E(X^2-2X\cdot{EX}+(EX)^2)\
& =EX^2+E(-2X\cdot{EX})+E(EX)^2\
& =EX^2+(-2EX)E(X)+(EX)^2\
& =EX^2-(EX)^2
\end{align}$$

协方差 $cov(X,Y)$

协方差描述 $X,Y$ 间的偏差程度.

$$cov(X,Y)=E(X-EX)(Y-EY)=EXY-EX\cdot EY$$

相关系数 $\rho_{_{X,Y}}$

相关系数 $\rho_{_{X,Y}}$ 用于描述 $X,Y$ 间的线性相依程度, 其值越大说明 $X,Y$ 越线性相关.

$$\rho_{_{X,Y}}=\frac{cov(X,Y)}{\sqrt{DX}\cdot\sqrt{DY}}$$

如何使用极限定理(样本容量 $n\rightarrow+\infty$)

依概率收敛

$$\forall\epsilon>0,\lim_n\rightarrow\infty P{|x_n-a|<\epsilon}=1\Rightarrow X_n\xrightarrow{P}a$$

极限定理

大数定理

$$\frac{1}{n}\sum_{i=1}^nX_i\xrightarrow{P}E(\frac{1}{n}\sum_{i=1}^nX_i)$$

中心极限定理

对于n个分布(以正态分布为例):

$$X_i\stackrel{\text{i.i.d.}}{\sim}F(\mu,\sigma^2)$$

i.i.d. - 独立同分布

当 $n\rightarrow\infty$ 时, 存在:

$$\sum_{i=1}^n X_i\sim N(n\mu,n\sigma^2)$$

估计

总体与样本

  • 总体: 对象的某个指标的全体 $X\sim F$.
  • 样本: 简单随机样本 $\Leftrightarrow X_i\stackrel{\text{i.i.d.}}{\sim}F$.

估计方法

$\theta$ 是未知变量, 决定了各个结果的概率大小. 估计就是计算 $\theta$ 的最大可能取值.

矩估计 $X\sim F(x,\theta)$

令 $EX=\bar{X}=\frac{1}{n}\sum_{i=1}^n X_i$, 求出未知参数 $\theta$ 的估计 $\hat{\theta}$.

最大似然估计

求出使得 $P(A|\theta)$ 值最大的 $\theta$ 值. 也就是先计算出 $P(A)$ 的表达式, 表达式为 $\theta$ 的函数, 进而求出 $\theta$.