数理统计-国庆作业

题目

设 $x_1,\cdots,x_n$ 是来自某一总体的样本，其算术平均值称为样本均值，用$\bar{x}$表示，即

$$\bar{x}=\frac{x_1+\cdots+x_n}n=\frac1n\sum_{i=1}^nx_i.$$

在分组样本场合，均值的近似公式为：

$$\bar{x}_B=\frac{\widetilde{x}_1 f_1 + \cdots + \widetilde{x}_n f_n}{n}, n=\sum_{k=1}^B f_k.$$

其中 $k$ 为组数，$\widetilde x_k$ 为第 $k$ 组的组中值 (分段的中点，$\widetilde x_k=\frac{b_k + b_{k+1}}{2})$，$f_k$ 为第 $k$ 组的频数。

请证明: $\bar{x}_B$ 是 $\mathbb{E}(X)$ 的一种良好近似，并说明这种近似是在何种意义下成立的。

证明

依题意，设分布函数为 $F(x)$，将样本分为 $B$ 组。其中，第 $k$ 组的两端分别为 $b_k , b_{k+1}$，$\widetilde x_k$ 为第 $k$ 组的组中值，$f_k$ 为第 $k$ 组的频数。

则有，

$$\begin{equation*} b_1 \leq b_2 \leq \cdots \leq b_{B+1} \end{equation*}$$

首先，考虑频率对第 $k$ 组概率的逼近。对于任意一种给定的分组方式，设数据点落入第 $k$ 组的概率为 $p_k$，取一列随机变量 $a_n \in \{0,1\}$ 用于表征数据点是否落入第 $k$ 组中。由伯努利大数定律，对任意给定的 $\epsilon > 0$，

$$\lim_{n \rightarrow \infty} P\left( \left| \frac{f_k}{n} - p_k \right| < \epsilon \right) = \lim_{n \rightarrow \infty} P\left( \left| \frac{a_1 + a_2 + \cdots + a_n}{n} - p_k \right| < \epsilon \right) = 1$$

对于 $\forall \delta > 0$ 有下式成立，

$$\begin{align*} P\left( \left| \mathbb{E}(X) - \bar{x}_B \right| \geq \delta \right) &= P\left( \left( \left| \mathbb{E}(X) - \bar{x}_B \right| \geq \delta \right) \cap \left( \left| \frac{f_k}{n} - p_k \right| < \epsilon \right) \right) \\ &\quad + P\left( \left( \left| \mathbb{E}(X) - \bar{x}_B \right| \geq \delta \right) \cap \left( \left| \frac{f_k}{n} - p_k \right| \geq \epsilon \right) \right) \\ &\leq P\left( \left( \left| \mathbb{E}(X) - \bar{x}_B \right| \geq \delta \right) \cap \left( \left| \frac{f_k}{n} - p_k \right| < \epsilon \right) \right) + \sigma \\ &= \sigma + P\left( \left( \left| \mathbb{E}(X) - \bar{x}_B \right| \geq \delta \right) \mid \left( \left| \frac{f_k}{n} - p_k \right| < \epsilon \right) \right) P\left( \left| \frac{f_k}{n} - p_k \right| < \epsilon \right) \\ &\leq \sigma + P\left( \left( \left| \mathbb{E}(X) - \bar{x}_B \right| \geq \delta \right) \mid \left( \left| \frac{f_k}{n} - p_k \right| < \epsilon \right) \right) \end{align*}$$

当 $\left| \frac{f_k}{n} - p_k \right| < \epsilon$ 时，按如下定义第 $k$ 组的宽度 $\Delta_k$，

$$\begin{equation*} \Delta_k = b_{k+1} - b_k,\quad k = 1, 2,\dots , B. \end{equation*}$$

注意到，第 $k$ 组之中的任意数据 $x$ 与其组中值 $\widetilde x_k$ 间的误差有如下上界，

$$\begin{equation*} \left| x - \widetilde x_k \right| = \left| x - \frac{b_k + b_{k+1}}{2} \right| \leq \frac{b_{k+1} - b_k}{2} = \frac{1}{2} \Delta_k \end{equation*}$$

定义宽度上界 $\Delta_{\max}$ 以及数据点绝对值的上界 $A$，

$$\begin{equation*} \Delta_{\max} = \max_{1 \leq k \leq B}\{ \Delta_k \}, \quad A = \max_{1 \leq k \leq B}\{|\widetilde{x}_{k}|\} \end{equation*}$$

此时有，

$$\begin{align*} \left|\mathbb{E}(X) - \bar{x}_{B}\right| &= \left| \int_{-\infty}^{\infty} x \, \mathrm{d}F(x) - \sum_{k=1}^{B} \frac{f_k}{n} \widetilde{x}_k \right| \leq \sum_{k=1}^{B} \left| \int_{b_k}^{b_{k+1}} x \, \mathrm{d}F(x) - \frac{f_k}{n} \widetilde{x}_k \right| \\ &\leq \sum_{k=1}^{B} \left| \int_{b_k}^{b_{k+1}} (x - \widetilde{x}_k) \, \mathrm{d}F(x) \right| + \epsilon \sum_{k=1}^{B} |\widetilde{x}_k| \\ &\leq \sum_{k=1}^{B} \left( \int_{b_k}^{b_{k+1}} |x - \widetilde{x}_k| \, \mathrm{d}F(x) \right) + \epsilon \sum_{k=1}^{B} |\widetilde{x}_k| \\ &\leq \sum_{k=1}^{B} \frac{1}{2} \Delta_k \cdot \left( F(b_{k+1}) - F(b_k) \right) + \epsilon \sum_{k=1}^{B} |\widetilde{x}_k| \\ &= \sum_{k=1}^{B} \frac{1}{2} \Delta_k \cdot \frac{f_k}{n} + \epsilon \sum_{k=1}^{B} |\widetilde{x}_k| \leq \frac{1}{2} \Delta_{\max} \cdot \sum_{k=1}^{B} \frac{f_k}{n} + \epsilon \sum_{k=1}^{B} A \\ &= \frac{1}{2} \Delta_{\max} + \epsilon A B \end{align*}$$

其中，上式第二行是因为：

$$\begin{equation*} \left| \frac{f_k}{n} - p_k \right| = \left| \frac{f_k}{n} - \left( F(b_{k+1}) - F(b_k) \right) \right| = \left| \frac{f_k}{n} - \int_{b_k}^{b_{k+1}} 1 \, \mathrm{d}F(x) \right| < \epsilon \end{equation*}$$

取

$$\begin{equation*} \epsilon = \frac{\Delta_{\max}}{4(AB+1)},\quad \sigma = \Delta_{\max} \end{equation*}$$

则

$$\begin{equation*} |\mathbb{E}(X)-\bar{x}_{B}| \leq \frac{1}{2}\Delta_{\max}+\epsilon A B = \frac{1}{2}\Delta_{\max} + \frac{\Delta_{\max}AB}{4(AB+1)} \leq \frac{3}{4} \Delta_{\max} \end{equation*}$$

由于

$$\begin{equation*} \lim_{B \rightarrow \infty} \Delta_{\max}(B) = 0 \end{equation*}$$

因此 $\exists B_0 > 0$，使得对 $\forall B > B_0$，有 $\Delta_{\max} < \delta$

$$\begin{equation*} |\mathbb{E}(X)-\bar{x}_{B}| \leq \frac{3}{4} \Delta_{\max} \leq \frac{3}{4} \delta \end{equation*}$$

故

$$\begin{align*} P\left( \left( \left| \mathbb{E}(X) - \bar{x}_B \right| \geq \delta \right) \mid \left( \left| \frac{f_k}{n} - p_k \right| < \epsilon \right) \right) = 0 \end{align*}$$

代回原式可得，

$$\begin{align*} P\left( \left| \mathbb{E}(X) - \bar{x}_B \right| \geq \delta \right) &\leq \sigma + P\left( \left( \left| \mathbb{E}(X) - \bar{x}_B \right| \geq \delta \right) \mid \left( \left| \frac{f_k}{n} - p_k \right| < \epsilon \right) \right) \\ &= \sigma + 0 = \Delta_{\max} \end{align*}$$

至此，实现了 $\Delta_{\max}$ 对逼近误差的控制。

综上，当样本中 分组充分多（$B > B_0$）、分组充分细（$\Delta_{\max}$充分小）、数据点充分多 （$n > N_B$）的情况下，可以实现 $\bar{x}_B$ 对 $\mathbb{E}(X)$ 的充分逼近。