泊松过程
Published:
泊松过程首先是一个计数过程$N(t)$表示$t$时间内某个时间发生的次数，例如顾客访问的次数、灾难的发生次数等。
Poisson Process
泊松流定义为满足以下性质的随机过程，
计数过程，$N(0) =0$.
- 平稳增量性，$N(t) - N(s) \sim N(t-s)$
- 独立增量性，$N(s) \perp N(t-s)$
- 稀有性，在一段很小的时间$h$内，$P(N(h) = 1) = \lambda h +o(h), P(N(h) \ge 2) = o(h)$
上述的性质在很多现实生活中都是满足的，下面求$N(t)$的分布函数
给定时间$t$，将其分为$n$份，根据稀有性，每段时间内发生大于两次事件的可能性为$o(h),h=\frac{t}{n}$,在下式中忽略这个小量并不影响结果。
\[\begin{align*} P(N(t) = k ) &= \lim \dbinom{n}{k} (\lambda h + o(h))^k(1-\lambda h + o(h))^{n-k} \\ &= \lim \frac{n!}{k! (n-k)! n^k} (\lambda t)^k \exp(-\lambda t) \\ &= \frac{(\lambda t)^k \exp(-\lambda t)}{k!} \end{align*}\]满足泊松分布。根据泊松分布的期望和方差，$E[N(t)] = \lambda t, Var[N(t)] = \lambda t$, 因此$\lambda$表征单位时间内事件发生的强度。
根据泊松分布，可以给出另外一种泊松过程的等价定义：
- 计数过程，$N(0) =0$
- 平稳增量性，$N(t) - N(s) \sim N(t-s)$
- 独立增量性，$N(s) \perp N(t-s)$
- $N(t) \sim \text{Poisson}(\lambda t)$
证明只需要根据泊松分布推出稀有性即可，此处从略，直接代入即可。
Waiting and Arrival Time
令$S_n$表示第$n$个顾客的到达时间，$X_n = S_n -S_{n-1}$表示等待时间，由上定义了两个随机变量。
\[\begin{align*} P(X_n > t) = P(S_n > t+s \vert S_{n-1}=s) = P(N(s,t+s) = 0) = P(N(t)=0) = \exp(-\lambda t) \end{align*}\]因此，$X_n$服从相互独立的指数分布，指数分布的无记忆性也符合泊松过程的独立增量性.
其中，$X_n$服从指数分布由分布函数是显然的，其独立性根据上式取了条件期望但结果与无条件结果一样可以看出。
根据指数分布的均值，$E[X_n] = \frac{1}{\lambda}$ ,也即期望等待时间和到达强度成反比，与直觉相符。
$S_n = \sum_{i=1}^n X_i$ 是独立的指数分布之和，服从$\Gamma$分布。
据此，可以得到$\Gamma$分布的密度函数，$P(S_n = s)$ 当且仅当$N(s) = n-1$且$N(h) = 1 $
\[\begin{align*} f(s) = \lim \frac{(\lambda s)^{n-1} \exp(-\lambda s)}{ (n-1)! h} (\lambda h +o(h)) = \frac{\lambda \exp(-\lambda s) (\lambda s)^{n-1} }{ (n-1)!} \end{align*}\]同时，根据到达时间与等待时间，可以根据等待时间$X \sim \text{Exp} (\frac{1}{\lambda})$, 导出此时$N(t) \sim \text{Poisson}(\lambda)$
\[\begin{align*} P(N(t) = n) &= P(S_{n} \le t \lt S_{n+1}) \\ &= \int_0^{t} P(X_{n+1} > t-s) P(S_{n}=s) ds\\ &= \int_0^{t} \exp(-\lambda(t-s)) \frac{\lambda \exp(-\lambda s) (\lambda s)^{n-1} }{ (n-1)!} ds \\ &= \frac{\lambda^n \exp(-\lambda t)}{(n-1)!} \int_{0}^t s^{n-1}ds \\ &= \frac{(\lambda t)^n \exp(-\lambda t)}{n!} \end{align*}\]独立增量性根据指数分布的无记忆性显然满足。
直观来说，即便给定了$s$时间段内发生了$n$件事件，且$S_n = s-l$ ,由于
\[\begin{align*} P(X_{n+1} > l+m \vert X_{n+1} > l) = P(X_{n+1} > m) \end{align*}\]也即$X_{n+1}$与之前发生的事件无关，而$N(t) - N(s)$仅依赖于$X_{n+1}$及其后发生的事件，因此
\[\begin{align*} N(t) -N(s) \perp N(s) \end{align*}\]也即，经过上述定义之后符合泊松过程，这给出了泊松过程的第三种等价定义。
Conditional Distribution
在泊松过程中，给定某些观测量，可以计算出一些随机变量的条件分布。
首先，推导到达时间的条件分布。
\[\begin{align*} P(S_1 < s \vert N(t)=1) &= \frac{[\lambda s\exp(-\lambda s)][\exp(-\lambda (t-s))]}{\lambda t \exp(-\lambda t)} = \frac{s}{t}\\ \end{align*}\]因此，给定$N(t) = 1$的条件下，到达时间服从$[0,t]$之上的均匀分布，这也符合泊松分布的平稳增量性，每个时刻到达的可能性相同。
推广, 在给定发生了$n$个事件的前提下，这$n$个事件的到达时间都是相互独立的，均服从$[0,t]$上的均匀分布，则次序统计量的联合密度：
\[\begin{align*} f(s_1,s_2,...,s_n) = \frac{n!}{t^n} \end{align*}\]根据次序统计量的边缘密度函数，可以得到到达时间的边缘密度：
\[\begin{align*} f(s_k) = \frac{n!}{(k-1)!(n-k)!} \frac{1}{t} \left(\frac{s}{t} \right) ^{k-1} \left(1-\frac{s}{t} \right)^{n-k} \end{align*}\]其次，给定一段时间中事件的发生总数$N(t)$, $N(s)$中发生的事件次数服从二项分布。
\[\begin{align*} P(N(s) = k \mid N(t)) = \dbinom{n}{k} \left(\frac{s}{t}\right)^k \left(1-\frac{s}{t} \right)^{n-k} \end{align*}\]证明较为简单，使用条件概率的公式展开并且代入Poisson分布即可。
Superposition and Decomposition
下面介绍泊松过程的合成和分解。
合成： 已知两个独立的泊松过程，强度分别$N_1(t) \sim \text{Poisson}(\lambda_1), N_2(t) \sim \text{Poisson}(\lambda_2)$.
合成后的泊松过程，$N(t) = N_1(t) + N_2(t) \sim \text{Poisson}(\lambda_1+\lambda_2)$
证明根据泊松过程的微分形式的定义即可，可以验证满足泊松过程的所有条件。
分解： 给定泊松过程$N(t) \sim \text{Poisson}(\lambda)$ ,若每个到达事件属于两类的概率为$p_1,p_2$.
则可以根据这两类将其分解为两个泊松过程，$N_1(t) \sim \text{Poisson}(p_1 \lambda),N_2(t) \sim \text{Poisson }(p_2 \lambda)$。
并且通过计算联合概率和边缘概率可以发现，分解后的两个泊松过程是相互独立的。
Compound Poisson Process
复合泊松过程在泊松过程的基础上定义，$Z(t) = \sum_{i=1}^{N(t)} X_i$
在$X_i(i.i.d.)$的假设下，容易验证，$Z(t)$满足增量独立性和增量平稳性。
下面计算$Z(t)$的期望和方差，用到的是条件期望和条件方差的定义。设$E[X] = \mu, Var[X] = \sigma^2$
根据参数为 $\lambda t$ 泊松分布的期望和方差均为 $\lambda t$, 成立
\[\begin{align*} E[Z] = E_N[\sum_{i=1}^N EX] = \mu E[N(t)] = \mu \lambda t \end{align*}\]以及
\[\begin{align*} Var[Z] = E[\sum_{i=1}^N Var[X]]+Var[\sum_{i=1}^N E[X]] = (\mu^2 +\sigma^2) \lambda t \end{align*}\]从上面也可以看出，多数情况下，$E[Z] \ne Var[Z]$,因此复合泊松过程通常不符合泊松过程。
下面来计算$Z(t)$的分布函数，
利用矩母函数，
\[\begin{align*} M_Z(w) = E[\exp(w Z)] = E_N[\prod_{i=1}^N E[\exp(w X_i)]] = E_N[M_X(w)^N] \end{align*}\]下面，计算上面涉及到的$E_N[s^N]$
\[\begin{align*} E_N[s^N] &= \sum_{k=0}^{\infty} s^k P(N(t) = k) \\ &= \sum_{k=0}^{\infty} \frac{(s\lambda t)^k \exp(-\lambda t)}{k!} \\ &= \exp(s \lambda t) \exp(-\lambda t) \\ &= \exp(s\lambda t - \lambda t) \end{align*}\]代入则可得到，$M_Z(w) = E_N[M_X(w)^N] = \exp(M_X(w) \lambda t - \lambda t)$
Nonhomogeneous Possion Process
下面介绍非齐次泊松过程，可以看作齐次泊松过程的推广。
在非齐次泊松过程中，强度$\lambda(t)$为时间$t$的函数，而非与时间无关的常量。
此时不再满足平稳增量性，定义$m(s,t) = \int_{s}^t \lambda(u) du$
可以证明，非齐次泊松过程满足，$ P(N(s,t)=n) = {(m(s,t))^n \exp(-m(s,t))}/{n!}$
首先通过微分方程的方式证明：$P_n(t) = P(N(t)=n) = {m(t)^n \exp(-\lambda m(t))}/{n!}$
首先看$n=0$的情况，
\[\begin{align*} P_0(t+h) &= P_0(t)(1-\lambda(t) h +o(h)) \\ P_0(t+h) - P_0(h) &= -\lambda(t) h +o(h)) \\ P_0(t)' &= -\lambda(t) \\ P_0(t) &= \exp(-m(t)) \\ \end{align*}\]下面，推导$P_{n-1}$到$P_n$的递推公式，
\[\begin{align*} P_n(t+h) &= P_n(t)(1-\lambda(t)h+o(h)) + P_{n-1}(t) (\lambda(t) h + o(h)\\ P_n(t)'&= -\lambda(t) P_n(t) + \lambda(t) P_{n-1}(t) \\ \frac{d}{dt} (\exp(\lambda t) P_n(t)) &= \lambda \exp(\lambda t) P_{n-1}(t) \\ \end{align*}\]递推可以得到，$P(N(t)=n) = {m(t)^n \exp(-\lambda m(t))}/{n!}$
根据独立增量性，使用类似的方法可以得到：$ P(N(s,t)=n) = {(m(s,t))^n \exp(-m(s,t))}/{n!}$
对于非齐次泊松过程的等待时间，不再满足指数分布。
且由于$m(s,t)$与起点和终点的位置，$X_i$之间不再独立。
时间变换：给定一个非齐次泊松过程，可以通过时间变换将其转化为齐次泊松过程。
定义$m(t) = \int_0^{t} \lambda(u) du$, 其逆函数必然存在。
定义$\tilde N(t) = N(m^{-1}(t))$ 是一个强度为1的齐次泊松过程。
经过上述的时间变换之后，令$s_0 = m^{-1}(s), t_0 = m^{-1}(t)$，则有
\[\begin{align*} m(s_0,t_0) = m(t_0) - m(s_0) = t-s \end{align*}\]下面只需验证，$\tilde N(s,t) \sim \text{Piosson}(1)$.
\[\begin{align*} P(\tilde N(s,t) = n) &= \frac{(m(s_0,t_0))^n \exp(-m(s_0,t_0))}{n!} (\text{Let }s_0=m^{-1}(s),t_0 = m^{-1}(t))\\ &= \frac{(t-s)^n\exp(-(t-s))}{t-s} \end{align*}\]