Loading...
墨滴

奶酪氨酸酶

2021/10/18  阅读:25  主题:默认主题

应用随机过程05

前言

迄今为止,本公众号最受欢迎的笔记为《应用随机过程学习笔记》,与教材相比,它虽然将一些推导步骤进行了详细说明,但其中不乏错漏与冗余。故特此修正,对部分内容或修改或删除,便于学习者对照查看。

摘要

本文对应用随机过程中的Markov链进行了介绍,其中较为重要的内容是Markov链的无后效性、C-K方程、Markov链和状态的分类、平稳分布。

PDF 版本请使用浏览器打开本文章,再使用网页打印即可获取。
注:建议在横屏和非深色模式下查看;行间公式可左右滑动。

目录

  • 5 Markov链
    • 5.1 基本概念
    • 5.2 状态的分类及性质
    • 5.3 极限定理及平稳分布
    • 5.4 连续时间Markov链

5 Markov链

5.1 基本概念

独立增量过程(如Poisson过程、Wiener过程或Brown运动)都是Markov过程.

  1. Markov链的定义:随机过程 称为Markov链,如果
  • (1) 它只取有限个或可列个值;
  • (2) 对 ,以及任意状态 其中 表示过程在时刻 处于状态

  1. 状态空间的定义: 所有可能取值组成的集合,记为 ,它含有限个或可列个元素.

  1. 一步转移概率 的定义:

  1. 时齐Markov链的定义:转移概率 只与状态 有关的Markov链.(一般情况下,转移概率与状态 以及时刻 相关).

  1. 转移概率矩阵 的性质:
  • (1) 元素非负:

  • (2) 行和为1:

    具有这两条性质的矩阵称为随机矩阵.


  1. 步转移概率的定义:称条件概率 为Markov链的 步转移概率.相应地 称为 步转移矩阵,它们只关心从状态 经过 步后转移到状态 的前后状态 而且包含了中间所有可能的情况),对中间的 步转移经过的状态没有要求.

  1. C-K方程(Chapman-Kolmogorov Equation):对一切
  • (1)
  • (2)

证明:

证明需要用到全概率公式:

其中 ,

再根据全概率公式

这就证明了(1).

根据矩阵的乘法法则,(1)的矩阵形式就是

而(2)可以通过递推简单证明得到.

注:转移矩阵包含了中间的所有情况:从状态 经过 步到达状态 的概率 是从状态 不超过 步到达状态 的概率,或者说 包含了 的所有信息.所以计算至多 步的概率时, 是错误的.

5.2 状态的分类及性质

  1. 可达的定义:称状态 可达状态 ,如果 ,记为

  1. 互通的定义:称状态 互通,如果 ,同时 ,记为

  1. 互通是一种等价关系:
  • (1) 反身性:
  • (2) 对称性:若 ,则
  • (3) 传递性:若 ,则

  1. 类的定义:任何两个互通的状态归为一类.特别地,每个吸收态自成一类.同在一类的状态是互通的,并且任何一个状态不能同时处于两个不同的类.

  1. 可约的定义:只存在一个类的Markov链,称它是不可约的. 反之,如果存在两个及以上的类,则称它是可约的.

  1. 状态的周期:若集合 非空,则称它的最大公约数 为状态 的周期.

  1. 状态的周期性:如果 ,则称状态 是周期的;若 ,则称状态 是非周期的.特别地,如果集合 ,则状态 的周期无穷大.

注:状态 有周期 ,但并不是对所有的 ,都有 ,即不能说从状态 经过 步一定能返回状态 .但是可以证明当 充分大之后一定有


  1. 定理:若状态 属于同一类,那么

证明:因为状态 属于同一类,所以 ,即存在 ,使得 ,那么

对所有使得 ,有 ,所以 的周期 应该满足 ,所以

说明 .而且, 是集合 元素的最大公约数,而 只是 的一个约数,所以

同样地,可以证明 ,所以


  1. 首达概率的定义:从 出发经过 步首次达到 的概率 特别地,

  1. 常返状态:令
  • 如果 ,称状态 为常返状态;
  • 如果 ,称状态 为非常返或瞬过状态.

  1. 的含义:从 出发,有限步内可以到达 的概率( ).
  • 如果 为常返状态,说明在有限步内,过程将以概率1重新返回
  • 如果 为非常返状态,说明过程以概率 不再返回 ,或说从 滑过.

  1. 对于常返状态 ,定义由 出发再返回 的平均步数(时间):

  1. 对于常返状态,若 ,则称 为正常返状态;若 ,则称 为零常返状态.

  1. 遍历状态:若 是正常返状态,且是非周期的,则称之为遍历状态.

  1. 吸收状态:若 是遍历状态,且 ,则称之为吸收状态.此时
5.1
5.1

  1. C-K方程的变式:

证明: (以下的各式中, .)