Loading...
墨滴

奶酪氨酸酶

2021/09/22  阅读:28  主题:默认主题

应用随机过程0102

前言

迄今为止,本公众号最受欢迎的笔记为《应用随机过程学习笔记》,与教材相比,它虽然将一些推导步骤进行了详细说明,但其中不乏错漏与冗余。故特此修正,对部分内容或修改或删除,便于学习者对照查看。

PDF 版本请使用浏览器打开本文章,再使用网页打印即可获取。
注:建议在横屏和非深色模式下查看;行间公式可左右滑动。

摘要

本文对应用随机过程中的预备知识、随机过程的基本概念和基本类型进行了介绍。

目录

  • 1 预备知识
    • 1.1 概率空间
    • 1.2 随机变量和分布函数
    • 1.3 数字特征、矩母函数和特征函数
    • 1.4 收敛性
    • 1.5 条件概率,条件期望和独立性
  • 2 随机过程的基本概念和基本类型
    • 2.1 基本概念
    • 2.2 有限维分布与Kolmogorov定理
    • 2.3 随机过程的基本类型

1 预备知识

本章主要介绍的是概率论的基本知识.

  • 其中比较重要的是概率空间、几个常见的分布、数字特征、矩母函数、多元正态分布、全概率公式、Bayes 公式、条件期望的性质(尤其是第 1~6 条)、卷积的性质.
  • 多数定理的详细证明需要使用更加丰富和深刻的数学知识,以应用为目的的学习者不必深究.

1.1 概率空间

  1. 可测空间、 代数、事件的定义:设 是一个样本空间(或任意一个集合), 的某些子集组成的集合族,如果满足:
  • (1)
  • (2) 若 ,则
  • (3) 若 ,则 ;
    则称 代数.称 为可测空间,称 中的元素为事件.

  1. 代数的其他性质
  • (1) 对可列个无限交封闭:若 ,则

    证明:

  • (2) 对有限交、有限并封闭:若 ,则

    证明:

  • (3) 对集合的上下极限封闭:若 ,则 .

    证明:


  1. 生成的 代数: 对于 上的任一非空集类 (由 中一些子集构成的集合),存在包含 的最小 代数,称为生成的最小 代数,记作 ,即,

  1. 概率与概率空间的定义:设 为可测空间, 是定义在 上的实值函数,如果满足
  • (1) 非负性:
  • (2) 规范性:
  • (3) 可列可加性:对 中两两不相容的事件 ,有 则称 上的概率,称 为概率空间, 为事件 的概率.
1.1
1.1

  1. 为什么定义 ?——为了定义概率.
  • (1) 若 才有意义.
  • (2) 若 ,而 ,但 没有意义.

例:设 ,对概率空间 ,我们定义 , , , ,虽然有 ,但 没有意义.

例:试写出 的所有 代数.首先,最小的 代数是

除此之外,为了满足 代数的性质,可以写出:

最后,最大的 代数包含了 的所有子集,它是

1.2 随机变量和分布函数

  1. 随机变量的定义:设 是完备的概率空间, 是定义在 上取值于实数集 的函数,称 上的随机变量,简称随机变量,如果 ,有

  1. 分布函数的定义:如果 上的随机变量,函数 称为随机变量 的分布函数.

  1. 随机变量等价的定义:两个随机变量 ,称它们是等价的,如果

  1. 几个等价的命题:
  • (1) 是随机变量;
  • (2)
  • (3)
  • (4)

  1. 联合分布函数的性质:
  • (1) 对每个变量单调不减;
  • (2) 对每个变量都是右连续的;
  • (3) 对
  • (4)

  1. 联合密度:如果 对所有的 存在,则称 的联合概率密度函数.

  1. 边际分布: ,则 的边际分布函数定义为

1.3 数字特征、矩母函数和特征函数

  1. 期望的统一表达式:

  1. 矩母函数:若随机变量 的分布函数为 ,则称 的期望(如果存在)为 的矩母函数,即

例:求 的矩母函数.

,得

最后一步是换元后,根据 函数的性质得到,即

综上,


  1. 矩母函数的应用1:求 阶矩.(如果对 的求导运算和求期望运算可以交换次序) ,则

  1. 矩母函数的应用2:与矩母函数相关的一个不等式

简单推导:显然地,

其中 ,最后一步是根据Markov不等式

容易改写为

这个不等式右端含有矩母函数,这是一个很好的不等式,也是一个在找“尾概率”时常用的技巧. 特别地,当 ,不等式的形式就变成


  1. 当矩母函数存在时,矩母函数唯一地决定分布.但是矩母函数不一定存在.

  1. 特征函数:若随机变量 的分布函数为 ,则称 的期望为 的特征函数,即

  1. 如果 有密度 ,则特征函数 就是 的Fourier变换:

  1. 特征函数的性质:
  • (1) 有界性:
  • (2) 共轭对称性:
  • (3) 一致连续性:
  • (4) 设 ,则