研究 Markov 过程的遍历性和常返性对于研究 Markov 过程转移概率在无穷的渐近性是十分有用的. 在研究过分函数 (excessive function) 和 0,-1 律, 可逆性以及研究无穷粒子系统时, 也十分重要^[1-5]. 为了研究 Markov 过程的稳定性, 引入了常返性 (recurrence) 和非常返性 (transience) 的概念, 越来越多学者研究 Markov 过程的随机稳定性^[6-11]. Meyn 和 Tweedie^[2]给出了离散时间 Markov 链的常返性和非常返性的定义和判定, 特别地在第 9 章研究了离散时间 Markov 链的 Harris 常返. 文献[5,12]系统地研究过连续时间 Markov 过程的常返性. 包括研究了一致非常返集、不可约连续时间 Markov 过程的常返性、细集与常返性. Harris 常返是比常返性更强的一种随机稳定性. 本文在文献[2]和文献[5]的基础上, 尝试着研究一般状态空间连续时间 Markov 过程的 Harris 常返.设 $ \{X_t,t\in R_{+}\} $ 为一个连续时间 Markov 过程, 有时直接简记为 $ X_t $. 状态空间 $ X $ 为 Polishi 空间 (即完备可分的度量空间), $ \mathscr{B} (X) $ 是由 $ X $ 中可数个子集生成的 $ \sigma $ 代数, 用 $ \{P (t,x,A),t\in R_{+},A\in \mathscr{B} (X) \} $ 来表示 Markov 过程的转移概率函数, 即

有时也可用 $ P (t) $ 来表示连续时间 Markov 过程.

设 $ (X,\rho,\mathscr{B} (X) ) $ 是波兰空间. 为叙述方便, 先引入几个记号.设 $ g $ 是 $ X $ 上的可测函数, $ \mu $ 是 $ \mathscr{B} (X) $ 上的符号测度, $ K $ 是 $ (X,\mathscr{B} (X) ) $ 上的可测核, $ x\in X,A\in\mathscr{B} (X) $, 记

易得

用 $ _{r}\varepsilon_{+} $ 和 $ _{b}\varepsilon $ 分别表示非负实值和有界实值 $ \mathscr{B} (X) $ 可测函数的集合, $ \mathscr{L}_{+} $ 表示 $ \mathscr{B} (X) $ 上有限测度的集合.

定义1.1^[6] 称 $ P (t,x,A), t\in R_{+}, x\in X, A\in \mathscr{B} (X) \} $ 是跳过程的转移函数, 若下面的条件成立

(1)$\forall t\in R_{+}, A\in \mathscr{B} (X), P (t,\cdot,A) \in _{r}\varepsilon_{+};$

(2)$\forall t\in R_{+}, x\in X, P (t,x,\cdot) \in\mathscr{L}_{+}, $ 且 $ P (t,x,X) \leq1; $

(3)($C-K$ 方程) $ \forall s,t\in R_{+}, x\in X, A\in \mathscr{B} (X), $ 有

(4)(连续性条件)$ \forall x\in X, A\in \mathscr{B} (X), $ 有

其中: $ \delta (x,A) $ 表示集合 $ A $ 的示性函数.

定义2.1 对于任意给定的 $ A\in\mathscr{B} (X), $ 若对 $ \forall x\in A, $ 都有 $ Q (x,A) =1 $, 其中

则称集合 $ A $ 是 Harris 常返集.

定义2.2 称跳过程 $ \{X_t,t\in R_{+}\} $ 是 Harris 常返的, 若它是 $ \varphi $ 不可约的且存在 $ \mathscr{B} (X) $ 上的测度 $ \varphi $ 使得, 当 $ \varphi (A) >0 $ 时, 对所有 $ x\in X $,都有 $ Q (x,A) =1. $

定义2.3 称跳过程 $ \{X_t,t\in R_{+}\} $ 是正 Harris 常返的, 若 $ \{X_t,t\in R_{+}\} $ 是 Harris 常返的且不变测度是有限的.

定理2.1 设对某一集合 $ A\in\mathscr{B} (X) $ 有 $ L (x,A) \equiv 1, x\in A $. 则对每一 $ x\in X, $ 有

证 记 $ \tau_{A^{ (k)}} $ 表示第 $ k $ 次返回 $ A $ 的时刻. 则有

结合 C-K 方程得

归纳地, 对 $ \forall x\in A $,

所以对一切 $ n\in Z^{+} $, 都有

从而有

令 $ n\rightarrow \infty, $ 即得

所以对每一 $ x\in X, $ 有 $ Q (x,A) =L (x,A). $

定义2.4 称跳过程 $ \{X_t,t\in R_{+}\} $ 是正 Harris 常返的, 若 $ \{X_t,t\in R_{+}\} $ 是 Harris 常返的且不变测度是有限的.

定义2.5 集合 $ C\in \mathscr{B} (X) $ 称为 Markov 过程 $ \{P (t),t\in R_{+}\} $ 的细集(petite set), 若存在 $ R_{+} $ 上的分布 $ a=\{a (t):t\in R_{+}\} $ 和$ \mathscr{B} (X) $ 上的非平凡测度 $ \nu_{a} $, 使得对 $ \forall x\in C,B\in\mathscr{B} (X) $, 都有

这里 $ \nu_{a} $ 是 $ \mathscr{B} (X) $ 上的一非平凡测度. 其中概率转移核

引理2.1^[4] (1)两个细集的并集是细集, 有限个细集的并集还是细集;

(2) 存在一抽样分布 $ c, $ 几乎处处严格正的可测函数 $ s:X\rightarrow R_{+} $, 最大不可约测度 $ \Psi_{c}, $ 满足

因此存在一个递增的 $ \Psi_{c} $ 细集 $ \{c_{i}\} $, $ \{c_{i}\} $ 具有相同的抽样分布 $ c $, 且

证明参见文献 [p39,命题 2.3.5].

定义2.6 称一个集合 $ B\in \mathscr{B} (X) $ 是从另一集合 $ A\in \mathscr{B} (X) $ 一致可达的, 记为 $ A\leadsto B $,如果存在一 $ \delta>0 $ 使得

定理2.2 若 $ A\leadsto B $, 且 $ B\leadsto C $, 则 $ A\leadsto C $,

证 终究会到达 $ C $ 的概率大于先进入 $ B $ 再到达 $ C $ 的概率, 即

所以有

由 $ A\leadsto B $, 知存在一 $ \delta_{1}>0 $ 使得

由 $ B\leadsto C $, 知存在一 $ \delta_{2}>0 $ 使得

令 $ \delta=\delta_{1}\delta_{2}, $ 则

则 $ A\leadsto C $, 定理得证.

引理2.2 若对分布 $ a $ 有 $ A\overset{a}\leadsto B $, 则有 $ A\leadsto B. $

证 由于

这里 $ \tau $ 有分布 $ a $. 因此对任意的分布 $ a $, 有

对不等式 $ (2.1) $ 两边同时在 $ x\in A $ 取下确界,

从而 B 可以从 A 一致可达的.

定理2.3 若 $ \{X_t,t\in R_{+}\} $ 是 Harris 常返的, 则对任一 $ x\in X $ 和 $ B\in \mathscr{B}^{+} (X), $ 都有 $ Q (x,B) =1. $

证 $ \{X_t,t\in R_{+}\} $ 是 Harris 常返的, 由定义知是 $ \Psi $ 不可约的. 由引理 $ 2.1 (2) $ 知可取 $ \{C_{n}:n\in Z_{+}\} $ 是满足 $ \bigcup C_{i}=X $ 的细集. 再由引理 $ 2.1 (1) $ 知不可约 Markov 过程有限个细集的并集是细集.可设 $ C_{n}\subset C_{n+1} $. 对每个 $ n $ 都有 $ C_{n}\in \mathscr{B}^{+} (X). $ 对任意 $ B\in \mathscr{B}^{+} (X) $ 和任意的 $ n\in Z_{+}, \forall x\in C_{n} $ 有

再由引理 $ 2.2 $ 知 $ L (x,B) \geq K_{a} (x,B) $. 从而有

由于 $ C_{n} $ 是 Harris 常返集, 所以对 $ \forall x\in C_{n} $ 都有 $ Q (x,B) =1. $ 又因为 $ \bigcup C_{i}=X $, 因而对所有的 $ \forall x\in X $ 都有 $ Q (x,B) =1. $

定义3.1 对任意的 Harris 常返集 $ D $, 记 $ D^{\infty}=\{y:L (y,D) =1\} $.因此 $ D\subseteq D^{\infty} $, 且 $ D^{\infty} $ 是吸收集.称 $ D $ 是一最大吸收集, 如果 $ D= D^{\infty} $.

定义3.2 称集合 $ H $ 为最大 Harris 集, 如果 $ H $ 是最大吸收集且使得 Markov 过程 $ \{X_t,t\in R_{+}\} $ 在 $ H $ 上是 Harris 常返的.

定义3.3 设 $ \{X_t,t\in R_{+}\} $ 是 $ (X,\mathscr{B} (X) ) $ 上的 Markov 过程. 如果状态空间存在如下分解

则称 $ \{X_t,t\in R_{+}\} $ 存在 Harris 分解, 其中 $ \bigcup_{n}H_{n} $ 表示有限或者可数个两两不相交的最大 Harris 集, $ D $ 是与 $ \bigcup_{n}H_{n} $ 两两不相交的非常返集.

引理3.1^[5] 若 $ A_1,A_2,\cdot\cdot\cdot,A_n $ 是一致非常返集, 则 $ \bigcup_{i=1}^{n}A_i $ 也是一致非常返集.

证 证明参见文献[5,定理 3.2].

引理3.2^[5] 设集合 $ A,B\in\mathscr{B} (X) $, 若 $ A $ 是一致非常返集, 且存在 $ R_{+} $ 上的概率分布 $ a (\cdot) $ 使

则 $ B $ 也是一致非常返集.

证 证明参见文献[5,定理 3.3].

引理3.3^[5] 若存在自然数 $ m $ 和 $ 0<\varepsilon<1 $ 使

则 $ A $ 是一致非常返集.

证 证明参见文献[5,定理 3.4].

引理3.4^[5] 设集合 $ A $ 为一致非常返集, 且 $ \forall x\in A,W (x,A) \leq M, $ 则

证 证明参见文献[5,定理 3.1].

引理3.5^[12] 设 $ \{X (t),t\in R_{+}\} $ 是 Markov 过程, $ D $ 是非常返集, $ D^{c} $ 是吸收集,若 $ A (\subset D) $ 是细集,则 $ A $ 是一致非常返集.

证 证明参见文献[12,定理 2.7].

定理3.1 设 Markov 过程 $ \{X_t,t\in R_{+}\} $ 存在 Harris 分解 $ (3.1) $, 则对任意的细集 $ C $, 有

证 由分解式 $ (3.1) $ 知, $ D^{c}=\bigcup_{n}H_{n} $ 是吸收集, 而 $ C\cap D $ 是细集.由引理 $ 3.5 $ 知, 知 $ C\cap D $ 是一致非常返集.由引理 $ 3.4 $ 知, 存在常数 $ M $,使得

即

于是有

引理3.6^[5] 设 $ \{X_t,t\in R_{+}\} $ 是 $ \Psi $ 不可约 Markov 过程,则每个 $ \Psi $ 零测集都是非常返的.

证 证明参见文献[5,定理 5.7].

定理3.2 若 Markov 过程 $ \{X_t,t\in R_{+}\} $ 是常返的, 则能记状态空间 $ X=H\cup N, $ 这里 $ H $ 为一最大非空 Harris 集, 且 $ N $ 是非常返的.

证 在 $ \mathscr{B^{+}} (X) $ 里取一 $ \Psi_{a} $ 细集 $ C $, 这里选 $ \Psi_{a} $ 为一最大不可约测度.记

且记 $ N=H^{c} $.由于 $ H^{\infty}=H,H $ 是空集或者最大吸收集.

下面先证明 $ H $ 是非空集合.

假设 $ H $ 是空集, 则对所有 $ x\in X,Q (x,C) <1. $因此集合

在 $ \mathscr{B^{+}} (X) $ 里.否则若 $ \Psi (C_{1}) =0, $ 则 $ C_{1}^{c} $ 为满集, 存在一吸收满集 $ F\subseteq C_{1}^{c} $.对任意

由定理 2.1 可得对任意

而

矛盾. 因此 $ \Psi (C_{1}) >0 $.

由于 $ C_{1}\in \mathscr{B^{+}} (X) $, 所以存在 $ B\subseteq C_{1}, B\in \mathscr{B^{+}} (X) $ 且 $ \delta>0 $ 使得对所有

下面证明此结论.

记$ B_{n}=\{x\in C_{1}:L (x,C_{1}) \leq 1-\frac{1}{n}\}, $

则有

故存在 $ N $ 使 $ \Psi (B_{N}) >0. $ 取 $ \delta=1-\frac{1}{N} $ 即得.

从而对

由引理 3.3 得

与 $ \{X_t,t\in R_{+}\} $ 是常返的相矛盾.因此 $ H $ 是非空最大吸收集.从而 $ H $ 是满集. 所以 $ N=H^{c} $ 是零测集.由引理 $ 3.6 $ 得到零测集 $ N $ 是非常返集.

由于 $ \Psi_{a} $ 细集 $ C $ 取自 $ \mathscr{B^{+}} (X) $ 里, 所以对 $ \forall x\in C, A\in \mathscr{B^{+}} (X) $ 有

再由(2.1)知 $ L (x,A) \geq K_{a} (x,A) $. 从而有

又对 $ \forall x\in H $ 都有 $ Q (x,C) =1. $ 所以 $ \forall x\in H,$$ A\in \mathscr{B^{+}} (X) $, 都有 $ Q (x,A) =1. $故 $ \{X_t, t\in R_{+}\} $ 在 $ H $ 上是 Harris 常返的.

引理3.7^[5] 设 $ \{X_t,t\in R_{+}\} $ 是 $ \Psi $ 不可约马氏过程, 若存在常返细集 $ A\in\mathscr{B} (X), $ 则马氏过程 $ \{P (t),t\in R_{+}\} $ 是常返的.

证 证明参见文献[5,定理 5.3].

引理3.8 设 $ D^{c} $ 是吸收集且 $ \forall x\in D,L (x,D^{c}) >0 $, 则 $ D $ 是非常返集.

证 设 $ D^{c} $ 是吸收集, 记

由于 $ \forall x\in D,L (x,D^{c}) >0 $,下证

从而 $ P (t,x,D^{c}) $ 关于 $ t $ 单调递增.

由于 $ \forall x\in D,L (x,D^{c}) >0 $,故存在 $ t>0 $, 使得 $ P (t,x,D^{c}) \geq t^{-1}. $从而

又显然

故$ D=\bigcup_{t>0}B (t). $

由于 $ D^{c} $ 是吸收集, 对每个 $ y\in B (t),\forall m\in R_{+}, $ 有

由引理 3.3 知 $ B (t) $ 是一致非常返集, 从而 $ D $ 是非常返集.

定理3.3 假设 Markov 过程 $ \{X_t,t\in R_{+}\} $ 是 $ \Psi $ 不可约的, 若某细集 $ C $ 是常返的, 则 $ \{X_t,t\in R_{+}\} $ 是常返的; 且 $ C\cap N $ 是一致非常返的. 这里 $ N $ 定理 3.2 里 Harris 分解里的非常返集合.

证 若 $ C $ 是常返的, 则由引理 3.7 知 $ \{X_t,t\in R_{+}\} $ 也常返的.

记 $ D=C\cap N $ 表示 $ C $ 中不在 $ H $ 内的部分, 由定理 3.2 知 $ N $ 是零测集. 记 $ \nu $ 是一不可约测度, 由 $ \Psi $ 的最大性有 $ \nu (N) =0,\nu (D) =0. $ 由引理 $ 3.8 $ 有

再由引理 3.3得到 $ D=C\cap N $ 是一致非常返集.

引理4.1^[5] 若对 $ \forall A\in\mathscr{B} (X), $ 有 $ L (x,A) =1, x\in A $, 则 $ A $ 是常返集.

证 见文献[5,定理 5.4].

定理4.1 假设 Markov 过程 $ \{X_t,t\in R_{+}\} $ 是 $ \Psi $ 不可约的, 若 $ \mathscr{B} (X) $ 里存在某细集 $ C $ 使得 $ \forall x\in X,L (x,C) \equiv 1 $, 则 $ \{X_t,t\in R_{+}\} $ 是 Harris 常返的.

证 由引理 4.1 知 $ C $ 是常返集, 再则由引理 3.7 知 $ \{X_t,t\in R_{+}\} $ 也常返的.则由定理 2.1 知, 对 $ \forall A\in \mathscr{B^{+}} (X) $, 都有

从而 $ \{X_t,t\in R_{+}\} $ 是 Harris 常返的.

引理4.2^[5] 设连续时间 Markov 过程 $ P (t) $ 是 $ \Psi $ 不可约的, 则

(i) Markov 过程 $ \{X_t,t\in R_{+}\} $ 是非常返的 $ \iff $ 其 h 骨架链 $ \{X_{nh},n\in Z_{+}\} $ 是非常返的;

(ii) Markov 过程 $ \{X_t,t\in R_{+}\} $ 是常返的 $ \iff $ 其 h 骨架链 $ \{X_{nh},n\in Z_{+}\} $ 是常返的.

证 见文献[5,定理 4.2].

引理4.3^[4] 假设连续时间 Markov 过程 $ \{P (t),t\in R_{+}\} $ 是 $ \Psi $ 不可约的, 则

(i) 每个非空吸收集都是满集;

(ii) 每个满集包含一个满的吸收集.

证明见文献[4,命题 2.2.8].

定理4.2 设连续时间 Markov 过程 $ \{X_t,t\in R_{+}\} $ 是 $ \Psi $ 不可约的, 则 Markov 过程 $ \{X_t,t\in R_{+}\} $ 是 Harris 常返的当且仅当其 $ h $ 骨架链 $ \{X_{nh},n\in Z_{+}\} $ 是 Harris 常返的.

证 充分性: 设 $ h $ 骨架链 $ \{X_{nh},n\in Z_{+}\} $ 的 $ m $ 步转移概率函数为

若 $ \{X_{nh},n\in Z_{+}\} $ 是 Harris 常返的, 由于对任意 $ A\in \mathscr{B} (X) $ 有

$ \tau_{A}^{h} $ 为 $ h $ 骨架链首次进入时.所以有

因为 $ \{X_{nh},n\in Z_{+}\} $ 是 Harris 常返的, 由定理 2.1 知

从而

即 $ Q (x,A) =1. $$ \{X_t,t\in R_{+}\} $ 是 Harris 常返的.

必要性: 若 $ \{X_t,t\in R_{+}\} $ 是 Harris 常返的, 则其 $ h $ 骨架链 $ \{X_{nh},n\in Z_{+}\} $ 是常返的.

(反证法, 假设 $ \{X_{nh},n\in Z_{+}\} $ 是非常返的, 由引理 $ 4.2 $ 知 $ \{X_t,t\in R_{+}\} $ 是非常返的, 与条件 $ \{X_t,t\in R_{+}\} $ 是 Harris 常返的矛盾.)

因此存在一 Harris 集 $ H_{m} $. 由于 $ H_{m} $ 是满集, 由引理 $ 4.3 $ 知, 存在一吸收满集 $ H\subset H_{m} $.由于 $ \{X_t,t\in R_{+}\} $ 是 Harris 常返的, 有

而 $ H $ 是吸收集, 有

从而

即 $ h $ 骨架链 $ \{X_{nh},n\in Z_{+}\} $ 是 Harris 常返的.

定理4.3^[4] 设跳过程 $ \{X_t,t\in R_{+}\} $ 是 $ \Psi $ 不可约的, 则下列条件等价

(1) 跳过程 $ \{X_t,t\in R_{+}\} $ 是 Harris 常返的;

(2) 存在 $ \mathscr{B} (X) $ 上的有限测度 $ \mu, $ 满足当 $ \mu (A) >0 $ 时, 有 $ P_{x} (\sigma_{A}<\infty) =1, \forall x\in X; $

(3) 存在一个细集 $ C, $ 满足 $ P_{x} (\sigma_{C}<\infty) =1, \forall x\in X; $

(4) 存在一个细集 $ C, $ 满足 $ P_{x} (\tau_{C}<\infty) =1, \forall x\in X; $

(5) 存在一个细集 $ C, $ 满足 $ P_{x} (\tau_{C} (\delta) <\infty) =1, \forall x\in X; $

(6) 存在 $ \mathscr{B} (X) $ 上的有限测度 $ \mu, $ 满足当 $ \mu (A) >0 $ 时, 有 $ P_{x} (\tau_{A}<\infty) =1, \forall x\in X; $

(7) 存在 $ \mathscr{B} (X) $ 上的有限测度 $ \mu, $ 满足当 $ \mu (A) >0 $ 时, 有 $ P_{x} (\tau_{A} (\delta) <\infty) =1, \forall x\in X. $