Материал: Методические указания к курсовой работе по дисциплине «Специальные главы математики» для студентов направления «Машиностроение». Горбунов В.В., Костина Т.И
переходов. Интенсивность перехода из состояния Si |
в состояние |
||||||||
Sj в момент времени |
t(плотность вероятности перехода), |
||||||||
обозначаемая через ij , |
определяется |
следующим |
образом при |
||||||
условии i j : |
|
|
|
|
|
|
|
|
|
ij |
d Pij (t) |
lim |
Pij t, t |
. |
|
||||
|
|
|
|
|
|||||
В случае i j |
dt |
t 0 |
t |
|
|||||
|
|
|
t, t 1 |
|
|
|
|||
ii |
lim |
Pii |
. |
|
|||||
|
|
|
|||||||
|
|
t 0 |
t |
|
|
|
|
||
Данные пределы интерпретируются следующим образом. Если в момент времени t система находится в состоянии Si , то вероятность перехода в состояние Sj (отличное от Si ) в течение промежутка времени (t,t t) задается в соответствии с теоремами о пределах величиной
Pij (t, t) ij t ( t),
где ( t) - бесконечно малая величина более высокого порядка малости по сравнению с t . Можно сказать, что интенсивность ij
– это среднее число переходов из i-го состояния в j-ое состояние за единицу времени. Если интенсивность ij не зависят от времени t,
то марковский процесс с непрерывным временем называется однородным, противном случае – неоднородным. В дальнейшем рассматриваются однородные марковские процессы.
Поскольку переходная вероятность Pii |
(t, t) соответствует |
|
тому, что система в течение времени (t,t t) |
не поменяла своего |
|
состояния, вероятность того, |
что система |
в течение времени |
(t,t t) ушла из состояния Si |
, равна 1 Pii (t, t) . |
|
|
9 |
|
Величину ii lim1 Pii t, t можно интерпретировать как
t 0 t
интенсивность, с которой система уходит из состояния Si , а
величину ii |
lim |
Pii |
t, t 1 |
- как интенсивность |
не ухода |
|
|
t |
|
||||
|
t 0 |
|
|
|||
системы из состояние |
Si . Таким образом, вероятность |
Pii (t, t) |
||||
равна |
|
|
|
|
|
|
Pii (t, t) 1 ii t 1( t),
где 1 ( t) - бесконечно малая величина более высокого порядка малости по сравнению с t .
Так как по-прежнему за промежуток времени (t,t t) система либо остается в прежнем состоянии, либо переходит в новое, то
Pi1(t, t) Pi2 (t, t) ... Pin (t, t) 1,
из чего следует, что
i1 i2 i3 ... in 0.
Для каждого графа состояний может быть определена матрица плотностей вероятностей переходов или матрица интенсивностей
11 |
12 |
... |
1n |
|
|
... |
|
21 |
22 |
2n . |
|
... |
... |
... |
... |
n1 n2 ... nn
Для системы с графом состояний, изображенным на рисунке 1, матрица интенсивностей переходов имеет вид
10
|
11 |
12 |
13 |
|
|
22 |
|
21 |
23 . |
||
|
|
0 |
|
|
31 |
33 |
Элементы матрицы интенсивностей переходов удовлетворяют условию равенства нулю суммы элементов каждой строки. Такая матрица называется дифференциальной (сбалансированной), и для графа состояний на рисунке 1 может быть переписана следующим образом:
|
( 12 13 ) |
12 |
13 |
|
|
|
|
21 |
( 21 23 ) |
23 |
|
|
. |
||||
|
|
31 |
0 |
31 |
|
|
|
|
|||
Зависимость от времени вероятностей состояний P1 (t), P2 (t), |
|||||
…, Pn (t) системы |
может |
быть найдена из системы |
|||
дифференциальных уравнений Чепмена-Колмогорова, вид которых зависит от состояний системы и интенсивностей переходов между этими состояниями.
Выведем систему дифференциальных уравнений ЧепменаКолмогорова, для чего рассмотрим Pi (t) — вероятность того, что в момент t система будет в состоянии Si . Придадим времени t малое приращение t и найдем Pi (t t) — вероятность того, что в момент t + t система будет в состоянии Si . Вероятность
Pi (t t) можно найти по формуле полной вероятности
n
Pi (t t) P(Hk )PHK (Sk Si )
k 1
Гипотезами Hk служат попарно несовместные события,
заключающиеся в том, что в момент времени t процесс
11
находится в состоянии Sk . Вероятности гипотез P(Hk ) Pk (t).
Условные вероятности PHK (Sk Si ) перехода системы из состояния Sk в состояние Si при k i равны
PHK (Sk Si )= ki t ( t) .
Условная вероятность PHi (Si Si ) перехода системы из состояния Si в состояние Si будет равна вероятности того,
что не произойдет ни одно из событий, переводящих процесс из состояния Si в другие состояния.
|
n |
n |
PHi (Si |
Si )= П (1 ik t ( t)) 1 ik t 1( t), |
|
|
k 1 |
k 1 |
|
k i |
|
|
k i |
|
|
|
|
где 1( t) все получающиеся слагаемые второго и выше порядка
малости по t.
Таким образом,
n |
n |
Pi (t t) Pk (t) ( ki t) Pi (t) (1 ik t 1 ( t)) |
|
k 1 |
k 1 |
k i |
k i |
Перенеся Pi (t) в левую часть равенства, разделив обе части равенства на t и перейдя к пределу левой и правой части при t 0, получим n дифференциальных уравнений первого порядка Чепмена-Колмогорова для вероятностей состояний.
d |
n |
n |
|
Pi (t) ki Pk (t) Pi (t) ik . |
|||
dt |
|||
k 1 |
k 1 |
||
|
k i |
k i |
|
|
|
12 |
|
В матричном виде уравнения Чепмена-Колмогорова могут быть представлены в виде
d P(t) P(t) , dt
где P(t) P1(t),P2 (t),..., Pn (t) матрица-строка вероятностей
состояний P1 (t), P2 (t), …, Pn (t) системы, а - дифференциальная матрица интенсивностей переходов.
Решая данную систему дифференциальных уравнений при заданных начальных вероятностях P(0) P1 (0),P2 (0),..., Pn (0) с
учетом нормировочного условия
P1(t) P2 (t) ... Pn (t) 1,
можно определить вероятности n состояний марковского случайного процесса в любой момент времени t. Стоит отметить, что уравнения в системе дифференциальных уравнений ЧепменаКолмогорова являются линейно зависимыми, поэтому любое из них может быть заменено условием нормировки.
При составлении дифференциальных уравнений пользуются правилом составления дифференциальных уравнений Колмогорова по размеченному графу состояний:
а) в левой части – производная по времени t от Pi (t);
б) число членов в правой части равно числу стрелок, соединяющих (входящих или выходящих) рассматриваемое состояние с другими состояниями;
в) каждый член правой части равен произведению интенсивности перехода на вероятность того состояния, из которого выходит стрелка;
г) знак произведения положителен, если стрелка входит (направлена острием) в рассматриваемое состояние, и отрицателен, если стрелка выходит из него.
Проверкой правильности составления уравнений является равенство нулю суммы правых частей уравнений.
13