XV Международная студенческая научная конференция Студенческий научный форум - 2023

Марковские процессы делятся на два класса:

*Дискретные марковские процессы

*Непрерывные марковские процессы

Дискретной марковской цепью именуется случайный процесс, при котором замена дискретных состояний случается в определенные обстоятельства времени.

Непрерывным марковским процессом называется случайный процесс, при котором смена дискретных состояний происходит в случайные моменты времени.

Цепи

На языке математики случайная величина X - это величина, что обусловливается итогом случайного явления. Его результатом может быть число (или "подобие числа", например, векторы) или что-то еще. Например, мы можем предназначить случайную величину как результат броска кости (число) либо как результат подбрасывания монеты (не число, ежели мы не обозначим, например, "орел" как 0 и "решка" как 1). Мы также упоминаем, что пространство вероятных итогов случайной величины сможет являться дискретным или непрерывным: например, типичная случайная величина непрерывна, а случайная величина Пуассона дискретна.

Затем мы можем установить случайный процесс (также именованный стохастическим) как набор случайных величин, индексируемых множеством T, какое зачастую означает различные моменты времени (в будущем мы будем считать так). Два наиболее общераспространенных случая таковы: T может являться или набором случайных процессов с дискретным временем(натуральных чисел), или набором действительных чисел.

Свойство Маркова и цепочка Маркова

Существуют отлично известные семейства случайных процессов: гауссовы процессы, пуассоновские процессы, авторегрессионные модели, модели скользящего среднего, цепи Маркова и другие. Каждый из данных раздельных случаев владеет определенными свойствами, какие позволяют нам лучше анализировать и понимать их.

Одним из свойств, основательно упрощающих исследование случайного процесса, представляется "свойство Маркова". Если мы разьясним это очень неформальным языком, свойство Маркова рассказывает нам, что если мы знаем значение, приобретенное каким-нибудь случайным процессом в данный момент времени, мы не получим никакой добавочной информации о будущем поведении процесса, собирая другую информацию о его прошлом. На более математическом языке: в любой момент времени условное распределение будущих состояний процесса с заданными текущими и прошлыми состояниями зависит только от текущего состояния, но не от прошлых состояний (свойство нехватки памяти).

Свойство Маркова означает, что если мы знаем текущее состояние в данный момент времени, то не нужна никакая дополнительная информация о будущем, собранная из прошлого.

Цепочка Маркова - это марковский процесс с дискретным временем и дискретным пространством состояний. Итак, цепочка Маркова - это дискретная последовательность состояний, каждое из которых берется из дискретного пространства состояний (конечного или бесконечного), удовлетворяющего свойству Маркова.

Пример реализации

Есть только два погодных условия: может быть и солнечно, и пасмурно. Вы всегда сможете точно определить погоду на текущий момент. Гарантируется ясность или облачность.

Теперь вы хотите научиться предсказывать погоду на завтра. Интуитивно понимаешь, что погода не может кардинально измениться за один день. На это влияет множество факторов. Завтрашняя погода напрямую зависит от текущей и так далее. Итак, чтобы предсказать погоду, вы собираете данные за несколько лет и приходите к выводу, что после пасмурного дня вероятность солнечного дня равна 0,25. Логично предположить, что вероятность двух пасмурных дней подряд равна 0,75, так как возможных погодных условий у нас всего два.

Цепь Маркова состоит из набора переходов, которые определяются распределением вероятностей, которые в свою очередьудовлетворяют Марковскому свойству.

Модель

При работе с цепями Маркова мы имеем дело со стохастической матрицей переходов — совокупностью векторов, внутри которых значение отражают значение вероятностей между градациями.

Свойства

1.Дискретный временной процесс X “ tX0, X1, X2, X3, . . .u называется цепью Маркова тогда и

только тогда, когда состояние в момент времени t просто зависит от состояния в момент времени t -1.

вероятности перехода

2.Цепь Маркова называется однородной тогда и только тогда

, когда вероятности перехода не зависят от времени t, то есть существуют

константы Pi,j такие, что

3.Мы говорим, что цепочка Маркова имеет дискретное пространство состояний тогда и

только тогда, когда набор значений случайных величин счетно бесконечен

4.Мы говорим, что цепочка Маркова конечна тогда и только тогда, когда множество значений

случайных величин является конечным множеством

Есть приводимые и неприводимые цепи.

Цепочка Маркова называется неприводимой тогда и только тогда, когда все состояния принадлежат

к одному классу связи. Цепочка Маркова называется приводимой тогда

и только тогда, когда существует два или более классов связи.

Источники:

Веб-страница

https://www.pvsm.ru/matematika/320806

Веб-страница

https://itnan.ru/post.php?c=1&p=455762

https://people.engr.tamu.edu/andreas-klappenecker/csce658-s18/markov_chains.

Код для цитирования: Скопировать