sanin | Мелкая месть присутствующим за содержание сегодняшней ленты. Нет, я не уберу это под кат. (Reply)

Кто страдает безвинно - простите меня.

Цепи Маркова.

Для многих случайных процессов характерно некоторое влияние предшествующих событий на последущие. Такие процессы называют марковскими по имени Маркова, в работах которого они были впервые описаны. Марковский процесс - это процесс, для которого вероятность находится в данном состоянии в данный момент можно вывести из сведений о предшествующем состоянии. Цепью Маркова первого порядка называется одна из форм марковских процессов, для которой каждое конкретное состояние зависит только от непосредственно предшествующего. Для такой цепи число состояний конечно, а вероятности, соответствующие переходам из одного состояния в другое, называют стационарными, имея в виду то, что они не зависят от времени.

Цепью Маркова второго и более высоких порядков называется процесс, в котором текущее состояние зависит от двух и более предшествующих.

Математические модели, использующие цепи Маркова, являются переходными между детерминированными и чисто случайными моделями. Конечно, они могут применяться не только к анализу временных рядов, но в геоэкологическом моделировании это наиболее типичный случай использования подобных моделей.

Многие природные процессы можно считать Марковскими. Предположим, что имеется серия еженедельных наблюдений за уровнем воды в реке, который попадает в одну из трех градаций - низкий, нормальный, высокий. По этим данным составлена таблица частот перехода от одного состояния к другому:

Таблица 4.2.1
От состояния:	К состоянию низкий нормальный высокий	Сумма по строке
низкий	12	6	0	18
нормальный	5	80	15	100
высокий	0	14	16	30

Если поделить каждое число на сумму по соответствующей строке, получим вероятность перехода от одного состояния к другому. Это, безусловно, будет не истинное значение вероятности, а ее статистическая оценка. Эти оценки приведены в таблице 4.2.2.

Таблица 4.2.2
От состояния:	К состоянию низкий нормальный высокий			Сумма по строке
низкий	0,67	0,33	0,00	1,00
нормальный	0,05	0,80	0,15	1,00
высокий	0,00	0,47	0,53	1,00

Рассмотренный пример соответствует ситуации, когда возможные состояния (три возможных уровня) и время (недели) дискретны. Однако возможны ситуации, когда как время, так и состояния непрерывны. Таким образом, все марковские процессы можно классифицировать следущим образом:

Дискретное время		Непрерывное время
Дискретные состояния	Непрерывные состояния	Дискретные состояния	Непрерывные состояния

Матрицы вероятностей перехода являются средством описания поведения марковской цепи. Каждый элемент этой матрицы представляет собой вероятность перехода из заданного состояния (которому соответствует строка) к следущему состоянию (которому соответствует столбец). В этой матрице предусмотрены все возможные переходы данного множества состояний. Условно такую матрицу записывают так, как это сделано в табл. 4.2.2; в общем виде следующим образом:

		s₁	s₂	s₃
	s₁	p₁₁	p₁₂	p₁₃
P =	s₂	p₂₁	p₂₂	p₂₃
	s₃	p₃	p₃₂	p₃₃

где P - матрица переходных вероятностей, p_i,j - вероятность перехода из состояний s₁,s_2.,s₃, соответствующих строкам s₁,s_2.,s₃соответствующие столбцам. Отметим еще раз, что в данном случае имеется в виду цепь первого порядка, т.е. такая форма марковского процесса, для которой каждое конкретное состояние зависит только от непосредственно предшествующего.

Процессы, которые можно описывать и моделировать с помощью матриц переходных вероятностей, должны обладать марковским свойством, или просто марковостью - под этим понимают наличие зависимости вероятности конкретного состояния от непосредственно предшествующего (или предшествующих, для цепей высоких порядков). Положим в ящик три красных шара, два синих и один зеленый, и будем наудачу доставать их, отмечать цвет и класть обратно. Понятно, что вероятность выбрать красный шар всегда будет равна 1/2, синий - 1/3 и зеленый - 1/6. При этом не важно, какого цвета шар был выбран только что. Следовательно, матрица вероятностей перехода будет состоять из трех одинаковых строк и данный процесс не обладает марковским свойством.

Ист.