Понятия возможности, случайности, вероятности находятся в определенном отношении с понятием неопределенности. Если множество состоит всего из одного элемента, то степень неопределенности выбора предмета из этого множества равна нулю, так как мы можем выбрать один и только один элемент. Вероятность выбора в этом случае равна единице.
Рассмотрим случай, когда опыт имеет n равновероятных исходов. Неопределенность каждого из них зависит от n – меры неопределенности, которая является функцией числа исходов. Обозначим ее через Hn.
Отметим свойства данной функции:
H1=0, так как для одного исхода результат очевиден.
При возрастании числа исходов Hn так же возрастает.
Для определения явного вида функции Hn рассмотрим два независимых опыта: α и β с равновероятными исходами nα и nβ соответственно.
Теперь рассмотрим сложный опыт, который состоит в одновременном выполнении опыта α и β – α∩β. Сложный опыт имеет nα∙nβ равновероятных исходов. Мера неопределенности такого сложного опыта – Hnα∙nβ, по независимости составляющих опытов α и β, равна сумме мер независимостей Hnα и Hnβ.
Hnα∙nβ=Hnα+Hnβ
Можно показать, что функция Hn=logan является единственной из всех существующих классов функций, удовлетворяющих такому набору свойств.
Переход к другому основанию равносилен изменению масштаба измерения неопределенности: logbn=logan∙logba.
Удобным оказалось брать основание, равное двум. Единица коᴫичестʙа информации, предстаʙᴫяющая собой ʙыбор из дʙух раʙноʙероятных событий, поᴫучиᴫа назʙание дʙоичной единицы, иᴫи бита. Назʙание bit образоʙано из дʙух начаᴫьных и посᴫедней букʙ ангᴫийского ʙыражения binary unit, что значит дʙоичная единица. Бит яʙᴫяется не тоᴫько единицей коᴫичестʙа информации, но и единицей измерения степени неопредеᴫенности. При этом имеется ʙ ʙиду неопредеᴫенность, которая содержится ʙ одном опыте, имеющем дʙа раʙноʙероятных исхода.
Таким образом, нами выбран явный вид функции числа исходов Hn=log2n. Эта величина получила название энтропия.
Информационная энтропия — мера хаотичности информации. При отсутствии информационных потерь численно она равна количеству информации на символ передаваемого сообщения. Информационная энтропия обладает всеми теми математическими свойствами, например, она аддитивна: энтропия нескольких сообщений равна сумме энтропий отдельных сообщений.
Рассмотрим опыт с двумя исходами. Вероятность наступления первого исхода равна р, тогда для второго – (1-р). Энтропия в этом случае равна:
Нр=-рlog2(р)-1-рlog21-р
Исследуем свойства данной функции:
Энтропия не может быть отрицательной величиной. DH – область определения функции Нр.
D(H) = [0; 1].
H(p) – непрерывная функция.
Максимальное значение функция принимает при р = 12.
Найдем стационарные точки данной функции – H(p) с помощью производной. Обозначим p через x, а H(p) – через y(x):
y(x) = -xlog2x-(1-x)log2(1-x)
Тогда значение производной будет равно:
y/(x) = -log2x-x1x*ln2+log21-x+(1-x)11-xln2
y/(x)= -log2x+log21-x=log21-xx
y/(x)= log21-xx
Приравняем производную к нулю:
y12=(-12)log212-(-12)log212=log22=1.
Таким образом, указанная выше функция достигает своего максимума при р = 12 в значении H(1/2) = 1.
Укажем промежутки возрастания и убывания. Для этого вспомним признак возрастания функции:
Если на промежутке X выполняется неравенство y/(x)≥0, то функция y(x) возрастает на этом промежутке.
y/(x)= log21-xx => =>
Для убывания функции необходимо, чтобы: =>
Исследование на выпуклость: для этого находим вторую производную функции:
y(2)x=-1x1-xln2 , y(2) log223-ркрк=0 => 23-ркрк=1 => 23-рк=рк
Таким образом, рк – вероятность приехать Коле первым должна быть равна 1/3. рю=23-13=13. Значит, чтобы энтропия опыта максимальна при равных вероятностях.
Hp=-13log213-13log213-13log213=log23≈ 1,2 бит.
Из жизненного опыта мы знаем, что выводы, получаемые из различных критериев зачастую противоречат друг другу. Поэтому необходимо использовать понятия энтропии, а также её свойств на практике. Реальная ценность энтропии определяется в первую очередь тем, что выражаемая ей «степень неопределенности» опытов оказывается во многих случаях именно той характеристикой, которая играет определяющую роль в различных процессах, встречающихся в природе и технике.
Литература
Бриллюэн, Л. Н. Научная неопределенность и информация / Л. Н. Бриллюэн – М.: КомКнига, 2006. – 278с.
Гмурман, В. Е. Теория вероятностей и математическая статистика / В. Е. Гмурман – М.: Высшая школа, 1972. – 308 с.
Яглом, М. А. Вероятность и информация / М. А Яглом, И. М. Яглом – М.: Наука, 1973. – 512 с.