Лекции ещё одни (PROBABL1)

Посмотреть архив целиком


I. Вероятностное пространство

Первые теоретические результаты по теории вероятностей относятся

к середине 17 века и принадлежат Б.Паскалю, П.Ферма, Х.Гюйгенсу, Я.Бернулли. Своим успехам в 18 веке и начале 19 века эта теория обязана А.Муавру, П.Лапласу, К.Гауссу, С.Пуассону, А.Лежандру. Значительные успехи в теории вероятностей были достигнуты в конце 19 и начале 20 века в работах Л.Больцмана, П.Чебышева, А.Ляпунова, А.Маркова, Э.Бореля и др. Однако, даже к началу 20 века еще не бы­ло создано строгой и непротиворечивой теории. Только аксиоматический подход позволил достичь этого. Впервые аксиоматическое построение теории было сделано С.Н.Бернштейном в 1917г., который в основу сво­их построений положил сравнение случайных событий по степени их вероятности. Однако этот подход не получил дальнейшего развития. Более плодотворным оказался аксиоматический подход, основанный на теории множеств и теории меры, развитый А.Н.Колмогоровым в 20-х годах 20-го века. j аксиоматике Колмогорова понятие случайного события, в отличие от классического подхода, не является исходным, а является следст­вием более элементарных понятий. Исходным у Колмогорова является множество (пространство) элементарных событий (пространство ис­ходов, выборочное пространство). Природа элементов этого простран­ства не играет роли.

Если А,В,С  , то очевидны следующие отношения, установленные в теории множеств:

А = А, АА = А, А = , А + = A, A + =, A = А, = , = , А=А,

где чертой сверху обозначено дополнение в ; А+В = А B, AB = А + В, АВ=ВА, А+В = В+А, (А+В)+С=А+(В+С), (АВ)С=А(ВС), А(В+С) = АВ+АС, А+ВС = (А+В)(А+С);

здесь обозначает пустое множество, т.е. невозможное событие.

В аксиоматике Колмогорова рассматривается некоторая система U подмножеств множества , элементы которой называются случайными событиями. Система U удовлетворяет следующим требованиям: если под­множества А и В множества входят в систему U, то эта система содержит также и множества А В, А В, А и В ; само множество . также является элементом системы U. Подобная система множеств на­зывается (булевой) алгеброй множеств.

Очевидно, из определения алгебры множеств следует, что семейству U принадлежит также и пустое множество . Таким образом, алгебра множеств (т.е. множество случайных событий) замкнута относительно операций сложения, пересечения и образования дополнений, а следова­тельно, элементарные операции над случайными событиями не выводят за пределы множества случайных событий U.

Для большинства приложений необходимо требовать, чтобы семейство множеств U включало в себя не только конечные суммы и пересечения подмножеств множества , но и счетные суммы и пересечения. Это приводит нас к определению понятия -алгебры.

Определение 1.1. -алгеброй называется семейство подмножеств (U) множества  замкнутое относительно операций образования допол­нений, счетных сумм и счетных пересечений.

Понятно, что любая -алгебра содержит само множество и пустое множество. Если задано произвольное семейство U подмножеств множества то наименьшая -алгебра, содержащая все мно­жества семейства U, называется -алгеброй, порожденной семейст­вом U.

Наибольшая -алгебра содержит все подмножества ; она полезна в дискретных пространствах , в которых вероятность обычно определяют для всех подмножеств множества . Однако в более общих про­странствах определить вероятность (определение вероятности будет дано ниже) для всех подмножеств или невозможно, или нежелательно. Другим крайним определением -алгебры может служить -алгебра, состоящая только из множества . и пустого множества .

В качестве примера выбора и -алгебры подмножеств U рас­смотрим игру, в которой участники бросают игральную кость, на каждой из шести граней которой нанесены цифры от 1 до 6. При любых броса­ниях кости реализуется только шесть состояний:  и 6, i-ое из которых означает выпадение i очков. Семейство U случайных событий состоит из 26 = 64 элементов, состав­ленных из всевозможных комбинаций i : 1,…,

Случайные события, т.е. элементы -алгебры U мы будем часто обозначать буквами А, В,Если два случайных события А и В не имеют в своем составе одних и тех же элементов i, то будем на­зывать их несовместимыми. События А и A называются противоположными (в других обозначениях, вместо A можно положить СА). Теперь можно перейти к определению понятия вероятности.

Определение 1.2. Вероятностной мерой Р на -алгебре U подмноже­ств множества называется функция множества P, удовлетворяющая следующим требованиям:

1) Р(А) 0; AU;

2) P() = 1,

, т.е. обладающая свойством счетной аддитивности, где Аk- взаимно непересекающиеся множества из U.

Таким образом, каково бы ни было выборочное пространство , вероятности мы приписываем только множествам некоторой -алгебры U и эти вероятности определяются величиной меры Р на этих множествах.

Таким образом, в любой задаче на исследование случайных событий исходным понятием служит выборочное пространство , в котором тем или иным образом выбирается -алгебра , на которой уже определяется вероятностная мера Р . Следовательно, можно дать следующее определение

Определение 1.3. Вероятностным пространством называется тройка (,U,Р), состоящая из выборочного пространства ,-ал­гебры U его подмножеств и вероятностной меры Р, определенной на U.

На практике могут встречаться задачи, в которых одним и тем же случайным событиям из U приписываются разные вероятности. Например, в случае симметричной игральной кости естественно положить:

Р(1) = Р(2) = ... = P(6) == 1/6,

а если кость несимметрична, то более соответствующими реальности .могут оказаться следующие вероятности: P(1) = Р(2) = Р(3) = Р(4) = 1/4, Р(5) = Р(6) = 1/12.

В основном мы будем иметь дело с множествами , являющимися подмножествами конечномерного евклидова пространства Rn . Главным объектом теории вероятностей являются случайные величины, т.е. неко­торые функции, определенные на выборочном пространстве . Наша первая задача - ограничить класс Функций, которыми мы будем опериро­вать. Желательно выбрать такой класс функций, стандартные операции над которыми не выводили бы из этого класса, в частности, чтобы из этого класса не выводили, например, операции взятия поточечных пре­делов, композиции функций и т.п.

Определение 1.4. Наименьший класс функций B, замкнутый относительно поточечных предельных переходов (т.е. если  принадлежат классу B и при всех x существует предел x = limnx, то и x принадлежит B), содержащий все непрерывные функции, назы­вается классом Бэра.

Из этого определения следует, что сумма, разность, произведение, проекция, композиция двух бэровских функций снова являются бэровскими функциями, т.е. всякая функция от бэровской функции снова есть бэровская функция. Оказывается, что если ограничиться более узкими классами функций, то никакого усиления или упрощения теории получить не удается.

В общем случае случайные величины, т.е. функции Х = U(х), где XRn, следует определить так, чтобы события {X t} при лю­бом t имели определенную вероятность, т.е. чтобы множества {X t} принадлежали семейству U , для элементов которого определены веро­ятности Р, т.е. чтобы величины Р{X t} были определены. Это при­водит нас к следующему определению измеримости функции относительно семейства U.

Определение 1.5. Действительная функция U(х), x, назы­вается U-измеримой, если для всякого действительного t множество тех точек x, при которых U(х)t, принадлежит семейству U.

Поскольку алгебра U замкнута относительно операции взятия до­полнений, то в определении измеримости можно неравенство заме­нить на любое из неравенств , >, <. Из самого определения следует, что n-измеримые функции образуют замкнутый класс наподс бие класса бэровских функций.

Как уже было указано,алгебра может быть выбрана весьма произ­вольно, и , в частности, следующим образом: сначала на пространстве Rn определяются n-мерные интервалы, затем с помощью операций алгебры множеств из этих интервалов могут быть построены множества более сложной структуры и сформированы семейства множеств. Среди все возможных семейств, можно отобрать такое, которое содержит все открытые подмножества в . Подобное построение приводит к следующему определению.

Определение 1.6. Наименьшая алгебра Ub , содержащая все откры­тые (а следовательно, и все замкнутые) подмножества множествами Rn называется борелевской алгеброй, а его множества - борелевскими.

Оказывается, что класс беровских функций B тождествен классу функ­ций, измеримых относительно алгебры Ub борелевских множеств.

Теперь мы можем четко определить понятие случайной величины и вероятностной функции ее распределения.

Определение 1.7. Случайной величиной Х называется действительная функция Х =U(х), х, измеримая относительно алгебры U, входящей в определение вероятностного пространства.

Определение 1.8. Функцией распределения случайной величины Х называется функция F(t) = Р{X t}, определяющая вероятность того, что случайная величина Х не превосходит значения t.

По заданной функции распределения F однозначным образом может быть построена вероятностная мера, и наоборот.

Рассмотрим основные вероятностные закономерности на примере ко­нечного множества . Пусть A,BЕсли А и В содержат общие эле­менты, т.е. АВ0, то можно записать: А+В=А+(В-АВ) и В = АВ+(В-АВ), где в правых частях стоят непересекающиеся множества (т.е. несовме­стимые события), а следовательно, по свойству аддитивности вероятно­стной меры: Р(А+В) = Р(В-АВ)+Р(А), Р(В) = Р(АВ)+Р(В-АВ); отсюда сле­дует Формула для суммы вероятностей произвольных собы­тий: Р(А+В) = Р(А) + Р(В) - Р(АВ).

Если при вычислении вероятности события А никаких условий не на­лагается, то вероятность Р(А) называется безусловной. Если событие А реализуется, например, при условии, что реализовалось событие В, то говорят об условной вероятности, обозначая ее символом Р(А/В). В аксиоматической теории вероятностей по определению полагается:

Р(А/В) = Р(АВ)/Р(В).

Чтобы интуитивно это определение стало понятным, рассмотрим, нап­ример, следующую ситуацию. Пусть в коробке лежат k бумажек, помеченных буквой А ,r бумажек, помеченных буквой В , m бумажек, поме­ченных буквами А·В и n пустых бумажек. Всего имеется р = k + r + n + m бумажек. И пусть из коробки по очереди вытаскиваются одна бумажка за другой, причем после каждого вытаскивания отмечается тип вытащенной бумажки и она снова кладется в коробку. Результаты очень большого числа подобных испытаний записываются. Условная веро­ятность Р(А/В) означает, что событие А рассмат­ривается только в связи с реализацией события В. В данном примере это означает, что необходимо подсчитать число вытащенных бумажек с буквами А·В и буквой В и первое число разделить на сумму первого и второго чисел. При достаточно большом числе испытаний это отношение будет стремиться к числу , определяющему условную вероят­ность Р(А/В). Аналогичный подсчет других бумажек покажет, что

и P(B)=

Вычисляя отношение

убеждаемся, что оно как раз совпадает с ранее вычисленным нами зна­чением для вероятности Р(А/В). Таким образом, получаем

Р(А·В) = Р(A/В)·Р(В).

Проводя аналогичные рассуждения, поменяв местами А и В, получим

Р(А·В) = Р(В/А)·Р(А)

Равенства

Р(А·B) = Р(А/В)·Р(В) = Р(В/А)·Р(А)

называют теоремой умножения вероятностей.

Рассмотренный пример позволяет также наглядно убедиться в спра­ведливости следующего равенства при A·B :

Р(A + В) == Р(А) + Р(В) - Р(А·В).

Пример 1.1. Пусть дважды бросается рсается игральная кость и требуется определить вероятность P(A/B) выпадения в сумме 10 очков, если в первом бросании выпало 4.

Выпадение во втором бросании 6 имеет вероятность 1/6. Следовательно,












Пример1.2. Пусть имеется 6 урн :

в урне типа А1 - два белых и один черный шар, в урне типа А2- два белых и два черных шара, в урне типа А3 - два черных и один белый шар. Имеется 1 урна типа А1, 2 урны типа А2 и 3 урны типа А3. Случайно выбирается урна и из нее шар. Какова ве­роятность, что этот шар белый? Обозначим через В событие вытаски­вания белого шара.







Чтобы решить задачу, предположим, что некоторое событие В реали­зуется только вместе с одним из n несовместимых событий А1,..., Аn, т.е. В = , где события ВАi и ВАj с разными индексами i и j несовместимы. Из свойства аддитивности вероятности Р следует:

Подставляя сюда зависимость (1.1), получаем

эта формула носит название формулы полной вероятности. Для решения последнего примера воспользуемся формулой полной вероятности. Так как белый шар (событие В) может быть взят из одной из трех урн (события А1, А2, А3 ), то можно записать

В = А1В + А2В + А3В .

Формула полной вероятности дает

Подсчитаем вероятности, входящие в эту формулу. Вероятность, что шар взят из урны типа А1 , очевидно равна Р(А1) = 1/6, из урны типа А2: Р(А2) = 2/6 == 1/3 и из урны типа А3: P(A3) = 3/6 = 1/2. Если шар взят из урны типа А1, то Р(В/А1) = 2/3 , если из урны типа А2, то Р(В/А2)=1/2, а если из урны типа А3, то Р(В/А3)= 1/3. Таким образом,

Р(В) =(1/6)(2/З)+ (1/3) (1/2) + (1/2) (1/3) = 4/9.

Условная вероятность Р(В/А) обладает всеми свойствами вероятности Р(В/А)0, В(В/В) = 1 и P(В/А) аддитивна.

Поскольку

Р(А·В) == Р(В/А)-Р(А) = Р(А/В)·Р(В) ,

то отсюда следует, что если А не зависит от В, то есть если

Р(А/В) = Р(А),

то и В не зависит от А, т.е. Р(В/А) = Р(В).

Таким образом, в случае независимых событий теорема умножения принимает наиболее простой вид:

Р(А·В) = Р(А)·Р(В) (1.3)

Если события А и В независимыми, то независимы также и каждое из следующих пар событий: (A,В), (А,B), (A,В). Убедимся, например, что если А и В независимы, то независимы и А и Б . Поскольку Р(В/А) + Р(B/А) = I, то отсюда с учетом условия независимости собы­тий А и В, т.е. условия Р(В/А) = Р(В), следует: Р(В/А) = 1 - Р(В) = Р(В).

События могут быть попарно независимыми, но оказаться зависим-ыми в совокупности. В связи с этим вводится также понятие взаимной неза­висимости: события А1,..., Аn называются взаимно независимыми, если для всякого подмножества Е индексов 1,2,...,n выполняется равен­ство

На практике нередко приходится оценивать вероятности гипотез после того, как проведено некоторое испытание. Пусть, например, со­бытие В может реализоваться лишь с одним из несовместимых событий А1,...,Аn , т.е. и пусть событие В реализовалось.Требуется найти вероятность гипотезы (события) Аi при условии,

что В произошло. Из теоремы умножения

Р(АiВ) = Р(В) Р(Аi/В) = Р(Аi) Р(В/Аi)

cледует

С учетом формулы полной вероятности для Р(В) отсюда следует

Эти формулы носят название формул Байеса.

Пример 1.3. Пусть в примере 1.2 вытащен белый шар и требуется оп­ределить, какова вероятность, что он взят из урны типа 3.

2.

Основные соотношения теории вероятностей, как это ни покажется парадоксальным, выглядят боолее естественно и гораздо более понятны, ее ли они рассматриваются не в дискретном, а в непрерывном выборочном пространстве, в котором определение вероятности дается через теорию меры и интегрирование. В связи с этим основные положения теории веро ятностей мы рассмотрим в пространстве Rn. Как уже говорилось, в дискретных выборочных пространствах вероятность приписывается веем подмножествам, в то время как в непрерывных пространствах подобный подход неприемлем, так как приводит к противоречиям. Соответственно и не всякая функция на непрерывном пространстве может рассматриватьс. в качестве случайной величины. Для большинства приложений достаточно ограничиться алгеброй борелевских множеств и беровскими функция ми, измеримыми относительно этой алгебры U.

Определение 2.1. Функция точки F(t) на прямой есть функция распределения некоторой случайной величины, если она

а) неубывающая функция, т.е. F(a)F(b) при а < b ;

в) непрерывна справа, т.е. F(а) = F(а+) ;

с) удовлетворяет условиям F(- ) = 0, F() = I.






Между вероятностной мерой Р, определенной на алгебре подмно­жеств из R1 и вероятностной функцией распределения F(t) имеет место отношение

F(t)=P{x t}.

Полагая t = а и t = b, получаем

F(b)-F(a)=P{abP{(a,b]}

Вероятность попадания случайной величины Х в интервал (a,b] можно также обозначать посредством. Соответственно, можно написать: F{(а,b]}=F(b)-F(a-), F{(a,b)]=F(b-)-F(a), F{[a,b)}=F(b-)-F(a-).

Понятие функции распределения можно обоощить и на многомерные про­странства. В Rn функция распределения F(х) является функцией точки х =1,..., хn)Rn. А в общем случае можно показать, что по заданной в Rn функции точки можно построить аддитивную функцию F{(a,b]} промежутка (а,в] по формуле

(2.1)

где с =1,..., сn ) - это множество всех угловых точек промежутка

(а,в], т.е. точек сi=аi, и сj= bj, , а l(c) - число входящих в с компонент аj. Например, для пространства R2 получаем

F{(а,b]} = F(b1,b2) - F1, b2) - F(b1,a2) + F(а12 ).

Понятно, что в многомерном случае функции распределения становятся весьма неудобными для использования . Из формулы (2.1) видно, что любая функция распределения порождает вероятностную меру на алгебре борелевских множеств в Rn .

Рассмотрим дискретные случайные величины, т.е. такие, которые при­нимают только конечное или счетное множество значений х1, х2, ..., хn,...- с вероятностями Pk>0, т.е. pk=P{X=xk}. Расп­ределение подобных случайных величин описывается функцией

Легко видеть, что функция распределения дискретных случайных величин кусочно-постоянна и величина ее скачков в точках хk равна F(xk+0) - Fk - 0) = рk .

Если же случайные величины непрерывно распределены на вещественной оси, то функция их вероятностного распределения будет задаваться интегралом типа Лебега-Стилтьеса:

Очевидно, F( = I. Если же случайные величины распределены на некотором подмножестве А в R1, то можно записать

Если существует такая интегрируемая по Лебегу функция (x), что

то говорят, что функция Fабсолютно непрерывна относительно меры Ле­бега, а функцию x называют плотностью (или производной Радона-Никодима) функции F относительно меры Лебега. Согласно теореме Радона-Hикодима, распределение F абсолютно непрерывно относительно меры Лебега тогда и только тогда, когда для любых подмножеств A оси R1 нуле вой длины оказывается F{A}=0.

Говорят, что вероятностное распределение F сингулярно относительно меры Лебега, если оно сосредоточено на множестве меры Лебега нуль т.е. на множестве нулевой протяженности.

Теорема Лебега о разложении. Любое вероятностное распределение F является смесью атомического (дискретного), абсолютно непрерывного и сингулярного непрерывного распределений.

Примером сингулярного непрерывного распределения является функция Кантора





Эта функция является кусочно-постоянной, возрастающей лишь на множестве Лебега нуль, представляющем собой совершенное множество (замкнутое и плотное в себе), т.е. содер­жащее все свои предельные точки и одновременно содержащееся во множестве всех своих предельных точек, причем это совершенное множество нигде не плотно, т.е. его замыкание не содержит открытого множества.

Интеграл Лебега-Стилтьеса удовлетворяет всем свойствам обычного интеграла Лебега и для интегрируемых функций U(х) записывается в виде (на Rn) :

Для распределений в R1 имеет место следующая формула интегрирования по частям:

где в отношении функции U(х) предполагается, что она является функ­цией ограниченной вариации и непрерывна в тех точках в которых F(x) разрывна.

Если функция U(х) непрерывна, а функция распределения F(х) терпит разрыв в точке с(а,b), то имеет место представление:

На практике редко когда бывает известно вероятностное распределе­ние случайной величины,и для получения всевозможного рода оценок пользуются некоторыми количественными характеристиками случайных величин, среди которых наиболее важны математическое ожидание, дис­персия и моменты различных порядков (2).

Понятие математического ожидания, или среднего ожидаемого значения пришло из теории игр, где под этим понятием подразумевается ожидаемы выигрыш в игре. Определим это понятие сначала для дискретного случая Пусть i элементарные события из некоторого дискретного выборочного пространства , вероятность появления i-го из которых имеет величину рi. Тогда под математическим ожиданием cлучайной величины понимается величина E(х), определяемая рядом

причем этот ряд предполагается абсолютно сходящимся. Если же ряд не сходится абсолютно, то операция усреднения (определения математичес­кого ожидания) теряет смысл.

Приведенное определение математического ожидания для дискретного ны борочного пространства нетрудно распространить на континуумиальные выборочные пространства, например, на подмножества . Пространства Rn Сначала это распространение целесообразно провести для случая наи­более простого представления случайной величины U, задаваемой сту­пенчатой функцией U(х), принимающей значения a1,…,an . По аналогии с дискретным случаем математическое ожидание будет задаваться

где Ik - интервалы, на которых функция U(х) принимает значения ak, a F{Ik}- вероятности реализации значений ak .

Математическое ожидание Е(U) обладает следующими свойствами:

а) Линейностью: Е(U1+ ) = Е (U1) + Е(U2);

в) Положительностью: Е( U ) > 0 при U;

с) Нормированностью: Е(1) = 1.

Вышеопределенное математическое ожидание Е(U) можно продолжить на более широкий класс функций с сохранением свойств а)-с). Известно, что непрерывные функции можно рассматривать как предел последователь­ности ступенчатых функций, a эти последние можно продолжить до бэровски функций. В этом случае математическое ожидание определяется при заме­не конечных сумм интегралом Лебега-Стилтьеса :

где предполагается абсолютная сходимость интеграла.

Из свойств интеграла следует, что математическое ожидание постоян­ной равно этой постоянной и математическое ожидание суммы случайных величин равно сумме их математических ожиданий. Столь же естественно из свойств интеграла следует, что математическое ожидание произведени независимых случайных величин равно произведению их математических ожиданий.

Математическое ожидание можно определить, вообще говоря, двумя способами. Выше мы определили его как интеграл , где F(х) - распределение вероятностей на множестве . Однако U(х), как функция переменной х, распределенной по закону F(х) на множестве , сама является случайной величиной, значения которой распределены на оси R1 с некоторой вероятностью G(U), индуцируемой вероятностью F(х). Следовательно, математическое ожидание случайной величины Х = U(х) можно также записать в виде

Наряду с математическим ожиданием, большую роль в приложениях иг­рает еще одна характеристика случайных величин - дисперсия, представ­ляющая собой математическое ожидание квадрата уклонения случайной ве­личины Х = U(х) от ее математического ожидания М = E(U). Но опред лению, дисперсия D(Х) равна

где F(х) - функция распределения на множестве , G(U) –функция распределения значений U(х) и Н(у) - функция распределения случайной величины (U - М)2.

Очевидно, дисперсия постоянной величины С равна нулю.

Предложение 2.1. Дисперсия суммы двух независимых случайных величин Х и Y

равна сумме их дисперсий.

Доказательство. Из независимости Х и Y следует независимость также и разностей (X - Е(Х)) и (Y - Е(Y)). Tогда утверждение следует из следующей цепочки элементарных преобразований:

D(X + У) = Е[+У - Е( Х+У)]2 = E[Х+У - Е(Х) - Е(У)]2 = Е [(X - Е(Х))+ (У - Е(У))]2 =

= DХ +DУ + 2 Е[(Х - Е(Х))( У - Е(У)] = DX + DУ + 2 Е(Х - Е(Х))·Е(У - Е(У)) .

 

Следствие 2.1. Если X1 ,..., Xn - случайные величины, каждая из ко­торых независима от суммы остальных, то дисперсия их суммы равна сум ме дисперсий каждой из них.

Следствие 2.2. дисперсия суммы конечного числа попарно независимых случайных величин Х1,..., Хn равна сумме их дисперсий.

Доказательство:

Нормированным уклонением случайной величины Х называется величина

Если воспользоваться тем, что случайные величины Х и (постоянная) Е(Х

независимы и что дисперсия постоянной равна нулю, то можно получить:

Нетрудно получить, что D - У) =D(X)+D(y), где Х и Y - независимые случайные величины. В самом деле, D(- Y) = (-1)2 D(y) = D(Y)

В качестве аналога математического ожидания случайной величины мож но рассматривать центр масс стержня неоднородной массы, а механичес­ким аналогом дисперсии может служить центральный момент инерции стержня. Чем больше масса стержня сосредоточена в окрестности его центра масс, тем меньше момент инерции, характеризующий разброс массы отно сительно центра масс; аналогично, с уменьшением разброса случайной величины относительно среднего значения уменьшается и дисперсия, ха­рактеризующая этот разброс.

На практике вместо дисперсии, имеющей размерность квадрата случай­ной величины, предпочитают пользоваться величиной