Метод максимального правдоподобия в excel

Решения задач на метод максимального правдоподобия

Для оценивания неизвестных параметров статистических распределений наравне с методом моментов используют метод максимального (наибольшего) правдоподобия.

Суть метода: составить по специальной формуле функцию правдоподобия $L$, и найти оценку параметра $theta$ из условия максимизации функции правдоподобия (ФП) на определенной выборке $$. Иногда ФП заменяют на логарифмическую функцию правдоподобия $l=ln L$ (ЛФП), что облегчает расчеты (вычисление производных).

Оценки, полученные данным методом, будут состоятельными, асимптотически эффективными и асимптотически нормальными. Несмещенность оценок надо проверять (это метод не гарантирует).

Примеры нахождения оценок по методу наибольшего правдоподобия вы найдете ниже. Удачи!

Примеры решений

Пример 1. Найти методом наибольшего правдоподобия оценку параметра p биномиального распределения, если в $n_1$ независимых испытаниях событие A появилось $m_1$ раз и в $n_2$ независимых испытаниях событие A появилось $m_2$ раз.

Пример 2. Используя метод наибольшего правдоподобия, оценить параметры $a$ и $sigma^2$ нормального распределения, если в результате $n$ независимых испытаний случайная величина $xi$ приняла значения $xi_1, xi_2,…,xi_n$.

Пример 3. Случайная величина $X$ (число появлений события $A$ в $m$ независимых испытаниях) подчинена закону распределения Пуассона с неизвестным параметром $lambda$. Найти методом наибольшего правдоподобия по выборке $x_1, x_2,…,x_n$ точечную оценку неизвестного параметра $lambda$ распределения Пуассона.

Пример 4. Случайная величина – время безотказной работы изделия имеет показательное распределение. В таблице приведены данные по времени работы в часах для 1000 изделий. Найти методом максимального правдоподобия точечную оценку неизвестного параметра $lambda$.

Пример 5. Найти методом наибольшего правдоподобия по выборке $x_1, x_2,…,x_n$ точечную оценку параметра $p$ геометрического распределения: $$P(X=x_i)=(1-p)^ cdot p,$$ где $x_i$ — число испытаний, произведенных до появления события, $p$ — вероятность появления события в одном испытании.

Пример 6. Методом максимального правдоподобия найти точечную оценку параметра $lambda$ по данной выборке
Х 1-3 3-5 5-7 7-9 9-11 11-13 13-15 15-17 17-19
n 5 6 7 15 22 27 30 34 35
при условии, что соответствующая непрерывная случайная величина имеет плотность распределения $f(x)=lambda exp(lambda(x-20)), x le 20$.

Пример 7. Методом максимального правдоподобия найдите оценку параметра $theta$, если плотность имеет вид $$ f(x)=frac<2x^3>> exp (-(x^4-theta)^2/2) $$ и по наблюдениям 1.4 1.5 3.2 1.4 2.5 3.4 3.1 2.4 3.8 2.6

Теория по ММП

Хотите немного больше знать о теоретических основах метода наибольшего правдоподобия для чайников? Тогда используйте ссылки ниже для изучения.

Метод максимального правдоподобия
Вводятся свойства оценок параметров распределения (несмещенность, состоятельность, эффективность), доказывются теоремы. Далее рассматривается сам ММП, приводится сводная таблица оценок для разных типов распределений.
Методы нахождения оценок: метод максимального правдоподобия
Лекция по ММП с теоретическими основами и примерами решений.
Видеоролик МФТИ о ММП
Короткий (буквально 4 минуты) ролик о сути метода.
Список учебников по математической статистике со ссылками
Решенные контрольные по математической статистике

Метод максимального правдоподобия в excel

Метод максимального правдоподобия еще один разумный способ построения оценки неизвестного параметра. Состоит он в том, что в качестве «наиболее правдоподобного» значения параметра берут значение , максимизирующее вероятность получить при опытах данную выборку . Это значение параметра зависит от выборки и является искомой оценкой.

Читать еще: Как открыть поврежденный файл excel

Решим сначала, что такое «вероятность получить данную выборку», т.е. что именно нужно максимизировать. Вспомним, что для абсолютно непрерывных распределений их плотность «почти» (с точностью до ) вероятность попадания в точку . А для дискретных распределений вероятность попасть в точку равна . И то, и другое мы будем называть плотностью распределения . Итак,

мы будем называть плотностью распределения .

Если для дискретного распределения величины со значениями , , ввести считающую меру на борелевской -алгебре как

Если же имеет абсолютно непрерывное распределение, то есть привычная плотность относительно меры Лебега :

Функция (случайная величина при фиксированном )

называется функцией правдоподобия . Функция (тоже случайная)

называется логарифмической функцией правдоподобия.

В дискретном случае функция правдоподобия есть вероятность выборке , , в данной серии экспериментов равняться , , . Эта вероятность меняется в зависимости от :

Оценкой максимального правдоподобия неизвестного параметра называют значение , при котором функция достигает максимума (как функция от при фиксированных ):

Поскольку функция монотонна, то точки максимума и совпадают. Поэтому оценкой максимального правдоподобия (ОМП) можно называть точку максимума (по ) функции :

Напомним, что точки экстремума функции это либо точки, в которых производная обращается в нуль, либо точки разрыва функции/производной, либо крайние точки области определения функции.

Пусть , , выборка объема из распределения Пуассона , где . Найдем ОМП неизвестного параметра .

Поскольку эта функция при всех непрерывно дифференцируема по , можно искать точки экстремума, приравняв к нулю частную производную по . Но удобнее это делать для логарифмической функции правдоподобия:

и точка экстремума решение уравнения: , то есть .

1) Убедиться, что точка максимума, а не минимума.

2) Убедиться, что совпадает с одной из оценок метода моментов. по какому моменту?

Пусть , , выборка объема из нормального распределения , где , ; и оба параметра , неизвестны.

Выпишем плотность, функцию правдоподобия и логарифмическую функцию правдоподобия. Плотность:

логарифмическая функция правдоподобия:

В точке экстремума (по ) гладкой функции обращаются в нуль обе частные производные:

Оценка максимального правдоподобия для решение системы уравнений

Решая, получим хорошо знакомые оценки:

1) Убедиться, что , точка максимума, а не минимума.

2) Убедиться, что эти оценки совпадают с некоторыми оценками метода моментов.

Пусть , , выборка объема из равномерного распределения , где . Тогда (см. [3, пример 4.4, с.24] или [1, пример 5, с.91]).

Пусть , , выборка объема из равномерного распределения , где (см. также [1, пример 4, с.91]).

Выпишем плотность распределения и функцию правдоподобия. Плотность:

Функция правдоподобия достигает своего максимального значения во всех точках . График этой функции изображен на рис. 4.

Рис. 4: Пример 10.

Любая точка может служить оценкой максимального правдоподобия. Получаем более чем счетное число оценок вида

при разных , в том числе и , концы отрезка.

1) Убедиться, что отрезок не пуст.

2) Найти оценку метода моментов (по первому моменту) и убедиться, что она иная по сравнению с ОМП. 3) Найти ОМП параметра равномерного распределения .

Метод максимального правдоподобия с примерами

Метод максимального правдоподобия – это рациональный способ построения оценки какого-либо неизвестного параметра, суть которого состоит в том, что за «наиболее правдоподобное» значение параметра принимается значение $Ө$, сводящее к максимуму вероятность получения при $n$ опытах следующую выборку $X = (x_1, …, x_n)$.

Методы нахождения оценок

В общем смысле точечная оценка неизвестного параметра $Ө$ – это любая статистика. В практической же деятельности чаще всего рассматриваются самые «качественные» оценки, при которых вероятность принятия ими значения максимально близкого к неизвестному значению $Ө$ при реализации случайной выборки будет наибольшей. Данные оценки делят на несмещенные, состоятельные и эффективные. При этом возникает вопрос о методах получения качественной оценки для произвольного параметра $Ө$ исследуемой случайной величины $X$. Наиболее распространены следующие методы нахождения оценок:

Метод подстановки;
Метод моментов;
Метод наибольшего правдоподобия.

Попробуй обратиться за помощью к преподавателям

Метод подстановки – это наиболее простой метод отыскания точечных оценок. Он заключается в том, что оценкой неизвестного параметра $Ө$ является соответствующая выбранная числовая характеристика:

Рисунок 1. Формула. Автор24 — интернет-биржа студенческих работ

К примеру, по методу постановки оценка математического ожидания – это выборочное среднее, а оценка дисперсии – это выборочная дисперсия.

Все полученные по методу подстановки оценки являются состоятельными, но не гарантирована их эффективность и несмещенность. Пример смещенной оценки – выборочная дисперсия.

Рассмотрим далее метод моментов. Предположим, что $x_1, …, x_n$ – это выборка наблюдений некоторой случайной величины$X$, которая имеет распределение $Fx (x, Ө)$ содержащее вектор неизвестных параметров $Ө =( Ө_1, …, Ө_k)$. Допустим, что для данного распределения можно рассчитать начальные моменты

Задай вопрос специалистам и получи
ответ уже через 15 минут!

Рисунок 2. Формула. Автор24 — интернет-биржа студенческих работ

Рисунок 3. Формула. Автор24 — интернет-биржа студенческих работ

некоторых порядков $r$.

Такие моменты называются функциями соответствующих неизвестных параметров $Ө_1, …, Ө_k$. Однако, для выборки можно рассчитать выборочные начальные моменты

Рисунок 4. Формула. Автор24 — интернет-биржа студенческих работ

Рисунок 5. Формула. Автор24 — интернет-биржа студенческих работ

Метод моментов заключается в том, что необходимо найти такой вектор параметров $Ө$, при котором будут равны теоретические и выборочные моменты, т.е. в решении системы уравнений:

Рисунок 6. Формула. Автор24 — интернет-биржа студенческих работ

Число уравнений в данной системе будет равняться количеству неизвестных параметров $k$. Чтобы получить оценки с помощью метода моментов, может быть выбран любой момент произвольного порядка, но, как правило, в практике используются только моменты низших порядков.

Как и при методе подстановок, все оценки, найденные по методу моментов, характеризуются как состоятельные, но не гарантируется их эффективность и несмещенность.

Точечные оценки, найденные при помощи метода моментов, носят название ММ-оценки.

Метод наибольшего правдоподобия рассмотрим в следующем пункте.

Сущность метода максимального правдоподобия

Под методом максимального правдоподобия в математической статистике понимается метод оценки неизвестного параметра посредством максимизации функции правдоподобия. Основой данного метода является предположение о том, что все данные о статистической выборке содержатся в функции правдоподобия. Описываемый метод был проанализирован Р. Фишером в начале 20-го века, который в дальнейшем его рекомендовал и популяризировал.

Оценка наибольшего правдоподобия – это достаточно популярный статистический метод, используемый с целью построения статистической модели на основе информации и обеспечения оценки всех параметров модели.

Метод наибольшего правдоподобия соответствует многим популярным методам статистической оценки. К примеру, вы рассматриваете такой антропометрический параметр, как рост жителей данной страны. Допустим, что вы располагаете данными о росте определенного количества людей, но не всего населения. Помимо этого, допускается, что рост – это нормально распределенная величина со средним значением и неизвестной дисперсией. Дисперсия роста и среднее значение в выборке будут являться максимально правдоподобными к дисперсии и среднему значению всего населения.

Используя фиксированный набор данных и базовой модели вероятностей в расчетах с помощью метода правдоподобия, будут получены такие значения параметров, которые будут делать данные «наиболее приближенные» к реальным. Метод максимального правдоподобия является уникальным и простым способом определения решения при нормальном распределении.

Метод наибольшего правдоподобия используются во многих статистических моделях:

В линейных и обобщенных линейных моделях;
В факторном анализе;
При моделировании структурных уравнений;
Во многих ситуациях, предполагающих проверку гипотезу и доверительный интервал формирования;
В дискретных моделях выбора и т.д.

Метод наибольшего правдоподобия заключается в том, что оценкой вектора неизвестных параметров

Рисунок 7. Формула. Автор24 — интернет-биржа студенческих работ

Рисунок 8. Формула. Автор24 — интернет-биржа студенческих работ

который доставляет максимум функции правдоподобия:

Рисунок 9. Формула. Автор24 — интернет-биржа студенческих работ

Иными словами, сущность метода наибольшего правдоподобия заключается в нахождении такого вектора параметров, при котором была бы наиболее вероятной реализация $x_1, … ,x_n$ случайной выборки $X_1,…, X_n$.

Точечные оценки, получаемые при методе наибольшего правдоподобия, носят название МП-оценки.

Пример использования метода максимального правдоподобия

Пусть необходимо найти при помощи метода максимально правдоподобия оценку заданного параметра p биноминального распределения

Рисунок 10. Формула. Автор24 — интернет-биржа студенческих работ

если в $n_1$ независимых испытания некоторое событие $A$ появлялось $m_1$ раз, а в $n_2 – m_2$ раз.

Для того, чтобы решить данную задачу, необходимо составить функцию правдоподобия:

Рисунок 11. Формула. Автор24 — интернет-биржа студенческих работ

Затем следует отыскать логарифмическую функцию:

Рисунок 12. Формула. Автор24 — интернет-биржа студенческих работ

На следующем этапе определяется первая производная p:

Рисунок 13. Формула. Автор24 — интернет-биржа студенческих работ

Найденную производную необходимо приравнять к нулю, тем самым записав уравнение правдоподобия.

Рисунок 14. Формула. Автор24 — интернет-биржа студенческих работ

После относительного решения полученного уравнения находим значение критической точки:

Рисунок 15. Формула. Автор24 — интернет-биржа студенческих работ

В данной точке вторая производная будет отрицательной, а, следовательно, данная точка является максимумом. Таким образом найденная точка принимается в качестве оценки по методу максимального правдоподобия неизвестной вероятности p биноминального распределения.

Так и не нашли ответ
на свой вопрос?

Просто напиши с чем тебе
нужна помощь

Оценка статьи:

Загрузка...