Нулевая гипотеза в статистике: пример. Проверка нулевой гипотезы

Содержание
  1. Нулевая гипотеза: определение и примеры – 2020
  2. Как сформулировать нулевую гипотезу
  3. Примеры нулевой гипотезы
  4. Зачем проверять нулевую гипотезу?
  5. Определение и проверка нулевой гипотезы в статистике
  6. Как проверить гипотезу
  7. Пример
  8. Из этих примеров видно, чем отличаются две гипотезы (нулевая и альтернативная) друг от друга
  9. Для того, чтобы исключить ошибку, необходимо проверить правильность нулевой гипотезы
  10. Нулевая гипотеза
  11. Альтернативная гипотеза
  12. Ошибки первого и второго рода
  13. Уровень значимости
  14. Проверка статистических гипотез: основные понятия и примеры
  15. Статистические гипотезы: основная и альтернативная
  16. Статистические критерии для проверки гипотез
  17. Уровень значимости α, ошибки первого и второго рода
  18. Нахождение границ области принятия гипотезы
  19. Интуитивное объяснение проверки гипотез и p-значение
  20. Игра в числа: вклад одного яблока
  21. Насколько большая должна быть выборка: проверка гипотез и значимость как ответ
  22. Фактическая проверка гипотезы
  23. Результат проверки гипотез: p-value
  24. Заключение
  25. Проверка гипотез
  26. Определение нулевой и альтернативной гипотез, уровня статистической значимости
  27. Получение статистики критерия, определение критической области
  28. Применение значения р
  29. Проверка гипотез против доверительных интервалов

Нулевая гипотеза: определение и примеры – 2020

Нулевая гипотеза в статистике: пример. Проверка нулевой гипотезы

Нулевая гипотеза – это утверждение, которое не подразумевает никакого эффекта или никакой связи между явлениями или популяциями. Любая наблюдаемая разница может быть связана с ошибкой выборки (случайной случайностью) или экспериментальной ошибкой.

Нулевая гипотеза популярна, потому что она может быть проверена и признана ложной, что затем подразумевает наличие связи между наблюдаемыми данными. Может быть проще думать об этом как о nullifiable Гипотеза или один исследователь стремится аннулировать.

Альтернативная гипотеза, H или Н1, предполагает, что на наблюдения влияет неслучайный фактор. В эксперименте альтернативная гипотеза предполагает, что экспериментальная или независимая переменная влияет на зависимую переменную.

Также известен как: ЧАС0гипотеза без различий

Как сформулировать нулевую гипотезу

Есть два способа сформулировать нулевую гипотезу. Один из них состоит в том, чтобы сформулировать его как декларативное предложение, а другой – представить его как математическое утверждение.

Например, скажем, исследователь подозревает, что физические упражнения связаны с потерей веса, если предположить, что диета остается неизменной.

Средняя продолжительность времени для достижения определенной потери веса составляет в среднем 6 недель, когда человек тренируется пять раз в неделю.

Исследователь хочет проверить, будет ли потеря веса дольше, если количество тренировок будет сокращено до трех раз в неделю.

Первый шаг к написанию нулевой гипотезы – найти (альтернативную) гипотезу. В такой словесной задаче вы ищете то, что ожидаете в качестве результата эксперимента. В этом случае гипотеза звучит так: «Я ожидаю, что потеря веса займет больше 6 недель».

Это может быть записано математически как: H1: μ > 6

В этом примере μ является средним.

Теперь нулевая гипотеза – это то, что вы ожидаете, если эта гипотеза не бывает. В этом случае, если потеря веса не достигается более чем через 6 недель, тогда она должна происходить в течение времени, равного или менее 6 недель.

ЧАС0: μ ≤ 6

Другой способ сформулировать нулевую гипотезу – не делать никаких предположений о результатах эксперимента. В этом случае нулевая гипотеза состоит в том, что лечение или изменение не будут влиять на результаты эксперимента.В этом примере было бы, что сокращение количества тренировок не повлияет на время для достижения потери веса:

ЧАС0: μ = 6

Примеры нулевой гипотезы

«Гиперактивность не связана с употреблением сахара» – пример нулевой гипотезы. Если гипотеза проверена и признана ложной с использованием статистики, то может быть указана связь между гиперактивностью и потреблением сахара. Тест значимости является наиболее распространенным статистическим тестом, который используется для установления достоверности нулевой гипотезы.

Другим примером нулевой гипотезы может быть «Скорость роста растений не зависит от присутствия кадмия в почве».

Исследователь может проверить гипотезу, измерив скорость роста растений, выращенных в среде, в которой отсутствует кадмий, по сравнению со скоростью роста растений, выращенных в среде, содержащей различные количества кадмия.

Опровержение нулевой гипотезы заложило бы основу для дальнейших исследований воздействия различных концентраций элемента в почве.

Зачем проверять нулевую гипотезу?

Вы можете задаться вопросом, почему вы хотите проверить гипотезу, чтобы найти ее ложной. Почему бы просто не проверить альтернативную гипотезу и не найти ее верной? Короткий ответ: это часть научного метода. В науке «доказывать» что-то не происходит.

Наука использует математику, чтобы определить вероятность того, что утверждение является истинным или ложным. Оказывается, гораздо легче опровергнуть гипотезу, чем когда-либо доказать ее.

Кроме того, хотя нулевая гипотеза может быть просто сформулирована, есть большая вероятность, что альтернативная гипотеза неверна.

Например, если ваша нулевая гипотеза состоит в том, что рост растений не зависит от длительности солнечного света, вы можете сформулировать альтернативную гипотезу несколькими различными способами. Некоторые из этих утверждений могут быть неверными.

Вы могли бы сказать, что растения пострадали от более чем 12 часов солнечного света или что растениям нужно как минимум 3 часа солнечного света и т. Д. Из этих альтернативных гипотез есть явные исключения, поэтому, если вы проверяете не те растения, вы можете прийти к неверному выводу.

Нулевая гипотеза – это общее утверждение, которое можно использовать для разработки альтернативной гипотезы, которая может быть или не быть правильной.

Источник: https://ru.lifehackk.com/27-definition-of-null-hypothesis-and-examples-605436-8689

Определение и проверка нулевой гипотезы в статистике

Нулевая гипотеза в статистике: пример. Проверка нулевой гипотезы

Статистика — это наука об измерениях различных данных и их анализе. Как и в других дисциплинах, в статистике есть понятие гипотезы. В данном случае, гипотеза – это какое-либо состояние, которое нужно принять или исключить. В данном направлении существуют несколько похожих между собой допущений, но имеющих некоторое отличие.

Статистическая гипотеза — это изучение генеральной совокупности (множество возможных результатов исследований) основных для науки объектов, относительно которых делаются выводы.

Как проверить гипотезу

Проверить ее возможно посредством выборки. Например, рассмотрим несколько статистических гипотез:

  1. — от степени образования каждого ученика, возможно зависит успеваемость класса в целом;
  2. — начальный курс математики одинаково усваивается как детьми, которые начали обучение в шестилетнем возрасте, так и детьми, начавшими обучение с 7 лет.

Предположение, характеризующее конкретные границы величины, взятые учеными, называется простой гипотезой. Из множества простых гипотез складывается сложная гипотеза, указывается какое-либо направление либо четкого ответа нет.

Пример

Для понимания понятия нулевая гипотеза, рассмотрим пример. Профессор в институте предположил, что разная степень подготовки студентов двух групп к зачетной сессии вызвана некоторыми причинами, которые не влияют на общую степень образования (разница в степени подготовки двух групп учащихся равна нулю). В науке не существует понятия «не различаются», есть понятие- «сходство равно нулю».

Таким образом, нулевая гипотеза – это теория, утверждающая, что между сравнимыми характеристиками отсутствуют различия, а видимые колебания можно объяснить случайными отклонениями в выборках, которые лежат в основе проводимых сравнений. Иными словами, имеются две совокупности, сходство которых равно нулю.

Рассмотрим другой пример альтернативной теории – профессор в институте предположил, что разная степень подготовленности студентов двух групп к зачетной сессии обусловлена применением двух различных по сути методов обучения (подготовленность двух групп существенно отличается и на это есть разъяснение).

Из этих примеров видно, чем отличаются две гипотезы (нулевая и альтернативная) друг от друга

При использовании способа альтернативной гипотезы, которая утверждает обратное понятие по отношению к нулевой, можно путем сравнения из двух вариантов выбрать правильный. Это принцип статистики.

Если нулевая гипотеза в науке – НО, а альтернативная — Н1, отсюда следует формула:

НО: с=с0;

Н1:с=/=с0.

где, с — некоторая средняя величина генеральной совокупности, которую нужно найти, а с0 — это изначальная величина, по отношению к которой исследуется гипотеза. Так же имеется число Х — средняя величина выборки, по которой определяется с0.

Исследование заключается в сравнении величин Х и с0, в случае если они равны – принимается нулевая гипотеза, если неравны, то правильной является альтернативная гипотеза.

Проверка нулевой гипотезы в статистике состоит в применении статистического критерия, который подчиняется разным законам распределения. Статистические критерии используются для опровержения правильности нулевой гипотезы, а не для ее доказательства.

Например, есть F — критерий, рассчитываемый по распределению Фишера, Т – критерий, который рассчитывается по распределению Стьюдента и т.д.

Возьмем отрезок либо точку на оси Х (область допустимых значений), на которой имеется много величин статистики (при этих значениях нулевая гипотеза верна).

Критическими значениями будем считать крайние точки отрезка, а соответственно, лучи расположенные в стороны отрезка (левую и правую) называются критическими областями. В случае, если вычисленное значение входит в них, то нулевая гипотеза опровергается, а альтернативная будет верной.

В процессе проверки нулевой теории возможны ошибки двух видов:

  1. Опровержение верной нулевой гипотезы (а=1).
  2. Принятие ложной нулевой теории (а=2).

Надо сказать, что это различные параметры, результаты ошибок могут иметь различные выборки и отличаться между собой. Рассмотрим на примере:

В производстве нового медицинского препарата необходима большая осторожность, потому что повышенная доза одного из входящих в состав компонентов может губительно сказаться на жизни пациентов. Рассчитать передозировку на химическом уровне не представляется возможным. Поэтому, перед запуском в продажу, медицинский препарат испытывают на кроликах либо крысах.

В случае, если в результате применения большинство животных не выживает, препарат в продажу не допускается, если, наоборот, все подопытные животные выжили – лекарство поступает в аптечную сеть.

В первом случае медицинский препарат не был токсичен, просто во время испытания допустили ошибку и лекарство посчитали токсичным из-за гибели подопытных животных, и, соответственно, запретили к продаже — А=1.

Во втором случае, в процессе другого испытания, проверяя другую партию препарата было принято решение, что он не токсичен и препарат был допущен к продаже. Однако, в действительности он был токсичен — А=2.

В первой ситуации, компания-поставщик понесет убытки, потому что всю партию медицинского препарата придется уничтожить и начать производство с нуля.

Во втором случае, при покупке и употреблении препарата возможна смерть пациентов.

Для того, чтобы исключить ошибку, необходимо проверить правильность нулевой гипотезы

Для этого существует несколько этапов:

  1. — устанавливается допустимое значение ошибочной вероятности (Р=0,05),
  2. — подбирается статистика для эталона 1,
  3. — определяется область допустимых значений,
  4. — рассчитывается значение тестовой статистики (Т),
  5. — в случае, если статистика (Т) входит в область принятия нулевой теории, то нулевая гипотеза (и предположения) верны.

По этому принципу действует статистика: при правильной проверке нулевая гипотеза будет либо принята, либо отвергнута. Первые три этапа проверки самые сложные, чаще всего их доверяют специалистам-математикам, 4 и 5 пункты, зная статистические методы, может применить любой человек.

Источник: https://onlineserviceip.ru/polezno/nulevaya-gipoteza-v-statistike-primer-proverka.html

Нулевая гипотеза

Нулевая гипотеза в статистике: пример. Проверка нулевой гипотезы

Домашняя страница :: Другие статьи :: Аналитика

Дата создания: 17 Май, 2018

уровень значимости гипотеза

Нулевая гипотеза (null hypothesis) утверждает, что между исследуемыми данными никакой закономерности нет.  Объясним это на простом примере.

Допустим, я утверждаю, что между температурой воздуха и влажностью никакой зависимости не существует и по умолчанию все с этим согласны. Это только гипотеза и не требует доказательства.

А если вы решите его опровергнуть, то именно Вам нужно доказать мою неправоту.

Фактически опровергнув нулевую гипотезу, вы принимаете позицию нонконформиста, который не хочет признать общепринятую гипотезу о независимости этих двух параметров. Нулевую гипотезу обозначают знаком $H_0$.

Пока нулевая гипотеза не опровергнута, она в силе. Вспомните принцип презумпции невиновности. Подозреваемый считается невиновным, пока не будет доказано обратное.

Для опровержения нулевой гипотезы о не существовании связи между температурой и влажностью воздуха придется провести эксперимент, скажем, повесить рядом гигрометр и термометр и записывать показатели в течение некоторого времени.

А затем найти взаимосвязь между ними, доказывая, что эти данные, как-то коррелируют.

Альтернативная гипотеза

Опровергая нулевую гипотезу вы, фактически выдвигаете альтернативную гипотезу (alternate hypothesis). Альтернативной гипотезой в нашем случае, будет существование взаимосвязи между температурой и влажностью воздуха. Альтернативная гипотеза обозначается знаком $H_1$ или $H_A$.

Альтернативная гипотеза может быть двусторонней и односторонней. Если нулевую гипотезу для параметров $X_1$ и $X_2$ обозначим как $H_0 : X_1= X_2$, то двусторонняя альтернатива будет $H_1: X_1 e X_2$.  А две односторонние альтернативы $X_1 > X_2$ и $X_1 < X_2$. Как видно, двусторонняя альтернативная гипотеза одна. Нулевая и двусторонняя альтернативная гипотеза являются взаимоисключающими.

Чтобы опровергнуть нулевую гипотезу и доказать альтернативную, нужно собрать достаточное количество данных, иначе доказательство всегда будет вызывать сомнения. Например, собрав данные о температуре и влажности воздуха в вашем доме и показав их взаимосвязь, вы только утверждаете эту зависимость для вашего дома.

 А собрав подобные данные из нескольких домов и квартир, можно в лучшем случае опровергнуть нулевую гипотезу для помещения. Для открытой местности, для улицы, для лесной или горной местности нулевая гипотеза останется в силе. Даже ваше доказательство для помещения тоже верно в определенной степени. Эта степень называется уровнем значимости. Про это поговорим попозже.

Чтобы понять этот термин сначала разберемся с ошибками.

Ошибки первого и второго рода

Теперь, когда вы знаете, что такое нулевая и альтернативная гипотезы, поговорим об ошибках, которые возникают при опровержении или принятии нулевой гипотезы. Как я уже показал, полностью исключить нулевую гипотезу во многих случаях, если не во всех, невозможно. Поэтому всегда остается место для ошибок.

Если я доказываю неверность нулевой гипотезы, а на самом деле она оказывается верной, значит, я совершаю ошибку, опровергнув правильный факт.

Такого рода ошибка называется ошибкой первого рода (type I error).

  А если  принимаю нулевую гипотезу и на основании этого строю свои догадки, а в последующем эта гипотеза оказывается неверной, то я совершаю ошибку второго рода (type II error).

Представьте, что нулевую гипотезу приняли за само собой разумеющееся, как аксиому, и на основе этого построили свою теорию. А потом выяснилось, что эта гипотеза неверна.

Тогда частично или полностью рухнет и ваша теория. Но это не всегда так. Например, опровергая геоцентрическую систему в XVII веке, человечество не отказалось от планиметрии.

Хотя и возникли другие геометрии, но планиметрия по сей день везде применяется.

Итак, ошибки первого и второго рода можно наглядно показать следующей таблицей. Значения обозначений $\alpha$ и $\beta$ объясним позднее.

Принятие гипотезы $H_1$ (опровержение $H_0$)
$H_0$ верно принята, $1-\alpha$$H_0$ неверно принята (ошибка второго рода $\beta$)
$H_0$ неверно опровергнута (ошибка первого рода $\alpha$)$H_0$ верно опровергнута $1-\beta$

Ошибку первого типа часто называют ложной тревогой. Этот термин больше всего используется в медицине. Если УЗИ или анализ крови показал какую-то болезнь, всегда есть вероятность ложной тревоги.

Это может быть вследствие ошибки врача или просроченных реактивов в лаборатории. А ошибку второго рода называют пропуском события. В медицине примером этому может быть ложный отрицательный тест на беременность. Скажем, девушка залетела, а тест не показал.

А её все тянет ко сну. Узнала, когда уже начался токсикоз.

Как видите, ошибки первого и второго рода всегда имеют место. Поэтому, нужно хотя бы знать вероятность таких ошибок.  Тут и возникает еще один термин.

Уровень значимости

Вероятность возникновения ошибки первого рода называется уровнем значимости (significance level). Уровень значимости обозначают буквой  $\alpha$.

Поэтому ошибку первого рода иногда называют $\alpha$-ошибкой ($\alpha$-error).

Обратное значение уровня значимости ($1-\alpha$) называетсядоверительной вероятностью или коэффициентом доверия (confidence coefficient).

Вероятность возникновения ошибки второго рода обозначают буквой $\beta$, поэтому сама ошибка называется $\beta$-ошибкой ($\beta$-error).

Эта ошибка сама не используется в статистике, зато используется его обратная величина ($1-\beta$). Обратная величина $\beta$-ошибки называется мощностью критерия (power).

Мощность критерия выражает вероятность правильного принятия альтернативной гипотезы.

В последнее время именно на мощность критерия больше всего обращают внимание. Потому что, исследователи и агентства не хотят тратить усилия и ресурсы на исследование области, если не будет достигнута разумная вероятность результата. Поэтому, чем больше мощность критерия, тем меньше вероятность возникновения ошибки второго рода.

Источник: https://jsoft.ws/?content=null-hypothesis.html

Проверка статистических гипотез: основные понятия и примеры

Нулевая гипотеза в статистике: пример. Проверка нулевой гипотезы

Статистическая гипотеза – это некоторое предположение о свойствах генеральной совокупности, которое необходимо проверить. Статистические гипотезы выдвигаются, когда необходимо проверить, является ли наблюдаемое явление элементом случайности или результатом воздействия некоторых мероприятий.

Например, необходимо выяснить, значительно ли отличается средний объём продаж после проведения рекламной кампании от среднего объёма продаж после проведения рекламной кампании. Если ответ на этот вопрос положителен, то можно сделать вывод о том, что изменения являются результатом рекламной кампании.

Выводы, полученные путём проверки статистических гипотез, носят вероятностный характер: они принимаются с некоторой вероятностью. Статистическая гипотеза может быть также предположением о свойствах двух совокупностей, если, например, в ходе мероприятий имело место воздействие только на одну совокупность и необходимо сделать вывод о том, было ли это воздействие результативным.

Шаги проверки статистических гипотез следующие:

  • формулируется основная гипотеза H0 и альтернативная гипотеза H1;
  • выбирается статистический критерий, с помощью которого будет проверяться гипотеза;
  • задаётся значение уровня значимости α;
  • находятся границы области принятия гипотезы;
  • делается вывод о принятии или отвержении основной гипотезы H0.

Рассмотрим эти шаги и связанные с ними понятия подробнее.

Статистические гипотезы: основная и альтернативная

Основная гипотеза H0 – предположение о свойствах генеральной совокупности, которое является логичным и правдоподобным, но требует проверки. Основная гипотеза обладает “презумпцией невиновности”, или точнее “презумпцией справедливости”: пока не доказано, что её утверждение ложно, она считается истинной.

Альтернативная гипотеза H1 – утвержление о свойствах генеральной совокупности, которое принимается в случае, когда нет возможности принять основную гипотезу.

Приведём примеры того, как формулируются основная и альтернативная гипотезы.

Пример 1. До и после проведения рекламной кампании были собраны данные о среднем объём продаж.

Основная гипотеза H0: средний объём продаж до проведения рекламной кампании незначительно отличается от среднего объёма продаж после проведения рекламной кампании.

Альтернативная гипотеза H1: средний объём продаж изменился после проведения рекламной кампании.

Пример 2. После изменения конфигурации компьютерной сети были собраны случайным образом 200 замеров скорости передачи сообщений.

Основная гипотеза H0: изменение конфигурации не имело эффекта.

Альтернативная гипотеза H1: эффект от изменения статистически значим.

Статистические критерии для проверки гипотез

Статистический критерий – статистическая характеристика выборки, вычисляемая по некоторому математическому соотношению (формуле) на основе данных, имеющихся в выборке.

По значению этой характеристики принимается решение, принимать основную гипотезу или нет. Статистические критерии бывают двух видов:

  • односторонний критерий – критерий, значения которого принадлежат области (0; +∞);
  • двусторонний критерий – критерий, значения которого принадлежат области (-∞; +∞).

Свойства статистического критерия:

  • статистический критерий является случайной величиной, закон распределения которой известен. Зачастую в названии статистического критерия упоминается его закон распределения. Например, критерий хи-квадрат-Пирсона подчиняется закону распределения хи-квадрат;
  • чем ближе значение статистического критерия к нулю, тем более вероятно, что основная гипотеза является верной.

Уровень значимости α, ошибки первого и второго рода

Уровень значимости α – это вероятность ошибки первого рода. Значение уровня значимости обычно достаточно малое и задаётся аналитиком, проверяющим гипотезу. Чаще всего принимает значения 0,01 (1%), 0,05 (5%) и 0,1 (10%).

При проверке гипотезы всегда существует вероятность того, что будет сделано ошибочное заключение. Существуют два рода ошибки.

Ошибка первого рода – отвержение основной гипотезы при том, что она верна.

Ошибка второго рода – принятие основной гипотезы при том, что она ложна.

Со значением уровня значимости связано значение уровня доверия p.

Уровень доверия p – вероятность принятия верной гипотезы. Помним: пока не доказано, что основная гипотеза H0 является ложной, мы считаем её верной. Поэтому уровень значимости будет определять вероятность принятия основной гипотезы. Если уровень значимости α – вероятность отвержения верной гипотезы, то вероятность принятия верной гипотезы: p = 1 – α.

Аналитик сам управляет ошибкой первого рода – задаёт вероятность её наступления.

Ошибкой второго рода он управлять не может – всегда существует вероятность того, что может быть принята неверная гипотеза.

Поэтому, чтобы избежать нежелательных последствий от принятия неверной гипотезы, основная гипотеза формулируется таким образом, чтобы риск от последствий принятия неверной гипотезы был минимальным.

Пример 3. В лаборатории фармацевтического предприятия делается контрольный замер на соответствие контрольного состава лекарственных препаратов стандарту. Какие варианты гипотез могут быть предложены?

Решение.

Первый вариант.

Основная гипотеза H0 – лекарства соответствуют стандарту.

Альтернативная гипотеза H1 – лекарства не соответствуют стандарту.

Второй вариант.

Основная гипотеза H0 – лекарства не соответствуют стандарту.

Альтернативная гипотеза H1 – лекарства соответствуют стандарту.

В первом случае, принимая во внимание, что вероятность принятия основной гипотезы высока, мы имеем высокий риск нежелательных последствий принятия неверной гипотезы.

Во втором случае, даже если мы будем вынуждены принять гипотезу, что лекарственные препараты не соответствуют стандарту, а на самом деле имеет место ошибка второго рода, придётся провести дополнительные контрольные замеры и более тщательно провести анализ химического состава.

В любом случае, это повлечёт за собой более тщательный анализ, а риск нежелательных последствий может оказаться не столь значимым.

По причинам, которые мы выяснили в примере 3, статистические гипотезы часто формулируются следующим образом: “статистическая значимость между факторами незначима”, “выборки незначимо отличаются по своим свойствам”, “фактор не имеет значимого влияния на исследуемый процесс”.

Нахождение границ области принятия гипотезы

Область принятия гипотезы (ОПГ) – подмножество таких значений критерия, при которых основная гипотеза не может быть отвергнута. Область принятия гипотезы всегда включает в себя значение 0.

Критическая область – подмножество таких значений критерия, при которых основная гипотеза не может быть принята.

В случае, если используется односторонний критерий, ОПГ включает в себя подмножество положительных значений критерия. В таком случае у критерия есть только одна критическая область.

В случае, если используется двусторонний критерий, который может принимать как положительные, так и отрицательные значения, у него имеются две критические области: подмножество отрицательных и подмножество положительных значений критерия, при которых гипотеза не может быть принята.

На этом шаге требуется найти такое подмножество значений критерия, к которому значение выбранного критерия будет принадлежать с вероятностью p. Точнее, необходимо найти крайние значения критерия в этом подмножестве.

Поэтому процедура нахождения границ области принятия гипотезы сводится к решению следующей задачи:

P{R'

Источник: https://function-x.ru/statistics_hypotesis.html

Интуитивное объяснение проверки гипотез и p-значение

Нулевая гипотеза в статистике: пример. Проверка нулевой гипотезы

Привет, Хабр! Представляю вашему вниманию перевод статьи «An intuitive explanation of Hypothesis Testing and P-Values» автора Joos Korstanje. Несколько лет назад я делал свою первую фриланс-работу по статистике для компании по доставке фруктов и овощей.

Двадцать четыре часа в день поступающие продукты от фермеров до того, как были отправлены в супермаркеты, проходили через отдел по контролю за качеством. Выбор продуктов осуществлялся случайно работниками данного отдела.

В годовом отчёте они заметили, что качество в этом году ниже, чем качество в прошлом: разница составила примерно половину пункта по шкале от 1 до 10. Потом пригласили меня.

Я должен был ответить на вопрос:
Являются ли эти 0,5 пунктов существенной разницей?
Если вы не знаете статистику, то этот вопрос может показаться вам странным. Но не беспокойтесь: цель этой статьи показать вам как можно ответить на этот вопрос, используя проверку гипотез, также называемое статистическим выводом.

Игра в числа: вклад одного яблока

Представьте себе, что вы проверяете яблоко на предмет хорошее оно или плохое, используя случайную выборку яблок из очень большой коробки с яблоками.

В изображении ниже мы видим реальный эффект размера выборки на измерения: эффект одного яблока очень существенен для маленьких выборок и становится менее и менее значимым, чем больше размер выборки.

Вклад одного яблока зависит от размера выборки.

Понимание влияния размера выборки — это первый базис для понимания проверки гипотез. Мы можем начать утверждать, что 0.5 на 2 яблоках будет как разница в 1 яблоко, очень маленькая. Но на 100 яблоках, 0.5 будет представлять собой разницу в 50 яблок: очень большая разница!

На малых выборках 0.5 пункта это небольшая разница, но на больших выборках 0.5 это разница большая.

Насколько большая должна быть выборка: проверка гипотез и значимость как ответ

Есть несколько способов, чтобы ответить на данный вопрос, но в этой статье я собираюсь погрузиться в статистический вывод или проверку гипотез. Проверка гипотез — это семейство статистических методов используемых, чтобы понять, как выборка наблюдаемых объектов может использоваться, чтобы принять или отвергнуть заранее поставленную гипотезу.

Проверка гипотез используется для решения многих задач, в основном в научных исследованиях и как ключевой метод в онлайн маркетинге (А\Б тестирование). Математики разработали проверку гипотез таким образом, что существует определённая процедура для поиска истины.

Проверка гипотез позволяет только проверить гипотезы, но не разработать их.

Из коробки, в которой 100 яблок (назовём её генеральной совокупностью), мы возьмём выборку из 8 яблок. В этом году из 8 яблок 5 оказались гнилыми (62%), а в выборке прошлого года из 8 яблок было только 4 гнилых (50%). Мы хотим использовать проверку гипотез, чтобы определить стал ли процент гнилых яблок в этом году больше, чем в прошлом. Проверка гипотез — это математическая альтернатива для измерения генеральной совокупности. Благодаря этим вычислениям мы можем обобщить измерения небольшой выборки на большую генеральную совокупность. Так мы проделываем меньше работы. Случайно набранная выборка имеет такой же процент гнилых яблок, как и генеральная совокупность, при условии, что набранная выборка достаточно велика. Математики придумали способ, как обобщить вывод, основанный на выборке, на генеральную совокупность. Этот способ начинается с формулировки чёткой исследовательской гипотезы. К сожалению, математика работает только в том случае, если у нас уже есть представление о том, что мы хотим проверить. Основная гипотеза для нашего примера:

Процент гнилых яблок в генеральной совокупности в этом году, больше чем в прошлом.

Фактическая проверка гипотезы

Математика проверки гипотез образует баланс между результатом измерений выборки с числом наблюдений. Результатом будет p-значение. Эти вычисления проходят через использование распределений: почти для каждой воображаемой ситуации был выведен математический закон, который описывает ожидаемый результат.

Для вопросов вида «да/нет», таких как вопрос о наших гнилых яблоках (гнилые/не гнилые), применяется закон подбрасывания монетки. Это самый простой пример математического закона: 50% выпадения решки, 50% орла.

Также очень просто это может быть представлено, как стандартное математическое распределение, которое скажет нам о вероятности наблюдений. Для примера, 7 орлов выпало из 10 подбрасываний монетки.

Это называется биноминальным распределением и может быть изображено так:
биноминальное распределение 10 подбрасываний монетки.

В этой статье я буду далек от тяжёлой математики, но важно знать, что мы можем использовать математические формулы для оценки того, является ли наблюдаемый процент далеким от ожидаемого процента. В конце этой статьи я дам вам список часто используемых формул проверки гипотез для различных случаев и после объясню, как их использовать. Но сначала я объясню интерпретацию проверки гипотез.

Результат проверки гипотез: p-value

За проверкой гипотез есть математический баланс между наблюдаемыми значениями и размером выборки. В конце вычислений каждый существующий вариант тестирования гипотез выдаст стандартизированную оценку, которая позволит сравнить результат, даже когда математика не совсем одинакова.

P-value это стандартный способ, чтобы сформулировать результат проверки гипотез и использовать его в любых других тестах. P-value это число между 0 и 1, которое говорит нам, если разница между нашим наблюдениями выборок, и наши гипотезы сильно различаются. Опорное значение – это 0.05. Разница статистически значима, если p-value меньше 0.05.

И разница статистически не значима, если p-value больше 0.05. Пример 1: Мы сделали 10 подбрасываний монетки. Наша гипотеза: мы ожидаем 5 решек. Наши наблюдения: мы получили 6 решек. Вычисление p-value дало 0.518, что больше, чем 0.05. Наш вывод: разница статистически не значима. Наша интерпретация: результат соответствует гипотезе.

Пример 2: Мы сделали 10 подбрасываний монетки Наша гипотеза: мы ожидаем 5 решек. Наш результат: мы получили 10 решек. Наше p-value — 0.0, что меньше чем 0.05. Наше заключение: разница статистически значима Наша интерпретация: результат не соответствует гипотезе. Пример 3: Мы проверили 10 яблок. Наша гипотеза: мы ожидаем 1 гнилое яблоко.

Наш результат: мы получили 1 гнилых яблок. Наше p-value — 1.0 что больше, чем 0.05. Наше заключение: разница статистически не значима Наша интерпретация: результат соответствует гипотезе. Пример 4: Мы проверили 10 яблок. Наша гипотеза: мы ожидаем 1 гнилое яблоко. Наш результат: мы получили 5 гнилых яблок. Наше p-value — 0.0114 что меньше, чем 0.05.

Наше заключение: разница статистически значима Наша интерпретация: результат не соответствует гипотезе.

Заключение

В этой статье я дал интуитивную интерпретацию общей структуры статистических погрешностей или проверки гипотез. Я надеюсь, что теперь вы лучше понимаете проверку гипотез, и чем она может быть вам полезна. Я не уходил глубоко в математические доказательства и в специфичные детали.

В таблице ниже приведен список самых частых проверок гипотез, которые я рекомендую для дальнейшего изучения. Список с альтернативными гипотезами для некоторых проверок гипотез.

Я надеюсь эта статья будет полезна для вас, и желаю вам удачи в дальнейших исследованиях проверки гипотез.

  • песочница
  • перевод
  • p-значение
  • статистика

Хабы:

Источник: https://habr.com/ru/post/475048/

Проверка гипотез

Нулевая гипотеза в статистике: пример. Проверка нулевой гипотезы

Общий обзор

Определение нулевой и альтернативной гипотезы, уровня статистической значимости

Получение статистики критерия, определение критической области

Получение значения р (достигнутого уровня значимости)

Применение значения р

Проверка гипотез против доверительных интервалов

Часто делают выборку, чтобы определить аргумен­ты против гипотезы относительно популяции (генеральной совокупности). Этот процесс известен как проверка гипотез (проверка статистических гипотез или проверка значимости), он представляет количественную меру аргументов про­тив определенной гипотезы.

Установлено 5 стадий при проверке гипотез:

  1. Определение нулевой () и альтернативной гипотезы () при исследовании. Определение уровня значимости критерия.
  2. Отбор необходимых данных из выборки.
  3. Вычисление значения статистики критерия, отвечающей .
  4. Вычисление критической области, проверка статистики критерия на предмет попадания в критическую область.
  5. Интерпретация достигнутого уровня значимости р и результатов.

Определение нулевой и альтернативной гипотез, уровня статистической значимости

При проверке значимости гипотезу следует формулировать независимо от используемых при ее проверке данных (до проведения проверки). В таком случае можно получить действительно продуктивный результат.

Всегда проверяют нулевую гипотезу (), которая отвергает эффект (например, разница средних равняется нулю) в популяции.

Например, при сравнении показателей курения у мужчин и женщин в популяции нулевая гипотеза означала бы, что показатели курения одинаковые у женщин и мужчин в популяции.

Затем определяют альтернативную гипотезу (), которая принимается, если нулевая гипотеза неверна. Альтернативная гипотеза больше относится к той теории, которую собираются исследовать. Итак, на этом примере альтернативная гипотеза заключается в утверждении, что показатели курения различны у женщин и мужчин в популяции.

Разницу в показателях курения не уточнили, т.е. не установили, имеют ли в популяции мужчины более высокие или более низкие показатели, чем женщины. Такой подход известен как двусторонний критерий, потому что учитывают любую возможность, он рекомендуется постольку, поскольку редко есть уверенность заранее в направлении какого-либо различия, если таковое существует.

В некоторых случаях можно использовать односторонний критерий для гипотезы , в котором направление эффекта задано. Его можно применить, например, если рассматривать заболевание, от которого умерли все пациенты, не получившие лечения; новый препарат не мог бы ухудшить положение дел.

Уровень значимости. Важным этапом проверки статистических гипотез является определение уровня статистической значимости , т.е. максимально допускаемой исследователем вероятности ошибочного отклонения нулевой гипотезы.

Получение статистики критерия, определение критической области

После того как данные будут собраны, значения из выборки подставляют в формулу для вычисления статистики критерия (примеры различных статистик критериев см. ниже). Эта величина количественно отражает аргументы в наборе данных против нулевой гипотезы.

Критическая область. Для принятия решения об отклонении или не отклонении нулевой гипотезы необходимо также определить критическую область проверки гипотезы.

Выделяют 3 вида критических областей:

  • двусторонняя:

Рис. 1 Двусторонняя критическая область

  • левосторонняя:

Рис. 2 Левосторонняя критическая область

  • правосторонняя:

Рис. 3 Правосторонняя критическая область

– заданный исследователем уровень значимости.

Если наблюдаемое значение критерия (K) принадлежит критической области (Kкр, заштрихованная область на рис.1-3), гипотезу отвергают, если не принадлежит – не отвергают.

Для краткости можно записать и так:

| K | >Kкр – отклоняем H0

| K | < Kкр – не отклоняем H0

Все статистики критерия подчиняются известным теоретическим распределениям вероятности. Значение статистики критерия, полученное из выборки, связывают с уже известным распределением, которому она подчиняется, чтобы получить значение р, площадь обоих “хвостов” (или одного “хвоста”, в случае односторонней гипотезы) распределения вероятности.

Большинство компьютерных пакетов обеспечивают автоматическое вычисление двустороннего значения р.

Значение р — это вероятность получения нашего вычисленного значения критерия или его еще большего значения, если нулевая гипотеза верна.

Иными словами, p – это вероятность отвергнуть нулевую гипотезу при условии, что она верна.

Нулевая гипотеза всегда относится к популяции, представляющей больший интерес, нежели выборка. В рамках проверки гипотезы мы либо отвергаем нулевую гипотезу и принимаем альтернативу, либо не отвергаем нулевую гипотезу. Подробнее об ошибках при проверке гипотез

Применение значения р

Следует решить, сколько аргументов позволят отвергнуть нулевую гипотезу в пользу альтернативной. Чем меньше значение р, тем сильнее аргументы против нулевой гипотезы.

  • Традиционно полагают, если р < 0,05, (=0,05) то аргументов достаточно, чтобы отвергнуть нулевую гипотезу, хотя есть небольшой шанс против этого. Тогда можно отвергнуть нулевую гипотезу и сказать, что результаты значимы на 5% уровне.

  • Напротив, если р > 0,05, то аргументов недостаточно, чтобы отвергнуть нулевую гипотезу. Не отвергая нулевую гипотезу, можно заявить, что результаты не значимы на 5% уровне. Данное заключение не означает, что нулевая гипотеза истинна, просто недостаточно аргументов (возможно, маленький объем выборки), чтобы ее отвергнуть.

Уровень значимости (т.е. выбранная “граница отсечки”) 5% задается произвольно. На уровне 5% можно отвергнуть нулевую гипотезу, когда она верна. Если это может привести к серьезным последствиям, необходимо потребовать более веских аргументов, прежде чем отвергнуть нулевую гипотезу, например, выбрать значение = 0,01 (или 0,001).

Определение результата только как значимого на определенном уровне граничного значения (например 0, 05) может ввести в заблуждение. Например, если р = 0,04, то нулевую гипотезу отвергаем, но если р = 0,06, то ее не отвергли бы. Действительно ли они различны? Мы рекомендуем всегда указывать точное значение р, обычно получаемое путем компьютерного анализа.

Проверка гипотез против доверительных интервалов

Доверительные интервалы и проверка гипотез тесно связаны. Первоначальная цель проверки гипотезы состоит в том, чтобы принять решение и предоставить точное значение р.

Доверительный интервал (ДИ) количественно определяет изучаемый эффект (например, разницу в средних) и дает возможность оценить значение результатов. ДИ предоставляют интервал вероятных значений для истинного эффекта, поэтому его также можно использовать для принятия решения даже без точных значений р.

Например, если бы гипотетическое значение для данного эффекта (например, значение, равное нулю) находилось вне 95% ДИ, можно было бы счесть гипотетическое значение неправдоподобным и отвергнуть . В этом случае станет известно, что р< 0,05, но не станет известно его точное значение

Связанные определения:
p-уровень
Альтернативная гипотеза, альтернатива
Альфа-уровень
Бета-уровень
Гипотеза
Двусторонний критерий
Критерий для проверки гипотезы
Критическая область проверки гипотезы
Мощность
Нулевая гипотеза
Односторонний критерий
Ошибка I рода
Ошибка II рода
Статистика критерия
Эквивалентные статистические критерии

В начало

портала

Источник: http://statistica.ru/theory/proverka-gipotez/

О бизнесе
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: