Статистическая значимость различий. Основные термины и понятия медицинской статистики. Время до события

Статистическая значимость результата (p-значение) представляет собой оцененную меру уверенности в его «истинности» (в смысле «репрезентативности выборки»). Выражаясь более технически, p-значение ‑ это показатель, находящийся в убывающей зависимости от надежности результата. Более высокое p-значение соответствует более низкому уровню доверия к найденной в выборке зависимости между переменными. Именно, p-значение представляет собой вероятность ошибки, связанной с распространением наблюдаемого результата на всю популяцию. Например, p-значение=0.05 (т.е. 1/20) показывает, что имеется 5% вероятность, что найденная в выборке связь между переменными является лишь случайной особенностью данной выборки. Иными словами, если данная зависимость в популяции отсутствует, а вы многократно проводили бы подобные эксперименты, то примерно в одном из двадцати повторений эксперимента можно было бы ожидать такой же или более сильной зависимости между переменными.

Во многих исследованиях p-значение=0.05 рассматривается как «приемлемая граница» уровня ошибки.

Не существует никакого способа избежать произвола при принятии решения о том, какой уровень значимости следует действительно считать «значимым». Выбор определенного уровня значимости, выше которого результаты отвергаются как ложные, является достаточно произвольным. На практике окончательное решение обычно зависит от того, был ли результат предсказан априори (т.е. до проведения опыта) или обнаружен апостериорно в результате многих анализов и сравнений, выполненных с множеством данных, а также на традиции, имеющейся в данной области исследований. Обычно во многих областях результат p 0.05 является приемлемой границей статистической значимости, однако следует помнить, что этот уровень все еще включает довольно большую вероятность ошибки (5%). Результаты, значимые на уровне p 0.01 обычно рассматриваются как статистически значимые, а результаты с уровнем p 0.005 или p 0.001 как высоко значимые. Однако следует понимать, что данная классификация уровней значимости достаточно произвольна и является всего лишь неформальным соглашением, принятым на основе практического опыта в той или иной области исследования.

Как было уже сказано, величина зависимости и надежность представляют две различные характеристики зависимостей между переменными. Тем не менее, нельзя сказать, что они совершенно независимы. Говоря общим языком, чем больше величина зависимости (связи) между переменными в выборке обычного объема, тем более она надежна.

Если предполагать отсутствие зависимости между соответствующими переменными в популяции, то наиболее вероятно ожидать, что в исследуемой выборке связь между этими переменными также будет отсутствовать. Таким образом, чем более сильная зависимость обнаружена в выборке, тем менее вероятно, что этой зависимости нет в популяции, из которой она извлечена.

Объем выборки влияет на значимость зависимости. Если наблюдений мало, то соответственно имеется мало возможных комбинаций значений этих переменных и таким образом, вероятность случайного обнаружения комбинации значений, показывающих сильную зависимость, относительно велика.

Как вычисляется уровень статистической значимости. Предположим, вы уже вычислили меру зависимости между двумя переменными (как объяснялось выше). Следующий вопрос, стоящий перед вами: «насколько значима эта зависимость?» Например, является ли 40% объясненной дисперсии между двумя переменными достаточным, чтобы считать зависимость значимой? Ответ: «в зависимости от обстоятельств». Именно, значимость зависит в основном от объема выборки. Как уже объяснялось, в очень больших выборках даже очень слабые зависимости между переменными будут значимыми, в то время как в малых выборках даже очень сильные зависимости не являются надежными. Таким образом, для того чтобы определить уровень статистической значимости, вам нужна функция, которая представляла бы зависимость между «величиной» и «значимостью» зависимости между переменными для каждого объема выборки. Данная функция указала бы вам точно «насколько вероятно получить зависимость данной величины (или больше) в выборке данного объема, в предположении, что в популяции такой зависимости нет». Другими словами, эта функция давала бы уровень значимости (p-значение), и, следовательно, вероятность ошибочно отклонить предположение об отсутствии данной зависимости в популяции. Эта «альтернативная» гипотеза (состоящая в том, что нет зависимости в популяции) обычно называется нулевой гипотезой. Было бы идеально, если бы функция, вычисляющая вероятность ошибки, была линейной и имела только различные наклоны для разных объемов выборки. К сожалению, эта функция существенно более сложная и не всегда точно одна и та же. Тем не менее, в большинстве случаев ее форма известна, и ее можно использовать для определения уровней значимости при исследовании выборок заданного размера. Большинство этих функций связано с очень важным классом распределений, называемым нормальным.

ПЛАТНАЯ ФУНКЦИЯ. Функция статистической значимости доступна только в некоторых тарифных планах. Проверьте, есть ли она в .

Можно узнать, есть ли статистически значимые отличия в ответах, полученных от разных групп респондентов на вопросы в опросе. Для работы с функцией статистической значимости в SurveyMonkey необходимо:

• Включить функцию статистической значимости при добавлении правила сравнения к вопросу в Вашем опросе. Выбрать группы респондентов для сравнения, чтобы отсортировать результаты опроса по группам для наглядного сравнения.
• Изучить таблицы с данными по вопросам Вашего опроса, чтобы выявить наличие статистически значимых отличий в ответах, полученных от различных групп респондентов.

Просмотр статистической значимости

Выполнив нижеописанные действия, Вы сможете создать опрос, отображающий статистическую значимость.

1. Добавьте в опрос вопросы закрытого типа

Для того, чтобы отобразить статистическую значимость во время анализа результатов, Вам понадобится применить правило сравнения к какому-либо вопросу из Вашего опроса.

Применить правило сравнения и вычислить статистическую значимость в ответах можно в том случае, если в схеме опроса Вы используете один из следующих типов вопросов:

Необходимо убедиться в том, что предлагаемые варианты ответа можно разделить на полноценные группы. Варианты ответа, выбираемые Вами для сравнения при создании правила сравнения, будут использованы для организации данных в перекрестные таблицы в рамках всего опроса.

2. Соберите ответы

После завершения составления опроса создайте коллектор для его рассылки. Существует несколько способов .

Вам необходимо получить не менее 30 ответов по каждому варианту ответа, который Вы планируете использовать в своем правиле сравнения, чтобы активировать и просмотреть статистическую значимость.

Пример опроса

Вы хотите узнать, довольны ли мужчины Вашей продукцией значительно больше, чем женщины.

1. Добавьте в опрос два вопроса с множественными вариантами ответа:
   Какой Ваш пол? (мужской, женский)
   Довольны ли Вы или недовольны нашим продуктом? (доволен(-льна), недоволен(-льна))
2. Убедитесь, что не менее 30 респондентов выбрали вариант ответа «мужской» на вопрос о поле, А ТАКЖЕ не менее 30 респондентов в качестве своего пола выбрали вариант «женский».
3. Добавьте правило сравнения к вопросу "Какой Ваш пол?" и выберите оба варианта ответа как Ваши группы.
4. Используйте таблицу данных ниже диаграммы вопроса "Довольны ли Вы или недовольны нашим продуктом?" , чтобы узнать, показывают ли какие-нибудь варианты ответа статистически значимое отличие

Что такое статистически значимое отличие?

Статистически значимое отличие означает, что с помощью статистического анализа установлено наличие существенных отличий между ответами одной группы респондентов и ответами другой группы. Статистическая значимость означает, что полученные цифры достоверно отличаются. Такие знания в значительной мере помогут Вам при анализе данных. Тем не менее, важность полученных результатов определяете Вы. Именно Вы решаете, как толковать результаты опросов и какие меры следует принять на их основе.

Например, Вы получаете больше претензий от покупателей женского пола, чем от покупателей-мужчин. Как определить, является ли такое отличие реальным и требуется ли в связи с этим принять меры? Одним из отличных способов проверить Ваши наблюдения является проведение опроса, который покажет Вам, действительно ли Вашим товаром в значительно большей мере довольны покупатели-мужчины. С помощью статистической формулы предлагаемая нами функция статистической значимости предоставит Вам возможность определить, действительно ли Ваш товар гораздо больше нравится мужчинам, чем женщинам. Это позволит Вам принять меры, основываясь на факты, а не на догадки.

Статистически значимое отличие

Если полученные Вами результаты выделены в таблице данных, это означает, что две группы респондентов значительно отличаются друг от друга. Термин «значительно» не означает, что полученные цифры имеют какую-то особую важность или значение, а лишь то, что между ними есть статистическая разница.

Отсутствие статистически значимого отличия

Если полученные Вами результаты не выделены в соответствующей таблице данных, это означает, что, несмотря на возможную разницу в двух сравниваемых цифрах, между ними нет статистической разницы.

Ответы без статистически значимых отличий демонстрируют, что между двумя сравниваемыми элементами нет значительной разницы при используемом Вами объеме выборки, однако это не обязательно означает, что они не имеют значения. Возможно, увеличив объем выборки, Вы сможете выявить статистически значимое отличие.

Объем выборки

Если у Вас очень малый объем выборки, значительными будут только очень большие отличия между двумя группами. Если у Вас очень большой объем выборки, как небольшие, так и большие отличия будут учтены как значительные.

Тем не менее, если две цифры являются статистически различными, это не означает, что разница между результатами имеет для Вас какое-либо практическое значение. Вам придется самим решить, какие именно отличия значимы для Вашего опроса.

Вычисление статистической значимости

Мы вычисляем статистическую значимость, используя стандартный уровень доверия 95 %. Если вариант ответа отображается как статистически значимый, это означает, что только благодаря случайности либо из-за ошибки выборки отличие между двумя группами имеет место с вероятностью менее 5 % (часто отображается в виде: p<0,05).

Для вычисления статистически значимых отличий между группами мы используем следующие формулы:

*1,96 является значением, применяемым для уровня доверия 95 %, поскольку 95 % диапазона, обрабатываемого функцией t-распределения Стьюдента, лежит в пределах 1,96 стандартного отклонения от среднего значения.

Пример вычислений

Продолжая пример, используемый выше, давайте выясним, действительно ли процент мужчин, заявляющих о том, что они довольны Вашим товаром, значительно выше процента женщин.

Допустим, в Вашем опросе приняло участие 1000 мужчин и 1000 женщин, и в результате опроса оказалось, что 70 % мужчин и 65 % женщин утверждают, что они довольны Вашим товаром. Является ли показатель на уровне 70 % значительно выше показателя на уровне 65 %?

Подставьте следующие данные из опроса в предлагаемые формулы:

• p1 (% мужчин, довольных продуктом) = 0,7
• p2 (% женщин, довольных продуктом) = 0,65
• n1 (количество опрошенных мужчин) = 1000
• n2 (количество опрошенных женщин) = 1000

Поскольку абсолютная величина тестового статистического показателя больше чем 1,96, это означает, что отличие между мужчинами и женщинами является значительным. По сравнению с женщинами мужчины с большей долей вероятности будут довольны Вашим продуктом.

Скрытие статистической значимости

Как скрыть статистическую значимость для всех вопросов

1. Нажмите стрелку «вниз» справа от правила сравнения на левой боковой панели.
2. Выберите пункт Редактировать правило .
3. Отключите функцию Показать статистическую значимость с помощью переключателя.
4. Нажмите кнопку Применить .

Чтобы скрыть статистическую значимость для одного вопроса, необходимо:

1. Нажмите кнопку Настроить над диаграммой данного вопроса.
2. Откройте вкладку Параметры отображения .
3. Снимите флажок напротив пункта Статистическая значимость .
4. Нажмите кнопку Сохранить .

Параметр отображения автоматически активируется при включении отображения статистической значимости. Если снять флажок этого параметра отображения, отображение статистической значимости также будет отключено.

Включите функцию статистической значимости при добавлении правила сравнения к вопросу в Вашем опросе. Изучите таблицы с данными по вопросам Вашего опроса, чтобы выявить наличие статистически значимых отличий в ответах, полученных от различных групп респондентов.

Проверка гипотез проводится с помощью статистического анализа. Статистическую значимость находят с помощью Р-значения, которое соответствует вероятности данного события при предположении, что некоторое утверждение (нулевая гипотеза) истинно. Если Р-значение меньше заданного уровня статистической значимости (обычно это 0,05), экспериментатор может смело заключить, что нулевая гипотеза неверна, и перейти к рассмотрению альтернативной гипотезы. С помощью t-критерия Стьюдента можно вычислить Р-значение и определить значимость для двух наборов данных.

Шаги

Часть 1

Определите свою гипотезу. Первый шаг при оценке статистической значимости состоит в том, чтобы выбрать вопрос, ответ на который вы хотите получить, и сформулировать гипотезу. Гипотеза - это утверждение об экспериментальных данных, их распределении и свойствах. Для любого эксперимента существует как нулевая, так и альтернативная гипотеза. Вообще говоря, вам придется сравнивать два набора данных, чтобы определить, схожи они или различны.

• Нулевая гипотеза (H 0) обычно утверждает, что между двумя наборами данных нет разницы. Например: те ученики, которые читают материал перед занятиями, не получают более высокие оценки.
• Альтернативная гипотеза (H a) противоположна нулевой гипотезе и представляет собой утверждение, которое нужно подтвердить с помощью экспериментальных данных. Например: те ученики, которые читают материал перед занятиями, получают более высокие оценки.

1. Установите уровень значимости, чтобы определить, насколько распределение данных должно отличаться от обычного, чтобы это можно было считать значимым результатом. Уровень значимости (его называют также α {\displaystyle \alpha } -уровнем) - это порог, который вы определяете для статистической значимости. Если Р-значение меньше уровня значимости или равно ему, данные считаются статистически значимыми.

   • Как правило, уровень значимости (значение α {\displaystyle \alpha } ) принимается равным 0,05, и в этом случае вероятность обнаружения случайной разницы между разными наборами данных составляет всего лишь 5%.
   • Чем выше уровень значимости (и, соответственно, меньше Р-значение), тем достовернее результаты.
   • Если вы хотите получить более достоверные результаты, понизьте Р-значение до 0,01. Как правило, более низкие Р-значения используются в производстве, когда необходимо выявить брак в продукции. В этом случае требуется высокая достоверность, чтобы быть уверенным, что все детали работают так, как положено.
   • Для большинства экспериментов с гипотезами достаточно принять уровень значимости равным 0,05.

2. Решите, какой критерий вы будете использовать: односторонний или двусторонний. Одно из предположений в t-критерии Стьюдента гласит, что данные распределены нормальным образом. Нормальное распределение представляет собой колоколообразную кривую с максимальным количеством результатов посередине кривой. t-критерий Стьюдента - это математический метод проверки данных, который позволяет установить, выпадают ли данные за пределы нормального распределения (больше, меньше, либо в “хвостах” кривой).

   • Если вы не уверены, находятся ли данные выше или ниже контрольной группы значений, используйте двусторонний критерий. Это позволит вам определить значимость в обоих направлениях.
   • Если вы знаете, в каком направлении данные могут выйти за пределы нормального распределения, используйте односторонний критерий. В приведенном выше примере мы ожидаем, что оценки студентов повысятся, поэтому можно использовать односторонний критерий.

3. Определите объем выборки с помощью статистической мощности. Статистическая мощность исследования - это вероятность того, что при данном объеме выборки получится ожидаемый результат. Распространенный порог мощности (или β) составляет 80%. Анализ статистической мощности без каких-либо предварительных данных может представлять определенные сложности, поскольку требуется некоторая информация об ожидаемых средних значениях в каждой группе данных и об их стандартных отклонениях. Используйте для анализа статистической мощности онлайн-калькулятор, чтобы определить оптимальный объем выборки для ваших данных.

   • Обычно ученые проводят небольшое пробное исследование, которое позволяет получить данные для анализа статистической мощности и определить объем выборки, необходимый для более расширенного и полного исследования.
   • Если у вас нет возможности провести пробное исследование, постарайтесь на основании литературных данных и результатов других людей оценить возможные средние значения. Возможно, это поможет вам определить оптимальный объем выборки.

   Часть 2

   Вычислите стандартное отклонение

   1. Запишите формулу для стандартного отклонения. Стандартное отклонение показывает, насколько велик разброс данных. Оно позволяет заключить, насколько близки данные, полученные на определенной выборке. На первый взгляд формула кажется довольно сложной, но приведенные ниже объяснения помогут понять ее. Формула имеет следующий вид: s = √∑((x i – µ) 2 /(N – 1)).

      • s - стандартное отклонение;
      • знак ∑ указывает на то, что следует сложить все полученные на выборке данные;
      • x i соответствует i-му значению, то есть отдельному полученному результату;
      • µ - это среднее значение для данной группы;
      • N - общее число данных в выборке.

   2. Найдите среднее значение в каждой группе. Чтобы вычислить стандартное отклонение, необходимо сначала найти среднее значение для каждой исследуемой группы. Среднее значение обозначается греческой буквой µ (мю). Чтобы найти среднее, просто сложите все полученные значения и поделите их на количество данных (объем выборки).

      • Например, чтобы найти среднюю оценку в группе тех учеников, которые изучают материал перед занятиями, рассмотрим небольшой набор данных. Для простоты используем набор из пяти точек: 90, 91, 85, 83 и 94.
      • Сложим вместе все значения: 90 + 91 + 85 + 83 + 94 = 443.
      • Поделим сумму на число значений, N = 5: 443/5 = 88,6.
      • Таким образом, среднее значение для данной группы составляет 88,6.

   3. Вычтите из среднего каждое полученное значение. Следующий шаг заключается в вычислении разницы (x i – µ). Для этого следует вычесть из найденной средней величины каждое полученное значение. В нашем примере необходимо найти пять разностей:

      • (90 – 88,6), (91- 88,6), (85 – 88,6), (83 – 88,6) и (94 – 88,6).
      • В результате получаем следующие значения: 1,4, 2,4, -3,6, -5,6 и 5,4.

   4. Возведите в квадрат каждую полученную величину и сложите их вместе. Каждую из только что найденных величин следует возвести в квадрат. На этом шаге исчезнут все отрицательные значения. Если после данного шага у вас останутся отрицательные числа, значит, вы забыли возвести их в квадрат.

      • Для нашего примера получаем 1,96, 5,76, 12,96, 31,36 и 29,16.
      • Складываем полученные значения: 1,96 + 5,76 + 12,96 + 31,36 + 29,16 = 81,2.

   5. Поделите на объем выборки минус 1. В формуле сумма делится на N – 1 из-за того, что мы не учитываем генеральную совокупность, а берем для оценки выборку из числа всех студентов.

      • Вычитаем: N – 1 = 5 – 1 = 4
      • Делим: 81,2/4 = 20,3

   6. Извлеките квадратный корень. После того как вы поделите сумму на объем выборки минус один, извлеките из найденного значения квадратный корень. Это последний шаг в вычислении стандартного отклонения. Есть статистические программы, которые после введения начальных данных производят все необходимые вычисления.

      • В нашем примере стандартное отклонение оценок тех учеников, которые читают материал перед занятиями, составляет s =√20,3 = 4,51.

      Часть 3

      Определите значимость

      1. Рассчитайте дисперсию между двумя группами данных. До этого шага мы рассматривали пример лишь для одной группы данных. Если вы хотите сравнить две группы, очевидно, следует взять данные для обеих групп. Вычислите стандартное отклонение для второй группы данных, а затем найдите дисперсию между двумя экспериментальными группами. Дисперсия вычисляется по следующей формуле: s d = √((s 1 /N 1) + (s 2 /N 2)).

ДОСТОВЕРНОСТЬ СТАТИСТИЧЕСКАЯ

- англ. credibility /validity, statistical; нем. Validitat, statistische. Последовательность, объективность и отсутствие неясности в статистическом тесте или в к.-л. наборе измерений. Д. с. может быть проверена повторением того же теста (или вопросника) по отношению к тому же самому субъекту, чтобы убедиться, будут ли получены такие же результаты; или сравнением различных частей теста, которыми предполагают измерить один и тот же объект.

Antinazi. Энциклопедия социологии , 2009

Смотреть что такое "ДОСТОВЕРНОСТЬ СТАТИСТИЧЕСКАЯ" в других словарях:

ДОСТОВЕРНОСТЬ СТАТИСТИЧЕСКАЯ - англ. credibility /validity, statistical; нем. Validitat, statistische. Последовательность, объективность и отсутствие неясности в статистическом тесте или в к. л. наборе измерений. Д. с. может быть проверена повторением того же теста (или… … Толковый словарь по социологии

В статистике величину называют статистически значимой, если мала вероятность её случайного возникновения или еще более крайних величин. Здесь под крайностью понимается степень отклонения тестовой статистики от нуль гипотезы. Разница называется… … Википедия

Физическое явление статистической устойчивости состоит в том, что при увеличении величины выборки частота случайного события или среднее значение физической величины стремится к некоторому фиксированному числу. Феномен статистической… … Википедия

ДОСТОВЕРНОСТЬ РАЗЛИЧИЯ (сходства) - аналитико статистическая процедура установления уровня значимости различий или сходств между выборками по изучаемым показателям (переменным) … Современный образовательный процесс: основные понятия и термины

ОТЧЕТНОСТЬ, СТАТИСТИЧЕСКАЯ Большой бухгалтерский словарь

ОТЧЕТНОСТЬ, СТАТИСТИЧЕСКАЯ - форма государственного статистического наблюдения, при которой соответствующие органы получают от предприятий (организаций и учреждений) необходимые им сведения в виде уставленных в законном порядке отчетных документов (статистических отчетов) за … Большой экономический словарь

Наука, занимающаяся изучением приемов систематического наблюдения над массовыми явлениями социальной жизни человека, составления численных их описаний и научной обработки этих описаний. Таким образом, теоретическая статистика есть наука… … Энциклопедический словарь Ф.А. Брокгауза и И.А. Ефрона

Коэффициент корреляции - (Correlation coefficient) Коэффициент корреляции это статистический показатель зависимости двух случайных величин Определение коэффициента корреляции, виды коэффициентов корреляции, свойства коэффициента корреляции, вычисление и применение… … Энциклопедия инвестора

Статистика - (Statistics) Статистика это общетеоретическая наука, изучающая количественные изменения в явлениях и процессах. Государственная статистика, службы статистики, Росстат (Госкомстат), статистические данные, статистика запросов, статистика продаж,… … Энциклопедия инвестора

Корреляция - (Correlation) Корреляция это статистическая взаимосвязь двух или нескольких случайных величин Понятие корреляции, виды корреляции, коэффициент корреляции, корреляционный анализ, корреляция цен, корреляция валютных пар на Форекс Содержание… … Энциклопедия инвестора

Книги

• Исследование в математике и математика в исследовании: Методический сборник по исследовательской деятельности учащихся , Борзенко В.И.. В сборнике представлены методические разработки, применимые в организации исследовательской деятельности учащихся. Первая часть сборника посвящена применению исследовательского подхода в…

Основные черты всякой зависимости между переменными.

Можно отметить два самых простых свойства зависимости между переменными: (a) величина зависимости и (b) надежность зависимости.

- Величина . Величину зависимости легче понять и измерить, чем надежность. Например, если любой мужчина в выборке имел значение числа лейкоцитов (WCC) выше чем любая женщина, то вы можете сказать, что зависимость между двумя переменными (Пол и WCC) очень высокая. Другими словами, вы могли бы предсказать значения одной переменной по значениям другой.

- Надежность ("истинность"). Надежность взаимозависимости - менее наглядное понятие, чем величина зависимости, однако чрезвычайно важное. Надежность зависимости непосредственно связана с репрезентативностью определенной выборки, на основе которой строятся выводы. Другими словами, надежность говорит о том, насколько вероятно, что зависимость будет вновь обнаружена (иными словами, подтвердится) на данных другой выборки, извлеченной из той же самой популяции.

Следует помнить, что конечной целью почти никогда не является изучение данной конкретной выборки значений; выборка представляет интерес лишь постольку, поскольку она дает информацию обо всей популяции. Если исследование удовлетворяет некоторым специальным критериям, то надежность найденных зависимостей между переменными выборки можно количественно оценить и представить с помощью стандартной статистической меры.

Величина зависимости и надежность представляют две различные характеристики зависимостей между переменными. Тем не менее, нельзя сказать, что они совершенно независимы. Чем больше величина зависимости (связи) между переменными в выборке обычного объема, тем более она надежна (см. следующий раздел).

Статистическая значимость результата (p-уровень) представляет собой оцененную меру уверенности в его "истинности" (в смысле "репрезентативности выборки"). Выражаясь более технически, p-уровень – это показатель, находящийся в убывающей зависимости от надежности результата. Более высокий p-уровень соответствует более низкому уровню доверия к найденной в выборке зависимости между переменными. Именно, p-уровень представляет собой вероятность ошибки, связанной с распространением наблюдаемого результата на всю популяцию.

Например, p-уровень = 0.05 (т.е. 1/20) показывает, что имеется 5% вероятность, что найденная в выборке связь между переменными является лишь случайной особенностью данной выборки. Во многих исследованиях p-уровень 0.05 рассматривается как "приемлемая граница" уровня ошибки.

Не существует никакого способа избежать произвола при принятии решения о том, какой уровень значимости следует действительно считать "значимым". Выбор определенного уровня значимости, выше которого результаты отвергаются как ложные, является достаточно произвольным.

На практике окончательное решение обычно зависит от того, был ли результат предсказан априори (т.е. до проведения опыта) или обнаружен апостериорно в результате многих анализов и сравнений, выполненных с множеством данных, а также на традиции, имеющейся в данной области исследований.

Обычно во многих областях результат p .05 является приемлемой границей статистической значимости, однако следует помнить, что этот уровень все еще включает довольно большую вероятность ошибки (5%).

Результаты, значимые на уровне p .01 обычно рассматриваются как статистически значимые, а результаты с уровнем p .005 или p . 001 как высоко значимые. Однако следует понимать, что данная классификация уровней значимости достаточно произвольна и является всего лишь неформальным соглашением, принятым на основе практического опыта в той или иной области исследования .

Понятно, что чем большее число анализов будет проведено с совокупностью собранных данных, тем большее число значимых (на выбранном уровне) результатов будет обнаружено чисто случайно.

Некоторые статистические методы, включающие много сравнений, и, таким образом, имеющие значительный шанс повторить такого рода ошибки, производят специальную корректировку или поправку на общее число сравнений. Тем не менее, многие статистические методы (особенно простые методы разведочного анализа данных) не предлагают какого-либо способа решения данной проблемы.

Если связь между переменными "объективно" слабая, то не существует иного способа проверить такую зависимость кроме как исследовать выборку большого объема. Даже если выборка совершенно репрезентативна, эффект не будет статистически значимым, если выборка мала. Аналогично, если зависимость "объективно" очень сильная, тогда она может быть обнаружена с высокой степенью значимости даже на очень маленькой выборке.

Чем слабее зависимость между переменными, тем большего объема требуется выборка, чтобы значимо ее обнаружить.

Разработано много различных мер взаимосвязи между переменными. Выбор определенной меры в конкретном исследовании зависит от числа переменных, используемых шкал измерения, природы зависимостей и т.д.

Большинство этих мер, тем не менее, подчиняются общему принципу: они пытаются оценить наблюдаемую зависимость, сравнивая ее с "максимальной мыслимой зависимостью" между рассматриваемыми переменными. Говоря технически, обычный способ выполнить такие оценки заключается в том, чтобы посмотреть, как варьируются значения переменных и затем подсчитать, какую часть всей имеющейся вариации можно объяснить наличием "общей" ("совместной") вариации двух (или более) переменных.

Значимость зависит в основном от объема выборки. Как уже объяснялось, в очень больших выборках даже очень слабые зависимости между переменными будут значимыми, в то время как в малых выборках даже очень сильные зависимости не являются надежными.

Таким образом, для того чтобы определить уровень статистической значимости, нужна функция, которая представляла бы зависимость между "величиной" и "значимостью" зависимости между переменными для каждого объема выборки.

Такая функция указала бы точно "насколько вероятно получить зависимость данной величины (или больше) в выборке данного объема, в предположении, что в популяции такой зависимости нет". Другими словами, эта функция давала бы уровень значимости
(p -уровень), и, следовательно, вероятность ошибочно отклонить предположение об отсутствии данной зависимости в популяции.

Эта "альтернативная" гипотеза (состоящая в том, что нет зависимости в популяции) обычно называется нулевой гипотезой .

Было бы идеально, если бы функция, вычисляющая вероятность ошибки, была линейной и имела только различные наклоны для разных объемов выборки. К сожалению, эта функция существенно более сложная и не всегда точно одна и та же. Тем не менее, в большинстве случаев ее форма известна, и ее можно использовать для определения уровней значимости при исследовании выборок заданного размера. Большинство этих функций связано с классом распределений, называемым нормальным .