Статистические ошибки и остатки возникают из-за того, что измерения никогда не бывают точными.
Точное измерение невозможно, но можно сказать, насколько точным оно является. Можно измерять одно и то же снова и снова, и собирать все данные вместе. Это позволяет делать статистику по данным. Под ошибками и остатками подразумевается разница между наблюдаемой или измеряемой величиной и реальной величиной, которая неизвестна.
Если существует только одна случайная переменная, то разница между статистическими погрешностями и остатками - это разница между средним значением населения и средним значением (наблюдаемой) выборки. В этом случае остаток - это разница между тем, что говорит распределение вероятностей, и тем, что было фактически измерено.
Предположим, есть эксперимент по измерению роста 21-летних мужчин из определенного района. Среднее значение распределения составляет 1,75 м. Если один случайно выбранный мужчина ростом 1,80 м, то "(статистическая) погрешность" составляет 0,05 м (5 см); если он 1,70 м, то погрешность -5 см.
Остаточная (или подходящая) погрешность, с другой стороны, является наблюдаемой оценкой неочевидной статистической погрешности. В простейшем случае речь идет о случайной выборке из n мужчин, высота которых измеряется. Среднее значение в выборке используется в качестве оценки среднего значения популяции. Тогда мы имеем:
- Разница между ростом каждого мужчины в выборке и невыявленным средним показателем численности населения является статистической погрешностью, и
- Разница между высотой каждого человека в образце и наблюдаемой средней величиной образца является остаточной.
Сумма остатков в случайной выборке должна быть равна нулю. Поэтому остатки не являются независимыми. Сумма статистических ошибок внутри случайной выборки не обязательно должна быть равна нулю; статистические ошибки являются независимыми случайными переменными, если отдельные лица выбираются из совокупности независимо.
В общем: