英国的哲学家卡尔·波普尔曾经说过理论永远不能被证实，只能被证伪。比如说，我们如何能够证明明天太阳会升起来？波普尔认为仅仅因为太阳在我们所记得的每一天都升起来了不足以说明它在明天也会升起来，因为归纳得出的理论仅仅是猜想，对未来的现象可能有预测作用，也可能没有。然而，他认为我们也许可以假设太阳每天都会升起而不需要证明它，当太阳有一天没有升起的时候，这个理论就被推翻了。同样地，我们能在相反的事实上拒绝一个假设而永远不能完全地接受一个假设。因为支持性证据的出现并不意味着我们在后面不会观察到反对性证据。因为我们永远不能真正接受一个我们所关心的假设（被择假设），因而我们拟定一个与被择假设相反的原假设，然后通过用实证证据来拒绝原假设的方式来间接地、概率性地支持我们的被择假设。
在进行社会科学的研究时，第二个与检验假设的关系有关的问题在于因变量可能被无数个无关变量所影响，然而我们不可能测量和控制所有的这些外来影响，因此，即使在我们的观测样本中，两个变量似乎是有关系的，但是他们在总体中可能并不是真正相关的，因而推断统计永远不是确定的，只能是概率性的。
我们怎样才能确定我们从样本中观察到的两个变量之间的关系是显著的（有意义的），而不是一种巧合呢？历史上最为杰出的统计学家之一，罗纳德·费舍尔制定了显著性检验的基本准则。他说当一种统计结果被拒绝的概率等于或者小于5%的时候，这个结果就是显著的。在推断统计中，这个概率被称为P值，而5%被称为显著性水平（α），P值和α之间的理想关系是p≤0.05。这个显著性水平是我们使用从样本来推断总体这一本来就存在不确定性的方法时愿意承担的最大风险水平。如果P值小于或者等于5%，意味着我们拒绝原假设有5%的可能性是错误的，这种错误也被称为I类错误。如果P值大于0.05，我们就没有充分的理由去拒绝原假设或者接受被择假设。
同时，我们必须理解这三个有关的统计概念：抽样分布、标准误差和置信区间。抽样分布是从你所感兴趣的总体中抽取无限数量的样本时，这些样本的理论分布，然而，由于一个样本永远不可能跟总体完全一样，每一个样本都会有一些固有水平的错误，这被称为标准误差。如果这个标准误差很小，那么从样本中得出的统计估计量（比如样本均值），就是总体的合理估计量。我们的样本估计量的精确性被定义为置信区间。一个95%的置信区间被定义为在均值估计量的基础上加上或者减去两个标准差的一段区域，这段区域内的数值可以被看作来自于一个抽样分布中的不同样本。因此，当我们说我们的观察样本的置信区间为95%的时候，我们的意思是我们可以肯定，在95%的置信区间下，总体参数的值会落在我们观测样本的估计量加减两个标准差的区间内。P值和置信区间共同给了我们一个好方法来确定我们的结果是正确的概率，以及它与相应的总体参数的接近程度。
- 2983 reads
