研究设计的质量取决于四个关键设计属性：内部效度，外部效度，构念效度和统计结论效度。
内部效度，也被称为因果关系，它研究因变量的变化是否确实由假定的自变量的变化所造成，而不是由与研究背景毫无关联的外生变量所引起的。因果关系的存在需要三个条件：（1）原因和结果相互关联（也就是说，如果原因发生了，那么也会产生相应的结果；如果原因不发生，那么也不会产生相应的结果）；（2）时间优先：原因必须先于结果而发生；（3）没有其他看似合理的解释（或伪相关）。某些研究设计，例如实验室实验，具有较高的内部效度。这是因为实验室实验能够在控制外生变量影响的同时，通过某些控制条件对自变量（即原因）进行操控，并在控制施加的一段时间后观察结果（因变量）的变化。其他的研究设计，如现场调查，由于无法操控自变量（即原因），而且原因和结果都是在相同的时间点观察到的（这与原因必须优先于结果的条件相违背，并造成似乎是预期的结果影响到原因，而不是原因影响结果），因而缺乏内部效度。虽然实验研究与其他研究方法相比具有较高的内部效度，但是实验研究易受到历史记录、测试、试验设备、回归和其他因素的影响。我们将在实验设计这一章中对该内容进行详细地阐述。尽管如此，不同的研究设计在各自的内部效度水平上差异还是很大的。
外部效度或可推广性主要指所观察的相关性是否可以从样本推广到总体（总体效度），或是否适用于其他人、其他组织、其他情境，或其他时间（即生态效度）。比如，从美国金融公司样本推出的结论是否可以推广至所有金融公司（总体效度）或美国的其它公司（生态效度）？调查研究的数据来源于各种各样的个人、企业或者其他分析单位。这种研究往往比实验研究更具普遍性。这是因为实验研究会严格地人为控制外生变量，但在现实环境下这些外生变量是不可控的，因而导致实验研究的结论很难得到推广。各种研究设计的内部效度和外部效度如图表 5.1所示。
一些研究人员认为内部效度和外部效度之间存在着权衡关系，即只有在牺牲内部效度的情况下才能获得高的外部效度，反之亦然。但是，也未必总是如此。如现场实验、纵向现场调查、以及多案例研究等研究设计就可以同时实现较高的内部效度和外部效度。就我个人而言，我更倾向于兼具合理的内部效度和外部效度的研究设计，即落于如图表 5.1所示的锥形区域内的研究设计。但这并不能表明位于锥形区域之外的研究设计的价值或有用性更低。研究者最终将根据个人的偏好和能力，以及他想获得的内部效度和外部效度水平来选择研究设计。
构念效度衡量的是给定的量表在多大程度上测量了该理论构念。社会科学研究中的许多构念，如移情、变革阻力以及组织学习等都是难以界定的，更不用说去衡量了。例如，构念效度必须保证对移情这一构念的衡量确实反映的是共同感受而不是同情怜悯。要做到这一点可能会比较困难，这是因为这些构念在意义上比较相近。在下一章节中，我们描述了如何在实证研究中通过相关分析和因子分析来评估构念效度。
统计结论效度检验的是在多大程度上由统计方法所推导出的结论是有效的。例如，统计结论效度会分析假设检验是否使用了正确的统计方法、所使用的研究变量是否符合统计检验的假定条件(如样本大小或分布要求)等。因为诠释性研究设计并不使用统计检验，所以诠释性研究不存在统计结论效度的问题。在图表 5.2中，我们给出了不同的效度及其在理论和实证研究层面所处的位置。
- 4830 reads
