测量效度的整合方法

整合测量始于理论方法，第一个步骤是将构念概念化，这包括给构念下定义并限定构念范围（维度）；接下来需要根据概念化的过程来确定指标或者项目（如第5章的量表过程所述）。在确定指标的过程中，文献述评是非常有益的，应以简单易懂的文字对每个项目进行一致描述。

接下来的一步是评判小组进行评测（研究方法领域的学者或具有典型性的一组被试），这个测评小组将对每个指标进行检验并进行Q分类分析。评判会得到写有构念及其概念化定义和操作指标的卡片（每张卡片上写有一个指标），然后他们将独立地阅读每张指标卡，检验其明晰度、可读性以及指标语义，并根据所得到的构念定义，将每张指标卡归类到最合适的构念之中。

评判间信度用以测量评判对分类的一致性。多个评判未领会的具有歧义的项目可能需要重新检验、重述或者剔除。评判间信度较高的项目（一般10到15个）可以保留以备进一步的分析。保留的项目需经过评判对表面效度和内容效度进行进一步检验，如果在这一阶段达标的项目不够，则需根据概念化的定义引进新的项目，一般来讲，要得到最能代表构念且评判间信度高的一系列项目需要两到三轮的Q分类。

随后进行的是实证领域的有效性考察，量表需包含所有精确的项目，并从目标人群中选取具有代表性的被试组成试验性被试组进行试验，由此收集到的数据应以表格列示并运用软件程序（如SAS或者SPSS）进行相关分析或者探索性因子分析来评价聚合效度和区分效度。不满足因子载荷标准的项目（同因子载荷高于0.6，交互因子负荷低于0.3），剩下的项目需利用内在一致性系数（如克隆巴赫系数）进行信度测量。

量表维度也需要校验，这取决于目标构念被概念化为单维度还是多维度。然后，运用回归分析和结构方程模型对特定理论关系网中构念的预测能力进行评价，如果构念测量满足了本章中所述的大部分信度和效度，那么基本可以确信量表是精确和合理的。

对量表有效性的综合测量需要花费研究者大量的时间和精力，不过，为了确保量表符合研究规范，上示测量程序是不可或缺的，由于有缺陷的量表会导致无意义的结果，量表的有效性测量仍然是实证研究中的重要领域。