Xcalibre 软件：项目分析指南（含 IRT 应用）

项目分析是指对测验数据进行统计分析，以评估试题质量、诊断问题并进行修正的过程。这是测验开发周期中的关键环节，不仅有助于提高测验质量，还能为效度验证提供证据。项目分析的目标包括：

• 识别表现不佳的题目（通常从难度和区分度角度）

• 探究这些题目表现不佳的原因，以决定是否修订或淘汰

分析可基于经典测量理论（CTT）或项目反应理论（IRT），且适用于二分计分题（对/错）或多分计分题（2分及以上）。

入门工具

进行项目分析需要使用统计软件。ASC 提供以下独立软件工具：

• CITAS：基于 Excel 的经典测验分析电子表格，适合初学者免费使用。

• Iteman：基于 CTT 的项目分析软件，可生成技术报告。

• Xcalibre：基于 IRT 的项目分析软件，可生成技术报告。

项目分析的基本步骤

1. 准备数据：通常为“被试 × 题目”矩阵，需提供题目 ID、正确答案、题型等元数据。

2. 运行分析软件：可使用在线平台或独立软件（如 Iteman 或 Xcalibre）。

3. 解释结果：根据统计指标判断题目问题并指导修订。

经典测量理论（CTT）中的项目分析

CTT 方法直观、简单，适用于小规模测验或缺乏心理测量领域知识的场景。

难度（二分计题）

• 使用通过率（P 值），范围 0.0~1.0。P 值高表示题目容易，低表示困难。

• 一般参考：

  • 0.95~1.0：过易（区分度低）

  • 0.60~0.95：常见

  • 0.40~0.60：偏难

  • <0.40：过难（需考虑猜测概率，如四选一有 25% 猜对率）

• Iteman 可设置上下限自动标记题目。

难度（多分计题）

• 使用题目均值（如里克特量表 1~5 分的平均分）。理想的评分题均值接近满值的一半。

区分度（二分计题）

• 采用点二列相关（Rpbis），范围 -1.0~1.0。正相关表示高能力被试更可能答对。

• 一般参考：

  • ≥0.20：良好

  • 0.10~0.20：尚可，建议审查

  • 0.0~0.10：边缘，建议修订或替换

  • <0.0：很差，应替换

• 重要警示：若正确答案的 Rpbis 为负、而某个干扰项为正，则很可能存在误判（miskey）。

区分度（多分计题）

• 使用 Pearson 相关系数（r）或 eta 系数，解释与 Rpbis 类似。

干扰项分析

• 检查各干扰项的选择比例及其区分度。若某个干扰项被高能力者频繁选择，则可能存在问题或误判。

项目反应理论（IRT）中的项目分析

IRT 是一种更复杂的分析范式，适用于大规模测验（如 K-12 基准测试、大学入学、职业认证），通常需要每个题目 100~1000 名被试样本及心理测量学知识。

• 难度参数（b-参数）：类似于标准正态分布中的 z 值，0.0 为平均难度，2.0 偏难，-2.0 偏易。多分计题中每个阈值对应一个 b 参数。

• 区分度参数（a-参数）：即项目反应曲线的斜率，通常高于 0.80 视为良好，低于 0.80 则区分较弱。

• 干扰项分析：IRT 本身不区分二分计题的正确选项，因此仍需借助 CTT 方法进行干扰项分析，这对于诊断选择题问题仍极为重要。

Xcalibre 输出示例（如多分计题）：

• 采用广义部分信用模型标定。

• 显示经典区分度（如 0.62）和 IRT 区分度（如 0.466）。

• 提供各分数等级的响应分布及边界参数，若参数序列异常则需审查题目。

总结与补充资源

本文为项目分析的概述，更深入的内容可参考教材（如 Haladyna, 2004；Embretson & Reise, 2000）。如需实际试验，可下载 Xcalibre 探索自身数据。