大学英语四六级考试的数据处理
2006-12-28 阅读 : 次
大学英语四、六级考试每年考生超过一百万，因此只能依靠机器阅卷。为了保证机器阅卷的精度及正确性，在数据输入阶段还要采取大量质量保证措施。
数据输入阶段结束后即开始数据处理阶段，包括 IRT 等值处理、作文分调整、考生成绩正态化处理三个步骤。大学英语四、六级考试为了进行等值处理，每次考试前一周要组织对比考试，建立 IRT 等值处理模型。
在对客观题进行等值处理后，对作文分进行调整。进行作文分调整的目的是滤除阅卷过程中阅卷员评分的主观误差，保证主观题的阅卷信度。这一步骤完成后输出客观题成绩在 25 分以下而作文成绩在 10 分以上的异常考生清单，这种客观题得分极低而主观题得分相当高的异常情况说明必然在某一环节上发生了差错。这时首先检查考生的答题纸，再查作文成绩，检查是否登分错误、或阅卷员评分错误、或因为考生填错 A、B 卷代号而造成错误等等。在以上步骤都确认正确无误后，输出作文分调整模型。 最后进行各种统计，包括全国的、各省市的、各校的成绩统计。作为数据处理的最后一环还要进行试题分析、完成试卷检验报告 大学英语四、六级考试的数据处理采取如此严格的质量控制措施是为了保证考试的信度，最终也是为了保证考试的效度，因为没有信度就谈不上效度。
等值处理
大规模标准化考试的重要标志之一是分数的可比性。为此，首先必须根据考试的性质和目的确定记分体制，使分数具有可解释性，能够说明分数所反映的考生实际水平，以便于用户使用；此外还必须通过等值处理，使不同考次的分数做到等值，达到可比的目的，并保持稳定的测量标准，也就是保持记分体制的参照系不变。
大学英语四、六级考试等值处理的方法及其质量控制措施见《大学英语四、六级考试效度研究》一书
作文分调整
作文是一种对语言表达能力的考试。学生运用语言的结果，可以直接观察，因此作文是一种直接考试。只要题目出得好，作文对考生语言能力的测量最准确，效度最高。而且作文这种题型最难搞应试培训，也最难搞题海战术。要提高学生的成绩，唯一途径是扎扎实实搞好课堂教学，提高学生实际英语能力。从组织考试的角度来看，采用作文题的困难在于如何保证评分的一致性。
作文题是主观题。所谓主观题只是指在阅卷过程中评分要依靠阅卷员的主观判断的题目。至于命题和答题，当然必然是主观的。这些因素最终都会影响到对作文阅卷的判分。要使作文卷的分数能正确地反映考生的真实能力，如果不考虑考生本身这一因素，则影响最大的主要是命题和阅卷两个因素。
大学英语四、六级考试中安排短文写作这一部分，主要目的是考核学生用英语进行书面表达的能力，也就是说主要是考核语言运用能力，因此大学英语四、六级考试的作文部分不是自由作文，而是有控制的作文，对考生写什么内容有比较明确的要求，用各种明确的方式如提纲、图表、关键词等加以规定；但提纲常用中文给出，以避免考生将提纲中的文字直接抄录进作文。采用有控制的作文也有利于提高评分的一致性。 对作文评分影响最大的是评分过程。同一篇作文，不同的阅卷员可能给出不同的分数。提高作文阅卷的信度就是要保证评分的一致性，包括阅卷员本人的一致性（intra-marker consistency）、阅卷员之间的一致性（inter-marker consistency）、和阅卷点之间的一致性（inter-centre consistency），要采取一定的质量控制措施尽量减少和滤除阅卷员评分的主观性对分数客观性的影响。 近年来在大规模标准化考试中采用作文题的重要性已为大家所接受，对作文评分的研究发展也很快。
作文题的评分通常有两种方法：一种是综合法（holistic approach），一种是分析法（analytic approach）。分析法是把一篇作文分解为若干要点，如内容、结构、文章连贯性（cohesion）、语法、词汇等，不同的要点也可作不同的加权处理，各要点得分的总和即为全篇得分。综合法是凭阅卷员通读一遍的总体印象打分。综合法的优点是能从总体上把握通篇印象，评卷速度比较快。此外，为了提高阅卷的信度也有采用两读的方法，即每篇作文由两名阅卷员分别独立评分，若分数差两档以上，由第三名阅卷员重判。考虑到大学英语四、六级考试规模太大，不可能进行两读，因此，决定采用综合法和一读的评分方法，然后根据考生的客观题得分进行调整，滤除系统误差。大学英语四、六级考试实践和效度研究结果证明，大学英语四、六级考试目前采用的作文分调整方法能保证阅卷信度，详见《大学英语四、六级考试效度研究》一书。
数据输入阶段结束后即开始数据处理阶段，包括 IRT 等值处理、作文分调整、考生成绩正态化处理三个步骤。大学英语四、六级考试为了进行等值处理，每次考试前一周要组织对比考试，建立 IRT 等值处理模型。
在对客观题进行等值处理后，对作文分进行调整。进行作文分调整的目的是滤除阅卷过程中阅卷员评分的主观误差，保证主观题的阅卷信度。这一步骤完成后输出客观题成绩在 25 分以下而作文成绩在 10 分以上的异常考生清单，这种客观题得分极低而主观题得分相当高的异常情况说明必然在某一环节上发生了差错。这时首先检查考生的答题纸，再查作文成绩，检查是否登分错误、或阅卷员评分错误、或因为考生填错 A、B 卷代号而造成错误等等。在以上步骤都确认正确无误后，输出作文分调整模型。 最后进行各种统计，包括全国的、各省市的、各校的成绩统计。作为数据处理的最后一环还要进行试题分析、完成试卷检验报告 大学英语四、六级考试的数据处理采取如此严格的质量控制措施是为了保证考试的信度，最终也是为了保证考试的效度，因为没有信度就谈不上效度。
等值处理
大规模标准化考试的重要标志之一是分数的可比性。为此，首先必须根据考试的性质和目的确定记分体制，使分数具有可解释性，能够说明分数所反映的考生实际水平，以便于用户使用；此外还必须通过等值处理，使不同考次的分数做到等值，达到可比的目的，并保持稳定的测量标准，也就是保持记分体制的参照系不变。
大学英语四、六级考试等值处理的方法及其质量控制措施见《大学英语四、六级考试效度研究》一书
作文分调整
作文是一种对语言表达能力的考试。学生运用语言的结果，可以直接观察，因此作文是一种直接考试。只要题目出得好，作文对考生语言能力的测量最准确，效度最高。而且作文这种题型最难搞应试培训，也最难搞题海战术。要提高学生的成绩，唯一途径是扎扎实实搞好课堂教学，提高学生实际英语能力。从组织考试的角度来看，采用作文题的困难在于如何保证评分的一致性。
作文题是主观题。所谓主观题只是指在阅卷过程中评分要依靠阅卷员的主观判断的题目。至于命题和答题，当然必然是主观的。这些因素最终都会影响到对作文阅卷的判分。要使作文卷的分数能正确地反映考生的真实能力，如果不考虑考生本身这一因素，则影响最大的主要是命题和阅卷两个因素。
大学英语四、六级考试中安排短文写作这一部分，主要目的是考核学生用英语进行书面表达的能力，也就是说主要是考核语言运用能力，因此大学英语四、六级考试的作文部分不是自由作文，而是有控制的作文，对考生写什么内容有比较明确的要求，用各种明确的方式如提纲、图表、关键词等加以规定；但提纲常用中文给出，以避免考生将提纲中的文字直接抄录进作文。采用有控制的作文也有利于提高评分的一致性。 对作文评分影响最大的是评分过程。同一篇作文，不同的阅卷员可能给出不同的分数。提高作文阅卷的信度就是要保证评分的一致性，包括阅卷员本人的一致性（intra-marker consistency）、阅卷员之间的一致性（inter-marker consistency）、和阅卷点之间的一致性（inter-centre consistency），要采取一定的质量控制措施尽量减少和滤除阅卷员评分的主观性对分数客观性的影响。 近年来在大规模标准化考试中采用作文题的重要性已为大家所接受，对作文评分的研究发展也很快。
作文题的评分通常有两种方法：一种是综合法（holistic approach），一种是分析法（analytic approach）。分析法是把一篇作文分解为若干要点，如内容、结构、文章连贯性（cohesion）、语法、词汇等，不同的要点也可作不同的加权处理，各要点得分的总和即为全篇得分。综合法是凭阅卷员通读一遍的总体印象打分。综合法的优点是能从总体上把握通篇印象，评卷速度比较快。此外，为了提高阅卷的信度也有采用两读的方法，即每篇作文由两名阅卷员分别独立评分，若分数差两档以上，由第三名阅卷员重判。考虑到大学英语四、六级考试规模太大，不可能进行两读，因此，决定采用综合法和一读的评分方法，然后根据考生的客观题得分进行调整，滤除系统误差。大学英语四、六级考试实践和效度研究结果证明，大学英语四、六级考试目前采用的作文分调整方法能保证阅卷信度，详见《大学英语四、六级考试效度研究》一书。
本文地址：http://www.cetclub.com/kaoshizixun/kaoshizhengce/2018-06-22/998.html
上一篇：英语四级考试纵横谈 下一篇：关于四六级证书的修改、补办及查伪
