6月19日，上海人工智能实验室发布首个AI高考全卷评测结果，月初开源的阿里通义千问大模型Qwen2-72B排名之一，在语数外三科420分的满分中获得303分，OpenAI的GPT-4o和上海人工智能实验室的书生·浦语2.0文曲星（InternLM2-20B-WQX）排名二三位。
本次评测采用全国新课标I卷，参与评测的所有开源模型，开源时间均早于高考，确保评测 “闭卷”性。全卷试题既包含选择、填空等“答案唯一性”题目，也包括简答、阅读理解及作文等主观题，在更加接近真实高考的环境中测试模型能力。大模型的成绩由具有高考评卷经验的教师人工评判，更加接近真实阅卷标准。
大模型数学成绩都不及格
因为受测的开源模型均为大语言模型，在评测过程中，仅输入文字题干（数学包含2道带图试题），英语听力部分（分值30分）不纳入此次评测。
结果，阿里Qwen2-72B以总分303分排名之一，其中语文124分（满分150分），数学70分（满分150分），英语109分（满分120分）；GPT-4o以总分296分位居第二，其中语文111.5分，数学73分，英语111.5分；“书生·浦语”2.0文曲星以0.5分之差排名第三，其中语文112分，数学75分，英语108.5分。
7个大模型的语数外得分情况
可以看到，“AI考生”三甲都擅长文科，语文和英语成绩优良，然而它们的数学推理能力有待提升，高考数学成绩都不及格。目前，数学是所有大模型的短板，得益于上海人工智能实验室在数学推理上的投入，“书生·浦语”2.0文曲星在高考中得到75分，在所有受测模型中位居榜首，但仍存在较大的提升空间。
阅卷老师点评“考生”表现
对于这些“AI考生”的语数外水平，老师们给出了中肯的评价——
语文评卷显示，大模型的现代文阅读理解能力普遍较强，但是不同模型的文言文阅读理解能力差距较大。大模型写的作文更像问答题，虽然有针对性，但缺乏修饰，几乎不用人类考生都会使用的举例论证、引用论证、名人名言等手法。多数大模型不理解“本体”“喻体”“暗喻”等语文概念。对于文章中的一些“潜台词”，大模型还无法完全理解。
7个大模型的语文各题型得分情况
数学评卷显示，大模型的主观题回答相对凌乱，而且解题过程有迷惑性，甚至出现过程错误但得到正确答案的情况。大模型的公式记忆能力很强，但无法在解题过程中灵活运用。
7个大模型的数学各题型得分情况
大模型的英语整体表现良好，然而部分模型由于不适应一些题型，在七选五、完形填空等题型上得分较低。大模型写的英语作文普遍存在因超出字数限制被扣分的情况，而人类考生大多因为字数不够被扣分。
7个大模型的英语各题型得分情况
（综合自上观新闻、）
发表评论