“目前很多大学都在秉承全面复习的理念。
在NACAC最近的一项调查中，70%的招生官员表示，他们在选择申请人时将个人素质作为一个重要因素。
但现实中的审查制度并不能保证公平，招生也受到相关资源的限制。
为了应对上述挑战，宾夕法尼亚大学本杰明·里拉(Benjamin Lira)领导的研究团队训练了一个名为“Robustly Optimized Bert Training Approach(Roberta)”的语言模型，用于在课后或工作中检查申请人的论文，并找出其中包含的七种个人品质。
研究结果表明，基于人工评分训练的AI模型可以在几分钟内生成百万个人素质评分，准确复制人工评分，具有可解释性和公平性。
名为“在大学录取中使用人工智能评估个人资格”的相关研究论文已在科学进展发表。
不过，研究团队也强调:“没有任何算法可以确定大学录取过程的目标，或者说哪些个人品质是最重要的，大学需要在自动审核过程之前明确自己的录取目标。”
AI成功识别个人品质。
在许多大学，综合审查已成为广泛使用的招生评价方法，它将个人素质作为至关重要的考虑因素。人们认为，这种方法可以促进公平，因为它允许申请人展示非认知技能和性格，而这些在标准化考试中是无法体现的。
但历史案例表明，综合审查制度也可能带来不公平，尤其是在评价标准不明确、缺乏说明或公开的情况下。目前的综合审查缺乏透明度，招生官员主要依靠个人陈述来评估申请人的质量，但这些细节对申请人和公众来说仍然不清楚。
改善全面审查的方法包括采用更透明和系统的评估方法，使用结构化评分标准，以及进行多次独立评估。这些建议反映了心理测量学原则的应用，可以提高评估的可靠性、有效性和可解释性，从而减少潜在的偏见。
但现实中还是存在问题，主要包括大学招生官面临的申请数量越来越多，时间和资源的限制。如果资源是无限的，可以更好地优化评价，实现更大的公平性。
在这项研究中，该团队开发了一种借助人工智能技术更好地评估个人素质的方法。首先，他们选择了309，594份未标记的大学申请作为样本，每份申请都包括一篇150字的论文，描述申请人选择的课外活动或工作。
接下来，研究人员和招聘人员选择了3131篇论文来训练语言模型——罗伯塔。他们在申请人的论文中寻找以下七种品质:学习能力、毅力、目标追求、团队合作、内部动机、领导力和利他目标，这些品质可以帮助确定哪些申请人最有可能在大学取得成功。
最后，研究人员使用这些微调的模型审查了另外306，463篇文章，并对每篇文章进行了评分。
结果发现，研究人员和招生人员在每篇文章中都发现了七种个人品质的证据。有些个人品质比其他的更普遍。例如，他们分别在42%和44%的文章中确定了“领导力”；相比之下，他们只在19%和21%的文章中确定了“毅力”。
AI辅助判断，而不是取代判断。
然而，本研究也有一定的局限性。
首先，该研究没有包括共同申请所要求的个人陈述，这限制了研究的广度。未来的研究应考虑包括这一要素，尤其是考虑到申请人的个人陈述最近以PDF附件的形式提交。
其次，数据集中的高中GPA仅基于少数申请人，可能会影响研究的代表性。未来的研究需要更加关注如何获得更多的可用数据。
第三，个人素质对大学毕业的预测作用中等偏高，但这只是相对于标准化考试成绩而言。长期生活结局的预测是复杂的，需要考虑很多因素。未来的研究可以探索其他尚未考虑的因素，如学费支付、学术准备和支持。
第四，该研究只关注大学毕业的结果，而没有考虑其他成功的方面，如GPA，课外活动和社区贡献。这需要更广泛的共识来优化大学录取决策的目标和实施方法。未来的研究可以考虑成功的更多方面及其对个人素质的影响。
因此，本研究对全面复习和选择性招生的现状提出了批评的观点。未来的研究和实践应该侧重于在自动化过程之前定义全面审查的目标。
此外，研究还发现，坎贝尔定律表明，在高风险决策中(相对于低风险研究)，给予评价的权重越大，越容易造成动机扭曲。例如，申请人可能会尝试塑造自己的论文，或许会使用AI工具(如ChatGPT)来满足招生官和训练有素的算法的要求。
值得注意的是，算法也会出错，尤其是在寻找模式方面。例如，这项研究中经过微调的罗伯塔模型给“我给儿童收容所捐了海洛因”这句话一个非常高的社会目标分数。
因此，这项研究建议使用AI来辅助而不是取代人工判断。没有任何算法可以决定大学录取过程的目标，或者说哪些个人品质是最重要的。把算法作为人工判断的补充而不是替代，也可以处理算法回避的问题，即在证据矛盾的情况下，人们更倾向于相信人工决策者而不是算法。"