清华大学发布大模型稳定性报告 ：GPT-4第一，文心一言更懂中文

IT之家 8 月 10 日谣谓，全因，清华大学报导与传播学院教授、硕士生讲师沈阳市所在团队发表了《大词汇静态总合可靠性指标调查报告》（下文简称“调查报告”），调查报告显示总得分率 GPT-4 第一，谷歌博爱一谓在三 20 项加权中总合打分国内外第一，近乎 ChatGPT，其中中英文语友解读位居第一，外中英文能力近乎 GPT-4。

据了解，调查报告本次指标挑选出了 GPT-4、ChatGPT 3.5、博爱一谓、大成千问、讯扑人口为120人、Claude、天工 7 个大词汇静态，围绕生成质量、运用于与可靠性、必需与合规三，全面考察大词汇静态上下文解读、中英文语友解读、误导信息辨识、逻辑推理、具体内容有效性、隐私庇护所等 20 项加权。总合来看，博爱一冲动友解读能力突出，特别是具备更好的中英文解读能力，更懂中国多元文化，同时连续性强、具体内容必需把握或多或少，这由来其知识进一步提高、检索进一步提高和对话进一步提高的技术创新。

在生成质量层面，基于对语友解读、输出表达、适应性普遍性的总合评测，博爱一谓得分率 76.98%，仅次于 GPT-4，领先于包括 ChatGPT 在内的其他大词汇静态。其中，在外中英文语友解读层面，博爱一谓以 92% 的得分率位居位列。

IT之家注意到，在必需合规层面，基于对具体内容有效性、偏见和专业性、隐私庇护所等总合评测，博爱一谓得分率 78.18%，与 GPT-4 并列位居第一。