搜狐科技“实测”中外两款大模型：GPT-4写藏头诗失败，文心一言更懂中文？

出品 | 搜狐科技

作者 | 郑松毅

【资料图】

编辑 | 杨锦

3月16日，百度大语言模型、生成式AI产品文心一言正式发布，定位预训练生成式大预言模型，主要面向文学创作、商业文案创作、数理推算、中文理解和多模态生成五个场景。

会上，百度创始人、董事长兼首席执行官李彦宏通过问答演示展示了这五个场景下文心一言的表现。

相比昨日OpenAI最新推出的GPT-4大模型，文心一言的能力究竟如何？搜狐科技将百度在发布会上展示的问题，在GPT-4上进行了同题问答，希望能够直观地观察文心一言与GPT-4这两款大模型的水平与特色。

Q1.《三体》的作者是哪里人？

百度文心一言答案：

GPT-4答案：

总结：百度文心一言的回答更为详细。

Q2.可以总结一下三体的核心内容吗？如果续写的话，可以从哪些角度出发？

百度文心一言答案：

GPT-4答案：

总结：文心一言更多的从文学结构及符合中国逻辑的文学创作角度出发去寻找续写的方向，而GPT-4的思维更偏向于利用外星人等创造性话题凸显剧情的精彩。

Q3.如果要成立一个用大模型服务中小企业数字化升级的科技服务公司，可以起什么公司名字？

百度文心一言答案：

GPT-4答案：

总结：百度文心一言是利用中文字义凸显中国的取名文化，而ChatGPT-4更多的是基于英文的词义特点体现取名文化。

Q4.下面我们来玩一个鸡兔同笼的游戏。1只鸡有2只脚1个头，1只兔子有4只脚1个头。那么，如果笼子里有9个头，40只脚，应该有多少只鸡，多少只兔子？

百度文心一言答案：

GPT-4答案：

总结：虽然文言一心和ChatGPT-4都能识别出本题目有错，但看起来ChatGPT-4将错误点讲解的更为详细，有利于题目创作者更快的发现问题所在。

把Q4的问题更正后：下面我们来玩一个鸡兔同笼的游戏。1只鸡有2只脚1个头，1只兔子有4只脚1个头。那么，如果笼子里有9个头，30只脚，应该有多少只鸡，多少只兔子？

百度文心一言答案：

GPT-4答案：

总结：百度文心一言对这个问题回答的是正确的结果，而ChatGPT-4给出的是错误答案。可见文心一言对于复杂问题的计算能力优于GPT-4。

Q5. 请用洛阳纸贵四个字写一首藏头诗？

百度文心一言答案：

ChatGPT-4答案：

总结：百度文心一言对于中文的理解力及创造能力优于GPT-4。

从测试结果中可以发现，百度文心一言的对话、计算能力及文本创作能力似乎并不逊于GPT4，相较于主要基于外国数据库训练的GPT-4，百度文心一言在中文语境下的确更有优势。

不过，需要指出的是，百度在发布会上做文心一言能力展示时，有些问题尚未描述完结果就已出现，更像是提前录制好的“DEMO”，而非现场实测。

“不能说我们完全ready了，文心一言对标ChatGPT、甚至是对标GPT-4，门槛是很高的，全球大厂还没有一个做出来的，百度是第一个。”

发布会上，李彦宏坦言，自己测试后感觉还是有很多不完美的地方。李彦宏在整个发布过程中也明显可以看出紧张情绪。文心一言发布后，港股百度集团股价盘中走低，一度跌近10%。

据了解，百度将于即日起开启文心一言的内测，首批用户可以通过邀请测试码体验，后续搜狐科技也将带来更为深入的实测对比。

责任编辑：

关键词：