1 入口
https://yiyan.baidu.com/文章来源:https://www.uudwc.com/A/EvaPm/
2 界面
2.1 整体界面
- 目标:作为普通用户使用。
- 结果:整体设计很好,各种角色和提示词,界面也好看,细节到位。
3 模型效果
3.1 写一段微信小程序
- 目标:对于本土化的工具,国外文本生成支持不是很好。
- 结果:看着还不错,还没试运行。
3.2 当朋友聊天我会找谁
- 目标:讨论一些人文问题,提出一些之前和 ChatGPT 聊到的问题,对比答案。
- 结果:答案也大差不差,呵呵…… 相对 ChatGPT,我觉得 ERNIE 比较教条,调性不太一样。
3.3 业务能力
- 目标:具体业务的能力。
- 结果:测试了一下总结长文的能力,理解能力可用。
4 易用性
4.1 申请 API
- 目标:真正解决问题,还是需要使用 API。
- 结果:230831 早上 3:00 申请,10:13 收到短信,通过审核。
4.2 费用
- 目标:看看用哪个更划算
- 结果:差不多
- 文心一言:ERNIE-Bot-turbo 0.008元/千tokens
- ChatGPT:0.002美元/千tokens
- 评论:
千帆支持多个模型,有ERNIE的,也有LAMMA,不同模型计费方式不同,可对比不同模型效果;这里更像是个集成平台,而非完全是百度的大语言模型。
4.3 反馈时间
- 目标:评测反馈时间
- 结果:
- 问了第一个问题(demo代码中的默认问题)反馈时间 1s
- 问第二个问题时,提示:Open api daily request limit reached
- 开通了 ERNIE-Bot-turbo 后可正常使用
- 客服说送了 20 代金券,但我没找到在哪儿
- 重复两次问了一个 800 字的问题,API 反馈时间 3-3.5s(同一问题,ChatGPT网页版回答4s左右)
4.4 长度限制
- 目标:评测其长度限制
- 结果:
- 我向它提问:“ERNIE-Bot-turbo 每次提问 token 的长度限制是多少”,回答:“ERNIE-Bot-turbo 每次提问的 token 的长度限制是64个字符”,这明显是不对的。
- 我在文档里也没找到,重要参数是不是应该写在比较显眼的地方。
4.5 学习成本
- 目标:评价学习成本
- 结果:
- 调用 http 请求,不需要额外安装 Python 包
- 可能是出于安全考虑,需要先获得 access_token
- Python代码量不大,学习成本不高
- 相关文档:https://cloud.baidu.com/doc/WENXINWORKSHOP/s/4lilb2lpf
5 整体感受
- 至少不用 xx 上网
- 中文内容支持更好一些
- 客服打电话,加微信,问公司信息,又无法回答技术问题,推销感让人觉得有点……
- 我自已用,还是优先 ChatGPT;公司用的,需要正规的渠道,文心一言会比较合适。
6 关于评测
大家都不开源,偏重又不一样,普通用户仅仅问几个问题,也评测不出啥效果,只能收集一些大概的感觉。比如,单位用会考虑:是否可用,是否有明显问题;自己常用的领域,支持地好不好;提问和回答的限制价格;自己用可能会考虑:思维的广度,世界观。文章来源地址https://www.uudwc.com/A/EvaPm/