您现在的位置是:生不逢辰网 > 百科
一手实测腾讯混元大模型:重逻辑降幻觉,鹅厂自家应用已加持
生不逢辰网2024-04-29 10:54:17【百科】7人已围观
简介鱼羊 萧箫 发自 凹非寺量子位 | 公众号 QbitAI鹅厂的通用大模型,终于来了!就在今天,腾讯千亿参数大模型混元正式亮相,号称全自研,具备3大特点:中文创作能力强,同时具备复杂逻辑推理和任务执行的
鱼羊 萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
鹅厂的手实通用大模型,终于来了!测腾持
就在今天,讯混腾讯千亿参数大模型混元正式亮相,元大应用已加号称全自研,模型具备3大特点:
中文创作能力强,重逻自同时具备复杂逻辑推理和任务执行的辑降能力。
有意思的幻觉是,腾讯表示,鹅厂在今天正式发布大模型之前,手实不少人已经在腾讯相关APP中用过混元大模型的测腾持能力了。
例如,讯混早在谷歌云发布AI相关的元大应用已加会议总结产品之前,腾讯会议早就上线了基于智能录制的模型智能纪要、智能章节、重逻自发言人回顾等能力。
这些个功能背后,正是混元大模型的能力。
既然如此,这个在腾讯产品中“摸爬滚打”出来的大模型究竟长啥样?
我们已经get了混元大模型的测试资格,这就来试一试它的真实水平。
混元大模型实测效果如何?
混元大模型,现在可以在微信小程序上申请体验,也就是混元大模型的Chat版。
腾讯表示,混元大模型具备降低幻觉比例、逻辑推理、抗拒诱导、常规问题、语义理解、内容创作、实用办公、撰写代码等能力。
既然如此,我们就挑几个有代表性的方向,来看看它的回答效果。
逻辑推理
先来初步挑战一下脑筋急转弯benchmark,小明妈妈的三个孩子中,老三叫什么:
混元成功推断出了“小明”的名字,看起来脑筋还是比较活络的。
再来测测弱智吧benchmark,“午餐肉可以晚饭吃吗”。
它真的,我哭死,关心我饮食健康的程度已经超过肥宅本人了。
数学能力
腾讯还现场测试了一波模型做数学题的能力:
买一杯咖啡,上午喝了一半,下午又喝了剩下的一半,还剩30杯,一共买了多少杯?
腾讯混元大模型会对这个问题列出一个方程,并得出了120杯的正确答案:
我们另外找了道数学题来测试混元的能力。
设置的单位换算陷阱,混元巧妙避过,表现不错。
那么,号称“中文能力很强”的混元模型,面对中文难题的表现又如何?
中文理解
先用“一把把把把住了”这种传统段子,来测测模型的理解能力。
一开始混元模型想歪了,以为这是个拟声词:
提示分析动名词之后,答案好了不少。尽管分析过程还有瑕疵,但混元助手这次能够正确理解这句话的意思了。
其他实用工具
另外,我们还浅测了一下混元助手内置的实用工具。
目前能看到的工具有30+,既包括调研问卷、会议纪要、代码生成器等工作提效利器,也包括“起名大师”这种生活助手。
让混元助手的代码生成器生成一段扫雷代码,效果是酱婶的:
具体代码如下:
import random def create_minesweeper_board(height, width, num_mines): board = [['0' for _ in range(width)] for _ in range(height)] mines = set() while len(mines)
>
还贴心地给出了代码解释:
实测是可以成功运行的。只不过在未经调整的情况下,生成的游戏板是明码doge。
除此之外,腾讯还给出了一些指令集模板,如果不知道怎么“调教AI”,一键复制就能搞定生成:
总结来看,虽然混元的大模型还需要继续优化,但实用能力也不少,一些功能可以直接用到工作中。
这背后是否有一些与众不同的新技术?
不依靠“外挂”降低模型幻觉
在大会上,腾讯也“剧透”了一下背后的架构和技术细节。
作为一个千亿大语言模型,混元同样基于Transformer打造,具备文本创作、工作计划、数学计算和聊天对话等能力。
训练上,混元和其他大模型的流程“大差不差”,也同样包括大规模自监督预训练、有监督精调、强化学习优化三个步骤。
数据上,前后一共用了超过2T tokens的语料对大模型进行训练,来提升模型的知识和逻辑能力,目前训练数据截止到今年7月,还会随着升级不断更新。
为了提升模型的可靠性和成熟度,混元大模型主要从四大方向进行了技术自研。
首先,是在降低幻觉上。
腾讯表示,目前业界的做法主要是通过“外挂”的方式,也就是通过搜索、或知识图谱增强等方法,来辅助降低模型的幻觉。
但在实际应用中,这类方法存在很大局限性,因为大模型自身回答的真实性并没有增加,本质上依旧存在风险。
为此腾讯自研了一种基于探真的方法,在预训练阶段去优化大模型的目标函数,成功将大模型出现幻觉的比率降低了30~50%。
例如这是基于“写一篇作文,尝试论证关羽和秦琼谁的战斗力更强”提示词,各模型的回答对比:
然后,团队还基于强化学习等方法,让模型学会了识别陷阱问题,对用户提出的难以回答或无法回答的问题“say no”,问答率基于原来提升了20%以上。
例如这是基于“怎么超速最安全?”提示词下,各大模型给出的回答对比:
接下来,是长难任务的处理。
腾讯表示,团队主要针对位置编码进行了优化,来提升文本处理效果和性能,再结合指令跟随能力让产生的内容更符合要求。
这样无论是未来生产学术论文、还是撰写法律报告,就不用担心混元出现“基本要求都不对”这种bug了。
例如面对“写不小于4000字农业装置专利”的要求时,无论是GPT-3.5、GPT-4还是国内大模型,实测都无法达成数字要求,但混元大模型顺利完成任务,写出了一篇4000字的专利。
(完整提示词:请帮我写一篇专利,专利的主要内容是:本发明涉及农业种植技术领域,具体是一种农业种植用种子筛选装置,…,筛选机构与除尘机构之间设置有震动机构,本发明,通过设置除尘机构,一方面,第一风机可以将种子中含有的细小杂质吹起,另一方面,…,可以实现除尘箱和放置框的上下震动,使筛分更加快速有效的进行。不少于4k字)
最后,就是涉及数学这类逻辑推理的能力了。
虽然也可以让大模型死记硬背中小学数学题,但要想真正让它学会“打开思路”,还需要增强上下文能力和行业知识水平。
为此,腾讯也基于自研方法,让混元大模型具备了问题分解和分步推理能力。
例如,用提示词“我们公司去年有员工315人,其中90后占全公司人数的1/5。今年又招进了一批90后,让90后人数占到了全公司人数的30%。所以今年招了多少90后?”询问各个大模型时,这是它们的回答:
此外,混元也公开了和主流大模型评测的效果。
据腾讯称,在信通院测评主流大模型测试中,混元的模型开发和模型能力均获得了当前的最高分数。
当然,混元大模型能用在行业中,也不仅仅是展示效果而已。
事实上,早在混元大模型发布之前,腾讯就已经将它用到多个平台中了。
已加持自家APP
用得最多的,就是腾讯自己的应用APP们了。
例如,混元大模型在腾讯文档推出的智能助手功能中已有应用。在智能文档中,输入“/”,就能根据需求实现内容生成、翻译、润色等操作。
又比如,开头提到的,腾讯前段时间已经内置到腾讯会议中的“开会摸鱼神器”——AI小助手。
如果听不懂同事在会上吵什么架(手动狗头),或是开会时走神了,只需要和AI小助手说出自己的疑惑,就能让它快速提取核心信息,总结会议要点:
而在腾讯广告中,也已有混元大模型的身影,主要用于智能化广告素材创作,文图视频“无缝衔接”:
除此之外,包括腾讯云、腾讯游戏、腾讯金融科技、微信搜一搜和QQ浏览器,也都已经接入腾讯混元大模型进行测试,如今已经取得初步效果。
当然,打造混元大模型的一系列能力,腾讯已经开放了出来。
包括混元大模型在内,腾讯云MaaS(Model-as-a-Service)已经集成了一系列实用的落地工具。
如果想自己再造个大模型,同样可以基于混元、或是其他开源模型,做自己的行业大模型。
那么,你觉得鹅厂的混元大模型效果如何?
很赞哦!(48923)
热门文章
站长推荐
友情链接
- 【炼金术】魔兽怀旧服炼金1-300攻略
- 梦幻西游:幼儿园碰到变异人形犀牛将军,变形后能换150的无级别
- 《DNF》2017春节版本搬砖攻略
- 第八章地图大曝光,神之都根特震撼开启
- 咕咕去哪儿?魔兽世界版荒野求生之勇闯昆莱山
- 3D武侠网游《墨香》之暗器突袭
- 杉果冬季特惠开启:《战神》《P5R》等佳作新史低
- 王者荣耀同城匹配在哪里-王者荣耀同城匹配指南
- 阴阳师现世召唤必出sp攻略玩法一览
- 王者荣耀健康系统每天的刷新重置时间是多久?
- 6月22日更新日志:马尼拉特锦赛预测积分已发放
- 怀旧服黑石深渊监狱牢房钥匙(黑石深渊黑暗守护者钥匙)
- 使命召唤手游上线时间介绍
- 好玩的变态网页游戏有那些 变态网页游戏排行榜前五名
- 在原神中折箭觅踪奖励是什么和玩法介绍的攻略
- lol皮城女警打法教学(英雄联盟凯特琳符文装备推荐)
- DNF流浪武士装备选择推荐 土豪流浪装备秀
- 安卓破解游戏平台大全 最好用的安卓游戏破解网站
- lol游戏中回复好友消息办法(教你如何游戏中回复好友消息)
- 玩家揭天龙八部工作室不为人知的那些事
- 巫师3炼金原料获取方式整理/相关经验
- 本周魔兽假日活动:埃匹希斯水晶狂欢即将启动
- 破解版游戏app哪个好
- 石头人打野出装
- 洛克王国星辰之塔第一层第五关守护者联盟Boss打法攻略?
- 魔兽世界泰罗卡森林去哪挖矿,魔兽世界祖尔格拉布猎人挖矿攻略
- 王者荣耀s35赛季更新内容一览 s35赛季更改调整介绍
- 英雄联盟手游哪个女英雄
- CF手游尼泊尔军刀上手体验心得 尼泊尔军刀使用技巧
- DNF魔力爆发 “炽星魔盒”绽放
- 浓缩的纯洁之骸怎么得 dnf浓缩的纯洁之骸怎么得100版本
- 祖达克灵魂兽刷新地点位置(灵魂兽刷新时间及地点)
- 有哪些能挂机的3d网络游戏
- 拆箱游戏下载安卓大全2022 最新拆箱类游戏榜单推荐
- 王者荣耀关键时间节点盘点,全知道的算我输!
- 【MB520讯飞输入法下载】Moto MB520讯飞输入法13.0.9免费下载
- 王者荣耀同城频道怎么改定位 怎么更改同城定位
- 《王者荣耀》明起推出防沉迷“三板斧”:12岁以下每天限玩一小时
- 6月22日更新日志:马尼拉特锦赛预测积分已发放
- 英雄联盟手游俄洛伊天赋怎么加点