特斯联华先胜:不迷信大模型,现阶段的革新仍在“交互”
关于AIoT大模型落地的难点,华先胜认为,其难点主要有几个方面,除了满
2023-08-03如今大模型之于技术变革,为“行业”和“领域”在有限范围内落地,提供了很大的可能性,在新的AI商业化叙事里,人们或主动、或被动地加入资源竞赛狂潮中。
身处这场竞赛中的特斯联 CTO 华先胜,也给出了自己关于大模型的冷静思考与破局答案。
大模型不是智能涌现的终点
【资料图】
在大模型“智能涌现”之后短短一年,物理世界与信息的生产方式发生革命性变化,映射到更广泛的城市空间,也必然带来新一轮的革新。对此,华先胜表示,“虽然大模型的确取得了很大的进展,但不要迷信大模型,它有它的局限。”
据华先胜回忆,去年 ChatGPT 出来之后,他非常地关注并且第一时间去试用了。不可否认的是,它确实是一个巨大的突破,一方面,惊叹它能力的大幅度提升,但也发现它不如我们想象般的强大,哪怕是稍微深入一些的问题,它的表现都不够好。
“过去深度学习刚诞生时,大家也觉得它可以解决一切问题,可以用足够复杂的模型和足够多的数据去建立现实世界各种问题的模型。但在实战中,其实需要深入行业才能真正解决问题。今天的大模型并没有改变这一规律,仍然需要深入领域去了解对应的流程、数据等,才能解决行业的问题。”华先胜提到。
今天,在特斯联的超级智慧园区里,软体机器人隐身于园区的各大屏幕里,对园区的事情了如指掌,你可以向它问路、获取需要的信息,也可以使用它执行操作。人与机器共存的背后,是大模型与 IoT 硬件通过语义对齐,实现人、物联网设备和城市之间的高度智能化,这与特斯联一贯以来坚持城域 AIoT 领域为技术核心的战略非常吻合。
那么,当 AIoT 遇见大模型,将会碰撞出怎样的火花呢?华先胜给出了他的思考:AI 是 AIoT 的灵魂, IoT 是它的感知和控制,像它的“手脚”,当然也包括为其提供“身体”的物理基础,也即算力资源。
LLM(大语言模型)的出现,推动 AI 能力向更通用的目标迈进了一步:首先,大语言模型可以直接作为 AIoT 系统的交互界面。其次,AIoT 数据天生就是多模态的,多模态大模型有望解决过去很多需要通过 “AI + 规则”来解决的问题。
在华先胜眼中,目前提到 AIoT 大模型,主要有两条路线:第一种是将过去 AI 所做的事情用大模型进行升级、再做一遍,这是大部分人的做法;第二种是真正意义上大规模的 AIoT 大模型,将 AIoT 里的多模态异构数据真正使用起来,放入大模型当中去。
“不过,这种真正意义上的AIoT大模型未来也可能会很快出现,也可能需要很长时间。”华先胜说。
他认为,现阶段 AIoT 行业里所使用的大模型、仍处于他^_^第一种技术路线,也即基于语言或语言加视觉的“伪”AIoT 大模型。在“伪”AIoT 大模型出现前,AIoT 设备之间的连接和协同完全基于人类专家预定义的规则,这些规则是固定的、不完备的和不自我进化的,不一定能直接理解和遵循人类指令。但有了大模型后,根据高度多样的 Context(任意季节、时间、人物、指令等),我们可以自动地、动态地构建物体间连接和协同规则,提供自适应的、多样的、深入的、融合人类指令的智能场景体验。
华先胜还表示,“无论哪条路线,眼下特别典型的全域 AIoT 大模型还没有出现。”
立体感知,精准控制
真正的AIoT大模型应该具备什么能力呢?华先胜认为,AIoT 与其他行业有两大差异。首先是异构数据多,大量的传感器收集了天气、温度、湿度、电量、降水量等各种各样的数据,信息更丰富;其次,IoT 设备不只是感知设备,还可以反向控制环境。更丰富的感知维度,更强大的行动力,这是 AIoT 大模型所应该具备的。
回到场景下去赋能 AIoT 领域,仅依靠一个通用的、又有很多局限的大模型是很难实现。因此,AIoT 大模型还要满足几个特性:
第一,专业性。它一定是专业的,能够解决领域内更专业的相关问题。今天的大模型看上去很厉害,但并不具备足够的领域专业信息,无法在园区里真正使用。
第二,可靠性。模型对所关注的场景要非常了解,一方面通过引入新知识让它懂得足够多;其次,还需要一些约束的方法让输出结果高度可靠,不出现“一本正经胡说八道”的“幻觉”。
第三,性能和成本的平衡。从训练成本出发,一个特别大的通用模型不是一个常规创业公司所能承受的;其次在推理时,如果用户量或访问量过大,也会导致大模型服务撑不住。因此,简化模型是一个好的选择。我们不需要它是一个百事通,只要能解决我所关注的问题,且具备一定的常识就可以。
第四,系统打通。这个大模型不只有知识,更要同园区的系统深度耦合,以获取实时信息,还能在被授权的前提下去实时地反控园区。
当提及近期备受关注的具身智能技术,华先胜指出,“我们提出的AIoT大模型,是现有大模型技术的具身化。AIoT 设备既是我们的眼睛和耳朵,也是我们的手和脚。目前,我们更多地聚焦于交互和场景联动,后面我们也会将感知和控制也替换成大模型。特别是,我们的超级 IoT 设备和机器人,在无缝联合的服务器端能力(物联网和大模型)和机器人侧能力(感知、规划、行动和交互)的支持下,本身就是具身智能的体现,只不过特斯联的机器人具身智能是机境协同的具身智能,不只是机器人本身的直接能力。”
AIoT 大模型的多模态挑战
关于 AIoT 大模型落地的难点,华先胜认为,其难点主要有几个方面,除了满足上述提到的专业性、可靠性、性能和成本的平衡、以及系统打通外,落地对实时性要求也会高很多,因为它是一个真正起效果的 AIoT 系统;此外,它在能力上的演化,不仅是大模型自身的更新,还涉及数据积累、记忆迭代等。总的来说,AIoT 大模型落地最大的难点在于多模态。
他进一步指出,长期来看,将 IoT 数据统一融入 AIoT 大模型中是有可能的,也许是以文本/图片为中心、其他 IoT 数据和中心对齐的方式,这是需要的。但由于AIoT 数据的异构和多模态,将不同类型的数据整合和有效地利用,需要克服数据表示和对齐的挑战。
首先,在数据表示上,各类传感器数据应该以何种形式建模,是参考文本作为序列输入、还是参考图像作为矩阵输入、还是一种新的建模形式?对此,目前无论是学术界和工业界都暂无定论。
此外,在数据对齐上,语言模型从语言中学习、又生成语言,这是人类能理解的,而AIoT领域有很多没有标签和信息标注的数据,其本身的上下文也大多不具备显性的语义,无法将语义与数据进行对应,这使得它生成的数据、信息无法被理解,需要再加工建立 AIoT 数据和自然语言的语义对齐,才能赋予这些数据以意义。
大模型不是 AGI 唯一途径,“模型+系统”才是正解
面对 AIoT 等各个领域 A I落地面临的困境,如何实现真正意义上的AGI?华先胜认为目前有三条可能的路径:
第一条路径是大模型持续演化和进步,不断地增大模型的规模、增加数据的量和模态来产生一个超级大模型以实现 AGI。
第二条路径是变革当前的连接主义,研究新的模型框架使得更接近于人脑或人心的工作模式,在低功耗的前提下,具备强大的分析、推理、发现和创新的能力。
第三条路就是我们所提出来的“模型+系统”的方法;不同于第一条路以大模型系统为核心,这里所讲的系统更广泛,有大小模型的融合和演化,有模型与规则的融合,有规则和模型的相互转化等。通过系统和模型融合的方法,我们会构建一个更复杂的、可以不断自我成长的智能体。
华先胜以 AIoT 领域为例表示,大语言模型本身是 AIoT 的扩充,将大语言模型作为一个具有强大理解能力的“大脑”,再通过系统连接 AIoT 设备来给它配上“眼睛”、“鼻子”、“耳朵”、“手”和“脚”,使其具备多元的感知、分析、决策和控制能力,从而实现更强的智能。当模型+系统使用得越来越多,积累了更多数据,才有可能真正实现多模态、异构数据的“大一统”AIoT 大模型。
标签:
关于AIoT大模型落地的难点,华先胜认为,其难点主要有几个方面,除了满
2023-08-03在副热带高压的持续控制下近期天气主打一个“上蒸下煮小火慢炖”体感温
2023-08-03每经AI快讯,8月1日,盘中光伏板块震荡下行,辅材方向领跌,三超新材跌
2023-08-03国家企业信用信息公示系统网站显示,7月28日,湖北星晖新能源智能汽车
2023-08-03拟申领新闻记者证人员名单公示
2023-08-03快科技8月1日消息,机械革命新款无界14Pro笔记本目前已经上架,首发379
2023-08-03湛江数字能源网海上风电安全监管平台。市发展改革局提供“通过平台,可
2023-08-03大众网记者武琳琳德州报道8月3日,德州市政府新闻办召开“民生答卷”系
2023-08-03题:台青吉林“初体验”:生活中的美好在这都找到了作者高龙安今夏的吉
2023-08-03妖精的尾巴日式游戏妖精的尾巴RPG游戏新细节公开今日(9月15日),《妖
2023-08-03当前正处于防汛救灾工作的关键时期、紧要阶段。据国家防总办公室、应急
2023-08-03如果不是在镜头里亲眼所见,谁能想到在地下700米,有人在探求宇宙深处
2023-08-03国家海外人才离岸创新创业基地(广州南沙新区)(下称“离岸基地”)总部空
2023-08-03据国家金融监督管理总局8月3日消息,2023年8月3日,国家金融监督管理总
2023-08-03市场监管总局约谈四家猪企
2023-08-03LOL全球战队榜更新!JDG世界第1,KT第2,LNG升至第3!TES跌出前5,kt,lo
2023-08-03在日本长野县与中国河北省迎来缔结友好关系40周年之际,以长野县知事阿
2023-08-03人民网重庆8月1日电重庆市急救医疗中心发布消息,该中心已实现“呼叫即
2023-08-03据中国工商银行官方微信公众号消息,8月1日,中国工商银行在北京举办民
2023-08-03久立特材(002318)08月02日在投资者关系平台上答复了投资者关心的问题。
2023-08-03深交所:8月8日发布深证先进制造、深证绿色低碳等4条指数,深市,深证,深
2023-08-03东航2023夏秋航季欧洲航班计划中,上海浦东至巴黎、伦敦、意大利、莫斯
2023-08-03国内唯一一家研发生产抗蛇毒血清系列产品的生物医药企业赛伦生物在近日
2023-08-038月3日上午,浙江省公安厅召开全省公安机关夏季治安打击整治行动暨护航
2023-08-03格隆汇8月3日丨有投资者在互动平台向四方光电(688665 SH)提问:公司上
2023-08-03红网时刻新闻8月3日讯(通讯员李文秀)道县充分利用园区厂房屋顶空闲资
2023-08-031、123。本文关于录取批次的基本详情介绍就讲解完毕,希望对大家有所帮
2023-08-03重庆葛老溪段完成,将开放给市民。项目以“艺术+文旅”为主题,打造集
2023-08-038月3日,生意社1,4-丁二醇基准价为11071 43元 吨,与本月初(11014 29元
2023-08-03蓝色光标融资融券信息显示,2023年8月2日融资净偿还万元;融资余额亿元
2023-08-037月31日携程发布《2023年暑期租车自驾游报告》显示(下称《报告》)今
2023-08-03中新社成都8月3日电(记者岳依桐吕杨)2日晚的成都大运会羽毛球混合团体
2023-08-038月1日,北上资金净买入的个股共有1,208只,北上资金加仓比例超1%的有9
2023-08-03导读1、Win7:32位系统和64位系统区别有哪些如下: 32位的CPU(准
2023-08-03来为大家解答以上问题,佳能打印机怎么扫描文件到电脑,佳能打印机很多
2023-08-03本报讯日前农业农村部就全国人大代表提出的《关于加大我国茶产业科技投
2023-08-031、你想问的是不是二级建造师证书查询的网站呀。2、:建造师证书查询 有
2023-08-03思想解读类融媒体片《逐梦》第六集《永远守住根与魂》选取“硬骨头六连
2023-08-03道指跌近350点!特斯拉市值蒸发1589亿元,国际油价也跌超2%什么情况?
2023-08-03由于彼得的打击犯罪过去在漫威的《蜘蛛侠》中大部分被推到了一边,因此
2023-08-031994年10月,田先生长篇小说《匪首》研讨会在河南省文联召开,那时的研
2023-08-03就父母离婚后,父或母一方是否有权改变子女姓名的问题,最高人民法院已
2023-08-03湖州市气象台2023年8月1日11时57分发布暴雨黄色预警信号:受台风“卡努
2023-08-03据了解,上海二批次土拍采用了新的规则,现场竞价环节从此前的“举牌竞
2023-08-03不少游戏爱好者可能都玩过《古墓丽影》。美国洛斯阿拉莫斯国家实验室(
2023-08-03关于生粉怎么勾芡才使汤汁浓稠的内容,包含生粉怎么勾芡才能粘稠生粉怎
2023-08-03牙膏要不要蘸水?刷牙的时候牙膏要不要蘸水?,牙膏,肥皂,刷牙,洗衣粉,
2023-08-03《被尘封的故事地狱君主》是一款充满冒险和策略元素的手机游戏。在游戏
2023-08-03奥兰多球迷怒喷:很难击败梅西和裁判比赛被操纵&不如看WWE,wwe,里奥梅
2023-08-03探讨从“建筑中的建筑”到“园中之园”跨文化设计的思考上海2023年8月2
2023-08-03【锦城走笔】原标题:关于大运会的“十万个为什么”工人日报-中工网记
2023-08-03中国商务新闻网是商务部国际商报社主办,国家互联网信息办公室批准的国
2023-08-03↑8月2日,在北京市门头沟区妙峰山镇,在乘坐车辆转移前,武天骐(中)
2023-08-03" >
2023-08-03德讯早参今日策略关注新能源车、汽车零部件、装修装饰大势研读德讯证顾
2023-08-03为应对第五号台风“杜苏芮”,保障全省生活必需品市场平稳运行,近期,
2023-08-03就在上汽大众、上汽通用秀成绩单的同时,零跑放出消息,C11、C01部分配
2023-08-03四川经济网讯(记者胡敏)8月1日,记者从四川省教育考试院获悉,我省20
2023-08-03南方石化集团申请破产,中石化旗下企业曾参股 近日,南方石化集团有
2023-08-03直播吧8月3日讯联盟杯,迈阿密国际vs奥兰多城。第56分钟,梅西与对方球
2023-08-03极简美学塑造住宅,黑白灰三色将空间的深浅、块面节奏展露,打造了一个
2023-08-03我们在生活中,什么样的人都会遇到,可能一开始的时候,大家都差不多,
2023-08-03随着滚烫沥青倾倒而下,一股热浪扑面而来……在广东省重点建设项目茂湛
2023-08-03当天,路过加油站的王先生发现了装着乐器的背包,于是他送餐结束后立即
2023-08-038月1日,国联证券发布公告称,经深圳市市场监督管理局核准,国联证券控
2023-08-03宁德时代成为比亚迪还是富士康
2023-08-03297平方公里的总面积,贡献了安徽各县区第一的经济总量。2022年,被誉
2023-08-03中国日报网8月1日电(记者崔佳)毫无疑问,在四川成都举行的第31届世界
2023-08-03中新经纬8月2日电(陈俊明郑铮熊思怡)近日,京津冀强降雨引发洪涝灾害,
2023-08-03直播吧8月2日讯洛杉矶银河球星普吉在接受Relevo采访时表示,很高兴他的
2023-08-03来源:中国新闻网据中央气象台网站消息,8月2日至4日,内蒙古东部、东
2023-08-03【本文来自《韩国科学家的室温超导反转了?其实完全没有|袁岚峰》评论
2023-08-03新华社华沙8月2日电(记者陈琛)波兰外交部8月1日发表声明说,波方当天召
2023-08-03北京日报客户端|记者孙云柯8月1日17点40分,根据气象和水务部门的信息
2023-08-03联播+人民军队是国家安全的捍卫者、人民幸福生活的守护者。强军路上,
2023-08-03“文人文玩——中国文人用具与茶生活”展览。(香港特区政府新闻处供图)
2023-08-03近期召开的中央政治局会议少见地提及汇率,明确“要保持人民币汇率在合
2023-08-03苏州高新区聚焦中小企业数字化共性需求,为企业提供更多精准好用、成本
2023-08-03发现团走进吉首东站。红网时刻新闻记者姜媚张兴莎通讯员胡辉宋化初向芳
2023-08-03年轻就是资本,全新皓瀚·马赫电混DH-i带你追逐星辰大海
2023-08-03今年是哪一年?现在是什么季节?这里是哪座城市?……在全国各个城市的
2023-08-03梅轮电梯公告,浙江梅轮电梯股份有限公司拟与南宁轨道交通集团有限责任
2023-08-03嘉定区南翔镇JDC2-0203单元13-02、16-01地块共有17家竞买人参与报价,
2023-08-038月1日上午,镇江科技新城东园公交场站内,新能源公交正在充电。该站是
2023-08-03立霸股份业绩快报:上半年净利润同比增长110 68%:立霸股份(603519)
2023-08-03为进一步改善农村人居环境,落实市、区关于村庄整治要求,入夏以来,结
2023-08-03美国物流业突遭重挫!据央视财经援引美国多家媒体报道,当地时间7月31
2023-08-03精酿啤酒行业市场前景如何?今年以来,啤酒销量不断提升。根据国家统计
2023-08-03看起来思域TypeR的俏皮精神在本田很有感染力,这家汽车制造商展示了一
2023-08-03今天,一加手机官方正式宣布,一加Ace2Pro将在8月正式发布。中国区总裁
2023-08-03央视网消息:汛期来临,国家疾控局近日发布洪涝灾害健康教育核心信息,
2023-08-03原标题::不到1年健康度跌至90%IT之家8月2日消息,根据国外科技媒体iM
2023-08-03大宗商品交易商嘉能可已同意以4 75亿美元收购其合作伙伴泛美白银在阿根
2023-08-031、首先在网上预约。2、注:经办人自办数字证书后方可登录操作。3、首
2023-08-03“哪里有敌人,哪里有危难,哪里就有人民子弟兵。”统帅的殷殷嘱托
2023-08-03河北省涿州市境内多支河流近日发生超警以上洪水。昨晚(7月31日),接
2023-08-03上市,迫在眉睫。
2023-08-03超强台风“卡努” 登陆点路径轨迹难以确定但目前已离浙江越来越近台风
2023-08-03截至2023年8月2日收盘,佳禾食品(605300)报收于22 22元,下跌1 55%,换
2023-08-03传比亚迪被控在印度少缴900万美元税款盖世汽车讯据路透社报道,两位知
2023-08-03Copyright © 2015-2022 热讯水产网版权所有 备案号:豫ICP备20005723号-6 联系邮箱:29 59 11 57 8@qq.com