中国科学院团队首篇LLM模型压缩综述:细聊剪枝、知识蒸馏、量化技术
随着LLM的突破性工作逐渐放缓,对于如何让更多人使用LLM成为时下热门的
2023-08-28声明:本文来自于微信公众号 机器之心(ID:almosthuman2014),作者:Synced,授权站长之家转载发布
随着 LLM 的突破性工作逐渐放缓,对于如何让更多人使用 LLM 成为时下热门的研究方向,模型压缩可能是 LLM 未来的一个出路。此前 OpenAI 首席科学家 Ilya Sutskever 表示可以通过压缩的视角来看待无监督学习。本文首次总结了关于 LLM 的四种模型压缩方法,并提出了未来进一步研究的可能方向,引人深思。
(相关资料图)
近来,大型语言模型(LLM)在各种任务中表现出色。然而,即便有卓越的任务处理能力,LLM 却面临着巨大的挑战,这些挑战源于其巨大的规模和计算需求。举个例子,GPT-175B 版本具有惊人的1750亿参数,至少需要320GB(使用1024的倍数)的半精度(FP16)格式存储。此外,部署此模型进行推理还需要至少五个 A100GPU,每个 GPU 具有80GB 的内存,这样才能有效地保证运行。
为了解决这些问题,当下一种被称为模型压缩的方法可以成为解决方案。模型压缩可以将大型、资源密集型模型转换为适合存储在受限移动设备上的紧凑版本。此外它可以优化模型,以最小的延迟更快地执行,或实现这些目标之间的平衡。
除了技术方面之外,LLM 还引发了关于环境和伦理问题的讨论。这些模型给发展中国家的工程师和研究人员带来了重大挑战,在这些国家,有限资源可能会成为获得模型所需基本硬件的阻力。LLM 的大量能源消耗会加剧碳排放,人工智能研究与可持续发展也是非常重要的一个问题。解决这些挑战的一个可能的解决方案是利用模型压缩技术,在不显著影响性能的情况下具有减少碳排放的潜力。通过它,人类可以解决环境问题,增强人工智能的可访问性,并促进 LLM 部署中的包容性。
本文中,来自中国科学院信息工程研究所、人大高瓴人工智能学院的研究者阐述了最近在专门为 LLM 量身定制的模型压缩技术领域取得的进展。本文对方法、指标和基准进行详尽的调查,并进行了分类。
论文地址:https://arxiv.org/pdf/2308.07633.pdf
如下图1所示,本文提出的分类法为理解 LLM 的模型压缩方法提供了一个完整的结构化框架。这一探索包括对已有成熟技术的透彻剖析,包括但不限于剪枝、知识蒸馏、量化和低秩因子分解。此外,本文揭示了当前的挑战,并展望了这一发展领域未来潜在的研究轨迹。
研究者还倡导社区合作,为 LLM 建立一个具有生态意识、包罗万象、可持续的未来铺平道路。值得注意的是,本文是专门针对 LLM 的模型压缩领域的首篇综述。
方法论
剪枝
剪枝是一种强大的技术,通过删除不必要的或冗余组件来减少模型的大小或复杂性。众所周知,有许多冗余参数对模型性能几乎没有影响,因此在直接剪掉这些冗余参数后,模型性能不会收到太多影响。同时,剪枝可以在模型存储、内存效率和计算效率等方面更加友好。
剪枝可以分为非结构化剪枝和结构化剪枝,二者的主要区别在于剪枝目标和由此产生的网络结构。结构化剪枝剪掉基于特定规则的连接或分层结构,同时保留整体网络结构。非结构化剪枝针对单个参数,会导致不规则的稀疏结构。最近的研究工作致力于将 LLM 与剪枝技术相结合,旨在解决与 LLM 相关的大规模和计算成本。
知识蒸馏
知识蒸馏(KD)是一种实用的机器学习技术,旨在提高模型性能和泛化能力。该技术将知识从被称为教师模型的复杂模型转移到被称为学生模型的更简单模型。KD 背后的核心思想是从教师模型的全面知识中转化出更精简、更有效的代表。本文概述了使用 LLM 作为教师模型的蒸馏方法。
研究者根据这些方法是否侧重于将 LLM 的涌现能力(EA)蒸馏到小模型(SLM)进行分类。因此,这些方法被分为两类:标准 KD 和基于 EA 的 KD。对于视觉表示任务,吓图2提供了 LLM 知识蒸馏的简要分类。
下图3为基于 EA 的蒸馏概览。
量化
在模型压缩领域,量化已成为一种被广泛接受的技术,以缓解深度学习模型的存储和计算开销。虽然传统上使用浮点数表示权重,但量化将它们转换为整数或其他离散形式。这种转换大大降低了存储需求和计算复杂性。虽然会出现一些固有的精度损失,但精巧的量化技术可以在精度下降最小的情况下实现实质性模型压缩。
量化可以分为三种主要方法:量化感知训练(QAT)、量化感知微调(QAF)以及训练后量化(PTQ)。这些方法的主要区别在于何时应用量化来压缩模型。QAT 在模型的训练过程中采用量化,QAF 在预训练模型的微调阶段应用量化,PTQ 在模型完成训练后对其进行量化。
最近的研究致力于利用量化来压缩 LLM,产生了惊人的结果。这些工作主要可以分为上述三种方法:量化感知训练、量化感知微调和训练后量化。此外,下表1是应用于 LLM 的量化方法的汇总。该表根据 LLM 权重中的位数(精度)将这些工作分为8位量化和低位量化。
低秩分解
低秩分解是一种模型压缩技术,旨在通过将给定的权重矩阵分解为两个或更多具有明显较低维度的较小矩阵来近似给定的矩阵。低秩分解背后的核心思想是将大权重矩阵 W 分解为两个矩阵 U 和 V,使得 W ≈ UV,其中 U 是 m×k 矩阵,V 是 k×n 矩阵,k 比 m 和 n 小得多。U 和 V 的乘积近似于原始权重矩阵,参数数量和计算开销大幅减少。
在 LLM 研究领域,低秩分解被广泛采用,以有效地微调 LLM,例如 LORA 及其变体。本文专注于这些使用低秩分解来压缩 LLM 的工作。在 LLM 的模型压缩领域,研究者经常将多种技术与低秩分解相结合,包括剪枝、量化等,例如 LoRAPrune 和 ZeroQuantFP,在保持性能的同时实现更有效的压缩。
随着该领域研究的继续,在应用低秩分解来压缩 LLM 方面可能会有进一步发展,但仍然需要进行探索和实验,以充分利用 LLM 的潜力。
度量和基准
度量
LLM 的推理效率可以使用各种指标来衡量。这些指标考虑了性能的不同方面,通常与全面评估 LLM 的准确性和零样本学习能力一起呈现。
这些指标包括如下:
参数规模
模型规模
压缩比
推理时间
浮点运算(FLOP)
基准
基准旨在与未压缩的 LLM 相比,衡量压缩 LLM 的有效性、效率和准确性。这些基准通常由不同的任务和数据集组成,涵盖了一系列自然语言处理挑战。常用基准包括但不限于 HULK 和 ELUE。
最后研究者认为未来应在以下几个方面进一步探索,包括
专业的基准测试
性能规模的权衡
动态 LLM 压缩
可解释性
标签:
随着LLM的突破性工作逐渐放缓,对于如何让更多人使用LLM成为时下热门的
2023-08-28队斩获了女双、混双两个决赛席位,力争2冠。马林曾3夺世锦赛冠军,山口
2023-08-280471房产来为大家解答以上的问题。人教版二年级下册语文生字表,二年级
2023-08-28简短工程实习日志范文5篇 今天,在跟随师傅巡视工地的过程中,了解
2023-08-282023年全国帆船锦标赛暨亚运会选拔赛在河北省秦皇岛市北戴河新区举行,
2023-08-28IT之家8月28日消息,《黑道圣徒:重启版》在去年8月23日登陆EPIC、PS4
2023-08-28工业企业利润持续改善
2023-08-28处暑过、湿气起,近期有不少孩子相继发烧,随之而来的就是呕吐、腹泻、
2023-08-283月26日,通辽市公安局刑侦支队及开鲁县公安局信息研判民警在梳理分析
2023-08-288月28日,据德阳市纪委监委消息:德阳市自然资源和规划局总规划师唐薇
2023-08-28目前,无国界医生组织已联合当地政府在该国首都特古西加尔巴开展行动防
2023-08-28房地产多重利好袭来,机构预测13股高增长
2023-08-28总台记者从中央纪委国家监委有关部门了解到,今年上半年,全国共查处民
2023-08-28招财童子【ZAYIN】T-01-553-04(善不积,不足以得福;德不立,不足以聚
2023-08-28智通财经APP讯,法尔胜(000890 SZ)发布2023年半年度报告,报告期内,公
2023-08-28参观不可无礼,博物馆观展也观人稿件来源新华每日电讯新华观点这个暑期
2023-08-28你知道有色龙头上市公司有哪些?(2023 8 26),有色龙头上市公司有:1
2023-08-28华声在线8月28日讯(记者罗毅通讯员吴若妍)株洲市新的社会阶层人士“
2023-08-288月18日下午,2023佛山悦读节暨南国书香节佛山分会场活动在佛山市岭南
2023-08-28斗破苍穹:纳兰嫣然和云韵,可怜师徒,一个后悔绝情一个后悔动情!在斗
2023-08-28秋季到来,天气转凉,空气中的水分含量下降,暴露部位水分容易丢失,同
2023-08-288月24日,阿里巴巴国际站发布首个AI外贸产品。据悉,该产品包含生意助
2023-08-28做“petct”一般需要3小时左右。一般情况来说,petct的检查过程可以分
2023-08-28我省提高基本公共卫生服务补助标准达人均89元近日,省卫生健康委、省财
2023-08-282023年IGBT芯片上市公司龙头股有哪些?(2023 8 25),IGBT芯片上市公司
2023-08-28劳动合同到期后辞职,如果是因公司降低劳动合同的约定条件来续订劳动合
2023-08-28一款游戏主机是否能够成功,比起性能,其游戏阵容显然更加重要;事实上
2023-08-28GoldNote的唱头放大器由于有丰富的功能和极好的使用界面,因此无论您使
2023-08-28在困难中要看到我们的经济光明点和竞争力,美国,财政,光明点,国家统计局
2023-08-28为进一步提升海事服务的精准度和透明度,畅通海事部门与港航企业、办事
2023-08-28英超第3轮,曼城客场对阵谢菲尔德联。85分钟,沃克失误被断球,博格尔
2023-08-28,你们好,今天0471房产来聊聊一篇香落,香落简述的文章,网友们对这件
2023-08-28,你们好,今天0471房产来聊聊一篇芜猪,芜猪简述的文章,网友们对这件
2023-08-287元,卓创资讯10派4元…… 据统计,截至2023年8月19日,深市已有13
2023-08-28本周沿海进口油菜籽压榨企业平均开工负荷率为41 93%,较上周相比提升11
2023-08-28美银证券发表报告指,广汽集团今年第二季利润为14亿元,按年下跌48%,
2023-08-28日前,在黑龙江省五常市,龙江森工集团山河屯林业局干部职工合力修复水
2023-08-28当地时间8月21日,花旗银行发布消息称,从8月22日起临时停止其在俄罗斯
2023-08-28锣鼓巷有什么好玩的,南锣鼓巷在哪里很多人还不知道,现在让我们一起来
2023-08-28参考消息网8月27日报道台湾《旺报》8月27日刊登题为《大陆城市对台青的
2023-08-288月18日,以“温度科技,致美生活”为主题的澳柯玛中国区生活电器2024
2023-08-28一、三方协议和劳动合同的区别是什么?1、签订时间不同。三方协议是学生
2023-08-28中山大学是中国最美的高校校园之一,环境优美,底蕴深厚。 南都拍客
2023-08-28上证报中国证券网讯(记者潘建樑)祥生医疗晚间公告,公司拟以自有资金
2023-08-28最近数周,港交所与主要银行在定期会议上重点讨论如何刺激港股交投的措
2023-08-28九江新闻网讯(九江日报全媒记者 包四华)“如果春风吹不开冰封的城市
2023-08-28吉林日报8月25日讯(记者景洋)今天12时59分,“吉林一号”宽幅02A星(
2023-08-28低值医用耗材是指医院在开展医疗服务过程中普遍应用的价值较低的一次性
2023-08-28第一时间提供各大券商研究所报告,最大程度减少个人投资者与机构之间信
2023-08-28云意电气(300304)08月25日在投资者关系平台上答复了投资者关心的问题。
2023-08-28四川重庆等地强降雨来袭“苏拉”将在洋面上徘徊加强昨日,四川盆地、贵
2023-08-28七夕前夕,重庆警备区联合重庆市双拥办为官兵举行了一场集体婚礼。
2023-08-28格隆汇8月25日丨映宇宙(03700 HK)公布中期业绩,截至2023年6月30日止六
2023-08-28,你们好,今天0471房产来聊聊一篇波喜汉锡焊料有限公司,波喜汉锡焊料
2023-08-28“陌生人系”“制造矛盾系”摆拍视频惹争议短视频摆拍引流的法律界限在
2023-08-28据《星际公民》官方网站公布,该游戏已成功筹集到6亿美元。官方表示,
2023-08-28生育保险费的缴纳根据《企业职工生育保险试法》的法定,生育保险实行社
2023-08-282023年8月25日禾昌聚合832089发布公告称公司于2023年8月23日接受机构调
2023-08-28新华社上海8月22日电上海最新出台新一轮“3+1”高校毕业生等青年促就业
2023-08-28围场满族蒙古族自治县气象台2023年08月26日14时51分发布霜冻蓝色预警信
2023-08-28国海证券08月27日发布研报称,给予回天新材(300041 SZ,最新价:9 86
2023-08-271、分开不一定分手作词:秦天演唱:山野还有胡雯郑凡两个版本的。2、在酷
2023-08-27新华社马尼拉8月26日电26日,2023篮球世界杯进入到第二比赛日,中国男
2023-08-27标题:微粒贷还款可以用零钱包的钱吗?安全吗?随着移动支付的普及,越
2023-08-27限制别人登录我的淘宝,方法是:1 先登录淘宝app,然后进入账号页面,
2023-08-27中国江苏网8月26日连云港讯“近期,在电影院、小区、超市等各个地方,
2023-08-272023成都车展哈弗展厅在哪里?西博城15号馆哈弗猛龙预售正式启动哈弗品
2023-08-27【光大证券:印花税减半、融资保证金最低比例降反弹“发令枪”已打响】
2023-08-27“国家发展靠人才,民族振兴靠人才,党的检察事业创新发展根本也要靠人
2023-08-27近日,一位名为@NewAzkaryan的推特用户在社交平台上分享了《英雄联盟》
2023-08-27在当今信息时代,电子文档已经成为我们日常工作中不可或缺的一部分。尤
2023-08-27雷达财经鸿途出品文|莫恩盟编|深海在遭到亿欧网联合创始人黄渊普炮轰、
2023-08-27KEMCO日前宣布,收录旗下4部经典RPG游戏的《KEMCORPG精选集4》登陆Swit
2023-08-27A股迎重大利好!阶段性收紧IPO、印花税减半、降低融资保证金、规范减持
2023-08-27App8月24日消息,据中国证券投资基金业协会信息显示,黑石(上海)私募
2023-08-27今天为大家带来一个超级重磅的好消息,尤其是对于那些心里有个小小澳洲
2023-08-270471房产来为大家解答以上的问题。应声入网是成语吗,应声入网这个很多
2023-08-27华为智选与海雀科技联手推出了一款新产品——海雀智能摄像头34K版。该
2023-08-27国网重庆市电力公司员工在蟠龙抽水蓄能电站500千伏送出工程现场开展高
2023-08-27据央视新闻8月25日18时23分消息,日本广播协会当地时间25日报道,当天1
2023-08-27“我们楼道里很清爽了,你们能不能想想办法,帮我把房间里的大沙发也搬
2023-08-27记者26日从天津市水务局获悉,海河“23·7”流域性特大洪水发生后,经
2023-08-27近日,多瑞医药发布的2023年半年报显示,上半年公司实现营业收入1 7亿
2023-08-27题目:借呗每个月还最低还款还能借吗-借呗每个月还最低还款影响信用度
2023-08-27《2023年河南心理咨询师报考条件》由心理咨询师考试报名网发布,主要内
2023-08-27王莽篡汉,为何多数汉室宗亲不但不反对,反而歌功颂德?,无论是东汉还
2023-08-27运城盐池是中国最早的的产盐地。盐是人类生活的必需品,也是维持人体正
2023-08-27指环王重返莫瑞亚是一款生存建造类游戏新作,近日官方公布了具体的上线
2023-08-27同花顺数据中心显示,韦尔股份8月24日获融资买入2356 86万元,占当日买
2023-08-27清溢光电2023年上半年净利5336 62万同比增加36 89%2023 8 2419:34:05挖
2023-08-27hello大家好,我是城乡经济网小晟来为大家解答以上问题,2023苹果春季
2023-08-27科技、数码、互联网新闻如今都成为了大众所关注的热点了,因为在我们的
2023-08-27□黄守愚(船山学社副社长,湖湘儒学高等研究中心理事长,北京中宣文化
2023-08-278月25日15时,四川省气象台继续发布暴雨蓝色预警。25日7时至26日7时,
2023-08-27主帅:伊藤洋辉是斯图加特的核心,他未来能效力欧洲顶级球队,赫内斯,伊
2023-08-27证券时报e公司讯,寿仙谷8月27日在互动平台回复投资者提问称,经国家食
2023-08-27科技改变一切,如今整形行业也融进了很多高科技的技术,针对求美者们对
2023-08-272023年以来海南房价持续上涨成为购房者关注的主要话题,国家统计局数据
2023-08-27小鹏汽车美股涨8 21%
2023-08-27中国恒大公告称,公司已向港交所申请在2023年8月28日上午9时正起恢复买
2023-08-27Copyright © 2015-2022 热讯水产网版权所有 备案号:豫ICP备20005723号-6 联系邮箱:29 59 11 57 8@qq.com