Skip to content

亚博欧冠在线直播|中国有限公司

亚博欧冠在线直播|中国有限公司集团在建设过程中始终坚持以人为本、建楼育人,亚博欧冠在线直播|中国有限公司培养造就了一代又一代赤诚、朴实、勤劳、智慧的建设者,涌现了全国劳动模范、全国五一劳动奖章获得者、全国城乡建设系统先进个人、浙江省劳动模范等一大批先进典型。是湖南省属大型国有骨干企业,资产状况、盈利能力等各项指标在省属监管企业排名前列。现有产业包括能源产业、战略性新兴产业、金融资产投资与管理三大板块。按照省委省政府的战略部署,湘投集团将改组为湖南省能源集团,打造湖南唯一的综合性能源投资建设运营省级平台。始创于2012年,总部坐落于湖南省湘潭市九华国家经济技术开发区,是一家集槟榔产品研发、生产、销售于一体的大型食品精深加工高新技术企业。集团一直致力于以槟榔果为原料的咀嚼类食品的研发、生产和销售,满足消费者对咀嚼类食品健康、愉悦的体验感受,努力成为行业的开拓者和践行者!

亚博欧冠在线直播|中国有限公司-千亿参数大模型免费在线畅玩!无需注册,零门槛体验OPT-175B

Posted on 2022年9月9日2022年9月9日 By admin 亚博欧冠在线直播|中国有限公司-千亿参数大模型免费在线畅玩!无需注册,零门槛体验OPT-175B无评论

机器之心发布

机器之心编辑部

零代码体验AI大模型,打开网页就能玩。

提起大模型,除了各种惊艳的性能表现,还伴随着高昂的硬件要求和运行成本,将绝大多数 AI社区成员都拒之门外。

得益于开源社区的蓬勃发展,现在情况大有不同:

无需注册,就可以免费白嫖1750 亿参数的 OPT 模型!

还不快打开下方链接,自己上手在线体验一下?

云服务体验地址:https://service.colossalai.org/

快速体验

基于 1750 亿参数 OPT 大模型,该网站支持多种文本生成任务,包括事实问答、聊天机器人、翻译、文章创作等。

只需点击对应的子任务名,如 FAQ(事实问答),输入需要的对应内容,点击右下方的蓝色生成按钮,稍等就能得到结果。

背后技术

OPT-175B

要想了解刚刚体验的大模型推理的技术原理,首先,让我们先回顾一下刚才所用到的大模型。

OPT 的全称为 Open PretrainedTransformer,是 Meta(Facebook) AI 实验室发布的对标 GPT-3 的大规模 Transformer 模型,共有 1750 亿个参数。

与 OpenAI 尚未公开模型权重的GPT-3 相比,Meta AI 慷慨地开源了所有的代码以及模型权重,极大推动了 AI 大模型落地与应用,每一位开发者都能以此为基础开发个性化的下游任务。

然而 GPT-3、OPT-175B、AlphaFold 等前沿 AI 大模型远超现有硬件容纳能力,训练和部署推理服务都必须使用复杂专业的分布式技术。现有系统大都存在上手门槛高、运行效率不高、通用性差、部署困难、缺乏维护等问题。

面对这一痛点,面向大模型时代的通用深度学习系统Colossal-AI,仅需几行代码,便能高效快速部署 AI 大模型训练和推理,促进 AI 大模型低成本应用和落地。

使用开源 Colossal-AI 快速部署 AI 大模型云服务

OPT 云服务

此次 OPT-175B 超大模型部署的快速上线,依托AI 大模型开源解决方案 Colossal-AI 生态,只需少量改动,即可完成大模型云端并行部署。

从无法运行到快速启动:

运行超大模型首当其冲的问题是单个 GPU 显存无法容纳巨量的模型参数,而推理问题不仅仅要考虑吞吐量还要考虑时延,因此使用并行来解决这个问题是一种直观的思路,借助 Colossal-AI 生态可以轻松将一个单机模型转换成并行运行。Colossal-AI生态提供众多可以参考应用实例,如 GPT、OPT、BERT、PaLM、AlphaFold 等。

获得并行 OPT 模型之后,下一步要处理的是参数加载。Colossal-AI 生态也提供了并行模型参数加载的解决方案,用户只需要参考样例简单提供参数名映射关系即可完成模型参数的加载,最后将模型投入到 Colossal-AI 生态提供的推理引擎中,设置相应的超参数。截至此刻,大模型OPT 主干网络的推理服务就可以上线并能输出有意义的结果。

从成功启动到高效部署:

在跨越了内存墙问题、并行参数加载等重重阻碍,成功运行了并行主干网络后,为了进一步提高推理性能,Colossal-AI 还提供了多个面向生成式任务的优化,可实现数十倍推理吞吐量的提升。

由于 OPT 面向的是生成式任务,而生成式任务需要不断循环模型的输出结果。这使得推理中常见的 batching 策略无法直接应用,而单 batch 运行效率低下。此外,在生成阶段还存在大量的重复计算。

为了全面释放生成式任务运行中高性能硬件的潜力,此次推理部署增加了 leftpadding 技术使得 batching 成为可能,还增加了past cache 技术来消除在生成阶段的重复计算问题,以及引入 bucket batching 技术减少无意义的计算。

先来讲讲为什么生成式任务无法直接使用常见的 batching 方法。如下图所示,由于输入语句的长度通常参差不齐,而且多数语言的书写习惯都是从左至右,如果用常规的 right padding,那么对于较短的句子就难以生成有意义的结果或者需要复杂的处理才能生成结果,继而导致无法使用 batching 方法。而当我们使用 left padding 对句子进行填充时,每一个句子的生成侧(右侧)都是对齐的,可以同时生成新的单词。

Right padding 不适合生成式任务

Left padding

由于模型的一次推理仅能生成一个新词,于是在生成式任务中每生成一个新词后都会加到输入序列的尾部再次投入模型进行计算,生成下一个新的单词,由于每一次推理都需要针对新的完整序列进行计算,就会存在大量重复计算的问题,尤其是对于占绝大多数计算量的 Linear 层来说。因此 Colossal-AI 开发人员在模型内部加入 past cache 技术,会暂存同一次生成任务中 Linear 层的输出结果,每次只有新的一个单词会进入 Linear 层进行计算,并把该词的计算结果加入到暂存结果中避免重复计算。Pastcache 技术可以极大的降低实际计算量。

生成式任务计算过程。Past cache 将同一次任务的 Linear 层计算结果保留,新的一次推理只需要计算新增的一个单词,与 cache 拼接进入后续计算。

此外,Colossal-AI 开发人员注意到不同于其他任务,生成式任务计算量的参差不齐,不仅仅来自于输入句长的不同,还来自于输出目标句长的不同,且输出句长和输出目标句长都将在一个较大的范围内取值。简单的 batching 方案将两者相差很大的推理放在同一个批次中将造成大量冗余计算,因此Colossal-AI 开发人员加入了 bucket batching 技术,即按照输入句长以及输出目标句长进行桶排序,同一个桶内的序列作为一个 batching,极大的降低了冗余计算量。

Bucket batching。将具有相近输入与输出长度的任务放在同一个批次。

面向大模型时代的 Colossal-AI

Colossal-AI 不仅针对 AI大模型提供了诸多优秀的解决方案,更为重要的是完全开源!

每一位开发者都可以基于它低成本训练自己的大模型,并部署为云服务。例如,在 1 张 10GB 的 RTX 3080 上,便可训练 120 亿参数的模型,相比原生 PyTorch 可提升 120 倍的模型容量。

Colossal-AI 自开源以来便广受关注,已经多次在 GitHub 及 Papers With Code 热榜位列世界第一,相关解决方案已成功在自动驾驶、云计算、零售、医药、芯片等行业知名厂商落地应用,可快速高效完成 AI 大模型的云服务部署。

Colossal-AI 团队近期还连续入选和受邀全球超级计算机大会、国际数据科学会议、世界人工智能大会、亚马逊云科技中国峰会等多项国际专业盛会,并发表主题演讲,展示不断革新的高性能计算与人工智能前沿发展,及其在全面推动 AI 大模型民主化中的创新实践,敬请关注!

项目开源地址:https://github.com/hpcaitech/ColossalAI

云服务体验地址:https://service.colossalai.org/

参考链接:

https://arxiv.org/abs/2205.01068

Home

https://medium.com/@yangyou_berkeley/using-state-of-the-art-ai-models-for-free-try-opt-175b-on-your-cellphone-and-laptop-7d645f535982

更多精彩报道,尽在https://sacsoutlet.com

亚博欧冠在线直播|中国有限公司

文章导航

Previous Post: 亚博欧冠在线直播|中国有限公司-苹果开学季政策调整:加钱也不能买 AirPods Pro-2
Next Post: 亚博欧冠在线直播|中国有限公司-官宣!贝莱林降薪免签巴萨 德斯特先租后买赴米兰

Related Posts

亚博欧冠在线直播|中国有限公司-埃尔多安一声令下,4万大军整装待发,联合国发出警告,中方表态 亚博欧冠在线直播|中国有限公司
亚博欧冠在线直播|中国有限公司-B费:我在场上充满激情和侵略性,甚至会和朋友打起来 亚博欧冠在线直播|中国有限公司
亚博欧冠在线直播|中国有限公司-瓦伦西亚数据:2次射门打入2球 获全场最高分 亚博欧冠在线直播|中国有限公司
亚博欧冠在线直播|中国有限公司-阿根廷世界杯前最后一战!对手主帅:对梅西小心点 亚博欧冠在线直播|中国有限公司
亚博欧冠在线直播|中国有限公司-成都引J2前锋 沧州引意乙中场!广州城迎回真核 大连人迎来黑白双煞 亚博欧冠在线直播|中国有限公司
亚博欧冠在线直播|中国有限公司-西甲-本泽马双响+任意球破门!皇马3-1西班牙人 亚博欧冠在线直播|中国有限公司

发表回复 取消回复

您的电子邮箱地址不会被公开。 必填项已用*标注

归档

  • 2023年1月
  • 2022年12月
  • 2022年11月
  • 2022年10月
  • 2022年9月
  • 2022年8月

分类

  • 亚博欧冠在线直播|中国有限公司

近期文章

  • 亚博欧冠在线直播|中国有限公司-原创 狂野NBA!穆雷女友大展口活,戈贝尔已闻不到任何气质
  • 亚博欧冠在线直播|中国有限公司-原创 全英0冠折射国羽遭遇巨大挑战,“后林丹时代”已无人扛旗?
  • 亚博欧冠在线直播|中国有限公司-原创 梅西:赢得世界杯后一切都变了 遗憾马拉多纳没看到夺冠
  • 亚博欧冠在线直播|中国有限公司-张雨绮遇航班突发事件!全程围观表情呆滞,助理拉不住受到惊吓
  • 亚博欧冠在线直播|中国有限公司-同曦险遭福建23分逆转:皮特森42分制胜4罚 陈林坚单节16分

近期评论

  1. 一位WordPress评论者发表在世界,您好!

Copyright © 2023 亚博欧冠在线直播|中国有限公司.

Powered by PressBook Grid Blogs theme