GPT新闻 新闻 ChatGPT和生成式AI正在蓬勃发展,但成本非常高昂。

ChatGPT和生成式AI正在蓬勃发展,但成本非常高昂。

在OpenAI的ChatGPT出现并因其创造引人入胜的句子的能力而引起全世界的关注之前,一家名为Latitude的小型创业公司正在用其AI地牢游戏让消费者惊叹不已,该游戏允许他们使用人工智能根据他们的提示创建奇幻故事。 但随着AI Dung…

在OpenAI的ChatGPT出现并因其创造引人入胜的句子的能力而引起全世界的关注之前,一家名为Latitude的小型创业公司正在用其AI地牢游戏让消费者惊叹不已,该游戏允许他们使用人工智能根据他们的提示创建奇幻故事。

但随着AI Dungeon变得越来越流行,Latitude首席执行官尼克·沃尔顿(Nick Walton)回忆说,维护基于文本的角色扮演游戏的成本开始飙升。AI Dungeon的文本生成软件由AI研究实验室OpenAI提供的GPT语言技术提供支持。玩AI地牢的人越多,Latitude必须支付OpenAI的费用就越大。使困境更加复杂的是,沃尔顿还发现内容营销人员正在使用AI Dungeon来生成促销文案,这是他的团队从未预见到的AI Dungeon的用途,但这最终增加了公司的AI账单。

沃尔顿估计,在 2021 年的高峰期,Latitude 每月在 OpenAI 所谓的生成式人工智能软件和亚马逊网络服务上花费近 200,000 美元,以跟上每天需要处理的数百万用户查询。“我们开玩笑说我们有人类员工,我们有人工智能员工,我们在他们每个人身上花了同样多的钱,”沃尔顿说。“我们每个月在人工智能上花费数十万美元,我们不是一家大型创业公司,所以这是一个非常巨大的成本。

沃尔顿说,到 2021 年底,Latitude 从使用 OpenAI 的 GPT 软件转向初创公司 AI21 Labs 提供的更便宜但仍然功能强大的语言软件,并补充说,该初创公司还将开源和免费语言模型纳入其服务以降低成本。沃尔顿说,Latitude的生成AI账单已降至每月不到100万美元,这家初创公司每月向玩家收取更高级AI功能的订阅费,以帮助降低成本。Latitude昂贵的人工智能账单突显了最近生成式人工智能技术繁荣背后的一个令人不快的事实:开发和维护软件的成本可能非常高,无论是对于开发底层技术(通常称为大型语言或基础模型)的公司,还是那些使用人工智能为自己的软件提供动力的公司。

机器学习的高成本在行业中是一个令人不安的现实,因为风险资本家关注可能价值数万亿美元的公司,以及Microsoft等大公司,并利用其可观的资金在技术方面发展领先优势,而较小的挑战者无法赶上。但是,如果人工智能应用的利润率永久小于以前的软件即服务利润率,由于计算成本高,它可能会抑制当前的繁荣。训练和“推理”(实际运行)大型语言模型的高成本是与以前的计算繁荣不同的结构性成本。即使软件是构建或训练的,它仍然需要大量的计算能力来运行大型语言模型,因为它们每次返回对提示的响应时都会进行数十亿次计算。相比之下,提供 Web 应用程序或页面所需的计算要少得多。

这些计算还需要专门的硬件。虽然传统的计算机处理器可以运行机器学习模型,但它们很慢。现在,大多数训练和推理都在图形处理器或GPU上进行,这些处理器最初用于3D游戏,但已成为AI应用程序的标准,因为它们可以同时进行许多简单的计算。英伟达为AI行业制造了大部分GPU,其主要数据中心主力芯片的成本为10,000美元。构建这些模型的科学家经常开玩笑说它们“融化了GPU”。

训练模型

107199183-1677187677231-nvidia-a100-sxm4-80gb_mid
英伟达A100处理器
英伟达

分析师和技术人员估计,训练大型语言模型(如OpenAI的GPT-3)的关键过程可能花费超过4万美元。更高级的语言模型可能需要花费超过“数百万个位数”的训练成本,专注于人工智能和机器学习的Forrester分析师Rowan Curran说。例如,Meta上个月发布的最大LLaMA模型使用2,048个Nvidia A100 GPU在1.4万亿个代币上进行训练(750个单词约为1,000个代币),大约需要21天,该公司在上个月发布该模型时表示。训练大约需要 1 万个 GPU 小时。如果 训练大约需要 1 万个 GPU 小时。跟,这将花费超过 2 万美元。在 4 亿个参数下,它比 OpenAI 当前的 GPT 模型要小,比如 ChatGPT-65,它有 3 亿个参数。

人工智能初创公司Hugging Face的首席执行官克莱门特·德兰格(Clement Delangue)表示,训练该公司的Bloom大型语言模型的过程花了两个半月多的时间,并且需要访问一台“相当于500个GPU的超级计算机”。他说,构建大型语言模型的组织在重新训练软件时必须谨慎,这有助于提高其能力,因为它的成本很高。“重要的是要意识到这些模型并不是像每天一样一直训练,”Delangue说,并指出这就是为什么一些模型,如ChatGPT,不了解最近的事件。他说,ChatGPT 的知识在 2021 年停止。“我们现在实际上正在为布鲁姆的第二版进行培训,重新培训的成本不会超过10万美元,”Delangue说。“所以这是我们不想每周都做的事情。

推理以及谁为此付费

107190348-1675794774738-trip-summary
必应与聊天
为了使用经过训练的机器学习模型进行预测或生成文本,工程师在称为“推理”的过程中使用该模型,这可能比训练昂贵得多,因为它可能需要为流行产品运行数百万次。对于像ChatGPT这样受欢迎的产品——投资公司瑞银(UBS)估计100月份每月活跃用户已达到40亿——Curran认为,OpenAI可能需要花费<>万美元来处理当月人们输入软件的数百万条提示。

当这些工具每天使用数十亿次时,成本会飙升。金融分析师估计,Microsoft的Bing AI聊天机器人由OpenAI ChatGPT模型提供支持,至少需要当这些工具每天使用数十亿次时,成本会飙升。金融分析师估计,Microsoft的Bing AI聊天机器人由OpenAI ChatGPT模型提供支持,至少需要才能为所有Bing用户提供响应。以Latitude为例,虽然这家初创公司不必付费来训练它正在访问的底层OpenAI语言模型,但它必须考虑推理成本,类似于“每天几百万个请求”的“每次通话半美分”,Latitude发言人说。“而且我相对保守,”Curran谈到他的计算时说。

为了播下当前人工智能热潮的种子,风险资本家和科技巨头一直在向专门从事生成人工智能技术的初创公司投资数十亿美元。例如,据媒体10月份报道,Microsoft向GPT的监督者OpenAI投资了多达250亿美元。的风险投资部门 Salesforce Ventures 最近推出了一个 亿美元的基金,迎合了生成式 AI 初创公司的需求。正如风险投资公司Haystack和Lightspeed Venture Partners的投资者Semil Shah在Twitter上作为风险投资公司Haystack和Lightspeed Venture Partners的投资者Semil Shah,Semil Shah是的那样,“风险投资资金从补贴你的出租车和墨西哥卷饼交付转向LLM和生成AI计算。许多企业家看到了依赖潜在补贴的人工智能模型的风险,他们无法控制这些模型,而只是按使用量付费。

“当我在创业大会上与我的人工智能朋友交谈时,这就是我告诉他们的:不要仅仅依赖OpenAI,ChatGPT或任何其他大型语言模型,”目前处于测试模式的聊天机器人 “当我在创业大会上与我的人工智能朋友交谈时,我告诉他们:不要仅仅依赖OpenAI,ChatGPT或任何其他大型语言模型,”创始人Suman Kanuganti说。 的创始人Suman Kanuganti说。因为企业转移,它们都归大型科技公司所有,对吧?如果他们切断了访问,你就走了。

107225967-GettyImages-1457057344

中国的ChatGPT复刻能否使其在人工智能军备竞赛中超越美国?

企业技术公司Conversica等公司正在探索如何通过Microsoft的Azure云服务以目前的折扣价使用该技术。虽然Conversica首席执行官吉姆·卡斯卡德(Jim Kaskade)拒绝评论这家初创公司支付了多少钱,但他承认,补贴成本是受欢迎的,因为它探索了如何有效使用语言模型。“如果他们真的试图收支平衡,他们会收取更多的费用,”卡斯卡德说。

它如何改变

107203248-1678120520555-A100_3

英伟达如何从游戏发展成为人工智能巨头,现在为ChatGPT提供动力

目前还不清楚随着行业的发展,人工智能计算是否会保持昂贵。制造基础模型的公司、半导体制造商和初创公司都看到了降低运行人工智能软件价格的商机。拥有约95%AI芯片市场的英伟达继续开发专为机器学习设计的更强大的版本,但近年来整个行业芯片总功率的改进已经放缓。尽管如此,英伟达首席执行官黄仁勋认为,在10年内,人工智能的效率将提高“一百万倍”,因为不仅芯片的改进,而且软件和其他计算机部件的改进。“摩尔定律,在最好的日子里,将在十年内提供100倍,”黄上个月在财报电话会议上表示。“通过提出新的处理器、新的系统、新的互连、新的框架和算法,并与数据科学家、人工智能研究人员合作研究新模型,在整个跨度内,我们已经将大型语言模型的处理速度提高了一百万倍。

一些初创公司将人工智能的高成本视为商机。“没有人说’你应该构建一些专门为推理而构建的东西。那会是什么样子?“D-Matrix的创始人Sid Sheth说,D-Matrix是一家初创公司,通过对计算机内存进行更多处理来节省推理费用,而不是在GPU上。“人们今天正在使用GPU,NVIDIA GPU,来完成大部分推理。他们购买了NVIDIA销售的DGX系统,这些系统花费了大量资金。推理的问题在于,如果工作负载激增得非常快,这就是 ChatGPT 发生的事情,它在五天内就达到了一百万用户。您的 GPU 容量无法跟上,因为它不是为此而构建的。它是为训练和图形加速而建造的,“他说。HuggingFace首席执行官Delangue认为,更多的公司将更好地专注于更小,更具体的模型,这些模型的训练和运行成本更低,而不是吸引大部分注意力的大型语言模型。与此同时,OpenAI上个月宣布,它正在降低公司访问其GPT模型的成本。它现在对大约 750 字的输出收取与此同时,OpenAI上个月宣布,它正在降低公司访问其GPT模型的成本。它现在收费的费用。

OpenAI的较低价格引起了AI地下城制造商Latitude的注意。“我认为可以公平地说,这绝对是一个巨大的变化,我们很高兴看到行业发生,我们正在不断评估如何为用户提供最佳体验,”Latitude发言人说。“Latitude将继续评估所有AI模型,以确保我们拥有最好的游戏。

本文来自网络,不代表gptnews.cn立场,转载请注明出处。https://www.gptnews.cn/2033/
返回顶部