-
在家就能训练 700 亿大模型!Answer.AI 开源项目冲上 HN 热榜
整理 | 王启隆 出品 | AI 科技大本营(ID:rgznai100) 自从 Meta 入局开源了 LLaMA,大模型圈的创业浪潮似乎就没停下来过,数以万计的初创公司崭露头角,颇有当年个人计算机(PC)行业在 Linux 系统开源化之后的繁荣景象。 就在去年 12 月,曾经创立了 fast.ai 的 Jeremy Howard 和 Eric Ries 创建了一个名为 Answer.AI 的新人工智能研发实验室。该实验室得到了 Decibel VC 的 1000 万美元资金支持,旨在通过专注于利用现有技术创建实用的人工智能应用程序。 Jeremy Howard 准确地说,Answer.AI 对自己的定位是「独特的营利性质研发实 验室」,其精神更接近 19 世纪的「电力实验室」,和当前如火如荼的 AI 初创浪潮区分开来。 3 月 6 日,Answer.AI 终于在自己的官网博客上正式公开了自己的第一个项目:一个完全开源的系统,首次能够高效地在配备两个或多个标准游戏显卡(如老黄家的 RTX 3090 或 4090)的普通台式电脑上训练一个 70b(700 亿参数)的大规模语言模型。目前,Hacker News 对该项目已经讨论得热火朝天。 在 GitHub Trending 上,这一项目今天也冲上了 Jupyter Notebook 的热度第一。 “端侧大模型”是今年相当热门的话题,之前开源了 7b 模型的法国公司 Mistral 就用一个小模型击败了 LLaMA,还得到了微软的青睐;而 公众 号曾分享过的 1 bit 大模型更是从底层掀翻了大模型牌局。Answer.AI 的这个项目基于 FSDP 和 QLoRA 技术,是 Answer.AI、Tim Dettmers、以及 Hugging Face 团队的 Titus von Koeller 和 Sourab Mangrulkar 共同合作的成果。 接下来,让我们一起来看看 A nswer.AI 究竟用了哪些手段实现“在家训练大模型”,一同展望「人人都能创建个性化模型」的时刻还有多久到来。 原文链接:https://www.answer.ai/posts/2024-03-06-fsdp-qlora.html#a-first-step 用游戏显卡训练大模型! 2024 年的今天,训练深度学习模型使用的硬件通常分为两大阵营。 一派是数据中心级别的高端硬件,比如 H100s 和 A100s,售价高达数十万美元;另一派则是配备有游戏显卡的普通台式电脑,例如一对 RTX 4090 显卡,总价不足 1 万美元(甚至可以采用二手部件拼装,俗称「捡垃圾」,成本不到预装整机的一半)。 关键在于,尽管游戏显卡的价格仅为数据中心级显卡的十分之一,但它们的性能却相当接近。设想若能有效利用这类成本低廉的游戏显卡训练大语言模型,无疑将是一个巨大的进步。 然而,现实情况是, 顶级的数据中心级显卡拥有 80 GB 的…
-
英特尔大败局!
作 者 丨 耿康祁华商韬略出品丨ID:hstl8888 2000年,英特尔以3000亿美元的市值傲立科技浪潮之巅。 20多年过去,英特尔的同行们,当初500亿美元的台积电市值超过7500亿美元,当初50亿美元的英伟达市值超过2万亿美元,当初连它脚跟都摸不到的AMD,市值超过3300亿美元…… 而当初市值就超过3000亿美元的英特尔,已市值不到1900亿美元。 3月5日,英特尔高调宣布,收到了ASML的全球首台新一代高NA EUV光刻机。 作为2nm以下先进制程芯片量产的必备“武器”,其售价超3亿美元。花费巨资的英特尔,向世界表露了赶超全球“代工之王”台积电的野心。 不过, 作为 已经沦为全球晶圆厂排名第十的“末位”玩家,英特尔想要再起风云已是“不可能完成的任务”。 1971年,刚成立三年的英特尔开发出第一个商用处理器Intel 4004,拉开了世界计算机和互联网革命序幕。 此后,从内存到个人电脑和服务器CPU,从芯片设计和制造,英特尔都长期是美国乃至全球半导体的绝对霸主。 上世纪末,它和微软系统形成的“Wintel”联盟,造就了全球化的PC时代浪潮。2000年,英特尔市值由此突破3000亿美元,其风光盛过今日的英伟达。 但顶峰之后,它几乎一路挨打,并在近十年里陷入势不可挡的衰败。 2017年,一则“三星业绩超越英特尔,成半导体新霸主”的爆炸消息,席卷行业。 作为专注于利润率较低、价格波动较大的存储芯片王者,三星常年被在个人电脑和服务器等关键市场占据着高份额、高利润的英特尔,压着一头。 面对突如其来的扬眉吐气,三星审慎地拒绝置评。英特尔反倒强势表示, “我们对战略和业绩感到非常满意。” 事实却是,那已是英特尔最后的倔强了:原定的10nm芯片计划推迟,这在技术为王的半导体行业极为致命。而它CPU和代工市场的两个最大对手AMD、台积电,却各有突破。 技术难产加上对手崛起,英特尔变得格外被动。 2018年到2019年,英特尔营收和利润屡创新高,但却因为远远落后对手的增长速度,以及市场份额不断被蚕食,一步步被对手赶超。 2020年7月,已经远远被对手甩开的英特尔,进一步坠入深渊。 灾难来自时任CEO鲍勃·斯旺(Bob Swan)在电话会议上的无奈表态:公司未来芯片制造工厂(晶圆厂)可能永远无法赶上进度,甚至不得不考虑使用承包商来制造7nm芯片。 尽管他试图保持冷静,但在场的每一位分析师都感觉出来他讲话都有些“结巴”了,毕竟这可能是英特尔52年历史上最激进的“噩耗”——公开承认从高端芯片制造的顶峰跌落。 甚至有美国媒体惊呼,英特尔的“惊人失败”预示着美国芯片时代的终结。一夜之间,英特尔市值蒸发近3000亿元人民币。 2021年2月,绝望的英特尔解雇了刚上任两年的CEO斯旺。临危受命的,是英特尔第八任CEO帕特·基辛格(Pat Gelsinger)。 1985年,英特尔创始人之一安迪·格鲁夫(AndrewS.G rove)曾找到要攻读博士的基辛格,“你可以在这里驾驶模拟器,或者留在英特尔驾驶真正的飞机。” 30多年后,基辛格成为了英特尔的“机长”,但他的任务却是拯救这个曾经改写和引领历史的霸主,不要彻底被时代抛弃。 他雄心勃勃地宣布: 英特尔回来了! 作为在英特尔工作过近三十年的老将,基辛格知道“十多年的错误,不可能一夜解决”。 但他仍拼命补救,宣布了将设计与制造部门分开运行的IDM2.0战略,即以更灵活的晶圆代工模式,更激进的花钱扩张和技术革新,抢夺丢失的市场份额,乃至重返王者。 为此,英特尔主动剥离次要业务,聚焦设计和制造。并于2021年3月,投资200亿美元在美国亚利桑那州新建两座晶圆工厂;一年后又投资超200亿美元在俄亥俄州新建两座工厂。 2021年7月,英特尔公布了“四年五个制程节点”计划,即未来四年内推进Intel 7、Intel 4、Intel 3、Intel 20A和Intel 18A(1.8nm)五个制程节点,于2025年重获制程领先性。 华尔街的一次电话会议上,基辛格直言:“伟大的公司能够从困难和挑战时期恢复过来,并且比以往任何时候都更强大、更好、更有能力。” 一众行业分析师,却泼起了冷水:“新路线图非常激进,但不知道将如何实现。”英特尔接连不断的悲惨业绩,正是他们保持悲观的强力依据。 2022年7月,英特尔Q2财报总营收153.21亿美元下跌22%,10年来首次净亏损4.54亿美元的表现,堪称“史上最惨不忍睹业绩”。 2023年一季度,英特尔净利润亏损27.6亿美元,创下有史以来最大亏损。 2024年1月26日,英特尔发布财报显示,2023年营收为542亿美元,同比下降14%;净利为17亿美元,同比腰斩79%,股价闻声又大跌10%。 如今,连无比渴望翻盘的基辛格,也被迫面对现实: “要恢复昔日实力,还有很长的路要走。” 毕竟,2000年就曾市值高达3000亿美元的英特尔,如今市值已不足2000亿美元。而当时市值不过500亿美元左右的台积电、50亿美元的英伟达,如今则分别高达7591亿美元和2.19万亿美元。 就连当初连英特尔脚跟都摸不到的AMD,如今也以超过3300亿美元的市值,将英特尔踩在脚下。 上世纪60年代,英特尔创始人之一戈登·摩尔(Gordon Moore)提出著名的摩尔定律:当价格不变时,集成电路上可容纳的晶体管数目每18到24个月会翻一番,性能也将提升一倍。 从此,英特尔成为最忠实的定律捍卫者:坚信只要完美遵循这一“魔咒”,就天下无敌。 即便行业衰退期,英特尔也始终以超10%研发投入,追赶摩尔定律。并由此实现了产品和市场的不断超越,更在1992年登上全球最大半导体企业宝座。 2005年到2007年,英特尔又推出了独特的Tick-Tock生产模型,即以两年为轮换单位,“tick年”侧重芯片制造,更新芯片制程、提升工艺;“tock年”侧重芯片设计,革新架构。 在这一框架下,只要芯片性能和制造工艺稳定提升,英特尔就不会因为过快的研发节奏,浪费上一代处理器性能;晶圆厂的大量投资,也能被庞大的产能需求有效分摊。 进而,英特尔能以更低成本,获得领先对手更多的市场和资金优势,进一步促进更高性能芯片研发及产能扩张的持续增长。 由此,英特尔赢得了不浪费任何机会和成本的黄金十年,且从45nm、32nm到22nm、14nm研发,一路水到渠成、遥遥领先。三星、台积电、AMD等对手,都只能跟在后面亦步亦趋。 这一巨大成功,更让英特尔成为少数有资格坚持IDM模式的巨头:即将半导体生产的设计、制造、封测和销售等核心环节,一手包办。 起初,英特尔、IBM、富士通等全球半导体巨头,都是“自己设计自己造”的IDM模式。 但先进制程技术研发和生产成本实在太高,日渐失去市场的大厂们,逐渐停止了晶圆厂投入。IDM全球玩家数量迅速从130nm时的30个,锐减到不足5个。 不过IDM模式优势明显,芯片的各个环节都能得到合理配置,且内部沟通衔接流畅可降低交易成本,大幅缩短产品上市时间,进而获得较高利润率。 英特尔因此得以靠着这一模式大杀四方,并以高达60%以上毛利率的暴利傲视群雄。 然而,就在英特尔赢家通吃的时代,一股足以颠覆它的力量正暗中壮大。 1987年,与张忠谋私交甚好的安迪·格鲁夫,刚上任英特尔CEO,就用一句话改变了同年成立的台积电命运:或许英特尔用得上你们。 此后,承接了英特尔部分低端芯片产能的台积电,尝到了代工的甜头。但不满足于IDM大厂“残羹冷炙”的张忠谋,做出了对世界半导体产业链影响深远的决定:做专业晶圆代工。 起初,台积电想再次抱上英特尔“大腿”,却被拒绝了融资请求。连摩尔都亲自劝张忠谋:“你有过很多好主意,但这个不怎么样。” 但这一次,摩尔和英特尔都错了。 1991年后,随着半导体景气周期到来和电脑产业兴起,低门槛的芯片设计行业,涌入了无数新鲜血液。而台积电,成为这些没有资金和人力建晶圆厂的初创企业的最大底气。 到1994年,上市成功的台积电已拥有137个客户,市值更高达1200亿新台币。 这堪称半导体历史的一个分水岭,英特尔坚守的IDM模式被台积电的专业晶圆代工模式不断击败。诸多在原有模式下被英特尔无情扼杀的对手,得以借此喘息乃至偷偷崛起。 1995年,创业两年的黄仁勋,苦于没有资金建晶圆厂,只能写信求助台积电。很快,张忠谋回电话同意代工,一如英特尔当年改变自己一样,改变了英伟达的命运。 借助台积电专业可靠的代工模式,初出茅庐的英伟达得以迅速占领细分市场。英伟达提出GPU概念后,黄仁勋更是强调:没有Plan B,全部压在台积电上。 果然,在台积电倾力帮助下,英伟达一炮打响成为全球显卡芯片龙头。黄仁勋后来庆幸地说:“如果当初自建晶圆厂,可能我只能成为千万美元营收的CEO。” 相似的故事,也发生在高通和AMD身上。 1996年,移动电话开始全球普及,饱受无线通信技术巨大研发投入之苦的高通,顺理成章找到台积电代工,从而极大缓解了资金压力得以全心押注CDMA技术,崛起为行业巨舰。 AMD创始人杰里·桑德斯(Jerry Sanders)最初曾倔强地认定“拥有晶圆厂才是真男人”。即便张忠谋表示“我的生产成本是英特尔一半,品质比它好两倍”,也未能说服他代工。 但在这个旧有模式里,全面落后的AMD根本不是英特尔的对手。英特尔Tick-Tock模型推出之后,既在产品设计上落后,也在先进制程上落后的AMD更是招架无力,一度被挤压到破产边缘。 无奈之下,AMD于2009年剥离晶圆厂,放弃IDM模式,走向专注设计的道路。2014年,AMD迎来华裔女性CEO苏姿丰,她进一步豪赌设计,集中自研全新Zen架构,并依托台积电不断突破的制程技术,全速追赶英特尔。 英特尔因此彻底迎来与全球最顶尖芯片设计公司、最顶尖制造公司双线作战的时刻,并一步步被对手逼向深渊。 制造上,2014年英特尔宣布14nm工艺量产再次延期,外界预感到Tick-Tock战略开始失效;台积电则启动“夜鹰计划”,集合近400位研究人员、24小时三班轮值,突击10nm。 2017年,英特尔突破10nm计划“难产”,勉强发布的14nm+工艺被耻笑为“挤牙膏”,运行了十年之久的Tick-Tock模型宣布“破产”,台积电则在2018年率先实现了7nm量产。 设计上,AMD以处理速度更快、价格不到英特尔一半的Ryzen系列CPU,炸翻业界。 2018年,台积电7nm量产之后,AMD更下定决心将产能全面转移给它,英特尔则进一步陷入IDM模式的恶性循环:当自家工厂实现不了更先进制程,会阻碍设计创新,而设计落后会让市场和效益落后,并拖累公司投入继而更实现不了先进制程。 2020年7月,英特尔再次宣布7nm工艺推迟,而台积电生产的5nm芯片已经同iPhone 12和华为Mate 40一起上市,3nm芯片也提上日程。 至此,台积电的制造已成为英特尔“永远追赶不上”的梦魇,站在台积电肩膀上起飞的AMD也持续华丽逆袭,并在2022年2月市值首次超越英特尔,如今更以超过20%的全球PC和服务器市场占有率,高速蚕食着英特尔的未来。 从这个意义上说,英特尔的失败是模式的失败,是它试图以一己之力在设计与制造两大领域PK全球对手的失败,是什么都想做最后什么都没做好的失败。 但除了模式,英特尔也还有更大的败因。 带领英特尔走向巅峰的格鲁夫,曾在《只有偏执狂才能生存》中指出:能够识别风向、避免沉船,对于一个企业的未来至关重要。 但他之后的英特尔,却一次次地错过了未来的“风向”。 2006年Mac世界大会上,出现了科技史上一个经典场面: 身穿半导体净化服的英特尔CEO保罗·欧德宁(Paul Otellini),将一块大硅片递给了史蒂夫·乔布斯(Steve Jobs),激动表示“英特尔准备好了”。 过去十年,英特尔主导着世界绝大部分个人电脑CPU市场,苹果则是最后一块未被征服的“处女地”。获得“硅谷偶像”乔布斯肯定的欧德宁,为英特尔争取了巨大胜利。 此后,双方成为紧密盟友,但欧德宁赢得了开头,却输到了最后 当第一代iPhone产品刚开始酝酿之时,乔布斯曾经亲自找到欧德宁,希望英特尔为苹果智能手机制造芯片,然而这一次欧德宁却犯下载入史册的历史性大错。 他认真组织内部专家分析讨论了为iPhone制造芯片的可能,专家们一致认为,乔布斯给的订单价格太低、数量也有限,是不划算的买卖。 欧德宁听取了这些专业人士的意见,对乔布斯说了不。 专家们的考虑也是对的。当时的英特尔,已在个人电脑和服务器X86芯片市场上,占据着绝对份额,利润像开足的“印钞机”一样滚滚不断。 但刚刚兴起的移动芯片领域,以智能手机和平板电脑等设备为主,性能和功耗更低的ARM架构产品就可满足,英特尔难以做出高附加值,如果重兵投入可能得不偿失。…