财新传媒


【新科技观察】“小模型”才是AI的春天吗/生殖细胞培养研究前进一步

2024年05月28日 18:31
财新智库出品的《新科技观察》报告每周二发送,提供重要的全球新科技政策信息、市场资讯、企业动态及深度洞察
5月22日凌晨,微软Build 2024开发者大会于在美国西雅图召开,微软发布了Phi-3小模型家族的第四个模型,Phi-3-vision。

  财新智库的《新科技观察》每周报告又和您见面了,本期我们的精彩关注包括:小模型大战开启了AI真正的春天吗、广州启动低空经济发展条例立法工作、日本研究人员开发出利用人类诱导多能干细胞培养生殖细胞方法等等。想阅读报告全文、获取邮件推送服务,请点这里

  以下是报告精华摘要:

  一、资讯速递

  【政策】

  ♢ 中国新增19个职业29个工种

  ♢ 中国民用机场协会发布《电动垂直起降航空器(eVTOL)起降场技术要求》团体标准

  ♢ 广州启动低空经济发展条例立法工作

  ♢ 深圳:汽车“置换更新”一次性补贴最高8000元

  ♢ 国家数据局印发《数字中国建设2024年工作要点清单》

  ♢ 英国正式立法明确:自动驾驶导致事故发生,将由企业承担责任

  【前沿】

  ♢ 中国电信发布首个支持30种方言混说语音大模型

  ♢ 日本研究人员开发出利用人类诱导多能干细胞培养生殖细胞方法

  ♢ 天津大学团队研发出适应极低温环境电子皮肤

  ♢ 三星首款可穿戴辅助机器人Bot Fit已完成开发,计划Q3上市

  【市场】

  ♢ 银河航天在泰国实现递归卫星互联网通信验证

  ♢ 英伟达Q1财报全面超越预期,宣布拆股和提高季度股息

  ♢ 谷歌CEO承认AI摘要功能存在“幻觉”问题:尚无解决方案

  ♢ AI创企Scale AI融资10亿美元,亚马逊、英特尔资本、Meta参投

  ♢ 网络安全企业长亭科技完成10亿元融资

  ♢ 特斯拉:Autopilot自动辅助驾驶让行车安全达到平均水平的11.4倍

  ♢ 分析师:苹果市值将在明年超过4万亿美元

  ♢ 蔚来一汽将合作研发换电车型,蔚来换电联盟车企扩容至8家

  ♢ 大湾区首个大规模全液冷智能算力数据中心完工

  ♢ Neuralink第二位受试者获FDA批准,计划6月手术

  ♢ 礼来追加53亿美元扩增“减肥神药”产能

  ♢ 蚂蚁集团发布首个开源金融场景多智能体框架

  ♢ KKR对意大利电信的220亿欧元收购交易接近获得欧盟批准

  ♢ 中科光智完成数千万元A轮融资

  ♢ 前图森未来中国CTO王乃岩将加入小米汽车

  ♢ 瑞固新材完成超亿元天使轮融资

  ♢ 云山动力完成近亿元融资

  ♢ 韩国互联网巨头Kakao泄露超6.5万条个人信息,被罚款超150亿韩元

  ♢ SpaceX考虑股份出售计划,估值或达2000亿美元

  ♢ 特斯拉美国本土外首个储能超级工厂落地上海

  ♢ 马斯克计划打造xAI “算力超级工厂”

  ♢ 宝马集团投资云仿真公司Simr

  ♢ 微软开发者大会发布AI全家捅,推出近50个新产品和更新

  ♢ 小米宁德时代北汽等成立动力电池公司,注册资本10亿元

  ♢ 小鹏发布国内首个量产上车的端到端大模型

  ♢ 开启价格战,阿里云宣布通义千问主力模型降价97%

  ♢ 智能诊断技术平台公司Tempus AI申请美国IPO

  ♢ 智谱AI入股芯片商行云集成电路

  ♢ 月之暗面新一轮估值已达30亿美金,继阿里后,腾讯也入局

  ♢ 比利时半导体研究机构IMEC将获得25亿欧元投资

  ♢ IBM宣布将更多人工智能模型开源

  ♢ 波音“星际客机”飞船预计将于6月1日进行首次载人试飞

  二、深度分析

  《小模型大战开启,AI真正的春天来了?》

  随着以 ChatGPT 等为代表的大语言模型横空出世,大模型的应用已经渗透到人类社会工作生活的各个方面,改变甚至颠覆着人类的工作和生活方式。但是依赖于云环境运行的大模型广泛应用,带来的是能源和资源的巨大消耗。

  例如ChatGPT-4 的参数量已经超过了 1 万亿。Meta研究人员曾经做了这样一个假设,如果人类约5%的时间在使用大模型,包括前端的会话界面、后端操作等,假如以GPT-4每秒处理 50 个 token 的速率来计算,则需要部署大约一亿个H100 GPU,每个 GPU 的计算能力为 60 TFLOPs/s。这种计算规模,还不包括通信和数据传输的开销,就已经与 160 个 Meta 规模的公司相当。

  想要降低成本,最直接的方法是训练参数更小的模型,让用户的手机、电脑直接在本地运行,分担平台的压力。怎么让更小的模型有更好的效果,成了大模型公司们的竞争焦点。

  5月22日凌晨,微软Build 2024开发者大会于在美国西雅图召开,整场发布会,微软都在向世界宣告,一个全新的AI时代正式开启。

  其中最重磅的发布,就是微软发布了Phi-3小模型家族的第四个模型,Phi-3-vision。Phi-3-vision模型,仅有4.2B参数,在一般视觉推理任务、OCR、表格和图表理解任务中,性能超过了像Claude-3 Haiku和Gemini 1.0 Pro V这样的更大模型。

  这是微软在今年4月更新“小模型”Phi-3后,更进一步的尝试。Phi-3-vision模型可以阅读文本和查看图片,同时这个42亿参数量的模型足够紧凑,能够在移动设备上运行。

  虽然OpenAI 用 GPT-3.5 和 GPT-4 证明了大模型的实力,然而从微软、谷歌再到苹果和英特尔,需要争夺的是在PC和手机等端侧场景的AI落地。这就需要模型够小。

  目前Phi-3家族共有4个模型:Phi-3-mini,Phi-3-small,Phi-3-medium和Phi-3-vision。Phi-3-mini是一个3.8B参数模型,有128K 和4K两个版本。Phi-3-small是一个7B模型,有128K和8K两个版本,而Phi-3-medium是一个14B模型,有128K和4K两个版本。

  只有7B参数的Phi-3-small模型,在语言、推理、编码和数学的各种基准测试超过了GPT-3.5。14B参数的Phi-3-medium模型性能超过了Gemini 1.0 Pro,Mistral-8x22B等模型。

  Phi-3模型虽小,但是却有很高的性能。此外,微软还发布了一个更小的模型Phi-Silica,参数量只有3.3B,它是专为Copilot+ PC NPU所设计,可以直接跑在Windows PC上。

  在概念上,大模型是指参数量巨大的深度学习模型,具有强大的计算能力和数据拟合能力,可以在大规模数据集上进行训练,能够更准确地捕捉数据中的模式和特征,获得更准确的预测结果,实现更准确、自然的内容输出。

  而小模型是指参数量相对较少的机器学习模型,具有简化的结构和较少的隐藏层单元或卷积核数量,存储和计算资源方面的需求较低,能够快速训练和推理。由于占用资源较少,小模型在移动设备、嵌入式系统或低功耗环境中更易于部署和集成,能够在资源受限的设备上高效运行,可以轻松地部署在本地设备上,而不需要依赖云服务……(全文3605字)

  本文选自财新智库报告《新科技观察》,点这里阅读全文或注册邮件获得推送

  推荐进入财新数据库,可随时查阅宏观经济、股票债券、公司人物,财经数据尽在掌握。

责任编辑:严维汉 | 版面编辑:王永

推广

于达维
毕业于北京大学地球物理系,美国怀俄明大学大气物理专业硕士,曾从业媒体20余年,为资深科技记者及研究者。