产品展示

千元级AI 模盒云天励飞率先打响大模型「平民化」之战

  从 Gemini、Lumiere、再到 Sora,“百模大战” 的 “战火” 延续至 2024 年。诸多的大模型已经诞生,接下来的任务是落地。但行业大模型在落地过程中,遇到的瓶颈就像是一座冰山,藏在冰山下面的问题,更加棘手。

  要做物理世界的解码者,为 “无形” 技术和 “有形” 世界构建通道,这是云天励飞的定位。如何构建 AI 落地的通道?2024 年,围绕 “自进化城市智能体” 的理念,云天励飞持续深耕 AI 市场,并且在 3 月发布 “深目” AI 模盒,为 AI 大模型落地长尾场景交上一份新答卷。

  一般来说,AI 行业有着三大发展阶段,分别是技术找场景、场景反哺技术、场景找技术。

  第一阶段在 2012 年到 2022 年间,基础技术与感知智能迎来突破,AI 算法在人脸识别、智能驾驶、语音识别等应用场景中实现价值验证。在这样的一个过程中,云天励飞率先入局,2016 年,云天励飞研发的全球首套动态人像识别系统云天 “深目” 在深圳上线,通过城市级大规模人像信息搜索、布控和数据挖掘能力,实现 “亿万人脸、秒级定位”,也由此揭开了整个智能安防千亿市场的大门。

  到了第二个阶段大量场景的需求和数据反哺技术迭代。在芯片方面,从 2016 年至今,云天励飞的 AI 芯片已经演进了 4 代,新一代 DeepEdge10 融入 NNP400,是一颗 14nm Chiplet 大模型推理芯片。通过芯片的迭代,云天励飞让百亿级、几十亿规模的大模型可以运算在轻量级的边缘芯片上,完成高效推理。

  在大模型方面,2023 年,云天励飞推出自研大模型 “云天天书”,经历 3 代,已经更新至 3.5V 版本,增加了多模态支持,今年 6 月份将升级到 4.0V 版本。云天励飞通过算法、算力、数据这 “三驾马车” 驱动大模型,助力多行业应用落地。

  第三阶段场景找技术预计会在 2027 年到 2030 年间到来,届时将初步实现 AGI 与全面智能化,不同的行业、场景需求都会得到相应的解决思路和方案。

  在 AI 发展不同的阶段,云天励飞的布局始终围绕核心能力 —— 算法芯片化,从神经网络处理器及推理芯片,再到多模态大模型,云天励飞坚持用算法芯片化赋能边缘在线 年,AI 行业迈向下一个阶段,此时处于第一、第二阶段转换的关键时期,此阶段长尾场景算法带来的问题不容忽视。

  长尾场景指的是火灾等低频事件、更细分、更复杂的场景,极端场景识别训练的数据几乎为 “0”,需要高昂的算法成本,但商业经济价值并不明显。业内人士将其称为冰山之下的 “死亡之谷”。尤其是在智慧城市、交通管理等应用场景,要解决算法训练成本高、缺乏训练数据等痛点。

  云天励飞副总裁罗忆回忆,云天励飞一直寻找解决方案,解决长尾场景的海量需求,包括升级算法训练平台,降低算法生产所带来的成本,提升算法生产效率;打造算法开放平台,与行业伙伴共同丰富算法集市;开源 AI 大模型生产平台 YMIR,让客户能低成本地训练算法,并应用在芯片上面。

  罗忆坦言,云天励飞在努力提高效率,但效果并不明显。直到 2022 年,基于 Transformer 架构的生成式预训练大模型技术的出现,让 AI 行业看到了 AGI 的曙光。算法在经过大量数据喂养之后,大模型反映出来了极强的学习能力、场景泛化能力,也验证了云天励飞坚持的 “自进化城市智能体” 理念的可行性。云天励飞认为强大数据输入是大模型场景覆盖广的核心。

  随着市场需求的提升,大模型的应用从成熟场景走向新场景、多任务场景,但在应用过程中发现常规推理盒子在新场景中 POC 周期长达 2 至 3 个月,特定场景需在本地增设训练服务器;面向多任务场景任务数量与算力需求呈线性增长。若要训练专属大模型,企业要应对不断上涨的成本。

  为了补足长尾场景算法市场空白,云天励飞在今年 3 月发布了 “深目” AI 模盒,设计小巧,单手可托起。一个看似小小的盒子,“功力” 却不简单。

  一是 “深目” AI 模盒做到 “3 个 90%”—— 覆盖场景超过 90%、算法精度超过 90%、使用成本降低 90%,解决大模型在场景落地最后一公里的问题。

  二是把大模型应用成本降到千元级别。常规大模型一次训练成本在千万级,主流的训推一体机价格普遍在百万元。但云天励飞将 “深目” AI 模盒的售价做到了千元级,让每个企业都拥有专属大模型。

  三是 “深目” AI 模盒可承载 10 亿级 SAM、百亿级 Llama2 等大模型运算,适用于 AIoT 边缘视频、移动机器人等场景。

  罗忆介绍,面向新场景,“深目” AI 模盒 POC 降至 1 至 2 周,并且训练推理一体化;面向多任务场景,越多任务并行算力高效性越凸显。值得一提的是,“深目” AI 模盒将算法生产从 7 步缩短至 4 步,算法调优从 7 步缩短至 3 步。

  为了能够让 “深目” AI 模盒实现以上创新,云天励飞进行了大量的技术攻关。在算力上,“深目” AI 模盒搭载了云天励飞新一代 14nm Chiplet 大模型训推芯片 DeepEdge10 Max,采用 RISC-V 核,配备了 D2D Chiplet 架构打造的推理卡。

  在算法上,以多模态大模型 “云天天书” 为底座,该大模型具备泛化和学习的能力,客户部署算法后,大模型还能不断根据现实应用场景情况,自我迭代,不断的提高算法精度。

  亿欧智库的多个方面数据显示,截至目前,国内公布的大模型数量已超过 300 个。云天励飞的 “云天天书” 在众多大模型中脱颖而出,获得中央网信办备案,在 C-Eval、CMMLU 多次获得第一,并且落地政务、交通、企业等多个领域。

  在 AI 浪潮中,几乎所有的企业都在寻求入局机会,而早已在 AI 市场深耕的云天励飞,有着深厚的 AI 基因,可以说这波 AI 浪潮,将它的 AI 技术积累,发挥出了最大价值。“深目” AI 模盒的出现,让云天励飞实现了大模型 “平民化”,AI 普惠化的进程也将由此加快。

  董事长兼 CEO 陈宁博士表示,AI 商业化发展有三个阶段:AI 方案化、AI 运营化、AI 产品化。这也是云天励飞的业务发展路径。

  在 AI 方案化方面,云天励飞已经在警务、城市治理、智慧交通、人居生活等领域打造出了成熟行业解决方案,并且持续探索低空经济、智慧教育等创新领域。基于在大量行业的落地经验,云天励飞逐渐实现 AI 运营化,随着 “深目” AI 模盒的发布加速走向 AI 产品化。

  事实上,云天励飞早在 2023 年就推出了内置云天天书大模型的产品,与华为昇腾联合推出的天舟大模型训推一体机,可满足面向多业务场的大模型高并发高能效处理、业务快速上线的需求。

  云天励飞认为AI将快速进入到标准化产品的时代,因此公司加速推动在终端边缘、云端智能硬件的 AI 产品的标准化。尽管 2024 年才过去一个季度,但云天励飞的动作却不少。3 月,云天励飞于与智慧互通(IICT)签署战略合作协议,双方将一同推动 AI 在智慧交通和数字城市等领域的深层次地融合与落地。

  除了已经沉淀多年的智慧城市、智慧安防、智慧交通等领域,云天励飞还在持续开拓新的领域。同样是在 3 月,云天励飞收购了智能穿戴方案设计头部公司岍丞技术。在完成收购之后,云天励飞将进一步整合岍丞技术在智能穿戴上的能力,开展智能穿戴产品的软硬件开发与技术服务业务,探索 “大模型 + 智能可穿戴” 深层次地融合,推进大模型语音交互落地。

  陈宁博士预判,未来 AI 大模型一定会走向 C 端,包括 AIPC、AI 手机,甚至走向可穿戴设备,引爆可穿戴设备新一轮变革,最终会通过 AR/VR、AI Pin 等面向 C 端的可穿戴设备让每一个人都拥有一个 AI Agent。

  毫无疑问,今年会是云天励飞 AI 产业化布局加速的一年,不管是技术迭代,还是 AI 落地,在 “百模大战” 的大模型落地竞速赛中,云天励飞将围绕算法芯片化技术能力,打造出新的技术底座,并赋能到千行百业中,AI 普惠化、大模型 “平民化” 将是下一阶段的关键词。

  疑似负责特朗普安保的狙击手发声:我发现了袭击者在瞄准,但高层拒绝下令将其击毙

  重磅:大批中国留学生申请澳洲庇护!数字惊人!许多中国家长赴澳陪读,放弃高薪工作...

  特朗普遇袭高举拳头耳旁流血经典照片登上《时代》杂志封面!照片作者粉丝暴涨

  杭州男子称在统一方便面酸菜中吃出老鼠头,回应:酸菜可溯源,检测指标达300多项

  石正丽、周鹏团队新发现:蝙蝠中普遍共感染SARS相关冠状病毒与其他哺乳动物病毒

  苹果紧急向98国家iPhone用户发布警告:您的iPhone可能被入侵!

  美洲杯-劳塔罗第112分钟绝杀梅西伤退 阿根廷1-0哥伦比亚连续3届大赛夺冠

  三星 Galaxy Tab S10 Plus / Ultra 平板被曝将于 10 月发布

  取代入门独显!AMD Radeon 890M核显已媲美RTX 3050