新京报深度

2024年10月11日，第12届中国挪动大师协作伙伴大会在广州无垠开幕，彩讯股份AI原生云打算治理决议Rich AICloud在大会亮相，Rich AICloud勤苦于于为大模子应用开发构建坚实的智算基础步调底座。

算力是大模子构建不成或缺的基石，算力径直关乎大模子磨砺的遵循和遵循。大模子的打算特点为：大数据、大打算，举例GPT4、Meta Llama3的磨砺齐是基于几万卡GPU集群，关联词现时国内智算集群的成立仍濒临一定的窘境：第一，算力可靠性几何式镌汰：一个任务在数十、数百台机器中启动，单台可靠性是99%，百台机器是99%^100=36.6%，GPU鸿沟越大，则全体可靠性就越低；第二，系统优化树立复杂：构建暴露高效的大模子系统，需要对网罗、框架、模子诸多参数进行调优；第三，器具少，生态弱：外洋厂商阻塞算力集群成立及优化时代，国内GPU厂商的软件生态尚在成立中，万卡集群成立仍濒临一定的挑战。

若何胁制算力本钱，擢升集群鸿沟，高效不休集群，擢升大模子磨砺推理速率，是各大企业及算力提供商濒临的清苦。

智算基础步调底座——Rich AICloud

针对现时算力的挑战，彩讯股份推出了AI原生（AI-Native）云打算治理决议，该决议是逼近了下一代AI原生云打算网罗架构、超大鸿沟算力集群不休平台、高性能大模子训推平台的AI算力构建及大模子运营一体化治理决议，旨在匡助企业快速构建大鸿沟算力集群、部署运营专属大模子，赋能智能化转型。

RichAICloud分为三层：其底层是RichNet下一代AI原生云打算架构，中间层是可完了万卡集群不休的RichMoss超大鸿沟算力集群不休平台，顶层是针对大说念话模子/文生图/视频的RichBoost高性能大模子训推平台。通过将AICloud平台部署到 GPU算力集群硬件管事器上，不错低本钱、高遵循构建起高可用、高性能的 AI 算力集群。

RichNet下一代AI原生云打算架构

AI大模子对网罗性能需求：大带宽、高负载、零丢包的无损网罗。跟着时代的发展，当今数据中心内的高性能网罗传输机制，还是从TCP/IP冉冉切换到RDMA，即而已径直内存看望。RoCE（RDMA over Converged Ethernet），是一种能在以太网上进行RDMA的集群网罗通讯条约，它不错大大镌汰以太网通讯的蔓延，提高带宽的诓骗率。

RichNet的RoCE网罗交换机，聚焦于下一代高性能网罗，提供先进的RoCE网罗全体治理决议，提供端到端RDMA打算通讯互有关统，基于RoCE以太网罗带宽诓骗率可达到IB网罗90-96%，All-Reduce基准测试暴露性擢升20%+，AI-to-AI基准测试朦拢量擢升20%+。

RichNet具备多重最初上风，在千卡集群中，决议可为客户简易特出一千五百万元的本钱开支；决议通用性高，支抓快速录用与反映，传统IB交货周期需要数月，而RichNet RoCE交货周期仅需数周；通过自研系统与算法，保证了较高的暴露性（传输抖动进度）和高性能（链路诓骗率）。

RichMoss超大鸿沟算力集群不休平台

RichMoss超大鸿沟算力集群不休平台，支抓云原生、容器化的部署格式，支抓异构GPU开拓。通过打算轮廓才气+高档改动功能，蚁集AI责任负载与底层打算资源，并通过高效、天的确改动机制和战略，优化地启动各式AI负载，最大化资源诓骗。

先进的 AI 打算集群改动器，提供启动大鸿沟责任负载所需的高档改动功能，支抓凭据业务见解天真界说和成立改动战略；异构GPU改动，池化 GPU 等各式打算资源，支抓不同厂商GPU，支抓集群鸿沟的动态膨胀；弹性分派责任负载，自动回收闲置资源，优化现存打算资源诓骗率，允许在合并硬件上启动更多打算；天真膨胀的责任流系统，简略把复杂的打算圭臬天真地组合在沿途，进行长入不休和改动，在集群中完了复杂大鸿沟打算责任流自动化，复古企业级、复杂、大鸿沟的 AI 责任负载；全面可视化的监控才气，可视化的界面提供 CPU、Memory、GPU、网罗、存储等硬件资源监控，达到对平台打算任务的全面不雅测和不休。

RichBoost高性能大模子训推平台

彩讯提供高性能的大说念话模子推理引擎RichLLM及高性能文生图/视频推理引擎RichDiff，从底层深度优化加快。

RichLLM是一款高效、易用、可膨胀的大说念话模子推理引擎，旨在为用户提供开箱即用的推理加快才气，大幅镌汰模子的部署本钱。收货于底层的深度优化、高效的推理框架、立异的通讯机制、深度优化的模子，平台加快比可达5倍以上，推论遵循、显存诓骗遵循、漫衍式通讯遵循获取充分优化。在各式推理场景中，最高遵循可达同类开源家具的10倍；同期，历程对模子、机制、框架、算子等结伙优化，可完了SOTA推理遵循；平台也支抓一键启动高效LLM推理管事。

RichDiff是一款高性能多模态推理加快引擎，专为图片和视频生成的推理加快假想。它凭借出色的性能，能完了高达基准引擎3倍的图像生成速率，同期保抓图像质地与原生PyTorch一致。RichDiff具有天的确对接才气，兼容多种深度学习引擎和前端应用框架，自在万般化需求。即插即用，无需作念模子更动；加快模子的保存与加载耗时仅需几秒。RichDiff使SDXL端到端推理速率最快擢升3倍， SVD端到端推理速率最快擢升3倍 。

彩讯Rich AICloud AI原生（AI-Native）云打算治理决议面前已在多个千亿参数级别的大模子磨砺、大模子推理、AI器具加快等方面成效落地，大幅镌汰模子训推本钱，加快AI家具的落地。面向未来，彩讯股份将抓续深刻AI智算领域时代和决议商讨，鼓励AI时代的抓续最初与雠校，接续联袂更多协作伙伴，赋能千行百业智能化变革。