近日，京东云JoyScale AI算力平台才智再升级，终了行业最多元国产异构算力诊治，复旧10+家国产AI算力卡，20+查考推理框架，亦然当今业界独一同期复旧英伟达显卡和昇腾NPU费力调用的算力平台，为AI应用的高效启动提供纷乱的算力复旧。

AI深度应用开启，市集需要AI Native的算力平台

跟着AI应用长远，对基础神气带来了一系列全新的时候挑战，齐指向需要一套AI Native的AI算力平台。

一方面，以CPU为中心的架构在复旧AI原生应用方面存在难办的问题，需要以GPU为中心重塑基础神气，在国内还需要责罚GPU自身型号万般带来的异构问题。另一方面，应用的深化引发了更多推理的需求，策划资源捏续增多，企业需要念念考资源干与产出的问题，但愿智算资源像昔日相同取得极致的后果。此外，GPU海外供应链风险加重，金融、政务等领域AI算力国产化替代加快，算力还需知足合规条目。

面向大模子查考、推理的算力需求，京东云推出全新的JoyScale AI算力平台——以GPU为中枢，高效异构算力诊治，纷乱推感性能。

全面升级，JoyScale终了行业最多元国产算力异构诊治

JoyScale AI算力平台，是基于京东里面合股GPU池化执行打磨的同源同栈AI基础神气算力平台，复旧查考任务和推理就业合股诊治和资源分享，复旧10+家国产AI算力卡，20+查考推理框架，亦然当今业界独一同期复旧英伟达显卡和昇腾NPU费力调用的算力平台。

它具备四大中枢上风：

极致算力性能。行业逾越的内核态池化引擎，提供多卡团员、单卡切分、多机多卡集群化诊治、推理加快等相反化才智，知足大参数模子集群化部署条目，JoyScale看成通过信通院最高品级双认证的AI算力平台，不错知足金融级数据安全、性能和自在性条目，全体推感性能造就50%。

高效异构算力诊治。JoyScale全面适配十余家国产算力，兼容适配昇腾、寒武纪、海光等多种国产加快卡，复旧异构算力合股纳管、细巧化运维，云原生AI诊治才智，极致造就AI任务部署密度，全体资源运用率造就70%。

深度国产AI生态配合。京东云和繁密国产芯片厂商深度配合，相互敞开启动时Runtime层代码，通过GPU/NPU切分池化时候，从内核层屏蔽异构厂商硬件的复杂性，终了更高效的AI算力。

复旧超20种AI训推框架。查考框架复旧PyTorch、TensorFlow、DeepSpeed，MindSpore等；推理框架复旧vllm，sglang，MindIE，triton，TensorRT-LLM等。

3、极致性能调优，复旧大模子在国产卡高效启动

JoyScale AI算力平台，基于极致的性能调优打算，攻克了主流模子在国产卡上启动的时候难点并酿成责罚决策，看成业界独一同期复旧英伟达显卡和昇腾NPU费力调用的平台，终赫然应用与算力的永诀，让底层异构算力得以澈底池化，梗概把柄表层AI应用的本色需求，无邪地按需分派算力资源。

在诊治优化方面，JoyScale通过诊治算法，在国产就业器卡互联拓扑结构上，兼容原有英伟达NVLink上的优化，兼顾算法任务性能、集群运用率与业务启动。通过智能识别CPU NUMA和网罗拓扑，确保任务被分派到最优的策划和网罗资源上，最大化任务的奉行后果。

在资源运用率方面，JoyScale通过让国产GPU/NPU与英伟达/AMD共同盲从资源队伍机制，既可有一定资源的保险量，同期可分享集群平静资源，给用户提供更无邪的策划资源，终了更高的集群资源运用率。

在模子优化方面，通过GE图编译优化和ATB高性能算子时候，对Paged Attention、Flash Attention等操作进行深度优化，终了整图下发才智，通过算子setup、下发、策划终了活水线并行，灵验荫藏了算子诊治支出。并通过Prefill/Decode永诀时候，KV cache等缓存时候减少重叠策划，灵验提高多模态场景推理速率。

在软硬协同优化方面，通过对热门算子进行细巧调优，实施锯齿Attention、动态输入拼接、全子图下发，以及重策划活水线的颓败诊治和自适合重策划等深度优化要领，终赫然百卡 MFU达60%。同期，通过权重更新通讯荫藏、CoC策划通讯并行和多机间RDMA通讯等时候，达到了百卡彭胀整个0.93，终赫然千亿至万亿参数模子查考的近线性横向彭胀。

刻下，基于京东集团复杂场景执行开yun体育官网入口登录体育，京东云构建了一站式大模子居品矩阵，从底层的智算基础神气，到中间层的模子就业和器具，再到表层的Agent应用设立，复旧企业快速部署大模子及应用。同期，凭借在京东里面场景千锤百真金不怕火的深度应用教化，打造出的极致性能、极致性价比的时候与居品，助力更多企业重塑AI坐蓐力。