基于华为昇腾910B，实战 InternLM2.5-7B-Chat 模型推理

用户1672

用户9454

用户1423

2024年12月3日修改

本文将带领大家基于启智平台，使用 LMDeploy 推理框架在华为昇腾 910B 上实现 internlm2_5-7b-chat 模型的推理。​

1.登录启智平台

2.创建云脑任务

新建云脑任务

目前启智平台提供 4 种 AI 训练任务（调试任务、训练任务、在线推理、通用任务），这里我们选择调试任务。​

所属项目，我们选择一个已经有的项目，没有项目，可以新建，这个就不详细展开。（可以点击右上角）​

接下来就是选择算力平台，启智平台目前提供了好几个厂商的算力。（英伟达、昇腾NPU、遂源GCU、寒武纪MLU、海光DCU、天数智芯GPGPU、沐曦GPGPU) ，这里我们选华为昇腾NPU。​

资源规格栏，我们选择 D910B 的显卡。（显存 64GB 、CPU24 、内存 192GB）​

镜像栏会随着选择的显卡出现相应的模型镜像，这里我们选择 openmind_cann8。​

模型这块我们可以根据自己的需要选择。考虑到 LMDeploy 并不是每个模型都是支持的，我们在官方的列表中找到支持的模型 https://lmdeploy.readthedocs.io/en/latest/supported_models/supported_models.html

基于华为昇腾910B，实战 InternLM2.5-7B-Chat 模型推理​