基于华为昇腾910B，实战InternVL2-8B模型推理

用户1672

用户9454

用户1423

2024年10月31日修改

本文将带领大家基于启智平台，使用 LMDeploy 推理框架在华为昇腾 910B 上实现 InternVL2-8B 模型的推理。​

1.登录启智平台

2.创建云脑任务

我们新建云脑任务

目前启智平台提供 4 种 AI 训练任务（调试任务、训练任务、在线推理、通用任务），这里我们选择调试任务。​

所属项目，我们选择一个已经有的项目，没有项目，可以新建，这个就不详细展开。（可以点击右上角）​

接下就是选择算力平台，启智平台目前提供好几个厂商的算力平台。（英伟达、昇腾NPU、遂源GCU、寒武纪MLU、海光DCU、天数智芯GPGPU、沐曦GPGPU），这里我们选华为昇腾NPU。​

资源规格栏， 我们选择 D910B 的显卡。（显存 64GB 、CPU24 、内存 192GB）​

镜像栏会随着我们选择的显卡会出现相应的模型镜像，这里我们选择 openmind_cann8。​

基于华为昇腾910B，实战InternVL2-8B模型推理​