LMDeploy 教程

飞书用户1672

飞书用户421

2024年7月30日修改

1.
配置LMDeploy环境​

1.1 InternStudio开发机创建

打开InternStudio平台(https://studio.intern-ai.org.cn/console/instance)，进入如下界面并按箭头指示顺序点击创建开发机。

点选开发机，按照箭头所指，自拟一个开发机名称，选择Cuda12.2-conda镜像。​

目前仅有0.4.1及以上版本的LMDeploy支持部署InternVL-Chat-V1-5，而此版本的LMDeploy需要cu12+的环境，所以请​

选择Cuda12.2-conda镜像 选择Cuda12.2-conda镜像 选择Cuda12.2-conda镜像！！​

因为要运行参数量为20B的InternVL-Chat-V1-5，需要约70G左右的显存，故选择 A100*1 GPU，而后选择立即创建。​

LMDeploy 教程​