InternLM 私有化部署资源推荐

输入“/”快速插入内容

InternLM 私有化部署资源推荐

用户1672

2024年9月3日修改

	FP16	W4A16 (LMDeploy)
InternLM2-1.8B	4GB 显卡
InternLM2-7B	单卡 3090 24GB	单卡 3060 12GB
InternLM2-20B	单卡 A100 80GB	单卡 3090 24GB

https://github.com/InternLM/lmdeploy/blob/main/docs/en/benchmark/a100_fp16.md