分享
L1 Intern-S1-mini 本地部署实践
输入“/”快速插入内容
✅
L1 Intern-S1
-mini
本地部署实践
用户1672
用户1672
用户5418
用户5418
2025年10月28日修改
本文带你快速三种部署方式:lmdeploy、vllm、sglang ,将InternLM/Intern-S1-mini 模型在书生开发机上进行部署与调用。
继 7 月 26 日开源
『书生』科学多模态大模型 Intern-S1
之后,上海人工智能实验室(上海AI实验室)今天推出了轻量化版本
Intern-S1-mini。
凭借领先的通用与专业科学能力,Intern-S1 上线后连续多日
霸榜 HuggingFace 多模态 Trending 全球第一
,并在开源社区引发了广泛关注。作为 8B 参数的“迷你模型”,Intern-S1-mini 同样兼具通用能力与专业科学能力,且更加适合快速部署和二次开发。Intern-S1-mini 性能速览:
•
通用能力稳居同量级第一梯队:在 MMLU-Pro、AIME2025、MMMU 等多项权威基准上表现卓越,展现出兼具稳定性与竞争力的综合实力;
•
科学专业能力优异:在化学、材料等任务表现尤为突出,在 SmolInstruct、ChemBench、MatBench 等基准测试中显著领先;在物理、地球、生物等学科任务中也保持第一梯队水平,体现出扎实的科学理解与跨领域泛化能力;
•
减身材不减实力,助力科研、开发、教育多种场景。
Intern-S1-mini 可通过
体验页面
、
GitHub
、
HuggingFace
和
ModelScope
获取与体验,欢迎大家
点赞
、
下载
来玩👏
1.
v
LLM 部署 Intern-S1
-
mini
1.1
开发机的选择
在创建开发机界面选择镜像为 Cuda11.7-conda,并选择 GPU 为 30% A100。
1.2
环境配置
1.
创建 conda 环境
建议单独为 vLLM 建立环境,例如 Python 3.12:
代码块
Bash
conda create -n vllm python=3.12 -y
conda activate vllm
pip install vllm
2.
启动模型服务
安装完成后就可以跑
Intern-S1-mini
模型了:
代码块
Plain Text
vllm serve /root/share/new_models/Intern-S1-mini\
--trust-remote-code \
--port 54257 \
--max-model-len 8000 \
--gpu-memory-utilization 0.90 \
--max-num-seqs 8 \
--swap-space 8 \
--enforce-eager