LMDeploy 社区共建任务
输入“/”快速插入内容
LMDeploy 社区共建任务
LMDeploy 社区共建任务
用户1672用户16722024年9月3日修改
完成共建任务可加入 LMDeploy 社区兴趣小组
类型 | 任务ID | 任务描述 | 点击填写问卷领取 | 状态 |
用户体验改善 | LMDeploy001 | 支持 pipeline 资源销毁，使得如下的测试用例可以通过 代码块 | 已领取 | |
| LMDeploy002 | 支持用户输入 dtype。在使用 lmdeploy serve api_server 时，支持 --dtype 传入数据类型。在构建pipeline时，引擎配置中可以设置 dtype。dtype的类型包括 ['auto', 'float16', 'bfloat16']，解释如下： 代码块 | | |
| LMDeploy003 | 控制 lmdeploy 输出 prompt 和 prompt token_id 的长度，避免长文本下日志刷屏。要求使用环境变量 LMDEPLOY_MAX_LOG_LEN。 | | |
模型 | LMDeploy004 | 支持 qwen2 模型的 tools call 功能 | | |
| LMDeploy005 | |