LLM 整体接口的重构（在Lagent侧实现）
输入“/”快速插入内容
LLM 整体接口的重构（在Lagent侧实现）
LLM 整体接口的重构（在Lagent侧实现）
飞书用户16722024年8月29日修改
LLM 整体接口的重构（在Lagent侧实现，MindSearch）
1、设计文档（统一的入口、不同的后端，研究员实时交流，不同后端基本已经实现）
2、按照设计文档开发
3、测试
背景是这样的：
现在 Lagent 实现了 Vllm/LMDeploy/HF/API 等多种推理引擎，但是如果想使用各家模型 需要自己写一个对话模板 同时还要自己去选择调用那个推理引擎，但是大家常用习惯可能是 每一家的模型有一个自己的入口，然后可以通过入口配置用什么推理引擎，自动dispatch到对应的推理引擎，也不用自己配置各家模型的对话模版，因为在入口里已经已经配置好了
这个可能是一个相对比较大的任务 可以合作完成，如果想做的比较好也是一般标准的流程的 大概路线应该是
设计文档(简单的包含一些调研)->一些开发者的评审->多个开发者开发 + 单元测试-> 最后是文档部分(使用教程，新增模型教程，设计方案)
如果是粗糙版的话，可以路线里做一些删减，
代码块
internlm_server = dict(type=LMDeployServer,
path='internlm/internlm2_5-7b-chat',
model_name='internlm2',
meta_template=INTERNLM2_META,
top_p=0.8,
top_k=1,
temperature=0,
max_new_tokens=8192,
repetition_penalty=1.02,
stop_words=['<|im_end|>'])
现在如果是internlm 用deploy作为推理后端 是这样的
理想情况 应该是
internlm_server = dict(type=Internlm2Chat,
backend='lmdeploy'，
**backend_cfg
)
这种，对于使用者肯定是越简单越好，不需要过于关注怎么启动推理引擎，用什么对话模板之类的，
代码块
class LLMMixin:
def chat_completion
def completion
class Interlm2Chat(LLMMixin):
def __init__(self, backend: Union[str, object]='lmdeploy', chat_template:str='jinja2 模板', **kwargs):
self.model = dispatch(backend, chat_template, **kwargs)
class Qwen2Chat(LLMMixin):
def __init__(self, backend: Union[str, object]='lmdeploy', chat_template:str='jinja2 模板', **kwargs):
self.model = dispatch(backend, chat_template, **kwargs)
class LMDeployBackend(LLMMixin):
def __init__(self, **kwargs):
pass
def chat_completion:
def completion:
class TransformerBackend(LLMMixin):
def __init__(self, **kwargs):
pass
def chat_completion:
def completion:
class OllamaBackend