「圆桌」MindSearch LLM 接口重构设计
输入“/”快速插入内容
「圆桌」MindSearch LLM 接口重构设计
「圆桌」MindSearch LLM 接口重构设计
用户1672用户1672
用户6575用户6575用户76用户762024年9月18日修改
#腾讯会议：347-187-368
完成第三期大模型实战营 MindSearch 课后任务可加入「人均大佬」「超级活跃」的 MindSearch 兴趣小组，欢迎大家加入兴趣小组一起规划 MindSearch 的未来。MindSearch 兴趣小组加入方式
1.为什么要重构
前面一个每一个llm的配置项过多，并且不同llm之间有大量重复的配置项，使用起来不方便。
代码块
internlm_server = dict(type=LMDeployServer,
path='internlm/internlm2_5-7b-chat',
model_name='internlm2',
meta_template=INTERNLM2_META,
top_p=0.8,
top_k=1,
temperature=0,
max_new_tokens=8192,
repetition_penalty=1.02,
stop_words=['<|im_end|>'])
qwen = dict(type=GPTAPI,
model_type='qwen-max-longcontext',
key=os.environ.get('QWEN_API_KEY', 'YOUR QWEN API KEY'),
openai_api_base=url,
meta_template=[
dict(role='system', api_role='system'),
dict(role='user', api_role='user'),
dict(role='assistant', api_role='assistant'),
dict(role='environment', api_role='system')
],
top_p=0.8,
top_k=1,
temperature=0,
max_new_tokens=4096,
repetition_penalty=1.02,
stop_words=['<|im_end|>'])
将其中的配置项进行分组组合，这样可以提高代码的复用率，让用户使用起来更简便。
代码块
internlm_server = dict(type=Internlm2Chat,
backend='lmdeploy'，
**backend_cfg
)