MindSearch 纯CPU版部署到Hugging Face
输入“/”快速插入内容
MindSearch 纯CPU版部署到Hugging Face
MindSearch 纯CPU版部署到Hugging Face
用户1672用户1672
用户9583用户9583用户9791用户9791
用户8234用户8234用户3896用户38962025年11月3日修改
该文档已 out of date，最新版本正在更新中！！！！
写在前面
随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务（免费的 InternLM2.5-7B-Chat 真的很香），MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。那就让我们来一起看看如何使用硅基流动的 API 来部署 MindSearch 吧。
我们也已经根据本文教程部署好了一个基于硅基流动 API 的 MindSearch 服务，体验地址：https://huggingface.co/spaces/SmartFlowAI/MindSearch_X_SiliconFlow
部署流程
1.
获取 API Key
那么部署的第一步就是获取硅基流动的 API Key 啦。
2.
开始部署 MindSearch
接下来，就是调整 MindSearch 的配置来接入硅基流动的 API 了。由于硅基流动的 API 接口与 OpenAI API 接口完全一致（接口完全一致真的非常 nice！）
在 clone MindSearch 到本地并安装相关依赖后（可以参考 https://github.com/InternLM/MindSearch/blob/main/README.md），我们首先修改 /path/to/MindSearch/mindsearch/models.py 加上调用硅基流动 API 的相关配置。配置如下：
代码块
internlm_silicon = dict(type=GPTAPI,
model_type='internlm/internlm2_5-7b-chat',
key=os.environ.get('SILICON_API_KEY', 'YOUR SILICON API KEY'),
openai_api_base='https://api.siliconflow.cn/v1/chat/completions',
meta_template=[
dict(role='system', api_role='system'),
dict(role='user', api_role='user'),
dict(role='assistant', api_role='assistant'),
dict(role='environment', api_role='system')
],
top_p=0.8,
top_k=1,
temperature=0,
max_new_tokens=8192,
repetition_penalty=1.02,
stop_words=['<|im_end|>'])
在加入这段配置后，我们便可以开始执行相关指令来启动 MindSearch 啦。
首先，我们来启动 MindSearch 的后端：
代码块
# 指定硅基流动的 API Key
export SILICON_API_KEY=上面流程中复制的密钥
# 启动
python -m mindsearch.app --lang en --model_format internlm_silicon --search_engine DuckDuckGoSearch
然后，启动 MindSearch 的前端！这里以 gradio 前端为例，其他前端启动可以参考 MindSearch 的 README：
代码块
python frontend/mindsearch_gradio.py
最后，来体验一下效果吧！响应速度也真的非常快！