Deploy002 模型部署
输入“/”快速插入内容
Deploy002 模型部署
Deploy002 模型部署
飞书用户5190飞书用户81862024年9月13日修改
大家好我是🐧小弟，🐦了巨久之后今天继续带来一期基础的深度学习模型部署的入门文章，随着上一期讲完torch的一些基础知识之后。这一期带大家来接触一些关于更加深入和规范化的部署相关的知识。
这一期主要会分几个点展开：为什么我们做部署的时候要在torch上更进一步使用Onnx，TensorRT，OpenVINO等部署框架，在做cv模型部署的时候。我们怎么部署。在做LLM部署的时候，我们又会怎么做呢？
动静转换：Torch上更进一步
虽说我们在001一节讲了很多torch的好处，torch的优点。最核心的就是torch使用了动态图组网。使用动态组网的好处是。可以使用更偏向python语法的格式对模型进行定义。下面就给大家一个常见的网络：
代码块
import torch
import torch.nn as nn
import torch.nn.functional as F
class SimpleNet(nn.Module):
def __init__(self, input_size, hidden_size, num_classes):
super(SimpleNet, self).__init__()
self.fc1 = nn.Linear(input_size, hidden_size)
self.fc2 = nn.Linear(hidden_size, hidden_size)
self.fc3 = nn.Linear(hidden_size, num_classes)
def forward(self, x):
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
# 示例使用
input_size = 784 # 例如，对于MNIST数据集
hidden_size = 128
num_classes = 10
model = SimpleNet(input_size, hidden_size, num_classes)
print(model)
大家很容易开心的写出这样代码，但问题是，使用动态图模式。不可避免的带来了一系列问题。对于一个动态图来说，面临了以下三点问题：
1.
性能：
◦
动态图在每次执行时都需要重新构建计算图，这可能导致额外的开销。
◦
静态图只需构建一次，然后可以重复高效执行。
2.
优化难度：
◦
动态图难以进行全局优化，因为图结构在运行时可能会改变。
◦
静态图允许更多的编译时优化，如内存分配优化、算子融合等。
3.
内存使用：
◦
动态图可能需要更多的运行时内存，因为它需要保持 Python 解释器和相关对象的活跃状态。
◦
静态图可以更有效地管理内存，尤其是在推理阶段。
所以从torch开始，我们第一步要做的就是动转静。拿到静态图才能更好的做整体性能上的优化！
美好的愿景：ONNX
ONNX，全称Open Neural Network Exchange，是人工智能领域中一个引人入胜的故事。它的诞生源于一个美好的愿景：在纷繁复杂的深度学习世界中架起一座沟通的桥梁。
2017年的硅谷，各大科技巨头都在人工智能领域奋力拼搏。Facebook（现在的Meta）和Microsoft这两个看似竞争对手的公司，却因为一个共同的梦想走到了一起。他们希望打破AI框架之间的壁垒，让不同平台上训练的模型能够自由迁移。就这样，ONNX项目应运而生。
听起来ONNX是不同模型间完美的桥梁，最后聚合到ONNX完成推理是很开心和能接受的事情。但是听起来越完美的事情就面临越多的问题，首先是对ONNX来说。ONNX模型在某些情况下可能比原生框架的模型运行得慢。这主要是因为ONNX作为一个中间表示，可能无法充分利用特定硬件或框架的优化特性。想象一下，它就像是一个通用翻译器，虽然能够让不同语言的人交流，但可能会损失一些语言中的微妙之处和效率。
除此之外，AI领域发展的太快。ONNX并不一定能很好的表示torch中各种各样的算子，导致模型转换成ONNX失败。谈回之前简单的网络，我们如何把它转换成ONNX形式呢？请看：