Deploy001 模型推理

飞书用户5190

飞书用户8186

2024年7月5日修改

👍今天带大家来一起看看基础的模型推理知识，如果你不是一位小白的话，或许你该直接跳过这篇文章zzz。​

前言

人工智能是近几年来最火热的研究领域，各方向的模型百花齐放。视觉模型、语言模型、音频模型等。我们关心推理，最重要的不过是关心两点，推理速度和模型大小。但这两点不是二者取其一的关系。如果只把一者做到了极致，往往就会顾此失彼，反而达不到想要的效果。​

在深度学习的浪潮里，深度学习模型在各个领域得到了广泛应用。然而，训练好的模型如何应用到实际生产环境中，一直是困扰很多开发者的问题。像不带有GPU的机器和嵌入式版等，高效的在这些设备上进行推理是深度学习落地必不可少的一环。到如今，大语言模型，多模态模型也飞速发展。熟练掌握部署技巧是必不可少的。​

common.docs_name - LarkCCM_Docs_Menu_Image

AI框架发展历程[1]

在深度学习模型的开发过程中，我们通常会在训练集上训练模型，然后在验证集或测试集上进行评估。但这样的模型直接应用到生产环境，可能会遇到一些问题。​

首先，生产环境往往对模型的速度有更高的要求。例如，对于图像分类任务，如果模型推理速度过慢，无法满足实时性需求，那么这样的模型在实际应用中就会大打折扣。其次，训练模型时我们可能会使用各种不同的框架，如 PyTorch、TensorFlow、Caffe 等。这些框架通常需要特定的环境依赖，配置复杂，不适合在实际生产环境中安装。因此，我们需要一种方式，能够将训练好的模型转换为生产环境可以接受的格式。​

因此，深度学习模型的部署显得尤为重要。通过模型部署，我们可以优化模型的速度，降低环境配置的复杂性，使模型更好地适应生产环境。后文我们就只以PyTorch举例。​

PyTorch

对PyTorch还不熟悉的朋友也可以通过我们的闯关链接进行学习

PyTorch 是一个开源的深度学习框架，由 Facebook 的人工智能研究团队（FAIR）开发和维护。自发布以来，PyTorch 因其灵活性和易用性迅速成为研究人员和开发者的热门选择。它提供了强大的张量计算（类似于 NumPy）和自动求导机制，使得构建和训练神经网络变得更加直观。PyTorch 的动态计算图特性允许用户在运行时定义和修改模型，极大地方便了调试和实验。此外，PyTorch 还支持分布式训练和 GPU 加速，能够处理大规模的数据和复杂的模型。​

一个最简单的PyTorch推理代码

我们有时候会自己搭建神经网络，就像这样：

代码块

import torch​
import torch.nn as nn​
import torch.nn.functional as F​
​
class SimpleCNN(nn.Module):​
    def __init__(self):​
        super(SimpleCNN, self).__init__()​
        self.conv1 = nn.Conv2d(3, 32, kernel_size=3, padding=1)  # 输入通道数为3（RGB图像），输出通道数为32​
        self.conv2 = nn.Conv2d(32, 64, kernel_size=3, padding=1)​
        self.fc1 = nn.Linear(64 * 8 * 8, 128)  # 假设输入图像大小为32x32，经过两次2x2池化后大小为8x8​
        self.fc2 = nn.Linear(128, 10)  # CIFAR-10数据集有10个类别​
​
    def forward(self, x):​
        x = F.relu(self.conv1(x))​
        x = F.max_pool2d(x, 2)​
        x = F.relu(self.conv2(x))​
        x = F.max_pool2d(x, 2)​
        x = x.view(-1, 64 * 8 * 8)  # 展平​
        x = F.relu(self.fc1(x))​
        x = self.fc2(x)​
        return x​

这个网络是一个很经典的卷积神经网络的用例。在搭建好之后，我们在训练过程时会调用torch的backward进行训练，并使用steps更新参数。那怎么样才算是完成一次推理呢，这其实很简单。我们只进行神经网络的正向流程，而不进行反向过程。获得的输出，就是一个推理过程。（在下面的代码里我们使用randn定义网络，而不是直接读取一个图片。图片的读取属于初始化部分内容）​

同时，在推理时的特殊之处是，我们不需要进行梯度计算，我们会临时禁止梯度or使用model.eval()。在这里with torch.no_grad(): 是 PyTorch 中一个上下文管理器（context manager），它用于临时禁用梯度计算。这样做的好处是可以节省内存和计算资源。​

代码块

# 实例化刚才的网络​
mynet = SimpleCNN()​
# 定义一个输入，这里是randn。输入定义为224，224。是图像的常规输入​
dummy_input = torch.randn([224, 224])​
with torch.no_grad():​
    o = mynet(dummy_input)​

Deploy001 模型推理​

Deploy001 模型推理