C++_在线部署指南

自动摘要: 背景： 1.简单的demo演示，只看看效果 2.要放到服务器上去跑，不要求吞吐和时延 3.放到服务器上大规模部署，要求吞吐和时延（重点是吞吐） 要解决问题 一种是主要着力于 ……..

背景：

1. 简单的demo演示，只看看效果
2. 要放到服务器上去跑，不要求吞吐和时延
3. 放到服务器上大规模部署，要求吞吐和时延（重点是吞吐）

• 要解决问题
  • 一种是主要着力于解决推理性能，提高推理速度的框架
  • 主要着眼于结合模型整个生命周期，对模型部署进行管理，迭代

步骤：