产品名称：Wowza Video Intelligence Framework

生产厂商：Wowza产品类别：其他软件

Video Intelligence Framework(VIF) 将实时视频转化为可操作的实时洞察。它将智能功能直接嵌入到直播工作流程中，从而在视频采集过程中实现目标检测、事件识别和自动响应。

无需改变视频工作流程，即可对带外帧进行采样，使用自定义训练的模型运行推理，并将结构化事件发送到您的应用程序。VIF 与 Wowza Streaming Engine 协同工作，从实时流中采样帧，运行 GPU 加速的推理，并返回结构化结果，而不会阻塞视频传输。推理和分析过程绝不会中断实时流。

VIF 通过将流式传输层和智能层分离，使您无需重新设计基础架构即可部署、升级或替换计算机视觉模型。随着模型的演进，您的流程将保持不变。

VIF 基于 Wowza Streaming Engine 构建，可部署在视频运行的任何环境中，无论是云端、边缘还是本地部署。它满足安全性、合规性和延迟方面的需求，同时支持高级分析。无需替换您现有的视频基础设施。VIF 通过增加智能性、可扩展性和面向未来的功能来增强它。

核心组件

视频智能控制器 (VIC) 以插件模块的形式运行在 Wowza Streaming Engine 内部。VIC 从实时流中采样帧，将其发送到 VIS 进行分析，接收检测结果，并将其路由到输出通道（ID3 元数据、叠加层、Webhook、日志和自定义 Java 监听器）。VIC 是非阻塞的，这意味着它永远不会中断实时流。

视频智能服务 (VIS) 是一个独立的、GPU 加速的推理引擎，以 Docker 容器的形式运行。VIS 从 VIC 接收帧并运行 AI 模型：用于目标检测的 RF-DETR、用于场景分析的 vifi-clip（实验性）以及任何自定义训练的 RF-DETR 模型。VIS 以结构化的 JSON 格式返回每帧的结果。

工作流程

1.      实时流通过 RTMP、RTSP、SRT 或 WebRTC 到达 Wowza Streaming Engine。

2.      VIC 按照设定的时间间隔从数据流中采样帧。

3.      VIC 通过 WebSocket 向 VIS 发送帧。

4.      VIS 运行推理（目标检测、场景分析或自定义模型），并返回检测 JSON。

5.      VIC 同时将结果路由到所有已配置的输出通道。

步骤 1、2、4 和 5 在 WSE (VIC) 内部运行。步骤 3 在 GPU 主机 (VIS) 上运行。