什么是RTSP

什么是流媒体协议？

那么，什么是流媒体协议？流媒体协议是通过 Internet 在设备之间传输视频或音频流内容的标准化方法。
视频流媒体协议将视频或音频内容的“块”从一台设备发送到另一台设备。在播放器设备上将这些“块”转换为可重播内容的方法称为“重新组合”方法。
为了成功处理，终端设备必须支持发送方使用的协议。否则，将无法播放广播。

什么是RTSP？

RTSP，全称为Real-Time Streaming Protocol（实时流媒体传输协议），是一种用于在计算机网络中传输流媒体数据的应用层协议。它的主要目的是支持实时音视频的传输和控制，使用户能够通过网络实时获取和播放音视频数据。

“实时流媒体协议 （RTSP） 建立和控制单个或多个连续媒体（如音频和视频）的时间同步流。它本身通常不提供连续流，尽管连续媒体流与控制流的交错是可能的，换句话说，RTSP充当多媒体服务器的“网络远程控制”。

Internet Engineering Task Force 是这样解释RTSP的：
当用户使用RTSP从 IP 摄像机启动视频流时，设备会向流服务器发送RTSP请求。完成 IP 摄像机和服务器之间的设置后，可以使用 RTP 传输视频和音频数据。

RTSP 技术规格

• 音频编解码器：AAC、AAC-LC、HE-AAC+ v1 & v2、MP3、Speex、Opus、Vorbis
• 视频编解码器：H.265（预览版）、H.264、VP9、VP8
• 播放兼容性：未得到广泛支持，很少用于播放（Quicktime Player 和其他符合RTSP/RTP 的播放器、VideoLAN VLC 媒体播放器、兼容 3Gpp 的移动设备）
• 优点：低延迟，在 IP 摄像机中无处不在
• 缺点：未针对体验质量和可扩展性进行优化
• 延迟：2 秒
• 变体格式：RTP、RTCP（实时控制协议）和RTSP的整个堆栈通常称为RTSP

RTSP流媒体的历史

RTSP流式传输已经使用了很长时间。RealNetworks、Netscape 和哥伦比亚大学之间的合作伙伴关系于 1996-97 年首次开发并交付了该协议。RTSP协议是通过RealNetworks的RealAudio和Netscape的LiveMedia的流媒体实践实践经验开发的。它的主要目的是对媒体流进行“类似 VCR 的控制”。类似 VCR 的控制是播放、暂停、倒带和以其他方式指导观看体验的能力。这在 90 年代后期非常酷，即使现在听起来并不有趣。
RTSP 于 1998 年标准化为 RFC 2326，并立即成为用户直接从 Internet 播放音频和视频的一种方式，而无需先将文件下载到他们的设备。人们真的很喜欢它！
它建立在当时的现有标准之上，类似于操作中的HTTP（因此很容易与现有的HTTP网络兼容），并且能够使用SDP（会话描述协议）进行多媒体通信会话。
它是一种应用层协议，它与媒体服务器通信以创建会话并发送“暂停”和“播放”等命令，而不是传输实际的流数据。传统上，大多数RTSP服务器使用RTP（实时传输协议）和RTCP（实时控制协议）来传输媒体流。
正如我上面所说，RTSP曾经是互联网音频和视频流的领先流媒体技术之一。随着时间的流逝，基于HTTP的流媒体技术和自适应比特率流媒体解决方案开始使RTSP和RTMP（R.I.P）等旧技术黯然失色。原作者Anup Rao、Rob Lanphier等人在2016年提出了RTSP2.0版本，其更新旨在缩短与媒体服务器的往返通信，并解决网络地址转换（NAT）的一些问题。
它仍然是 IP 摄像机的首选协议，用于大多数监控、闭路电视和会议视频技术，所有这些都可能用作直播源。

RTSP如何工作？

RTSP在功能上与HTTP在概念上相似，并且在最初开发时很容易与现有的HTTP网络兼容。

• 建立连接和会话管理：RTSP协议通过建立客户端和服务器之间的连接，实现音视频流的传输和控制。它提供了一种机制来管理会话，包括开始、暂停、重新定位和关闭会话等。
• 控制音视频流的操作：使用RTSP协议，可以控制音视频流的操作，例如播放、暂停、快进、倒退和跳转到指定位置等。这使得用户可以对音视频数据进行灵活的控制和操作。
• 描述音视频流的信息：RTSP协议可以通过发送会话描述协议（SDP）文件来描述音视频流的信息，包括编码格式、传输方式、媒 ** 置等。这些信息使得客户端能够正确解码和播放音视频流。
• 支持多媒体流的传输：RTSP协议支持传输多个媒体流，例如音频流、视频流和字幕流。它可以通过多路复用和分解复用技术将这些流组合到一个传输通道中，以便同时传输和控制。

它被描述为媒体服务器的“网络遥控器”。它旨在控制流而无需下载任何文件。启动视频流时，使用该协议的设备会向启动设置过程的媒体服务器发送RTSP请求。
RTSP还支持多种控制请求操作（也称为“命令”），例如播放、暂停、设置等（我将在下一节中为您提供一些示例请求。第一个请求还必须通过“OPTIONS”命令通知客户端可用选项。之后，用户可以观看或关闭流。RTSP与 TCP 保持端到端连接，并通过此稳定连接实现高吞吐量，而无需任何本地下载或缓存。
该协议不支持内容加密或丢失数据包的重传，因为RTSP连接到专用服务器进行流式传输，并依赖 RTP 传输真实媒体。这些限制以及扩展问题导致整体RTSP使用率下降。

RTSP请求

在协商和控制媒体流时，RTSP通常使用通常从客户端发送到服务器的以下命令：

• 选项：此请求确定媒体服务器将接受哪些其他类型的请求。
• 描述：描述请求标识数据的 URL 和类型。
• Announce：Announce 方法描述从客户端发送到服务器时的演示文稿，并在从服务器发送到客户端时更新描述。
• 设置：设置请求指定在发送播放请求之前必须如何传输媒体流。
• 播放：播放请求通过告诉服务器开始发送数据来启动媒体传输。
• 暂停：暂停请求暂时停止流传输。
• 录制：录制请求启动媒体录制。
• 拆解：此请求将完全终止会话并停止所有媒体流。
• 重定向：重定向请求通过为客户端提供要向其发出请求的新 URL 来通知客户端它必须连接到另一台服务器。

还有其他类型的RTSP请求，例如“获取参数”、“设置参数”和“嵌入式（交错）二进制数据”。您可以在此处找到更多信息。

RTSP的替代方案

现在让我们换个角度，了解可以替代RTSP的其他协议。这里的关键点是，每个协议都有自己独特的目的、功能和工作方式。因此，每种情况下的“最佳流媒体协议”完全取决于使用场景。在本节之后，您将能够根据自己的需求和用例选择RTSP流媒体协议的最佳替代方案。

RTSP与RTMP

RTMP流媒体协议，基于传输控制协议的技术，由Macromedia开发，用于在Flash播放器和服务器之间通过Internet流式传输音频，视频和数据。Macromedia于2005年12月3日被其竞争对手Adobe Inc.收购。RTMP代表实时消息传递协议，它曾经是最流行的直播协议。它可用于第一英里的交付/提取，但不能用于最后一英里的交付/播放。

RTMP 流媒体协议技术规格

• 音频编解码器：AAC、AAC-LC、HE-AAC+ v1 & v2、MP3、Speex
• 视频编解码器：H.264、VP8、VP6、Sorenson Spark®、屏幕视频 v1 和 v2
• 播放兼容性：不再广泛支持
  • 仅限于 Flash Player、Adobe AIR、RTMP 兼容播放器
  • 不再被 iOS、Android、大多数浏览器和大多数可嵌入播放器接受
• 优点：低延迟和最少的缓冲
• 缺点：未针对体验质量或可扩展性进行优化
• 延迟：5 秒
• 变体格式：RTMPT（通过 HTTP 隧道）、RTMPE（加密）、RTMPTE（隧道和加密）、RTMPS（通过 SSL 加密）、RTMFP（通过 UDP 而不是 TCP 分层）

RTSP与 WebRTC

WebRTC 代表 Web 实时通信。WebRTC 是一种非常令人兴奋、功能强大且极具颠覆性的尖端技术和流媒体协议。
WebRTC 与 HTML5 兼容，您可以使用它直接在浏览器和设备之间添加实时媒体通信。您可以做到这一点，而无需在浏览器中安装任何插件的先决条件。WebRTC 正逐渐受到所有主要现代浏览器供应商的支持，包括 Safari、Google Chrome、Firefox、Opera 等。
借助 WebRTC 视频流技术，您可以将实时视频直接嵌入到基于浏览器的解决方案中，为您的观众创建引人入胜的交互式流媒体体验，而无需担心延迟。WebRTC视频流正在改变新常态下的参与方式。

WebRTC 特性

• 超低延迟视频流 – 延迟为 0.5 秒
• 平台和设备独立性
• 高级语音和视频质量
• 安全的语音和视频
• 易于扩展
• 适应网络条件
• WebRTC 数据通道

RTSP与 HLS

HLS 代表 HTTP Live Streaming。HLS 是一种基于 HTTP 的自适应协议，用于将视频和音频数据/内容从媒体服务器传输到最终用户的设备。
HLS 由 Apple 于 2009 年创建。苹果公司宣布HLS与传奇设备iPhone 3几乎同时发布。前几代 iPhone 3 存在实时流媒体播放问题，Apple 希望通过 HLS 解决这个问题。

HLS视频流媒体协议的特点

• 隐藏式字幕
• 快进和快退
• 备用音频和视频
• 回退备选方案
• 定时元数据
• 广告插入
• 内容保护

HLS 技术规格

• 音频编解码器：AAC-LC、HE-AAC+ v1 & v2、xHE-AAC、Apple Lossless、FLAC
• 视频编解码器：H.265、H.264
• 播放兼容性：它是为 iOS 设备创建的。但是现在所有的谷歌浏览器;Android、Linux、Microsoft 和 macOS 设备;一些机顶盒、智能电视和其他播放器都支持 HLS。它现在是一个通用协议。
• 优点：支持自适应码率，可靠，支持广泛。
• 缺点：视频质量和观看者体验优先于延迟。
• 延迟：HLS 允许我们有 5-20 秒的延迟，但低延迟 HLS 扩展现在已被合并为 HLS 的功能集，有望提供低于 2 秒的延迟。

RTSP与CMAF

通用媒体应用程序格式 （CMAF） 基本上是一种简化基于 HTTP 的流媒体交付的新格式。它是一种新兴标准，有助于降低成本、复杂性，并在流媒体中提供大约 3-5 秒的延迟。
由于RTMP的地位下降，其他基于HTTP（超文本传输协议）的自适应比特率流技术已经出现。但是，不同的流式处理标准需要不同的文件容器。例如，MPEG-DASH 使用.mp4容器，而 HLS 流以.ts格式交付。
因此，每个想要覆盖更广泛受众的广播公司都必须对同一视频文件进行两次编码和存储，因为加密会创建完全不同的文件组。
同一视频流的这两个版本应提前或立即制作。这两个过程都需要额外的存储和处理成本。
苹果和Microsoft建议运动图像专家组创建一个新的统一标准，称为通用媒体应用程序格式（CMAF），以降低在线传输视频时的复杂性。
让我们看看 Akamai 对此的评价：
“这些相同的文件虽然代表相同的内容，但打包成本是原来的两倍，存储成本是原来的两倍，而且在 Akamai 边缘缓存上相互竞争空间，从而降低了交付效率。” 
CMAF的重要性在这里发挥作用。作为所有平台的标准流媒体格式，它帮助我们进行单一方法的编码、打包和存储。因此，通用媒体应用程序格式使视频流过程更便宜且更简单。

CMAF串流的优势

CMAF 流媒体技术是减少流媒体延迟和流媒体复杂性的最简单方法之一。CMAF流媒体可以帮助我们;

• 削减成本
• 最大限度地降低工作流程复杂性
• 减少延迟

RTSP和IP摄像机

大多数 IP 摄像机使用RTSP协议来捕获到媒体服务器的广播。IP摄像机，专门用于监控。当您想从固定位置进行直播时，它们也非常有效。IP摄像机的一大优点是它们不需要额外的编码器。将 IP 摄像机与服务器配对时，RTSP可以轻松为您完成工作。

使用科能融合的RTSP流媒体

蚂蚁传媒提供即用型、高度可扩展的实时视频流解决方案，以满足实时视频流需求。根据客户的要求和偏好，它可以在本地或公共云网络（如阿里云、AWS、Azure 等）上轻松快速地部署实时视频流解决方案。
蚂蚁媒体服务器支持大多数常见的媒体流媒体协议，如 RTMP、HLS、DASH、WebRTC，当然还有RTSP。实际上，蚂蚁媒体服务器是市场上最好的媒体服务器之一，可以满足不同的流媒体需求。科能融合Server 提供了上面列出的所有功能。