openharmony中实现RTSPServer播放视频主要分为如下5部分。其中视频采集与视频编码平台芯片3518EV300与3516DV300已支持,将编码后的视频数据(H.265)存放至环形缓冲区,最后通过RTSPServer发送,RTSPClient由VLC播放器实现。
代码路径:3516DV300
代码路径:3518EV300
RTSP流媒体播放实现主要涉及两个线程:1、将编码后的视频数据存储在环形缓冲区内。2、创建RTSPServer发送环形缓冲区数据。
环形缓冲区主要目的是为了将视频编码(H.265)产生的数据通过RTSPServer实时地发送到RTSPClient端。
H.265=若干序列集。
序列集=1IDR帧+1VPS帧+1SPS帧+1PPS帧+1SEI帧+若干P帧组成。
每帧通过00 00 00 01分割以后的下一个字节就是NALU(网络抽象层单元)类型,
如下图,左边是h265原始数据,右边是通过RTP发送去掉头数据。
在进行RTP分包发送时会将IDR、VPS、SPS、PPS、SEI拼凑为一起作为主要帧发送,因此头一帧数据 非常重要。
为了解决视频编码与RTSP线程线程同步的问题,缓冲区设计如下:
文件路径:recorder_impl.cpp
实现函数:void VideoSourceProcess(const SourceManager *videoSourceManager, const RecorderSink *recorderSink)
缓冲区为16*256K长度的数组buff。put为编码线程存放缓冲区偏移值,get为RTSPServer线程获取缓冲区的偏移值。
初始情况下put与get的位置均在开头。
当视频编码有数据时填充buff并put向前移。
RTSP通过get将视频编码数据发送,然后释放buff,get向前移。
当put与get偏移超过16时重新置1,其中设置get数据的时间get与put的间隔不会超过3个buff。
RTSP(Real Time Streaming Protocol)实时流协议作为一个应用层协议,RTSP提供了一个可供扩展的框架,它的意义在于使得实时流媒体数据的受控和点播变得可能。总的说来,RTSP是一个流媒体表示协议,通过RTSP传输控制命令与RTP传输视频流达到控制具有实时特性的数据发送。RTSP可以对流媒体提供诸如播放、暂停、快进等操作,它负责定义具体的控制消息、操作方法、状态码等,此外还描述了与RTP间的交互操作。
RTSP C(Client)与 S(Server)交互流程图解
RTSP 中的 C(Client)与 S(Server)交互流程图解
得到服务器提供的可用方法(OPTION、DESCRIBE、SETUP、TEARDOWN、PLAY、PAUSE、SCALE、GET_PARAMETER、SET_PARAMETER)。
请求流的 SDP 信息。
注解:此处需要了解 H265 Law Data 如何生成 SPS PPS 信息。
客户端提醒服务器建立会话,并建立传输模式。
注解:此处确定了 RTP 传输交互式采用 TCP(面向连接)还是 UDP(无连接)模式。
客户端发送播放请求。
注解:此处引入 RTP 协议。
播放暂停请求。
注解:此关键字经常用在录像回放当中,实时视频流几乎用不到。
客户端发送关闭请求
其中RtpHeader(Rtp头)加payload(负载数据)。
csrcLen CSC计数,在没有RTP混频器的情况下通常为0
extension 扩展名,必须为0
padding 填充位,不得使用填充,默认为0
version 版本号
payloadType 数据帧类型(h265)。
marker 将一帧分片时区分头片
seq 序列号为了以每片为单位
timestamp 时间戳 以每帧为单位
ssrc 数据信源号
RTP包最大为1400个字节,因此打包分为两种。
单个nal直接发送即可
nal单元比较大,分片打包在多个rtp中,分片格式如下:
其中PayloadHdr固定为49。FUheader数据为:
S置1表示起始片,E置1表示最后片,FuType就是实际的Nal type类型。
实现代码函数
文件:rtp.cpp
实现函数:int Rtp::UdpSendFrame(uint8_t *pNalBuf, int s32NalBufSize)