JP5877960B2 - Receiving apparatus, system, program and method for controlling video frame rate based on transmission bit rate - Google Patents

Receiving apparatus, system, program and method for controlling video frame rate based on transmission bit rate Download PDF

Info

Publication number
JP5877960B2
JP5877960B2 JP2011115558A JP2011115558A JP5877960B2 JP 5877960 B2 JP5877960 B2 JP 5877960B2 JP 2011115558 A JP2011115558 A JP 2011115558A JP 2011115558 A JP2011115558 A JP 2011115558A JP 5877960 B2 JP5877960 B2 JP 5877960B2
Authority
JP
Japan
Prior art keywords
rate
video
frame
transmission
transmission quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011115558A
Other languages
Japanese (ja)
Other versions
JP2012244566A (en
Inventor
村上 剛
剛 村上
良一 八木
良一 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2011115558A priority Critical patent/JP5877960B2/en
Publication of JP2012244566A publication Critical patent/JP2012244566A/en
Application granted granted Critical
Publication of JP5877960B2 publication Critical patent/JP5877960B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、映像コンテンツの伝送における映像フレームレートを制御する技術に関する。   The present invention relates to a technique for controlling a video frame rate in transmission of video content.

従来、映像音声データのリアルタイム伝送システムについて、伝送路帯域を逐次計測し、その伝送路帯域に応じて映像音声データのビットレートを変更する技術がある(例えば特許文献1参照)。この技術によれば、具体的には、受信装置の受信バッファに蓄積された映像フレームのデータ量が、所定閾値に達するまでの時間間隔を、観測する。この時間間隔に基づいて、帯域(伝送レート)が推定される。データ量が所定閾値に達するまでの時間間隔が短い場合、伝送レートが高いと判定され、一方で、時間間隔が長い場合、伝送レートが低いと判定される。   2. Description of the Related Art Conventionally, for video / audio data real-time transmission systems, there is a technique of sequentially measuring a transmission path band and changing the bit rate of the video / audio data according to the transmission path band (see, for example, Patent Document 1). Specifically, according to this technique, the time interval until the data amount of the video frame accumulated in the reception buffer of the reception device reaches a predetermined threshold is observed. Based on this time interval, the bandwidth (transmission rate) is estimated. When the time interval until the amount of data reaches the predetermined threshold is short, it is determined that the transmission rate is high. On the other hand, when the time interval is long, it is determined that the transmission rate is low.

また、映像データのストリームを受信することによって、非信頼性伝送路における映像品質を向上させる技術もある(例えば特許文献2参照)。この技術によれば、パケット単位で優先度が設定されている。具体的には、パケットロスが発生した場合、より優先度が高いパケット(映像復号の観点から重要なパケット)を再送信することによって、映像品質の劣化を回避する。映像フレームのIフレームを構成するパケットに、最高優先度を設定し、Iフレームに続く最初のPフレームを構成するパケットに、次に高い優先度を設定する。   There is also a technique for improving video quality in an unreliable transmission path by receiving a stream of video data (see, for example, Patent Document 2). According to this technique, priority is set in units of packets. Specifically, when packet loss occurs, the video quality deterioration is avoided by retransmitting a packet with higher priority (a packet important from the viewpoint of video decoding). The highest priority is set for the packet constituting the I frame of the video frame, and the second highest priority is set for the packet constituting the first P frame following the I frame.

特開2005−159636号公報JP 2005-159636 A 特開2001−274861号公報Japanese Patent Laid-Open No. 2001-274861

前述した特許文献1に記載された技術によれば、有線伝送路(イーサネット(登録商標))における伝送品質の劣化に対しては、映像・音声の符号化ビットレートのみを変更することによって対応していた。しかしながら、パケットロスが多発する無線伝送路における伝送品質の劣化に対しては、符号化ビットレートのみの変更では対応できない。特に、符号化ビットレートの変更による主観的な映像品質(画質)の劣化が著しい。主観品質を要する映像コンテンツについては、符号化ビットレートだけでなく、フレームレートを制御することが好ましい。   According to the technique described in Patent Document 1 described above, the transmission quality deterioration in the wired transmission line (Ethernet (registered trademark)) is dealt with by changing only the video / audio encoding bit rate. It was. However, it is not possible to cope with degradation of transmission quality in a wireless transmission path in which packet loss occurs frequently by changing only the coding bit rate. In particular, the deterioration of subjective video quality (image quality) due to the change of the encoding bit rate is remarkable. For video content that requires subjective quality, it is preferable to control not only the encoding bit rate but also the frame rate.

特許文献2に記載された技術によれば、パケットロスが発生した場合、優先度の高いパケットを再送信することによって映像品質の劣化を回避する。しかしながら、ストリーミング伝送の場合、再送信されたパケットが受信装置に到着する頃には、再生時刻を過ぎてしまっている場合が多く、期待する効果が達成できないものと考えられる。   According to the technique described in Patent Literature 2, when packet loss occurs, video quality degradation is avoided by retransmitting a packet with high priority. However, in the case of streaming transmission, when the retransmitted packet arrives at the receiving device, the reproduction time has often passed and it is considered that the expected effect cannot be achieved.

そこで、本発明は、映像コンテンツのストリーミングの伝送品質に応じて、できる限り主観的に高画質なストリーミング伝送を実現する受信装置、システム、プログラム及び方法を提供することを目的とする。   Accordingly, an object of the present invention is to provide a receiving apparatus, system, program, and method that realize streaming transmission with the highest subjective image quality according to the transmission quality of video content streaming.

本発明によれば、送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置において、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
隣接するGOP(Group Of Pictures)毎の現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置からトレーニングデータの映像コンテンツをストリーミングで受信する際に、GOP単位で伝送品質を計測する伝送品質計測手段と、
影響確率テーブルを用いて、隣接するGOP毎に算出される現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、
現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
を有し、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更するように機能させることを特徴とする。
According to the present invention, in a receiving device that receives streaming video content from a transmitting device via a network,
A rate correspondence table in which video frame rates are associated with transmission bit rates;
An impact probability table that associates the impact probability with respect to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality for each adjacent GOP (Group Of Pictures);
Transmission quality measuring means for measuring transmission quality in GOP units when receiving video content of training data from a transmission device by streaming;
An impact probability deriving means for deriving an impact probability according to the difference between the current transmission quality and the previous transmission quality calculated for each adjacent GOP using the impact probability table;
An estimated transmission bit rate calculating means for calculating an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
Frame rate deriving means for deriving a video frame rate corresponding to the estimated transmission bit rate using the rate correspondence table;
Video feedback means for feeding back related information of the video frame rate to the transmission device;
The transmitting apparatus functions to change the frame rate of video content to be transmitted to the receiving apparatus to the video frame rate received from the receiving apparatus.

本発明の受信装置における他の実施形態によれば、
映像コンテンツを構成するI,P,Bフレーム種別に応じて、伝送品質に対するフレーム種別重み係数を対応付けたフレーム種別重み係数テーブルと、
フレーム種別重み係数テーブルを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツを構成するフレーム種別に応じたフレーム種別重み係数を重み付けるフレーム種別重み付け手段と
を更に有することも好ましい。
According to another embodiment of the receiving apparatus of the present invention,
A frame type weighting factor table in which frame type weighting factors are associated with transmission quality according to I, P, and B frame types constituting video content;
It is preferable to further include a frame type weighting unit that refers to the frame type weighting coefficient table and weights the transmission quality measured by receiving the video content with a frame type weighting coefficient corresponding to the frame type constituting the video content.

本発明の受信装置における他の実施形態によれば、
受信装置は、映像コンテンツのフレーム内位置に応じて、伝送品質に対するフレーム内位置重み係数を対応付けたフレーム内位置重み係数テーブルと、
フレーム内位置重み係数テーブルを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツのフレーム内位置に応じたフレーム内位置重み係数を重み付けるフレーム内位置重み付け手段と
を更に有することも好ましい。
According to another embodiment of the receiving apparatus of the present invention,
The receiving device includes an intra-frame position weight coefficient table in which an intra-frame position weight coefficient corresponding to transmission quality is associated according to an intra-frame position of video content;
It further includes intra-frame position weighting means for referencing the intra-frame position weighting coefficient table and weighting the transmission quality measured by receiving the video content with the intra-frame position weighting coefficient according to the intra-frame position of the video content. preferable.

本発明の受信装置における他の実施形態によれば、
レート対応テーブルは、主観的な映像品質に基づくMOS(Means Opinion Score)によって決定されたものであることも好ましい。
According to another embodiment of the receiving apparatus of the present invention,
It is also preferable that the rate correspondence table is determined by MOS (Means Opinion Score) based on subjective video quality.

本発明の受信装置における他の実施形態によれば、
映像フィードバック手段は、映像フレームレートの関連情報として、
・映像フレームレート自体、又は
・現映像フレームレートからの単位レート分の上げフラグ/下げフラグ
を送信装置へフィードバックすることも好ましい。
According to another embodiment of the receiving apparatus of the present invention,
The video feedback means, as related information of the video frame rate,
It is also preferable to feed back to the transmitting device the video frame rate itself, or the up flag / down flag for the unit rate from the current video frame rate.

本発明によれば、送信装置が、受信装置へ、映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおいて、
受信装置は、
隣接するGOP毎の現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置からトレーニングデータの映像コンテンツをストリーミングで受信する際に、GOP単位で伝送品質を計測する伝送品質計測手段と、
影響確率テーブルを用いて、隣接するGOP毎に算出される現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、
現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
送信装置へ、推定伝送ビットレートをフィードバックする推定伝送ビットレートフィードバック手段と
を有し、
送信装置は、
推定伝送ビットレートを、受信装置から受信する推定伝送ビットレート受信手段と、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
レート対応テーブルを用いて、受信装置から受信した推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
受信装置へ送信すべき映像コンテンツのフレームレートを、映像フレームレートに変更するフレームレート変更手段と
を有することを特徴とする。
According to the present invention, in a system in which a transmission device transmits video content to a reception device by streaming over a network,
The receiving device
An influence probability table that associates the influence probability with respect to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality for each adjacent GOP;
Transmission quality measuring means for measuring transmission quality in GOP units when receiving video content of training data from a transmission device by streaming;
An impact probability deriving means for deriving an impact probability according to the difference between the current transmission quality and the previous transmission quality calculated for each adjacent GOP using the impact probability table;
An estimated transmission bit rate calculating means for calculating an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
Estimated transmission bit rate feedback means for feeding back the estimated transmission bit rate to the transmission device;
The transmitter is
An estimated transmission bit rate receiving means for receiving the estimated transmission bit rate from the receiving device;
A rate correspondence table in which video frame rates are associated with transmission bit rates;
Frame rate deriving means for deriving a video frame rate corresponding to the estimated transmission bit rate received from the receiving device using the rate correspondence table;
And a frame rate changing means for changing the frame rate of the video content to be transmitted to the receiving device to the video frame rate.

本発明によれば、映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおける映像フレームレート制御方法において、
受信装置は、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
隣接するGOP毎の現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと
を有し、
受信装置が、送信装置からトレーニングデータの映像コンテンツをストリーミングで受信する際に、GOP単位で伝送品質を計測する第1のステップと、
受信装置が、影響確率テーブルを用いて、隣接するGOP毎に算出される現伝送品質と前伝送品質との差に応じた影響確率を導出する第2のステップと、
受信装置が、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する第3のステップと、
受信装置が、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出する第4のステップと、
受信装置が、送信装置へ、映像フレームレートの関連情報をフィードバックする第5のステップと、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した関連情報に基づく映像フレームレートに変更する第6のステップと
を有することを特徴とする。
According to the present invention, in a video frame rate control method in a system for transmitting video content by streaming over a network,
The receiving device
A rate correspondence table in which video frame rates are associated with transmission bit rates;
An influence probability table that associates the influence probability with respect to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality for each adjacent GOP;
A first step of measuring transmission quality in GOP units when the receiving device receives the video content of the training data from the transmitting device by streaming;
A second step in which the receiving device derives an influence probability according to a difference between the current transmission quality and the previous transmission quality calculated for each adjacent GOP using the influence probability table;
A third step in which the receiving device calculates an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
A fourth step in which the receiving device derives a video frame rate corresponding to the estimated transmission bit rate using the rate correspondence table;
A fifth step in which the receiving device feeds back related information of the video frame rate to the transmitting device;
The transmission device includes a sixth step of changing the frame rate of the video content to be transmitted to the reception device to a video frame rate based on the related information received from the reception device.

本発明によれば、送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置に搭載されたコンピュータを機能させるプログラムにおいて、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
隣接するGOP毎の現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置からトレーニングデータの映像コンテンツをストリーミングで受信する際に、GOP単位で伝送品質を計測する伝送品質計測手段と、
影響確率テーブルを用いて、隣接するGOP毎に算出される現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、
現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
してコンピュータを機能させ、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更するように機能させることを特徴とする。
According to the present invention, in a program for causing a computer mounted on a receiving device that receives video content from a transmitting device via streaming via a network to function,
A rate correspondence table in which video frame rates are associated with transmission bit rates;
An influence probability table that associates the influence probability with respect to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality for each adjacent GOP;
Transmission quality measuring means for measuring transmission quality in GOP units when receiving video content of training data from a transmission device by streaming;
An impact probability deriving means for deriving an impact probability according to the difference between the current transmission quality and the previous transmission quality calculated for each adjacent GOP using the impact probability table;
An estimated transmission bit rate calculating means for calculating an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
Frame rate deriving means for deriving a video frame rate corresponding to the estimated transmission bit rate using the rate correspondence table;
Causing the computer to function as video feedback means for feeding back video frame rate related information to the transmission device;
The transmitting apparatus functions to change the frame rate of video content to be transmitted to the receiving apparatus to the video frame rate received from the receiving apparatus.

本発明の受信装置、システム、プログラム及び方法によれば、映像コンテンツのストリーミングの伝送品質から伝送ビットレートを算出し、その伝送ビットレートに基づいて映像フレームレートを制御することによって、できる限り主観的に高画質なストリーミング伝送を実現する。   According to the receiving apparatus, system, program and method of the present invention, the transmission bit rate is calculated from the transmission quality of the streaming of the video content, and the video frame rate is controlled based on the transmission bit rate, so that it is as subjective as possible. Realize high-quality streaming transmission.

本発明におけるシステム構成図である。It is a system configuration diagram in the present invention. 本発明における送信装置−受信装置間のシーケンス図である。It is a sequence diagram between the transmitter in this invention, and a receiver. 映像コンテンツのストリーミングデータの構成図である。It is a block diagram of the streaming data of video content. 本発明におけるフレーム種別重み係数テーブルを表す説明図である。It is explanatory drawing showing the frame classification weighting coefficient table in this invention. 本発明におけるフレーム内位置重み係数テーブルを表す説明図である。It is explanatory drawing showing the in-frame position weighting coefficient table in this invention. 本発明における影響確率テーブルを表す説明図である。It is explanatory drawing showing the influence probability table in this invention. 本発明におけるHD解像度のレート対応テーブルの説明図である。It is explanatory drawing of the rate corresponding | compatible table of HD resolution in this invention. 本発明における受信装置のフレームレート制御部の機能構成図である。It is a function block diagram of the frame rate control part of the receiver in this invention. 本発明における受信装置の機能構成図である。It is a functional block diagram of the receiver in this invention. 本発明における送信装置の機能構成図である。It is a function block diagram of the transmitter in this invention.

以下では、本発明の実施の形態について、図面を用いて詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本発明におけるシステム構成図である。   FIG. 1 is a system configuration diagram according to the present invention.

図1のシステムによれば、携帯電話機やスマートフォンのような携帯端末2(送信装置)が、映像コンテンツを、ネットワークを介して映像受信サーバ1(受信装置)へ、ストリーミングで伝送している。近年、携帯端末のようなポータブル型機器でも、HD(High-Definition)クラスの映像を撮影することが可能となってきている。このような携帯端末は、撮影した映像コンテンツをリアルタイムに、映像受信サーバ1へストリーミングで伝送することができる。映像受信サーバとしては、例えばYouTube(登録商標)のような動画共有サイトであってもよい。以下では、送信装置が携帯端末であって、受信装置が映像受信サーバであるとして説明する。勿論、逆に、送信装置が映像受信サーバであって、受信装置が携帯端末であってもよい。   According to the system of FIG. 1, a mobile terminal 2 (transmission device) such as a mobile phone or a smartphone transmits video content to the video reception server 1 (reception device) via a network by streaming. In recent years, it has become possible to shoot HD (High-Definition) class video even in portable devices such as portable terminals. Such a portable terminal can transmit the captured video content to the video reception server 1 by streaming in real time. The video receiving server may be a video sharing site such as YouTube (registered trademark). In the following description, it is assumed that the transmission device is a mobile terminal and the reception device is a video reception server. Of course, conversely, the transmission device may be a video reception server, and the reception device may be a portable terminal.

ネットワークは、イーサネット(登録商標)のような有線ネットワークであってもよいし、携帯電話通信網、WiMAX(Worldwide Interoperability for Microwave Access)(登録商標)や無線LANのような無線ネットワークであってもよい。特に、携帯端末の場合、ネットワークに無線区間を含むために、映像コンテンツの伝送品質も変化しやすい。本発明によれば、映像コンテンツの伝送品質が変化した場合であっても、受信装置が、送信装置へ、最適な映像フレームレートをフィードバックする。送信装置が、その映像フレームレートに変更した映像コンテンツを伝送することによって、できる限り主観的に高画質なストリーミング伝送を実現する。   The network may be a wired network such as Ethernet (registered trademark), or may be a wireless network such as a mobile phone communication network, WiMAX (Worldwide Interoperability for Microwave Access) (registered trademark), or a wireless LAN. . In particular, in the case of a mobile terminal, the transmission quality of video content is likely to change because the network includes a wireless section. According to the present invention, even when the transmission quality of video content changes, the receiving device feeds back an optimal video frame rate to the transmitting device. By transmitting the video content changed to the video frame rate by the transmission device, streaming transmission with as high a subjective quality as possible is realized.

尚、送信装置から送信される映像コンテンツは、RTP(Real-time Transport Protocol)によって、ストリーミングで伝送される。また、受信装置からフィードバックされる映像フレームレートの関連情報は、RTCP(RTP Control Protocol)によって伝送される。RTPは、データストリームをリアルタイムに配送するためのデータ転送プロトコルである。RTCPは、RTPと組み合わせて使う、データのフロー(送受信)制御用のセッションを制御するプロトコルである。   Note that the video content transmitted from the transmission device is transmitted by streaming using RTP (Real-time Transport Protocol). Also, the video frame rate related information fed back from the receiving device is transmitted by RTCP (RTP Control Protocol). RTP is a data transfer protocol for delivering data streams in real time. RTCP is a protocol for controlling a data flow (transmission / reception) control session used in combination with RTP.

図2は、本発明における送信装置−受信装置間のシーケンス図である。   FIG. 2 is a sequence diagram between the transmission apparatus and the reception apparatus in the present invention.

(S110)携帯端末(送信装置)2は、映像受信サーバ(受信装置)1へ、映像コンテンツをストリーミングで送信する。ここで、映像コンテンツは、無線環境に応じたデフォルトビットレートに基づくトレーニングデータであってもよい。トレーニングデータは、GOP(Group Of Pictures)単位で、例えば50GOP程度のものである。携帯端末2は、ネットワークの無線環境に応じて、以下のように異なるビットレートのトレーニングデータを送信することも好ましい。
携帯電話網(3G) :300kbps
WiMAX網 :1Mbps
無線LAN(WiFi):4Mbps
イーサネット(有線) :9Mbps
(S110) The mobile terminal (transmission device) 2 transmits the video content to the video reception server (reception device) 1 by streaming. Here, the video content may be training data based on a default bit rate corresponding to a wireless environment. The training data is, for example, about 50 GOP in GOP (Group Of Pictures) units. It is also preferable that the portable terminal 2 transmits training data with different bit rates as described below, depending on the wireless environment of the network.
Mobile phone network (3G): 300 kbps
WiMAX network: 1 Mbps
Wireless LAN (WiFi): 4 Mbps
Ethernet (wired): 9 Mbps

(S111)映像受信サーバ1は、携帯端末2から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する。「伝送品質」としては、例えば遅延、ジッタ、パケットロス率であって、例えばGOP単位で計測される。勿論、トレーニングデータとしての映像コンテンツによって伝送品質を計測することが好ましいが、通常の映像コンテンツであってもよい。 (S111) The video receiving server 1 measures transmission quality when receiving video content from the mobile terminal 2 by streaming. “Transmission quality” is, for example, delay, jitter, and packet loss rate, and is measured in units of GOP, for example. Of course, it is preferable to measure the transmission quality using video content as training data, but normal video content may also be used.

図3は、映像コンテンツのストリーミングデータの構成図である。   FIG. 3 is a configuration diagram of streaming data of video content.

図3のストリーミングデータによれば、1秒間あたり複数のフレームによって構成され、フレームレート[frame per second]として表される。図3によれば、30fpsで構成されている。また、複数のフレームからGOP単位が構成される。GOPとは、MPEG方式について、圧縮及び再生・編集の単位となる映像信号の数フレームずつの組み合わせをいう。GOPは、1つのI(Intra)ピクチャフレームと、複数のP(Predictive)ピクチャフレーム及びB(Bidirectionally)ピクチャフレームとから構成される。そして、本発明によれば、GOP単位で「伝送品質」(遅延、パケットロス、ジッタ)を計測する。また、1つのフレームは、複数のRTPパケットから構成される。   According to the streaming data in FIG. 3, the streaming data includes a plurality of frames per second and is represented as a frame rate [frame per second]. According to FIG. 3, it is configured at 30 fps. A GOP unit is composed of a plurality of frames. GOP refers to a combination of several frames of a video signal, which is a unit of compression, reproduction / editing, for the MPEG system. The GOP is composed of one I (Intra) picture frame, and a plurality of P (Predictive) picture frames and B (Bidirectionally) picture frames. According to the present invention, “transmission quality” (delay, packet loss, jitter) is measured in GOP units. One frame is composed of a plurality of RTP packets.

(S112)映像受信サーバ1は、オプション的に、映像コンテンツを構成するI,P,Bフレーム種別に応じて、伝送品質に対するフレーム種別重み係数を対応付けた「フレーム種別重み係数テーブル」を有することも好ましい。 (S112) The video receiving server 1 optionally has a “frame type weighting coefficient table” in which frame type weighting coefficients for transmission quality are associated with I, P, and B frame types constituting video content. Is also preferable.

図4は、本発明におけるフレーム種別重み係数テーブルを表す説明図である。   FIG. 4 is an explanatory diagram showing a frame type weighting coefficient table in the present invention.

これは、優先度の高いIフレームにおける伝送品質を重要視する。図4によれば、Iフレームを構成するパケットの伝送品質(遅延、パケットロス、ジッタ)は、Pフレーム及びBフレームを構成するパケットの伝送品質よりも、2倍考慮されることを意味する。   This places importance on the transmission quality in I frames with high priority. According to FIG. 4, it means that the transmission quality (delay, packet loss, jitter) of the packets constituting the I frame is considered twice as much as the transmission quality of the packets constituting the P frame and the B frame.

そして、映像受信サーバ(受信装置)1は、フレーム種別重み係数テーブルを用いて、発生した伝送品質に重み付ける。
例えばIフレームで、遅延10msが発生した場合、10ms×2=20msの遅延が発生したとする。
例えばIフレームで、ジッタ値10msが発生した場合、10ms×2=20msのジッタ値が発生したとする。
例えばIフレームで、1個のパケットがロスした場合、2個のパケットがロスしたとする。
Then, the video receiving server (receiving device) 1 uses the frame type weighting coefficient table to weight the generated transmission quality.
For example, when a delay of 10 ms occurs in an I frame, a delay of 10 ms × 2 = 20 ms occurs.
For example, when a jitter value of 10 ms occurs in an I frame, a jitter value of 10 ms × 2 = 20 ms is generated.
For example, when one packet is lost in an I frame, two packets are lost.

(S113)また、映像受信サーバ(受信装置)1は、オプション的に、映像コンテンツのフレーム内位置に応じて、伝送品質に対するフレーム内位置重み係数を対応付けた「フレーム内位置重み係数テーブル」を有することも好ましい。 (S113) Also, the video receiving server (receiving device) 1 optionally has an “intra-frame position weighting coefficient table” in which the intra-frame position weighting coefficient is associated with the transmission quality according to the intra-frame position of the video content. It is also preferable to have it.

図5は、本発明におけるフレーム内位置重み係数テーブルを表す説明図である。   FIG. 5 is an explanatory diagram showing an intra-frame position weighting coefficient table in the present invention.

これは、優先度が高いフレーム内位置を構成するパケットにおける伝送品質を重要視する。即ち、フレーム内の画面中央位置に対応するパケットの伝送品質を重要視する。図5によれば、フレーム内の画面中央位置に対応するパケットの伝送品質は、フレーム内の画面外枠位置に対応するパケットの伝送品質よりも、2倍考慮されることを意味する。   This attaches importance to the transmission quality in the packet constituting the intra-frame position having a high priority. That is, the transmission quality of the packet corresponding to the center position of the screen in the frame is regarded as important. According to FIG. 5, it means that the transmission quality of the packet corresponding to the center position of the screen within the frame is considered twice as much as the transmission quality of the packet corresponding to the position of the outer frame frame within the frame.

そして、映像受信サーバ(受信装置)1は、フレーム内位置重み係数テーブルを用いて、発生した伝送品質に重み付ける。
例えば画面中央位置に対応するパケットで、遅延10msが発生した場合、10ms×2=20msの遅延が発生したとする。
例えば画面中央位置に対応するパケットで、ジッタ値10msが発生した場合、10ms×2=20msのジッタ値が発生したとする。
例えば画面中央位置に対応するパケットで、1個のパケットがロスした場合、2個のパケットがロスしたとする。
Then, the video receiving server (receiving device) 1 weights the generated transmission quality using the intra-frame position weighting coefficient table.
For example, when a delay of 10 ms occurs in a packet corresponding to the center position of the screen, it is assumed that a delay of 10 ms × 2 = 20 ms occurs.
For example, when a jitter value of 10 ms occurs in a packet corresponding to the center position of the screen, it is assumed that a jitter value of 10 ms × 2 = 20 ms occurs.
For example, when one packet is lost in a packet corresponding to the center position of the screen, two packets are lost.

このように、図4及び図5の両方を考慮した場合、例えばIフレームであって且つ画面中央位置を構成するパケットの伝送品質は、P又はBフレームであって且つ画面外枠位置を構成するパケットの伝送品質よりも、4倍考慮されることとなる。   As described above, when both FIG. 4 and FIG. 5 are considered, the transmission quality of a packet that is, for example, an I frame and configures the screen center position is a P or B frame and configures the screen outer frame position. Four times as much as the transmission quality of the packet is considered.

尚、本発明の実施形態として、映像ストリーミングデータのRTPパケット毎に、その拡張ヘッダに、フレーム種別(I,P,B)と、フレームの最初/最後とを表すフラグを含めることも好ましい。これによって、RTPパケットのみで、フレーム種別及びフレー内位置を特定することができる。   As an embodiment of the present invention, it is also preferable to include a flag indicating the frame type (I, P, B) and the start / end of the frame in the extension header for each RTP packet of video streaming data. As a result, the frame type and the in-frame position can be specified only by the RTP packet.

(S114)映像受信サーバ(受信装置)1は、現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた「影響確率テーブル」を有する。 (S114) The video receiving server (receiving device) 1 has an “influence probability table” in which the influence probabilities for the current transmission bit rate are associated with each other according to the difference between the current transmission quality and the previous transmission quality.

図6は、本発明における影響確率テーブルを表す説明図である。   FIG. 6 is an explanatory diagram showing an influence probability table in the present invention.

図6によれば、伝送品質毎に、影響確率テーブルが設定されている。映像受信サーバ1は、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率α、β、γを導出する。
[1]遅延に基づく影響確率αは、現在の遅延量Dcと、前回の遅延量Dpとの差に応じて決定される。
[2]ジッタに基づく影響確率βは、現在のジッタJcと、前回のジッタJpとの差に応じて決定される。
[3]パケットロス率に基づく影響確率γは、現在のパケットロス率Lcと、前回のパケットロス率Lpとの差に応じて決定される。
According to FIG. 6, an influence probability table is set for each transmission quality. The video reception server 1 uses the influence probability table to derive influence probabilities α, β, and γ according to the difference between the current transmission quality and the previous transmission quality.
[1] The delay-based influence probability α is determined according to the difference between the current delay amount Dc and the previous delay amount Dp.
[2] The influence probability β based on jitter is determined according to the difference between the current jitter Jc and the previous jitter Jp.
[3] The influence probability γ based on the packet loss rate is determined according to the difference between the current packet loss rate Lc and the previous packet loss rate Lp.

(S115)映像受信サーバ1は、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する。
BRn=BRc×α×β×γ
BRn:推定伝送ビットレート
BRc:現伝送ビットレート
α:遅延に基づく影響確率
β:ジッタに基づく影響確率
γ:パケットロス率に基づく影響確率
(S115) The video receiving server 1 calculates an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability.
BRn = BRc × α × β × γ
BRn: Estimated transmission bit rate
BRc: Current transmission bit rate
α: Effect probability based on delay
β: Influence probability based on jitter
γ: Impact probability based on packet loss rate

(S116)映像受信サーバ1は、伝送ビットレートに対する映像フレームレートを対応付けた「レート対応テーブル」を更に有する。 (S116) The video receiving server 1 further includes a “rate correspondence table” in which the video frame rate is associated with the transmission bit rate.

図7は、本発明におけるHD解像度のレート対応テーブルの説明図である。   FIG. 7 is an explanatory diagram of the HD resolution rate correspondence table in the present invention.

図7のレート対応テーブルは、伝送ビットレートに対する映像フレームレートが予め設定されている。これは、主観的な映像品質に基づくMOS(Means Opinion Score)によって決定されたものであることが好ましい。これによって、主観的な映像品質を、伝送ビットレートに応じて、できる限り向上させることができる。尚、伝送ビットレートと映像フレームレートとの対応関係は、最適にカスタマイズされることが好ましい。また、レート対応テーブルは、送信する映像の解像度に応じて個々に用意されるものであってもよい。   In the rate correspondence table of FIG. 7, the video frame rate with respect to the transmission bit rate is set in advance. This is preferably determined by MOS (Means Opinion Score) based on subjective video quality. Thereby, the subjective video quality can be improved as much as possible according to the transmission bit rate. Note that the correspondence between the transmission bit rate and the video frame rate is preferably customized optimally. The rate correspondence table may be prepared individually according to the resolution of the video to be transmitted.

(S117)映像受信サーバ1は、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出する。 (S117) The video receiving server 1 uses the rate correspondence table to derive a video frame rate corresponding to the estimated transmission bit rate.

(S118)映像受信サーバ1は、携帯端末2へ、映像フレームレートの関連情報をフィードバックする。ここで、映像フレームレートの関連情報として、以下の2つがある。
・映像フレームレート自体
・現映像フレームレートからの単位レート分の上げフラグ/下げフラグ
(データ量を最小化することによって、制御信号であるフィードバック情報の
増加による伝送帯域の圧迫を回避する)
(S118) The video receiving server 1 feeds back the related information of the video frame rate to the mobile terminal 2. Here, there are the following two pieces of information related to the video frame rate.
・ Video frame rate itself ・ Up / down flag for the unit rate from the current video frame rate (By minimizing the amount of data, avoiding compression of the transmission band due to an increase in feedback information as a control signal)

これによって、携帯端末2は、映像受信サーバ1へ送信すべき映像コンテンツのフレームレートを変更することができる。   Thereby, the mobile terminal 2 can change the frame rate of the video content to be transmitted to the video receiving server 1.

尚、図2の点線囲み部分によれば、推定伝送ビットレートを算出した(S115)後、その推定伝送ビットレートを、送信装置2へフィードバックするものであってもよい。この場合、フレームレートの導出(S118)は、送信装置2によって実行される。   2, after the estimated transmission bit rate is calculated (S115), the estimated transmission bit rate may be fed back to the transmission device 2. In this case, derivation of the frame rate (S118) is executed by the transmission device 2.

図8は、本発明におけるフレームレート制御部を含む映像受信サーバの機能構成図である。   FIG. 8 is a functional configuration diagram of a video receiving server including a frame rate control unit according to the present invention.

図8の映像受信サーバ1によれば、通信インタフェース101と、IPインタフェース102と、RTPインタフェース103と、RTCPインタフェース104と、フレームレート制御部11とを有する。通信インタフェース101を除くこれら機能構成部は、サーバに搭載されたコンピュータを機能させることによって実現される。   8 includes a communication interface 101, an IP interface 102, an RTP interface 103, an RTCP interface 104, and a frame rate control unit 11. These functional components excluding the communication interface 101 are realized by causing a computer mounted on the server to function.

フレームレート制御部11は、伝送品質計測部111と、フレーム種別重み付け部112と、フレーム種別重み係数テーブル112tと、フレーム内位置重み付け部113と、フレーム内位置重み係数テーブル113tと、影響確率導出部114と、影響確率テーブル114tと、推定伝送ビットレート算出部115と、フレームレート導出部116と、レート対応テーブル116tと、フィードバック部117とを有する。   The frame rate control unit 11 includes a transmission quality measurement unit 111, a frame type weighting unit 112, a frame type weighting coefficient table 112t, an intraframe position weighting unit 113, an intraframe position weighting coefficient table 113t, and an influence probability deriving unit. 114, an influence probability table 114t, an estimated transmission bit rate calculation unit 115, a frame rate derivation unit 116, a rate correspondence table 116t, and a feedback unit 117.

伝送品質計測部111は、送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する(図2のS111と同様)。計測されて伝送品質は、フレーム種別重み付け部112へ出力される。   The transmission quality measuring unit 111 measures the transmission quality when receiving video content from the transmission apparatus by streaming (similar to S111 in FIG. 2). The measured transmission quality is output to the frame type weighting unit 112.

フレーム種別重み係数テーブル112tは、映像コンテンツを構成するI,P,Bフレーム種別に対応付けた、伝送品質に対するフレーム種別重み係数を記憶する。   The frame type weighting coefficient table 112t stores a frame type weighting coefficient for transmission quality associated with the I, P, B frame types constituting the video content.

フレーム種別重み付け部112は、フレーム種別重み係数テーブル112tを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツを構成するフレーム種別に応じたフレーム種別重み係数を重み付ける(図2のS112と同様)。   The frame type weighting unit 112 refers to the frame type weighting coefficient table 112t, and weights the transmission quality measured by receiving the video content with the frame type weighting coefficient corresponding to the frame type constituting the video content (FIG. 2). Same as S112).

フレーム内位置重み係数テーブル113tは、映像コンテンツのフレーム内位置に対応付けて、伝送品質に対するフレーム内位置重み係数を記憶する。   The intra-frame position weight coefficient table 113t stores an intra-frame position weight coefficient for transmission quality in association with the intra-frame position of the video content.

フレーム内位置重み付け部113は、フレーム内位置重み係数テーブル113tを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツのフレーム内位置に応じたフレーム内位置重み係数を重み付ける(図2のS113と同様)。   The intra-frame position weighting unit 113 refers to the intra-frame position weight coefficient table 113t, and weights the transmission quality measured by receiving the video content by the intra-frame position weight coefficient corresponding to the intra-frame position of the video content (see FIG. 2 and S113).

影響確率テーブル114tは、現伝送品質と前伝送品質との差に対応付けて、現伝送ビットレートに対する影響確率を記憶する。   The influence probability table 114t stores the influence probability for the current transmission bit rate in association with the difference between the current transmission quality and the previous transmission quality.

影響確率導出部114は、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する(図2のS114と同様)。   The influence probability deriving unit 114 uses the influence probability table to derive the influence probability according to the difference between the current transmission quality and the previous transmission quality (similar to S114 in FIG. 2).

推定伝送ビットレート算出部115は、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する(図2のS115と同様)。   The estimated transmission bit rate calculation unit 115 calculates an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability (similar to S115 in FIG. 2).

レート対応テーブル116tは、伝送ビットレートに対する映像フレームレートを記憶する。   The rate correspondence table 116t stores a video frame rate with respect to a transmission bit rate.

フレームレート導出部116は、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出する(図2のS116と同様)。   The frame rate deriving unit 116 derives a video frame rate corresponding to the estimated transmission bit rate using the rate correspondence table (similar to S116 in FIG. 2).

フィードバック部117は、送信装置へ、映像フレームレートの関連情報をフィードバックする(図2のS117と同様)。これによって、送信装置は、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更する。   The feedback unit 117 feeds back video frame rate related information to the transmission apparatus (similar to S117 in FIG. 2). As a result, the transmission device changes the frame rate of the video content to be transmitted to the reception device to the video frame rate received from the reception device.

図9は、本発明における受信装置の機能構成図である。   FIG. 9 is a functional configuration diagram of the receiving apparatus according to the present invention.

図8の受信装置1によれば、フレーム種別及びフレーム内位置を、フレームレート制御部11の外部から情報によって判別する。
I,P,Bのフレーム種別は、受信装置内の可変長復号部によって検出される。そのフレーム種別は、フレームレート制御部11へ入力される。
逆量子化部によってマクロブロックMB(Macro Brock)配置情報が抽出され、そのMB配置情報は、フレームレート制御部11へ入力される。フレームレート制御部11は、そのMB配置情報から、Iフレームのフレーム内位置を判別することができる。
画面内予測部よってMB配置情報が抽出され、そのMB配置情報は、フレームレート制御部11へ入力される。フレームレート制御部11は、そのMB配置情報から、P,Bフレームのフレーム内位置を判別することができる。
RTPパケットにフレームの最初フラグ/最後フラグが含まれている場合、フレーム内位置判定部によってフレーム内位置が抽出される。そのフレーム内位置情報は、フレームレート制御部11へ入力される。
According to the receiving apparatus 1 of FIG. 8, the frame type and the position in the frame are determined by information from outside the frame rate control unit 11.
The frame types of I, P, and B are detected by a variable length decoding unit in the receiving device. The frame type is input to the frame rate control unit 11.
Macroblock MB (Macro Brock) arrangement information is extracted by the inverse quantization unit, and the MB arrangement information is input to the frame rate control unit 11. The frame rate control unit 11 can determine the intraframe position of the I frame from the MB arrangement information.
MB arrangement information is extracted by the intra prediction unit, and the MB arrangement information is input to the frame rate control unit 11. The frame rate control unit 11 can determine the intra-frame positions of the P and B frames from the MB arrangement information.
When the first flag / last flag of the frame is included in the RTP packet, the intra-frame position is extracted by the intra-frame position determination unit. The intra-frame position information is input to the frame rate control unit 11.

図10は、本発明における送信装置の機能構成図である。   FIG. 10 is a functional configuration diagram of the transmission apparatus according to the present invention.

図10の送信装置によれば、既存の映像送信装置と比較して、フィードバック受信部21と、フレームレート変更部22とを有する。フィードバック受信部21は、受信装置1からRTCPによってフィードバック情報としてのフレームレートを受信し、そのフレームレートを、フレームレート変更部22へ出力する。フレームレート変更部22は、送信すべき映像コンテンツのフレームレートを、受信装置1から受信したフレームレートに変更する。   10 includes the feedback receiving unit 21 and the frame rate changing unit 22 as compared with the existing video transmitting device. The feedback receiving unit 21 receives a frame rate as feedback information from the receiving device 1 by RTCP, and outputs the frame rate to the frame rate changing unit 22. The frame rate changing unit 22 changes the frame rate of the video content to be transmitted to the frame rate received from the receiving device 1.

また、図10の送信装置によれば、フィードバック受信部21が、受信装置1からフレームレートではなく、推定伝送ビットレートを受信する場合もある。この場合、フィードバック受信部21は、レート対応テーブル216tと、フレームレート導出部216とを有する。これら機能部は、図8の受信装置1内のものと全く同じものである。推定伝送ビットレートから、映像フレームレートを導出する。   Further, according to the transmission device of FIG. 10, the feedback reception unit 21 may receive the estimated transmission bit rate from the reception device 1 instead of the frame rate. In this case, the feedback receiving unit 21 includes a rate correspondence table 216t and a frame rate deriving unit 216. These functional units are exactly the same as those in the receiving apparatus 1 of FIG. A video frame rate is derived from the estimated transmission bit rate.

以上、詳細に説明したように、本発明の受信装置、システム、プログラム及び方法によれば、映像コンテンツのストリーミングの伝送品質から伝送ビットレートを算出し、その伝送ビットレートに基づいて映像フレームレートを制御することによって、できる限り主観的に高画質なストリーミング伝送を実現する。   As described above in detail, according to the receiving apparatus, system, program, and method of the present invention, the transmission bit rate is calculated from the transmission quality of streaming video content, and the video frame rate is calculated based on the transmission bit rate. By controlling, streaming transmission with high image quality as subjectively as possible is realized.

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。   Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.

1 映像受信サーバ、受信装置
101 通信インタフェース
102 IPインタフェース
103 RTPインタフェース
104 RTCPインタフェース
11 フレームレート制御部
111 伝送品質計測部
112 フレーム種別重み付け部
112t フレーム種別重み係数テーブル
113 フレーム内位置重み付け部
113t フレーム内位置重み係数テーブル
114 影響確率導出部
114t 影響確率テーブル
115 推定伝送ビットレート算出部
116 フレームレート導出部
116t レート対応テーブル
117 フィードバック部
2 携帯端末、送信装置
21 フィードバック受信部
216 フレームレート導出部
216t レート対応テーブル
22 フレームレート変更部
DESCRIPTION OF SYMBOLS 1 Image | video receiving server, receiver 101 Communication interface 102 IP interface 103 RTP interface 104 RTCP interface 11 Frame rate control part 111 Transmission quality measurement part 112 Frame classification weighting part 112t Frame classification weighting coefficient table 113 Intraframe position weighting part 113t Intraframe position Weight coefficient table 114 Influence probability derivation unit 114t Influence probability table 115 Estimated transmission bit rate calculation part 116 Frame rate derivation part 116t Rate correspondence table 117 Feedback part 2 Portable terminal, transmitting device 21 Feedback reception part 216 Frame rate derivation part 216t Rate correspondence table 22 Frame rate changing section

Claims (8)

送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置において、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
隣接するGOP(Group Of Pictures)毎の現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置からトレーニングデータの映像コンテンツをストリーミングで受信する際に、GOP単位で伝送品質を計測する伝送品質計測手段と、
前記影響確率テーブルを用いて、隣接するGOP毎に算出される現伝送品質と前伝送品質との差に応じた前記影響確率を導出する影響確率導出手段と、
現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
前記レート対応テーブルを用いて、前記推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、前記映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
を有し、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した前記映像フレームレートに変更するように機能させることを特徴とする受信装置。
In a receiving apparatus that receives video content from a transmitting apparatus via streaming via a network,
A rate correspondence table in which video frame rates are associated with transmission bit rates;
An impact probability table that associates the impact probability with respect to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality for each adjacent GOP (Group Of Pictures);
Transmission quality measuring means for measuring transmission quality in GOP units when receiving video content of training data from a transmission device by streaming;
An influence probability deriving means for deriving the influence probability according to the difference between the current transmission quality and the previous transmission quality calculated for each adjacent GOP using the influence probability table;
Estimated transmission bit rate calculating means for calculating an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
Frame rate deriving means for deriving a video frame rate corresponding to the estimated transmission bit rate using the rate correspondence table;
Video feedback means for feeding back the video frame rate related information to the transmission device;
A receiving apparatus, wherein the transmitting apparatus functions to change a frame rate of video content to be transmitted to the receiving apparatus to the video frame rate received from the receiving apparatus.
前記映像コンテンツを構成するI,P,Bフレーム種別に応じて、前記伝送品質に対するフレーム種別重み係数を対応付けたフレーム種別重み係数テーブルと、
前記フレーム種別重み係数テーブルを参照し、前記映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツを構成するフレーム種別に応じたフレーム種別重み係数を重み付けるフレーム種別重み付け手段と
を更に有することを特徴とする請求項1に記載の受信装置。
A frame type weighting coefficient table that associates a frame type weighting coefficient with respect to the transmission quality in accordance with the I, P, and B frame types constituting the video content;
Frame type weighting means for referring to the frame type weighting coefficient table and weighting the transmission quality measured by receiving the video content with a frame type weighting coefficient corresponding to the frame type constituting the video content. The receiving device according to claim 1.
受信装置は、前記映像コンテンツのフレーム内位置に応じて、前記伝送品質に対するフレーム内位置重み係数を対応付けたフレーム内位置重み係数テーブルと、
前記フレーム内位置重み係数テーブルを参照し、前記映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツのフレーム内位置に応じたフレーム内位置重み係数を重み付けるフレーム内位置重み付け手段と
を更に有する
ことを特徴とする請求項1又は2に記載の受信装置。
The receiving device, according to the position in the frame of the video content, an intra-frame position weight coefficient table in which an intra-frame position weight coefficient for the transmission quality is associated,
Intra-frame position weighting means for referencing the intra-frame position weighting coefficient table and weighting the transmission quality measured by receiving the video content with an intra-frame position weighting coefficient corresponding to the intra-frame position of the video content. The receiving apparatus according to claim 1, wherein the receiving apparatus is a receiver.
前記レート対応テーブルは、主観的な映像品質に基づくMOS(Means Opinion Score)によって決定されたものであることを特徴とする請求項1からのいずれか1項に記載の受信装置。 The receiving apparatus according to any one of claims 1 to 3 , wherein the rate correspondence table is determined by MOS (Means Opinion Score) based on subjective video quality. 前記映像フィードバック手段は、前記映像フレームレートの関連情報として、
・映像フレームレート自体、又は
・現映像フレームレートからの単位レート分の上げフラグ/下げフラグ
を前記送信装置へフィードバックすることを特徴とする請求項1からのいずれか1項に記載の受信装置。
The video feedback means, as related information of the video frame rate,
And video frame rate itself, or receiver system as described increment rate partial raising flag / down flag of claims 1, characterized in that the feedback to the transmitting apparatus in any one of 4 from the current video frame rate .
送信装置が、受信装置へ、映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおいて、
前記受信装置は、
隣接するGOP毎の現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置からトレーニングデータの映像コンテンツをストリーミングで受信する際に、GOP単位で伝送品質を計測する伝送品質計測手段と、
前記影響確率テーブルを用いて、隣接するGOP毎に算出される現伝送品質と前伝送品質との差に応じた前記影響確率を導出する影響確率導出手段と、
現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
送信装置へ、前記推定伝送ビットレートをフィードバックする推定伝送ビットレートフィードバック手段と
を有し、
前記送信装置は、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
前記レート対応テーブルを用いて、前記受信装置から受信した推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
受信装置へ送信すべき映像コンテンツのフレームレートを、前記映像フレームレートに変更するフレームレート変更手段と
を有する
ことを特徴とするシステム。
In a system in which a transmitting device transmits video content to a receiving device by streaming over a network,
The receiving device is:
An influence probability table that associates the influence probability with respect to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality for each adjacent GOP;
Transmission quality measuring means for measuring transmission quality in GOP units when receiving video content of training data from a transmission device by streaming;
An influence probability deriving means for deriving the influence probability according to the difference between the current transmission quality and the previous transmission quality calculated for each adjacent GOP using the influence probability table;
Estimated transmission bit rate calculating means for calculating an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
Estimated transmission bit rate feedback means for feeding back the estimated transmission bit rate to the transmission device;
The transmitter is
A rate correspondence table in which video frame rates are associated with transmission bit rates;
Frame rate deriving means for deriving a video frame rate corresponding to the estimated transmission bit rate received from the receiving device using the rate correspondence table;
And a frame rate changing means for changing the frame rate of the video content to be transmitted to the receiving device to the video frame rate.
映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおける映像フレームレート制御方法において、
受信装置は、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
隣接するGOP毎の現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと
を有し、
受信装置が、送信装置からトレーニングデータの映像コンテンツをストリーミングで受信する際に、GOP単位で伝送品質を計測する第1のステップと、
受信装置が、影響確率テーブルを用いて、隣接するGOP毎に算出される現伝送品質と前伝送品質との差に応じた前記影響確率を導出する第2のステップと、
受信装置が、現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する第3のステップと、
受信装置が、前記レート対応テーブルを用いて、前記推定伝送ビットレートに対応する映像フレームレートを導出する第4のステップと、
受信装置が、送信装置へ、前記映像フレームレートの関連情報をフィードバックする第5のステップと、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した前記関連情報に基づく映像フレームレートに変更する第6のステップと
を有することを特徴とする映像フレームレート制御方法。
In a video frame rate control method in a system for transmitting video content by streaming over a network,
The receiving device
A rate correspondence table in which video frame rates are associated with transmission bit rates;
An influence probability table that associates the influence probability with respect to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality for each adjacent GOP;
A first step of measuring transmission quality in GOP units when the receiving device receives the video content of the training data from the transmitting device by streaming;
A second step in which the receiving device derives the influence probability according to the difference between the current transmission quality and the previous transmission quality calculated for each adjacent GOP using the influence probability table;
A third step in which the receiving device calculates an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
A fourth step in which the receiving device derives a video frame rate corresponding to the estimated transmission bit rate using the rate correspondence table;
A fifth step in which the receiving device feeds back the related information of the video frame rate to the transmitting device;
A video frame rate control method, wherein the transmission device includes a sixth step of changing a frame rate of video content to be transmitted to the reception device to a video frame rate based on the related information received from the reception device. .
送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置に搭載されたコンピュータを機能させるプログラムにおいて、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
隣接するGOP毎の現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置からトレーニングデータの映像コンテンツをストリーミングで受信する際に、GOP単位で伝送品質を計測する伝送品質計測手段と、
前記影響確率テーブルを用いて、隣接するGOP毎に算出される現伝送品質と前伝送品質との差に応じた前記影響確率を導出する影響確率導出手段と、
現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
前記レート対応テーブルを用いて、前記推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、前記映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
してコンピュータを機能させ、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した前記映像フレームレートに変更するように機能させることを特徴とする受信装置用のプログラム。
In a program for causing a computer mounted on a receiving device to receive video content from a transmitting device via streaming via a network,
A rate correspondence table in which video frame rates are associated with transmission bit rates;
An influence probability table that associates the influence probability with respect to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality for each adjacent GOP;
Transmission quality measuring means for measuring transmission quality in GOP units when receiving video content of training data from a transmission device by streaming;
An influence probability deriving means for deriving the influence probability according to the difference between the current transmission quality and the previous transmission quality calculated for each adjacent GOP using the influence probability table;
Estimated transmission bit rate calculating means for calculating an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
Frame rate deriving means for deriving a video frame rate corresponding to the estimated transmission bit rate using the rate correspondence table;
Causing the computer to function as video feedback means for feeding back the related information of the video frame rate to the transmission device;
A program for a receiving apparatus, wherein the transmitting apparatus functions to change a frame rate of video content to be transmitted to the receiving apparatus to the video frame rate received from the receiving apparatus.
JP2011115558A 2011-05-24 2011-05-24 Receiving apparatus, system, program and method for controlling video frame rate based on transmission bit rate Active JP5877960B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011115558A JP5877960B2 (en) 2011-05-24 2011-05-24 Receiving apparatus, system, program and method for controlling video frame rate based on transmission bit rate

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011115558A JP5877960B2 (en) 2011-05-24 2011-05-24 Receiving apparatus, system, program and method for controlling video frame rate based on transmission bit rate

Publications (2)

Publication Number Publication Date
JP2012244566A JP2012244566A (en) 2012-12-10
JP5877960B2 true JP5877960B2 (en) 2016-03-08

Family

ID=47465758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011115558A Active JP5877960B2 (en) 2011-05-24 2011-05-24 Receiving apparatus, system, program and method for controlling video frame rate based on transmission bit rate

Country Status (1)

Country Link
JP (1) JP5877960B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6216755B2 (en) * 2015-09-30 2017-10-18 Kddi株式会社 Inter-device communication system, information transmitting device, and information receiving device
JP6216756B2 (en) * 2015-09-30 2017-10-18 Kddi株式会社 Inter-device communication system, information transmitting device, and information receiving device
CN109819322A (en) * 2019-03-15 2019-05-28 网易(杭州)网络有限公司 Video transmission method, device, computer readable storage medium and electronic equipment
WO2022044164A1 (en) * 2020-08-26 2022-03-03 日本電気株式会社 Video quality estimating device, video quality estimating method, and video quality estimating system
JP7501662B2 (en) 2020-11-11 2024-06-18 日本電信電話株式会社 Objective evaluation device, objective evaluation method, and objective evaluation program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3900413B2 (en) * 2002-02-14 2007-04-04 Kddi株式会社 Video information transmission method and program
JP4586328B2 (en) * 2002-12-11 2010-11-24 ソニー株式会社 Information processing system, information processing apparatus and method, recording medium, and program
JP4013925B2 (en) * 2004-07-07 2007-11-28 日本電気株式会社 High-definition video transmission system, high-definition video transmission apparatus, high-definition video transmission method and program used therefor
JP4377357B2 (en) * 2005-07-07 2009-12-02 日本電信電話株式会社 Video quality estimation apparatus and video quality estimation method
JP2009171023A (en) * 2008-01-11 2009-07-30 Nec Corp Image quality evaluation apparatus, image quality evaluation method, program for image quality evaluation, and video reception terminal
JP2010063004A (en) * 2008-09-05 2010-03-18 Nec Corp Video data transmission apparatus, video distribution system, video quality evaluation method and program
JP2011019068A (en) * 2009-07-08 2011-01-27 Nec Corp Quality control device, quality control system, quality control method, and program

Also Published As

Publication number Publication date
JP2012244566A (en) 2012-12-10

Similar Documents

Publication Publication Date Title
US11006129B2 (en) System and method for automatic encoder adjustment based on transport data
US10419502B2 (en) Systems and methods for using client-side video buffer occupancy for enhanced quality of experience in a communication network
US10602139B2 (en) Embedded multimedia systems with adaptive rate control for power efficient video streaming
US10193813B2 (en) System and method for real-time traffic delivery
CN101909060B (en) Qos control method suitable for real-time streaming media transmission of mobile videos
US20140282792A1 (en) Video streaming with buffer occupancy prediction based quality adaptation
US10944973B2 (en) Estimation of video quality of experience on media servers
JP2013526795A (en) Method and apparatus for transmitting and receiving layer coding video
JP5877960B2 (en) Receiving apparatus, system, program and method for controlling video frame rate based on transmission bit rate
AU2021200428B2 (en) System and method for automatic encoder adjustment based on transport data
KR20060096044A (en) Medium signal transmission method, reception method, transmission/reception method, and device
CN104754339B (en) I framing control method, apparatus and system
US9258347B2 (en) Encoding of a video frame for transmission to a plurality of clients
EP2649794B1 (en) Method and apparatus for managing content distribution over multiple terminal devices in collaborative media system
JP2015138990A (en) Receiver, transmitter and communication system
US9674515B2 (en) Endpoint information for network VQM
CN109862400A (en) A kind of flow-medium transmission method, device and its system
JP5675164B2 (en) Transmission device, transmission method, and program
Futemma et al. TFRC-based rate control scheme for real-time JPEG 2000 video transmission
Bassey et al. Mitigating the effect of packet losses on real-time video streaming using psnr as video quality assessment metric

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150617

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160127

R150 Certificate of patent (=grant) or registration of utility model

Ref document number: 5877960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150