JP7173028B2 - 送信装置および送信方法、並びにプログラム - Google Patents

送信装置および送信方法、並びにプログラム Download PDF

Info

Publication number
JP7173028B2
JP7173028B2 JP2019548108A JP2019548108A JP7173028B2 JP 7173028 B2 JP7173028 B2 JP 7173028B2 JP 2019548108 A JP2019548108 A JP 2019548108A JP 2019548108 A JP2019548108 A JP 2019548108A JP 7173028 B2 JP7173028 B2 JP 7173028B2
Authority
JP
Japan
Prior art keywords
transmission
layer
processing unit
encoding
underflow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019548108A
Other languages
English (en)
Other versions
JPWO2019073802A1 (ja
Inventor
秀友 平尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019073802A1 publication Critical patent/JPWO2019073802A1/ja
Application granted granted Critical
Publication of JP7173028B2 publication Critical patent/JP7173028B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本開示は、送信装置および送信方法、並びにプログラムに関し、特に、より低遅延で再生されるように動画像を送信することができるようにした送信装置および送信方法、並びにプログラムに関する。
従来、動画像を符号化してネットワーク経由で送信し、遠隔地で再生して表示するようなネットワークカメラシステムにおいて、例えば、途切れなく動画像が再生されるようにするためには、ある程度の遅延が必要となる。しかしながら、この遅延を大きくした場合には、ネットワークカメラシステムが提供する機能に悪影響を及ぼすことがある。
例えば、ネットワークカメラシステムを、遠隔地間で双方向の会話を行うようなコミュニケーションシステムで利用する場合、遅延によって、発話から相手の応答までの時間が増大することになり、円滑な会話が困難となることが想定される。また、ネットワークカメラシステムを、例えば、遠隔地の動画像を監視して、遠隔地の状況に応じた対処が必要となる監視カメラシステムで利用する場合、遅延によって、遠隔地の状況に応じた対処に遅れが生じることが想定される。
ここで、特許文献１には、スケーラブルビデオコーディングを使用するビデオ通信システムにおいて、例えば、エラー耐性を高めることができる技術が開示されている。
特許第５７５３３４１号
上述したように、ネットワークカメラシステムにおいて動画像を送信し、その動画像が再生されるまでの遅延を大きくした場合には、様々な悪影響があるため、できるだけ遅延を抑制しつつ、途切れなく再生されるように動画像を送信することが求められている。
本開示は、このような状況に鑑みてなされたものであり、より低遅延で再生されるように動画像を送信することができるようにするものである。
本開示の一側面の送信装置は、動画像に対して、空間スケーラブルなエンコードを実施するエンコード部と、前記エンコード部によりエンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行う送信処理部と、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように前記エンコード部に対する制御を行う参照レイヤ制御処理部とを備える。
本開示の一側面の送信方法は、動画像を送信する送信装置が、前記動画像に対して、空間スケーラブルなエンコードを実施することと、エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うこととを含む。
本開示の一側面またはプログラムは、動画像を送信する送信装置のコンピュータに、前記動画像に対して、空間スケーラブルなエンコードを実施することと、エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うこととを含む処理を実行させる。
本開示の一側面においては、動画像に対して、空間スケーラブルなエンコードが実施され、エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理が行われる。そして、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御が行われる。
本開示の一側面によれば、より低遅延で再生されるように動画像を送信することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用したネットワークカメラシステムの一実施の形態の構成例を示すブロック図である。 動画像の一般的な伝送について説明する図である。 アンダーフローが発生し、不正画像が伝播する状態について説明する図である。 ネットワークの構成例を説明するブロック図である。 伝送経路の遅延モデルを示す図である。 ２種類の伝送経路から早着経路を選択する処理について説明する図である。 参照レイヤを制御する処理について説明する図である。 動画像を送信する送信処理について説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜ネットワークカメラシステムの構成例＞
図１は、本技術を適用したネットワークカメラシステムの一実施の形態の構成例を示すブロック図である。
図１に示すように、ネットワークカメラシステム１１は、撮像装置２１、送信装置２２、受信装置２３、および表示装置２４が、ネットワーク２５を介して接続されて構成される。また、送信装置２２は、画像処理部３１、エンコード部３２、送信処理部３３、および伝送制御部３４を備えており、伝送制御部３４は伝送経路選択処理部３５および参照レイヤ制御処理部３６を有している。また、受信装置２３は、受信処理部４１、デコード部４２、および表示処理部４３を備えており、受信処理部４１は受信バッファ４４を有している。
撮像装置２１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を有しており、その撮像素子によって撮像して得られる動画像を、送信装置２２の画像処理部３１に供給する。
画像処理部３１は、撮像装置２１が撮像した動画像に対して各種の画像処理を施し、例えば、動画像のビットレートや解像度、フレームレートなどを調整する画像処理を施して、エンコード部３２に供給する。
エンコード部３２は、画像処理部３１から供給される動画像に対して、空間スケーラブルなエンコードを実施することができ、動画像をエンコードして得られるピクチャ（ＩピクチャやＰピクチャなど）のストリームを送信処理部３３に供給する。また、エンコード部３２は、動画像をエンコードする際に、伝送制御部３４による伝送制御に従って、参照レイヤをインターレイヤＩＬ（図７参照）に限定することができる。
送信処理部３３は、エンコード部３２から供給されるピクチャのストリームを、ネットワーク２５を介して受信装置２３に送信する送信処理を行う。このとき、送信処理部３３は、伝送制御部３４による伝送制御に従った伝送経路でピクチャを送信することができる。
伝送制御部３４は、ネットワークカメラシステム１１における動画像の伝送が低遅延となるように、伝送経路選択処理部３５および参照レイヤ制御処理部３６による伝送制御を行う。
伝送経路選択処理部３５は、送信処理部３３によるピクチャごとの送出を常に監視し、伝送開始までの遅延量、および、伝送開始後のレートを取得して、それらの統計値を算出する。そして、伝送経路選択処理部３５は、後述の図６を参照して説明するように、算出した統計量とピクチャの符号量とに基づいて、伝送が完了するのが早いと予測される伝送経路を選択し、その伝送経路でピクチャを送信するように送信処理部３３に対する制御を行う。
参照レイヤ制御処理部３６は、例えば、伝送経路選択処理部３５が算出した統計値に基づいて、受信バッファ４４にアンダーフローが発生する可能性が高いと予測する場合、後述の図７を参照して説明するように、参照レイヤをインターレイヤＩＬに限定するようにエンコード部３２に対する制御を行う。また、参照レイヤ制御処理部３６は、受信装置２３側から、受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けた場合、エンコード部３２に対して同様の制御を行ってもよい。
受信処理部４１は、ネットワーク２５を介して伝送されてくるピクチャを受信して、順次、受信バッファ４４に一時的に蓄積させる。そして、受信処理部４１は、フレーム間隔に従って順次、表示のタイミングとなったピクチャを受信バッファ４４から読み出してデコード部４２に供給する。また、受信処理部４１は、ネットワーク２５を介した動画像の伝送に遅延が発生して表示タイミングのピクチャの受信が完了せずに、受信バッファ４４にアンダーフローが発生した場合、その旨を送信装置２２側に通知するフィードバックを行う。
デコード部４２は、受信処理部４１からフレーム間隔に従って順次供給されるピクチャをデコードして得られる動画像を、表示処理部４３に供給する。
表示処理部４３は、デコード部４２から供給される動画像に対して表示処理を行って、再生される動画像を表示装置２４に表示させる。
表示装置２４は、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどの表示デバイスを有しており、表示処理部４３により表示処理が施された動画像を表示する。
このように構成されるネットワークカメラシステム１１では、伝送制御部３４による伝送制御に従って、送信装置２２から送信される動画像が受信装置２３で再生されるまでの遅延を低減することができる。
ここで、伝送制御部３４による伝送制御について説明する前に、図２および図２を参照して、伝送制御部３４による伝送制御が行われないような、動画像の一般的な伝送について説明する。
図２に示すように、ネットワークカメラシステム１１では、エンコード部３２が動画像をエンコードして、フレーム間隔Ｔｆｒごとのピクチャ（ＩピクチャまたはＰピクチャ）を生成し、それらのピクチャを順次、ネットワーク２５を介して伝送する。そして、受信処理部４１は、ネットワーク２５を介して受信したピクチャを順次、受信バッファ４４に蓄積するが、それぞれのピクチャが伝送される伝送経路によってはネットワーク２５上で伝送遅延Ｔｆｒｎが発生することがある。
そこで、通常、ネットワーク２５を介して動画像を伝送する際には、途切れなく動画像が再生されるように、十分な容量の受信バッファ４４を受信処理部４１に備える必要がある。そして、受信バッファ４４にアンダーフローが発生しないように、デコード部４２がデコードするタイミング、および、表示装置２４が動画像を表示するタイミングを遅らせることで、ネットワーク２５上で発生する伝送遅延Ｔｆｒｎの揺らぎを吸収することができる。このように、受信バッファ４４に一時的にピクチャを蓄積させることによって、動画像がエンコードされてから、デコードされて表示されるまでに遅延が生じることになる。
ここで、デコード部４２がデコードするタイミング、および、表示装置２４が動画像を表示するタイミングを早めることで、低遅延化を図ることができる。
しかしながら、低遅延化を図ることによって、ネットワーク２５上で発生する伝送遅延Ｔｆｒｎの最大のものをカバーすることができなくなると、図３に示すように、受信バッファ４４にアンダーフローが発生してしまう。
その結果、アンダーフローが発生したピクチャのデコード結果が不正となり、不正画像が表示される結果、表示装置２４の表示が乱れることになる。さらに、後続のピクチャがフレーム間（Inter）予測を用いているＰピクチャである場合には、不正画像が伝搬してしまう。この場合、正常に復帰するのは、次のフレーム内（Intra）予測を用いたＩピクチャとなる。そのため、Ｉピクチャの間隔次第では、表示装置２４の表示の乱れが長期間続くこととなってしまう。
そこで、ネットワークカメラシステム１１では、伝送制御部３４が、このような表示装置２４の表示の乱れを抑制して、かつ、動画像の伝送が低遅延となるような伝送制御を行うことができる。
例えば、伝送経路選択処理部３５は、エンコード部３２により空間スケーラブルなエンコードが実施された各レイヤの符号を、同一または個別の伝送経路で送出するように送信処理部３３に対する制御を行う。このとき、伝送経路選択処理部３５は、各レイヤの符号を送出する伝送経路として、符号量に応じて伝送遅延が小さいと予測される経路を選択する。また、伝送経路選択処理部３５は、このような伝送経路の選択に、伝送開始までの遅延量の統計値、および、伝送開始後のレートの統計値を取得することによって、伝送経路の選択精度を向上させることができる。
また、参照レイヤ制御処理部３６は、例えば、伝送開始までの遅延量の統計値、および、伝送開始後のレートの統計値に基づいて、上位レイヤの符号の伝送経路の遅延揺らぎが大きいと判断できる場合、受信バッファ４４にアンダーフローが発生する可能性が高いと判定することができる。従って、参照レイヤ制御処理部３６は、この場合、下位のレイヤからの拡大像のみを参照するように、エンコード部３２に対する制御を行う。これにより、上位レイヤのアンダーフローが発生したとしても、不正画像が伝播することを抑制することができる。
従って、ネットワークカメラシステム１１は、伝送経路を適切に選択することにより、伝送遅延を抑制することができ、デコード時刻を早めるのに伴って、表示される画像の品質が低下するリスクを低減することができる。これにより、ネットワークカメラシステム１１では、撮像装置２１により撮像された動画像が、表示装置２４で表示されるまでの遅延を抑制することができる。
ここで、図４を参照して、ネットワーク２５の構成と、伝送経路選択処理部３５による伝送経路の選択について説明する。
例えば、図４に示すように、ネットワーク２５には、複数台の送信装置２２（図４の例では、２台の送信装置２２－１および２２－２）が接続されるとともに、複数台の受信装置２３（図４の例では、２台の受信装置２３－１および２３－２）が接続される。
ネットワーク２５は、スライス振り分け処理部５１と、論理ネットワークを構成する複数のスライス５２とにより構成され、例えば、サービス事業者の要望に応じて柔軟にネットワーク機能を提供することができる。
スライス振り分け処理部５１は、ネットワーク２５の仮想化と連携し、トラフィック量や通信内容に応じて、複数のスライス５２に通信を振り分ける処理を行う。
複数のスライス５２は、ネットワーク２５を仮想的に複数に分割した仮想ネットワークであり、それぞれのスライス５２には、様々な機能を付加することができる。図４に示す例では、スライス５２－１にはベストエフォートな伝送を実行する機能が付加されており、スライス５２－２には高速な伝送を実行する機能が付加されており、スライス５２－３には低遅延な伝送を実行する機能が付加されている。これらのスライス５２は、それぞれ必要な物理リソースを自由に組み合わせて論理ネットワークを構成することができる。
このように構成されるネットワーク２５のように、複数の伝送経路を選択することができる場合、伝送経路選択処理部３５は、目的に最適な伝送経路を選ぶことで、例えば、より低遅延で動画像を送信するような伝送制御を行うことができる。
図５および図６を参照して、伝送経路選択処理部３５による伝送経路の選択について説明する。
図５には、伝送経路の遅延モデルが示されている。
例えば、図５に示すように、伝送経路での遅延が、伝送開始待ち時間ｄと伝送レートｒとによる１次式で表されるとき、符号量Ｍの伝送には、次の式（１）に示すような時間Ｔを要することになる。
Figure 0007173028000001
そして、図６に示すように、伝送開始待ち時間ｄおよび伝送レートｒの異なる２種類の伝送経路が存在する場合、伝送が完了するのが早いと予測される伝送経路（早着経路）は、符号量Ｍにより異なるものとなる。従って、伝送経路選択処理部３５は、それぞれの伝送経路における伝送開始待ち時間ｄおよび伝送レートｒを把握して、早着経路が切り替わる境界符号量Ｍthを演算により求めることができる。そして、伝送経路選択処理部３５は、エンコード結果の符号量と、境界符号量Ｍthとを比較することにより、早着経路を選択することが可能となる。
例えば、伝送経路選択処理部３５は、伝送開始待ち時間ｄおよび伝送レートｒとして、それぞれ実績値を保存し、平均値および標準偏差の統計値を算出し、それらの統計値に基づいて早着経路を予測することができる。即ち、伝送経路選択処理部３５は、レートの平均値ｒＭ、遅延の平均値ｄＭ、レートの標準偏差ｓ（ｒ）、遅延の標準偏差ｓ（ｄ）、および予測パラメータｎを用いて、予測レートｒＰおよび予測遅延ｄＰを、次の式（２）を演算することにより求めることができる。
Figure 0007173028000002
ここで、式（２）で用いられる予測パラメータｎが大きいほど、レートが低く、かつ、遅延が大きくなる悲観的な予測となる。
なお、伝送経路選択処理部３５が統計値を求めるのに用いる伝送開始待ち時間ｄおよび伝送レートｒの実績値は、送信装置２２において蓄積してもよいし、複数の送信装置２２の蓄積情報を収集するサーバからネットワーク２５を介して取得してもよい。また、伝送開始待ち時間ｄおよび伝送レートｒの実績値は、時間帯および場所にも依存すると考えられるので、時刻および位置情報ごとの実績値からマップを生成することで、予測精度を高めることができる。
伝送経路選択処理部３５は、このように求められる予測レートｒＰおよび予測遅延ｄＰを、複数の伝送経路ごとに計算しておき、それらに基づいて、図６に示した境界符号量Ｍthを計算して、早着経路を選択することができる。
例えば、図６に示す境界符号量Ｍthと、境界符号量Ｍthとなる時間Ｔthは、伝送経路Ａの予測レートｒＰＡおよび予測遅延ｄＰＡ、並びに、伝送経路Ｂの予測レートｒＰＢおよび予測遅延ｄＰＢを用いて、次の式（３）に示すように求められる。
Figure 0007173028000003
そして、伝送経路選択処理部３５は、境界符号量Ｍthを使用して、伝送経路Ｂの予測レートｒＰＢが伝送経路Ａの予測レートｒＰＡより大きく（ｒＰＢ＞ｒＰＡ）、符号量Ｍが境界符号量Ｍthより大きい場合（Ｍ＞Ｍth）、伝送経路Ｂを選択する。一方、伝送経路選択処理部３５は、伝送経路Ｂの予測レートｒＰＢが伝送経路Ａの予測レートｒＰＡより大きく（ｒＰＢ＞ｒＰＡ）、符号量Ｍが境界符号量Ｍth以下である場合（Ｍ≦Ｍth）、伝送経路Ａを選択する。つまり、図示する例では、境界符号量Ｍthとなる時間Ｔthまでは、伝送経路Ａを介した伝送完了が早いと予測され、時間Ｔth以降は、伝送経路Ｂを介した伝送完了が早いと予測される。
なお、境界符号量Ｍthには、伝送コストの要素を入れることもできる。例えば、伝送経路Ａのビット単価ｃＡが、伝送経路Ｂのビット単価ｃＢよりも大きい場合（ｃＡ＞ｃＢ）、境界符号量Ｍthに係数（＝ｃＢ／ｃＡ）を乗算することにより、遅延および伝送コストを考慮して伝送経路を選択することができる。
このように、ネットワークカメラシステム１１では、伝送が完了するのが早いと予測される伝送経路を選択することにより、より低遅延で動画像を送信することができる。
図７を参照して、参照レイヤ制御処理部３６が参照レイヤを制御する処理について説明する。
送信装置２２では、エンコード部３２が動画像の符号化に空間スケーラブルなエンコードを実施することができる。即ち、エンコード部３２は、撮像装置２１により撮像された動画像から、低解像度のベースレイヤＢＬおよび高解像度のエンハンスメントレイヤＥＬからなる階層構造を持つストリームを生成するエンコードを実施する。
例えば、エンコード部３２は、Ｐピクチャの符号化において、ベースレイヤＢＬについてはベースレイヤＢＬ自身のデコード画像のみを参照して行うが、エンハンスメントレイヤＥＬでは、エンハンスメントレイヤＥＬ自身のデコード画像とともに、ベースレイヤＢＬのデコード画像を拡大した画像であるインターレイヤＩＬを参照することができる。従って、このような依存関係により、時系列において、ベースレイヤＢＬのエンコードがエンハンスメントレイヤＥＬに先行することになる。
また、エンコード部３２により生成されるストリームは、ベースレイヤＢＬとエンハンスメントレイヤＥＬとを独立に送信することができる。このため、送信処理部３３は、ベースレイヤＢＬの送出を、エンハンスメントレイヤＥＬに先んじて行うことができる。
そして、伝送経路選択処理部３５は、ベースレイヤＢＬおよびエンハンスメントレイヤＥＬの送出について、それぞれのストリームの符号量に基づいて、上述した境界符号量Ｍthとの比較を行うことにより、伝送経路を個別に選択することができる。例えば、解像度の大小関係から、符号量が低いベースレイヤＢＬは、低遅延な伝送経路（例えば、図４のスライス５２－３）が選択される可能性が高く、符号量が高いエンハンスメントレイヤＥＬよりアンダーフローが発生するリスクを低減することができる。一方、エンハンスメントレイヤＥＬは、遅延揺らぎが大きな伝送経路を通る可能性が高くなる。
従って、参照レイヤ制御処理部３６は、伝送経路選択処理部３５が算出した統計値に基づいて、遅延の絶対値が大きくなったとき、または、揺らぎが大きくなったときには、受信バッファ４４にアンダーフローが発生する可能性が高いと予測することができる。これに基づき、参照レイヤ制御処理部３６は、参照レイヤをインターレイヤＩＬに限定するようにエンコード部３２に対する制御を行う。また、参照レイヤ制御処理部３６は、受信装置２３側から受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けた場合、同様に、参照レイヤをインターレイヤＩＬに限定するようにエンコード部３２に対する制御を行う。
この場合、エンコード部３２は、インターレイヤＩＬのみを参照して、エンハンスメントレイヤＥＬをエンコードする。これにより、デコード部４２は、不正画像を参照せずにデコードを行うことになるため、アンダーフローにより発生した不正画像を参照してデコードすることを断ち切ることができる。その結果、受信装置２３では、デコード部４２におけるデコード、および、表示処理部４３が表示装置２４に表示させる処理を行う際に、不正画像の伝播を抑止して、正常画像に復帰させることができる。
このように、ネットワークカメラシステム１１では、伝送経路で遅延が発生することによって受信バッファ４４でアンダーフローが発生しても、不正画像が伝播することを防止することができる。
図８は、送信装置２２が動画像を送信する送信処理について説明するフローチャートである。
例えば、撮像装置２１により撮像された動画像が送信装置２２に供給されると処理が開始される。ステップＳ１１において、エンコード部３２は、画像処理部３１において画像処理が施された動画像に対して空間スケーラブルなエンコードを実施する。これにより、エンコード部３２は、低解像度のベースレイヤＢＬおよび高解像度のエンハンスメントレイヤＥＬからなる階層構造を持つストリームを生成して、送信処理部３３に供給する。
ステップＳ１２において、エンコード部３２は、ステップＳ１１で符号化したベースレイヤＢＬおよびエンハンスメントレイヤＥＬの符号量を、伝送制御部３４の伝送経路選択処理部３５に通知する。
ステップＳ１３において、伝送経路選択処理部３５は、ベースレイヤＢＬおよびエンハンスメントレイヤＥＬの符号量と、境界符号量Ｍth（図６参照）との比較を行い、その比較結果に基づいて、伝送が完了するのが早いと予測される伝送経路を選択する。そして、伝送経路選択処理部３５は、その選択した伝送経路で送信するように送信処理部３３に対する制御を行う。
ステップＳ１４において、送信処理部３３は、ステップＳ１１でエンコード部３２から供給されたベースレイヤＢＬおよびエンハンスメントレイヤＥＬを、ステップＳ１３で伝送経路選択処理部３５により選択された伝送経路で送信する。
ステップＳ１５において、参照レイヤ制御処理部３６は、受信バッファ４４にアンダーフローが発生する可能性が高いと予測されるか、または、受信装置２３側から受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けたかを判定する。
ステップＳ１５において、受信バッファ４４にアンダーフローが発生する可能性が高いと予測されない場合、および、受信装置２３側から受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けていないと判定された場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。
一方、ステップＳ１５において、受信バッファ４４にアンダーフローが発生する可能性が高いと予測された場合、または、受信装置２３側から受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けた場合、処理はステップＳ１６に進む。
ステップＳ１６において、参照レイヤ制御処理部３６は、参照レイヤをインターレイヤＩＬに限定するようにエンコード部３２に対する制御を行った後、処理はステップＳ１１に戻る。この場合、次のステップＳ１１でのみ、エンコード部３２は、インターレイヤＩＬのみを参照して、エンハンスメントレイヤＥＬをエンコードする。
その後、撮像装置２１により撮像された動画像の供給が停止されるまで、以下、同様の処理が繰り返される。
以上のように、ネットワークカメラシステム１１では、送信装置２２において、伝送制御部３４が伝送遅延の統計量に基づいて、伝送経路を適応的に選択することができる。これにより、伝送遅延を低く抑えることができる結果、受信装置２３において受信バッファ４４にアンダーフローが発生するリスクを低下させることができる。
また、ネットワークカメラシステム１１では、送信装置２２において、エンコード部３２が空間スケーラブルなエンコードを実施する。そして、ネットワークカメラシステム１１では、例えば、上位レイヤの符号の伝送経路の遅延揺らぎに応じて、上位レイヤの参照レイヤを適応的に選択することによって、受信バッファ４４にアンダーフローが発生したときでも、不正画像が伝播することを防止することができ、表示装置２４に表示される画像の品質の低下を抑制することができる。
このように、ネットワークカメラシステム１１では、受信バッファ４４にアンダーフローが発生するリスクを低下させるとともに、不正な画像の伝播を防止することができるので、デコード部４２がデコードを開始するタイミングを早めることができる。従って、ネットワークカメラシステム１１は、撮像装置２１において撮像された動画像が、より低遅延で表示装置２４において再生されるように、ネットワーク２５を介して動画像を送信することができる。
その結果、ネットワークカメラシステム１１は、例えば、テレビ通話や監視カメラなどのようにネットワーク２５を通じて受信した遠隔地の画像に反応または応答が必要な用途の利便性を向上させることができる。
＜コンピュータの構成例＞
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理（送信方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
動画像に対して、空間スケーラブルなエンコードを実施するエンコード部と、
前記エンコード部によりエンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行う送信処理部と、
受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように前記エンコード部に対する制御を行う参照レイヤ制御処理部と
を備える送信装置。
（２）
前記エンコード部によりエンコードされたレイヤごとのピクチャの符号量に応じて、伝送が完了するのが早いと予測される伝送経路を選択し、その選択した伝送経路で送信を行うように前記送信処理部に対する制御を行う伝送経路選択処理部
をさらに備える上記（１）に記載の送信装置。
（３）
前記伝送経路選択処理部は、前記ピクチャの符号量と、前記送信処理部における伝送開始までの遅延量の統計値、および、前記送信処理部が伝送開始した後のレートの統計量を用いて求められる境界符号量との比較に基づいて、前記伝送経路を選択する
上記（２）に記載の送信装置。
（４）
前記参照レイヤ制御処理部は、前記遅延量の統計値、および、前記レートの統計量に基づいて、前記受信バッファにアンダーフローが発生する可能性が高いか否かを予測する
上記（３）に記載の送信装置。
（５）
前記ネットワークは、そのネットワーク全体を仮想的に分割し、各機能を付加された複数の仮想ネットワークにより構成される
上記（１）から（４）までのいずれかに記載の送信装置。
（６）
動画像を送信する送信装置が、
前記動画像に対して、空間スケーラブルなエンコードを実施することと、
エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、
受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うことと
を含む送信方法。
（７）
動画像を送信する送信装置のコンピュータに、
前記動画像に対して、空間スケーラブルなエンコードを実施することと、
エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、
受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うことと
を含む処理を実行させるためのプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１１ ネットワークカメラシステム， ２１ 撮像装置， ２２ 送信装置， ２３ 受信装置， ２４ 表示装置， ２５ ネットワーク， ３１ 画像処理部， ３２ エンコード部， ３３ 送信処理部， ３４ 伝送制御部， ３５ 伝送経路選択処理部， ３６ 参照レイヤ制御処理部， ４１ 受信処理部， ４２ デコード部， ４３ 表示処理部， ４４ 受信バッファ， ５１ スライス振り分け処理部， ５２－１乃至５２－３ スライス

Claims (7)

  1. 動画像に対して、空間スケーラブルなエンコードを実施するエンコード部と、
    前記エンコード部によりエンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行う送信処理部と、
    受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように前記エンコード部に対する制御を行う参照レイヤ制御処理部と
    を備える送信装置。
  2. 前記エンコード部によりエンコードされたレイヤごとのピクチャの符号量に応じて、伝送が完了するのが早いと予測される伝送経路を選択し、その選択した伝送経路で送信を行うように前記送信処理部に対する制御を行う伝送経路選択処理部
    をさらに備える請求項１に記載の送信装置。
  3. 前記伝送経路選択処理部は、前記ピクチャの符号量と、前記送信処理部における伝送開始までの遅延量の統計値、および、前記送信処理部が伝送開始した後のレートの統計量を用いて求められる境界符号量との比較に基づいて、前記伝送経路を選択する
    請求項２に記載の送信装置。
  4. 前記参照レイヤ制御処理部は、前記遅延量の統計値、および、前記レートの統計量に基づいて、前記受信バッファにアンダーフローが発生する可能性が高いか否かを予測する
    請求項３に記載の送信装置。
  5. 前記ネットワークは、そのネットワーク全体を仮想的に分割し、各機能を付加された複数の仮想ネットワークにより構成される
    請求項１に記載の送信装置。
  6. 動画像を送信する送信装置が、
    前記動画像に対して、空間スケーラブルなエンコードを実施することと、
    エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、
    受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うことと
    を含む送信方法。
  7. 動画像を送信する送信装置のコンピュータに、
    前記動画像に対して、空間スケーラブルなエンコードを実施することと、
    エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、
    受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うことと
    を含む処理を実行させるためのプログラム。
JP2019548108A 2017-10-11 2018-09-27 送信装置および送信方法、並びにプログラム Active JP7173028B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017197723 2017-10-11
JP2017197723 2017-10-11
PCT/JP2018/035841 WO2019073802A1 (ja) 2017-10-11 2018-09-27 送信装置および送信方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2019073802A1 JPWO2019073802A1 (ja) 2020-11-12
JP7173028B2 true JP7173028B2 (ja) 2022-11-16

Family

ID=66100712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019548108A Active JP7173028B2 (ja) 2017-10-11 2018-09-27 送信装置および送信方法、並びにプログラム

Country Status (9)

Country Link
US (1) US11070827B2 (ja)
EP (1) EP3678372A4 (ja)
JP (1) JP7173028B2 (ja)
KR (1) KR20200058431A (ja)
CN (1) CN111183640A (ja)
BR (1) BR112020006752A2 (ja)
RU (1) RU2020112245A (ja)
TW (1) TW201933867A (ja)
WO (1) WO2019073802A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199131A1 (ja) * 2020-03-30 2021-10-07 ソニーグループ株式会社 情報処理装置及び情報処理システム
US20230136388A1 (en) * 2020-03-31 2023-05-04 Sony Group Corporation Information processing apparatus and information processing method
WO2022185795A1 (ja) * 2021-03-05 2022-09-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN116033147A (zh) * 2021-10-27 2023-04-28 华为技术有限公司 图像编解码方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236547A (ja) 1998-12-15 2000-08-29 Sony Corp 画像情報変換装置及び画像情報変換方法
JP2014135741A (ja) 2010-05-06 2014-07-24 Nippon Telegr & Teleph Corp <Ntt> 映像符号化制御方法および装置
JP2015019319A (ja) 2013-07-12 2015-01-29 キヤノン株式会社 符号化装置、符号化方法及びプログラム
JP2016184844A (ja) 2015-03-26 2016-10-20 ソニー株式会社 画像処理装置および方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE790089A (fr) 1971-10-14 1973-04-13 Ici Ltd Derives de l'imidazole
CA2644753A1 (en) 2006-03-03 2007-09-13 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
EP3387835A1 (en) * 2015-12-11 2018-10-17 VID SCALE, Inc. Scheduling multiple-layer video segments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236547A (ja) 1998-12-15 2000-08-29 Sony Corp 画像情報変換装置及び画像情報変換方法
JP2014135741A (ja) 2010-05-06 2014-07-24 Nippon Telegr & Teleph Corp <Ntt> 映像符号化制御方法および装置
JP2015019319A (ja) 2013-07-12 2015-01-29 キヤノン株式会社 符号化装置、符号化方法及びプログラム
JP2016184844A (ja) 2015-03-26 2016-10-20 ソニー株式会社 画像処理装置および方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kimihiko Kazui, et al.，AHG9: Improvement of HRD for sub-picture based operation，JCTVC-J0136[online]，2012年07月03日，pp.1-10，＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J0136-v3.zip＞
Sam Narasimhan, et al.，Consideration of buffer management issues HEVC scalability，JCTVC-N0049[online]，2013年07月11日，pp.1-6，＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N0049-v2.zip＞

Also Published As

Publication number Publication date
WO2019073802A1 (ja) 2019-04-18
EP3678372A4 (en) 2020-09-09
US20200314439A1 (en) 2020-10-01
RU2020112245A (ru) 2021-09-27
TW201933867A (zh) 2019-08-16
KR20200058431A (ko) 2020-05-27
EP3678372A1 (en) 2020-07-08
CN111183640A (zh) 2020-05-19
US11070827B2 (en) 2021-07-20
JPWO2019073802A1 (ja) 2020-11-12
BR112020006752A2 (pt) 2020-10-06
RU2020112245A3 (ja) 2022-01-21

Similar Documents

Publication Publication Date Title
JP7173028B2 (ja) 送信装置および送信方法、並びにプログラム
JP4309098B2 (ja) 階層型ビデオ符号化情報の伝送方法
JP4857379B2 (ja) ストリーミングデータのサービス品質を強化するための予測的フレームドロッピング
JP6588987B2 (ja) ライブビデオエンコーディングおよびストリーミングにおけるフレーム複写およびフレーム拡張のためのシステムおよび方法
US10177899B2 (en) Adapting a jitter buffer
US20080256272A1 (en) Packet Scheduling for Data Stream Transmission
US20070169161A1 (en) Bit-rate constrained trick play through stream switching and adaptive streaming
US20080273533A1 (en) Adaptive Packet Transmission with Explicit Deadline Adjustment
JP2006087125A (ja) ビデオフレームシーケンスを符号化する方法、符号化ビットストリーム、画像又は画像シーケンスを復号する方法、データの送信又は受信を含む使用、データを送信する方法、符号化及び／又は復号装置、コンピュータプログラム、システム、並びにコンピュータ読み取り可能な記憶媒体
JP5994367B2 (ja) 動画像符号化装置、動画像符号化方法
US8750373B2 (en) Delay aware rate control in the context of hierarchical P picture coding
CA2524809C (en) Methods and apparatus for improving video quality in statistical multiplexing
GB2499485B (en) Video system for representing pictorial data,process and computer program
JP2010041708A (ja) マルチメディアサービスを提供するためのスケジューリング方法
EP3123730B1 (en) Enhanced distortion signaling for mmt assets and isobmff with improved mmt qos descriptor having multiple qoe operating points
US11409415B1 (en) Frame interpolation for media streaming
JP6234660B2 (ja) 動画像復号装置
JP6234659B2 (ja) 動画像復号装置
JP6194973B2 (ja) 動画像復号装置及び動画像復号方法
JP6394766B2 (ja) 動画像符号化装置及び動画像符号化方法
JP6146502B2 (ja) 動画像符号化復号システム及び動画像符号化復号方法
JP6249040B2 (ja) 動画像復号方法
JP6288129B2 (ja) 動画像復号装置及び動画像復号方法
JP6194974B2 (ja) 動画像復号装置及び動画像復号方法
Prasad et al. Congestion controlling for streaming media through buffer management and jitter control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221017

R151 Written notification of patent or utility model registration

Ref document number: 7173028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151