WO2021140768A1

WO2021140768A1 - 送信装置、送信方法

Info

Publication number: WO2021140768A1
Application number: PCT/JP2020/043894
Authority: WO
Inventors: 敬山下; 孝明渕江; 嘉伸久礼
Original assignee: ソニーグループ株式会社
Priority date: 2020-01-09
Filing date: 2020-11-25
Publication date: 2021-07-15
Also published as: EP4072133A4; US20230034162A1; EP4072133A1

Abstract

送信装置は、画像のフレームデータ毎にエンコードを行うビデオエンコーダと、送信処理部を備える。送信処理部は、ビデオエンコーダでエンコードされた画像データの送信処理中に、受信側機器への伝送遅延に応じてビデオエンコーダにおけるエンコードレートについてレート低下制御を行うとともに、１又は複数の対象フレーム数のフレームデータについて伝送データの遅延量を低減させる遅延低減処理が実行されるようにする。

Description

送信装置、送信方法

　本技術は送信装置、送信方法に関し、特にビデオストリームの伝送遅延の改善についての技術分野に関する。

　ビデオストリーミングなどのデータ伝送の分野では、伝送エラーが生じた場合の対処や伝送レートの低下やそれによる伝送遅延などの改善が検討されてきた。
　下記特許文献１では、伝送レートの低下があっても、受信側での十分な画質による再生と安定的な伝送を確保する技術が開示されている。

特開２００３－２３６３９号公報

　近年では、例えば５Ｇ（第五世代移動通信システム）のような通信方式により、より大容量高速伝送が可能になっており、低遅延のビデオストリーミングを行う送受信システムも開発されている。
　ところが、画像の高精細化などにより伝送データ量の増大やネットワーク負荷の増大に伴い、伝送遅延の問題は依然として改善が求められる状況にある。

　伝送遅延には、送信レート（送信データレート）の低下時の送信遅延、ネットワーク遅延、受信側のコーデック／バッファリング遅延、デコード遅延などの様々な要因があるが、送信レート低下時の送信遅延は比較的大きな要因となっている。
　そこで本開示では、送信レート低下時の送信遅延の改善を図ることを目的とする。

　本技術に係る送信装置は、画像のフレームデータ毎にエンコードを行うビデオエンコーダと、前記ビデオエンコーダでエンコードされた画像データの送信処理中に、前記ビデオエンコーダにおけるエンコードレートについてレート低下制御を行うとともに、１又は複数の対象フレーム数のフレームデータについて伝送データの遅延量を低減させる遅延低減処理が実行されるようにする送信処理部と、を備える。
　例えばビデオストリーミングなどの画像データ伝送においてネットワークの輻輳による伝送遅延やパケット損失が発生した場合などに、それ対応するため送信レートを下げるとともに、送信する画像データの一部のフレームデータを破棄するなどして遅延が生じない（又は少なくとも遅延が低減される）ようにする遅延低減処理が実行されるようにする。
　なお本開示において「フレームデータ」とは、１フレーム単位の画像データのことを指す。

　上記した本技術に係る送信装置においては、前記送信処理部は、前記ビデオエンコーダに対して、エンコードレート低下要求と、遅延低減処理の対象フレーム数を送信し、前記ビデオエンコーダは、エンコードレート低下要求に応じてエンコードレートを低下させるとともに、前記遅延低減処理として、前記対象フレーム数のフレームデータを前記送信処理部に対して出力しないようにする処理を行うことが考えられる。
　つまり遅延低減処理をビデオエンコーダ側で実行する。例えばビデオエンコーダにおいてエンコードレートを低下させる際に、指示された対象フレーム数のフレームデータをビデオエンコーダ内で破棄するなどして送信処理部に出力しないようにする。

　上記した本技術に係る送信装置においては、前記ビデオエンコーダは、前記遅延低減処理として、指示された対象フレーム数だけ入力されたフレームデータをエンコードせずに破棄する処理を行うことが考えられる。
　ビデオエンコーダはエンコードレート低下要求を受けることに応じて、以降に入力される対象フレーム数のフレームデータを、そのままエンコードせずに破棄することで、結果としてエンコード済のフレームデータが送信処理部に供給されないようにする。

　上記した本技術に係る送信装置においては、前記ビデオエンコーダは、遅延低減処理の対象フレームの後に前記送信処理部に最初に出力するフレームデータについては、遅延低減処理の対象フレームより前のフレームであって前記送信処理部に出力済のフレームデータをフレーム間参照の参照先とするエンコードを行うことが考えられる。
　例えばビデオエンコーダがＨ．２６４規格やＨ．２６５規格であってフレーム間参照を行う動画圧縮規格のエンコーダである場合を想定する。この場合、例えば遅延低減処理として１又は複数の対象フレームを破棄した後に送信処理部に出力するフレームデータは、既に送信処理部に出力していたフレームデータを参照先としたものとする。

　上記した本技術に係る送信装置においては、前記ビデオエンコーダは、遅延低減処理の対象フレームの後に前記送信処理部に最初に出力するフレームデータについては、遅延低減処理の前に最後に前記送信処理部に出力したフレームデータをフレーム間参照の参照先とするエンコードを行うことが考えられる。
　例えば遅延低減処理として１又は複数の対象フレームを破棄した後に送信処理部に出力するフレームデータは、破棄するフレームの直前のフレームのフレームデータを参照先としたものとする。

　上記した本技術に係る送信装置においては、前記ビデオエンコーダが遅延低減処理の対象フレームの後に前記送信処理部に最初に出力するフレームデータのタイムスタンプ値は、遅延低減処理の前に最後に前記送信処理部に出力したフレームデータのタイムスタンプ値よりも、｛（遅延低減処理の対象フレーム数）＋１｝×（フレーム間隔時間）だけ進んだ値となっていることが考えられる。
　即ち遅延低減処理の後のフレームは、遅延低減処理の前のフレームから、遅延低減処理の対象フレーム数に相当する時間だけ経過した時刻に対応するものとする。

　上記した本技術に係る送信装置においては、前記送信処理部がエンコードレートを低下させる決定をした時点から、前記ビデオエンコーダがそれに従ってエンコードした最初のフレームデータを出力できるまでの間にビデオエンコーダから出力されるフレーム数がＮ個（Ｎは正数）であり、レート低下に係る新エンコードレートと旧エンコードレートとの比が１：Ｒである場合に、前記対象フレーム数はceiling（（Ｒ－１）×Ｎ）以上であることが考えられる。
　シーリング関数によるceiling（（Ｒ－１）×Ｎ）で求められる切り上げ値で対象フレーム数が計算される。

　上記した本技術に係る送信装置においては、前記ビデオエンコーダは、前記遅延低減処理として、指示された対象フレーム数だけ、参照情報を含み画像データを含まないフレームデータを出力する処理を行うことが考えられる。
　例えばスキップフレームといわれる、参照情報を含むが画像自体のデータは含まないフレームデータ送信処理部に供給する。

　上記した本技術に係る送信装置においては、前記送信処理部は、前記ビデオエンコーダに対して、エンコードレート低下要求を送信し、前記ビデオエンコーダは、エンコードレート低下要求に応じてエンコードレートを低下させ、前記送信処理部は、前記遅延低減処理として、前記ビデオエンコーダから出力されたフレームデータのうちで前記対象フレーム数のフレームデータを受信側機器へ送信せずに破棄する処理を行うことが考えられる。
　つまり遅延低減処理を送信処理部側で実行する。送信処理部は、伝送遅延などによりビデオエンコーダのエンコードレートを低下させるとともに、入力されたエンコード済のフレームデータのうちで、対象フレーム数のフレームデータを受信側機器に送信せずに破棄する。

　上記した本技術に係る送信装置においては、前記ビデオエンコーダは、エンコードレート変更後に最初にエンコードするフレームデータにレート変更情報を付加し、前記送信処理部は、エンコードレート低下要求の送信後、前記レート変更情報が付加されたフレームデータが入力される前までに前記ビデオエンコーダから入力されたフレームデータを破棄することが考えられる。
　ビデオエンコーダは、レート変更情報を付加することで、送信処理部においてエンコードレート変更後のフレームデータが判定できるようにする。

　上記した本技術に係る送信装置においては、前記送信処理部は、遅延低減処理の実行前に前記受信側機器に送信済のフレームデータのフレーム識別情報を前記ビデオエンコーダに対して送信し、前記ビデオエンコーダは、エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータについては、前記フレーム識別情報で示されるフレームデータをフレーム間参照の参照先とするエンコードを行うことが考えられる。
　例えばビデオエンコーダがＨ．２６４規格やＨ．２６５規格などにおいて、フレーム間参照を行うフレーム間圧縮（インターフレーム圧縮）を行う動画圧縮規格のエンコーダである場合には、送信処理部が遅延低減処理として対象フレームを破棄する場合、ビデオエンコーダが新レートで最初にエンコードするフレームデータは、送信処理部が既に受信側機器に送信済のフレームデータを参照先としたものとする。

　上記した本技術に係る送信装置においては、前記フレーム識別情報は、遅延低減処理の実行前に前記受信側機器に送信した最後のフレームデータのフレーム識別情報であることが考えられる。
　即ち送信処理部が遅延低減処理として１又は複数の対象フレームを破棄する場合に、その破棄するフレームデータの直前に受信側機器に送信したフレームデータを参照先としてエンコードが行われるようにする。

　上記した本技術に係る送信装置においては、前記送信処理部が遅延低減処理の対象フレームの後に最初に送信するフレームデータのタイムスタンプ値は、遅延低減処理の前に最後に送信したフレームデータのタイムスタンプ値よりも、｛（遅延低減処理の対象フレーム数）＋１｝×（フレーム間隔時間）だけ進んだ値となっていることが考えられる。
　即ち遅延低減処理の後のフレームは、遅延低減処理の前のフレームから、遅延低減処理の対象フレーム数に相当する時間だけ経過した時間とする。

　上記した本技術に係る送信装置においては、前記ビデオエンコーダは、前記フレーム識別情報で示されるフレームデータがフレーム間参照の参照先にできない場合、エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータをＩＤＲフレームとするエンコードを行うことが考えられる。
　例えばビデオエンコーダが上記のようにＨ．２６４規格やＨ．２６５規格でフレーム間参照を行うフレーム間圧縮を行うエンコーダである場合には、新レートで最初にエンコードするフレームデータはＩＤＲ（Instant Decoder Refresh）フレームとする。

　上記した本技術に係る送信装置においては、前記ビデオエンコーダは、エンコードレートをエンコードレート低下要求で指定されたレートより低くして、送信するＩＤＲフレームのデータサイズを、所定の最大サイズ内に抑えるようにすることが考えられる。
　レート変更後の最初のＩＤＲフレームにおいてデータサイズが所定の最大サイズ内に収まるようにする。

　上記した本技術に係る送信装置においては、前記ビデオエンコーダは、エンコード後のフレームデータを一時記憶できるメモリを備え、エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータは、前記メモリに記憶されたフレームデータを参照先としてエンコードすることが考えられる。
　ビデオエンコーダがエンコード後のある程度の時間、フレームデータを記憶するメモリを備えることで、破棄されないで送信していた数フレーム前のフレームデータも参照できるようにする。

　上記した本技術に係る送信装置においては、前記ビデオエンコーダは、周期的に長時間参照フレームを出力し、エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータは、前記長時間参照フレームを参照先としてエンコードすることが考えられる。
　ビデオエンコーダは、長時間参照フレーム、いわゆるＬＴＲ（Long Term Reference）フレームを周期的に出力する。この場合にＬＴＲフレームを参照先とする。

　上記した本技術に係る送信装置においては、前記ビデオエンコーダは、前記長時間参照フレームが前記送信処理部で破棄されると判定した場合、エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータをＩＤＲフレームとすることが考えられる。
　即ちビデオエンコーダは、ＬＴＲフレームが破棄の対象となった場合は、ＬＴＲフレームを参照先とすることは適切でないためレート変更後の最初のフレームをＩＤＲフレームとする。

　本技術に係る送信方法は、送信装置が、ビデオエンコーダでエンコードされた画像データの送信処理中に、前記ビデオエンコーダにおけるエンコードレートについてレート低下制御を行うとともに、１又は複数の対象フレーム数のフレームデータについて伝送データの遅延量を低減させる遅延低減処理を実行する。
　これにより送信装置側で伝送遅延を改善する。

本技術の実施の形態の送信側機器である撮像装置と受信側機器の説明図である。実施の形態の撮像装置のブロック図である。実施の形態の送信ユニットの説明図である。実施の形態のビデオストリーミング伝送時の処理の説明図である。比較例としての伝送遅延の説明図である。第１の実施の形態におけるレート低下及び遅延低減処理の説明図である。第１の実施の形態のパケット送信モジュールの処理のフローチャートである。第１の実施の形態のビデオエンコーダの処理のフローチャートである。第２の実施の形態におけるレート低下及び遅延低減処理の説明図である。第３の実施の形態のエンコードデータの説明図である。第３の実施の形態におけるレート低下及び遅延低減処理の説明図である。第３の実施の形態におけるレート低下及び遅延低減処理の説明図である。第３の実施の形態のパケット送信モジュールの処理のフローチャートである。第３の実施の形態のビデオエンコーダの処理のフローチャートである。ＬＴＲフレームの送信の説明図である。第４の実施の形態におけるレート低下及び遅延低減処理の説明図である。第４の実施の形態のビデオエンコーダの処理のフローチャートである。

　以下、実施の形態を次の順序で説明する。
＜１．装置構成＞
＜２．比較例＞
＜３．第１の実施の形態＞
＜４．第２の実施の形態＞
＜５．第３の実施の形態＞
＜６．第４の実施の形態＞
＜７．まとめ及び変形例＞

＜１．装置構成＞
　実施の形態の装置構成例について説明していく。図１Ａ、図１Ｂはそれぞれ送信側機器としての撮像装置１と、受信側機器３を示している。

　撮像装置１は、いわゆる業務用又は民生用のデジタルビデオカメラである。或いは撮像装置は、いわゆるデジタルスチルカメラや、スマートフォン、タブレット端末等の携帯端末装置であって、動画撮像が可能な機器であることも考えられる。
　この撮像装置１は、例えば図１Ｂのように別体の送信ユニット２が取り付けられるか、又は図１Ａのように送信ユニット２が内蔵されることにより、例えば５Ｇ等の通信方式によりネットワーク通信が可能とされている。特に本実施の形態では、撮像装置１は撮像した動画としての連続するフレームの画像データ、送信ユニット２を介してビデオストリーミング送信ができるものとする。
　送信ユニット２、もしくは送信ユニット２を内蔵する撮像装置１が本開示の送信装置に該当することになる。

　撮像装置１は例えばネットワーク４を介して受信側機器３にビデオストリーミング伝送を行う。
　ネットワーク４としては、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）、衛星通信網、その他の各種のネットワークが想定される。

　受信側機器３としては多様な機器が想定される。例えばクラウドサーバ、ネットワーク配信サーバ、ビデオサーバ、ビデオ編集装置、ビデオ再生装置、ビデオ記録装置、テレビジョン装置、或いはこれらと同等のビデオ処理機能を備えたパーソナルコンピュータや携帯端末などの情報処置装置などが想定される。

　なお図１Ａでは撮像装置１と受信側機器３はネットワーク４を介したネットワーク通信を行うものとしたが、図１Ｂのように撮像装置１が近距離無線通信等の無線伝送により受信側機器３に直接ビデオストリームデータを送信するような構成も考えられる。

　図２は撮像装置１の構成を示している。なお、図２では撮像装置１が送信ユニット２を内蔵する例とするが、上述のように送信ユニット２は別体であってもよい。

　撮像装置１は、撮像部３２、画像信号処理部３３、記憶部３４、制御部３５、操作部３６、表示制御部３８、表示部３９、送信ユニット２を有する。

　撮像部３２は撮像のための撮像光学系やイメージセンサを有する。イメージセンサは、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子とされ、撮像光学系を介して入射する被写体からの光を受光し、電気信号に変換して出力する。イメージセンサは、受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての画像データを、後段の画像信号処理部３３に出力する。

　画像信号処理部３３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。画像信号処理部３３は、撮像部３２から入力される画像データに対して、各種の処理を施す。
　例えば画像信号処理部３３は、通常の可視光画像として画像信号を想定した場合、Ｒ（赤），Ｇ（緑），Ｂ（青）の黒レベルを所定の信号レベルにクランプするクランプ処理、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理（ベイヤーフィルタ等のモザイクカラーフィルタを用いた場合はデモザイク処理）、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する処理等を施す。
　さらに画像信号処理部３３は、各種の信号処理が施された画像信号に対して、必要な解像度変換処理、例えば記憶用や通信出力用、或いはモニタ画像用の解像度変換を実行する場合もある。
　また画像信号処理部３３は、解像度変換された画像データについて、例えば記憶用の圧縮符号化処理等を行う場合もある。

　制御部３５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
　ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を統括的に制御する。
　ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
　ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

　このような制御部３５は、撮像部３２におけるシャッタースピード、露光調整、フレームレート等の撮像動作に関する制御や、画像信号処理部３３における各種信号処理のパラメータ制御などの制御を行う。また制御部３５は、ユーザの操作に応じた設定処理、撮像動作制御、表示動作制御等を行う。

　操作部３６は、装置筐体に設けられるキー、スイッチ、ダイヤル等の操作子、或いはタッチパネルなどが想定される。操作部３６は入力された操作に応じた信号を制御部３５へ送る。

　表示部３９はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスで形成される。
　表示制御部３８は表示部３９における表示動作を実行させる処理を行う。例えばキャラクタジェネレータや表示ドライバ等を有し、制御部３５の制御に基づいて、表示部３９に各種の表示を実行させる。例えばスルー画や記録媒体に記録した静止画や動画を再生表示させたり、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させたりする。

　記憶部３４は、例えば不揮発性メモリからなり、例えば撮像部３２で撮像された静止画データや動画データ等の画像ファイルや、画像ファイルの属性情報、サムネイル画像等を記憶する。
　記憶部３４の実際の態様は多様に考えられる。例えば記憶部３４は、撮像装置１に内蔵されるフラッシュメモリでもよいし、撮像装置１に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態として記憶部３４はＨＤＤ（Hard Disk Drive）などとして実現されることもある。

　送信ユニット２は、上述のように撮像された画像データ（動画）のストリーミング送信を行うユニットである。
　送信ユニット２の構成を図３に示す。送信ユニット２はビデオキャプチャ部２１、ＣＰＵ２２、パケット送信モジュール２３、ビデオエンコーダ２４、メモリ２５、ネットワークインタフェース部２６を有する。

　ビデオキャプチャ部２１には、例えば画像信号処理部３３で処理された各フレームの画像データ（フレームデータ）Ｖｉｎが入力される。例えば所定の時間間隔（撮像装置１の撮像動作のフレームレートに応じたフレーム間隔）で圧縮されていないフレームデータが入力される。
　なお、本開示において「フレームデータ」とは、１フレーム単位の画像データのことを指す。
　ビデオキャプチャ部２１は、入力される画像データＶｉｎをフレーム単位でバス２７を介してビデオエンコーダ２４に転送する。
　バス２７は例えばＰＣＩｅ（Peripheral Component Interconnect Express）などのバスである。

　ＣＰＵ２２は送信ユニット２のコントローラとして機能する。特にＣＰＵ２２は例えばソフトウエアによりパケット送信モジュール２３としての機能を備える。

　ビデオエンコーダ２４はフレームデータ単位で圧縮符号化するエンコード処理を行い、エンコード済のフレームデータをＣＰＵ２２におけるパケット送信モジュール２３にバス２７を介して転送する。
　パケット送信モジュール２３は送信用のパケット分割処理を行い、ビデオストリームデータをパケット単位でネットワークインタフェース部２６から送信出力させる処理を行う。

　このような送信ユニット２と受信側機器３でのビデオストリーム伝送の概要を図４に示している。
　送信ユニット２では、ビデオキャプチャ部２１に入力された画像データＶｉｎがビデオエンコーダ２４でエンコードされ、パケット送信モジュール２３でパケット化される。このビデオデータパケットＶＤＰＫがネットワークインタフェース部２６によりネットワーク４に送出される。

　受信側機器３は受信ユニット５を備える。
　受信ユニット５ではネットワークインタフェース部５１によりビデオデータパケットＶＤＰＫを受信し、パケット受信モジュール５２に取り込む。そして各パケットから圧縮済みのフレームデータを抽出し、ビデオデコーダ５３で圧縮に対するデコード処理が行われる。そしてビデオレンダラ５４を介して、受信されたビデオストリームデータＶＲＸが出力される。

　このような送受信システムにおいて、伝送遅延が生ずることがある。そのため受信ユニット５は送信ユニット２に対して逐次制御パケットＣＰＫを送信し、状況を伝達している。例えば制御パケットＣＰＫには、現在の受信ユニット５での受信レートや遅延量やパケット損失率を通知できる情報が含まれている。
　この制御パケットＣＰＫを受信することで、送信ユニット２のパケット送信モジュール２３は、現在のネットワークの状態を認識し、送信可能レートを変更（低下又は上昇）させるとともに、ビデオエンコーダ２４に指示してエンコードレートを変更（低下又は上昇）させる（即ち圧縮率を上げる又は下げる）ように制御できる。

　なお本開示では、特に伝送遅延への対処を主眼とするために伝送遅延が生じた場合にエンコードレートや送信レートを低下させる点に注目して説明するが、もちろんネットワーク輻輳状態の回復に応じて送信レートやエンコードレートを上げることができる。

＜２．比較例＞
　ここでは本実施の形態の動作説明に先だって、伝送遅延の発生について説明しておく。
　携帯通信網など通信品質が不安定なネットワーク上で、低遅延なビデオストリーミングを行う送受信システムを考える。
　このような送受信システムにおいては、これまで、ネットワーク上でのパケット損失への対応策が主に論じられてきた。例えば、パケット損失を検出した場合に、送信レートを下げてそれ以上のパケット損失を避けるという対策がある。また、失われたパケットによる画像上のエラーが長引くのを防ぐために、ＩＤＲ (Instantaneous Decoding Refresh）フレームを送ったり、参照フレーム（ＲＰＳ：Reference Picture Selection）を変更したりすることが考えられてきた。これらについて次の文献が参照できる。
　・"Evaluation of error resilience mechanisms for 3G conversational video",2008 Tenth IEEE International Symposium on Multimedia, 2008
　・"H.264/AVC in Wireless Environments", IEEE Trans. on Circuits and Systems for Video Technology, 2003.

　一方、パケットのＲＴＴ（Round Trip Time）やネットワーク上に滞留するパケット数の増加などを観測することによってネットワークの混雑を見出し、パケット損失が発生する前に送信レートを落とすことも考えられてきた。例えば次の文献が参照できる。
　・"Experimental Investigation of the Google Congestion Control for Real-Time Flows", ACM SIGCOMM workshop on Future human-centric multimedia networking (FhMN '13), 2013.
　・"Self-Clocked Rate Adaptation for Multimedia", IETF RFC 8298, 2017

　こうすることで、パケット損失による受信側の画像が乱れを減らすことができ、さらに、ネットワーク内部のバッファにたまるパケット量を減らすことができるので、伝送遅延を減らすこともできる。

　ＲＴＴや滞留パケット数の変化は、送信端末と受信端末の間で制御パケットをやりとりすることで検出することができる。例えば、送信時刻が書かれたＲＴＣＰパケットを互いに送りあうことでＲＴＴを計測することができる。ＲＴＰについては例えば次の文献が参照できる。
　・"RTP: A Transport Protocol for Real-Time Applications", IETF RFC 3550, 2003

　また、受信したビデオデータパケットに対し受信側から応答確認（ＡＣＫ）パケットを送るようにし、送信側で戻らないＡＣＫを調べれば、滞留パケット数を推測することができる。

　さて、送信レートを落とす場合、ビデオエンコーダのエンコードレートを下げなければならないが、エンコーダは一般にすぐにレートを落とすことができない。
　例えば図３の送信ユニット２としての構成で考えると次のようになる。
　ＣＰＵ２２上のパケット送信モジュール２３から出されるエンコードレート低下要求（以下「レート低下要求」と略す場合もある）は、ＣＰＵ２２上で動作するＯＳ（Operating System）を通してバス２７に送出され、それがビデオエンコーダ２４に渡され、ビデオエンコーダ２４で処理される。
　このエンコード低下要求から、それがビデオエンコーダ２４の出力に反映されるまでのタイムチャートを図５に示す。

　図５は本実施の形態に対する比較例としての動作を示すものである。
　図５ではビデオエンコーダ２４からの出力フレーム（Ｆ１，Ｆ２・・・）と、パケット送信モジュール２３からのデータ送信に係るフレーム（Ｆ１，Ｆ２・・・）の時間関係を示している（横軸は時間）。ビデオエンコーダ２４からの出力フレームについては縦軸がフレームデータのデータサイズを表しているとする。パケット送信モジュール２３からのデータ送信については縦軸が送信レートに相当する。

　なお、あくまで説明上のモデルであるので、フレームＦ１を送信する当初は、エンコードデータの１フレームを送信するのに、ちょうど１フレーム間隔分の時間を要していたものとし、その状態でパケット送信モジュール２３は時点ｔ０より後に送信するフレームデータについては、送信レートを１／２に低下させるとする。つまりパケット送信モジュール２３は時点ｔ０に、ビデオデータパケットＶＤＰＫの送信レート低下とともに、ビデオエンコーダ２４のエンコードレート低下を決定して指示する。

　ところが図示のように、時点ｔ０にパケット送信モジュール２３がエンコードレート低下を決定しても、すぐにはレート低下要求がビデオエンコーダ２４には届かない。例えば時点ｔ１においてレート低下要求がビデオエンコーダ２４には届くことになる。
　また、エンコード低下要求がビデオエンコーダ２４に届いた時、すでにエンコード処理が行われているフレームＦ４は、新しいレートでエンコードし直すことができないため、そのままパケット送信モジュール２３に転送され、パケット化されて出力される。ビデオエンコーダ２４においてレートを下げた新レートでエンコードがされるのはフレームＦ５からとなる。

　このように、パケット送信モジュール２３がエンコードレートの低下を決定しても、ビデオエンコーダ２４は、すぐにそのレートに従ったフレームデータを出力できない。
　そしてビデオエンコーダ２４のエンコードレート低下が遅れると、高いレートでエンコードされた大きなフレームデータを低い送信レートで一時的に送る必要が生じる。このため、そのフレームデータの送信完了までに要する時間、すなわち伝送遅延が大きくなってしまう。
　図５の例ではフレームＦ２，Ｆ３，Ｆ４がレート変更前の大きなレートでエンコードされているので、パケット送信モジュール２３がこれを１／２に低下させた送信レートで送信すると、本来の２倍の時間がかかってしまう。
　さらに、フレームＦ２，Ｆ３，Ｆ４で蓄積した伝送遅延が、フレームＦ５以降のフレームにも残ってしまう。
　特に非常に小さい遅延でのビデオストリーミングを目指す場合、このような送信レート低下時の送信遅延はさけるようにしたい。

　そこで本実施の形態では、以上のような状況において送信ユニット２側で送信レートを下げる場合に、遅延低減処理を行うようにすることで伝送遅延が大きくなり続けるのを防ぐとともに、受信側機器３でのデコード画像にエラーが継続しない形となるようにする。

＜３．第１の実施の形態＞
　図３の構成の送信ユニット２で実行できる第１の実施の形態の動作を説明する。第１の実施の形態は、遅延低減処理として、ビデオエンコーダ２４内でフレームデータの破棄を行う例である。

　パケット送信モジュール２３は、受信ユニット５のパケット受信モジュール５２と制御パケットＣＰＫをやり取りすることで、ＲＴＴや滞留パケット数を計測する。そしてこれらの値の変化により、ネットワーク４の混雑や、携帯網の無線通信品質の悪化などを検出する。
　これらが検出されると、パケット送信モジュール２３は送信レートを低下させることを決定し、エンコードレートを新しい送信レートに合わせて低下させるようビデオエンコーダ２４に指示する。この時パケット送信モジュール２３は同時に、ビデオエンコーダ２４の内部で破棄するフレーム数（即ち遅延低減処理の対象フレーム数）もビデオエンコーダ２４に指示する。

　パケット送信モジュール２３は、遅延低減処理として破棄するフレーム数は以下のように計算する。
　パケット送信モジュール２３がエンコードレートを低下させる決定をした時点から、ビデオエンコーダ２４がそれに従ってエンコードした最初のフレームデータを出力できるまでの間にビデオエンコーダ２４から出力されるフレームデータの数がＭ個であり、新しいエンコードレートとそれまでのエンコードレートとの比が１：Ｒである場合に、破棄フレームの数は、
　ceiling（（Ｒ－１）×Ｍ）
　とする。即ちシーリング関数で切り上げ演算を行う。例えば（Ｒ－１）×Ｍ＝２．４であるとすると、ceiling（２．４）＝３となり、破棄する対象フレーム数＝３となる。

　ビデオエンコーダ２４は、エンコードレートのレート低下要求と対象フレーム数を受け取ったら、対象フレーム数のフレームデータを破棄しながら、新しいエンコードレートでのエンコードの設定準備を行う。この場合ビデオエンコーダ２４の内部では、入力されたフレームデータを破棄し、符号化処理を行わないことにしてもよい。

　また、ビデオエンコーダが、例えばＨ．２６４規格やＨ．２６５規格のエンコーダであって、フレーム間参照によるフレーム間圧縮を行うエンコーダの場合、フレーム破棄後に最初に出力するフレームデータが、破棄前の最後のフレームデータを参照するようにする。
　また、フレーム破棄前に最後に出力したフレームデータのＰＴＳ（Presentation Time Stamp）を「ＰＴＳ＿Ｌ」とし、フレーム破棄後に最初に出力するフレームのＰＴＳを　「ＰＴＳ＿Ｆ」とするとき、
　ＰＴＳ＿Ｆ＝（ＰＴＳ＿Ｌ＋（対象フレーム数）＋１）×（フレーム間隔時間）
　と設定する。

　以上のようにすることで、図５で示した状況が図６のように変化する。
　なお図６では、Ｒ＝２、Ｍ＝３でceiling（（Ｒ－１）×Ｍ）＝３であり、破棄する対象フレーム数＝３である。
　図６は図５と同様にビデオエンコーダ２４からの出力フレーム（Ｆ１，Ｆ２・・・）と、パケット送信モジュール２３からのデータ送信に係るフレーム（Ｆ１，Ｆ２・・・）の時間関係を示している。
　ビデオエンコーダ２４は、フレームＦ４のエンコード中である時点ｔ２にレート低下要求を受信する。この場合、対象フレーム数＝３であるため、ビデオエンコーダ２４はフレームＦ５、Ｆ６、Ｆ７の３つのフレームを破棄する。

　そしてビデオエンコーダ２４は、破棄後に最初にパケット送信モジュール２３に対して出力するフレームＦ８は、少なくとも破棄前に出力されたフレームを参照先としたものとする。望ましくは破棄前に最後に出力されたフレームＦ４を参照先としたものとする。

　パケット送信モジュール２３からの送信についてみると、フレームＦ５、Ｆ６、Ｆ７が破棄されるため、フレームＦ２、Ｆ３、Ｆ４で遅延が増えるにも関わらず、フレームＦ８は本来の時刻に送信出力され、受信側機器３に受信される。
　また、フレームＦ８はフレームＦ４を参照しており、かつ受信側機器３では、フレームＦ８のデコード時点で、フレームＦ４はデコード済みとなるので、フレームＦ８はエラー無くデコードできる。
　また、フレームＦ８のＰＴＳを上記のように設定してあるので、フレームＦ８はフレームＦ４の本来の再生時刻の４フレーム後、つまり本来のタイミングで再生されることになる。

　なおフレームＦ２、Ｆ３、Ｆ４は遅れて受信側機器３に到着するため、受信側機器３では本来のタイミングより遅く表示される。さらにフレームＦ５、Ｆ６、Ｆ７が破棄されるため、受信側機器３ではその間フレームＦ４が表示され続けることなる。しかし、フレームＦ８以降のフレームは遅延もエラーもなく表示されることになる。

　以上の場合のパケット送信モジュール２３とビデオエンコーダ２４の処理を図７，図８に示す。

　図７はパケット送信中のパケット送信モジュール２３の処理例を示している。
　ステップＳ１０１は、パケット送信モジュール２３が、ビデオエンコーダ２４から入力されたエンコード済みのフレームデータをパケット化してビデオデータパケットＶＤＰＫとして送信する処理、及び受信側機器３からの制御パケットＣＰＫを受信する処理を示している。
　ステップＳ１０２でパケット送信モジュール２３は、ビデオデータパケットＶＤＰＫの送信終了、つまりビデオストリーミング送信の終了を監視する。
　ステップＳ１０３でパケット送信モジュール２３は、受信した制御パケットＣＰＫの内容を確認し、レート低下が必要か否かを判定する。

　パケット送信モジュール２３は、レート低下制御が必要ではない通常時は、以上のステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４のループで、ビデオストリーミング送信を継続することになる。
　ビデオストリーミング送信の終了の場合はステップＳ１０２から図７の処理を終える。

　パケット送信モジュール２３は、ビデオストリーミング送信中に、伝送遅延の発生や発生のおそれなどを判定し、レート低下が必要と判断した場合、ステップＳ１０４からステップＳ１０５に進み、新たな送信レート、及びエンコードレートを設定する。例えば制御パケットＣＰＫから判定される伝送遅延量や通信状況などにより適切なレートを設定する。

　ステップＳ１０６でパケット送信モジュール２３は、例えば上記のシーリング関数の計算により遅延低減処理の対象フレーム数を算出する。
　ステップＳ１０７でパケット送信モジュール２３は、ビデオエンコーダ２４に対し、エンコードレートをステップＳ１０５で設定した新しいエンコードレートに低下するようにレート変更要求を送信する。このときステップＳ１０６で算出した対象フレーム数も送信する。

　その後ステップＳ１０８で送信レートを変更し、ステップＳ１０１に戻って新たな送信レートでのビデオデータパケットＶＤＰＫの送信処理を行う。

　以上のようなパケット送信モジュール２３の処理に対し、ビデオエンコーダ２４はエンコード中において図８のように処理を行う。
　ビデオエンコーダ２４はステップＳ２０１で、入力されたフレームデータのエンコード及びエンコードしたフレームデータのパケット送信モジュール２３への出力を継続して行う。
　この間、ビデオエンコーダ２４はステップＳ２０２ではビデオストリーミング送信の終了によりエンコード終了を判定するとともに、ステップＳ２０３でパケット送信モジュール２３からのレート低下要求の受信を監視する。
　ビデオエンコーダ２４はエンコード終了により図８の処理を終了する。

　ビデオエンコーダ２４は、パケット送信モジュール２３からのレート低下要求を受信した場合は、ステップＳ２０３からステップＳ２０４に進み、エンコード設定の変更を行う。つまりエンコードレートを変更する。但し、これはレート低下要求受信時点でエンコード途中のフレームのエンコードが完了した後に有効となるエンコード設定変更である。

　そしてステップＳ２０５でビデオエンコーダ２４は、遅延低減処理を行う。これは、ステップＳ２０６で遅延低減処理の対象フレーム数で指示されたフレーム数について遅延低減処理が完了したと判定するまで行う。
　具体的には、レート低下要求受信以降に入力されたフレームデータの破棄を行う。つまり入力時点で破棄し、そのフレームデータについてはエンコードを行わない。
　なお、入力されたフレームデータについて、エンコードを行った後にエンコードされたフレームデータを破棄するようにしてもよい。もちろん入力されたフレームデータをエンコードすることなく破棄する方が処理負担が少なくなり、望ましい。

　対象フレーム数の破棄を行ったら、ビデオエンコーダ２４はステップＳ２０７に進み、参照フレーム設定を行い、ステップＳ２０１に戻り、以降、パケット送信モジュール２３から指示された新しいエンコードレートでエンコードを行う。
　ステップＳ２０７では、遅延低減処理の対象フレームより前のフレームであって、既にパケット送信モジュール２３に出力済のフレームデータをフレーム間参照の参照先とする。図６では例えばフレームＦ４となる。これにより、レート変更後の最初のフレームとなるフレームＦ８は、出力済みのフレームＦ４を参照するフレームデータとなる。なおフレームＦ３、Ｆ２、又はＦ１なども出力済であるため、参照先としてもよい。

＜４．第２の実施の形態＞
　第２の実施の形態の動作を図９で説明する。第２の実施の形態は、遅延低減処理としてビデオエンコーダ２４がスキップフレームを出力する例である。
　図９では図６と同形式の図において、ビデオエンコーダ２４が遅延低減処理の対象フレーム数に相当するフレームＦ５，Ｆ６，Ｆ７の３フレームについて、スキップフレームを出力する状態を示している。

　スキップフレームとは、例えば実際の画像データを含まず、参照先のみの情報を含むフレームであり、極めてデータサイズが小さい。
　パケット送信モジュール２３は、フレームＦ４に続いてフレームＦ５，Ｆ６，Ｆ７のスキップフレームも送信出力する。その後、新たなエンコードレートでエンコードされたフレームＦ８のフレームデータを送信する。

　受信側機器３のビデオデコーダ５３の処理能力が高く、スキップフレームを瞬時にデコードできる場合には、以上のようにビデオエンコーダ２４は、内部でフレーム破棄を行う代わりに、フレーム参照情報だけを持つ非常に小さなスキップフレームを出力してもよい。スキップフレームはデータサイズが小さいので伝送遅延を悪化させることは殆どない。

　なおこの場合の処理例は図７，図８と同様である。ビデオエンコーダ２４は図８のステップＳ２０５の遅延低減処理として、フレーム破棄に代えてスキップフレーム出力を行えば良い。

＜５．第３の実施の形態＞
　第３の実施の形態は、遅延低減処理としてのフレーム破棄をパケット送信モジュール２３において行う例とする。またビデオエンコーダ２４は必要な参照先の切り替えを行う。

　図１０は、ビデオエンコーダ２４から出力されるエンコードデータの１フレームを模式的に示している。
　ビデオエンコーダ２４は、図１０のように、フレームデータに付加情報ヘッダデータを追加して出力できるものとし、その付加情報にエンコードレート変更ビットＥＣＢがあるものとする。

　このエンコードレート変更ビットＥＣＢは、エンコードレートがそのフレームから変化したことを示すものとする。
　例えば図示のようにフレームの画像データが始まる前の部分に当該付加情報を置き、そのうち１ビットがエンコードレート変更ビットＥＣＢであるとする。ビデオエンコーダ２４は、エンコードレートを変更した後の最初のフレームでのみエンコードレート変更ビットＥＣＢを立て、そうでないフレームでは当該ビットを立てない。

　パケット送信モジュール２３は、送信レートを下げることを決め、レート変更要求をビデオエンコーダ２４に通知した後、ビデオエンコーダ２４からのエンコードレート変更ビットＥＣＢが立ったフレームデータの入力があるまで、ビデオエンコーダ２４から入力されるフレームデータを破棄し続けるとする。
　またパケット送信モジュール２３は、レート変更要求をビデオエンコーダ２４に通知するとき、フレームデータの破棄前にビデオデータパケットＶＤＰＫとして送信した最後のフレームのＩＤ番号（以下「フレームＩＤ」）も、ビデオエンコーダ２４に通知するものとする。Ｈ．２６４規格の場合、このフレームＩＤとして、ビデオフレームのスライスヘッダ上にある“frame_num”を用いることができる。

　図１１は、図６と同様の形式でビデオエンコーダ２４からの出力フレーム（Ｆ１，Ｆ２・・・）と、パケット送信モジュール２３からのデータ送信に係るフレーム（Ｆ１，Ｆ２・・・）の時間関係を示している。
　時点ｔ１０でパケット送信モジュール２３がレート低下を決定した後、ビデオエンコーダ２４はレート低下要求を、フレームＦ４のエンコード中である時点ｔ１１に受信する。ビデオエンコーダ２４はフレームＦ５から、新たなエンコードレートでエンコードすることになる。
　この場合、時点ｔ１０以降、ビデオエンコーダ２４から出力される旧レートのフレームＦ２，Ｆ３，Ｆ４も、パケット送信モジュール２３に入力されるが、パケット送信モジュール２３は、これらを破棄してビデオデータパケットＶＤＰＫとしては送信しない。従って、図示のようにフレームＦ１についてのビデオデータパケットＶＤＰＫを送信した後は、時点ｔ１２から、新レートでエンコードされたフレームデータについてのビデオデータパケットＶＤＰＫの送信が行われることになる。
　旧レートでデータサイズの大きいフレームＦ２，Ｆ３，Ｆ４のフレームデータは、破棄されて送信対象とならないため、新レートで最初にエンコードされるフレームＦ５の送信が遅れることはない。

　ここで、パケット送信モジュール２３がレート低下を決定してから、新しい低いレートでエンコードされたフレームデータがビデオエンコーダ２４から出力されるまでの間に最大でＭ枚のフレームデータが出力されるとする。図１１ではＭ＝３の例とした。
　ビデオエンコーダ２４はエンコード済みの最新の複数のフレームデータをメモリ２５に、にＭ＋１枚以上の一定数保持するものとする。例えばリングメモリ形態で、常にメモリ２５内の最も古いフレームデータが、最新のエンコード済みのフレームデータに書き換えられていくことで、各フレームデータが略一定期間保存されるようにする。

　ビデオエンコーダ２４は、フレーム間圧縮を行うものである場合は、通常、新しいフレームデータをエンコードする際、そのフレームデータがメモリ２５に保存されたうちで一番新しいフレームデータを参照するようにする。しかし、パケット送信モジュール２３によりフレーム破棄が行われる際は、ビデオエンコーダ２４は、低い新レートでエンコードする最初のフレームについて、メモリ２５内に保持されたフレームデータで、破棄されていないもののうち、最新のフレームを参照するよう、参照先を切り替える。つまり、ビデオエンコーダ２４は以下の動作を行う。

　図１２を用いて説明する。図１２は図１１で示した期間におけるパケット送信モジュール２３による処理、レート低下要求の遅延、及びビデオエンコーダ２４の処理を、より詳細に示している。
　Ｍ＝３とし、メモリ２５内に４枚のフレームデータが保持されるとする。

　時点ｔ１０でパケット送信モジュール２３がレート低下を決定した後、ビデオエンコーダ２４はレート低下要求を時点ｔ１１に受信するが、このときパケット送信モジュール２３が送信済みの最後のフレームのフレームＩＤも受信する。

　パケット送信モジュール２３が破棄前に最後に送信したのがフレームＦ１のフレームデータであり、ビデオエンコーダ２４がパケット送信モジュール２３から受信したフレームのＩＤ番号が“１”であったとする。この場合、ビデオエンコーダ２４は、メモリ２５内のフレームＩＤで“１”以下の最大のフレームＩＤをもつフレーム、つまり、破棄されていないフレームの中で最新のものを探す。
　図１２の場合、これはフレームＩＤ＝“１”を持つフレームＦ１である。よってビデオエンコーダ２４は、新しい低いレートでエンコードされる最新のフレームＦ５が、このフレームＦ１を参照するようにする。

　また、受信ユニット５におけるビデオデコーダ５３はＭ＋１（＝４）枚のデコード済みフレームデータを保持していことで、フレームＦ５のデコード時にフレームＦ１を保持しており、フレームＦ５のデコードは問題なく行われる。よって受信側では、フレームＦ２からＦ３が表示されるはずの間、フレームＦ１が表示され続けるが、フレームＦ５以降は遅延もエラーもなく正しく表示される。

　また、フレーム破棄後にパケット送信モジュール２３が最初に送信するフレームＦ５のＰＴＳが、フレーム破棄前の最後に送信されたフレームＦ１のＰＴＳより、（破棄されたフレーム数＋１）×（フレーム間隔時間）だけ進んでいるようにする。つまり、４フレーム分だけ進んでいるように設定する。これによりフレームＦ５は受信側機器３において正しいタイミングで再生される。

　このような第３の実施の形態を第１の実施の形態と比較すると、第３の実施の形態では、レート低下前の旧エンコードレートでエンコードされたサイズの大きなフレームデータ（つまり図１１，図１２におけるフレームＦ２，Ｆ３，Ｆ４）がネットワーク４上に送信されることがないことになる。従って破棄されるフレームの数が少なく、また、ネットワーク４上の輻輳を悪化させる可能性がより低くなる。

　以上の第３の実施の形態としてのパケット送信モジュール２３とビデオエンコーダ２４の処理を図１３，図１４に示す。なお上述の図７，図８と同様の処理については同一のステップ番号を付し重複説明を避ける。

　図１３はパケット送信中のパケット送信モジュール２３の処理例を示しているが、図７と異なるのは、ステップＳ１０７Ａ、及びステップＳ１１０，Ｓ１１１である。また図７で説明したステップＳ１０６の処理は不要となる。

　パケット送信モジュール２３は図１３のステップＳ１０１からステップＳ１０５の処理を図７の例と同様に行う。
　パケット送信モジュール２３は図１３のステップＳ１０５で送信レート、エンコードレートを設定したら、ステップＳ１０７Ａで、ビデオエンコーダ２４に対し、エンコードレートをステップＳ１０５で設定した新しいエンコードレートに低下するようにレート変更要求を送信する。このとき、破棄前に最後に送信出力したフレームデータのフレームＩＤも送信する。
　そしてパケット送信モジュール２３はステップＳ１０８で送信レートを変更する。

　その後パケット送信モジュール２３はステップＳ１１０で、ビデオエンコーダ２４から入力されるフレームデータについて、エンコードレート変更ビットＥＣＢが付加されたフレーム、即ちエンコードレート低下後のフレームであるか否かを確認する。エンコードレート変更ビットＥＣＢがオフである旧レートでエンコードされたフレームデータであった場合、パケット送信モジュール２３はステップＳ１１１で当該フレームデータを破棄する。
　エンコードレート変更ビットＥＣＢがオンである新レートでエンコードされたフレームデータが入力されたら、パケット送信モジュール２３は、ステップＳ１０１に戻って新たな送信レートでのビデオデータパケットＶＤＰＫの送信処理を行う。

　ビデオエンコーダ２４はビデオエンコーダ中において図１４のように処理を行う。図８と異なるのは、ステップＳ２１０、Ｓ２１１、Ｓ２１２の処理である。

　ビデオエンコーダ２４はステップＳ２０１で、入力されたフレームデータのエンコード及びエンコードしたフレームデータのパケット送信モジュール２３への出力を継続して行うが、この際、ステップＳ２１０でエンコードしたフレームデータのメモリ２５への記憶も行う。

　ビデオエンコーダ２４は、パケット送信モジュール２３からのレート低下要求を受信したら、ステップＳ２０３からステップＳ２１１に進み、エンコード設定の変更を行う。つまりエンコードレートを変更する。
　またビデオエンコーダ２４はステップＳ２１２で付加情報設定及び参照フレーム設定を行い、ステップＳ２０１に戻る。
　以降、ビデオエンコーダ２４はパケット送信モジュール２３から指示された新しいエンコードレートでエンコードを行う。

　ここでステップＳ２１２の付加情報設定及び参照フレーム設定は、レート低下後の最初のフレームデータについて行うもので、まず当該フレームではエンコードレート変更ビットＥＣＢがオンとされるものとする。
　また当該フレームでは、参照先を、メモリ２５へ記憶されている中で、フレームＩＤが、パケット送信モジュール２３から通知されたフレームＩＤ以下であって最大のフレームＩＤをもつフレームとするようにする。

　なお、フレームＩＤが、パケット送信モジュール２３から通知されたフレームＩＤ以下のフレームＩＤをもつフレームデータであればよく、必ずしも最大のフレームＩＤをもつフレームとしなくてもよい。
　但し、通知されたフレームＩＤ以下であって最大のフレームＩＤをもつフレームを参照先とすることで、ビデオデコーダ５３側では、レート変更後の最初のフレームデータのデコード時に、直前にデコードしたフレームを参照先とすることができる。

　もし通知されたフレームＩＤ以下であって、必ずしも最大のフレームＩＤをもつフレームとはしない場合、つまり通知されたフレームＩＤ以下であれば参照先として良いとする場合は、受信側機器３においても同様にメモリを持つようにすればよい。即ち、受信ユニット５におけるビデオデコーダ５３でもメモリ２５と同様のフレーム数をデコードデータの段階で記憶できるメモリを備え、デコード結果のフレームデータを当該メモリ上に、メモリ２５と同じフレーム数だけ保持するものとする。これによりデコード時に参照フレームが存在し、エラーなくデコードできるようになる。
　逆に言えば、通知されたフレームＩＤ以下であって最大のフレームＩＤをもつフレームを参照先とすることで、受信側機器３においてデコードの際に多くのフレームを記憶しておかなくてもよいということになる。

　ところでメモリ２５に、パケット送信モジュール２３から通知されたフレームＩＤ以下のフレームＩＤをもつフレームデータが存在しないこともあり得る。
　その場合はステップＳ２１２でビデオエンコーダ２４は、新レートで最初にエンコードするフレームについては、ＩＤＲフレームとするものと設定する。
　またＩＤＲフレームは通常非常にデータサイズが大きくなることが多いので、レート低下後の最初のフレームについてＩＤＲフレームとする場合は、そのフレームについては、画質を落としてエンコードし、データサイズが所定の大きさ以下、例えば低下後の送信レートで遅延が発生しないサイズにすることも好適である。

＜６．第４の実施の形態＞
　第４の実施の形態も、遅延低減処理としてのフレーム破棄をパケット送信モジュール２３で行う例とするが、ＬＴＲフレームを挿入するビデオストリームを想定する。

　Ｈ．２６４規格、Ｈ．２６５規格などのビデオコーデックでは、ＬＴＲフレームを定期的に設定することができる。
　ＬＴＲフレームは、明示的な指示があるまでビデオエンコーダ２４内に保持される。今“Ｔｒ”フレーム毎に１フレームのＬＴＲフレームが挿入されるものとする。ビデオデコーダ５３でも、常に１枚のＬＴＲフレームを保持するものとする。また、“Ｔｉ”フレームごとにＩＤＲフレームが挿入されるとし、Ｔｉ＞Ｔｒであるとする。
　図１５は、ビデオエンコーダ２４からの出力の例として、１２フレーム毎にＩＤＲフレームが送信され、その間に４フレーム毎にＬＴＲフレームが送信されるようにした例を示している（Ｔｉ＝１２、Ｔｒ＝４）。

　また第３の実施の形態と同様、ビデオエンコーダ２４は、フレームデータに付加情報としてエンコードレート変更ビットＥＣＢを追加するものとし、パケット送信モジュール２３は、レート低下要求をビデオエンコーダ２４に通知するとき、破棄前に送信した最後のフレームのフレームＩＤも通知するものとする。

　レート変更の際の動作を図１２と同様の形式で図１６に示す。概略同様であるが、フレームＦ１がＬＴＲフレームとする。このＬＴＲフレームはメモリ２５に一時的に記憶される。即ち図１２では最新の所定数のフレームデータを一時記憶していたが、図１６の場合、ＬＴＲフレームを、例えば次のＬＴＲフレームで書き換えるまで一時記憶しておけばよい。

　ここでビデオエンコーダ２４がこれからエンコードレートの変更を行うとして、そのレートの最初のフレームデータが出力されるまで、そのフレームを含めてＮ枚のフレームが出力されるとする。この間の状況に応じて、新レートでエンコードする最初のフレームデータの設定が行われるようにする。

　図１７を参照してビデオエンコーダ２４の処理を説明する。なお、図１４と異なるのはステップＳ２１０Ａ及びステップＳ２２２以降である。
　ステップＳ２１０Ａでは、ＬＴＲフレームをエンコードした際には、そのＬＴＲフレームデータをメモリ２５に記憶することになる。
　それ以外のステップＳ２１１までの処理は図１４と同様である。

　レート低下要求を受け、ステップＳ２１１でエンコードレートの設定変更を行ったら、ビデオエンコーダ２４はステップＳ２２２で、新レートのフレーム出力までにＩＤＲフレームの出力が必要か否かを判定する。
　上記のＮ枚のフレームのどれかがＩＤＲフレームでなければならないときは、ビデオエンコーダ２４はステップＳ２２５に進み、エンコードレート変更後の最初のフレームをＩＤＲフレームとする。

　また、最後のＬＴＲフレームのフレームＩＤが最後に出力されたフレームのフレームＩＤがより大きい、すなわち、最後に出力されたＬＴＲフレームがパケット送信モジュール２３により破棄されていると判断される場合もある。この場合、ビデオエンコーダ２４はステップＳ２２２，Ｓ２２３，Ｓ２２５と進み、エンコードレート変更後の最初のフレームをＩＤＲフレームとする。

　上記以外の場合でステップＳ２２４に進むときは、ビデオエンコーダ２４はエンコードレート変更後の最初のフレームをＰフレームとし、それに最後のＬＴＲフレームを参照させる。

　なお、ステップＳ２２４，Ｓ２２５では、エンコードレート変更後の最初のフレームを出力するとき、そのヘッダのエンコードレート変更ビットを立てるように設定する。
　パケット送信モジュール２３側の処理は、図１３と概略同様であるが、ステップＳ１０７ＡにおいてフレームＩＤの送信は不要となる。
　以上の処理により、ＬＴＲを含むビデオデータパケットＶＤＰＫの伝送において適切な参照関係を維持できる。

　なおステップＳ２２５の設定により新レートで最初にエンコードするフレームがＩＤＲフレームとされる場合、ＩＤＲフレームは通常非常にデータサイズが大きくなることに鑑みて、そのフレームについては、指定されたエンコードレートより小さいレートでエンコードし、データサイズが所定の大きさ以下、例えば低下後の送信レートで遅延が発生しないサイズにすることも好適である。

　フレームの伝送遅延は図１１と同様になる。ただしこの第４の実施の形態の場合、フレームＦ５が参照するのは、最新のＬＴＲフレーム（例えば図１６のフレームＦ１）である。

＜７．まとめ及び変形例＞
　以上の実施の形態では次のような効果が得られる。
　実施の形態の送信ユニット２は、画像のフレームデータ毎にエンコードを行うビデオエンコーダ２４と、パケット送信モジュール２３（送信処理部）を備える。パケット送信モジュール２３は、ビデオエンコーダ２４でエンコードされたフレームデータの送信処理中に、例えば受信側機器３への伝送遅延に応じて、ビデオエンコーダ２４におけるエンコードレートについてレート低下制御を行うとともに、１又は複数の対象フレーム数のフレームデータについて伝送データの遅延量を低減させる遅延低減処理が実行されるようにしている。
　即ち送信ユニット２は、伝送遅延の発生やその予測などに応じてエンコードレート及び送信レートを低下させることで、遅延の拡大を防止するとともに、データの一部破棄などの遅延低減処理が実行されるようにすることで、送信レート低下時の遅延を解消する。従ってビデオストリーミングなどの画像データ伝送において伝送遅延が生じた際に、それを適切に低減又は解消し、伝送遅延が生じにくいシステムを構築することができる。
　また遅延低減処理の対象フレーム数が適切に設定されることで、最小限のフレームの破棄などにより、送信レート低下時の送信遅延を低減又は解消できる。また破棄等を行うフレーム数を必要最小限とすることで、受信側機器で再生される画像の乱れを最小限とすることができる。例えば殆ど画像の乱れを視聴者に感知させない程度の短時間とすることも可能である。
　つまり実施の形態の送信ユニット２は、エンコード側で、受信側機器３でのデコード画像のエラーが継続しない形で破棄する等の遅延低減処理を行い、伝送遅延が大きくなり続けるのを防ぐことができる。

　第１の実施の形態では、パケット送信モジュール２３は、ビデオエンコーダ２４に対して、エンコードレート低下要求と、遅延低減処理の対象フレーム数を送信し、ビデオエンコーダ２４は、エンコードレート低下要求に応じてエンコードレートを低下させるとともに、遅延低減処理として、対象フレーム数のフレームデータを送信処理部に対して出力しないようにする処理を行う例を挙げた。
　つまり遅延低減処理をビデオエンコーダ２４側で実行する。例えばビデオエンコーダ２４において指示された対象フレーム数のフレームデータをビデオエンコーダ内で破棄するなどして送信処理部に出力しないようにする。
　具体的には、ビデオエンコーダ２４は、レート低下要求を検知したときに、そのときエンコード中のフレームのエンコード及び出力が完了した後、遅延低減処理として、次のフレームから指示された対象フレーム数だけ、エンコードされたフレームデータをパケット送信モジュール２３に出力しないようにする。これにより図６で説明したように、新レートでエンコードしたフレームデータからが、伝送遅延が解消又は低減されて送信され、かつ低下した送信レートにおいて遅延が生じないようにすることができる。つまりビデオエンコーダ２４内の簡単な処理で、伝送遅延低減が実現できる。

　第１の実施の形態では、ビデオエンコーダ２４は、遅延低減処理として、指示された対象フレーム数だけ入力されたフレームデータをエンコードせずに破棄する処理を行う例を述べた。
　即ちビデオエンコーダ２４は、遅延低減処理として、エンコードレート低下要求中の受信後に入力される必要数のフレームデータをそのまま破棄すればよい。従って破棄するフレームデータをエンコードするなどの無駄なエンコード処理は行われない。また、入力されたフレームデータを破棄するという極めて簡易な処理で遅延低減処理が実現できる。

　第１の実施の形態では、ビデオエンコーダ２４は、遅延低減処理の対象フレームの後にパケット送信モジュール２３に最初に出力するフレームデータについては、遅延低減処理の対象フレームより前のフレームであってパケット送信モジュール２３に出力済のフレームデータをフレーム間参照の参照先とするエンコードを行う例を挙げた。
　例えばビデオエンコーダがＨ．２６４規格やＨ．２６５規格であって、フレーム間参照を行う動画圧縮規格のエンコーダである場合には、例えば遅延低減処理として１又は複数の対象フレームを破棄した後に送信処理部に出力するフレームデータは、既に送信処理部に出力していたフレームデータを参照先としたものとする。
　これによりフレーム間参照における参照先が破棄されずに受信側機器３に送信されるフレームデータとなる。従って、エンコードレート低下後のフレームデータを受信側機器３において適切にデコードできる状態とすることができる。
　なお、ここではフレーム間参照を行うフレーム間圧縮を行う場合について述べているが、実施の形態の遅延低減処理の技術は、フレーム内圧縮を行う場合にも適用できることを付記しておく。

　第１の実施の形態では、ビデオエンコーダ２４は、遅延低減処理の対象フレームの後にパケット送信モジュール２３に最初に出力するフレームデータについては、遅延低減処理の前に最後に前記送信処理部に出力したフレームデータをフレーム間参照の参照先とするエンコードを行うものとした。
　これによりフレーム間参照における参照先が破棄されずに受信側機器３に送信されるフレームデータとなる。ビデオストリーム上は、レート変更後の最初のフレームデータは、その直前のフレームデータを参照先とすることになる。従って、エンコードレート低下後のフレームデータを受信側機器３において適切にデコードできる状態とすることができる。

　第１の実施の形態では、ビデオエンコーダ２４が遅延低減処理の対象フレームの後にパケット送信モジュール２３に最初に出力するフレームデータのタイムスタンプ値は、遅延低減処理の前に最後に前記送信処理部に出力したフレームデータのタイムスタンプ値よりも、｛（遅延低減処理の対象フレーム数）＋１｝×（フレーム間隔時間）だけ進んだ値となっているものとした。
　これにより遅延低減処理の対象フレームの後に前記送信処理部に最初に出力するフレームデータは、本来の時刻に受信側機器３に受信され、本来のタイミングで再生されることになる。

　第１の実施の形態では、パケット送信モジュール２３がエンコードレートを低下させる決定をした時点から、ビデオエンコーダ２４がそれに従ってエンコードした最初のフレームデータを出力できるまでの間にビデオエンコーダ２４から出力されるフレーム数がＮ個であり、レート低下に係る新エンコードレートと旧エンコードレートとの比が１：Ｒである場合に、対象フレーム数はceiling（（Ｒ－１）×Ｎ）以上であるとした。
　これにより切り替え時の新旧のエンコードレートの差を考慮して、遅延低減処理の対象フレーム数を適切に設定でき、伝送遅延の解消又は低減に好適となる。

　第２の実施の形態では、ビデオエンコーダ２４は、遅延低減処理として、指示された対象フレーム数だけ、参照情報を含み画像データを含まないスキップフレームデータを出力する処理を行う例を挙げた。
　スキップフレームデータは極めてデータサイズが小さく、通常のフレームデータをスキップフレームデータに置き換えることで、実際上、伝送遅延の低減や解消が実現できる。そしてビデオストリームとして一貫性が保たれ、エラーストリームとならない。

　第３、第４の実施の形態では、パケット送信モジュール２３は、ビデオエンコーダ２４に対して、エンコードレート低下要求を送信し、ビデオエンコーダ２４は、エンコードレート低下要求に応じてエンコードレートを低下させ、パケット送信モジュール２３は遅延低減処理として、ビデオエンコーダ２４から出力されたフレームデータのうちで対象フレーム数のフレームデータを受信側機器３へ送信せずに破棄する処理を行う例を挙げた。
　つまり遅延低減処理をパケット送信モジュール２３側で実行する。
　これにより図１１、図１２等で説明したように、新レートでエンコードしたフレームデータについて伝送遅延が解消又は低減され、かつ低下した送信レートにおいて遅延が生じないようにすることができる。つまりパケット送信モジュール２３内の簡単な処理で、伝送遅延低減が実現できる。
　特に第１の実施の形態と比較すると、レート変更前のサイズの大きいフレームデータを受信側機器３に対して送信しないことになる。従って破棄するフレーム数も少なく、受信側機器３における再生画像の乱れも最小限となるとともに、伝送遅延の低減に有利で、ネットワークの輻輳状況の改善に、より適している。

　第３、第４の実施の形態では、ビデオエンコーダ２４は、エンコードレート変更後に最初にエンコードするフレームデータにエンコードレート変更ビットＥＣＢによるレート変更情報を付加し、パケット送信モジュール２３は、エンコードレート低下要求の送信後、レート変更情報が付加されたフレームデータが入力される前までにビデオエンコーダ２４から入力されたフレームデータを破棄するものとした。
　これによりパケット送信モジュール２３は新レートでエンコードしたフレームデータが入力されるまで、旧レートでエンコードしたフレームデータを破棄し続ければ、遅延低減処理が適切に実行できることになり、遅延低減処理は容易となる。

　第３の実施の形態では、パケット送信モジュール２３は、遅延低減処理の実行前に受信側機器３に送信済のフレームデータのフレームＩＤ（フレーム識別情報）をビデオエンコーダ２４に対して送信し、ビデオエンコーダ２４は、エンコードレート低下要求に応じてエンコードレートを低下させた後にパケット送信モジュール２３に最初に出力するフレームデータについては、フレームＩＤで示されるフレームデータをフレーム間参照の参照先とするエンコードを行うものとした。
　フレームＩＤで示されるフレームデータを参照先とすることで、参照先のフレームデータは破棄されずに受信側機器３に送信されたフレームデータとなる。従って、エンコードレート低下後のフレームデータを受信側機器３において適切にデコードできる状態とすることができる。

　第３の実施の形態では、パケット送信モジュール２３がビデオエンコーダ２４に通知するフレームＩＤは、遅延低減処理の実行前に受信側機器３に送信した最後のフレームデータのフレームＩＤであるとした。
　これによりフレーム間参照における参照先が破棄されずに受信側機器３に送信されるフレームデータとなる。ビデオストリーム上は、レート変更後の最初のフレームデータは、その直前のフレームデータを参照先とすることになる。従って、エンコードレート低下後のフレームデータを受信側機器３において適切にデコードできる状態とすることができる。

　第３、第４の実施の形態では、パケット送信モジュール２３が遅延低減処理の対象フレームの後に最初に送信するフレームデータのタイムスタンプ値は、遅延低減処理の前に最後に送信したフレームデータのタイムスタンプ値よりも、｛（遅延低減処理の対象フレーム数）＋１｝×（フレーム間隔時間）だけ進んだ値となっているものとした。
　これにより遅延低減処理の対象フレームの後に前記送信処理部に最初に出力するフレームデータは、本来の時刻に受信側機器３に受信され、本来のタイミングで再生されることになる。

　第３の実施の形態では、ビデオエンコーダ２４は、フレームＩＤで示されるフレームデータがフレーム間参照の参照先にできない場合、エンコードレート低下要求に応じてエンコードレートを低下させた後にパケット送信モジュール２３に最初に出力するフレームデータをＩＤＲフレームとするエンコードを行う例を述べた。
　これによりフレームデータの破棄前に送信済みの参照可能フレームが存在しない場合や破棄されたフレームデータにＩＤＲフレームが含まれる場合などでも、受信側機器３において適切にデコードできる状態とすることができる。

　第３、第４の実施の形態では、ビデオエンコーダ２４は、レート低下後に最初に出力するフレームをＩＤＲフレームとする場合、エンコードレートをエンコードレート低下要求で指定されたレートより低くして、送信するＩＤＲフレームのデータサイズを、所定の最大サイズ内に抑えるようにする例を述べた。
　ＩＤＲフレームは通常非常に大きくなることが多いので、レート変更後の最初のフレームデータをＩＤＲフレームとする場合は、ビデオエンコーダ２４はパケット送信モジュール２３から指定されたエンコードレートより小さいレートでエンコードし、所定の大きさ以下になるようにする。
　これによりＩＤＲフレームによって遅延低減効果が減少しないようにすることができる。

　第３の実施の形態では、ビデオエンコーダ２４は、エンコード後のフレームデータを一時記憶できるメモリ２５を備え、エンコードレート低下要求に応じてエンコードレートを低下させた後にパケット送信モジュール２３に最初に出力するフレームデータは、メモリ２５に記憶されたフレームデータを参照先としてエンコードする例を述べた。
　ビデオエンコーダ２４は、数フレーム程度のフレームデータを記憶し、エンコードしたフレームデータをある程度の時間、一時記憶しておくメモリ２５を備えることで、パケット送信モジュール２３で破棄される前に送信されたフレームデータを、メモリ２５に保存しておくことができる。これにより、受信側機器３に送信済みの、数フレーム前のフレームデータを参照先とするエンコードが可能となる。

　第４の実施の形態では、ビデオエンコーダ２４は、周期的にＬＴＲフレーム（長時間参照フレーム）を出力し、エンコードレート低下要求に応じてエンコードレートを低下させた後にパケット送信モジュール２３に最初に出力するフレームデータは、ＬＴＲフレームを参照先としてエンコードする例を述べた。
　これによりＬＴＲフレームの送信を行う場合に適切な参照状態を維持できる。

　第４の実施の形態では、ビデオエンコーダ２４は、ＬＴＲフレームがパケット送信モジュール２３で破棄されると判定した場合、エンコードレート低下要求に応じてエンコードレートを低下させた後にパケット送信モジュール２３に最初に出力するフレームデータをＩＤＲフレームとする例を挙げた。
　これによりパケット送信モジュール２３における破棄されることを考慮しても、受信側機器３に送信されたレート変換後のビデオストリームが正しく再生されるようにすることができる。特に参照不能でエラーが多数のフレームに伝搬するようなことも避けることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）
　画像のフレームデータ毎にエンコードを行うビデオエンコーダと、
　前記ビデオエンコーダでエンコードされた画像データの送信処理中に、前記ビデオエンコーダにおけるエンコードレートについてレート低下制御を行うとともに、１又は複数の対象フレーム数のフレームデータについて伝送データの遅延量を低減させる遅延低減処理が実行されるようにする送信処理部と、を備えた
　送信装置。
　（２）
　前記送信処理部は、前記ビデオエンコーダに対して、エンコードレート低下要求と、遅延低減処理の対象フレーム数を送信し、
　前記ビデオエンコーダは、エンコードレート低下要求に応じてエンコードレートを低下させるとともに、前記遅延低減処理として、前記対象フレーム数のフレームデータを前記送信処理部に対して出力しないようにする処理を行う
　上記（１）に記載の送信装置。
　（３）
　前記ビデオエンコーダは、前記遅延低減処理として、指示された対象フレーム数だけ入力されたフレームデータをエンコードせずに破棄する処理を行う
　上記（２）に記載の送信装置。
　（４）
　前記ビデオエンコーダは、遅延低減処理の対象フレームの後に前記送信処理部に最初に出力するフレームデータについては、遅延低減処理の対象フレームより前のフレームであって前記送信処理部に出力済のフレームデータをフレーム間参照の参照先とするエンコードを行う
　上記（２）又は（３）に記載の送信装置。
　（５）
　前記ビデオエンコーダは、遅延低減処理の対象フレームの後に前記送信処理部に最初に出力するフレームデータについては、遅延低減処理の前に最後に前記送信処理部に出力したフレームデータをフレーム間参照の参照先とするエンコードを行う
　上記（２）から（４）のいずれかに記載の送信装置。
　（６）
　前記ビデオエンコーダが遅延低減処理の対象フレームの後に前記送信処理部に最初に出力するフレームデータのタイムスタンプ値は、遅延低減処理の前に最後に前記送信処理部に出力したフレームデータのタイムスタンプ値よりも、
　｛（遅延低減処理の対象フレーム数）＋１｝×（フレーム間隔時間）
　だけ進んだ値となっている
　上記（２）から（５）のいずれかに記載の送信装置。
　（７）
　前記送信処理部がエンコードレートを低下させる決定をした時点から、前記ビデオエンコーダがそれに従ってエンコードした最初のフレームデータを出力できるまでの間にビデオエンコーダから出力されるフレーム数がＮ個であり、
　レート低下に係る新エンコードレートと旧エンコードレートとの比が１：Ｒである場合に、
　前記対象フレーム数はceiling（（Ｒ－１）×Ｎ）以上である
　上記（２）から（６）のいずれかに記載の送信装置。
　（８）
　前記ビデオエンコーダは、前記遅延低減処理として、指示された対象フレーム数だけ、参照情報を含み画像データを含まないフレームデータを出力する処理を行う
　上記（２）（４）（５）（６）（７）のいずれかに記載の送信装置。
　（９）
　前記送信処理部は、前記ビデオエンコーダに対して、エンコードレート低下要求を送信し、
　前記ビデオエンコーダは、エンコードレート低下要求に応じてエンコードレートを低下させ、
　前記送信処理部は、前記遅延低減処理として、前記ビデオエンコーダから出力されたフレームデータのうちで前記対象フレーム数のフレームデータを受信側機器へ送信せずに破棄する処理を行う
　上記（１）に記載の送信装置。
　（１０）
　前記ビデオエンコーダは、エンコードレート変更後に最初にエンコードするフレームデータにレート変更情報を付加し、
　前記送信処理部は、エンコードレート低下要求の送信後、前記レート変更情報が付加されたフレームデータが入力される前までに前記ビデオエンコーダから入力されたフレームデータを破棄する
　上記（９）に記載の送信装置。
　（１１）
　前記送信処理部は、遅延低減処理の実行前に前記受信側機器に送信済のフレームデータのフレーム識別情報を前記ビデオエンコーダに対して送信し、
　前記ビデオエンコーダは、エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータについては、前記フレーム識別情報で示されるフレームデータをフレーム間参照の参照先とするエンコードを行う
　上記（９）又は（１０）に記載の送信装置。
　（１２）
　前記フレーム識別情報は、遅延低減処理の実行前に前記受信側機器に送信した最後のフレームデータのフレーム識別情報である
　上記（１１）に記載の送信装置。
　（１３）
　前記送信処理部が遅延低減処理の対象フレームの後に最初に送信するフレームデータのタイムスタンプ値は、遅延低減処理の前に最後に送信したフレームデータのタイムスタンプ値よりも、
　｛（遅延低減処理の対象フレーム数）＋１｝×（フレーム間隔時間）
　だけ進んだ値となっている
　上記（９）から（１２）のいずれかに記載の送信装置。
　（１４）
　前記ビデオエンコーダは、前記フレーム識別情報で示されるフレームデータがフレーム間参照の参照先にできない場合、エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータをＩＤＲフレームとするエンコードを行う
　上記（１１）又は（１２）に記載の送信装置。
　（１５）
　前記ビデオエンコーダは、エンコードレートをエンコードレート低下要求で指定されたレートより低くして、送信するＩＤＲフレームのデータサイズを、所定の最大サイズ内に抑えるようにする
　上記（１４）に記載の送信装置。
　（１６）
　前記ビデオエンコーダは、エンコード後のフレームデータを一時記憶できるメモリを備え、
　エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータは、前記メモリに記憶されたフレームデータを参照先としてエンコードする
　上記（９）から（１５）のいずれかに記載の送信装置。
　（１７）
　前記ビデオエンコーダは、周期的に長時間参照フレームを出力し、
　エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータは、前記長時間参照フレームを参照先としてエンコードする
　上記（９）から（１６）のいずれかに記載の送信装置。
　（１８）
　前記ビデオエンコーダは、
　前記長時間参照フレームが前記送信処理部で破棄されると判定した場合、
　エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータをＩＤＲフレームとする
　上記（１７）に記載の送信装置。
　（１９）
　前記ビデオエンコーダは、エンコードレートをエンコードレート低下要求で指定されたレートより低くして、送信するＩＤＲフレームのデータサイズを、所定の最大サイズ内に抑えるようにする
　上記（１８）に記載の送信装置。
　（２０）
　ビデオエンコーダでエンコードされた画像データの送信処理中に、前記ビデオエンコーダにおけるエンコードレートについてレート低下制御を行うとともに、１又は複数の対象フレーム数のフレームデータについて伝送データの遅延量を低減させる遅延低減処理を実行する
　送信方法。

１　撮像装置
２　送信ユニット
３　受信側機器
４　ネットワーク
５　受信ユニット
２１　ビデオキャプチャ部
２２　ＣＰＵ
２３　パケット送信モジュール
２４　ビデオエンコーダ
２５　メモリ
２６　ネットワークインタフェース部
２７　バス
３２　撮像部
３３　画像信号処理部
３４　記憶部
３５　制御部
３６　操作部
３８　表示制御部
３９　表示部
５１　ネットワークインタフェース部
５２　パケット受信モジュール
５３　ビデオデコーダ
５４　ビデオレンダラ

Claims

　画像のフレームデータ毎にエンコードを行うビデオエンコーダと、
　前記ビデオエンコーダでエンコードされた画像データの送信処理中に、前記ビデオエンコーダにおけるエンコードレートについてレート低下制御を行うとともに、１又は複数の対象フレーム数のフレームデータについて伝送データの遅延量を低減させる遅延低減処理が実行されるようにする送信処理部と、を備えた
　送信装置。
　前記送信処理部は、前記ビデオエンコーダに対して、エンコードレート低下要求と、遅延低減処理の対象フレーム数を送信し、
　前記ビデオエンコーダは、エンコードレート低下要求に応じてエンコードレートを低下させるとともに、前記遅延低減処理として、前記対象フレーム数のフレームデータを前記送信処理部に対して出力しないようにする処理を行う
　請求項１に記載の送信装置。
　前記ビデオエンコーダは、前記遅延低減処理として、指示された対象フレーム数だけ入力されたフレームデータをエンコードせずに破棄する処理を行う
　請求項２に記載の送信装置。
　前記ビデオエンコーダは、遅延低減処理の対象フレームの後に前記送信処理部に最初に出力するフレームデータについては、遅延低減処理の対象フレームより前のフレームであって前記送信処理部に出力済のフレームデータをフレーム間参照の参照先とするエンコードを行う
　請求項２に記載の送信装置。
　前記ビデオエンコーダは、遅延低減処理の対象フレームの後に前記送信処理部に最初に出力するフレームデータについては、遅延低減処理の前に最後に前記送信処理部に出力したフレームデータをフレーム間参照の参照先とするエンコードを行う
　請求項２に記載の送信装置。
　前記ビデオエンコーダが遅延低減処理の対象フレームの後に前記送信処理部に最初に出力するフレームデータのタイムスタンプ値は、遅延低減処理の前に最後に前記送信処理部に出力したフレームデータのタイムスタンプ値よりも、
　｛（遅延低減処理の対象フレーム数）＋１｝×（フレーム間隔時間）
　だけ進んだ値となっている
　請求項２に記載の送信装置。
　前記送信処理部がエンコードレートを低下させる決定をした時点から、前記ビデオエンコーダがそれに従ってエンコードした最初のフレームデータを出力できるまでの間にビデオエンコーダから出力されるフレーム数がＮ個であり、
　レート低下に係る新エンコードレートと旧エンコードレートとの比が１：Ｒである場合に、
　前記対象フレーム数はceiling（（Ｒ－１）×Ｎ）以上である
　請求項２に記載の送信装置。
　前記ビデオエンコーダは、前記遅延低減処理として、指示された対象フレーム数だけ、参照情報を含み画像データを含まないフレームデータを出力する処理を行う
　請求項２に記載の送信装置。
　前記送信処理部は、前記ビデオエンコーダに対して、エンコードレート低下要求を送信し、
　前記ビデオエンコーダは、エンコードレート低下要求に応じてエンコードレートを低下させ、
　前記送信処理部は、前記遅延低減処理として、前記ビデオエンコーダから出力されたフレームデータのうちで前記対象フレーム数のフレームデータを受信側機器へ送信せずに破棄する処理を行う
　請求項１に記載の送信装置。
　前記ビデオエンコーダは、エンコードレート変更後に最初にエンコードするフレームデータにレート変更情報を付加し、
　前記送信処理部は、エンコードレート低下要求の送信後、前記レート変更情報が付加されたフレームデータが入力される前までに前記ビデオエンコーダから入力されたフレームデータを破棄する
　請求項９に記載の送信装置。
　前記送信処理部は、遅延低減処理の実行前に前記受信側機器に送信済のフレームデータのフレーム識別情報を前記ビデオエンコーダに対して送信し、
　前記ビデオエンコーダは、エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータについては、前記フレーム識別情報で示されるフレームデータをフレーム間参照の参照先とするエンコードを行う
　請求項９に記載の送信装置。
　前記フレーム識別情報は、遅延低減処理の実行前に前記受信側機器に送信した最後のフレームデータのフレーム識別情報である
　請求項１１に記載の送信装置。
　前記送信処理部が遅延低減処理の対象フレームの後に最初に送信するフレームデータのタイムスタンプ値は、遅延低減処理の前に最後に送信したフレームデータのタイムスタンプ値よりも、
　｛（遅延低減処理の対象フレーム数）＋１｝×（フレーム間隔時間）
　だけ進んだ値となっている
　請求項９に記載の送信装置。
　前記ビデオエンコーダは、前記フレーム識別情報で示されるフレームデータがフレーム間参照の参照先にできない場合、エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータをＩＤＲフレームとするエンコードを行う
　請求項１１に記載の送信装置。
　前記ビデオエンコーダは、エンコードレートをエンコードレート低下要求で指定されたレートより低くして、送信するＩＤＲフレームのデータサイズを、所定の最大サイズ内に抑えるようにする
　請求項１４に記載の送信装置。
　前記ビデオエンコーダは、エンコード後のフレームデータを一時記憶できるメモリを備え、
　エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータは、前記メモリに記憶されたフレームデータを参照先としてエンコードする
　請求項９に記載の送信装置。
　前記ビデオエンコーダは、周期的に長時間参照フレームを出力し、
　エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータは、前記長時間参照フレームを参照先としてエンコードする
　請求項９に記載の送信装置。
　前記ビデオエンコーダは、
　前記長時間参照フレームが前記送信処理部で破棄されると判定した場合、
　エンコードレート低下要求に応じてエンコードレートを低下させた後に前記送信処理部に最初に出力するフレームデータをＩＤＲフレームとする
　請求項１７に記載の送信装置。
　前記ビデオエンコーダは、エンコードレートをエンコードレート低下要求で指定されたレートより低くして、送信するＩＤＲフレームのデータサイズを、所定の最大サイズ内に抑えるようにする
　請求項１８に記載の送信装置。
　ビデオエンコーダでエンコードされた画像データの送信処理中に、前記ビデオエンコーダにおけるエンコードレートについてレート低下制御を行うとともに、１又は複数の対象フレーム数のフレームデータについて伝送データの遅延量を低減させる遅延低減処理を実行する
　送信方法。