JP6478379B2

JP6478379B2 - 映像送信装置

Info

Publication number: JP6478379B2
Application number: JP2014176140A
Authority: JP
Inventors: 黒住　正顕; 正顕黒住; 青木　勝典; 勝典青木; 周平小田; 智史小山; 遠藤　洋介; 洋介遠藤
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-08-29
Filing date: 2014-08-29
Publication date: 2019-03-06
Anticipated expiration: 2034-08-29
Also published as: JP2016052000A

Description

本発明は、映像送信装置に関する。

伝送帯域が保証されないネットワークにおいて、ある２点間で通信が行われる場合、実際にデータの伝送に用いられる帯域幅が常に変動する。伝送帯域が減少すると、データの伝送が遅延することや、伝送されたパケットの消失（パケットロス）等が発生することがある。映像データを伝送する場合には、伝送エラーにより映像受信装置で動画が静止（フリーズ）することや、符号化の単位であるブロックの境界でブロックノイズが顕著に生じることがある。
例えば、特許文献１には、映像受信装置において測定した映像データの受信レートとパケットロス率に基づいて伝送可能な帯域幅（伝送可能帯域）を推定し、映像送信装置で推定された伝送可能帯域以内に伝送される符号化データの容量（映像エンコードレート）を制御する映像伝送システムについて記載されている。

特開２００９−２０７０８４号公報

しかしながら、例えば、映像送信装置や映像受信装置が移動しながら無線伝送路を用いて映像データを伝送する場合などには、伝送路において急激に帯域幅が狭くなることがある。そのような場合、映像データの符号化（エンコード）レートの制御が追従せずに伝送エラーが発生することがある。高能率映像符号化方式（例えば、ＩＴＵ−Ｔ（ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ−Ｔ）Ｈ．２６４／ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）では、ピクチャ（フレーム）単位で映像を符号化する際の予測モードが異なるため、複数のピクチャを単位（例えば、ＬｏｎｇＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ）の場合、０．５秒）として映像エンコードレート制御が行われることがある。そのため、ＧＯＰの長さ（上記の例では０．５秒）以内の間に急に映像エンコードレートを低下させることが困難である。

伝送された映像データに基づいて映像の再生が中断しないようにするため、受信側で伝送中に欠落したデータパケットの誤り訂正が行われることがある。誤り訂正方式として、例えば、前方誤り訂正（ＦＥＣ：ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ）がある。しかし、急激に帯域幅が狭くなった場合にパケットロスが連続して発生するため、そのような場合にはＦＥＣによる誤り訂正の効果が低い。そのような場合に、自動再送要求（ＡＲＱ：ＡｕｔｏｍａｔｉｃＲｅｐｅａｔ−Ｒｅｑｕｅｓｔ）が行われることがある。しかし、ＡＲＱを用いて欠落したパケットを再送するには、再送を要求してから映像を再生するまでの間、パケットを一時的に記憶するバッファが必要になる。再送されたパケットが到着するまでの間、受信済みの映像データを記憶しておくために、充分にバッファの容量を大きくすることが求められる。そのため、伝送遅延量が増大し得るという問題が生じる。

また、符号化レートを制御するために、映像信号を互いに異なる複数の伝送レートに応じた符号化レートで符号化して、それぞれの符号化レートに対応した映像ストリームを生成し、推定された伝送可能帯域内に伝送レートが納まる映像ストリームを切り替えること（アダプティブストリーミング）がある。映像ストリームの切り替えは、現在映像の再生に用いられている生成映像ストリーム中の予め定めた切替ポイントで行うことが要求される。ここで、映像の再生を中断せずに継続するためには、前回の切替ポイント以降の切り替え先の映像ストリームが必要になる。この点でも、映像ストリームを記憶するバッファの記憶容量を大きくすることが要求され、伝送遅延が増大する原因となる。他方、仮に切替ポイント間の間隔を狭くしてしまうと、映像ストリームの圧縮効率が悪くなるため、所定の帯域で伝送するためには画質が低下してしまうという問題も起こり得る。つまり、切替ポイント間の間隔は、ある程度広くしなければならない。
以上のように、急減な伝送帯域の低下に対応するため、映像受信装置においてバッファを大きくする必要があるため、伝送遅延が増加するという問題があった。

本発明は上記の点に鑑みてなされたものであり、映像データの伝送における伝送遅延を低減した映像送信装置を提供する。

［１］本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、入力された映像をそれぞれ異なる品質に対応した複数の階層の符号化データに符号化する階層符号化部と、前記符号化データの伝送状態に関する伝送状態情報を受信し、前記伝送状態情報に基づいて前記符号化データを伝送可能な伝送速度を推定する伝送可能速度推定部と、前記符号化データに係る伝送速度と、再送が要求された符号化データに係る伝送速度との階層間の合計が、前記伝送可能速度推定部が推定した伝送速度を超えない階層数を選択する階層選択部と、を備える映像送信装置である。
この構成によれば、階層数を選択することで伝送される符号化データの情報量を急激に制御することができ、伝送可能速度が低下しても伝送可能な階層数の符号化データのみを伝送することで、再送される符号化データの情報量を抑制し伝送エラーを低減できる。そのため、記憶すべき符号化データの情報量を減少して伝送遅延を低減することができる。

［２］本発明の他の態様は、前記階層選択部は、過去に選択した階層数よりも上位の階層の再送が要求された符号化データに係る伝送速度を、より下位の階層の符号化データについて再送が要求された頻度に基づいて推定することを特徴とする［１］の映像送信装置である。
この構成によれば、より上位の階層について再送が要求された符号化データに係る送信速度を考慮して伝送可能速度との比較がなされる。より上位の階層での伝送速度が過小評価されないため、より多い階層数が選択されたときに符号化データの送信速度が伝送可能速度を超えることによる伝送エラーを減少することができる。

本発明によれば映像データの伝送における伝送遅延が低減する。

本発明の実施形態による映像伝送システムの構成を示す概略ブロック図である。同実施形態による映像送信装置の構成を示す概略ブロック図である。同実施形態による階層符号化での符号化データの一例を示す概略図である。同実施形態による階層選択部が階層数を選択する処理の一例を説明する概略図である。同実施形態に係るデータ送信処理の手順を示すフローチャートである。階層符号化による符号化データの他の例を示す図である。同実施形態に係る映像受信装置の構成を示す概略ブロック図である。同実施形態に係るデータ受信処理の手順を示すフローチャートである。

以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る映像伝送システム１の構成を示す概略ブロック図である。
映像伝送システム１は、映像送信装置１１、ＩＰ装置３１、３２及び映像受信装置２１を含んで構成される。

映像送信装置１１は、入力された映像及び音声をそれぞれ符号化し、符号化した符号化データをＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）パケットでＩＰ装置３１、ＩＰ伝送路３３、及びＩＰ装置３２を介して映像受信装置２１に送信する。
映像受信装置２１は、映像送信装置１１からＩＰパケットで受信した符号化データを復号し、復号によって得られた映像及び音声を出力する。

ＩＰ装置３１は、映像送信装置１１をＩＰ伝送路３３に接続するための送信側のＩＰ装置である。ＩＰ装置３１は、一例としては、映像送信装置１１とＩＰ装置３２との間でデータを無線で伝送する無線ルータである。ＩＰ装置３１は、ＩＰ装置３２との間でのデータの伝送状態を示すリンク情報を集約し、集約したリンク情報を映像送信装置１１に送信する。
ＩＰ装置３２は、映像受信装置２１をＩＰ伝送路３３に接続するための受信側のＩＰ装置である。ＩＰ装置３２は、一例としては、ＩＰ装置３１と映像受信装置２１との間でデータを無線で伝送する無線ルータである。ＩＰ装置３２は、ＩＰ装置３１から受信したデータの伝送状態を示すリンク情報を生成し、生成したリンク情報をＩＰ装置３１に送信する。
ＩＰ伝送路３３は、ＩＰ装置３１と３２との間でＩＰパケットを伝送する伝送路である。以下の説明では、ＩＰパケットを単にパケットと呼ぶことがある。

次に、映像送信装置１１の構成について説明する。
図２は、本実施形態に係る映像送信装置１１の機能構成を示す概略ブロック図である。図示するように、映像送信装置１１は、符号化部１０１（階層符号化部）と、伝送可能レート推定部１０２（伝送可能速度推定部）と、再送データ量推定部１０３と、階層選択部１０４と、送信バッファ部１０５とを含んで構成される。

符号化部１０１は、映像送信装置１１の外部から入力される映像信号と音声信号を取得する。符号化部１０１は、入力された映像信号を階層符号化し、Ｎ階層（Ｎは１よりも大きい予め定めた整数。例えば、２階層。）の符号化データを生成する。階層符号化については、後述する。符号化部１０１は、階層符号化の方式として、例えば、ＩＴＵ−ＴＨ．２６４ＳＶＣを用いる。符号化部１０１は、生成したＮ階層の符号化データを送信バッファ部１０５に出力する。このとき、符号化部１０１は、入力された音声信号を予め定めた方式（例えば、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）−４ＡＵＤＩＯ）を用いて符号化データを生成し、生成した符号化データを送信バッファ部１０５に出力する。つまり、符号化部１０１は、入力された映像をそれぞれ異なる品質に対応した複数の階層の符号化データに符号化する。

伝送可能レート推定部１０２は、ＩＰ装置３１から受信するリンク情報に基づいて映像受信装置２１との間でデータを伝送することが可能な伝送速度（伝送可能レート）を推定する。リンク情報は、伝送路３３における伝送状態を示す情報である。なお、伝送可能レート推定部１０２は、リンク情報に限らず、映像受信装置２１に送信するパケットの伝送状態を示す他の情報、例えば、映像受信装置２１から受信した受信品質情報を用いて伝送可能レートを算出してもよい。伝送状態を示す情報及び伝送可能レートを算出する処理については後述する。伝送可能レート推定部１０２は、推定した伝送可能レートを階層選択部１０４に渡す。つまり、伝送レート推定部１０２は、符号化データの伝送状態に関する伝送状態情報を受信し、この伝送状態情報に基づいて符号化データを伝送可能な伝送速度を推定する。ここで、伝送状態情報とは、リンク情報や受信品質情報を含む。

再送データ量推定部１０３は、映像受信装置２１から受信した再送パケット要求情報に基づいて、符号化データの階層毎に再送が要求されたパケット（再送パケット）の情報量（再送データ量）を推定する。再送パケット要求情報は、再送パケットのシーケンス番号を示す情報である。再送データ量推定部１０３は、送信バッファ部１０５に記憶されている送信パケット情報が示すパケットの情報量と格納している符号化データの階層を参照して、階層毎のパケットの情報量を合計した値を再送データ量として算出する。送信パケット情報については、送信バッファ部１０５の構成の説明で述べる。再送データ量推定部１０３は、階層毎に推定した再送データ量と受信した再送パケット要求情報を階層選択部１０４に出力する。

階層選択部１０４は、再送データ量推定部１０３で階層毎に推定した再送データ量と初送データ量に基づく階層毎の伝送レートを最下層から階層間で累積した伝送レートが、伝送可能レート推定部１０２によって推定された伝送可能レートを超えない階層数を選択する。そのような階層数が複数ある場合には、階層選択部１０４は、そのうちの最大の階層数を選択することが望ましい。初送データ量とは、送信バッファ部１０５が生成したパケットであって、初めて送信するパケット（初送パケット）の情報量である。本実施形態では、初送データ量は、符号化部１０１が生成する符号化データの情報量にオーバーヘッド、例えば、ヘッダ部、その他、伝送に際して付加される冗長なデータの情報量を加えたものに相当する。符号化部１０１が生成する階層毎の符号化データの情報量は、予め定められていてもよいし可変であってもよい。階層選択部１０４は、選択した階層数を示す階層数データと、再送データ量推定部１０３から入力された再送パケット要求情報を送信バッファ部１０５に出力する。つまり、階層選択部１０４は、符号化データに係る伝送速度と、再送が要求された符号化データに係る伝送速度との階層間の合計が、伝送可能速度推定部が推定した伝送速度を超えない階層数を選択する。

なお、階層選択部１０４は、送信バッファ部１０５に出力する再送パケット要求情報を、選択した階層数以下の階層の符号化データを格納したパケットに係るものに限定してもよい。ここで、階層選択部１０４は、送信バッファ部１０５に記憶されている送信パケット情報が示すパケット毎に格納された符号化データの階層を参照して、再送パケットが格納している符号化データの階層を判定する。階層数を選択する処理については後述する。

送信バッファ部１０５は、映像に基づく階層毎の符号化データと、音声に基づく符号化データとを、符号化部１０１から取得する。送信バッファ部１０５は、映像に基づく階層毎の符号化データのうち、最下層から、階層選択部１０４によって入力された階層数の階層までの符号化データを選択する。送信バッファ部１０５は、音声に基づく符号化データを所定の階層（例えば、最下層）の符号化データとして選択する。

送信バッファ部１０５は、選択した符号化データを細分化し、細分化した符号化データのそれぞれを格納した予め定めた形式のパケットを生成し、生成したパケットを初送パケットとして一時的に記憶する（バッファリング）。パケットの形式は、例えば、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）パケット）である。
一方、送信バッファ部１０５に記憶されたパケットのうち、階層選択部１０４から入力された再送パケット要求情報が示すパケットであって、入力された階層数以下の階層の符号化データを格納したパケットが、送信対象の再送パケットとして指定される。
送信バッファ部１０５は、パケットを一時的に記憶する時間（例えば、０．２秒）を予め設定しておき、その時間が経過した後には記憶されたパケットを廃棄するようにする。

送信バッファ部１０５は、初送パケットを生成する際、伝送可能レート推定部１０２が推定した伝送可能レートを満たすように各初送パケットにそれぞれ格納する情報量を定める。実効的な伝送レートは、単位時間当たりの初送データ量（初送レート）と、単位時間当たりの再送データ量（再送レート）との合計であるため、送信バッファ部１０５は、伝送可能レートから指定された再送パケットのデータ量に基づく再送レートを差し引いて、可能な初送レートを算出する。送信バッファ部１０５は、算出した初送可能レート以下になるようにパケットの送信時間間隔に応じた情報量を定める。ここで、パケットの送信時間間隔は、予め定められていてもよいし（例えば、５ミリ秒）、映像受信装置２１とのネゴシエーションに応じて可変であってもよい。

送信バッファ部１０５は、生成又は指定されたパケットによって異なる番号をシーケンス番号として生成する。初送パケットについては、送信バッファ部１０５は、生成したシーケンス番号をそのパケットのヘッダ部に格納する。再送パケットについては、送信バッファ部１０５は、既存のシーケンス番号を生成したシーケンス番号に更新する。シーケンス番号は、当該パケットを生成又は指定された順序に応じて所定の増加量（例えば、１）ずつ増加させた番号である。

送信バッファ部１０５は、パケットのシーケンス番号と対応付けてそのパケットの情報量と、そのパケットに格納された符号化データの階層を示す情報を送信パケット情報として記憶する。送信時間間隔が可変である場合には、送信バッファ部１０５は、送信パケット情報において、シーケンス番号と対応付けて更に送信時間間隔を記憶してもよい。送信バッファ部１０５は、パケットを廃棄したとき、そのパケットに係る送信パケット情報も廃棄する。送信バッファ部１０５は、生成又は指定されたパケットを、付与されたシーケンス番号の順に映像受信装置２１に送信する。

次に、階層符号化について説明する。階層符号化は、スケーラブル符号化とも呼ばれる。
図３は、階層符号化による符号化データの一例（符号化データ４１）を示す概略図である。Ｎ階層の階層符号化が行われた場合、符号化データ４１として、Ｎ階層の符号化データ４１−１〜４１−Ｎが得られる。符号化データ４１−１〜４１−Ｎの順序は、最下層（第１層）からの昇順である。Ｎ階層の符号化データ４１−１〜４１−Ｎのうち、最下層から第ｎ階層（ｎは、１以上でＮ以下の整数）までの符号化データ４１−１〜４１−ｎを用いて、階層数ｎに応じた品質の映像を復号することができる。このとき、より上位の階層、つまり第（ｎ＋１）階層から最上層までの符号化データ４１−ｎ＋１〜４１−Ｎは用いられない。従って、より上位の階層の符号化データがなくとも、最下層の符号化データに基づいて最低限の品質の映像が得られ、階層数ｎが多いほど高品質の映像を得ることができる。つまり、この階層において、より下位である符号化データは、より上位の符号化データよりも、映像を表す上では基本的なデータである。よって、より下位の符号化データの伝送は、より上位の符号化データの伝送よりも優先される。より下位の符号化データが正しく伝送されることを前提として、可能な場合においてより上位の符号化データをも伝送することにより、受信側では、より高品質の映像を復号することができる。

映像の品質の指標としては、例えば、解像度、フレームレート、Ｓ／Ｎ（ＳｉｇｎａｌｔｏＮｏｉｓｅ）比、又はこれらの組み合わせを用いる。従って、階層数ｎに応じた品質の映像を構成するためには、映像受信装置２１は最下層から第ｎ階層までの符号化データを全て受信する必要がある。言い換えれば、下位の階層の符号化データを上位の階層の符号化データよりも優先して取得することで、符号化データを取得できた範囲の階層数に応じた品質の映像が得られる。

次に、伝送状態を示す情報として、リンク情報について説明する。リンク情報は、例えば、（ａ）時刻、（ｂ）送信側取得変調レベル、（ｃ）受信側取得電界強度、（ｄ）受信レートの各項目を有する。
（ａ）の時刻は、伝送状態を取得した時刻である。（ｂ）の送信側取得変調レベルは、図１に示したＩＰ装置３１とＩＰ装置３２との間でのネゴシエーションで定められた、その時点における変調レベルである。変調レベルは、変調方式と符号化率との組み合わせを示す。変調方式は、伝送対象のデータを変調する方式である。変調方式は、例えば、ＢＰＳＫ（ＢｉｎａｒｙＰｈａｓｅ−ＳｈｉｆｔＫｅｙｉｎｇ、二位相偏移変調）、ＱＰＳＫ（ＱｕａｔｅｎａｒｙＰｈａｓｅ−ＳｈｉｆｔＫｅｙｉｎｇ、四位相偏移変調）、１６ＱＡＭ（ＱｕａｄｒａｔｕｒｅＡｍｐｌｉｔｕｄｅＭｏｄｕｌａｔｉｏｎ、直交振幅変調）、６４ＱＡＭ等である。各変調方式は、伝送される１シンボル当たりの情報量に対応付けられている。例えば、ＢＰＳＫでは、１シンボル当たり１ビットである。符号化率は、誤り訂正、誤り検出等の冗長符号を用いる際に実効的にデータが伝送される情報量の割合である。符号化率は、例えば、１／２、３／４、２／３といった値である。符号化率は、信号が伝搬される状況（例えば、電波伝搬状況）に応じて、ＩＰ装置３１とＩＰ装置３２との間でのネゴシエーションで変動する値である。（ｃ）の受信側取得電界強度は、ＩＰ装置３１が送信した電波について受信側、つまりＩＰ装置３２が計測した電界強度である。（ｄ）の受信レートは、ＩＰ装置３２が計測したデータの受信レートである。

次に、リンク情報を用いて伝送可能レートを算出する処理について説明する。ここで、図２に示した伝送可能レート推定部１０２は、送信側取得変調レベルと受信レートを用いて伝送可能レートＴを、式（１）に示すように算出する。
Ｔ＝ｄ・Ｍ_Ｓ・Ｎ_Ｓ … （１）
式（１）において、Ｍ_Ｓは、変調方式に応じた１シンボル当たりの情報量に符号化率を乗じた値である。Ｎ_Ｓは、受信レート、つまり１秒当たりの伝送シンボル数である。ｄは、安全のための、又はオーバーヘッドデータを考慮して予め定めた１よりも小さい正の係数（例えば、０．８〜０．９）である。

伝送可能レート推定部１０２は、過去の受信側取得電界強度Ｅ_Ｒと伝送可能レートｒとの関係に基づく回帰分析を行って、現在の受信側取得電界強度Ｅ_Ｒに応じて伝送可能レートｒを算出してもよい。例えば、３次の線形回帰を用いる場合には、伝送可能レート推定部１０２は、過去の受信側取得電界強度Ｅ_Ｒについて式（２）に示す関係に基づいて、最小二乗法等を用いて４つの係数ａ_０〜ａ_３を算出する。
Ｔ＝ａ_３・Ｅ_Ｒ ^３＋ａ_２・Ｅ_Ｒ ^２＋ａ_１・Ｅ_Ｒ＋ａ_０ … （２）
そして、伝送可能レート推定部１０２は、算出した係数ａ_０〜ａ_３と現在の受信側取得電界強度Ｅ_Ｒについて式（２）を用いて伝送可能レートＴを算出する。

伝送可能レート推定部１０２は、過去の受信側取得電界強度Ｅ_Ｒと送信側変調取得レベルと伝送可能レートＴとの関係に基づく回帰分析を行って、現在の受信側取得電界強度Ｅ_Ｒと現在の送信側変調取得レベルに応じて伝送可能レートＴを算出してもよい。例えば、２次の線形回帰を用いる場合には、伝送可能レート推定部１０２は、過去の受信側取得電界強度Ｅ_Ｒについて式（３）に示す関係に基づいて、最小二乗法等を用いて係数ａ_０〜ａ_２を算出する。
Ｔ＝ｂ_１・Ｍ_Ｓ・Ｎ_Ｓ＋ａ_２・Ｅ_Ｒ ^２＋ａ_１・Ｅ_Ｒ＋ａ_０ … （３）
そして、伝送可能レート推定部１０２は、算出した３つの係数ａ_０〜ａ_２と１つの係数ｂ_１と現在のＭ_Ｓ、Ｎ_Ｓ、受信側取得電界強度Ｅ_Ｒについて式（３）を用いて伝送可能レートＴを算出する。
なお、伝送可能レート推定部１０２は、式（１）〜（３）のうちの少なくとも２つを用いて算出した伝送可能レートＴのうち最も低い伝送可能レートＴを採用してもよい。これにより、現実の伝送レートが伝送可能レートＴを超えることで生じる伝送エラーを減少することができる。

次に、受信品質情報について説明する。受信品質情報は、図１に示した映像受信装置２１が受信したパケットの受信品質を示す情報であり、所定のプロトコル（例えば、ＲＴＣＰ：Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）で受信された受信レポート（ＲＲ：ＲｅｃｅｉｖｅｒＲｅｐｏｒｔ）である。受信品質情報には、受信したパケットの最大シーケンス番号、欠落パケット数が含まれる。パケットは、伝送する順序の昇順にシーケンス番号が付与されるところ、最大シーケンス番号は最後に受信したパケットの順位を示す。

伝送可能レート推定部１０２は、送信バッファ部１０５に記憶されている送信パケット情報を参照し、受信品質情報に基づいて符号化データを欠落せずに伝送できた伝送レートを算出することができる。ここで、伝送可能レート推定部１０２は、受信品質情報に基づいて欠落せずに伝送されたパケットを特定し、特定したパケットについて送信パケット情報が示すパケットの情報量、送信時間間隔（可変である場合のみ）を用いて符号化データの伝送レートを算出する。伝送可能レート推定部１０２は、算出した伝送レートを伝送可能レートとして採用する。なお、伝送可能レート推定部１０２は、算出した伝送レートに安全のため又はオーバーヘッドデータのための予め定めた１よりも小さい係数（例えば、０．８〜０．９）を乗じた値を伝送可能レートとして採用してもよい。

次に、階層選択部１０４（図２）が符号化データの階層数を選択する処理について説明する。階層選択部１０４は、具体的には式（４）を満たす階層数ｘのうち最大となる階層数ｎを選択する。

式（４）において、Ｒ_ｍは、階層ｍ（ｍは、１以上かつＮ以下の整数）に係る単位時間当たりの初送データ量（初送レート）、つまり、その階層の符号化レートに応じた伝送レートを示す。Ｓ_ｍは、階層ｍに係る単位時間当たりの再送データ量（再送レート）を示す。ここで、階層選択部１０４は、各階層ｍに係る伝送レートＴ_ｍ（＝Ｒ_ｍ＋Ｓ_ｍ）を、階層ｍ＝１から１ずつ増加させることによってＴ_ｍを累積して、階層数ｘでの伝送レートＴ_ｘを算出する。
階層選択部１０４は、算出した伝送レートＴ_ｘが伝送可能レートＴより小さいか否かを判定し、伝送レートＴ_ｘが伝送可能レートＴより小さいと判定された階層数ｘのいずれか、例えば、最大値（最大階層数）を階層数ｎとして選択する。これにより、下位の階層（ｍが小さい）の符号化データが上位の階層の符号化データよりも優先して伝送される。言い換えれば、映像受信装置２１では、伝送された符号化データを用いて極力最低限の品質の映像信号が再生される。

なお、階層選択部１０４は、その時点までの所定の時間内（例えば、１ｓ）に判定された最大階層数のうちの最小値を階層数ｎとして選択してもよい。これにより、伝送可能レートが急激に変動する場合でも、伝送レートが伝送可能レートを超えることで生じうる伝送エラーを減少することができる。

図４は、階層選択部１０４（図２）が階層数を選択する処理の一例を説明する図である。図４に示す伝送データ４２は、初送データと再送データからなる。初送データは、階層毎の初送データ４２−１〜４２−Ｎからなり、初送データ４２−１〜４２−Ｎはそれぞれの階層の符号化データ４１−１〜４１−Ｎを含む。再送データは、階層毎の再送データ４２ｒ−１〜４２ｒ−Ｎからなる。階層ｍにおける伝送レートＴ_ｍは、単位時間当たりの初送データ４２−ｍのデータ量と、再送データ４２ｒ−ｍのデータ量との合計データ量である。この伝送レートＴ_ｍを最下層から第ｘ階層まで累積して伝送レートＴ_ｘが得られる。
図４において、伝送レートＴ_ｘは、初送データ４２−１〜４２−ｘと再送データ４２ｒ−１〜４２ｒ−ｘを示す四角形の面積の合計で示される。他方、伝送可能レートＴの大きさは、水平方向を向いている線分の上下方向の座標で示される。この線分が上に示されるほど、伝送可能レートが大きいことを示す。この線分が初送データ４２−３と再送データ４２ｒ−３を示す四角形を横切ることは、伝送可能レートＴが第２階層までの伝送レートＴ_２より大きく、伝送レートＴ_３よりも小さいことを示す。このとき、階層数ｎとして２が選択される。

このとき、階層選択部１０４が選択した階層数ｎよりも上位の階層（例えば、第ｎ＋１階層）の符号化データは伝送されない。映像受信装置２１から受信した再送パケット要求情報が示す再送パケットには、その上位の階層の符号化データを格納したパケットが生じないので、その上位の階層の再送データ量が０とみなされる。図４に示す例に即すと、再送データ４２ｒ−ｎ＋１〜４２ｒ−Ｎが生じないことに相当する。仮に、伝送可能レートＴが増加する等の原因で、選択される階層数ｎが増加して、その上位の階層の符号化データを格納した再送パケットが生じる。このとき、送信すべき符号化データの伝送レートが伝送可能レートＴを上回って伝送エラーが生じることがある。反面、再送パケットの発生率は、そのパケットが格納している符号化データの階層数に依存しない。再送パケットの発生率は、再送パケットの個数の初送パケットの個数に対する割合、つまり、再送が要求された頻度を示す。

そこで、階層選択部１０４は、過去（例えば、直前）に選択した階層数ｎよりも上位の階層の再送レートを、第ｎ階層以下のパケットについて再送が要求された頻度に基づいて推定し、推定した再送レートを用いて現在の階層数ｎを選択してもよい。階層選択部１０４は、例えば、上位の各階層の再送パケットの発生率を第ｎ階層以下の再送パケットの発生率の平均値又は最大値と推定し、その発生率に初送レートを乗じて再送レートを推定する。これにより、第ｎ階層よりも上位の階層について再送レートを考慮して累積した伝送レートＴ_ｘと伝送可能レートＴとの比較がなされる。これによって、より上位の階層についての伝送レートが過小評価されないので、より大きい階層数が選択されたときに伝送レートＴ_ｘが伝送可能レートＴを超えることで生じる伝送エラーを減少することができる。

次に、本実施形態によるデータ送信処理の手順について説明する。
図５は、本実施形態におけるデータ送信処理の手順を示すフローチャートである。以下、このフローチャートに沿って説明する。
（ステップＳ１０１）符号化部１０１（図２）は、入力された映像信号を階層符号化し、Ｎ階層の符号化データを生成する。符号化部１０１は、生成したＮ階層毎符号化データを送信バッファ部１０５（図２）に出力する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）伝送可能レート推定部１０２（図２）は、送信した符号化データの伝送状態を示す情報を受信し、受信したデータに基づいて映像受信装置２１との間で符号化データの伝送可能レートを推定する。伝送可能レート推定部１０２は、推定した伝送可能レートを階層選択部１０４（図２）に出力する。その後、ステップＳ１０３に進む。

（ステップＳ１０３）再送データ量推定部１０３（図２）は、映像受信装置２１から受信した再送パケット要求情報に基づいて、階層毎に再送パケットの再送データ量を推定する。再送データ量推定部１０３は、階層毎に推定した再送データ量と受信した再送パケット要求情報を階層選択部１０４に出力する。その後、ステップＳ１０４に進む。
（ステップＳ１０４）階層選択部１０４は、再送データ量推定部１０３で階層毎に推定した再送データ量と初送データ量に基づく階層毎の伝送レートが、伝送可能レート推定部１０２が推定した伝送可能レートを超えない階層数のうちの最大の階層数を選択する。その後、ステップＳ１０５に進む。

（ステップＳ１０５）送信バッファ部１０５は、符号化部１０１から入力された階層毎の符号化データを格納した予め定めた形式のパケット（初送パケット）を生成し一時的に記憶する。送信バッファ部１０５は、既に記憶されたパケットのうち、階層選択部１０４から入力された再送パケット要求情報が示すパケットのうち、選択された階層数以下の階層の符号化データを格納したパケット（再送パケット）を指定する。送信バッファ部１０５は、生成及び指定されたパケットを映像受信装置２１（図７）に送信する。その後、図５に示す処理を終了する。

図６は、階層符号化による符号化データの他の例（符号化データ４３）を示す概略図である。符号化データ４３は、ＩＴＵ−ＴＨ．２６４／ＳＶＣを用いて生成された符号化データである。符号化データ４３は、２階層の符号化データ４３−１、４３−２を有し、下位階層の符号化データ４３−１、上位階層の符号化データ４３−２は、ベースレイヤ、拡張レイヤとも呼ばれる。符号化データ４３−２は、３つの符号化データ４３−２−１、４３−２−２、４３−３−３を有する。符号化データ４３−２−１、４３−２−２、４３−３−３は、それぞれ空間レイヤ、時間レイヤ、Ｓ／Ｎレイヤと呼ばれ、ベースレイヤよりもそれぞれ解像度、フレームレート、Ｓ／Ｎが高い成分を示す符号化データからなる。

そこで、符号化部１０１（図２）は、階層符号化の方式としてＩＴＵ−ＴＨ．２６４ＳＶＣを用いる場合、例えば、ベースレイヤを最下層の符号化データ、拡張レイヤ全体を一括して第２階層の符号化データとして取得されるように適用する。
また、符号化部１０１は、符号化データ４３−２を形成する３つの符号化データ４３−２−１、４３−２−２、４３−２−３間で予め定めた優先度に応じて階層化されているものとみなし、全体として３階層又は４階層の符号化データが取得されるように適用する。

例えば、３つの符号化データのうち、符号化レイヤ４３−２−１を符号化レイヤ４３−２−２、４３−２−３よりも優先させる場合には、符号化レイヤ４３−２−１が第２階層、符号化レイヤ４３−２−２、４３−２−３が一括して第３階層に適用される。これにより、フレームレートやＳ／Ｎ比よりも解像度が優先された映像が再生される。また、符号化レイヤ４３−２−２を符号化レイヤ４３−２−３よりも優先させる場合には、符号化レイヤ４３−２−２が第３階層、符号化レイヤ４３−２−３が第４階層に適用される。これにより、フレームレートの方がＳ／Ｎ比よりも優先された映像が再生される。
また、３つの符号化データのうちの２つを一括して残りの１つよりも優先させてもよい。例えば、符号化レイヤ４３−２−１、４３−２−２が第２階層、符号化レイヤ４３−２−３が第３階層に適用することで、解像度とフレームレートがＳ／Ｎ比よりも優先された映像が再生される。

なお、ＩＴＵ−ＴＨ．２６４／ＳＶＣでは、動画を構成する各フレームの画像（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の符号を、予め定めたフレーム数（例えば、１５フレーム）からなるＧＯＰを単位として符号化することがある。本実施形態では、符号化する際、ＧＯＰよりも時間的により細分化された単位、例えば、フレーム単位、各フレームでの個々の階層の単位、等で行ってもよい。これにより、伝送路３３における伝送状態の変動への追従性を向上させることができる。

次に、本実施形態に係る映像受信装置２１の構成について説明する。
図７は、本実施形態に係る映像受信装置２１の機能構成を示す概略ブロック図である。図示するように、映像受信装置２１は、受信バッファ部２０１と、欠落パケット検出部２０２と、受信品質情報取得部２０３と、復号部２０４とを含んで構成される。

受信バッファ部２０１は、映像送信装置１１（図２）から受信したパケットを一時的に（例えば、０．１秒〜０．２秒の間）記憶する。受信バッファ部２０１は、例えば、ゆらぎ吸収バッファを含んで構成される。ゆらぎとは、伝送される過程で発生する遅延により、パケットが受信される時間間隔が不均等になる現象である。受信バッファ部２０１は、記憶したパケットから所定の順序で、送信バッファ部１０５（図２）が送信した時間間隔と同一の時間間隔で符号化データを読み出す。これにより、受信バッファ部２０１は、受信したパケットに格納された符号化データについて、送信バッファ部１０５が送信した順序と時間間隔を復元することができる。所定の順序とは、例えば、記憶したパケットに格納されたシーケンス番号の昇順である。

受信バッファ部２０１は、読み出した符号化データを階層毎に集約し、集約した符号化データを復号部２０４に出力する。但し、受信バッファ部２０１は、集約した所定の階層（例えば、最下層）の符号化データから音声に基づく符号化データと、映像の基づく符号化データとを分離する。受信バッファ部２０１は、その階層については、集約した符号化データの代わりに音声に基づく符号化データと、その階層の映像に基づく符号化データを復号部２０４に出力する。

受信バッファ部２０１は、受信したパケットを記憶する前に誤り訂正処理を行ってもよい。そこで、送信バッファ部１０５（図２）は、パケットを生成する際に、所定の誤り訂正符号（例えば、畳み込み符号）をパケットに格納する。受信バッファ部２０１は、受信したパケットから抽出した誤り訂正符号を用いて、そのパケットについて、予め定めた方式（例えば、ビタビアルゴリズム）を用いて誤り訂正処理を行う。

欠落パケット検出部２０２は、受信バッファ部２０１が受信したパケットのシーケンス番号を参照して、伝送される過程で欠落した欠落パケットを予め定めた時間間隔（例えば、５ミリ秒）又は映像送信装置１１とのネゴシエーションで定められた時間間隔で検出する。シーケンス番号は、上述したように、伝送する順序の昇順に予め定めた増加幅で増加する。そこで、欠落パケット検出部２０２は、前回受信品質情報を生成した後に受信したパケット間でシーケンス番号の増加幅に変調が生じたことを判定し、その前後のシーケンス番号に基づいて本来存在すべきシーケンス番号を推定する。欠落パケット検出部２０２は、推定したシーケンス番号を欠落パケットのシーケンス番号と判定し、判定したシーケンス番号を示す再送パケット要求情報を生成する。欠落パケット検出部２０２は、生成した再送パケット要求情報を予め定めたプロトコル（例えば、ＲＴＰ）で映像送信装置１１及び受信品質情報取得部２０３に出力する。

受信品質情報取得部２０３は、受信バッファ部２０１が受信したパケットの受信品質情報を取得する。受信品質情報取得部２０３は、受信品質情報として、例えば、上述した受信レポートを予め定めた時間間隔（例えば、５ミリ秒）又は映像送信装置１１とのネゴシエーションで定められた時間間隔で生成する。受信品質情報取得部２０３は、その時点での受信したパケットの最大シーケンス番号を受信バッファ部２０１に記憶されたパケットを参照して取得する。受信品質情報取得部２０３は、欠落パケット検出部２０２から入力された再送パケット要求情報が示す欠落パケットのうち、前回受信品質情報を送信してから、その時点までの欠落パケットの数を計数する。受信品質情報取得部２０３は、生成した受信品質情報を予め定めたプロトコル（例えば、ＲＴＣＰ）で映像送信装置１１に送信する。

復号部２０４は、受信バッファ部２０１から入力された映像に基づくＮ階層の符号化データのうちの一部又は全部であるｎ個の階層（第１階層〜第ｎ階層）の符号化データについて所定の映像復号方法で復号して映像信号を生成する。所定の映像復号方法とは、符号化部１０１（図２）で用いられた映像符号化方法に対応する復号方法である。復号部２０４は、受信バッファ部２０１から入力された音声に基づく符号化データについて所定の音声復号方法で復号して音声信号を生成する。所定の音声復号方法とは、符号化部１０１が用いた映像符号化方法に対応する復号方法である。
復号部２０４は、生成した音声信号と映像信号を映像受信装置２１の外部、例えば、映像表示装置、録画装置、等に出力する。

次に、本実施形態に係るデータ受信処理の手順について説明する。
図８は、本実施形態に係るデータ受信処理を示すフローチャートである。以下、このフローチャートに沿って説明する。
（ステップＳ２０１）受信バッファ部２０１（図７）は、映像送信装置１１（図２）が送信したパケットを受信し、受信したパケットを一時的に記憶する。その後、ステップＳ２０２に進む。
（ステップＳ２０２）欠落パケット検出部２０２（図７）は、受信バッファ部２０１が受信したパケットのシーケンス番号を参照して、伝送される過程で欠落した欠落パケットを検出する。欠落パケット検出部２０２は、検出した欠落パケットを再送パケットとして再送を要求することを示す再送パケット要求情報を映像送信装置１１に送信する。その後、ステップＳ２０３に進む。

（ステップＳ２０３）受信品質情報取得部２０３（図７）は、受信バッファ部２０１が受信したパケットのシーケンス番号と欠落パケット検出部２０２が検出した欠落パケットのシーケンス番号に基づいてパケットの受信品質を示す受信品質情報を取得する。受信品質情報取得部２０３は、取得した受信品質情報を映像送信装置１１に送信する。その後、ステップＳ２０４に進む。
（ステップＳ２０４）復号部２０４（図７）は、受信バッファ部２０１が受信したパケットに格納された符号化データを階層毎に集約し、集約した階層の符号化データについて符号化部１０１（図２）が用いた映像符号化方法に対応する復号方法を用いて映像信号を生成する。復号部２０４は、生成した映像信号を出力する。その後、図８に示す処理を終了する。

このように、本実施形態によれば、入力された映像をそれぞれ異なる品質に対応した複数の階層の符号化データに符号化し、前記符号化データの伝送状態に基づいて前記符号化データを伝送可能な伝送速度を推定する。また、本実施形態では、前記符号化データに係る伝送速度と、再送が要求された符号化データに係る伝送速度との階層間の合計が、前記伝送可能速度推定部が推定した伝送速度を超えない階層数を選択する。
つまり、本実施形態では、階層方式を用いて圧縮符号化することによって映像を伝送するため、伝送が途切れた場合に、伝送が途切れている間に送信されたデータのうち、一部（より低い階層のデータ）を再送等によって回復させれば、受信側で映像は途切れない。よって、回復するデータは一部のみで良く、伝送遅延を減らすことができる。
またこれにより、階層数を選択することで伝送される符号化データの情報量を急激に制御することができ、伝送可能速度が低下しても伝送可能な階層数の符号化データのみを伝送することで、再送される符号化データの情報量を抑制し伝送エラーを低減できる。そのため、記憶すべき符号化データの情報量を減少して伝送遅延を低減することができる。

なお、映像送信装置１１と映像受信装置２１との間では、無線のＩＰ伝送路３３に限らず、その他の伝送方式による伝送路、例えば、公衆無線通信網や構内無線通信網を介してデータの送受信がなされてもよい。データの送受信は、無線の伝送路に限らず、無線の伝送路に代えて、又はこれと組み合わせた有線の伝送路を介してなされてもよい。
映像送信装置１１と映像受信装置２１では、音声に基づく符号化データの送受信が省略されていてもよい。その場合には、映像送信装置１１では音声信号の符号化が、映像受信装置２１では音声に基づく符号化データの復号が省略されていてもよい。

符号化部１０１は、入力された音声信号を階層符号化して音声に基づく階層毎の符号化データを生成し、階層選択部１０４は、その符号化データに基づく階層毎の初送レート、再送レートを階層間で累積した伝送レートに応じて階層数を選択してもよい。その場合、復号部２０４は、受信した音声に基づく階層毎の符号化データを、符号化部１０１が用いる階層符号化方式に対応する階層復号方式を用いて復号した音声を出力する。

なお、上述した実施形態における映像送信装置１１の一部、例えば、符号化部１０１、伝送可能レート推定部１０２、再送データ量推定部１０３及び階層選択部１０４を、映像受信装置２１の一部、例えば、欠落パケット検出部２０２、受信品質情報取得部２０３及び復号部２０４を、コンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、映像送信装置１１又は映像受信装置２１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における映像送信装置１１及び映像受信装置２１の一部、または全部を、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。映像送信装置１１及び映像受信装置２１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１映像伝送システム
１１映像送信装置
１０１符号化部（階層符号化部）
１０２伝送可能レート推定部（伝送可能速度推定部）
１０３再送データ量推定部
１０４階層選択部
１０５送信バッファ部
２１映像受信装置
２０１受信バッファ部
２０２欠落パケット検出部
２０３受信品質情報取得部
２０４復号部、
３１、３２ＩＰ装置
３３ＩＰ伝送路

Claims

入力された映像をそれぞれ異なる品質に対応した複数の階層の符号化データに符号化する階層符号化部と、
前記符号化データの伝送状態に関する伝送状態情報を受信し、前記伝送状態情報に基づいて前記符号化データを伝送可能な伝送速度を推定する伝送可能速度推定部と、
前記符号化データに係る伝送速度と、再送が要求された符号化データに係る伝送速度との階層間の合計が、前記伝送可能速度推定部が推定した伝送速度を超えない階層数を選択する階層選択部と、
を備える映像送信装置であって、
前記階層選択部は、過去に選択した階層数よりも上位の階層の再送が要求された符号化データに係る伝送速度を、より下位の階層の符号化データについて再送が要求された頻度に基づいて推定する、
ことを特徴とする映像送信装置。