JP5335294B2 - 動画像処理システム、動画像処理方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、動画像データの処理を行う動画像処理技術に関するものである。

一般に、オーディオ信号およびビデオ信号を多重伝送する動画像圧縮伸張伝送システムでは、オーディオ（音声）、ビデオ（画像）、それぞれの信号化処理部において両者の同期を取り出力する必要がある。

画像と音声の同期を可能にするために、国際標準の符号化方式であるＭＰＥＧ２、ＭＰＥＧ１などでは、タイムスタンプ（Time Stamp；以下、「ＴＳ」と記す。）という出力タイミング情報（動画像の出力時刻の情報）を使っている。このＴＳには、プレゼンテーションタイムスタンプ（Presentation Time Stamp；以下、「ＰＴＳ」と記す。）と、デコーディングタイムスタンプ（Decoding Time Stamp；以下、「ＤＴＳ」と記す。）と、がある。

ＭＰＥＧシステムの復号器のＳＴＣ（System Time Clock）が、ＰＴＳに一致したときに、オーディオ信号あるいはビデオ信号を再生出力する。ＳＴＣは、ＭＰＥＧ２、ＭＰＥＧ１などで定義されているもので、基準となる時刻情報を与える。また、ＭＰＥＧでは、ＩピクチャとＰピクチャはＢピクチャより先行して符号化ストリームに送出されることによる復号順序および再生出力順序の相違に対応して、ＤＴＳを設けている。ＰＴＳとＤＴＳが一致する場合はＰＴＳのみをタイムスタンプとして付加する。

ＭＰＥＧ２では、ＰＥＳ（Paketized Elementary Stream）パケットのように複数のパケットを可変長の長さでパケット化して、ビデオストリームにタイムスタンプを付加する方式がある。一般に、オーディオ信号が符号化されたデータ（以下、「オーディオストリーム」と記す。）と、ビデオ信号が符号化されたデータ（以下、「ビデオストリーム」と記す。）とを、多重化したストリームをシステムストリームと呼ぶが、このシステムストリームには、オーディオ、ビデオそれぞれのＴＳが付加される。

なお、ＴＳは、オーディオ信号およびビデオ信号ともにアクセスユニットを基準として付加される。オーディオ信号のアクセスユニットの場合にはシンクワード（オーディオストリーム内の一定ワード毎にあるコード）、ビデオ信号のアクセスユニットの場合にはピクチャスタートコード（Picture Start Code。ビデオストリーム内にあるピクチャの区分を示すコード）部分を基準に付加される。また、ＤＴＳおよびＰＴＳのＴＳは、ＰＥＳパケットのヘッダ内に付加される。

図８は従来の動画像圧縮伸張伝送システムの概略を示すブロック図である。動画像圧縮伸張伝送システムは、大別して、送信側、伝送側および受信側のシステムから構成されている。図８において、送信側では、入力オーディオ信号５０が、オーディオ符号化処理部５１に入力される。オーディオ符号化処理部５１は、入力オーディオ信号５０を符号化したオーディオストリーム５２をマルチプレクサ５６へ出力する。また、入力ビデオ信号５３は、ビデオ符号化処理部５４に入力される。ビデオ符号化処理部５４は、入力ビデオ信号５３を符号化したビデオストリーム５５をマルチプレクサ５６へ出力する。

マルチプレクサ５６に入力されたオーディオストリーム５２とビデオストリーム５５とは多重化され、システムストリーム６１となり伝送路６２へ出力される。

マルチプレクサ５６は、システムタイムクロック（ＳＴＣ）処理部５７、オーディオパケッタイズ部５９、ビデオパケッタイズ部６０、スイッチ部１００５で構成されている。

オーディオパケッタイズ部５９は入力されたオーディオストリーム５２を一定長に区切り、パケットを形成し、データ１００３をスイッチ部１００５へ出力する。そして、スイッチ部１００５により選択され、システムストリーム６１としてパッケト単位で多重化される。このとき、オーディオストリーム５２でパケッタイズされるデータ長の中にシンクワードがあれば、パケットのヘッダ部分にＴＳを付加する。なお、このＴＳは、システムタイムクロック処理部５７のＳＴＣデータ５８を基に求められる。

一方、ビデオパケッタイズ部６０も、入力されたビデオストリーム５５を一定長に区切り、パケットを形成し、データ１００４をスイッチ部１００５へ出力する。そして、スイッチ部１００５により選択され、システムストリーム６１としてパケット単位で多重化される。このとき、ビデオストリーム５５のパケッタイズされるデータ長の中に、ピクチャスタートコードがあれば、パケットのヘッダ部分にＴＳを付加する。なお、このＴＳは、システムタイムクロック処理部５７のＳＴＣデータ５８を基に求められる。

そして、受信側でＳＴＣの再生が可能なように、周期的にＳＴＣデータ５８は、スイッチ部１００５により選択され、システムストリーム６１として多重化される。次に、受信側では、伝送路６２を介して伝送されてきたシステムストリーム６３が、デマルチプレクサ部６４に入力され、分離される。そして、オーディオストリーム６７とオーディオＴＳ１０１２、ビデオストリーム７０とビデオＴＳ１０１３、ＳＴＣデータ１０１０となり出力される。

デマルチプレクサ部６４は、スイッチ部１００６、ＳＴＣ再生部１０１１、オーディオパケット解析部６５、ビデオパケット解析部６６で構成されている。システムストリーム６３からオーディオパケットデータ１００７をオーディオパケット解析部６５へ、ビデオパケットデータ１００９をビデオパケット解析部６６へ、ＳＴＣデータ１００８をＳＴＣ再生部１０１１へ出力する。

オーディオパケット解析部６５は、入力されたオーディオパケットデータ１００７を解析し、オーディオストリーム６７とオーディオＴＳ１０１２とに分離してオーディオ復号化処理部６８へ出力する。一方、ビデオパケット解析部６６は、入力されたビデオパケットデータ１００９を解析し、ビデオストリーム７０とビデオＴＳ１０１３とに分離してビデオ復号化処理部７１へ出力する。

また、ＳＴＣ再生部１０１１は、入力されたＳＴＣデータ１００８から、送信側のシステムタイムクロック処理部５７が出力するＳＴＣデータ５８と常に同一の出力となるようにＳＴＣデータ１０１０を再生する。そして、ＳＴＣ再生部１０１１は、ビデオ復号化処理部７１およびオーディオ復号化処理部６８へ出力する。オーディオ復号化処理部６８は、入力されたオーディオストリーム６７を、オーディオＴＳ１０１２とＳＴＣデータ１０１０とを参照して復号化し、ＴＳに従った時刻で、出力オーディオ信号６９を出力する。

ビデオ復号化処理部７１は、入力されたビデオストリーム７０を、ビデオＴＳ１０１３とＳＴＣデータ１０１０とを参照して復号化し、ＴＳにしたがった時刻で、出力ビデオ信号７２を出力する。

つぎに、各復号化処理部でのＴＳによる出力動作について、具体的に説明する。ＴＳによる出力動作は、オーディオ復号化処理部６８とビデオ復号化処理部７１とで、オーディオとビデオとのそれぞれのＴＳのＰＴＳの値と、ＳＴＣデータの値とが一致したときに、対応するデータ部分を出力することで実現される。

例えば、オーディオストリーム６７のあるシンクワードＡｎに対応するＰＴＳの値を、ＰＴＳ（Ａｎ）とする。ＳＴＣデータ１０１０の値がＰＴＳ（Ａｎ）と同じになったときに、オーディオ復号化処理部６８は、シンクワードＡｎ部分の復号化されたデータを出力する。

同様に、ビデオストリーム７０のあるピクチャスタートコードＶｎに対応するＰＴＳの値を、ＰＴＳ（Ｖｎ）とする。ＳＴＣデータ１０１０の値がＰＴＳ（Ｖｎ）と同じになったときに、ビデオ復号化処理部７１は、ピクチャスタートコードＶｎ部分の復号化されたデータを出力する。

ここで、図８に示す動画像圧縮伸張伝送システムにおいて、送信側のオーディオ符号化処理部５１に入力オーディオ信号５０が入力されてから、受信側のオーディオ復号化処理部６８より出力オーディオ信号６９が出力されるまでの時間がｔａであるとする。同様に、送信側のビデオ符号化処理部５４に入力ビデオ信号５３が入力されてから、受信側のビデオ復号化処理部７１より出力ビデオ信号７２が出力されるまでの時間がｔｖであるとする。

この場合、ビデオとオーディオの同期をとるには、入力から出力までの時間をｔａ＝ｔｖとなるように、伝送処理系の処理時間を設定し、その処理時間を基にそれぞれＰＴＳの時間を設定すれば良いことになる。つぎに、マルチプレクサ５６を構成するオーディオパケッタイズ部５９とビデオパケッタイズ部６０とにおけるＴＳ算出を説明する。

まず、オーディオ信号の入力から出力までの時間ｔａのうち、マルチプレクサ５６に入力されるまでの時間がｔａ１で、残りの時間がｔａ２であるとする。ここで、マルチプレクサ５６に入力されたオーディオストリーム５２のパケッタイズされるべきデータ長の中に、あるシンクワードＡｎがあるとする。このとき、パケッタのヘッダ部分にＴＳを付加するときのＳＴＣデータ５８の値がＳＴＣ２（Ａｎ）であるとすれば、ＰＴＳ（Ａｎ）は、以下の(1)により求めることができる。

ＰＴＳ（Ａｎ）＝ＳＴＣ２（Ａｎ）＋ｔａ２ ・・・(1)
ビデオについても、ビデオ信号の入力から出力までの時間ｔｖのうち、マルチプレクサ５６に入力されるまでの時間がｔｖ１で、残りの時間がｔｖ２であるとする。ここで、マルチプレクサ５６に入力したビデオストリーム５５のパケッタイズされるべきデータ長の中に、あるピクチャスタートコードＶｎがあるとする。このとき、パケッタのヘッダ部分にＴＳを付加するときのＳＴＣデータ５８の値がＳＴＣ２（Ｖｎ）であるとすれば、ＰＴＳ（Ｖｎ）も、以下の(2)式により求めることができる。

ＰＴＳ（Ｖｎ）＝ＳＴＣ２（Ｖｎ）＋ｔｖ２ ・・・(2)
しかし、ビデオの場合、ビデオ符号化処理部５４において可変長符号化されたり、ピクチャ単位の入れ替わりが行われる。このため、ｔｖ１が符号化状況により変動する。従って、ｔｖ２も変動してしまい、（ｔｖが固定で、ｔｖ２＝ｔｖ−ｔｖ１であるため。）ＳＴＣ２（Ｖｎ）に加算すべきｔｖ２を予め設定できないという問題があり、オーディオと同様に求めることは不可能である。また、ビデオの場合、ピクチャ単位の入れ替わりがあるために、ＤＴＳも求める必要がある。

ここで、ピクチャ単位の入れ替わりについて、図９の概略図を使用して説明する。図８では、ピクチャ単位の入れ替わりに関する遅延時間は考慮されているが、その他の処理時間等は省略している。図９において、（ａ）は、ビデオ符号化処理部５４に入力される入力ビデオ信号５３を示す。（ｂ）は、ビデオ符号化処理部５４から出力されるビデオストリーム５５（あるいは、ビデオパケット解析部６６から出力されるビデオストリーム７０。）を示す。（ｃ）は、ビデオ復号化処理部７１から出力される出力ビデオ信号７２を示している。いずれの信号にも記載されている符号Ｉ、Ｐ、Ｂは、ＭＰＥＧ２，ＭＰＥＧ１で定義されているピクチャコーディングタイプ（Picture Coding Type）を示している。図９の例では、ＩまたはＰピクチャのピクチャ間隔は３ピクチャであり、このＩまたはＰピクチャのピクチャ間隔のことを、一般にＭ値と呼んでいる（図９の場合はＭ値＝３となる。）。なお、各信号の上部のかっこ内に示す数値はテンポラルリファレンス（Temporal Reference）の値で、これは入力ビデオ信号５３におけるピクチャの順番を示している。

ピクチャ単位の入れ替わりは、つぎのように行なわれる。ビデオ符号化処理部５４において、（ａ）に示す入力ビデオ信号５３は、Ｂピクチャのみを、後方のＩあるいはＰピクチャの後に、順次遅延し挿入してピクチャの順番を入れ替え、（ｂ）に示すビデオストリーム５５の状態とする。この入れ替わりの状態は、ビデオストリーム７０でも変わらない。

つぎに、ビデオ復号化処理部７１において、逆にビデオストリーム７０のＩ、Ｐピクチャを後方の連続するＢピクチャの後に順次遅延し挿入して、元の順番に戻し、（ｃ）に示す出力ビデオ信号７２のように元の順番とする。このように、ビデオ復号化処理部７１で順番を戻すことを、リオーダ（reorder）と呼んでいる。

ビデオ復号化処理部７１でのリオーダにおけるＰＴＳとＤＴＳの関係を図１０に示し、説明する。ビデオ復号化処理部７１に入力されたビデオストリーム７０は、可変長符号化による時間軸上での変動分を吸収するため、ビデオ復号化バッファ７３に記憶された後、ビデオストリーム７４としてビデオ復号化回路７５へ出力される。ビデオ復号化回路７５は、入力されたビデオストリーム７４を復号化し、データ７６とする。

ここで、データ７６のＢピクチャ部分は、そのまま出力ビデオ信号７２として出力される。一方、データ７６のＩあるいはＰピクチャ部分は、ビデオリオーダバッファ７７で遅延されたデータ７８となる。データ７６とデータ７８とがスイッチ部７９を介して、出力ビデオ信号７２として出力される。データ７６とデータ７８の切り替えは、スイッチ部７９が行う。また、ビデオリオーダバッファ７７での遅延時間は、（Ｍ値×ピクチャ周期）となる。このビデオ復号化処理部７１の処理でピクチャ単位の順番を元に戻すことが可能となる。

図１０において、ＰＴＳは、ビデオ復号化処理部７１から出力される出力ビデオ信号７２の出力時間を示すものであるが、ＤＴＳは、ビデオ復号化バッファ７３から出力されるビデオストリーム７４の出力が待つ時間を示すものである。ＭＰＥＧ２、ＭＰＥＧ１では、ＴＳの定義において、ビデオ復号化回路７５の処理時間はゼロと仮定している。したがって、Ｂピクチャの場合、ＤＴＳ＝ＰＴＳとなる。

したがって、Ｉ、ＰピクチャにはＰＴＳとＤＴＳが付加される。ＢピクチャにはＰＴＳだけが付加される（ＤＴＳ＝ＰＴＳであるため）。以上のように、ビデオに関するＴＳの付加は、オーディオに比べ複雑なものとなる。

ここまでの説明で使用した、ピクチャスタートコード、テンポラルリファレンス、ピクチャコーディングタイプが、図８のビデオストリーム５５に付加されている構成例を図１１に示す。これは、ＭＰＥＧにおける例である。図１１に示すように、入力ビデオ信号５３（図８参照）の各フレームあるいは各フィールドに対応する符号データ部分は、ピクチャレイヤ（Picture layer）と呼ばれ、３２ビットの固有値であるピクチャスタートコードで始まる。このコードに続き１０ビットのテンポラルリファレンスがあり、さらに３ビットのピクチャコーディングタイプがある。

また、その後に１６ビットのビデオ遅延時間制御情報（Video Buffering Verifier Delay:vbv_delay）などのヘッダが付加されており、そのヘッダの後に実際の符号データが続いている。ビデオ遅延時間制御情報は可変長符号化された符号データ、その平均レートとしての一定レートで受信し、復号化するために必要なビデオ復号化処理部内のバッファ（ビデオ復号化バッファ７３）における遅延時間を示す情報である。このビデオ遅延時間制御情報に従って、バッファの読出し制御をすることで、バッファのアンダーフローやオーバーフローの回避が可能になる。

なお、このビデオ遅延時間制御情報は、ビデオ符号化処理部５４の内部で、生成して付加している。このとき一般的には、受信側のビデオ復号化処理部７１内のバッファの容量と、各ピクチャごとの圧縮された結果である符号量と、平均レートから、各ピクチャ単位にビデオ遅延時間制御情報は演算、生成される。ＭＰＥＧ２では、ビデオ遅延時間制御情報をvbv_delayと呼び、バッファをVBV バッファと呼ぶ。

次に、従来のＴＳの演算方式について説明する。図１２は、従来のタイムスタンプ付加装置の機能構成を示す図である。ビデオ符号化処理部５４は、符号器５４ａ、符号器側ｖｂｖバッファ５４ｂおよび出力部５４ｃから構成されている。ビデオパケッタイズ部６０は、パケットバッファ６０ａ、タイムスタンプ付加部６０ｂ、タイムスタンプ演算部６０ｃおよびシステムタイムクロックバッファ６０ｄから構成される。

入力ビデオ信号５３は可変長データなので可変レートの伝送速度で入力される。通常、システムの伝送路においては一定レートの伝送速度で伝送されるので、ビデオ符号化処理部５４とマルチプレクサ５６との間の伝送路で伝送速度を一定レートとするために符号器側ｖｂｖバッファ５４ｂが必要となる。また、入力ビデオ信号５３がビデオ符号化処理部５４へ入力される時のＳＴＣを使ってタイムスタンプ演算部６０ｃでタイムスタンプを生成する。このとき、ビデオ信号は、信号処理にある程度の処理時間（数十ｍｓｅｃ）を必要とする。ＳＴＣ値の演算に使用するまでの間、前述のようなピクチャ単位の入れ替わりがあり符号化処理遅延が大きいので、それを緩衝するためにシステムタイムクロックバッファ６０ｄを設けている。

パケットバッファ６０ａは、タイムスタンプを付加してパケットにしようとするデータを一時的に保持する。パケットバッファ６０ａは、タイムスタンプ付加部６０ｂへのデータ入力とタイムスタンプ演算部６０ｃで生成されたタイムスタンプの入力とを同期させてタイムスタンプを付加するタイミングをとるためのものである。そのため、パケットバッファ６０ａからタイムスタンプ付加部６０ｂへのデータ入力は一定レートとなる。

上述の従来技術として、例えば、以下の特許文献１に示されるものがある。
特開平９−３０７８９１号公報

上記の従来技術では、映像の高画質化処理等の処理時間は考慮されておらず、タイムスタンプで示される時間にデータが間に合わなければ画像に乱れが生じる。また、実際のタイムスタンプより早い時間にデータが到着する場合には、データを保持しておくためのバッファが必要となる。そのため、タイムスタンプとデータの到着時刻との差が大きければ、膨大なバッファ領域を確保する必要が生じる。

上記の課題を鑑み、本発明は、映像の高画質化等の画像処理にかかる時間を予測し、映像出力部へのデータの到着時刻を予測して、タイムスタンプ以後にデータが到着することを抑制することで画像の乱れをなくすことを目的とする。

あるいは、上記の課題を鑑み、本発明は、タイムスタンプ以前に到着するデータ量を削減することにより、必要とされるバッファ領域の容量を削減することを目的の一つとする。

上記の目的の少なくともいずれかを達成する本発明にかかる動画像処理システムは、動画像をタイルに分割し、分割したタイルに対応する情報をパケット化して処理を行う動画像処理システムであって、
パケットの処理時間を計測するためにパケット送出時刻を設定した処理時間計測パケットを生成し、送信する処理時間計測パケット生成手段と、
送信された前記処理時間計測パケットに含まれるタイルに対応する情報に対し処理を行うパケット処理手段と、
前記パケット処理手段から前記処理時間計測パケットを受信して、当該処理時間計測パケットに設定されている前記パケット送出時刻と、当該処理時間計測パケットの受信時刻と、に基づきパケットの処理に要するパケット処理時間を計測するパケット処理時間計測手段と、
前記パケット処理時間に基づき、前記タイルに分割した動画像のタイムスタンプを決定する決定手段と、
前記タイルに分割された動画像の情報と、前記タイムスタンプと、をパケット化して処理するパケット化手段と、
を備えることを特徴とする。

本発明によれば、映像の高画質化等の画像処理にかかる時間を予測し、映像出力部となる最終段への到着時刻を予測することにより、タイムスタンプ以後にデータが到着することが減少し、画像の乱れをなくすことができる。

あるいは、タイムスタンプ以前に到着するデータ量が膨大になることもない。そのため、必要なバッファ領域を削減することができる。

以下、図面を参照して、本発明の好適な実施形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

（第１実施形態）
図１は、本発明の第１実施形態にかかる動画像処理システムの構成を示すブロック図である。動画像処理システムは、動画像をタイルに分割し、分割したタイルに対応する情報をパケット化して処理を行うことが可能である。映像入力部１００は、パケット生成部１０１内のタイル分割部１０４へ接続されている。パケット生成部１０１は、映像入力部１００からの映像入力を受け、パケットを生成する。パケット生成部１０１は、タイル分割部１０４、処理時間測定パケット生成部１０３、処理時間予測部１０２、パケット化部１０５で構成されている。

タイル分割部104は、パケット化部105に接続されている。タイル分割部104は、映像入力部100からの映像入力を受け、映像データをタイルへ分割する。本実施形態では、例えば、映像データを8pixel×128pixelのタイルへ分割するものとして説明を行う。尚、本発明の趣旨は、タイルの分割サイズとして、この例に限定されないことはいうまでもない。

処理時間測定パケット生成部103はパケット化部105に接続されている。処理時間測定パケット生成部103は、パケットの処理時間を測定するための処理時間測定パケットの生成を行う。

図7は、パケットの構成を示す図である。パケットはヘッダー701とペイロードタイルブロック（Payload Tile Block）702とを有する。処理時間測定パケット生成部103は、パケット内のデータ生成（ペイロードタイルブロック（Payload Tile Block）702内のデータ生成）を行い、パケット化部105へ出力する。パケット化部105でヘッダ情報（ヘッダー701）を付加し、パケットの送出を行う。図5は、ヘッダ情報の構成を示す図である。パケット化部105では、Arrival Time505にパケット送出時刻を設定する。送出されたパケットは、パケット受信部107で受信され、パケット処理時間計測部108においてパケット到着間が計測される。パケット到着時間とヘッダ情報内のArrival Time505に設定されたパケット送出時刻との差がパケット処理時間Ｔｐとなる。

処理時間予測部102は、パケット化部105と、パケット受信部107内のパケット処理時間計測部108と、に接続している。処理時間予測部102は、パケット処理時間計測部108からの入力からヘッダ情報に付加するタイムスタンプ（Arrival Time505）を決定する。パケット処理時間計測部108からは、処理時間測定パケットにより計測されたパケット処理時間Tｐが入力される。処理時間予測部102は、パケット処理時間Tpとパケット処理にかかる時間の揺らぎを含めた最大許容誤差時間Tmとパケットの送出時間Tsendを加算し、タイムスタンプTsを、(3)式に従い決定する。

Tｓ（タイムスタンプ）＝Tp（パケット処理時間）＋Tm（最大許容誤差）＋Tsend（送出時間） ・・・・(3)
パケット化部105は、タイル分割部104、処理時間測定パケット生成部103、処理時間予測部102からの入力を受け、パケットヘッダの付加と、コマンドパケットの生成を行い、パケット処理部106ａへパケットの送出を行う。

パケット処理部106ａ、ｂ、ｃは、パケットを入力として受け付ける。コマンドパケットが入力された場合には、パケット内の記述に従いレジスタへのアクセスを行う。映像タイルパケット及び処理時間計測パケットが入力された場合には、レジスタ設定に従いパケット内の映像タイルデータの処理を行う。

パケット受信部107は、ヘッダ解析部109、パケット処理時間計測部108とタイル結合部110で構成されている。パケット受信部107は、パケット処理部106ｃからの入力を受け、映像データを映像出力部111へ出力する。ヘッダ解析部109は、パケット処理部106ｃからパケットを受け、ヘッダ情報の解析を行う。受信したパケットがコマンドパケットであれば、何も処理をしないでパケットを廃棄する。映像タイルパケットを受信した場合には、ヘッダ情報と映像タイルデータを分離し、映像タイルデータをタイル結合部110へ出力する。処理時間測定パケットを受信した場合は、パケット処理時間計測部108にヘッダ情報を出力し、残りのデータは廃棄する。

パケット処理時間計測部108は、ヘッダ解析部109とパケット生成部101内の処理時間予測部102とに接続されている。パケット処理時間計測部108は、ヘッダ解析部109からの出力を受け、パケット到着時間とヘッダ情報内のArrival Time505に設定されたパケット送出時刻の差をパケット処理時間として計測する。パケット処理時間計測部108は、計測したパケット処理時間を、処理時間予測部102へ通知する。

タイル結合部110は、8pixel×128pixelに分割された映像データを結合し映像の復元を行う。結合された映像データは、映像出力部111に出力される。映像出力部111は、パケット受信部107内のタイル結合部110と接続し、映像出力部111は、タイル結合部110から映像データを受け表示画面へ映像を出力する。

次に、本実施形態にかかる、パケットフォーマットの詳細を説明する。本発明の実施形態にかかる動画像処理システム内では、映像データ、映像像処理部へのコマンド及びパラメータを、パケット化された形式で転送する。本実施形態では、映像データを、例えば、8pixel×128pixelのタイル単位に分割して取り扱う例を示す。本実施形態では、コマンドパケット、映像タイルデータパケット、処理時間測定パケットの3種類のパケットがある。

図5は、パケットヘッダの構成を示す図であり、パケットヘッダは全てのパケットで共通である。Next input port & parameter index501は、パケット処理部106においてのデータ経路を示すものである。左詰で処理順に設定し、各パケット処理部106は処理後Next input port & parameter index501を8bitシフトする。Next input port & parameter index501は、port502とindex503の組が14組格納されている。ｐort502は、次の処理部の入力ポート番号を示す。Index503は、各処理部が用いるstatic parameterの番号を示す。

Arrival Time505は、映像タイルパケットでは、パケット内に含まれる画像タイルデータが画面に表示開始される時間を示す。処理時間測定パケットでは、パケットの送出時間を示す。コマンドパケットでは、意味を持たないフィールドである。End of AV packet506は、１フレーム中に含まれるPacket tile blockがこのパケットで終了することを示す。Packet#509は、フレーム中のパケット番号を示す。フレームの先頭パケットは0でパケットごとにPacket#は+1加算される。Type510は、パケットのタイプを示す。コマンドパケット、映像タイルデータパケット、処理時間測定パケットの3種類のパケットがある。Payload Length511は、Payloadのバイト数を示す。

図6はコマンドパケットの構成を示す図である。コマンドパケットは、Header601とPayload parameter602で構成される。コマンドパケットは、映像タイルパケットの処理を行う処理部へのレジスタアクセスを行う際に使用される。

以下にPayload Parameter602に含まれる情報について説明する。Unit ID603は、対象となるパケット処理部106ａ、ｂ、ｃのIDを示す。Reg#604は、パケット処理部106ａ、ｂ、ｃ中の対象となるレジスタの番号を示す。Store Address605は、対象となるパケット処理部106のレジスタリードを行った場合のリードデータの格納先を示す。Command606は、対象となるパケット処理部106へのコマンドを示す。コマンドは、WriteもしくはReadの2種類がある。データフィールド607は、Command606で示されるコマンドがWriteの時は、Write Dataを格納する。Command606で示されるコマンドがReadのときは、Read Dataが格納される。

図７は映像タイルパケットおよび処理時間測定パケットの構成を示す図である。映像タイルパケットおよび処理時間測定パケットは、ヘッダー（Header）701とペイロードタイルブロック（Payload Tile Block）702で構成される。ペイロードタイルブロック（Payload Tile Block）702には、8pixel×128pixelの映像データが格納されている。Payloadの大きさは8KBである。各pixelデータは8Bで、Adobe RGBで表現された16b RGBデータ、8bのＡ（α）データ、8bのZデータで構成される。映像タイルパケットの場合、ペイロードタイルブロック（Payload Tile Block）702にはタイル分割部104で分割された映像データのタイルが格納される。処理時間測定パケットの場合、ペイロードタイルブロック（Payload Tile Block）702には処理時間測定パケット生成部103で生成されるデータが格納される。

次に、本発明の第１実施形態にかかる動画像処理システムの動作を図２の参照により説明する。ステップＳ２０１において、映像入力部100からの映像入力が開始されると、ステップＳ２０２において、パケット生成部101は、処理経路を決定する。本実施形態においては、パケットの送出方向は単一方向であり、また、送出先からパケットが戻ることがないため、一意に決定される。処理経路の決定により、ヘッダ情報内のNext input port & parameter index501が決定される。

次に、ステップＳ２０３において、パケット生成部101は、各パケット処理部106ａ、ｂ、ｃでの処理パラメータを決定する。決定したパラメータ値に従い各パケット処理部106ａ、ｂ、ｃに対しコマンドパケットを生成し、コマンドパケットを送出する。

次に、ステップＳ２０４において、処理時間測定パケット生成部103は、処理時間計測パケット内のデータを生成する。生成されるデータはランダム値でよい。パケット化部105で、ヘッダ情報内のArrival Time505にパケット送出時刻を設定し、パケットの送信を行う。

ステップＳ２０５において、パケット受信部107は、処理時間計測パケットを受信する。パケット処理時間計測部108は、処理時間計測パケットに設定されているパケット送出時刻と、処理時間計測パケットの受信時刻と、に基づきパケットの処理に要するパケット処理時間Ｔｐ（画像処理時間）を計測する。

そして、パケット処理時間計測部108から処理時間予測部102に対しパケット処理時間Ｔｐが出力されると、ステップＳ２０６において、処理時間予測部102はタイムスタンプの決定を行う。タイムスタンプをヘッダ情報のArrival Time(505)へ設定する。

ステップＳ２０７において、タイル分割部104は、映像入力のタイル分割を開始し、ステップＳ２０８において、パケット生成部101は映像タイルパケットを生成し、パケットの送出を行う。ステップＳ２０９において、映像入力（画像データの入力）が終わるまで、タイル分割とパケット生成とを繰り返す。

以上説明したように本実施形態に拠れば、処理時間計測パケットを送出しパケットの処理時間を計測し、計測結果を基に映像データの処理時間を予測し、パケット受信部への到着時間をヘッダ情報へ付加する。

これにより、精度良く映像データの処理時間を予測でき、パケットの到着が遅れることによる画像の乱れをなくすことが可能となる。また、早く到着するパケットの量も削減でき、必要とされるバッファ領域の容量を削減することが可能になる。

（第２実施形態）
図３は本発明の第２実施形態にかかる動画像処理システムの構成を示すブロック図である。図３において、映像入力部300は、パケット生成部301内のタイル分割部304と映像データ解析部303と接続している。パケット生成部301は、映像入力部300からの入力を受け、パケットを生成する。パケット生成部301は、タイル分割部304、映像データ解析部303、処理時間予測部302、パケット化部305で構成されている。タイル分割部304は、パケット化部305と接続されており、第1実施形態で説明したタイル分割部104と同一である。

映像データ解析部303は、映像入力部300と処理時間予測部302と、に接続されている。映像データ解析部303は、入力された動画像（映像データ）の解析を行い、動画像の特徴情報（映像データの解像度、動きベクトル、圧縮率）を抽出する。

処理時間予測部302は、パケット化部305と、映像データ解析部303と、に接続されている。処理時間予測部302は、映像データ解析部303が抽出した映像データの解像度、動きベクトル、圧縮率からパケットの処理時間を予測する。パケットの基準処理時間Tbase、解像度による係数K、動きベクトルによる係数V、圧縮率による係数Dからパケット処理時間Tpを(4)式により予測する。そして、パケット処理にかかる時間の揺らぎを含めた最大許容誤差時間Tmとパケットの送出時間Tsendを加算し、タイムスタンプTsを(5)式に従い決定する。パケットの基準処理時間Tbase、解像度による係数K、動きベクトルによる係数V、圧縮率による係数Dは、処理時間予測部302内のテーブルデータに格納されている。

Tp（パケット処理時間）＝Tbase×K×V×D ・・・(4)
Ts（タイムスタンプ） ＝Tp＋Tm＋Tsend ・・・(5)
パケット化部305は、タイル分割部304、処理時間予測部302からの入力を受け、パケット処理部306へパケットの送出を行う。パケット化部305は、パケットヘッダの付加と、コマンドパケットの生成を行い、パケット処理部306ａへパケットの送出を行う。パケット処理部306ａ、ｂ、ｃは第1実施形態でのパケット処理部106ａ、ｂ、ｃと同一である。

パケット受信部307は、ヘッダ解析部308とタイル結合部309で構成されている。パケット受信部307は、パケット処理部306ｃからの入力を受け、映像データを映像出力部310へ出力する。ヘッダ解析部308は、パケット処理部306ｃからパケットを受け、ヘッダ情報の解析を行う。受信したパケットがコマンドパケットであれば、何も処理をしないでパケットを廃棄する。映像タイルパケットを受信した場合には、ヘッダ情報と映像タイルデータを分離し、映像タイルデータをタイル結合部309へ出力する。

タイル結合部309は、第1実施形態におけるタイル結合部110と同一である。映像出力部310は、第1実施形態における映像出力部111と同一である。本実施形態でのパケットフォーマットは、第1実施形態におけるパケットフォーマットと同一である。本実施形態では、コマンドパケット、映像タイルデータパケットの2種類がある。

次に、本発明の第２実施形態にかかる動画像処理システムの動作を図４の参照により説明する。まず、ステップＳ４０１において、映像入力部300からの映像入力が開始されると、ステップＳ４０２において、映像データ解析部303は、入力された映像（画像データ）の解析を行う。そして、ステップＳ４０３において、パケット生成部301は、処理経路を決定する。本実施形態においては、パケットの送出方向は単一方向であり、また、送出先からパケットが戻ることがないため、一意に決定される。処理経路の決定により、ヘッダ情報内のNext input port & parameter index501が決定される。

次に、ステップＳ４０４において、パケット生成部301は、各パケット処理部306ａ、ｂ、ｃの画像処理パラメータを決定する。決定された画像処理パラメータ値に従い、各パケット処理部306ａ、ｂ、ｃに対しコマンドパケットを生成し、コマンドパケットを送出する。

次に、ステップＳ４０５において、映像データ解析部303は、入力された映像データの解析を行い、映像データの解像度、圧縮率、動きベクトルの抽出を行う。ステップＳ４０６において、抽出された値を基に、処理時間予測部302は、タイムスタンプの決定を行い、タイムスタンプをヘッダ情報のArrival Time505へ設定する。

ステップＳ４０７において、タイル分割部304は、映像入力のタイル分割を開始し、ステップＳ４０８において、パケット生成部301は、映像タイルパケットを生成し、パケットの送出を行う。ステップＳ４０９において、映像入力（画像データの入力）が終わるまで、タイル分割とパケット生成とを繰り返す。

以上説明したように本実施形態に拠れば、入力される映像データの解析を行い、映像データの特徴を基に映像データの処理時間を予測し、パケット受信部への到着時間をヘッダ情報へ付加する。これにより、容易な構成で処理時間を予測することが可能であり。パケットの到着が遅れることによる画像の乱れをなくすことが可能となる。また、早く到着するパケットの量も削減でき、必要とされるバッファ領域の容量を削減することが可能になる。

（他の実施形態）
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ可読の記憶媒体を、システムあるいは装置に供給することによっても、達成されることは言うまでもない。また、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれることは言うまでもない。

本発明の第１実施形態にかかる動画像処理システムの構成を示すブロック図である。 本発明の第１実施形態にかかる動画像処理システムの動作を説明するフローチャートである。 本発明の第２実施形態にかかる動画像処理システムの構成を示すブロック図である。 本発明の第２実施形態にかかる動画像処理システムの動作を説明するフローチャートである。 ヘッダ情報の構成を示す図である。 コマンドパケットの構成を示す図である。 映像タイルパケットおよび処理時間測定パケットの構成を示す図である。 従来の動画像圧縮伸張伝送システムの概略を示すブロック図である。 従来の動画像圧縮伸張システムにおけるピクチャ単位の入れ替わりを説明する図である。 従来の動画像圧縮伸張システムにおけるタイムスタンプを説明する図である。 従来の動画像圧縮伸張システムにおけるヘッダ情報を示す図である。 従来のタイムスタンプ付加装置の機能構成を示す図である。

符号の説明

100…映像入力部
101…パケット生成部
102…処理時間予測部
103…処理時間測定パケット生成部
104…タイル分割部
105…パケット化部
106…パケット処理部
107…パケット受信部
108…パケット処理時間計測部
109…ヘッダ解析部
110…タイル結合部
111…映像出力部

Claims (4)

1. 動画像をタイルに分割し、分割したタイルに対応する情報をパケット化して処理を行う動画像処理システムであって、
   パケットの処理時間を計測するためにパケット送出時刻を設定した処理時間計測パケットを生成し、送信する処理時間計測パケット生成手段と、
   送信された前記処理時間計測パケットに含まれるタイルに対応する情報に対し処理を行うパケット処理手段と、
   前記パケット処理手段から前記処理時間計測パケットを受信して、当該処理時間計測パケットに設定されている前記パケット送出時刻と、当該処理時間計測パケットの受信時刻と、に基づきパケットの処理に要するパケット処理時間を計測するパケット処理時間計測手段と、
   前記パケット処理時間に基づき、前記タイルに分割した動画像のタイムスタンプを決定する決定手段と、
   前記タイルに分割された動画像の情報と、前記タイムスタンプと、をパケット化して処理するパケット化手段と、
   を備えることを特徴とする動画像処理システム。
2. 処理時間計測パケット生成手段と、パケット処理手段と、パケット処理時間計測手段と、決定手段と、パケット化手段と、を有し、動画像をタイルに分割し、分割したタイルに対応する情報をパケット化して処理を行う動画像処理システムにおける動画像処理方法であって、
   前記処理時間計測パケット生成手段が、パケットの処理時間を計測するためにパケット送出時刻を設定した処理時間計測パケットを生成し、送信する処理時間計測パケット生成工程と、
   パケット処理手段が、送信された前記処理時間計測パケットに含まれるタイルに対応する情報に対し処理を行うパケット処理工程と、
   前記パケット処理時間計測手段が、前記パケット処理工程で処理された前記処理時間計測パケットを受信して、当該処理時間計測パケットに設定されている前記パケット送出時刻と、当該処理時間計測パケットの受信時刻と、に基づきパケットの処理に要するパケット処理時間を計測するパケット処理時間計測工程と、
   前記決定手段が、前記パケット処理時間に基づき、前記タイルに分割した動画像のタイムスタンプを決定する決定工程と、
   前記パケット化手段が、前記タイルに分割された動画像の情報と、前記タイムスタンプと、をパケット化して処理するパケット化工程と、
   を有することを特徴とする動画像処理方法。
3. 請求項２に記載の動画像処理方法をコンピュータに実行させるプログラム。
4. 請求項３に記載のプログラムを格納したコンピュータ可読の記憶媒体。

Images