JP4779207B2 - 動きベクトル変換装置及び動きベクトル変換方法 - Google Patents
動きベクトル変換装置及び動きベクトル変換方法 Download PDFInfo
- Publication number
- JP4779207B2 JP4779207B2 JP2001009301A JP2001009301A JP4779207B2 JP 4779207 B2 JP4779207 B2 JP 4779207B2 JP 2001009301 A JP2001009301 A JP 2001009301A JP 2001009301 A JP2001009301 A JP 2001009301A JP 4779207 B2 JP4779207 B2 JP 4779207B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- conversion
- image
- horizontal
- mpeg4
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、動きベクトル変換装置及び動きベクトル変換方法に関し、特に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット等のネットワークを介して受信する際、或いは、光ディスク、磁気ディスク、フラッシュメモリ等の記憶媒体上で処理する際に用いられる動きベクトル変換装置及び動きベクトル変換方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルデータとして取り扱う際、画像情報特有の冗長性を利用し、効率の高い情報の伝送及び蓄積を目的とした、例えば離散コサイン変換（Discrete Cosine Transform、以下、ＤＣＴと記す。）等の直交変換と動き補償により圧縮する方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ（Moving Picture Experts Group）によって標準化されているＭＰＥＧ２は、汎用画像符号化方式としてＩＳＯ／ＩＥＣ １３８１８−２に定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅している。そのためＭＰＥＧ２は、プロフェッショナル用途からコンシューマ用途まで、広範なアプリケーションに今後とも用いられるものと予想される。
【０００４】
このようなＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素をもつ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓの符号量（以下、ビットレートと記す。）を、１９２０×１０８８画素をもつ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓのビットレートを割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１よりも低いビットレート、つまり、より高い圧縮率の符号化方式には対応していなかった。ところが携帯端末の普及とともに、今後より高圧縮率の符号化方式のニーズが高まると予想されたことからＭＰＥＧ４符号化方式の標準化が行われ、画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２として国際標準に承認されている。
【０００６】
ところで、ディジタル放送に対応するように一旦符号化されたＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）を携帯端末等で処理するためには、より低いビットレートのＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記す。）に変換することが要求される。
【０００７】
ＭＰＥＧ２ビットストリームをＭＰＥＧ４ビットストリームに変換する従来の画像情報変換装置として、例えば、図１８に示す画像情報変換装置１００があげられる。画像情報変換装置１００は、ＭＰＥＧ２画像情報復号化部１０１と、解像度／フレームレート変換部１０２と、ＭＰＥＧ４画像情報符号化部１０３とを少なくとも備えている。画像情報変換装置１００に入力されたＭＰＥＧ２ビットストリームは、ＭＰＥＧ２画像情報復号化部１０１により復号される。
【０００８】
ここで、画像情報変換装置１００に入力されるＭＰＥＧ２ビットストリームは、水平方向及び垂直方向に８成分（以下、８×８という。他も同様とする。）の離散コサイン変換（Discrete Cosine Transformation; DCT）係数からなるブロックを単位として構成される。ＭＰＥＧ２画像情報復号化部１０１は、８×８ＤＣＴ係数のすべてを用いて復号処理を行うことができるが、水平方向に低域４成分及び垂直方向に８成分（以下、４×８という。）のＤＣＴ係数や、水平方向及び垂直方向ともに低域４成分（以下、４×４という。）のＤＣＴ係数のみを用いた復号処理を行うこともできる。
【０００９】
なお、このような４×８ＤＣＴ係数を用いた復号処理を４×８ダウンデコードと記し、４×４ＤＣＴ係数を用いた復号処理を４×４ダウンデコードと記す。ＭＰＥＧ２画像情報復号化部１０１は、４×８ダウンデコードや４×４ダウンデコードによる処理を採用することにより、ダウンデコードによる画質劣化を最小限に抑えながら、演算量とビデオメモリ容量を削減するとともに、後段のダウンサンプリング処理を簡略化することができる。
【００１０】
ＭＰＥＧ２画像情報復号化部１０１により復号された画像は、解像度／フレームレート変換部１０２へ伝送され、任意の異なる解像度及びフレームレートを持つ画像に変換され、さらに、ＭＰＥＧ４画像情報符号化部１０３により、ＭＰＥＧ４ビットストリームへ符号化される。
【００１１】
従来の画像情報変換装置１００は、ＭＰＥＧ４画像符号化部１０３において画像信号を符号化する際、動きベクトルを検出する演算処理量が全演算処理量の約６０〜７０パーセントを占めるため、画像のリアルタイム処理が困難となり時間遅延が発生する場合があった。また、処理時間の遅延を解消しようとすると処理回路の部品点数が増加し、装置自体の構成が大規模になる等の問題点があった。
【００１２】
しかし、上述の問題点は、ＭＰＥＧ画像符号化回路１０３における演算処理量を減らすことで解消されている。図１９に示す画像情報変換装置２００では、ＭＰＥＧ２ビットストリームの動きベクトルをＭＰＥＧ４ビットストリームの動きベクトルに変換することにより、処理の高速化が図られている。すなわち、上述した画像情報変換装置１００のＭＰＥＧ４画像情報符号化部１０３では、動きベクトルの検出に大きな演算処理量を要していたが、画像情報変換装置２００のＭＰＥＧ４画像情報符号化部２０４では、ＭＰＥＧ４の符号化の際に動きベクトルを検出する必要がないので、演算量が低減されて処理が高速化されている。
【００１３】
画像情報変換装置２００は、図１９に示すように、入力されたＭＰＥＧ２ビットストリームを復号するとともに、ＭＰＥＧ２の動きベクトル、画像サイズ等のパラメータを取り出すＭＰＥＧ２画像情報復号化部２０１と、ＭＰＥＧ２画像情報復号化部２０１で取り出されたパラメータ及び外部から入力された画像サイズ調整フラグに基づいて、ＭＰＥＧ２画像情報復号化部２０１で復号された画像の解像度及びフレームレートを変換する解像度／フレームレート変換部２０２とを有している。
【００１４】
解像度／フレームレート変換部２０２は、ＭＰＥＧ２画像情報復号化部２０１で取り出されたＭＰＥＧ２動きベクトル、画像サイズ等のパラメータに基づいてＭＰＥＧ２画像情報復号化部２０１で復号された画像の解像度及びフレームレートを変換する解像度フレーム変換部２０５と、外部から入力された画像サイズ調整フラグに基づいて、解像度フレーム変換部２０５にて解像度及びフレームレートを変換された画像に対して画素の補填又は除去を行う画素補填／除去部２０６とを有している。
【００１５】
また、画像情報変換装置２００は、ＭＰＥＧ２画像情報復号化部２０１から送られたＭＰＥＧ２の動きベクトルをＭＰＥＧ４の動きベクトルに変換する動きベクトル変換部２０３と、解像度／フレームレート変換部２０２にて解像度及びフレームレートを変換された画像を動きベクトル変換部２０３から送られたＭＰＥＧ４動きベクトルに基づいてＭＰＥＧ４ビットストリームに符号化して出力するＭＰＥＧ４画像情報符号化部２０４とを有している。
【００１６】
動きベクトル変換部２０３は、解像度／フレームレート変換部２０２における解像度変換の際に、ＭＰＥＧ２画像情報復号化部２０１から送られたＭＰＥＧ２動きベクトル、画像サイズ等のパラメータや外部から供給された画像サイズ調整フラグに基づいて、ＭＰＥＧ４動きベクトルを生成する。
【００１７】
ＭＰＥＧ４ビットストリームにおける被写体の動きベクトルの水平成分は、解像度変換前の動きベクトルの水平成分と画像の横方向の解像度変換レートによって求めることができる。同様にして、解像度変換後の垂直成分は、解像度変換前の動きベクトルの垂直成分と画像の縦方向の解像度変換レートによって求められる。このように、変換後のＭＰＥＧ４ビットストリームにおける動きベクトルと解像度変換前のＭＰＥＧ２ビットストリームにおける動きベクトルとの間には、相関関係がある。
【００１８】
したがって、画像情報変換装置２００は、このような相関関係に基づいて、ＭＰＥＧ２のマクロブロック動きベクトルやマクロブロックタイプ等のパラメータを利用することで、入力されたＭＰＥＧ２ビットストリームをＭＰＥＧ４ビットストリームの動きベクトルへ変換している。
【００１９】
これら解像度変換の前後の動きベクトルの相関について説明する。解像度／フレームレート変換部２０２が画像の解像度を縦・横ともに１／２にするダウンサンプリング処理について説明する。縦方向のダウンサンプリング処理は、入力した飛び越し走査画像の第一フィールド（top field：トップフィールド）、第二フィールド（bottom field：ボトムフィールド）を抽出し、順次走査画像に変換する。一方、横方向のダウンサンプリング処理は、ダウンサンプリングフィルタを用いて、１／２の解像度に変換する。また、低ビットレート化を実現するために、解像度変換による圧縮だけではなく、画像内符号化画像（以下、Ｉピクチャと記す。）及び画像間予測符号化画像（以下、Ｐピクチャと記す。）のみで構成される第一フィールド又は第二フィールドを抜き出すことによって、時間軸方向のフレームレートを低下させている。
【００２０】
解像度・フレーム変換を行った画像は、ＭＰＥＧ４画像符号化方式で符号化できるように、外部から入力される画像サイズ調整フラグに基づいて画素補填又は画素除去が施され、縦・横の画素数が１６の倍数とされる。
【００２１】
次に、解像度／フレームレート変換部２０２が画像サイズ調整フラグを用いて画像の解像度を変更する処理について説明する。
【００２２】
ＭＰＥＧ画像復号化部２０１から解像度／フレームレート変換部２０２へと送出される画像の解像度がｍ画素×ｎ画素であるとする。ｍ、ｎは、ともに１６の倍数である。したがって、縦横両方向に対して１／２にダウンサンプリングされたｍ／２画素画像及びｎ／２画素画像は、１６の整数倍であるか、１６で割ったときに８画素の余りを生じるか、８画素の不足を生じる画素数となっている。
【００２３】
ｍ／２画素画像及びｎ／２画素画像が１６の倍数の場合、ＭＰＥＧ４符号化方式に適応しているため画像処理は行わない。解像度・フレーム変換部２０２は、縦横の画素数がｍ／２及びｎ／２である画像をそのまま出力する。
【００２４】
ｍ／２画素画像及びｎ／２画素画像が１６の倍数でない場合は、ＭＰＥＧ４符号化方式に適用していないため、画像サイズ調整フラグに基づいた画像処理が必要となる。画像サイズ調整フラグは、画素の補填、又は画素の除去を行うためのフラグである。
【００２５】
解像度／フレームレート変換部２０２は、ｍ／２画素画像及びｎ／２画素画像が１６で割って８画素が余る画素数である場合、余った８画素分の画像を除去する。すなわち、解像度／フレームレート変換部２０２からの出力画像は、（ｍ／２−８）画素又は（ｎ／２−８）画素となる。
【００２６】
一方、解像度／フレームレート変換部２０２は、ｍ／２画素画像及びｎ／２が画素画像１６で割って８画素不足する場合、８画素を補填する。すなわち、解像度／フレームレート変換部２０２は、８画素分の画像を新たに作成した８画素、もとの画像から複製した８画素、又は画像に適した８画素で補填して、行又は列の先頭、或いは、行又は列の後部から付け加える。すなわち、解像度／フレームレート変換部２０２からの出力画像は、（ｍ／２＋８）画素又は（ｎ／２＋８）画素となる。
【００２７】
結果として、解像度／フレームレート変換部２０２は、変換後の画像解像度の縦と横の画素数が１６の倍数であるＭＰＥＧ４符号化方式に適した画像サイズを有した画像を出力している。
【００２８】
解像度変換前と変換後のベクトルの相関が大きいため、動きベクトル変換部２０３において、変換後の８×８ブロックの動きベクトルは、変換前の１６×１６マクロブロックの動きベクトルより求めることができる。更に、動きベクトル変換部２０３では、ＭＰＥＧ４画像符号化方式により符号化するのに用いる動きベクトルのうち、４つの８×８動きベクトルと１６×１６動きベクトルが生成されてる。
【００２９】
次いで、動きベクトル変換部２０３がＭＰＥＧ２復号化方式により復号された画像における動きベクトルをＭＰＥＧ４符号化方式により符号化する処理を図２０に示す動きベクトル変換部２０３の詳細な構造図を用いて説明する。
【００３０】
動きベクトル変換部２０３は、具体的には、入力されたＭＰＥＧ２ビットストリーム内の動きベクトルをＭＰＥＧ２ビットストリームにおける１６×１６動きベクトルからＭＰＥＧ４ビットストリームにおける８×８動きベクトルへと変換する動きベクトル変換部２０７と、動きベクトル変換部２０７において変換された動きベクトルを画像サイズ調整フラグに基づいて調整する動きベクトル調整部２０８と、ＭＰＥＧ４ビットストリームにおける８×８動きベクトルからＭＰＥＧ４１６×１６動きベクトルへと変換する動きベクトル変換部２０９と、ＭＰＥＧ２イントラマクロブロックに対して動きベクトルを補正する補正部２１０とから構成されている。
【００３１】
動きベクトル変換部２０７は、入力されたＭＰＥＧ２のマクロブロックの動きベクトルとマクロブロックタイプを変換している。この変換動作が図２１に示されている。飛び越し走査のＭＰＥＧ２ビットストリームでは、一般的にフレーム構造が用いられてるため、ここではフレーム構造の場合の処理のみを説明する。
【００３２】
ステップＳ１００において、動きベクトル変換部２０７は、ＭＰＥＧ２画像情報復号化部２０１から入力した動きベクトルがイントラ（画像内）マクロブロックであるか、インター（画像間）スキップマクロブロックであるかを判別する。
【００３３】
動きベクトル変換部２０７は、入力した動きベクトルがイントラマクロブロックであった場合、ステップＳ１０１において、８×８マクロブロックの動きベクトルを０に設定し、更に、イントラであることを示すイントラモードフラグを設ける。
【００３４】
一方、入力した動きベクトルがインタースキップマクロブロックであった場合、ステップＳ１０２において、動きベクトルを０に設定し、ＭＰＥＧ４の８×８動きベクトルへ変換する。
【００３５】
ステップＳ１００において、入力した動きベクトルがインターマクロブロックであった場合、動きベクトル変換部２０７は、ステップＳ１０３において、動き補償された動きベクトルを含む画像がフレーム予測に基づくものであるか、フィールド予測に基づくものであるかを判別する。
【００３６】
動きベクトル変換部２０７は、入力した動きベクトルを含む画像がフレーム予測に基づくものであった場合、ステップＳ１０３において、フレーム予測に適した動きベクトルへと変換する。
【００３７】
一方、入力した動きベクトルを含む画像がフィールド予測であった場合、動きベクトル変換部２０７は、ステップＳ１０５において、更に、第一フィールド予測であるか、第二フィールド予測であるかを判別する。
【００３８】
入力した動きベクトルを含む画像が第一フィールド予測に基づく場合、動きベクトル変換部２０７は、ステップＳ１０６において、第一フィールド予測に適した動きベクトルへ変換する。
【００３９】
一方、入力した動きベクトルを含む画像が第二フィールド予測に基づく場合、動きベクトル変換部２０７は、ステップＳ１０７において、第二フィールド予測に適した動きベクトルへと変換する。
【００４０】
ここで、入力した動きベクトルを含む画像がフレーム予測に基づく場合の変換処理であるステップＳ１０４における動きベクトル変換の概念を図２２に示す。
【００４１】
変換後の動きベクトルの水平成分は、変換前の動きベクトルの水平成分と画像の横方向の解像度変換レートから求められ、垂直成分は、変換前の動きベクトルの垂直成分と画像の縦方向の解像度変換レートから求められる。すなわち、横方向の解像度及び縦方向の解像度を１／２に変換すると変換後の動きベクトルの水平成分及び垂直成分も変換前の１／２になる。
【００４２】
例えば、図２２（ａ）及び図２２（ｂ）に示すように、変換前に（８，１２）であった動きベクトルＭＶは、変換された後、（４，６）成分の動きベクトルＭＶ’となる。ただし、この場合は、整数画素の中間値（半画素）の間隔を１としている。解像度変換前の動きベクトルを示した図２２（ａ）では、整数画素の位置が黒丸で示され、半画素の位置がひし形で示されている。また、解像度変換後の動きベクトルを示した図２２（ｂ）では、半画素の位置は、白丸で示されている。
【００４３】
変換前の整数画素の位置に示されている動きベクトルは、変換後は、整数画素、又は半画素の位置に示される。ところが、変換前に半画素の位置に示されていた動きベクトルは、変換した後は、参照する画素がなくなる。そこで、変換前の動きベクトルが半画素の位置を示している場合、変換後の動きベクトルも予測画像の半画素の位置を示すようにしている。
【００４４】
復号された画像信号には、量子化による歪みが含まれているため、そのまま予測画像として使用すると予測効率が低下し、画質劣化を引き起こす場合がある。これを低減するために、低減通過フィルタに相当する参照画面での各画素間を１：１で直線補間した半画素精度を選択することで画質劣化を回避している。従来の画像情報変換装置１００におけるＭＰＥＧ４画像符号化方式による符号化においても、予測効率を向上し画質劣化を防ぐために、ＭＰＥＧ２で動きベクトルが半画素の位置に示されている場合は、ＭＰＥＧ４のフォーマットに変換した際も半画素の位置に示すように変換している。
【００４５】
このときの変換前と変換後の動きベクトルの対応関係が図２３に示されている。図２３において、［ＭＶ／２］は、ＭＶを２で割った整数部を示している。すなわち、返還前の動きベクトルＭＶを４で割った余りが１のときは、変換後の動きベクトルの半画素位置に示し、それ以外の場合は、整数画素位置に示している。
【００４６】
次に、入力した動きベクトルを含む画像がフィールド予測に基づく場合の変換処理であるステップＳ１０６及びステップＳ１０７における動きベクトル変換について示す。まず、入力した動きベクトルを含む画像が第一フィールド予測に基づく場合における動きベクトル変換の概念について示す。動きベクトルの水平成分は、動きベクトルを含む画像がフレーム予測に基づく場合と同様の処理で行われる。動きベクトルの垂直成分は、第一フィールドを抽出することにより、解像度を１／２に変換することが可能である。また、第一フィールド予測を行っているため、変換前の動きベクトルは、そのまま変換後の動きベクトルになる。
【００４７】
これに対し、入力した動きベクトルを含む画像が第二フィールド予測である場合の動きベクトル変換を図２４に示す。動きベクトルは、解像度変換されると、第一フィールドのみが抽出されるため、変換後の動きベクトルは、第一フィールドの画素値が参照画像として用いられる。そのため、ＭＰＥＧ２で予測画像として用いた第二フィールドの画素値に基づく動きベクトルを解像度変換後の第一フィールドの画素値に変換するように動きベクトルの時空間補正が行われている。
【００４８】
図２４には、第二フィールドから予測された動きベクトルＭＶｂｏｔｔｏｍから近似的に第一フィールドから予測された動きベクトルＭＶｔｏｐに変換するための空間的な補正を行う手法が模式的に示されている。すなわち、第二フィールド予測された動きベクトルＭＶｂｏｔｔｏｍの場合、動きベクトルＭＶｂｏｔｔｏｍの垂直成分に１を加える。第二フィールド予測で求めた動きベクトルＭＶｂｏｔｔｏｍの垂直成分に１を足すことで１行繰り上げられ、第二フィールドが第一フィールドと同様の空間位置に達する。その結果、第二フィールド予測で求めた動きベクトルＭＶｂｏｔｔｏｍは、空間上において、第一フィールド予測で求めた動きベクトルＭＶｔｏｐに相当する位置に近似される。
【００４９】
空間補正が施された後、第一フィールドに相当する空間位置に近似された第二フィールド予測動きベクトルＭＶｂｏｔｔｏｍの垂直成分、すなわち、近似第一フィールド予測を予測動きベクトルとしたときの垂直成分ＭＶｔｏｐ，ｖは、以下に示す式（１）で表される。
【００５０】
【数１】
【００５１】
また、飛び越し走査のＭＰＥＧ２画像圧縮情報には第一フィールドと第二フィールドとの間に時間ずれがあるため、第二フィールドから近似された第一フィールドと実際の第一フィールドと間の時間ずれを補正する必要がある。第一フィールドと第二フィールドの時間的位置関係が図２５に示されている。
【００５２】
図２５において、第一フィールドと第二フィールドの間隔を１とし、ａをＩピクチャの第二フィールドとＰピクチャの第一フィールドとの間隔であるとすると、ａは、１、３、５、７・・・のような奇数になる。なお、ａが１の場合は、画像の構成がＩＰＰＰ・・・の場合である。時間補正を施した後の動きベクトルＭＶ’の垂直成分を、式（２）に示す。
【００５３】
【数２】
【００５４】
式（１）を式（２）に代入することによって、入力した動きベクトルを含む画像が第二フィールド予測である場合、第一フィールドに近似するための時間空間補正を施した後の動きベクトルの垂直成分ＭＶｖ’は、以下に示される式（３）として表される。一方、変換後の動きベクトルの水平成分は、変換前の動きベクトルに（ａ＋１）／ａをかけて時間補正を行った後、図２３に示した対応関係に基づいて求められる。
【００５５】
【数３】
【００５６】
ＭＰＥＧ２で予測画像として用いた第二フィールドの画素値を解像度変換後の第一フィールドの画素値に変換するための時空間補正は、動きベクトルの垂直成分に対して時間的補正を行った後、空間的な補正を行う方法でもよい。その場合、変換後の動きベクトルＭＶｖ’の垂直成分を式（４）に示す。なお、水平成分は、空間補正を行ってから時間補正を行う場合（空間・時間補正）と時間補正を行ってから空間補正を行う場合（時間・空間補正）とでは、同様の値となる。
【００５７】
【数４】
【００５８】
空間・時間補正を行った場合と、時間・空間補正を行った場合の変換後の動きベクトルの垂直成分の差、すなわち、式（３）と式（４）との差は、１／ａとなっている。したがって、ａの値に応じて変換後の動きベクトルの垂直成分の差による影響が異なる。そのため、ａが１の場合と、３、５、７・・・の場合とで補正方法を変えている。
【００５９】
ａ＝１の場合について示す。式（３）にａ＝１を代入すると、変換後の動きベクトルの垂直成分ＭＶｖ’は、以下に示す式（５）として表され、式（４）にａ＝１を代入すると、変換後の動きベクトルの垂直成分ＭＶｖ’は、以下に示す式（６）として表される。
【００６０】
【数５】
【００６１】
その結果、変換前の動きベクトルＭＶｂｏｔｔｏｍに、０、１、２・・・を代入すると、式（５）による値は２、４、６・・・のような偶数になる。すなわち、空間・時間補正を行うと、変換前の動きベクトルは、整数画素の位置に示しても、半画素の位置に示しても、変換後は、全て整数画素の位置に示されることになる。
【００６２】
また、式（６）による値は、１、３、５のような奇数になる。すなわち、時間・空間補正を行うと、変換前の動きベクトルは、整数画素の位置に示しても、半画素の位置に示しても、変換後は、全て半画素の位置に示されることになる。
【００６３】
したがって、変換前に整数画素の位置を示す動きベクトルが変換後も整数画素の位置を示すようにするためには、空間・時間補正が用いられ、変換前に半画素の位置を示す動きベクトルが変換後も半画素の位置を示すようにするためには、時間・空間補正が用いられている。
【００６４】
このように、変換前の動きベクトルに対して、空間補正及び時間補正を交互に施す、又は、これらの補正の両方を施している。
【００６５】
動きベクトル変換部２０７において、以上の動きベクトル変換処理が終了すると、動きベクトル変換部２０７は、補正前のＭＰＥＧ４に基づく８×８動きベクトルを動きベクトル調整部２０８に対して送出する。
【００６６】
動きベクトル調整部２０８は、動きベクトル変換部２０７からのＭＰＥＧ４の８×８動きベクトルを外部から入力された画像サイズ調整フラグに基づいて画像サイズに適した動きベクトルに調整し、出力している。このとき、動きベクトル調整部２０８が画像サイズ調整フラグに基づいて、画像サイズに適した動きベクトルを出力する処理を図２６に示す。
【００６７】
動きベクトル調整部２０８は、ステップＳ１１０において、ｍ画素×ｎ画素で入力される画像サイズに対するｍ／ ２画素画像及びｎ／ ２画素画像が１６の倍数であるか否かを判別する。
【００６８】
動きベクトル調整部２０８は、ｍ／２画素画像及びｎ／２画素画像がともに１６の倍数であった場合、動きベクトル変換部２０３からのＭＰＥＧ４の８×８動きベクトルを処理することなくそのまま出力している。
【００６９】
一方、動きベクトル調整部２０８は、ｍ画素×ｎ画素で入力される画像に対するｍ／２画素画像、ｎ／２画素画像のいずれかが１６の倍数でない場合、ステップＳ１１１において、外部から入力された画像サイズ調整フラグに応じて、画素を除去するか否かを判別する。画像を除去する場合、除去された８画素分の８×８動きベクトルを出力しないで、他の８×８動きベクトルを出力している。
【００７０】
画素を除去しない場合、動きベクトル調整部２０８は、画素を補填する。動きベクトル調整部２０８は、画素補填の場合、補填された８画素の８×８動きベクトルをゼロとして設定し、受け取った他の８×８動きベクトルと併せて送出している。
【００７１】
動きベクトル変換部２０３がＭＰＥＧ２復号化方式により復号された画像の動きベクトルをＭＰＥＧ４符号化方式により符号化する処理を図２７に示す構成図を用いて説明する。図２７に示す動きベクトル変換部２０３は、図２０に示された動きベクトル変換部２０３に、マクロブロック情報バッファ２１１が加えられた構造である。
【００７２】
動きベクトル変換部２０９は、マクロブロックを構成する４つのブロックのうち、イントラでないマクロブロックから変換されたブロックの動きベクトルの和をイントラでないマクロブロックから変換されたブロックの数で割った平均を１６×１６動きベクトルとして送出する。
【００７３】
第１の方法として、ＭＰＥＧ４の８×８動きベクトルをＭＰＥＧ４の１６×１６動きベクトルへ変換する動きベクトル変換部２０９は、ＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８動きベクトルへ変換する動きベクトル変換部２０７において変換されたＭＰＥＧ４の８×８動きベクトルのうち、最も符号化効率が高いと考えられるマクロブロックより生成された動きベクトルを選択し、ＭＰＥＧ４の１６×１６動きベクトルとして出力している。符号化効率の判定は、マクロブロック情報バッファ２１１に格納された画像情報変換装置２００に入力されるＭＰＥＧ２ビットストリームにおけるマクロブロックごとの情報に基づいて行われている。すなわち、第１の方法は、４つのマクロブロックのうち、最も非ゼロＤＣＴ（離散コサイン変換）係数の少ないマクロブロックを符号化効率が高いとする方法である。
【００７４】
第２の方法は、４つのマクロブロックのうち、輝度成分のＤＣＴ係数に割り当てられたビット数が最も少ないマクロブロックを符号化効率が高いとする方法である。
【００７５】
第３の方法は、４つのマクロブロックのうち、ＤＣＴ係数に割り当てられたビット数が最も少ないマクロブロックを符号化効率が高いとする方法である。 第４の方法は、４つのマクロブロックのうち、動きベクトル等を含めたマクロブロックに割り当てられた全ビット数が最も少ないマクロブロックを符号化効率が高いとする方法である。
【００７６】
第５の方法は、４つのマクロブロックのうち、割り当てられた量子化スケールが最も小さいマクロブロックを符号化効率が高いとする方法である。
【００７７】
第６の方法は、４つのマクロブロックのうち、コンプレクシティＸとして定められる変数が最も低いマクロブロックを符号化効率が高いとする方法である。コンプレクシティとは、各マクロブロックに割り当てられた量子化スケールＱ、及びビット数Ｂを用いて以下に示す式（７）として計算される変数である。ここで、ビット数Ｂは、マクロブロック全体に割り当てられたビット数でもよいし、ＤＣＴ係数に割り当てられたビット数でもよいし、輝度成分に割り当てられたＤＣＴ係数に割り当てられたビット数でもよい。
【００７８】
【数６】
【００７９】
図２７に示された動きベクトル変換部２０３では、第２の方法を採用して、動きベクトル変換部２０９においては、動きベクトル変換部２０７において生成された当該マクロブロックに対するＭＰＥＧ４の８×８動きベクトルのうち、最も重み付けが高いと考えられるマクロブロックより生成された動きベクトルを２回重複して数え、合計５つの８×８動きベクトルのうち、中間の長さをもつ動きベクトルを最も符号化効率が高い動きベクトルとして選択し、ＭＰＥＧ４の１６×１６動きベクトルとして出力している。ここで、動きベクトルの長さの比較は、水平方向、垂直方向のそれぞれの長さの２乗根の和を用いている。
【００８０】
重み付け判定は、マクロブロック情報バッファ２１１に格納された画像情報変換装置２００に入力されたＭＰＥＧ２ビットストリームにおけるマクロブロックごとの情報に基づいて行う。
【００８１】
すなわち、第１の方法では、４つのマクロブロックのうち、非ゼロＤＣＴ係数が最も少ないマクロブロックを重み付けが高いとしている。
【００８２】
第２の方法では、４つのマクロブロックのうち、輝度成分のＤＣＴ係数に割り当てられたビット数が最も少ないマクロブロックを重み付けが高いとしている。
【００８３】
第３の方法では、４つのマクロブロックのうち、ＤＣＴ係数に割り当てられたビット数が最も少ないマクロブロックを重み付けが高いとしている。
【００８４】
第４の方法は、４つのマクロブロックのうち、動きベクトル等を含めたマクロブロックに割り当てられた全ビット数が最も少ないマクロブロックを重み付けが高いとしている。
【００８５】
第５の方法は、４つのマクロブロックのうち、割り当てられた量子化スケールが最も小さいマクロブロックを重み付けが高いとしている。
【００８６】
第６の方法は、４つのマクロブロックのうち、上述のコンプレクシティＸが最も低いマクロブロックを重み付けが高いとしている。
【００８７】
一方、画像サイズ調整フラグによる動きベクトル調整部２０８より出力された画像サイズに適した８×８動きベクトルは、ＭＰＥＧ２のイントラマクロブロックに対する補正部２１０に入力される。補正部２１０において、ＭＰＥＧ２ビットストリームにおけるイントラマクロブロックから変換されたの８×８動きベクトルは、動きベクトル変換部２０９によって変換された１６×１６動きベクトルに置き換え、補正される。補正後の８×８動きベクトルと、動きベクトル変換部２０９で求めた１６×１６動きベクトルとが合わされて、ＭＰＥＧ４の動きベクトルとして送出されている。
【００８８】
図２８に示すように、ＭＰＥＧ２のイントラマクロブロックに対する補正部２１０は、そのブロックがイントラマクロブロックに対応する場合に立つイントラモードフラグの状態に応じて、スイッチ２２１を切り換えて補正を行う。すなわち、補正部２１０は、イントラモードフラグが立っている場合には、スイッチ２２１をＡに倒して処理を補正処理部２２１に進める。補正処理部２２１は、イントラマクロブロックに対応する０に設定されたＭＰＥＧ４の８×８ブロックの動きベクトルを、動きベクトル変換部２０９で変換されたＭＰＥＧ４の１６×１６動きベクトルに置き換える。
【００８９】
なお、このような置き換え処理の代わりに、補正処理部２２１は、イントラマクロブロックに対応するＭＰＥＧ４の８×８ブロックの動きベクトルを、そのイントラマクロブロックの周辺に存在するインターマクロブロックの動きベクトルから変換された動きベクトルに置き換えることもできる。
【００９０】
また、補正処理部２２１は、イントラマクロブロックに対応するＭＰＥＧ４の８×８ブロックの動きベクトルを、そのイントラマクロブロックに一番近いインターマクロブロックの動きベクトルから変換された動きベクトルに置き換えることもできる。
【００９１】
なお、４つのブロックともイントラマクロブロックから変換された場合は、４つともに動きベクトルが０となり、動きベクトル変換部２０９によって求められる１６×１６動きベクトルも０となるため、ＭＰＥＧ４画像符号化に用いる動きベクトルは０となり、マクロブロックタイプがイントラモードとなる。また、イントラモードフラグが立たない場合、すなわち、ＭＰＥＧ２ではイントラマクロブロックがない場合、スイッチがＢ方向に倒れ、入力された８×８動きベクトルがそのまま出力されている。
【００９２】
図２９には、ＭＰＥＧ４の８×８動きベクトル及びＭＰＥＧ４の１６×１６動きベクトルを格納する動きベクトルバッファ２２３と、画像内符号化画像のＶＯＰ（Video Object Plane）（以下、Ｉ−ＶＯＰと記す。）から画像間予測符号化画像（以下、Ｐピクチャと記す。）（以下、Ｐ−ＶＯＰと記す。）へと変換するＩ／Ｐ変換部２２４とを備えた補正部２１０の一例が示されている。
【００９３】
Ｉ／Ｐ変換部２２４は、イントラマクロブロックに対する動きベクトルを補正する補正部２１０において生成された当該マクロブロックに対するＭＰＥＧ４の８×８動きベクトル及びＭＰＥＧ４の１６×１６動きベクトルを入力し、指定されたＭＰＥＧ４における８×８動きベクトル及びＭＰＥＧ４の１６×１６動きベクトルを送出する。送出する動きベクトルの指定は、Ｉ−ＶＯＰからＰ−ＶＯＰへと変換するきベクトル変換フラグの情報に基づいて行う。
【００９４】
すなわち、ＭＰＥＧ２の変換フレームのフレームタイプがイントラフレームモードであり、変換後のＭＰＥＧ４のＶＯＰタイプがＰ−ＶＯＰであるとき、Ｉ−ＶＯＰからＰ−ＶＯＰへと変換する動きベクトル変換フラグが作動し、直前に入力されたＭＰＥＧ４のＰ−ＶＯＰの動きベクトル情報が動きベクトル情報バッファ２２３に保存される。動きベクトル変換フラグが作動しないときは、入力された動きベクトルが直接出力される。
【００９５】
ＭＰＥＧ２の１６×１６動きベクトル情報のないイントラフレームより変換するＭＰＥＧ４動きベクトルの場合、直前のＭＰＥＧ４のＰ−ＶＯＰフレームに該当するＭＰＥＧ２の１６×１６動きベクトルから生成されたＭＰＥＧ４の８×８動きベクトル及びＭＰＥＧ４の１６×１６動きベクトルを出力とすることによって、ＭＰＥＧ４画像情報符号化部２０４における符号化効率の低減を最小にすることが可能である。
【００９６】
ＭＰＥＧ４のＩ−ＶＯＰからＰ−ＶＯＰへとＩ／Ｐ変換部２２４は、変換フレームがＭＰＥＧ２イントラフレームからＭＰＥＧ４のＰ−ＶＯＰへ変換されるフレームの場合、動きベクトル情報バッファ２２３に保存された直前に変換されたＰ−ＶＯＰのＶＯＰ内における同座標値を有する当該ブロックの８×８動きベクトルを入力する。Ｉ／Ｐ変換部２２４は、入力された動きベクトル情報に基づいて、動きベクトルが０である場合の予測画素値と入力画像画素値との残差比較をブロック単位及びマクロブロック単位で行い、動きベクトル０の予測に基づいてする残差が直前のＰ−ＶＯＰの動きベクトルを用いた残差より少ない場合、８×８動きベクトル情報又は１６×１６動きベクトル情報を０に置き換えている。
【００９７】
例示した従来の画像情報変換装置２００では、上述のようにして、ＭＰＥＧ２のＩピクチャからＭＰＥＧ４のＰ−ＶＯＰへ変換する工程で、直前のＭＰＥＧ４のＰ−ＶＯＰに使用された動きベクトル及び動きベクトルが０のときの予測残差の少ない動きベクトルをＭＰＥＧ４の８×８動きベクトル及び１６×１６動きベクトルとすることによって、ＭＰＥＧ４のＰ−ＶＯＰの動きベクトルを生成し、画像情報変換装置の構成要素であるＭＰＥＧ４画像符号化部２０４における符号化効率の低減を最小にしている。
【００９８】
更に、ＭＰＥＧ４画像情報符号化部２０４は、動きベクトルの検出を行わず、変換された動きベクトルを用いて画像信号を符号化するのみである。この場合、結果として、ＭＰＥＧ４画像情報符号化部２０４では動きベクトル検出を行わないことになるため、ＭＰＥＧ４画像情報符号化部２０４における演算処理量を削減している。
【００９９】
上述のように、画像情報変換装置２００は、ＭＰＥＧ２ビットストリームの動きベクトルからＭＰＥＧ４ビットストリームの動きベクトルへの変換を行うこと、或いは、動きベクトル以外にもＭＰＥＧ２方式での復号に用いたパラメータ又はＭＰＥＧ４形式への変換後のパラメータを採用することによって、ＭＰＥＧ４画像情報符号化部２０４における演算処理量を削減し、時間遅延を低減している。
【０１００】
【発明が解決しようとする課題】
従来の画像情報変換装置２００では、動きベクトル変換部２０９において、動きベクトル変換部２０７の出力となるＭＰＥＧ４の８×８動きベクトルの平均値を算出している。画像情報変換装置２００は、ＭＰＥＧ４における８×８動きベクトルの代表値を選択することで、ＭＰＥＧ４における１６×１６動きベクトルを生成している。
【０１０１】
しかしながら、従来の画像情報変換装置２００では、ＭＰＥＧ２に基づく動きベクトルをＭＰＥＧ４に基づく動きベクトルに変換する際、画素数（空間解像度）、ＳＮＲ（画素値の量子化精度）、フレーム数等を拡大、縮小、増加、減少する等のスケーリング処理により、動きベクトルの精度に誤差が発生し、符号化効率が低下するという問題点があった。
【０１０２】
そこで本発明は、上述した従来の実情に鑑みてなされたものであり、符号化処理工程における符号化効率の低下を軽減する動きベクトル変換装置及び動きベクトル変換方法を提供することを目的とする。
【０１０３】
【課題を解決するための手段】
本発明は、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成される飛び越し走査の画像を符号化した入力画像圧縮情報を、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成され、飛び越し走査の画像に対して水平方向及び垂直方向ともに１／２のサイズを有する順次走査の画像を符号化した出力画像圧縮情報へと変換する際、動きベクトルを変換する動きベクトル変換装置において、入力画像圧縮情報のマクロブロックは、変換により水平方向及び垂直方向ともに８成分のブロックに変換され、入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて、出力画像圧縮情報のマクロブロックを構成し、水平方向及び垂直方向ともに８成分のブロック又は１６成分のブロックを動き補償する第２の動きベクトルを生成する変換手段と、第２の動きベクトルを中心としたサーチウィンドウ内を検索し、最も予測誤差が少ない整数画素の動きベクトルを選択する動きベクトル整数画素検索手段と、動きベクトル整数画素検索手段で選択された動きベクトルの水平成分ＭＶｈの半画素値［ＭＶｈ／２］、［ＭＶｈ／２］＋１、［ＭＶｈ／２］−１、及び垂直成分ＭＶｖの、半画素値［ＭＶｖ／２］、［ＭＶｖ／２］＋１、［ＭＶｖ／２］−１からなる周辺９半画素を検索し、最も予測誤差が少ない動きベクトルを選択する動きベクトル半画素検索手段とを有し、変換手段は、動きベクトル整数画素検索手段で選択された水平方向及び垂直方向ともに８成分のブロックを動き補償する動きベクトルを受け取り、水平方向及び垂直方向ともに１６成分のブロックを動き補償する動きベクトルを生成することにより、上述した課題を達成する。
【０１０４】
また、本発明は、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成される飛び越し走査の画像を符号化した入力画像圧縮情報を、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成され、飛び越し走査の画像に対して水平方向及び垂直方向ともに１／２のサイズを有する順次走査の画像を符号化した出力画像圧縮情報へと変換する際、動きベクトルを変換する動きベクトル変換方法において、入力画像圧縮情報のマクロブロックは、変換により水平方向及び垂直方向ともに８成分のブロックに変換され、入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて、出力画像圧縮情報のマクロブロックを構成し、水平方向及び垂直方向ともに８成分のブロック又は１６成分のブロックを動き補償する第２の動きベクトルを生成する変換工程と、第２の動きベクトルを中心としたサーチウィンドウ内を検索し、最も予測誤差が少ない整数画素の動きベクトルを選択する動きベクトル整数画素検索工程と、動きベクトル整数画素検索工程で選択された動きベクトルの水平成分ＭＶｈの半画素値［ＭＶｈ／２］、［ＭＶｈ／２］＋１、［ＭＶｈ／２］−１、及び垂直成分ＭＶｖの、半画素値［ＭＶｖ／２］、［ＭＶｖ／２］＋１、［ＭＶｖ／２］−１からなる周辺９半画素を検索し、最も予測誤差が少ない動きベクトルを選択する動きベクトル半画素検索工程とを有し、変換工程では、動きベクトル整数画素検索工程で選択された水平方向及び垂直方向ともに８成分のブロックを動き補償する動きベクトルを受け取り、水平方向及び垂直方向ともに１６成分のブロックを動き補償する動きベクトルを生成することにより、上述した課題を達成する。
【０１０５】
【発明の実施の形態】
以下、図面を参照し、本発明の実施例について説明する。本発明の実施の形態として示す画像情報変換装置は、ＭＰＥＧ（Moving Picture Experts Group）によって標準化されたＭＰＥＧ２画像圧縮情報に基づく水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロック（以下、１６×１６マクロブロックと記す。）を補正して、ＭＰＥＧ４画像圧縮情報に基づく水平方向及び垂直方向ともに８成分のブロック（以下、８×８ブロックと記す。）を生成し、更に、このＭＰＥＧ２画像圧縮情報に基づく８×８ブロックをＭＰＥＧ４画像圧縮情報に基づく１６×１６マクロブロックへと変換する画像情報変換装置であって、ＭＰＥＧ４の８×８ブロックのうち、最も符号化効率が高い８×８ブロックを選択し、これをＭＰＥＧ４の１６×１６マクロブロックとする動きベクトル変換部を備え、更に、動きベクトル変換部において変換された動きベクトルを受け取り、当該動きベクトルの値に基づいて動きベクトルを再検索し、補正する動きベクトル検索補正部を備えることにより、動きベクトル変換時における動きベクトル精度の誤差を抑え、符号化効率の低下を防ぐものである。
【０１０６】
画像情報変換装置１は、図１に示すように、ＭＰＥＧ２画像情報復号化部１１と、解像度／フレームレート変換部１２と、動きベクトル変換部１３と、動きベクトル補正部１４と、ＭＰＥＧ４画像情報符号化部１５とを備えている。更に、解像度／フレームレート変換部１２は、解像度フレーム変換部１６と、画像補填・除去部１７とを有する。動きベクトル補正部１４は、具体的には、図２に示すように、動きベクトル整数画素検索部１８と、動きベクトル半画素検索部１９とを有している。
【０１０７】
画像情報変換装置１において入力されたＭＰＥＧ２ビットストリームとしての画像を図３（ａ）に、画像情報変換装置１から出力されるＭＰＥＧ４ビットストリームとしての画像を図３（ｂ）に示す。
【０１０８】
図３（ａ）に示す解像度変換前の現フレーム５０の左下には、太陽５１及び山５２が表示されているものとする。また、現フレーム５０の太陽５１は、前フレームでは領域５３に位置していたものとする。そして、図中のＭＶは、前フレームの太陽５４の位置を始点として現フレーム５０の太陽５１に向かう動きベクトルを表している。なお、この動きベクトルＭＶは、フレームの水平成分及び垂直成分にそれぞれ分解することができる。
【０１０９】
一方、図３（ｂ）に示す解像度変換後の現フレーム５５に左下には、太陽５６及び山５７が表示されているとする。また、現フレーム５５の太陽５６は、前フレームでは図中の領域５８に位置していたものとする。そして、図中の動きベクトルＭＶ’は、前フレームの太陽５９の位置を始点として現フレーム５５の太陽５６に向かう動きベクトルを表している。なお、この動きベクトルＭＶ’も、フレームの水平成分及び垂直成分にそれぞれ分解することができる。
【０１１０】
解像度変換後の動きベクトルＭＶ’は、解像度変換前の動きベクトルＭＶから解像度変換レートに基づいて求めることができる。すなわち、解像度変換後の動きベクトルＭＶ’の水平成分は、解像度変換前の動きベクトルＭＶの水平成分ＭＶｈと、水平方向（横方向）の解像度変換レートとを用いることによって求められる。同様に解像度変換後の動きベクトルＭＶ’の垂直成分は、解像度変換前の動きベクトルＭＶｖの垂直成分と、垂直方向（縦方向）の解像度変換レートとを用いることによって求められる。このように、解像度変換前のＭＰＥＧ２ビットストリームにおける動きベクトルと変換後のＭＰＥＧ４ビットストリームにおける動きベクトルとの間には、相関関係がある。
【０１１１】
したがって、画像情報変換装置１は、このような相関関係に基づいて、ＭＰＥＧ２のマクロブロック動きベクトルやマクロブロックタイプ等のパラメータを利用することで、入力されたＭＰＥＧ２ビットストリームをＭＰＥＧ４ビットストリームの動きベクトルへ簡潔に変換している。
【０１１２】
続いて、画像情報変換装置１の各部における処理を具体的に説明する。ＭＰＥＧ２画像情報復号化部１１は、ＭＰＥＧ２ビットストリームを入力し、復号化処理を施して解像度／フレームレート変換部１２へと送出する。ＭＰＥＧ２画像情報復号化部１１は、水平及び垂直方向成分に対して、入力されたＭＰＥＧ２ビットストリームの８次のＤＣＴ（離散コサイン変換）係数の全てを用いた復号処理を行う。
【０１１３】
解像度／フレームレート変換部１２は、ＭＰＥＧ２画像情報復号化部１１からのＭＰＥＧ２ビットストリームに解像度・フレームレート変換を施し、外部から入力された画像サイズ調整フラグに基づいて、ＭＰＥＧ４画像符号化に適した解像度とされた画像を出力する。画像サイズ調整フラグとは、解像度／フレームレート変換部１２に入力される画像のうち、縦・横の画素数が１６の倍数でない画像に対して、１６の整数倍になるように画素を補填するか、画素を除去するかを判別するためのフラグである。
【０１１４】
解像度／フレームレート変換部１２が画像の解像度を縦・横ともに１／２にする画素間引き処理（以下、ダウンサンプリング処理と記す。）を図４に例示する。縦方向のダウンサンプリング処理は、入力した飛び越し走査画像の第一フィールド（top field：トップフィールド）、第二フィールド（bottom field：ボトムフィールド）を抽出し、順次走査画像に変換する。一方、横方向のダウンサンプリング処理は、ダウンサンプリングフィルタを用いて、１／２の解像度に変換する。また、低ビットレート化を実現するために、解像度変換による圧縮だけではなく、画像内符号化画像（以下、Ｉピクチャと記す。）及び画像間予測符号化画像（以下、Ｐピクチャと記す。）のみで構成される第一フィールド又は第二フィールドを抜き出すことによって、時間軸方向のフレームレートを低下させている。
【０１１５】
例えば、図４（ａ）に示されるＩピクチャと双方向予測符号化画像（以下、Ｂピクチャと記す。）とを含むＭＰＥＧ２の第一フィールドのＩＢＢＰＢＢの画像は、解像度・フレーム変換の際にＢピクチャを抜き出すことによって、図４（ｂ）に示されたＩＰＰＰの第一フィールドの構成になる。解像度・フレーム変換を行った画像は、ＭＰＥＧ４画像符号化方式で符号化できるように、外部から入力される画像サイズ調整フラグに基づいて画素補填又は画素除去が施され、縦・横の画素数が１６の倍数とされる。
【０１１６】
画像の垂直方向のダウンサンプリングは、図４（ａ）の第一フィールド（top field：トップフィールド）及び図４（ｂ）の第二フィールド（bottom field：ボトムフィールド）から第一フィールドを抽出して、飛び越し走査の画像を図４（ｃ）に示す順次走査の画像に変換することにより行う。この変換により、画像の垂直方向の解像度は１／２になる。なお、垂直方向のダウンサンプリングは、図４（ａ）及び（ｂ）に示すフレームから図４（ｂ）に示す第二フィールドを抽出することによって行ってもよい。
【０１１７】
実際には、垂直方向のダウンサンプリングは、ビットレートを低下させるためのフレームレート変換と同時に行われる。すなわち、図４（ｃ）に示す順次走査の画像は、ＩＢＢＰのピクチャのうちでＩピクチャ及びＰピクチャから抽出された第一フィールドから構成される。
【０１１８】
これにより、図４（ａ）及び（ｂ）に示されたＩＢＢＰのフレームから構成される飛び越し走査の画像は、解像度・フレーム変換後、図４（ｃ）に示すようにＩＰの第一フィールドから構成される順次走査の画像になる。解像度／フレーム変換を行った画像は、ＭＰＥＧ４画像符号化方式により符号化できるように、縦・横の画素数がともに１６の倍数にする。そのため、外部から入力される画像サイズ調整フラグにより、画素の補填、或いは、画素の除去を行う。画像サイズ調整フラグは、解像度／フレームレート変換部１２の外部から入力され、画像の縦・横の画素数が１６の倍数でない場合に対し、画像への画素補填若しくは、除去を判別するためのフラグである。
【０１１９】
次に、解像度／フレームレート変換部１２が画像サイズ調整フラグを用いて画像の解像度を変更する処理について、図５を用いて説明する。具体的には、解像度／フレームレート変換部１２において、画像補填・除去部１７は、外部から入力される画像サイズ調整フラグに基づいて、画素の補填又は除去を行うことにより画像の水平方向及び垂直方向の画素数がともに１６の倍数になるようにする。これによって、画像のサイズは、ＭＰＥＧ４画像情報符号化部１５で行われる１６×１６マクロブロックの符号化に適合するようになる。
【０１２０】
画像補填・除去部１７における処理は、図５に示すような手順によって行われる。
【０１２１】
図５（ａ）に示すように、解像度／フレームレート変換部１２には、ＭＰＥＧ２画像情報復号化部１１で水平方向及び垂直方向ともに１６成分のＤＣＴ係数からなるマクロブロックごとに復号され、１６×１６マクロブロックを構成要素とした画像が入力される。したがって、入力された画像を水平方向にｍ画素及び垂直方向にｎ画素とすると、ｍ及びｎはともに１６の倍数である。
【０１２２】
この画像は、解像度／フレームレート変換部１２の解像度フレーム変換部１６によって、水平方向及び垂直方向ともに１／２に解像度変換され、水平方向にｍ／２画素及び垂直方向にｎ／２画素から構成されるようになる。このように解像度変換により水平方向にｍ／２画素及び垂直方向にｎ／２画素から構成されるようになった画像が画像補填・除去部１７に入力されるが、これらｍ／２及びｎ／２は、１６で割り切れる場合と、１６で割ると８余る場合とがある。
【０１２３】
そこで、画像補填・除去部１７においては、図５のＳ１に示すように、ｍ／２及びｎ／２が１６の倍数である場合とそうでない場合によって処理を分岐させている。
【０１２４】
すなわち、図５（ｂ）に示すように、ｍ／２及びｎ／２がともに１６の倍数の場合には、画像のサイズはＭＰＥＧ４の画像圧縮符号化に適合する。したがって、この場合には、画像補填・除去部１７は、画素の補填又は除去を行うことなく水平方向にｍ／２及び垂直方向にｎ／２画素の画像をそのまま出力する。
【０１２５】
ｍ／２又はｎ／２の少なくとも一方が１６で割ると８余る場合には、画像のサイズは、ＭＰＥＧ４の画像圧縮符号化に適合していない。したがって、この場合には、画像補填／除去部５ｂは、画像のサイズをＭＰＥＧ４の画像圧縮符号化に適合させるために、画素の補填又は除去を行うことにより画像のサイズを変更する。
【０１２６】
なお、以下では便宜上、水平方向のｍ／２画素が１６で割り切れない場合について例示するが、垂直方向のｎ／２画素が１６で割り切れない場合や、水平方向のｍ／２画素及び垂直方向のｎ／２画素がともに１６で割り切れない場合についても同様である。
【０１２７】
画像補填・除去部１７は、外部から入力された画像サイズ調整フラグに応じて、画像へ８画素を補填する処理と、画像から８画素を除去する処理をスイッチＳ２で切り換える。
【０１２８】
すなわち、画像サイズ調整フラグに応じて８画素を除去する場合には、スイッチＳ２で画素の除去を選択する。この場合には、図５（ｃ）に示すように、水平方向にｍ／２画素の画像の例えば後部から水平方向に８画素が除去される。これによって、画像は水平方向にはｍ／２−８画素（すなわち、１６で割り切れる画素数）から構成されるようになる。同様に、画像の水平方向に先頭から画素を除去することもできる。
【０１２９】
一方、画像調整フラグに応じて８画素を補填する場合には、スイッチＳ２で画素の補填を選択する。この場合には、図５（ｄ）に示すように、水平方向にｍ／２画素の画像の例えば後部に８画素が補填される。これによって、画素は水平方向にはｍ／２＋８画素（すなわち、１６で割り切れる画素数）から構成されるようになる。同様に、画像の水平方向に先頭に画素を補填することもできる。なお、画像に補填する画素は、新たに作成したり、補填前の画像から複製したり、画像に適した画素を選択したものを使用することができる。
【０１３０】
このような画像補填・除去部１７における画素の補填又は除去により、画像の水平方向及び垂直方向の画素数はともに１６の倍数になり、ＭＰＥＧ４画像情報符号化部１５におけるＭＰＥＧ４ビットストリームへの符号化に適合するようになる。結果として、解像度／フレームレート変換部１２は、変換後の画像解像度の縦と横の画素数が１６の倍数であるＭＰＥＧ４符号化方式に適した画像サイズを有した画像を出力する。
【０１３１】
続いて、動きベクトル変換部１３が動きベクトルを変換する処理について、図６を用いて説明する。
【０１３２】
図６（ａ）はＭＰＥＧ２画像情報復号化部２０１より出力された画像を表している。図６（ｂ）は、図６（ａ）に示す画像を解像度／フレームレート変換部１２で水平方向及び垂直方向ともに１／２の解像度に変換された画像を表している。
【０１３３】
例えば、図６（ａ）に示した解像度変換前の画像における左上の１６×１６マクロブロック６１は、解像度／フレームレート変換部１２によって、図６（ｂ）に示した変換後の画像における左上の８×８ブロック６２に変換される。同様に、図６（ａ）に示した解像度変換前の画像における４つの１６×１６マクロブロック６３は、解像度／フレームレート変換部１２による解像度変換後の画像における４つの８×８ブロック６４に対応している。これら４つの８×８ブロック６４によって、１つの１６×１６マクロブロックが構成される。
【０１３４】
解像度変換前の画像における４つの１６×１６マクロブロック６３の各マクロブロックの動きベクトルＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４は、解像度変換後の画像における４つの８×８ブロック６４の動きベクトルｍｖ１、ｍｖ２、ｍｖ３、ｍｖ４にそれぞれ対応している。
【０１３５】
なお、１６×１６マクロブロックの動きベクトルを１６×１６動きベクトル、８×８ブロックの動きベクトルを８×８動きベクトルと称する。
【０１３６】
解像度／フレームレート変換部１２による解像度変換の前後の画像に対応する動きベクトルの相関により、解像度変換後の８×８ブロックの動きベクトルは、解像度変換前の１６×１６マクロブロックの動きベクトルより求めることができる。したがって、解像度変換前の４つの１６×１６マクロブロック６３の動きベクトルＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４から、解像度変換後の４つのブロック６４の動きベクトルｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４をそれぞれ求めることができる。
【０１３７】
次いで、動きベクトル変換部１３がＭＰＥＧ２復号化方式により復号された画像における動きベクトルをＭＰＥＧ４符号化方式により符号化する処理を図７に示す構成図を用いて説明する。
【０１３８】
動きベクトル変換部１３は、具体的には、入力されたＭＰＥＧ２ビットストリーム内の動きベクトルをＭＰＥＧ２ビットストリームにおける１６×１６動きベクトルからＭＰＥＧ４ビットストリームにおける８×８動きベクトルへと変換するＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０と、ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０において変換された動きベクトルを画像サイズ調整フラグに基づいて調整する動きベクトル調整部２１と、ＭＰＥＧ４ビットストリームにおける８×８動きベクトルからＭＰＥＧ４の１６×１６動きベクトルへと変換するＭＰＥＧ４＿８×８ＭＶ→ＭＰＥＧ４＿１６×１６ＭＶ動きベクトル変換部２２と、ＭＰＥＧ２イントラマクロブロックに対して動きベクトルを補正する動きベクトル補正部２３とから構成されている。
【０１３９】
ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶＭＰＥＧ４＿８×８ＭＶ→ＭＰＥＧ４＿１６×１６ＭＶ動きベクトル変換部２２は、ＭＰＥＧ２画像情報復号化部１１から入力されたＭＰＥＧ２のマクロブロックの動きベクトルとマクロブロックタイプとを変換する。このときの変換動作を図８に示す。飛び越し走査のＭＰＥＧ２ビットストリームでは、一般的にフレーム構造が用いられてるため、ここではフレーム構造の場合の処理のみを説明する。
【０１４０】
ステップＳ１１において、ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０は、ＭＰＥＧ２画像情報復号化部１１からの動きベクトルがイントラマクロブロックであるか、インタースキップマクロブロックであるかを判別する。
【０１４１】
ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０は、入力した動きベクトルがイントラマクロブロックであった場合、ステップＳ１２において、８×８マクロブロックの動きベクトルを０に設定し、更に、イントラであることを示すイントラモードフラグを設ける。
【０１４２】
一方、入力した動きベクトルがインタースキップマクロブロックであった場合、ステップＳ１３において、動きベクトルを０に設定し、ＭＰＥＧ４の８×８動きベクトルへ変換する。
【０１４３】
ステップＳ１１において、入力した動きベクトルがインターマクロブロックであった場合、ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０は、ステップＳ１４において、動き補償された動きベクトルを含む画像がフレーム予測に基づくものであるか、フィールド予測に基づくものであるかを判別する。
【０１４４】
ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０は、入力した動きベクトルを含む画像がフレーム予測に基づくものであった場合、ステップＳ１５において、フレーム予測に適した動きベクトルへと変換する。
【０１４５】
一方、入力した動きベクトルを含む画像がフィールド予測であった場合、ＭＰＥＧ４＿８×８ＭＶ→ＭＰＥＧ４＿１６×１６ＭＶ動きベクトル変換部２２は、ステップＳ１６において、更に、第一フィールド予測であるか、第二フィールド予測であるかを判別する。
【０１４６】
入力した動きベクトルを含む画像が第一フィールド予測に基づく場合、ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０は、ステップＳ１７において、第一フィールド予測に適した動きベクトルへ変換する。
【０１４７】
一方、入力した動きベクトルを含む画像が第二フィールド予測に基づく場合、ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０は、ステップＳ１８において、第二フィールド予測に適した動きベクトルへと変換する。
【０１４８】
ここで、入力した動きベクトルを含む画像がフレーム予測に基づく場合の変換処理としてのステップＳ１５における動きベクトル変換の概念を図９に示す。
【０１４９】
図３で説明したように、変換後の動きベクトルの水平成分は、変換前の動きベクトルの水平成分と画像の横方向の解像度変換レートから求められ、垂直成分は、変換前の動きベクトルの垂直成分と画像の縦方向の解像度変換レートから求められる。すなわち、横方向の解像度及び縦方向の解像度を１／２に変換すると変換後の動きベクトルの水平成分及び垂直成分も変換前の１／２になる。
【０１５０】
図３（ａ）に示す解像度変換前の画像には、現フレームにおける太陽５１及び山５２が表示されている。解像度変換前の動きベクトルＭＶは、前フレームの太陽５４の位置を始点とし、現フレームの太陽５１の位置に向かっている。すなわち、解像度変換前の１６×１６動きベクトルであるこの動きベクトルＭＶは、（０，０）から（８，１２）に向かっている。
【０１５１】
ここで、動きベクトルＭＶは、水平方向及び垂直方向のそれぞれについて、画像を構成する整数画素ａ１に相当する位置０，２，４，・・・と、隣接する整数画素ａ１の間の位置１，３，５，・・・に想定された仮想的な半画素ａ２とを用いて表されている。なお、この半画素ａ２は、動きベクトルＭＶを整数画素ａ１に相当する位置の１／２の精度で表すために想定された実在しない画素である。
【０１５２】
一方、図３（ｂ）に示す解像度変換後の画像は、図３（ａ）に示した画像の解像度を１／２に変換したものである。
【０１５３】
この解像度変換により、水平方向及び垂直方向について、図３（ａ）に示した位置０，４，８，・・・に相当する整数画素ａ１が残り、図３（ｂ）に示した整数画素ｂ１の位置０’，２’，４’，・・・に相当するようになる。図３（ａ）に示した位置２，６，１０，・・・に相当する整数画素ａ１は捨てられる。なお、図３（ｂ）においては、動きベクトルＭＶ’を整数画素ｂ１に相当する位置０’，２’，４’，・・・の１／２の精度で表すために、隣接する整数画素ｂ１の間の位置１’，３’，５’，・・・に仮想的な半画素ｂ２が想定されている。
【０１５４】
解像度変換後の動きベクトルＭＶ’も、前フレームの太陽５９の位置を始点とし、現フレームの太陽５６の位置に向かっている。すなわち、解像度変換後の８×８動きベクトルであるこの動きベクトルＭＶ’は、（０，０）から（４’，６’）に向かっている。
【０１５５】
このような画像の解像度変換に応じて、解像度変換前の動きベクトルＭＶから解像度変換後の動きベクトルＭＶ’への変換を行うものとする。すなわち、解像度変換後の動きベクトルＭＶ’の水平成分ＭＶｈ’は、画像の水平方向の解像度変換レートに応じて１／２倍に変換される。同様に、解像度変換後の動きベクトルＭＶ’の垂直成分ＭＶｖ’も、画像の垂直成分の解像度変換レートに応じて１／２倍に変換される。
【０１５６】
例えば、図３（ａ）に示した（０，０）から（８，１２）に向かう解像度変換前の動きベクトルＭＶは、水平成分８及び垂直成分１２であるので、解像度変換レートに応じて１／２倍されて水平成分４及び垂直成分６となる。したがって、図３（ｂ）に示す（０，０）から（４，６）に向かう解像度変換後の動きベクトルＭＶ’が得られる。
【０１５７】
ところで、解像度変換後の動きベクトルＭＶ’は、水平成分及び垂直成分に相当する整数画素ｂ１又は半画素ｂ２が存在しないことがある。なお、以下の説明では便宜上動きベクトルの水平成分についてのみ言及するが、垂直成分についても同様である。
【０１５８】
すなわち、図３（ａ）の上部に対応関係を示すように、解像度変換前の画像において、解像度変換前の動きベクトルＭＶの水平成分ＭＶｈが整数画素ａ１に相当する０，４，８，・・・のとき、すなわち水平成分ＭＶｈを４で割った余りが０となるときには、解像度変換レートに応じて１／２倍して得た解像度変換後の動きベクトルＭＶ’の水平成分ＭＶｈ’は、０’，２’，４’，・・・となり、解像度変換後の画像における整数画素ｂ１に相当する。同様に、解像度変換前の動きベクトルＭＶの水平成分ＭＶｈが整数画素ａ１に相当する２，６，１０，・・・のとき、すなわち水平成分ＭＶｈを４で割った余りが２となるときには、解像度変換レートに応じて１／２倍して得た解像度変換後の動きベクトルＭＶ’の水平成分ＭＶｈ’は、１’，３’，５’，・・・となり、解像度変換後の画像における半画素ｂ２に相当する。また、解像度変換前の動きベクトルＭＶの水平成分ＭＶｈが半画素ａ２に相当する１，３，５，７，・・・のときには、解像度変換前の動きベクトルＭＶの水平成分ＭＶｈを解像度変換レートに応じて１／２倍した値１／２，３／２，５／２，７／２，・・・に相当する画素が存在しない。
【０１５９】
しかし、従来のように半画素動きベクトルを生成し、これを中心に再検索を行う場合、半画素値をサーチウィンドウ内で予め求める工程を必要とするため、処理工程が増えることになる。
【０１６０】
そこで、本実施の形態においては、かかる場合には、解像度変換後の動きベクトルＭＶ’の水平成分ＭＶｈ’は、サーチウィンドウ内で最も予測差が少ない整数画素の動きベクトルを求め、次にその整数画素周辺の９半画素値を検索するようにしている。
【０１６１】
したがって、解像度変換前の動きベクトルＭＶの水平成分ＭＶｈが整数画素ａ１に相当する２，６，１０，・・・のとき解像度変換レートに応じて１／２倍して得た解像度変換後の動きベクトルＭＶ’の水平成分ＭＶｈ’が１’，３’，５’，・・・となり、解像度変換後の画像における半画素値ｂ２に相当する場合、すなわち水平成分ＭＶｈを４で割った余りが２となる場合、及び解像度変換前の動きベクトルＭＶの水平成分ＭＶｈを解像度変換レートに応じて１／２倍した値１／２，３／２，５／２，７／２，・・・等に相当する画素が存在しない場合は、整数画素ｂ２に相当する０’，２’，２’，４’，・・・に変換する。
【０１６２】
これら解像度変換前の動きベクトルＭＶの水平成分ＭＶｈと、解像度変換後の動きベクトルＭＶ’の関係を図１０に示す。なお、この図１０においては、解像度変換前の動きベクトルＭＶの水平成分又は垂直成分の値をＭＶと表記している。
【０１６３】
すなわち、解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが０の場合には、解像度変換後の動きベクトルＭＶ’の水平成分［ＭＶ／２］は整数画素ｂ１に相当する。したがって、解像度変換後の動きベクトルＭＶ’の水平成分を［ＭＶ／２］とする。
【０１６４】
解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが１の場合には、解像度変換前の動きベクトルＭＶの水平成分を解像度変換レートに応じて１／２倍した値［ＭＶ／２］とする。
【０１６５】
解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが２の場合には、解像度変換後の動きベクトルＭＶ’の水平成分は、［ＭＶ／２］＋１とする。
【０１６６】
解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが３の場合には、解像度変換前の動きベクトルＭＶの水平成分を解像度変換レートに応じて１／２倍した値［ＭＶ／２］−１に対応させる。
【０１６７】
このように、本実施の形態では、まずサーチウィンドウ内で最も予測誤差が少ない整数画素の動きベクトルを求め、次に、その整数画素周辺の９半画素値を検索することにより、半画素値をサーチウィンドウ内で予め求める工程を削減している。
【０１６８】
次に、入力した動きベクトルを含む画像がフィールド予測に基づく場合の変換処理であるステップＳ１７及びステップＳ１８における動きベクトル変換の概念について図１１に示す。
【０１６９】
まず、ステップＳ１７における入力した動きベクトルを含む画像が第一フィールド予測に基づく場合の動きベクトル変換の概念について示す。動きベクトルの水平成分は、動きベクトルを含む画像がフレーム予測に基づく図９に示した場合と同様の処理で行われる。すなわち、変換前の動きベクトルが半画素の位置を示している場合、変換後の動きベクトルも予測画像の最も近接した整数画素の位置を示すようにする。
【０１７０】
動きベクトルの垂直成分は、図１１（ａ）に示すように、第一フィールドのラインａ３及び第二フィールドのラインａ４のうち、第一フィールドのラインａ３を取り出す間引き処理を行うことにより、解像度を１／２にする解像度変換が行われる。図１１（ｂ）には、第一フィールドのラインｂ３を取り出すことで、垂直方向に解像度が１／２になった画像が示されている。また、第一フィールド予測を行っているため、解像度変換前の動きベクトルＭＶは、そのまま解像度変換後の動きベクトルＭＶ’になる。
【０１７１】
続いて、ステップＳ１８における動きベクトルを含む画像が第二フィールド予測に基づく場合の動きベクトル変換の概念図を図１２に示す。図１２（ａ）において、第一フィールドのラインａ３及び第二フィールドのラインａ４のうち、第一フィールドのラインａ３を取り出す間引きを行うことにより、解像度を１／２にする解像度変換が行われる。このため、この第二フィールド予測の場合においても、解像度変換後には第一フィールドの画素値を参照画像として用いる。
【０１７２】
図１２（ｂ）には、参照画像として用いられる第一フィールドのラインｂ３のみから構成される解像度変換後の画像が示されている。しかし、飛び越し走査のＭＰＥＧ２画像圧縮情報では第一フィールドの画像と第二フィールドの画像には、時間的及び空間的なずれがある。このため、ＭＰＥＧ２で予測画像として用いた第二フィールドの画素値を解像度変換後の第一フィールド予測に変換するように、動きベクトルの時間的及び空間的な補正を行う。
【０１７３】
まず、第二フィールド予測から近似的に第一フィールド予測に変換するための空間的補正として、動きベクトルの垂直成分に１を加える。これによって、図１２（ａ）に示すように、第二フィールド予測で求めた動きベクトルＭＶｂｏｔｔｏｍは、垂直成分に１を加えることにより垂直方向に一行を繰り上げられ、第二フィールドが第一フィールドと同様の位置に達し、第一フィールド予測の近似動きベクトルＭＶｔｏｐが得られる。このような空間的な補正によって、第二フィールド予測で求めた動きベクトルＭＶｂｏｔｔｏｍの空間的な位置は、第一フィールド予測で求めた動きベクトルと同様になる。
【０１７４】
式（８）は、近似第一フィールド、すなわち第一フィールドと同様な空間位置にある第二フィールドを空間的な補正によって予測したときの動きベクトルＭＶｔｏｐの垂直成分を表している。
【０１７５】
【数７】
【０１７６】
次に、第二フィールドから近似された第一フィールドと実際の第一フィールドとの時間ずれの補正を行う。
【０１７７】
図１３は、時間ずれの補正を説明する図である。すなわち、図１３（ａ）における各フレームは、第一フィールド及び第二フィールドから構成されるが、第一フィールドと第二フィールドの時間間隔を１とすると、Ｉピクチャの第二フィールドとＰピクチャの第一フィールドの時間間隔をａは１，３，５，・・・の値を取り得る。
【０１７８】
図中には、Ｉピクチャの第一フィールドを参照してＰピクチャの第一フィールドを予測する動きベクトルＭＶｔｏｐと、Ｉピクチャの第二フィールドを参照してＰピクチャの第一フィールドを予測する動きベクトルＭＶｂｏｔｔｏｍとが示されている。
【０１７９】
図１３（ｂ）には、図１３（ａ）に示した画像に解像度変換及びフレームレート変換により変換されたＩピクチャの第一フィールド及びＰピクチャの第一フィールドと、解像度変換後の動きベクトルＭＶ’が示されている。
【０１８０】
これらの時間間隔の比率により、第二フィールドを参照する動きベクトルＭＶｂｏｔｔｏｍから近似した近似ＭＶｔｏｐを用いて、時間のずれを補正して解像度変換後の動きベクトルＭＶ’を得るためには式（９）を適用する。
【０１８１】
【数８】
【０１８２】
式（８）を式（９）に代入すると、解像度変換後の動きベクトルＭＶ’の垂直成分は、式（１０）のようになる。
【０１８３】
【数９】
【０１８４】
なお、解像度変換後の動きベクトルの水平成分に対しては、解像度変換前の動きベクトルＭＶｂｏｔｔｏｍに（ａ＋１）／ａを乗じ、時間的な補正を行った後、先に図１０に示したように変換される。すなわち、解像度変換前に半画素に相当する動きベクトルは、解像度変換後にも半画素に相当する動きベクトルに変換される。
【０１８５】
場合によっては、動きベクトルの垂直成分に対して時間的補正を行った後、空間的な補正を行ってもよい。その場合、動きベクトルＭＶ’の垂直成分は、式（１１）で与えられる。
【０１８６】
【数１０】
【０１８７】
なお、解像度変換後の動きベクトルＭＶ’の水平成分は、空間補正を行ってから時間補正を行う空間・時間補正と時間補正を行ってから空間補正を行う時間・空間補正のいずれでも同様な値となる。
【０１８８】
式（１０）と式（１１）の差、すなわち、空間・時間補正を行った場合と、時間・空間補正を行った場合の動きベクトルの垂直成分の差は１／ａになる。したがって、ａの値によって、空間・時間補正と時間・空間補正との差による影響が異なる。そこで、ａが１の場合と、１より大きい、すなわち３，５，７，・・・の２つの場合における補正方法を説明する。
【０１８９】
まず、ａが１の場合について、式（１０）のａに１を代入すると、動きベクトルの垂直成分は式（１２）になる。
【０１９０】
【数１１】
【０１９１】
式（１２）のａに１を代入し、動きベクトルの垂直成分は式（１３）になる。
【０１９２】
【数１２】
【０１９３】
その結果、解像度変換前の動きベクトルＭＶｂｏｔｔｏｍに０，１，２，・・・を代入すると、式（１２）による値は２，４，６，・・・のような偶数になる。すなわち、空間・時間補正を行うと、解像度変換前の動きベクトルＭＶｂｏｔｔｏｍは整数画素又は半画素に位置しても、解像度変換後の動きベクトルＭＶ’は、全て整数画素に位置する。
【０１９４】
また、式（１３）による値は、１，３，５，・・・のような奇数になる。すなわち、時間・空間補正を行うと、解像度変換前の動きベクトルＭＶは整数画素又は半画素に位置しても、解像度変換後の動きベクトルＭＶ’は、全て半画素に位置する。
【０１９５】
したがって、解像度変換前に整数画素に位置する動きベクトルＭＶｂｏｔｔｏｍに対して、解像度変換後の動きベクトルＭＶ’を整数画素に位置するようにする場合、空間・時間補正を行う。また、解像度変換前に半画素に位置する動きベクトルＭＶｂｏｔｔｏｍに対して、解像度変換後の動きベクトルＭＶ’を半画素に位置するようにする場合、時間・空間補正を行う。
【０１９６】
すなわち、解像度変換後の動きベクトルＭＶ’の垂直成分を求めるために、解像度変換前の動きベクトルＭＶｂｏｔｔｏｍに対し、空間補正、時間補正を交互に使用して解像度変換後の動きベクトルＭＶ’に変換する。若しくは、解像度変換前の動きベクトルＭＶｂｏｔｔｏｍの全てに対して時間・空間補正を行う。
【０１９７】
以上の動きベクトル変換処理が終了した後、動きベクトル変換部１２から、ＭＰＥＧ４の８×８動きベクトルが出力される。
【０１９８】
次に、画像情報変換装置１における動きベクトル補正部１４について説明する。動きベクトル補正部１４は、動きベクトル変換部１３においてＭＰＥＧ２に基づく動きベクトルをＭＰＥＧ４に基づく動きベクトルに変換する際、画素数（空間解像度）、ＳＮＲ（画素値の量子化精度）、フレーム数等を拡大、縮小、増加、減少するスケーリング処理により発生した動きベクトルの誤差を補正し、より精度の高い動きベクトルを求める処理を行う。
【０１９９】
具体的には、動きベクトル補正部１４は、入力されたＭＰＥＧ４の８×８動きベクトルの周辺画素に対して、水平方向に＋−２整数画素、垂直方向に＋−１画素の動きベクトル検索を行う。すなわち、動きベクトル補正部１４は、再検索の際のサーチウィンドウを動きベクトル変換部１３によって求められた動きベクトルを中心に水平方向に５画素、垂直方向に３画素の領域に抑えている。これにより、動きベクトル検索の処理数を大幅に減少させて、符号化効率の低下を防ぐことを可能としている。
【０２００】
また、図２に示した動きベクトル整数画素検索部１８は、指定されたサーチウィンドウ内で最も予測画素値が少ない整数画素動きベクトルを選択する。動きベクトル半画素検索部１９は、整数画素値で選択された最小予測誤差の動きベクトルの周辺９半画素値を検索し、最も予測誤差が少ない最適な動きベクトル値を送出する。
【０２０１】
動きベクトル補正部１４は、サーチウィンドウの再検索画素数を設定するための動きベクトル補正方向情報フラグに基づいて、サーチウィンドウのサイズを設定している。図１４及び図１５を用いて、動きベクトル補正方向情報フラグについて説明する。
【０２０２】
図１４（ａ）及び（ｂ）では、ＭＰＥＧ２の動きベクトルにおける整数画素がｃ１で表され、ＭＰＥＧ４の８×８動きベクトルにおける整数画素がｃ１’で表されている。また、ＭＰＥＧ２の半画素位置は、ｄ１で表されている。また、図１４（ａ）には、変換前のＭＰＥＧ２の動きベクトルが整数画素であり、変換後のＭＰＥＧ４の８×８動きベクトルも整数画素である場合が示され、図１４（ｂ）には、変換前のＭＰＥＧ２の動きベクトルが整数画素値であり、変換後のＭＰＥＧ４の８×８動きベクトルが半画素精度である場合が示されている。
【０２０３】
図１４（ａ）に示されるように、変換前のＭＰＥＧ２の動きベクトルが整数画素であり、変換後のＭＰＥＧ４の８×８動きベクトルも整数画素である場合、同位相の画素が存在し、変換前と変換後とで動きベクトルの画素値に歪みが生じないため、動きベクトルのサーチウィンドウは、動きベクトルの進行方向に対して対称に設定される。
【０２０４】
一方、図１４（ｂ）に示されるように、変換前のＭＰＥＧ２の動きベクトルが整数画素値であり、変換後のＭＰＥＧ４の８×８動きベクトルが半画素精度である場合、動きベクトルの進行方向に対して、繰り上げにより近似のＭＰＥＧ４の整数画素に修正されるため、サーチウィンドウは、動きベクトルの進行方向に対して逆方向に大きくなるように設定することにより、検索処理工程を削減することが可能となる。例えば、動きベクトルと逆方向に２整数画素値分、順方向に１整数画素値分検索するようにする。このとき、動きベクトル変換時に、ＭＰＥＧ４動きベクトルを繰り下げることによって、これを近似のＭＰＥＧ４の整数画素値とした場合、サーチウィンドウの設定は、動きベクトルの進行方向に対して順方向に大きくなるように設定される。
【０２０５】
図１５（ａ）には、変換前のＭＰＥＧ２の動きベクトルが半画素位置であり、変換後のＭＰＥＧ４の８×８動きベクトルが整数画素である場合が示され、図１５（ｂ）には、変換前のＭＰＥＧ２の動きベクトルが半画素位置であり、変換後のＭＰＥＧ４の８×８動きベクトルも半画素精度である場合が示されている。
【０２０６】
図１５（ａ）及び（ｂ）に示されるように、変換前のＭＰＥＧ２の動きベクトルが半画素位置であり、変換後のＭＰＥＧ４の８×８動きベクトルが整数画素である場合、変換前のＭＰＥＧ２動きベクトルが半画素精度を示し、ＭＰＥＧ４動きベクトルに変換する際に、最も近接したＭＰＥＧ４整数画素値に修正するため、図１４（ｂ）に示した場合と同様に、歪みが生じる方向に応じて、サーチウィンドウは、動きベクトルの進行方向に対して順方向又は逆方向に大きくなるように設定される。
【０２０７】
これにより、動きベクトル補正部１４は、動きベクトル再検索の際の処理工程数を減少させるため、動きベクトル変換部１３から送出された動きベクトルの歪み方向を受け取って、動きベクトルの補正検索を行う際の最適なサーチウィンドウの大きさを設定することが可能となる。
【０２０８】
このように、画像情報変換装置１は、ＭＰＥＧ２ビットストリームを入力し、ＭＰＥＧ４における８×８動きベクトル及び１６×１６動きベクトルを求める際に、動きベクトル変換部１３によりスケーリングされた動きベクトルに対して、動きベクトル補正部１４において最適なサーチウィンドウの大きさを設定して再検索し、補正することによって、ＭＰＥＧ４画像符号化部１５における符号化効率の低減を最小とすることを可能としている。
【０２０９】
以上説明したように、本発明の実施の形態においては、ＭＰＥＧ２ビットストリームを入力して、ＭＰＥＧ４ビットストリームを出力する場合について説明したが、入力、出力ともこれに限らず、例えば、ＭＰＥＧ−１やＨ．２６３等の画像圧縮情報（ビットストリーム）に対応した画像情報変換装置に適用してもよい。
【０２１０】
なお、図１、２に示す画像情報変換装置１は、ＭＰＥＧ４における１６×１６動きベクトルも８×８動きベクトルと同様に処理を行うようにしているが、これを、最適なＭＰＥＧ４における８×８動きベクトルを動きベクトル整数画素検索部により整数画素値として求め、当該整数画素値を再度動きベクトル変換部に入力し、ＭＰＥＧ４における１６×１６動きベクトルを求めてもよい。このような画像情報変換装置を図１６及び図１７に示す。画像情報変換装置２において、画像情報変換装置１と同様の構成は、同番号を付して示し、詳細な説明を省略する。
【０２１１】
画像情報変換装置２における動きベクトル変換部２４は、整数画素精度で補正されたＭＰＥＧ４の８×８動きベクトルを受け取り、この動きベクトルに基づいて、ＭＰＥＧ４の１６×１６動きベクトルを算出して送出する。
【０２１２】
図１７に詳細を示す動きベクトル補正部２５は、動きベクトル整数画素検索部２６と動きベクトル半画素検索部２７とを有する。動きベクトル整数画素検索部２６は、動きベクトル変換部２４からのＭＰＥＧ４の１６×１６動きベクトルを受け取り、ＭＰＥＧ４の８×８動きベクトルを補正するのと同様に、入力されたＭＰＥＧ４の１６×１６動きベクトルを中心としたサーチウィンドウ内を水平５画素、垂直３画素で再検索する。動きベクトル半画素検索部２７は、整数画素値で選択された最小予測誤差の動きベクトルの周辺９半画素値を検索する。
【０２１３】
このような画像情報変換装置２は、最も予測誤差が少ない最適なＭＰＥＧ４の１６×１６動きベクトル値を送出することが可能である。
【０２１４】
なお、画像情報変換装置１において、ＭＰＥＧ２画像情報復号化部１１は、４×８ダウンデコード、若しくは、４×４ダウンデコードを行うことによって、画質劣化を最小限に抑えながら演算量とビデオメモリ容量とを削減してもよい。特に、ダウンサンプリング処理を簡略化することによって演算量とビデオメモリ容量とを削減してもよい。
【０２１５】
以上、画像情報変換装置１では、サーチウィンドウを水平５画素、垂直３画素と設定して説明したが、これに限らず、水平、垂直方向のサーチウィンドウの検索画素数は、任意に選択可能としてもよい。
【０２１６】
【発明の効果】
以上詳細に説明したように、本発明にかかる動きベクトル変換装置によれば、入力画像圧縮情報のマクロブロックは、変換により水平方向及び垂直方向ともに８成分のブロックに変換され、入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて、出力画像圧縮情報のマクロブロックを構成し、ブロックの各々を動き補償する第２の動きベクトルを生成し、この第２の動きベクトルのうち、符号化効率の最も高い動きベクトルを出力画像圧縮情報のマクロブロックを動き補償する第３の動きベクトルとする変換手段と、第１の動きベクトルに基づいて生成された第２の動きベクトルを再度入力し、当該第２の動きベクトルの値の近傍で第２の動きベクトルを再検索し補正する動きベクトル補正手段とを有することによって、動きベクトル変換手段により補正処理された動きベクトルに対して、動きベクトル検索補正手段において再検索して動きベクトルの精度の誤差を補正することで、符号化処理における符号化効率の低減を最小とすることが可能である。
【０２１７】
また、本発明にかかる動きベクトル変換方法によれば、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成される飛び越し走査の画像を符号化した入力画像圧縮情報を、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成され、飛び越し走査の画像に対して水平方向及び垂直方向ともに１／２のサイズを有する順次走査の画像を符号化した出力画像圧縮情報へと変換する際、動きベクトルを変換する動きベクトル変換方法において、入力画像圧縮情報のマクロブロックは、変換により水平方向及び垂直方向ともに８成分のブロックに変換され、入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて、出力画像圧縮情報のマクロブロックを構成し、ブロックの各々を動き補償する第２の動きベクトルを生成し、この第２の動きベクトルのうち、符号化効率の最も高い動きベクトルを出力画像圧縮情報のマクロブロックを動き補償する第３の動きベクトルとし、第１の動きベクトルに基づいて生成された第２の動きベクトルを再度入力し、当該第２の動きベクトルの値の近傍で第２の動きベクトルを再検索し補正することにより、動きベクトル変換手段により補正処理された動きベクトルに対して、動きベクトルを再検索して動きベクトルの精度の誤差を補正することで、符号化処理における符号化効率の低減を最小とすることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の一例として示す画像情報変換装置の構成を説明するブロック図である。
【図２】本発明の実施の形態の一例として示す画像情報変換装置の動きベクトル補正部の構成を説明するブロック図である。
【図３】ＭＰＥＧ２ビットストリームにおける動きベクトルとＭＰＥＧ４ビットストリームにおける動きベクトルとの間の相関関係を説明する図である。
【図４】本発明の実施の形態の一例として示す画像情報変換装置の解像度／フレームレート変換部における変換動作を説明する図である。
【図５】本発明の実施の形態の一例として示す画像情報変換装置の解像度／フレームレート変換部が画像サイズ調整フラグを用いて画像の解像度を変更する処理を説明する図である。
【図６】本発明の実施の形態の一例として示す画像情報変換装置の動きベクトル変換部が動きベクトルを変換する処理を説明する図である。
【図７】本発明の実施の形態の一例として示す画像情報変換装置の動きベクトル変換部の構成を説明するブロック図である。
【図８】本発明の実施の形態の一例として示す画像情報変換装置の動きベクトル変換部における動きベクトル変換部がＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８動きベクトルへと変換する動作を説明する図である。
【図９】ＭＰＥＧ２の１６×１６動きベクトルからＭＰＥＧ４の８×８動きベクトルへ変換する際、画像がフレーム構造かつフレーム予測の場合の変換動作を模式的に説明する図である。
【図１０】本発明の実施の形態の一例として示す画像情報変換装置がＭＰＥＧ２画像圧縮情報における半画素精度の動きベクトルをＭＰＥＧ４画像圧縮情報の８×８動きベクトルへと変換するときの動きベクトルの対応関係を示す図である。
【図１１】本発明の実施の形態の一例として示す画像情報変換装置がＭＰＥＧ２の１６×１６動きベクトルからＭＰＥＧ４の８×８動きベクトルへ変換する際、画像がフレーム構造かつ第一フィールド予測の場合の変換動作を模式的に説明する図である。
【図１２】本発明の実施の形態の一例として示す画像情報変換装置がＭＰＥＧ２の１６×１６動きベクトルからＭＰＥＧ４の８×８動きベクトルへ変換する際、画像がフレーム構造かつ第二フィールド予測の場合の変換動作を模式的に説明する図である。
【図１３】本発明の実施の形態の一例として示す画像情報変換装置の解像度／フレームレート変換部における変換動作を説明する図である。
【図１４】本発明の実施の形態の一例として示す画像情報変換装置が動きベクトル補正方向情報フラグに基づいた画素補正を説明する図である。
【図１５】本発明の実施の形態の一例として示す画像情報変換装置が動きベクトル補正方向情報フラグに基づいた画素補正を説明する図である。
【図１６】本発明の実施の形態の一例として示す画像情報変換装置の構成を説明するブロック図である。
【図１７】本発明の実施の形態の一例として示す画像情報変換装置の動きベクトル補正部の構成を説明するブロック図である。
【図１８】従来の画像情報変換装置の構成を説明するブロック図である。
【図１９】従来の画像情報変換装置の構成を説明するブロック図である。
【図２０】従来の画像情報変換装置における動きベクトル変換部の構成を説明するブロック図である。
【図２１】従来の画像情報変換装置の動きベクトル変換部における動きベクトル変換部がＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８動きベクトルへと変換する動作を説明する図である。
【図２２】従来の画像情報変換装置がＭＰＥＧ２の１６×１６動きベクトルからＭＰＥＧ４の８×８動きベクトルへ変換する際、画像がフレーム構造かつフレーム予測の場合の変換動作を模式的に説明する図である。
【図２３】従来の画像情報変換装置がＭＰＥＧ２画像圧縮情報における半画素精度の動きベクトルをＭＰＥＧ４画像圧縮情報の８×８動きベクトルへと変換するときの動きベクトルの対応関係を示す図である。
【図２４】従来の画像情報変換装置がＭＰＥＧ２の１６×１６動きベクトルからＭＰＥＧ４の８×８動きベクトルへ変換する際、画像がフレーム構造かつフィールド予測の場合の変換動作を模式的に説明する図である。
【図２５】従来の画像情報変換装置の解像度／フレームレート変換部における変換動作を説明する図である。
【図２６】従来の画像情報変換装置が画素サイズ調整フラグに基づいて画像サイズに適した動きベクトルを出力する処理を示すフローチャートである。
【図２７】従来の画像情報変換装置における動きベクトル変換部の構成を説明するブロック図である。
【図２８】従来の画像情報変換装置における補正部の構成を説明するブロック図である。
【図２９】従来の画像情報変換装置における動きベクトル変換部の構成を説明するブロック図である。
【符号の説明】
１，２ 画像情報変換装置、１１ ＭＰＥＧ２画像情報復号化部、１２ 解像度／フレームレート変換部、１３，２４ 動きベクトル変換部、１４，２５ 動きベクトル補正部、１５ ＭＰＥＧ４画像情報符号化部、１６ 解像度フレーム変換部、１７ 画像補填・除去部、１８，２６ 動きベクトル整数画素検索部、１９，２７ 動きベクトル半画素検索部、２０ 動きベクトル変換部、２１ 動きベクトル調整部、２２ 動きベクトル変換部、２３ 動きベクトル補正部
【産業上の利用分野】
本発明は、動きベクトル変換装置及び動きベクトル変換方法に関し、特に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット等のネットワークを介して受信する際、或いは、光ディスク、磁気ディスク、フラッシュメモリ等の記憶媒体上で処理する際に用いられる動きベクトル変換装置及び動きベクトル変換方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルデータとして取り扱う際、画像情報特有の冗長性を利用し、効率の高い情報の伝送及び蓄積を目的とした、例えば離散コサイン変換（Discrete Cosine Transform、以下、ＤＣＴと記す。）等の直交変換と動き補償により圧縮する方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ（Moving Picture Experts Group）によって標準化されているＭＰＥＧ２は、汎用画像符号化方式としてＩＳＯ／ＩＥＣ １３８１８−２に定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅している。そのためＭＰＥＧ２は、プロフェッショナル用途からコンシューマ用途まで、広範なアプリケーションに今後とも用いられるものと予想される。
【０００４】
このようなＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素をもつ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓの符号量（以下、ビットレートと記す。）を、１９２０×１０８８画素をもつ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓのビットレートを割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１よりも低いビットレート、つまり、より高い圧縮率の符号化方式には対応していなかった。ところが携帯端末の普及とともに、今後より高圧縮率の符号化方式のニーズが高まると予想されたことからＭＰＥＧ４符号化方式の標準化が行われ、画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２として国際標準に承認されている。
【０００６】
ところで、ディジタル放送に対応するように一旦符号化されたＭＰＥＧ２画像圧縮情報（以下、ＭＰＥＧ２ビットストリームと記す。）を携帯端末等で処理するためには、より低いビットレートのＭＰＥＧ４画像圧縮情報（以下、ＭＰＥＧ４ビットストリームと記す。）に変換することが要求される。
【０００７】
ＭＰＥＧ２ビットストリームをＭＰＥＧ４ビットストリームに変換する従来の画像情報変換装置として、例えば、図１８に示す画像情報変換装置１００があげられる。画像情報変換装置１００は、ＭＰＥＧ２画像情報復号化部１０１と、解像度／フレームレート変換部１０２と、ＭＰＥＧ４画像情報符号化部１０３とを少なくとも備えている。画像情報変換装置１００に入力されたＭＰＥＧ２ビットストリームは、ＭＰＥＧ２画像情報復号化部１０１により復号される。
【０００８】
ここで、画像情報変換装置１００に入力されるＭＰＥＧ２ビットストリームは、水平方向及び垂直方向に８成分（以下、８×８という。他も同様とする。）の離散コサイン変換（Discrete Cosine Transformation; DCT）係数からなるブロックを単位として構成される。ＭＰＥＧ２画像情報復号化部１０１は、８×８ＤＣＴ係数のすべてを用いて復号処理を行うことができるが、水平方向に低域４成分及び垂直方向に８成分（以下、４×８という。）のＤＣＴ係数や、水平方向及び垂直方向ともに低域４成分（以下、４×４という。）のＤＣＴ係数のみを用いた復号処理を行うこともできる。
【０００９】
なお、このような４×８ＤＣＴ係数を用いた復号処理を４×８ダウンデコードと記し、４×４ＤＣＴ係数を用いた復号処理を４×４ダウンデコードと記す。ＭＰＥＧ２画像情報復号化部１０１は、４×８ダウンデコードや４×４ダウンデコードによる処理を採用することにより、ダウンデコードによる画質劣化を最小限に抑えながら、演算量とビデオメモリ容量を削減するとともに、後段のダウンサンプリング処理を簡略化することができる。
【００１０】
ＭＰＥＧ２画像情報復号化部１０１により復号された画像は、解像度／フレームレート変換部１０２へ伝送され、任意の異なる解像度及びフレームレートを持つ画像に変換され、さらに、ＭＰＥＧ４画像情報符号化部１０３により、ＭＰＥＧ４ビットストリームへ符号化される。
【００１１】
従来の画像情報変換装置１００は、ＭＰＥＧ４画像符号化部１０３において画像信号を符号化する際、動きベクトルを検出する演算処理量が全演算処理量の約６０〜７０パーセントを占めるため、画像のリアルタイム処理が困難となり時間遅延が発生する場合があった。また、処理時間の遅延を解消しようとすると処理回路の部品点数が増加し、装置自体の構成が大規模になる等の問題点があった。
【００１２】
しかし、上述の問題点は、ＭＰＥＧ画像符号化回路１０３における演算処理量を減らすことで解消されている。図１９に示す画像情報変換装置２００では、ＭＰＥＧ２ビットストリームの動きベクトルをＭＰＥＧ４ビットストリームの動きベクトルに変換することにより、処理の高速化が図られている。すなわち、上述した画像情報変換装置１００のＭＰＥＧ４画像情報符号化部１０３では、動きベクトルの検出に大きな演算処理量を要していたが、画像情報変換装置２００のＭＰＥＧ４画像情報符号化部２０４では、ＭＰＥＧ４の符号化の際に動きベクトルを検出する必要がないので、演算量が低減されて処理が高速化されている。
【００１３】
画像情報変換装置２００は、図１９に示すように、入力されたＭＰＥＧ２ビットストリームを復号するとともに、ＭＰＥＧ２の動きベクトル、画像サイズ等のパラメータを取り出すＭＰＥＧ２画像情報復号化部２０１と、ＭＰＥＧ２画像情報復号化部２０１で取り出されたパラメータ及び外部から入力された画像サイズ調整フラグに基づいて、ＭＰＥＧ２画像情報復号化部２０１で復号された画像の解像度及びフレームレートを変換する解像度／フレームレート変換部２０２とを有している。
【００１４】
解像度／フレームレート変換部２０２は、ＭＰＥＧ２画像情報復号化部２０１で取り出されたＭＰＥＧ２動きベクトル、画像サイズ等のパラメータに基づいてＭＰＥＧ２画像情報復号化部２０１で復号された画像の解像度及びフレームレートを変換する解像度フレーム変換部２０５と、外部から入力された画像サイズ調整フラグに基づいて、解像度フレーム変換部２０５にて解像度及びフレームレートを変換された画像に対して画素の補填又は除去を行う画素補填／除去部２０６とを有している。
【００１５】
また、画像情報変換装置２００は、ＭＰＥＧ２画像情報復号化部２０１から送られたＭＰＥＧ２の動きベクトルをＭＰＥＧ４の動きベクトルに変換する動きベクトル変換部２０３と、解像度／フレームレート変換部２０２にて解像度及びフレームレートを変換された画像を動きベクトル変換部２０３から送られたＭＰＥＧ４動きベクトルに基づいてＭＰＥＧ４ビットストリームに符号化して出力するＭＰＥＧ４画像情報符号化部２０４とを有している。
【００１６】
動きベクトル変換部２０３は、解像度／フレームレート変換部２０２における解像度変換の際に、ＭＰＥＧ２画像情報復号化部２０１から送られたＭＰＥＧ２動きベクトル、画像サイズ等のパラメータや外部から供給された画像サイズ調整フラグに基づいて、ＭＰＥＧ４動きベクトルを生成する。
【００１７】
ＭＰＥＧ４ビットストリームにおける被写体の動きベクトルの水平成分は、解像度変換前の動きベクトルの水平成分と画像の横方向の解像度変換レートによって求めることができる。同様にして、解像度変換後の垂直成分は、解像度変換前の動きベクトルの垂直成分と画像の縦方向の解像度変換レートによって求められる。このように、変換後のＭＰＥＧ４ビットストリームにおける動きベクトルと解像度変換前のＭＰＥＧ２ビットストリームにおける動きベクトルとの間には、相関関係がある。
【００１８】
したがって、画像情報変換装置２００は、このような相関関係に基づいて、ＭＰＥＧ２のマクロブロック動きベクトルやマクロブロックタイプ等のパラメータを利用することで、入力されたＭＰＥＧ２ビットストリームをＭＰＥＧ４ビットストリームの動きベクトルへ変換している。
【００１９】
これら解像度変換の前後の動きベクトルの相関について説明する。解像度／フレームレート変換部２０２が画像の解像度を縦・横ともに１／２にするダウンサンプリング処理について説明する。縦方向のダウンサンプリング処理は、入力した飛び越し走査画像の第一フィールド（top field：トップフィールド）、第二フィールド（bottom field：ボトムフィールド）を抽出し、順次走査画像に変換する。一方、横方向のダウンサンプリング処理は、ダウンサンプリングフィルタを用いて、１／２の解像度に変換する。また、低ビットレート化を実現するために、解像度変換による圧縮だけではなく、画像内符号化画像（以下、Ｉピクチャと記す。）及び画像間予測符号化画像（以下、Ｐピクチャと記す。）のみで構成される第一フィールド又は第二フィールドを抜き出すことによって、時間軸方向のフレームレートを低下させている。
【００２０】
解像度・フレーム変換を行った画像は、ＭＰＥＧ４画像符号化方式で符号化できるように、外部から入力される画像サイズ調整フラグに基づいて画素補填又は画素除去が施され、縦・横の画素数が１６の倍数とされる。
【００２１】
次に、解像度／フレームレート変換部２０２が画像サイズ調整フラグを用いて画像の解像度を変更する処理について説明する。
【００２２】
ＭＰＥＧ画像復号化部２０１から解像度／フレームレート変換部２０２へと送出される画像の解像度がｍ画素×ｎ画素であるとする。ｍ、ｎは、ともに１６の倍数である。したがって、縦横両方向に対して１／２にダウンサンプリングされたｍ／２画素画像及びｎ／２画素画像は、１６の整数倍であるか、１６で割ったときに８画素の余りを生じるか、８画素の不足を生じる画素数となっている。
【００２３】
ｍ／２画素画像及びｎ／２画素画像が１６の倍数の場合、ＭＰＥＧ４符号化方式に適応しているため画像処理は行わない。解像度・フレーム変換部２０２は、縦横の画素数がｍ／２及びｎ／２である画像をそのまま出力する。
【００２４】
ｍ／２画素画像及びｎ／２画素画像が１６の倍数でない場合は、ＭＰＥＧ４符号化方式に適用していないため、画像サイズ調整フラグに基づいた画像処理が必要となる。画像サイズ調整フラグは、画素の補填、又は画素の除去を行うためのフラグである。
【００２５】
解像度／フレームレート変換部２０２は、ｍ／２画素画像及びｎ／２画素画像が１６で割って８画素が余る画素数である場合、余った８画素分の画像を除去する。すなわち、解像度／フレームレート変換部２０２からの出力画像は、（ｍ／２−８）画素又は（ｎ／２−８）画素となる。
【００２６】
一方、解像度／フレームレート変換部２０２は、ｍ／２画素画像及びｎ／２が画素画像１６で割って８画素不足する場合、８画素を補填する。すなわち、解像度／フレームレート変換部２０２は、８画素分の画像を新たに作成した８画素、もとの画像から複製した８画素、又は画像に適した８画素で補填して、行又は列の先頭、或いは、行又は列の後部から付け加える。すなわち、解像度／フレームレート変換部２０２からの出力画像は、（ｍ／２＋８）画素又は（ｎ／２＋８）画素となる。
【００２７】
結果として、解像度／フレームレート変換部２０２は、変換後の画像解像度の縦と横の画素数が１６の倍数であるＭＰＥＧ４符号化方式に適した画像サイズを有した画像を出力している。
【００２８】
解像度変換前と変換後のベクトルの相関が大きいため、動きベクトル変換部２０３において、変換後の８×８ブロックの動きベクトルは、変換前の１６×１６マクロブロックの動きベクトルより求めることができる。更に、動きベクトル変換部２０３では、ＭＰＥＧ４画像符号化方式により符号化するのに用いる動きベクトルのうち、４つの８×８動きベクトルと１６×１６動きベクトルが生成されてる。
【００２９】
次いで、動きベクトル変換部２０３がＭＰＥＧ２復号化方式により復号された画像における動きベクトルをＭＰＥＧ４符号化方式により符号化する処理を図２０に示す動きベクトル変換部２０３の詳細な構造図を用いて説明する。
【００３０】
動きベクトル変換部２０３は、具体的には、入力されたＭＰＥＧ２ビットストリーム内の動きベクトルをＭＰＥＧ２ビットストリームにおける１６×１６動きベクトルからＭＰＥＧ４ビットストリームにおける８×８動きベクトルへと変換する動きベクトル変換部２０７と、動きベクトル変換部２０７において変換された動きベクトルを画像サイズ調整フラグに基づいて調整する動きベクトル調整部２０８と、ＭＰＥＧ４ビットストリームにおける８×８動きベクトルからＭＰＥＧ４１６×１６動きベクトルへと変換する動きベクトル変換部２０９と、ＭＰＥＧ２イントラマクロブロックに対して動きベクトルを補正する補正部２１０とから構成されている。
【００３１】
動きベクトル変換部２０７は、入力されたＭＰＥＧ２のマクロブロックの動きベクトルとマクロブロックタイプを変換している。この変換動作が図２１に示されている。飛び越し走査のＭＰＥＧ２ビットストリームでは、一般的にフレーム構造が用いられてるため、ここではフレーム構造の場合の処理のみを説明する。
【００３２】
ステップＳ１００において、動きベクトル変換部２０７は、ＭＰＥＧ２画像情報復号化部２０１から入力した動きベクトルがイントラ（画像内）マクロブロックであるか、インター（画像間）スキップマクロブロックであるかを判別する。
【００３３】
動きベクトル変換部２０７は、入力した動きベクトルがイントラマクロブロックであった場合、ステップＳ１０１において、８×８マクロブロックの動きベクトルを０に設定し、更に、イントラであることを示すイントラモードフラグを設ける。
【００３４】
一方、入力した動きベクトルがインタースキップマクロブロックであった場合、ステップＳ１０２において、動きベクトルを０に設定し、ＭＰＥＧ４の８×８動きベクトルへ変換する。
【００３５】
ステップＳ１００において、入力した動きベクトルがインターマクロブロックであった場合、動きベクトル変換部２０７は、ステップＳ１０３において、動き補償された動きベクトルを含む画像がフレーム予測に基づくものであるか、フィールド予測に基づくものであるかを判別する。
【００３６】
動きベクトル変換部２０７は、入力した動きベクトルを含む画像がフレーム予測に基づくものであった場合、ステップＳ１０３において、フレーム予測に適した動きベクトルへと変換する。
【００３７】
一方、入力した動きベクトルを含む画像がフィールド予測であった場合、動きベクトル変換部２０７は、ステップＳ１０５において、更に、第一フィールド予測であるか、第二フィールド予測であるかを判別する。
【００３８】
入力した動きベクトルを含む画像が第一フィールド予測に基づく場合、動きベクトル変換部２０７は、ステップＳ１０６において、第一フィールド予測に適した動きベクトルへ変換する。
【００３９】
一方、入力した動きベクトルを含む画像が第二フィールド予測に基づく場合、動きベクトル変換部２０７は、ステップＳ１０７において、第二フィールド予測に適した動きベクトルへと変換する。
【００４０】
ここで、入力した動きベクトルを含む画像がフレーム予測に基づく場合の変換処理であるステップＳ１０４における動きベクトル変換の概念を図２２に示す。
【００４１】
変換後の動きベクトルの水平成分は、変換前の動きベクトルの水平成分と画像の横方向の解像度変換レートから求められ、垂直成分は、変換前の動きベクトルの垂直成分と画像の縦方向の解像度変換レートから求められる。すなわち、横方向の解像度及び縦方向の解像度を１／２に変換すると変換後の動きベクトルの水平成分及び垂直成分も変換前の１／２になる。
【００４２】
例えば、図２２（ａ）及び図２２（ｂ）に示すように、変換前に（８，１２）であった動きベクトルＭＶは、変換された後、（４，６）成分の動きベクトルＭＶ’となる。ただし、この場合は、整数画素の中間値（半画素）の間隔を１としている。解像度変換前の動きベクトルを示した図２２（ａ）では、整数画素の位置が黒丸で示され、半画素の位置がひし形で示されている。また、解像度変換後の動きベクトルを示した図２２（ｂ）では、半画素の位置は、白丸で示されている。
【００４３】
変換前の整数画素の位置に示されている動きベクトルは、変換後は、整数画素、又は半画素の位置に示される。ところが、変換前に半画素の位置に示されていた動きベクトルは、変換した後は、参照する画素がなくなる。そこで、変換前の動きベクトルが半画素の位置を示している場合、変換後の動きベクトルも予測画像の半画素の位置を示すようにしている。
【００４４】
復号された画像信号には、量子化による歪みが含まれているため、そのまま予測画像として使用すると予測効率が低下し、画質劣化を引き起こす場合がある。これを低減するために、低減通過フィルタに相当する参照画面での各画素間を１：１で直線補間した半画素精度を選択することで画質劣化を回避している。従来の画像情報変換装置１００におけるＭＰＥＧ４画像符号化方式による符号化においても、予測効率を向上し画質劣化を防ぐために、ＭＰＥＧ２で動きベクトルが半画素の位置に示されている場合は、ＭＰＥＧ４のフォーマットに変換した際も半画素の位置に示すように変換している。
【００４５】
このときの変換前と変換後の動きベクトルの対応関係が図２３に示されている。図２３において、［ＭＶ／２］は、ＭＶを２で割った整数部を示している。すなわち、返還前の動きベクトルＭＶを４で割った余りが１のときは、変換後の動きベクトルの半画素位置に示し、それ以外の場合は、整数画素位置に示している。
【００４６】
次に、入力した動きベクトルを含む画像がフィールド予測に基づく場合の変換処理であるステップＳ１０６及びステップＳ１０７における動きベクトル変換について示す。まず、入力した動きベクトルを含む画像が第一フィールド予測に基づく場合における動きベクトル変換の概念について示す。動きベクトルの水平成分は、動きベクトルを含む画像がフレーム予測に基づく場合と同様の処理で行われる。動きベクトルの垂直成分は、第一フィールドを抽出することにより、解像度を１／２に変換することが可能である。また、第一フィールド予測を行っているため、変換前の動きベクトルは、そのまま変換後の動きベクトルになる。
【００４７】
これに対し、入力した動きベクトルを含む画像が第二フィールド予測である場合の動きベクトル変換を図２４に示す。動きベクトルは、解像度変換されると、第一フィールドのみが抽出されるため、変換後の動きベクトルは、第一フィールドの画素値が参照画像として用いられる。そのため、ＭＰＥＧ２で予測画像として用いた第二フィールドの画素値に基づく動きベクトルを解像度変換後の第一フィールドの画素値に変換するように動きベクトルの時空間補正が行われている。
【００４８】
図２４には、第二フィールドから予測された動きベクトルＭＶｂｏｔｔｏｍから近似的に第一フィールドから予測された動きベクトルＭＶｔｏｐに変換するための空間的な補正を行う手法が模式的に示されている。すなわち、第二フィールド予測された動きベクトルＭＶｂｏｔｔｏｍの場合、動きベクトルＭＶｂｏｔｔｏｍの垂直成分に１を加える。第二フィールド予測で求めた動きベクトルＭＶｂｏｔｔｏｍの垂直成分に１を足すことで１行繰り上げられ、第二フィールドが第一フィールドと同様の空間位置に達する。その結果、第二フィールド予測で求めた動きベクトルＭＶｂｏｔｔｏｍは、空間上において、第一フィールド予測で求めた動きベクトルＭＶｔｏｐに相当する位置に近似される。
【００４９】
空間補正が施された後、第一フィールドに相当する空間位置に近似された第二フィールド予測動きベクトルＭＶｂｏｔｔｏｍの垂直成分、すなわち、近似第一フィールド予測を予測動きベクトルとしたときの垂直成分ＭＶｔｏｐ，ｖは、以下に示す式（１）で表される。
【００５０】
【数１】
また、飛び越し走査のＭＰＥＧ２画像圧縮情報には第一フィールドと第二フィールドとの間に時間ずれがあるため、第二フィールドから近似された第一フィールドと実際の第一フィールドと間の時間ずれを補正する必要がある。第一フィールドと第二フィールドの時間的位置関係が図２５に示されている。
【００５２】
図２５において、第一フィールドと第二フィールドの間隔を１とし、ａをＩピクチャの第二フィールドとＰピクチャの第一フィールドとの間隔であるとすると、ａは、１、３、５、７・・・のような奇数になる。なお、ａが１の場合は、画像の構成がＩＰＰＰ・・・の場合である。時間補正を施した後の動きベクトルＭＶ’の垂直成分を、式（２）に示す。
【００５３】
【数２】
式（１）を式（２）に代入することによって、入力した動きベクトルを含む画像が第二フィールド予測である場合、第一フィールドに近似するための時間空間補正を施した後の動きベクトルの垂直成分ＭＶｖ’は、以下に示される式（３）として表される。一方、変換後の動きベクトルの水平成分は、変換前の動きベクトルに（ａ＋１）／ａをかけて時間補正を行った後、図２３に示した対応関係に基づいて求められる。
【００５５】
【数３】
ＭＰＥＧ２で予測画像として用いた第二フィールドの画素値を解像度変換後の第一フィールドの画素値に変換するための時空間補正は、動きベクトルの垂直成分に対して時間的補正を行った後、空間的な補正を行う方法でもよい。その場合、変換後の動きベクトルＭＶｖ’の垂直成分を式（４）に示す。なお、水平成分は、空間補正を行ってから時間補正を行う場合（空間・時間補正）と時間補正を行ってから空間補正を行う場合（時間・空間補正）とでは、同様の値となる。
【００５７】
【数４】
空間・時間補正を行った場合と、時間・空間補正を行った場合の変換後の動きベクトルの垂直成分の差、すなわち、式（３）と式（４）との差は、１／ａとなっている。したがって、ａの値に応じて変換後の動きベクトルの垂直成分の差による影響が異なる。そのため、ａが１の場合と、３、５、７・・・の場合とで補正方法を変えている。
【００５９】
ａ＝１の場合について示す。式（３）にａ＝１を代入すると、変換後の動きベクトルの垂直成分ＭＶｖ’は、以下に示す式（５）として表され、式（４）にａ＝１を代入すると、変換後の動きベクトルの垂直成分ＭＶｖ’は、以下に示す式（６）として表される。
【００６０】
【数５】
その結果、変換前の動きベクトルＭＶｂｏｔｔｏｍに、０、１、２・・・を代入すると、式（５）による値は２、４、６・・・のような偶数になる。すなわち、空間・時間補正を行うと、変換前の動きベクトルは、整数画素の位置に示しても、半画素の位置に示しても、変換後は、全て整数画素の位置に示されることになる。
【００６２】
また、式（６）による値は、１、３、５のような奇数になる。すなわち、時間・空間補正を行うと、変換前の動きベクトルは、整数画素の位置に示しても、半画素の位置に示しても、変換後は、全て半画素の位置に示されることになる。
【００６３】
したがって、変換前に整数画素の位置を示す動きベクトルが変換後も整数画素の位置を示すようにするためには、空間・時間補正が用いられ、変換前に半画素の位置を示す動きベクトルが変換後も半画素の位置を示すようにするためには、時間・空間補正が用いられている。
【００６４】
このように、変換前の動きベクトルに対して、空間補正及び時間補正を交互に施す、又は、これらの補正の両方を施している。
【００６５】
動きベクトル変換部２０７において、以上の動きベクトル変換処理が終了すると、動きベクトル変換部２０７は、補正前のＭＰＥＧ４に基づく８×８動きベクトルを動きベクトル調整部２０８に対して送出する。
【００６６】
動きベクトル調整部２０８は、動きベクトル変換部２０７からのＭＰＥＧ４の８×８動きベクトルを外部から入力された画像サイズ調整フラグに基づいて画像サイズに適した動きベクトルに調整し、出力している。このとき、動きベクトル調整部２０８が画像サイズ調整フラグに基づいて、画像サイズに適した動きベクトルを出力する処理を図２６に示す。
【００６７】
動きベクトル調整部２０８は、ステップＳ１１０において、ｍ画素×ｎ画素で入力される画像サイズに対するｍ／ ２画素画像及びｎ／ ２画素画像が１６の倍数であるか否かを判別する。
【００６８】
動きベクトル調整部２０８は、ｍ／２画素画像及びｎ／２画素画像がともに１６の倍数であった場合、動きベクトル変換部２０３からのＭＰＥＧ４の８×８動きベクトルを処理することなくそのまま出力している。
【００６９】
一方、動きベクトル調整部２０８は、ｍ画素×ｎ画素で入力される画像に対するｍ／２画素画像、ｎ／２画素画像のいずれかが１６の倍数でない場合、ステップＳ１１１において、外部から入力された画像サイズ調整フラグに応じて、画素を除去するか否かを判別する。画像を除去する場合、除去された８画素分の８×８動きベクトルを出力しないで、他の８×８動きベクトルを出力している。
【００７０】
画素を除去しない場合、動きベクトル調整部２０８は、画素を補填する。動きベクトル調整部２０８は、画素補填の場合、補填された８画素の８×８動きベクトルをゼロとして設定し、受け取った他の８×８動きベクトルと併せて送出している。
【００７１】
動きベクトル変換部２０３がＭＰＥＧ２復号化方式により復号された画像の動きベクトルをＭＰＥＧ４符号化方式により符号化する処理を図２７に示す構成図を用いて説明する。図２７に示す動きベクトル変換部２０３は、図２０に示された動きベクトル変換部２０３に、マクロブロック情報バッファ２１１が加えられた構造である。
【００７２】
動きベクトル変換部２０９は、マクロブロックを構成する４つのブロックのうち、イントラでないマクロブロックから変換されたブロックの動きベクトルの和をイントラでないマクロブロックから変換されたブロックの数で割った平均を１６×１６動きベクトルとして送出する。
【００７３】
第１の方法として、ＭＰＥＧ４の８×８動きベクトルをＭＰＥＧ４の１６×１６動きベクトルへ変換する動きベクトル変換部２０９は、ＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８動きベクトルへ変換する動きベクトル変換部２０７において変換されたＭＰＥＧ４の８×８動きベクトルのうち、最も符号化効率が高いと考えられるマクロブロックより生成された動きベクトルを選択し、ＭＰＥＧ４の１６×１６動きベクトルとして出力している。符号化効率の判定は、マクロブロック情報バッファ２１１に格納された画像情報変換装置２００に入力されるＭＰＥＧ２ビットストリームにおけるマクロブロックごとの情報に基づいて行われている。すなわち、第１の方法は、４つのマクロブロックのうち、最も非ゼロＤＣＴ（離散コサイン変換）係数の少ないマクロブロックを符号化効率が高いとする方法である。
【００７４】
第２の方法は、４つのマクロブロックのうち、輝度成分のＤＣＴ係数に割り当てられたビット数が最も少ないマクロブロックを符号化効率が高いとする方法である。
【００７５】
第３の方法は、４つのマクロブロックのうち、ＤＣＴ係数に割り当てられたビット数が最も少ないマクロブロックを符号化効率が高いとする方法である。 第４の方法は、４つのマクロブロックのうち、動きベクトル等を含めたマクロブロックに割り当てられた全ビット数が最も少ないマクロブロックを符号化効率が高いとする方法である。
【００７６】
第５の方法は、４つのマクロブロックのうち、割り当てられた量子化スケールが最も小さいマクロブロックを符号化効率が高いとする方法である。
【００７７】
第６の方法は、４つのマクロブロックのうち、コンプレクシティＸとして定められる変数が最も低いマクロブロックを符号化効率が高いとする方法である。コンプレクシティとは、各マクロブロックに割り当てられた量子化スケールＱ、及びビット数Ｂを用いて以下に示す式（７）として計算される変数である。ここで、ビット数Ｂは、マクロブロック全体に割り当てられたビット数でもよいし、ＤＣＴ係数に割り当てられたビット数でもよいし、輝度成分に割り当てられたＤＣＴ係数に割り当てられたビット数でもよい。
【００７８】
【数６】
図２７に示された動きベクトル変換部２０３では、第２の方法を採用して、動きベクトル変換部２０９においては、動きベクトル変換部２０７において生成された当該マクロブロックに対するＭＰＥＧ４の８×８動きベクトルのうち、最も重み付けが高いと考えられるマクロブロックより生成された動きベクトルを２回重複して数え、合計５つの８×８動きベクトルのうち、中間の長さをもつ動きベクトルを最も符号化効率が高い動きベクトルとして選択し、ＭＰＥＧ４の１６×１６動きベクトルとして出力している。ここで、動きベクトルの長さの比較は、水平方向、垂直方向のそれぞれの長さの２乗根の和を用いている。
【００８０】
重み付け判定は、マクロブロック情報バッファ２１１に格納された画像情報変換装置２００に入力されたＭＰＥＧ２ビットストリームにおけるマクロブロックごとの情報に基づいて行う。
【００８１】
すなわち、第１の方法では、４つのマクロブロックのうち、非ゼロＤＣＴ係数が最も少ないマクロブロックを重み付けが高いとしている。
【００８２】
第２の方法では、４つのマクロブロックのうち、輝度成分のＤＣＴ係数に割り当てられたビット数が最も少ないマクロブロックを重み付けが高いとしている。
【００８３】
第３の方法では、４つのマクロブロックのうち、ＤＣＴ係数に割り当てられたビット数が最も少ないマクロブロックを重み付けが高いとしている。
【００８４】
第４の方法は、４つのマクロブロックのうち、動きベクトル等を含めたマクロブロックに割り当てられた全ビット数が最も少ないマクロブロックを重み付けが高いとしている。
【００８５】
第５の方法は、４つのマクロブロックのうち、割り当てられた量子化スケールが最も小さいマクロブロックを重み付けが高いとしている。
【００８６】
第６の方法は、４つのマクロブロックのうち、上述のコンプレクシティＸが最も低いマクロブロックを重み付けが高いとしている。
【００８７】
一方、画像サイズ調整フラグによる動きベクトル調整部２０８より出力された画像サイズに適した８×８動きベクトルは、ＭＰＥＧ２のイントラマクロブロックに対する補正部２１０に入力される。補正部２１０において、ＭＰＥＧ２ビットストリームにおけるイントラマクロブロックから変換されたの８×８動きベクトルは、動きベクトル変換部２０９によって変換された１６×１６動きベクトルに置き換え、補正される。補正後の８×８動きベクトルと、動きベクトル変換部２０９で求めた１６×１６動きベクトルとが合わされて、ＭＰＥＧ４の動きベクトルとして送出されている。
【００８８】
図２８に示すように、ＭＰＥＧ２のイントラマクロブロックに対する補正部２１０は、そのブロックがイントラマクロブロックに対応する場合に立つイントラモードフラグの状態に応じて、スイッチ２２１を切り換えて補正を行う。すなわち、補正部２１０は、イントラモードフラグが立っている場合には、スイッチ２２１をＡに倒して処理を補正処理部２２１に進める。補正処理部２２１は、イントラマクロブロックに対応する０に設定されたＭＰＥＧ４の８×８ブロックの動きベクトルを、動きベクトル変換部２０９で変換されたＭＰＥＧ４の１６×１６動きベクトルに置き換える。
【００８９】
なお、このような置き換え処理の代わりに、補正処理部２２１は、イントラマクロブロックに対応するＭＰＥＧ４の８×８ブロックの動きベクトルを、そのイントラマクロブロックの周辺に存在するインターマクロブロックの動きベクトルから変換された動きベクトルに置き換えることもできる。
【００９０】
また、補正処理部２２１は、イントラマクロブロックに対応するＭＰＥＧ４の８×８ブロックの動きベクトルを、そのイントラマクロブロックに一番近いインターマクロブロックの動きベクトルから変換された動きベクトルに置き換えることもできる。
【００９１】
なお、４つのブロックともイントラマクロブロックから変換された場合は、４つともに動きベクトルが０となり、動きベクトル変換部２０９によって求められる１６×１６動きベクトルも０となるため、ＭＰＥＧ４画像符号化に用いる動きベクトルは０となり、マクロブロックタイプがイントラモードとなる。また、イントラモードフラグが立たない場合、すなわち、ＭＰＥＧ２ではイントラマクロブロックがない場合、スイッチがＢ方向に倒れ、入力された８×８動きベクトルがそのまま出力されている。
【００９２】
図２９には、ＭＰＥＧ４の８×８動きベクトル及びＭＰＥＧ４の１６×１６動きベクトルを格納する動きベクトルバッファ２２３と、画像内符号化画像のＶＯＰ（Video Object Plane）（以下、Ｉ−ＶＯＰと記す。）から画像間予測符号化画像（以下、Ｐピクチャと記す。）（以下、Ｐ−ＶＯＰと記す。）へと変換するＩ／Ｐ変換部２２４とを備えた補正部２１０の一例が示されている。
【００９３】
Ｉ／Ｐ変換部２２４は、イントラマクロブロックに対する動きベクトルを補正する補正部２１０において生成された当該マクロブロックに対するＭＰＥＧ４の８×８動きベクトル及びＭＰＥＧ４の１６×１６動きベクトルを入力し、指定されたＭＰＥＧ４における８×８動きベクトル及びＭＰＥＧ４の１６×１６動きベクトルを送出する。送出する動きベクトルの指定は、Ｉ−ＶＯＰからＰ−ＶＯＰへと変換するきベクトル変換フラグの情報に基づいて行う。
【００９４】
すなわち、ＭＰＥＧ２の変換フレームのフレームタイプがイントラフレームモードであり、変換後のＭＰＥＧ４のＶＯＰタイプがＰ−ＶＯＰであるとき、Ｉ−ＶＯＰからＰ−ＶＯＰへと変換する動きベクトル変換フラグが作動し、直前に入力されたＭＰＥＧ４のＰ−ＶＯＰの動きベクトル情報が動きベクトル情報バッファ２２３に保存される。動きベクトル変換フラグが作動しないときは、入力された動きベクトルが直接出力される。
【００９５】
ＭＰＥＧ２の１６×１６動きベクトル情報のないイントラフレームより変換するＭＰＥＧ４動きベクトルの場合、直前のＭＰＥＧ４のＰ−ＶＯＰフレームに該当するＭＰＥＧ２の１６×１６動きベクトルから生成されたＭＰＥＧ４の８×８動きベクトル及びＭＰＥＧ４の１６×１６動きベクトルを出力とすることによって、ＭＰＥＧ４画像情報符号化部２０４における符号化効率の低減を最小にすることが可能である。
【００９６】
ＭＰＥＧ４のＩ−ＶＯＰからＰ−ＶＯＰへとＩ／Ｐ変換部２２４は、変換フレームがＭＰＥＧ２イントラフレームからＭＰＥＧ４のＰ−ＶＯＰへ変換されるフレームの場合、動きベクトル情報バッファ２２３に保存された直前に変換されたＰ−ＶＯＰのＶＯＰ内における同座標値を有する当該ブロックの８×８動きベクトルを入力する。Ｉ／Ｐ変換部２２４は、入力された動きベクトル情報に基づいて、動きベクトルが０である場合の予測画素値と入力画像画素値との残差比較をブロック単位及びマクロブロック単位で行い、動きベクトル０の予測に基づいてする残差が直前のＰ−ＶＯＰの動きベクトルを用いた残差より少ない場合、８×８動きベクトル情報又は１６×１６動きベクトル情報を０に置き換えている。
【００９７】
例示した従来の画像情報変換装置２００では、上述のようにして、ＭＰＥＧ２のＩピクチャからＭＰＥＧ４のＰ−ＶＯＰへ変換する工程で、直前のＭＰＥＧ４のＰ−ＶＯＰに使用された動きベクトル及び動きベクトルが０のときの予測残差の少ない動きベクトルをＭＰＥＧ４の８×８動きベクトル及び１６×１６動きベクトルとすることによって、ＭＰＥＧ４のＰ−ＶＯＰの動きベクトルを生成し、画像情報変換装置の構成要素であるＭＰＥＧ４画像符号化部２０４における符号化効率の低減を最小にしている。
【００９８】
更に、ＭＰＥＧ４画像情報符号化部２０４は、動きベクトルの検出を行わず、変換された動きベクトルを用いて画像信号を符号化するのみである。この場合、結果として、ＭＰＥＧ４画像情報符号化部２０４では動きベクトル検出を行わないことになるため、ＭＰＥＧ４画像情報符号化部２０４における演算処理量を削減している。
【００９９】
上述のように、画像情報変換装置２００は、ＭＰＥＧ２ビットストリームの動きベクトルからＭＰＥＧ４ビットストリームの動きベクトルへの変換を行うこと、或いは、動きベクトル以外にもＭＰＥＧ２方式での復号に用いたパラメータ又はＭＰＥＧ４形式への変換後のパラメータを採用することによって、ＭＰＥＧ４画像情報符号化部２０４における演算処理量を削減し、時間遅延を低減している。
【０１００】
【発明が解決しようとする課題】
従来の画像情報変換装置２００では、動きベクトル変換部２０９において、動きベクトル変換部２０７の出力となるＭＰＥＧ４の８×８動きベクトルの平均値を算出している。画像情報変換装置２００は、ＭＰＥＧ４における８×８動きベクトルの代表値を選択することで、ＭＰＥＧ４における１６×１６動きベクトルを生成している。
【０１０１】
しかしながら、従来の画像情報変換装置２００では、ＭＰＥＧ２に基づく動きベクトルをＭＰＥＧ４に基づく動きベクトルに変換する際、画素数（空間解像度）、ＳＮＲ（画素値の量子化精度）、フレーム数等を拡大、縮小、増加、減少する等のスケーリング処理により、動きベクトルの精度に誤差が発生し、符号化効率が低下するという問題点があった。
【０１０２】
そこで本発明は、上述した従来の実情に鑑みてなされたものであり、符号化処理工程における符号化効率の低下を軽減する動きベクトル変換装置及び動きベクトル変換方法を提供することを目的とする。
【０１０３】
【課題を解決するための手段】
本発明は、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成される飛び越し走査の画像を符号化した入力画像圧縮情報を、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成され、飛び越し走査の画像に対して水平方向及び垂直方向ともに１／２のサイズを有する順次走査の画像を符号化した出力画像圧縮情報へと変換する際、動きベクトルを変換する動きベクトル変換装置において、入力画像圧縮情報のマクロブロックは、変換により水平方向及び垂直方向ともに８成分のブロックに変換され、入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて、出力画像圧縮情報のマクロブロックを構成し、水平方向及び垂直方向ともに８成分のブロック又は１６成分のブロックを動き補償する第２の動きベクトルを生成する変換手段と、第２の動きベクトルを中心としたサーチウィンドウ内を検索し、最も予測誤差が少ない整数画素の動きベクトルを選択する動きベクトル整数画素検索手段と、動きベクトル整数画素検索手段で選択された動きベクトルの水平成分ＭＶｈの半画素値［ＭＶｈ／２］、［ＭＶｈ／２］＋１、［ＭＶｈ／２］−１、及び垂直成分ＭＶｖの、半画素値［ＭＶｖ／２］、［ＭＶｖ／２］＋１、［ＭＶｖ／２］−１からなる周辺９半画素を検索し、最も予測誤差が少ない動きベクトルを選択する動きベクトル半画素検索手段とを有し、変換手段は、動きベクトル整数画素検索手段で選択された水平方向及び垂直方向ともに８成分のブロックを動き補償する動きベクトルを受け取り、水平方向及び垂直方向ともに１６成分のブロックを動き補償する動きベクトルを生成することにより、上述した課題を達成する。
【０１０４】
また、本発明は、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成される飛び越し走査の画像を符号化した入力画像圧縮情報を、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成され、飛び越し走査の画像に対して水平方向及び垂直方向ともに１／２のサイズを有する順次走査の画像を符号化した出力画像圧縮情報へと変換する際、動きベクトルを変換する動きベクトル変換方法において、入力画像圧縮情報のマクロブロックは、変換により水平方向及び垂直方向ともに８成分のブロックに変換され、入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて、出力画像圧縮情報のマクロブロックを構成し、水平方向及び垂直方向ともに８成分のブロック又は１６成分のブロックを動き補償する第２の動きベクトルを生成する変換工程と、第２の動きベクトルを中心としたサーチウィンドウ内を検索し、最も予測誤差が少ない整数画素の動きベクトルを選択する動きベクトル整数画素検索工程と、動きベクトル整数画素検索工程で選択された動きベクトルの水平成分ＭＶｈの半画素値［ＭＶｈ／２］、［ＭＶｈ／２］＋１、［ＭＶｈ／２］−１、及び垂直成分ＭＶｖの、半画素値［ＭＶｖ／２］、［ＭＶｖ／２］＋１、［ＭＶｖ／２］−１からなる周辺９半画素を検索し、最も予測誤差が少ない動きベクトルを選択する動きベクトル半画素検索工程とを有し、変換工程では、動きベクトル整数画素検索工程で選択された水平方向及び垂直方向ともに８成分のブロックを動き補償する動きベクトルを受け取り、水平方向及び垂直方向ともに１６成分のブロックを動き補償する動きベクトルを生成することにより、上述した課題を達成する。
【０１０５】
【発明の実施の形態】
以下、図面を参照し、本発明の実施例について説明する。本発明の実施の形態として示す画像情報変換装置は、ＭＰＥＧ（Moving Picture Experts Group）によって標準化されたＭＰＥＧ２画像圧縮情報に基づく水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロック（以下、１６×１６マクロブロックと記す。）を補正して、ＭＰＥＧ４画像圧縮情報に基づく水平方向及び垂直方向ともに８成分のブロック（以下、８×８ブロックと記す。）を生成し、更に、このＭＰＥＧ２画像圧縮情報に基づく８×８ブロックをＭＰＥＧ４画像圧縮情報に基づく１６×１６マクロブロックへと変換する画像情報変換装置であって、ＭＰＥＧ４の８×８ブロックのうち、最も符号化効率が高い８×８ブロックを選択し、これをＭＰＥＧ４の１６×１６マクロブロックとする動きベクトル変換部を備え、更に、動きベクトル変換部において変換された動きベクトルを受け取り、当該動きベクトルの値に基づいて動きベクトルを再検索し、補正する動きベクトル検索補正部を備えることにより、動きベクトル変換時における動きベクトル精度の誤差を抑え、符号化効率の低下を防ぐものである。
【０１０６】
画像情報変換装置１は、図１に示すように、ＭＰＥＧ２画像情報復号化部１１と、解像度／フレームレート変換部１２と、動きベクトル変換部１３と、動きベクトル補正部１４と、ＭＰＥＧ４画像情報符号化部１５とを備えている。更に、解像度／フレームレート変換部１２は、解像度フレーム変換部１６と、画像補填・除去部１７とを有する。動きベクトル補正部１４は、具体的には、図２に示すように、動きベクトル整数画素検索部１８と、動きベクトル半画素検索部１９とを有している。
【０１０７】
画像情報変換装置１において入力されたＭＰＥＧ２ビットストリームとしての画像を図３（ａ）に、画像情報変換装置１から出力されるＭＰＥＧ４ビットストリームとしての画像を図３（ｂ）に示す。
【０１０８】
図３（ａ）に示す解像度変換前の現フレーム５０の左下には、太陽５１及び山５２が表示されているものとする。また、現フレーム５０の太陽５１は、前フレームでは領域５３に位置していたものとする。そして、図中のＭＶは、前フレームの太陽５４の位置を始点として現フレーム５０の太陽５１に向かう動きベクトルを表している。なお、この動きベクトルＭＶは、フレームの水平成分及び垂直成分にそれぞれ分解することができる。
【０１０９】
一方、図３（ｂ）に示す解像度変換後の現フレーム５５に左下には、太陽５６及び山５７が表示されているとする。また、現フレーム５５の太陽５６は、前フレームでは図中の領域５８に位置していたものとする。そして、図中の動きベクトルＭＶ’は、前フレームの太陽５９の位置を始点として現フレーム５５の太陽５６に向かう動きベクトルを表している。なお、この動きベクトルＭＶ’も、フレームの水平成分及び垂直成分にそれぞれ分解することができる。
【０１１０】
解像度変換後の動きベクトルＭＶ’は、解像度変換前の動きベクトルＭＶから解像度変換レートに基づいて求めることができる。すなわち、解像度変換後の動きベクトルＭＶ’の水平成分は、解像度変換前の動きベクトルＭＶの水平成分ＭＶｈと、水平方向（横方向）の解像度変換レートとを用いることによって求められる。同様に解像度変換後の動きベクトルＭＶ’の垂直成分は、解像度変換前の動きベクトルＭＶｖの垂直成分と、垂直方向（縦方向）の解像度変換レートとを用いることによって求められる。このように、解像度変換前のＭＰＥＧ２ビットストリームにおける動きベクトルと変換後のＭＰＥＧ４ビットストリームにおける動きベクトルとの間には、相関関係がある。
【０１１１】
したがって、画像情報変換装置１は、このような相関関係に基づいて、ＭＰＥＧ２のマクロブロック動きベクトルやマクロブロックタイプ等のパラメータを利用することで、入力されたＭＰＥＧ２ビットストリームをＭＰＥＧ４ビットストリームの動きベクトルへ簡潔に変換している。
【０１１２】
続いて、画像情報変換装置１の各部における処理を具体的に説明する。ＭＰＥＧ２画像情報復号化部１１は、ＭＰＥＧ２ビットストリームを入力し、復号化処理を施して解像度／フレームレート変換部１２へと送出する。ＭＰＥＧ２画像情報復号化部１１は、水平及び垂直方向成分に対して、入力されたＭＰＥＧ２ビットストリームの８次のＤＣＴ（離散コサイン変換）係数の全てを用いた復号処理を行う。
【０１１３】
解像度／フレームレート変換部１２は、ＭＰＥＧ２画像情報復号化部１１からのＭＰＥＧ２ビットストリームに解像度・フレームレート変換を施し、外部から入力された画像サイズ調整フラグに基づいて、ＭＰＥＧ４画像符号化に適した解像度とされた画像を出力する。画像サイズ調整フラグとは、解像度／フレームレート変換部１２に入力される画像のうち、縦・横の画素数が１６の倍数でない画像に対して、１６の整数倍になるように画素を補填するか、画素を除去するかを判別するためのフラグである。
【０１１４】
解像度／フレームレート変換部１２が画像の解像度を縦・横ともに１／２にする画素間引き処理（以下、ダウンサンプリング処理と記す。）を図４に例示する。縦方向のダウンサンプリング処理は、入力した飛び越し走査画像の第一フィールド（top field：トップフィールド）、第二フィールド（bottom field：ボトムフィールド）を抽出し、順次走査画像に変換する。一方、横方向のダウンサンプリング処理は、ダウンサンプリングフィルタを用いて、１／２の解像度に変換する。また、低ビットレート化を実現するために、解像度変換による圧縮だけではなく、画像内符号化画像（以下、Ｉピクチャと記す。）及び画像間予測符号化画像（以下、Ｐピクチャと記す。）のみで構成される第一フィールド又は第二フィールドを抜き出すことによって、時間軸方向のフレームレートを低下させている。
【０１１５】
例えば、図４（ａ）に示されるＩピクチャと双方向予測符号化画像（以下、Ｂピクチャと記す。）とを含むＭＰＥＧ２の第一フィールドのＩＢＢＰＢＢの画像は、解像度・フレーム変換の際にＢピクチャを抜き出すことによって、図４（ｂ）に示されたＩＰＰＰの第一フィールドの構成になる。解像度・フレーム変換を行った画像は、ＭＰＥＧ４画像符号化方式で符号化できるように、外部から入力される画像サイズ調整フラグに基づいて画素補填又は画素除去が施され、縦・横の画素数が１６の倍数とされる。
【０１１６】
画像の垂直方向のダウンサンプリングは、図４（ａ）の第一フィールド（top field：トップフィールド）及び図４（ｂ）の第二フィールド（bottom field：ボトムフィールド）から第一フィールドを抽出して、飛び越し走査の画像を図４（ｃ）に示す順次走査の画像に変換することにより行う。この変換により、画像の垂直方向の解像度は１／２になる。なお、垂直方向のダウンサンプリングは、図４（ａ）及び（ｂ）に示すフレームから図４（ｂ）に示す第二フィールドを抽出することによって行ってもよい。
【０１１７】
実際には、垂直方向のダウンサンプリングは、ビットレートを低下させるためのフレームレート変換と同時に行われる。すなわち、図４（ｃ）に示す順次走査の画像は、ＩＢＢＰのピクチャのうちでＩピクチャ及びＰピクチャから抽出された第一フィールドから構成される。
【０１１８】
これにより、図４（ａ）及び（ｂ）に示されたＩＢＢＰのフレームから構成される飛び越し走査の画像は、解像度・フレーム変換後、図４（ｃ）に示すようにＩＰの第一フィールドから構成される順次走査の画像になる。解像度／フレーム変換を行った画像は、ＭＰＥＧ４画像符号化方式により符号化できるように、縦・横の画素数がともに１６の倍数にする。そのため、外部から入力される画像サイズ調整フラグにより、画素の補填、或いは、画素の除去を行う。画像サイズ調整フラグは、解像度／フレームレート変換部１２の外部から入力され、画像の縦・横の画素数が１６の倍数でない場合に対し、画像への画素補填若しくは、除去を判別するためのフラグである。
【０１１９】
次に、解像度／フレームレート変換部１２が画像サイズ調整フラグを用いて画像の解像度を変更する処理について、図５を用いて説明する。具体的には、解像度／フレームレート変換部１２において、画像補填・除去部１７は、外部から入力される画像サイズ調整フラグに基づいて、画素の補填又は除去を行うことにより画像の水平方向及び垂直方向の画素数がともに１６の倍数になるようにする。これによって、画像のサイズは、ＭＰＥＧ４画像情報符号化部１５で行われる１６×１６マクロブロックの符号化に適合するようになる。
【０１２０】
画像補填・除去部１７における処理は、図５に示すような手順によって行われる。
【０１２１】
図５（ａ）に示すように、解像度／フレームレート変換部１２には、ＭＰＥＧ２画像情報復号化部１１で水平方向及び垂直方向ともに１６成分のＤＣＴ係数からなるマクロブロックごとに復号され、１６×１６マクロブロックを構成要素とした画像が入力される。したがって、入力された画像を水平方向にｍ画素及び垂直方向にｎ画素とすると、ｍ及びｎはともに１６の倍数である。
【０１２２】
この画像は、解像度／フレームレート変換部１２の解像度フレーム変換部１６によって、水平方向及び垂直方向ともに１／２に解像度変換され、水平方向にｍ／２画素及び垂直方向にｎ／２画素から構成されるようになる。このように解像度変換により水平方向にｍ／２画素及び垂直方向にｎ／２画素から構成されるようになった画像が画像補填・除去部１７に入力されるが、これらｍ／２及びｎ／２は、１６で割り切れる場合と、１６で割ると８余る場合とがある。
【０１２３】
そこで、画像補填・除去部１７においては、図５のＳ１に示すように、ｍ／２及びｎ／２が１６の倍数である場合とそうでない場合によって処理を分岐させている。
【０１２４】
すなわち、図５（ｂ）に示すように、ｍ／２及びｎ／２がともに１６の倍数の場合には、画像のサイズはＭＰＥＧ４の画像圧縮符号化に適合する。したがって、この場合には、画像補填・除去部１７は、画素の補填又は除去を行うことなく水平方向にｍ／２及び垂直方向にｎ／２画素の画像をそのまま出力する。
【０１２５】
ｍ／２又はｎ／２の少なくとも一方が１６で割ると８余る場合には、画像のサイズは、ＭＰＥＧ４の画像圧縮符号化に適合していない。したがって、この場合には、画像補填／除去部５ｂは、画像のサイズをＭＰＥＧ４の画像圧縮符号化に適合させるために、画素の補填又は除去を行うことにより画像のサイズを変更する。
【０１２６】
なお、以下では便宜上、水平方向のｍ／２画素が１６で割り切れない場合について例示するが、垂直方向のｎ／２画素が１６で割り切れない場合や、水平方向のｍ／２画素及び垂直方向のｎ／２画素がともに１６で割り切れない場合についても同様である。
【０１２７】
画像補填・除去部１７は、外部から入力された画像サイズ調整フラグに応じて、画像へ８画素を補填する処理と、画像から８画素を除去する処理をスイッチＳ２で切り換える。
【０１２８】
すなわち、画像サイズ調整フラグに応じて８画素を除去する場合には、スイッチＳ２で画素の除去を選択する。この場合には、図５（ｃ）に示すように、水平方向にｍ／２画素の画像の例えば後部から水平方向に８画素が除去される。これによって、画像は水平方向にはｍ／２−８画素（すなわち、１６で割り切れる画素数）から構成されるようになる。同様に、画像の水平方向に先頭から画素を除去することもできる。
【０１２９】
一方、画像調整フラグに応じて８画素を補填する場合には、スイッチＳ２で画素の補填を選択する。この場合には、図５（ｄ）に示すように、水平方向にｍ／２画素の画像の例えば後部に８画素が補填される。これによって、画素は水平方向にはｍ／２＋８画素（すなわち、１６で割り切れる画素数）から構成されるようになる。同様に、画像の水平方向に先頭に画素を補填することもできる。なお、画像に補填する画素は、新たに作成したり、補填前の画像から複製したり、画像に適した画素を選択したものを使用することができる。
【０１３０】
このような画像補填・除去部１７における画素の補填又は除去により、画像の水平方向及び垂直方向の画素数はともに１６の倍数になり、ＭＰＥＧ４画像情報符号化部１５におけるＭＰＥＧ４ビットストリームへの符号化に適合するようになる。結果として、解像度／フレームレート変換部１２は、変換後の画像解像度の縦と横の画素数が１６の倍数であるＭＰＥＧ４符号化方式に適した画像サイズを有した画像を出力する。
【０１３１】
続いて、動きベクトル変換部１３が動きベクトルを変換する処理について、図６を用いて説明する。
【０１３２】
図６（ａ）はＭＰＥＧ２画像情報復号化部２０１より出力された画像を表している。図６（ｂ）は、図６（ａ）に示す画像を解像度／フレームレート変換部１２で水平方向及び垂直方向ともに１／２の解像度に変換された画像を表している。
【０１３３】
例えば、図６（ａ）に示した解像度変換前の画像における左上の１６×１６マクロブロック６１は、解像度／フレームレート変換部１２によって、図６（ｂ）に示した変換後の画像における左上の８×８ブロック６２に変換される。同様に、図６（ａ）に示した解像度変換前の画像における４つの１６×１６マクロブロック６３は、解像度／フレームレート変換部１２による解像度変換後の画像における４つの８×８ブロック６４に対応している。これら４つの８×８ブロック６４によって、１つの１６×１６マクロブロックが構成される。
【０１３４】
解像度変換前の画像における４つの１６×１６マクロブロック６３の各マクロブロックの動きベクトルＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４は、解像度変換後の画像における４つの８×８ブロック６４の動きベクトルｍｖ１、ｍｖ２、ｍｖ３、ｍｖ４にそれぞれ対応している。
【０１３５】
なお、１６×１６マクロブロックの動きベクトルを１６×１６動きベクトル、８×８ブロックの動きベクトルを８×８動きベクトルと称する。
【０１３６】
解像度／フレームレート変換部１２による解像度変換の前後の画像に対応する動きベクトルの相関により、解像度変換後の８×８ブロックの動きベクトルは、解像度変換前の１６×１６マクロブロックの動きベクトルより求めることができる。したがって、解像度変換前の４つの１６×１６マクロブロック６３の動きベクトルＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４から、解像度変換後の４つのブロック６４の動きベクトルｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４をそれぞれ求めることができる。
【０１３７】
次いで、動きベクトル変換部１３がＭＰＥＧ２復号化方式により復号された画像における動きベクトルをＭＰＥＧ４符号化方式により符号化する処理を図７に示す構成図を用いて説明する。
【０１３８】
動きベクトル変換部１３は、具体的には、入力されたＭＰＥＧ２ビットストリーム内の動きベクトルをＭＰＥＧ２ビットストリームにおける１６×１６動きベクトルからＭＰＥＧ４ビットストリームにおける８×８動きベクトルへと変換するＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０と、ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０において変換された動きベクトルを画像サイズ調整フラグに基づいて調整する動きベクトル調整部２１と、ＭＰＥＧ４ビットストリームにおける８×８動きベクトルからＭＰＥＧ４の１６×１６動きベクトルへと変換するＭＰＥＧ４＿８×８ＭＶ→ＭＰＥＧ４＿１６×１６ＭＶ動きベクトル変換部２２と、ＭＰＥＧ２イントラマクロブロックに対して動きベクトルを補正する動きベクトル補正部２３とから構成されている。
【０１３９】
ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶＭＰＥＧ４＿８×８ＭＶ→ＭＰＥＧ４＿１６×１６ＭＶ動きベクトル変換部２２は、ＭＰＥＧ２画像情報復号化部１１から入力されたＭＰＥＧ２のマクロブロックの動きベクトルとマクロブロックタイプとを変換する。このときの変換動作を図８に示す。飛び越し走査のＭＰＥＧ２ビットストリームでは、一般的にフレーム構造が用いられてるため、ここではフレーム構造の場合の処理のみを説明する。
【０１４０】
ステップＳ１１において、ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０は、ＭＰＥＧ２画像情報復号化部１１からの動きベクトルがイントラマクロブロックであるか、インタースキップマクロブロックであるかを判別する。
【０１４１】
ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０は、入力した動きベクトルがイントラマクロブロックであった場合、ステップＳ１２において、８×８マクロブロックの動きベクトルを０に設定し、更に、イントラであることを示すイントラモードフラグを設ける。
【０１４２】
一方、入力した動きベクトルがインタースキップマクロブロックであった場合、ステップＳ１３において、動きベクトルを０に設定し、ＭＰＥＧ４の８×８動きベクトルへ変換する。
【０１４３】
ステップＳ１１において、入力した動きベクトルがインターマクロブロックであった場合、ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０は、ステップＳ１４において、動き補償された動きベクトルを含む画像がフレーム予測に基づくものであるか、フィールド予測に基づくものであるかを判別する。
【０１４４】
ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０は、入力した動きベクトルを含む画像がフレーム予測に基づくものであった場合、ステップＳ１５において、フレーム予測に適した動きベクトルへと変換する。
【０１４５】
一方、入力した動きベクトルを含む画像がフィールド予測であった場合、ＭＰＥＧ４＿８×８ＭＶ→ＭＰＥＧ４＿１６×１６ＭＶ動きベクトル変換部２２は、ステップＳ１６において、更に、第一フィールド予測であるか、第二フィールド予測であるかを判別する。
【０１４６】
入力した動きベクトルを含む画像が第一フィールド予測に基づく場合、ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０は、ステップＳ１７において、第一フィールド予測に適した動きベクトルへ変換する。
【０１４７】
一方、入力した動きベクトルを含む画像が第二フィールド予測に基づく場合、ＭＰＥＧ２＿１６×１６ＭＶ→ＭＰＥＧ４＿８×８ＭＶ動きベクトル変換部２０は、ステップＳ１８において、第二フィールド予測に適した動きベクトルへと変換する。
【０１４８】
ここで、入力した動きベクトルを含む画像がフレーム予測に基づく場合の変換処理としてのステップＳ１５における動きベクトル変換の概念を図９に示す。
【０１４９】
図３で説明したように、変換後の動きベクトルの水平成分は、変換前の動きベクトルの水平成分と画像の横方向の解像度変換レートから求められ、垂直成分は、変換前の動きベクトルの垂直成分と画像の縦方向の解像度変換レートから求められる。すなわち、横方向の解像度及び縦方向の解像度を１／２に変換すると変換後の動きベクトルの水平成分及び垂直成分も変換前の１／２になる。
【０１５０】
図３（ａ）に示す解像度変換前の画像には、現フレームにおける太陽５１及び山５２が表示されている。解像度変換前の動きベクトルＭＶは、前フレームの太陽５４の位置を始点とし、現フレームの太陽５１の位置に向かっている。すなわち、解像度変換前の１６×１６動きベクトルであるこの動きベクトルＭＶは、（０，０）から（８，１２）に向かっている。
【０１５１】
ここで、動きベクトルＭＶは、水平方向及び垂直方向のそれぞれについて、画像を構成する整数画素ａ１に相当する位置０，２，４，・・・と、隣接する整数画素ａ１の間の位置１，３，５，・・・に想定された仮想的な半画素ａ２とを用いて表されている。なお、この半画素ａ２は、動きベクトルＭＶを整数画素ａ１に相当する位置の１／２の精度で表すために想定された実在しない画素である。
【０１５２】
一方、図３（ｂ）に示す解像度変換後の画像は、図３（ａ）に示した画像の解像度を１／２に変換したものである。
【０１５３】
この解像度変換により、水平方向及び垂直方向について、図３（ａ）に示した位置０，４，８，・・・に相当する整数画素ａ１が残り、図３（ｂ）に示した整数画素ｂ１の位置０’，２’，４’，・・・に相当するようになる。図３（ａ）に示した位置２，６，１０，・・・に相当する整数画素ａ１は捨てられる。なお、図３（ｂ）においては、動きベクトルＭＶ’を整数画素ｂ１に相当する位置０’，２’，４’，・・・の１／２の精度で表すために、隣接する整数画素ｂ１の間の位置１’，３’，５’，・・・に仮想的な半画素ｂ２が想定されている。
【０１５４】
解像度変換後の動きベクトルＭＶ’も、前フレームの太陽５９の位置を始点とし、現フレームの太陽５６の位置に向かっている。すなわち、解像度変換後の８×８動きベクトルであるこの動きベクトルＭＶ’は、（０，０）から（４’，６’）に向かっている。
【０１５５】
このような画像の解像度変換に応じて、解像度変換前の動きベクトルＭＶから解像度変換後の動きベクトルＭＶ’への変換を行うものとする。すなわち、解像度変換後の動きベクトルＭＶ’の水平成分ＭＶｈ’は、画像の水平方向の解像度変換レートに応じて１／２倍に変換される。同様に、解像度変換後の動きベクトルＭＶ’の垂直成分ＭＶｖ’も、画像の垂直成分の解像度変換レートに応じて１／２倍に変換される。
【０１５６】
例えば、図３（ａ）に示した（０，０）から（８，１２）に向かう解像度変換前の動きベクトルＭＶは、水平成分８及び垂直成分１２であるので、解像度変換レートに応じて１／２倍されて水平成分４及び垂直成分６となる。したがって、図３（ｂ）に示す（０，０）から（４，６）に向かう解像度変換後の動きベクトルＭＶ’が得られる。
【０１５７】
ところで、解像度変換後の動きベクトルＭＶ’は、水平成分及び垂直成分に相当する整数画素ｂ１又は半画素ｂ２が存在しないことがある。なお、以下の説明では便宜上動きベクトルの水平成分についてのみ言及するが、垂直成分についても同様である。
【０１５８】
すなわち、図３（ａ）の上部に対応関係を示すように、解像度変換前の画像において、解像度変換前の動きベクトルＭＶの水平成分ＭＶｈが整数画素ａ１に相当する０，４，８，・・・のとき、すなわち水平成分ＭＶｈを４で割った余りが０となるときには、解像度変換レートに応じて１／２倍して得た解像度変換後の動きベクトルＭＶ’の水平成分ＭＶｈ’は、０’，２’，４’，・・・となり、解像度変換後の画像における整数画素ｂ１に相当する。同様に、解像度変換前の動きベクトルＭＶの水平成分ＭＶｈが整数画素ａ１に相当する２，６，１０，・・・のとき、すなわち水平成分ＭＶｈを４で割った余りが２となるときには、解像度変換レートに応じて１／２倍して得た解像度変換後の動きベクトルＭＶ’の水平成分ＭＶｈ’は、１’，３’，５’，・・・となり、解像度変換後の画像における半画素ｂ２に相当する。また、解像度変換前の動きベクトルＭＶの水平成分ＭＶｈが半画素ａ２に相当する１，３，５，７，・・・のときには、解像度変換前の動きベクトルＭＶの水平成分ＭＶｈを解像度変換レートに応じて１／２倍した値１／２，３／２，５／２，７／２，・・・に相当する画素が存在しない。
【０１５９】
しかし、従来のように半画素動きベクトルを生成し、これを中心に再検索を行う場合、半画素値をサーチウィンドウ内で予め求める工程を必要とするため、処理工程が増えることになる。
【０１６０】
そこで、本実施の形態においては、かかる場合には、解像度変換後の動きベクトルＭＶ’の水平成分ＭＶｈ’は、サーチウィンドウ内で最も予測差が少ない整数画素の動きベクトルを求め、次にその整数画素周辺の９半画素値を検索するようにしている。
【０１６１】
したがって、解像度変換前の動きベクトルＭＶの水平成分ＭＶｈが整数画素ａ１に相当する２，６，１０，・・・のとき解像度変換レートに応じて１／２倍して得た解像度変換後の動きベクトルＭＶ’の水平成分ＭＶｈ’が１’，３’，５’，・・・となり、解像度変換後の画像における半画素値ｂ２に相当する場合、すなわち水平成分ＭＶｈを４で割った余りが２となる場合、及び解像度変換前の動きベクトルＭＶの水平成分ＭＶｈを解像度変換レートに応じて１／２倍した値１／２，３／２，５／２，７／２，・・・等に相当する画素が存在しない場合は、整数画素ｂ２に相当する０’，２’，２’，４’，・・・に変換する。
【０１６２】
これら解像度変換前の動きベクトルＭＶの水平成分ＭＶｈと、解像度変換後の動きベクトルＭＶ’の関係を図１０に示す。なお、この図１０においては、解像度変換前の動きベクトルＭＶの水平成分又は垂直成分の値をＭＶと表記している。
【０１６３】
すなわち、解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが０の場合には、解像度変換後の動きベクトルＭＶ’の水平成分［ＭＶ／２］は整数画素ｂ１に相当する。したがって、解像度変換後の動きベクトルＭＶ’の水平成分を［ＭＶ／２］とする。
【０１６４】
解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが１の場合には、解像度変換前の動きベクトルＭＶの水平成分を解像度変換レートに応じて１／２倍した値［ＭＶ／２］とする。
【０１６５】
解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが２の場合には、解像度変換後の動きベクトルＭＶ’の水平成分は、［ＭＶ／２］＋１とする。
【０１６６】
解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが３の場合には、解像度変換前の動きベクトルＭＶの水平成分を解像度変換レートに応じて１／２倍した値［ＭＶ／２］−１に対応させる。
【０１６７】
このように、本実施の形態では、まずサーチウィンドウ内で最も予測誤差が少ない整数画素の動きベクトルを求め、次に、その整数画素周辺の９半画素値を検索することにより、半画素値をサーチウィンドウ内で予め求める工程を削減している。
【０１６８】
次に、入力した動きベクトルを含む画像がフィールド予測に基づく場合の変換処理であるステップＳ１７及びステップＳ１８における動きベクトル変換の概念について図１１に示す。
【０１６９】
まず、ステップＳ１７における入力した動きベクトルを含む画像が第一フィールド予測に基づく場合の動きベクトル変換の概念について示す。動きベクトルの水平成分は、動きベクトルを含む画像がフレーム予測に基づく図９に示した場合と同様の処理で行われる。すなわち、変換前の動きベクトルが半画素の位置を示している場合、変換後の動きベクトルも予測画像の最も近接した整数画素の位置を示すようにする。
【０１７０】
動きベクトルの垂直成分は、図１１（ａ）に示すように、第一フィールドのラインａ３及び第二フィールドのラインａ４のうち、第一フィールドのラインａ３を取り出す間引き処理を行うことにより、解像度を１／２にする解像度変換が行われる。図１１（ｂ）には、第一フィールドのラインｂ３を取り出すことで、垂直方向に解像度が１／２になった画像が示されている。また、第一フィールド予測を行っているため、解像度変換前の動きベクトルＭＶは、そのまま解像度変換後の動きベクトルＭＶ’になる。
【０１７１】
続いて、ステップＳ１８における動きベクトルを含む画像が第二フィールド予測に基づく場合の動きベクトル変換の概念図を図１２に示す。図１２（ａ）において、第一フィールドのラインａ３及び第二フィールドのラインａ４のうち、第一フィールドのラインａ３を取り出す間引きを行うことにより、解像度を１／２にする解像度変換が行われる。このため、この第二フィールド予測の場合においても、解像度変換後には第一フィールドの画素値を参照画像として用いる。
【０１７２】
図１２（ｂ）には、参照画像として用いられる第一フィールドのラインｂ３のみから構成される解像度変換後の画像が示されている。しかし、飛び越し走査のＭＰＥＧ２画像圧縮情報では第一フィールドの画像と第二フィールドの画像には、時間的及び空間的なずれがある。このため、ＭＰＥＧ２で予測画像として用いた第二フィールドの画素値を解像度変換後の第一フィールド予測に変換するように、動きベクトルの時間的及び空間的な補正を行う。
【０１７３】
まず、第二フィールド予測から近似的に第一フィールド予測に変換するための空間的補正として、動きベクトルの垂直成分に１を加える。これによって、図１２（ａ）に示すように、第二フィールド予測で求めた動きベクトルＭＶｂｏｔｔｏｍは、垂直成分に１を加えることにより垂直方向に一行を繰り上げられ、第二フィールドが第一フィールドと同様の位置に達し、第一フィールド予測の近似動きベクトルＭＶｔｏｐが得られる。このような空間的な補正によって、第二フィールド予測で求めた動きベクトルＭＶｂｏｔｔｏｍの空間的な位置は、第一フィールド予測で求めた動きベクトルと同様になる。
【０１７４】
式（８）は、近似第一フィールド、すなわち第一フィールドと同様な空間位置にある第二フィールドを空間的な補正によって予測したときの動きベクトルＭＶｔｏｐの垂直成分を表している。
【０１７５】
【数７】
次に、第二フィールドから近似された第一フィールドと実際の第一フィールドとの時間ずれの補正を行う。
【０１７７】
図１３は、時間ずれの補正を説明する図である。すなわち、図１３（ａ）における各フレームは、第一フィールド及び第二フィールドから構成されるが、第一フィールドと第二フィールドの時間間隔を１とすると、Ｉピクチャの第二フィールドとＰピクチャの第一フィールドの時間間隔をａは１，３，５，・・・の値を取り得る。
【０１７８】
図中には、Ｉピクチャの第一フィールドを参照してＰピクチャの第一フィールドを予測する動きベクトルＭＶｔｏｐと、Ｉピクチャの第二フィールドを参照してＰピクチャの第一フィールドを予測する動きベクトルＭＶｂｏｔｔｏｍとが示されている。
【０１７９】
図１３（ｂ）には、図１３（ａ）に示した画像に解像度変換及びフレームレート変換により変換されたＩピクチャの第一フィールド及びＰピクチャの第一フィールドと、解像度変換後の動きベクトルＭＶ’が示されている。
【０１８０】
これらの時間間隔の比率により、第二フィールドを参照する動きベクトルＭＶｂｏｔｔｏｍから近似した近似ＭＶｔｏｐを用いて、時間のずれを補正して解像度変換後の動きベクトルＭＶ’を得るためには式（９）を適用する。
【０１８１】
【数８】
式（８）を式（９）に代入すると、解像度変換後の動きベクトルＭＶ’の垂直成分は、式（１０）のようになる。
【０１８３】
【数９】
なお、解像度変換後の動きベクトルの水平成分に対しては、解像度変換前の動きベクトルＭＶｂｏｔｔｏｍに（ａ＋１）／ａを乗じ、時間的な補正を行った後、先に図１０に示したように変換される。すなわち、解像度変換前に半画素に相当する動きベクトルは、解像度変換後にも半画素に相当する動きベクトルに変換される。
【０１８５】
場合によっては、動きベクトルの垂直成分に対して時間的補正を行った後、空間的な補正を行ってもよい。その場合、動きベクトルＭＶ’の垂直成分は、式（１１）で与えられる。
【０１８６】
【数１０】
なお、解像度変換後の動きベクトルＭＶ’の水平成分は、空間補正を行ってから時間補正を行う空間・時間補正と時間補正を行ってから空間補正を行う時間・空間補正のいずれでも同様な値となる。
【０１８８】
式（１０）と式（１１）の差、すなわち、空間・時間補正を行った場合と、時間・空間補正を行った場合の動きベクトルの垂直成分の差は１／ａになる。したがって、ａの値によって、空間・時間補正と時間・空間補正との差による影響が異なる。そこで、ａが１の場合と、１より大きい、すなわち３，５，７，・・・の２つの場合における補正方法を説明する。
【０１８９】
まず、ａが１の場合について、式（１０）のａに１を代入すると、動きベクトルの垂直成分は式（１２）になる。
【０１９０】
【数１１】
式（１２）のａに１を代入し、動きベクトルの垂直成分は式（１３）になる。
【０１９２】
【数１２】
その結果、解像度変換前の動きベクトルＭＶｂｏｔｔｏｍに０，１，２，・・・を代入すると、式（１２）による値は２，４，６，・・・のような偶数になる。すなわち、空間・時間補正を行うと、解像度変換前の動きベクトルＭＶｂｏｔｔｏｍは整数画素又は半画素に位置しても、解像度変換後の動きベクトルＭＶ’は、全て整数画素に位置する。
【０１９４】
また、式（１３）による値は、１，３，５，・・・のような奇数になる。すなわち、時間・空間補正を行うと、解像度変換前の動きベクトルＭＶは整数画素又は半画素に位置しても、解像度変換後の動きベクトルＭＶ’は、全て半画素に位置する。
【０１９５】
したがって、解像度変換前に整数画素に位置する動きベクトルＭＶｂｏｔｔｏｍに対して、解像度変換後の動きベクトルＭＶ’を整数画素に位置するようにする場合、空間・時間補正を行う。また、解像度変換前に半画素に位置する動きベクトルＭＶｂｏｔｔｏｍに対して、解像度変換後の動きベクトルＭＶ’を半画素に位置するようにする場合、時間・空間補正を行う。
【０１９６】
すなわち、解像度変換後の動きベクトルＭＶ’の垂直成分を求めるために、解像度変換前の動きベクトルＭＶｂｏｔｔｏｍに対し、空間補正、時間補正を交互に使用して解像度変換後の動きベクトルＭＶ’に変換する。若しくは、解像度変換前の動きベクトルＭＶｂｏｔｔｏｍの全てに対して時間・空間補正を行う。
【０１９７】
以上の動きベクトル変換処理が終了した後、動きベクトル変換部１２から、ＭＰＥＧ４の８×８動きベクトルが出力される。
【０１９８】
次に、画像情報変換装置１における動きベクトル補正部１４について説明する。動きベクトル補正部１４は、動きベクトル変換部１３においてＭＰＥＧ２に基づく動きベクトルをＭＰＥＧ４に基づく動きベクトルに変換する際、画素数（空間解像度）、ＳＮＲ（画素値の量子化精度）、フレーム数等を拡大、縮小、増加、減少するスケーリング処理により発生した動きベクトルの誤差を補正し、より精度の高い動きベクトルを求める処理を行う。
【０１９９】
具体的には、動きベクトル補正部１４は、入力されたＭＰＥＧ４の８×８動きベクトルの周辺画素に対して、水平方向に＋−２整数画素、垂直方向に＋−１画素の動きベクトル検索を行う。すなわち、動きベクトル補正部１４は、再検索の際のサーチウィンドウを動きベクトル変換部１３によって求められた動きベクトルを中心に水平方向に５画素、垂直方向に３画素の領域に抑えている。これにより、動きベクトル検索の処理数を大幅に減少させて、符号化効率の低下を防ぐことを可能としている。
【０２００】
また、図２に示した動きベクトル整数画素検索部１８は、指定されたサーチウィンドウ内で最も予測画素値が少ない整数画素動きベクトルを選択する。動きベクトル半画素検索部１９は、整数画素値で選択された最小予測誤差の動きベクトルの周辺９半画素値を検索し、最も予測誤差が少ない最適な動きベクトル値を送出する。
【０２０１】
動きベクトル補正部１４は、サーチウィンドウの再検索画素数を設定するための動きベクトル補正方向情報フラグに基づいて、サーチウィンドウのサイズを設定している。図１４及び図１５を用いて、動きベクトル補正方向情報フラグについて説明する。
【０２０２】
図１４（ａ）及び（ｂ）では、ＭＰＥＧ２の動きベクトルにおける整数画素がｃ１で表され、ＭＰＥＧ４の８×８動きベクトルにおける整数画素がｃ１’で表されている。また、ＭＰＥＧ２の半画素位置は、ｄ１で表されている。また、図１４（ａ）には、変換前のＭＰＥＧ２の動きベクトルが整数画素であり、変換後のＭＰＥＧ４の８×８動きベクトルも整数画素である場合が示され、図１４（ｂ）には、変換前のＭＰＥＧ２の動きベクトルが整数画素値であり、変換後のＭＰＥＧ４の８×８動きベクトルが半画素精度である場合が示されている。
【０２０３】
図１４（ａ）に示されるように、変換前のＭＰＥＧ２の動きベクトルが整数画素であり、変換後のＭＰＥＧ４の８×８動きベクトルも整数画素である場合、同位相の画素が存在し、変換前と変換後とで動きベクトルの画素値に歪みが生じないため、動きベクトルのサーチウィンドウは、動きベクトルの進行方向に対して対称に設定される。
【０２０４】
一方、図１４（ｂ）に示されるように、変換前のＭＰＥＧ２の動きベクトルが整数画素値であり、変換後のＭＰＥＧ４の８×８動きベクトルが半画素精度である場合、動きベクトルの進行方向に対して、繰り上げにより近似のＭＰＥＧ４の整数画素に修正されるため、サーチウィンドウは、動きベクトルの進行方向に対して逆方向に大きくなるように設定することにより、検索処理工程を削減することが可能となる。例えば、動きベクトルと逆方向に２整数画素値分、順方向に１整数画素値分検索するようにする。このとき、動きベクトル変換時に、ＭＰＥＧ４動きベクトルを繰り下げることによって、これを近似のＭＰＥＧ４の整数画素値とした場合、サーチウィンドウの設定は、動きベクトルの進行方向に対して順方向に大きくなるように設定される。
【０２０５】
図１５（ａ）には、変換前のＭＰＥＧ２の動きベクトルが半画素位置であり、変換後のＭＰＥＧ４の８×８動きベクトルが整数画素である場合が示され、図１５（ｂ）には、変換前のＭＰＥＧ２の動きベクトルが半画素位置であり、変換後のＭＰＥＧ４の８×８動きベクトルも半画素精度である場合が示されている。
【０２０６】
図１５（ａ）及び（ｂ）に示されるように、変換前のＭＰＥＧ２の動きベクトルが半画素位置であり、変換後のＭＰＥＧ４の８×８動きベクトルが整数画素である場合、変換前のＭＰＥＧ２動きベクトルが半画素精度を示し、ＭＰＥＧ４動きベクトルに変換する際に、最も近接したＭＰＥＧ４整数画素値に修正するため、図１４（ｂ）に示した場合と同様に、歪みが生じる方向に応じて、サーチウィンドウは、動きベクトルの進行方向に対して順方向又は逆方向に大きくなるように設定される。
【０２０７】
これにより、動きベクトル補正部１４は、動きベクトル再検索の際の処理工程数を減少させるため、動きベクトル変換部１３から送出された動きベクトルの歪み方向を受け取って、動きベクトルの補正検索を行う際の最適なサーチウィンドウの大きさを設定することが可能となる。
【０２０８】
このように、画像情報変換装置１は、ＭＰＥＧ２ビットストリームを入力し、ＭＰＥＧ４における８×８動きベクトル及び１６×１６動きベクトルを求める際に、動きベクトル変換部１３によりスケーリングされた動きベクトルに対して、動きベクトル補正部１４において最適なサーチウィンドウの大きさを設定して再検索し、補正することによって、ＭＰＥＧ４画像符号化部１５における符号化効率の低減を最小とすることを可能としている。
【０２０９】
以上説明したように、本発明の実施の形態においては、ＭＰＥＧ２ビットストリームを入力して、ＭＰＥＧ４ビットストリームを出力する場合について説明したが、入力、出力ともこれに限らず、例えば、ＭＰＥＧ−１やＨ．２６３等の画像圧縮情報（ビットストリーム）に対応した画像情報変換装置に適用してもよい。
【０２１０】
なお、図１、２に示す画像情報変換装置１は、ＭＰＥＧ４における１６×１６動きベクトルも８×８動きベクトルと同様に処理を行うようにしているが、これを、最適なＭＰＥＧ４における８×８動きベクトルを動きベクトル整数画素検索部により整数画素値として求め、当該整数画素値を再度動きベクトル変換部に入力し、ＭＰＥＧ４における１６×１６動きベクトルを求めてもよい。このような画像情報変換装置を図１６及び図１７に示す。画像情報変換装置２において、画像情報変換装置１と同様の構成は、同番号を付して示し、詳細な説明を省略する。
【０２１１】
画像情報変換装置２における動きベクトル変換部２４は、整数画素精度で補正されたＭＰＥＧ４の８×８動きベクトルを受け取り、この動きベクトルに基づいて、ＭＰＥＧ４の１６×１６動きベクトルを算出して送出する。
【０２１２】
図１７に詳細を示す動きベクトル補正部２５は、動きベクトル整数画素検索部２６と動きベクトル半画素検索部２７とを有する。動きベクトル整数画素検索部２６は、動きベクトル変換部２４からのＭＰＥＧ４の１６×１６動きベクトルを受け取り、ＭＰＥＧ４の８×８動きベクトルを補正するのと同様に、入力されたＭＰＥＧ４の１６×１６動きベクトルを中心としたサーチウィンドウ内を水平５画素、垂直３画素で再検索する。動きベクトル半画素検索部２７は、整数画素値で選択された最小予測誤差の動きベクトルの周辺９半画素値を検索する。
【０２１３】
このような画像情報変換装置２は、最も予測誤差が少ない最適なＭＰＥＧ４の１６×１６動きベクトル値を送出することが可能である。
【０２１４】
なお、画像情報変換装置１において、ＭＰＥＧ２画像情報復号化部１１は、４×８ダウンデコード、若しくは、４×４ダウンデコードを行うことによって、画質劣化を最小限に抑えながら演算量とビデオメモリ容量とを削減してもよい。特に、ダウンサンプリング処理を簡略化することによって演算量とビデオメモリ容量とを削減してもよい。
【０２１５】
以上、画像情報変換装置１では、サーチウィンドウを水平５画素、垂直３画素と設定して説明したが、これに限らず、水平、垂直方向のサーチウィンドウの検索画素数は、任意に選択可能としてもよい。
【０２１６】
【発明の効果】
以上詳細に説明したように、本発明にかかる動きベクトル変換装置によれば、入力画像圧縮情報のマクロブロックは、変換により水平方向及び垂直方向ともに８成分のブロックに変換され、入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて、出力画像圧縮情報のマクロブロックを構成し、ブロックの各々を動き補償する第２の動きベクトルを生成し、この第２の動きベクトルのうち、符号化効率の最も高い動きベクトルを出力画像圧縮情報のマクロブロックを動き補償する第３の動きベクトルとする変換手段と、第１の動きベクトルに基づいて生成された第２の動きベクトルを再度入力し、当該第２の動きベクトルの値の近傍で第２の動きベクトルを再検索し補正する動きベクトル補正手段とを有することによって、動きベクトル変換手段により補正処理された動きベクトルに対して、動きベクトル検索補正手段において再検索して動きベクトルの精度の誤差を補正することで、符号化処理における符号化効率の低減を最小とすることが可能である。
【０２１７】
また、本発明にかかる動きベクトル変換方法によれば、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成される飛び越し走査の画像を符号化した入力画像圧縮情報を、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成され、飛び越し走査の画像に対して水平方向及び垂直方向ともに１／２のサイズを有する順次走査の画像を符号化した出力画像圧縮情報へと変換する際、動きベクトルを変換する動きベクトル変換方法において、入力画像圧縮情報のマクロブロックは、変換により水平方向及び垂直方向ともに８成分のブロックに変換され、入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて、出力画像圧縮情報のマクロブロックを構成し、ブロックの各々を動き補償する第２の動きベクトルを生成し、この第２の動きベクトルのうち、符号化効率の最も高い動きベクトルを出力画像圧縮情報のマクロブロックを動き補償する第３の動きベクトルとし、第１の動きベクトルに基づいて生成された第２の動きベクトルを再度入力し、当該第２の動きベクトルの値の近傍で第２の動きベクトルを再検索し補正することにより、動きベクトル変換手段により補正処理された動きベクトルに対して、動きベクトルを再検索して動きベクトルの精度の誤差を補正することで、符号化処理における符号化効率の低減を最小とすることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の一例として示す画像情報変換装置の構成を説明するブロック図である。
【図２】本発明の実施の形態の一例として示す画像情報変換装置の動きベクトル補正部の構成を説明するブロック図である。
【図３】ＭＰＥＧ２ビットストリームにおける動きベクトルとＭＰＥＧ４ビットストリームにおける動きベクトルとの間の相関関係を説明する図である。
【図４】本発明の実施の形態の一例として示す画像情報変換装置の解像度／フレームレート変換部における変換動作を説明する図である。
【図５】本発明の実施の形態の一例として示す画像情報変換装置の解像度／フレームレート変換部が画像サイズ調整フラグを用いて画像の解像度を変更する処理を説明する図である。
【図６】本発明の実施の形態の一例として示す画像情報変換装置の動きベクトル変換部が動きベクトルを変換する処理を説明する図である。
【図７】本発明の実施の形態の一例として示す画像情報変換装置の動きベクトル変換部の構成を説明するブロック図である。
【図８】本発明の実施の形態の一例として示す画像情報変換装置の動きベクトル変換部における動きベクトル変換部がＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８動きベクトルへと変換する動作を説明する図である。
【図９】ＭＰＥＧ２の１６×１６動きベクトルからＭＰＥＧ４の８×８動きベクトルへ変換する際、画像がフレーム構造かつフレーム予測の場合の変換動作を模式的に説明する図である。
【図１０】本発明の実施の形態の一例として示す画像情報変換装置がＭＰＥＧ２画像圧縮情報における半画素精度の動きベクトルをＭＰＥＧ４画像圧縮情報の８×８動きベクトルへと変換するときの動きベクトルの対応関係を示す図である。
【図１１】本発明の実施の形態の一例として示す画像情報変換装置がＭＰＥＧ２の１６×１６動きベクトルからＭＰＥＧ４の８×８動きベクトルへ変換する際、画像がフレーム構造かつ第一フィールド予測の場合の変換動作を模式的に説明する図である。
【図１２】本発明の実施の形態の一例として示す画像情報変換装置がＭＰＥＧ２の１６×１６動きベクトルからＭＰＥＧ４の８×８動きベクトルへ変換する際、画像がフレーム構造かつ第二フィールド予測の場合の変換動作を模式的に説明する図である。
【図１３】本発明の実施の形態の一例として示す画像情報変換装置の解像度／フレームレート変換部における変換動作を説明する図である。
【図１４】本発明の実施の形態の一例として示す画像情報変換装置が動きベクトル補正方向情報フラグに基づいた画素補正を説明する図である。
【図１５】本発明の実施の形態の一例として示す画像情報変換装置が動きベクトル補正方向情報フラグに基づいた画素補正を説明する図である。
【図１６】本発明の実施の形態の一例として示す画像情報変換装置の構成を説明するブロック図である。
【図１７】本発明の実施の形態の一例として示す画像情報変換装置の動きベクトル補正部の構成を説明するブロック図である。
【図１８】従来の画像情報変換装置の構成を説明するブロック図である。
【図１９】従来の画像情報変換装置の構成を説明するブロック図である。
【図２０】従来の画像情報変換装置における動きベクトル変換部の構成を説明するブロック図である。
【図２１】従来の画像情報変換装置の動きベクトル変換部における動きベクトル変換部がＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８動きベクトルへと変換する動作を説明する図である。
【図２２】従来の画像情報変換装置がＭＰＥＧ２の１６×１６動きベクトルからＭＰＥＧ４の８×８動きベクトルへ変換する際、画像がフレーム構造かつフレーム予測の場合の変換動作を模式的に説明する図である。
【図２３】従来の画像情報変換装置がＭＰＥＧ２画像圧縮情報における半画素精度の動きベクトルをＭＰＥＧ４画像圧縮情報の８×８動きベクトルへと変換するときの動きベクトルの対応関係を示す図である。
【図２４】従来の画像情報変換装置がＭＰＥＧ２の１６×１６動きベクトルからＭＰＥＧ４の８×８動きベクトルへ変換する際、画像がフレーム構造かつフィールド予測の場合の変換動作を模式的に説明する図である。
【図２５】従来の画像情報変換装置の解像度／フレームレート変換部における変換動作を説明する図である。
【図２６】従来の画像情報変換装置が画素サイズ調整フラグに基づいて画像サイズに適した動きベクトルを出力する処理を示すフローチャートである。
【図２７】従来の画像情報変換装置における動きベクトル変換部の構成を説明するブロック図である。
【図２８】従来の画像情報変換装置における補正部の構成を説明するブロック図である。
【図２９】従来の画像情報変換装置における動きベクトル変換部の構成を説明するブロック図である。
【符号の説明】
１，２ 画像情報変換装置、１１ ＭＰＥＧ２画像情報復号化部、１２ 解像度／フレームレート変換部、１３，２４ 動きベクトル変換部、１４，２５ 動きベクトル補正部、１５ ＭＰＥＧ４画像情報符号化部、１６ 解像度フレーム変換部、１７ 画像補填・除去部、１８，２６ 動きベクトル整数画素検索部、１９，２７ 動きベクトル半画素検索部、２０ 動きベクトル変換部、２１ 動きベクトル調整部、２２ 動きベクトル変換部、２３ 動きベクトル補正部
Claims (6)
- 水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成される飛び越し走査の画像を符号化した入力画像圧縮情報を、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成され、上記飛び越し走査の画像に対して水平方向及び垂直方向ともに１／２のサイズを有する順次走査の画像を符号化した出力画像圧縮情報へと変換する際、動きベクトルを変換する動きベクトル変換装置において、
上記入力画像圧縮情報のマクロブロックは、上記変換により水平方向及び垂直方向ともに８成分のブロックに変換され、上記入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて、上記出力画像圧縮情報のマクロブロックを構成し、水平方向及び垂直方向ともに８成分のブロック又は１６成分のブロックを動き補償する第２の動きベクトルを生成する変換手段と、
上記第２の動きベクトルを中心としたサーチウィンドウ内を検索し、最も予測誤差が少ない整数画素の動きベクトルを選択する動きベクトル整数画素検索手段と、
上記動きベクトル整数画素検索手段で選択された動きベクトルの水平成分ＭＶｈの半画素値［ＭＶｈ／２］、［ＭＶｈ／２］＋１、［ＭＶｈ／２］−１、及び垂直成分ＭＶｖの、半画素値［ＭＶｖ／２］、［ＭＶｖ／２］＋１、［ＭＶｖ／２］−１からなる周辺９半画素を検索し、最も予測誤差が少ない動きベクトルを選択する動きベクトル半画素検索手段とを有し、
上記変換手段は、上記動きベクトル整数画素検索手段で選択された水平方向及び垂直方向ともに８成分のブロックを動き補償する動きベクトルを受け取り、水平方向及び垂直方向ともに１６成分のブロックを動き補償する動きベクトルを生成する動きベクトル変換装置。 - 上記サーチウィンドウを水平５画素、垂直３画素と設定する設定手段を備える請求項１記載の動きベクトル変換装置。
- 上記入力画像圧縮情報は、ＭＰＥＧ（Moving Picture Experts Group）によって標準化されたＭＰＥＧ２規格に基づくものであり、上記出力画像圧縮情報は、ＭＰＥＧ４規格に基づくものである請求項１記載の動きベクトル変換装置。
- 水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成される飛び越し走査の画像を符号化した入力画像圧縮情報を、水平方向及び垂直方向ともに１６成分の離散コサイン変換係数からなるマクロブロックから構成され、上記飛び越し走査の画像に対して水平方向及び垂直方向ともに１／２のサイズを有する順次走査の画像を符号化した出力画像圧縮情報へと変換する際、動きベクトルを変換する動きベクトル変換方法において、
上記入力画像圧縮情報のマクロブロックは、上記変換により水平方向及び垂直方向ともに８成分のブロックに変換され、上記入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて、上記出力画像圧縮情報のマクロブロックを構成し、水平方向及び垂直方向ともに８成分のブロック又は１６成分のブロックを動き補償する第２の動きベクトルを生成する変換工程と、
上記第２の動きベクトルを中心としたサーチウィンドウ内を検索し、最も予測誤差が少ない整数画素の動きベクトルを選択する動きベクトル整数画素検索工程と、
上記動きベクトル整数画素検索工程で選択された動きベクトルの水平成分ＭＶｈの半画素値［ＭＶｈ／２］、［ＭＶｈ／２］＋１、［ＭＶｈ／２］−１、及び垂直成分ＭＶｖの、半画素値［ＭＶｖ／２］、［ＭＶｖ／２］＋１、［ＭＶｖ／２］−１からなる周辺９半画素を検索し、最も予測誤差が少ない動きベクトルを選択する動きベクトル半画素検索工程とを有し、
上記変換工程では、上記動きベクトル整数画素検索工程で選択された水平方向及び垂直方向ともに８成分のブロックを動き補償する動きベクトルを受け取り、水平方向及び垂直方向ともに１６成分のブロックを動き補償する動きベクトルを生成する動きベクトル変換方法。 - 上記サーチウィンドウは、水平５画素、垂直３画素である請求項４記載の動きベクトル変換方法。
- 上記入力画像圧縮情報は、ＭＰＥＧ（Moving Picture Experts Group）によって標準化されたＭＰＥＧ２規格に基づくものであり、上記出力画像圧縮情報は、ＭＰＥＧ４規格に基づくものである請求項４記載の動きベクトル変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001009301A JP4779207B2 (ja) | 2001-01-17 | 2001-01-17 | 動きベクトル変換装置及び動きベクトル変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001009301A JP4779207B2 (ja) | 2001-01-17 | 2001-01-17 | 動きベクトル変換装置及び動きベクトル変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002218468A JP2002218468A (ja) | 2002-08-02 |
| JP4779207B2 true JP4779207B2 (ja) | 2011-09-28 |
Family
ID=18876806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001009301A Expired - Fee Related JP4779207B2 (ja) | 2001-01-17 | 2001-01-17 | 動きベクトル変換装置及び動きベクトル変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4779207B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5207693B2 (ja) * | 2007-09-18 | 2013-06-12 | キヤノン株式会社 | 画像符号化装置及び画像符号化方法 |
| JP5564939B2 (ja) * | 2009-12-25 | 2014-08-06 | 株式会社三洋物産 | 遊技機 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1066088A (ja) * | 1996-08-16 | 1998-03-06 | Ricoh Co Ltd | 多地点テレビ会議制御装置 |
| JP2933561B2 (ja) * | 1997-03-26 | 1999-08-16 | 日本電気通信システム株式会社 | 動画符号変換装置 |
| JPH10336672A (ja) * | 1997-05-30 | 1998-12-18 | Oki Electric Ind Co Ltd | 符号化方式変換装置およびその動きベクトル検出方法 |
| JP4164903B2 (ja) * | 1998-08-04 | 2008-10-15 | 日本ビクター株式会社 | 動画像符号列変換装置及びその方法 |
| JP2000165883A (ja) * | 1998-11-27 | 2000-06-16 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置 |
| JP3855522B2 (ja) * | 1999-02-23 | 2006-12-13 | 松下電器産業株式会社 | 動画変換装置 |
-
2001
- 2001-01-17 JP JP2001009301A patent/JP4779207B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002218468A (ja) | 2002-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4682410B2 (ja) | 画像処理装置及び画像処理方法 | |
| EP1528812B1 (en) | Predicting motion vectors for fields forward-predicted interlaced video frames | |
| JP4193406B2 (ja) | 映像データ変換装置および映像データ変換方法 | |
| US8514939B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
| JP2007251497A (ja) | 動画像符号化方法、動画像符号化装置、動画像符号化プログラム | |
| WO2012098845A1 (ja) | 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置 | |
| JP5560009B2 (ja) | 動画像符号化装置 | |
| JP4622077B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2009296300A (ja) | 画像符号化装置および方法 | |
| JP2002152752A (ja) | 画像情報変換装置及び方法 | |
| JP4779207B2 (ja) | 動きベクトル変換装置及び動きベクトル変換方法 | |
| JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
| JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP4556286B2 (ja) | 動きベクトル変換装置及び方法 | |
| JP2002044669A (ja) | 画像情報変換装置及び方法 | |
| JP4529295B2 (ja) | 動きベクトル変換方法及び変換装置 | |
| JP2001309389A (ja) | 動きベクトル変換装置及び方法 | |
| JP5946980B1 (ja) | 画像復号化方法 | |
| JP6181242B2 (ja) | 画像復号化方法 | |
| JP5951915B2 (ja) | 画像復号化方法 | |
| JP5911982B2 (ja) | 画像復号化方法 | |
| JP5750191B2 (ja) | 画像復号化方法 | |
| JP2002199399A (ja) | 動きベクトル変換方法及び変換装置 | |
| JP4505992B2 (ja) | 画像情報変換装置及び方法 | |
| JP2002135785A (ja) | 動きベクトル変換方法及び変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100607 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110620 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |