JP4556286B2 - 動きベクトル変換装置及び方法 - Google Patents
動きベクトル変換装置及び方法 Download PDFInfo
- Publication number
- JP4556286B2 JP4556286B2 JP2000132915A JP2000132915A JP4556286B2 JP 4556286 B2 JP4556286 B2 JP 4556286B2 JP 2000132915 A JP2000132915 A JP 2000132915A JP 2000132915 A JP2000132915 A JP 2000132915A JP 4556286 B2 JP4556286 B2 JP 4556286B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- conversion
- macroblock
- image
- compression information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動きベクトルを変換する動きベクトル変換装置及び方法に関し、詳しくは、離散コサイン変換等の直交変換と動き補償によって圧縮されたＭＰＥＧ等の画像情報（ビットストリーム）を衛星放送、ケーブルＴＶ、インターネット等のネットワークメディアを介して受信する際に、若しくは光、磁気ディスクのような記憶メディア上で処理する際に用いられる画像情報を変換する際に、動きベクトルを変換する動きベクトル変換装置及び方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルとして取り扱い、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの画像情報圧縮方式が提供されている。そして、このような画像情報圧縮方法に準拠した装置は、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）は、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する、汎用画像符号化方式として定義されている。
【０００４】
すなわち、ＭＰＥＧ２符号化圧縮方式によれば、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像に４〜８Ｍｂｐｓの符号量（ビットレート）を割り当て、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像に対して１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることにより、高い圧縮率と良好な画質の実現が可能となる。
【０００５】
このようなことから、ＭＰＥＧ２は、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。
しかし、ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としており、例えばＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。
【０００６】
一方で、近年の携帯端末の普及により、今後とも高い圧縮率の符号化方式のニーズは高まると思われ、これに対応して、高い圧縮率を有するＭＰＥＧ４符号化方式の標準化が行われている。この画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２として国際標準の規格が承認された。
【０００７】
ところで、ディジタル放送用に一度符号化されたＭＰＥＧ２画像圧縮情報（ビットストリーム）を、携帯端末上等で処理するのにより適した、より低い符号量（ビットレート）の画像圧縮情報（ビットストリーム）に変換したいというニーズがある。
【０００８】
かかる目的を達成する従来の画像情報変換装置の例を図９に示す。すなわち、この画像情報変換装置は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換するものである。
【０００９】
図９に示すように、この画像情報変換装置は、ＭＰＥＧ２画像圧縮情報（ビットストリーム）を復号する画像情報復号化部１と、画像情報復号化部１で復号された画像の解像度及びフレームレートを変換する解像度／フレームレート変換部２と、解像度／フレームレート変換部２で解像度及びフレームレートを変換された画像をＭＰＥＧ４画像圧縮情報（ビットストリーム）に符号化する画像情報符号化部３とから構成される。
【００１０】
画像情報変換装置に入力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）は、画像情報復号化部１により復号される。
【００１１】
ここで、画像情報変換装置に入力されるＭＰＥＧ２画像圧縮情報（ビットストリーム）は、水平方向及び垂直方向に共に８成分（以下、８×８という。他も同様とする。）の離散コサイン変換（discrete cosine transformation; DCT）係数からなるブロックを単位として構成される。ＭＰＥＧ２画像情報復号化部１は、８×８ＤＣＴ係数のすべてを用いて復号処理を行うことができるが、水平方向に低域４成分及び垂直方向に８成分（以下、４×８という。）のＤＣＴ係数や、水平方向及び垂直方向共に低域４成分（以下、４×４という。）のＤＣＴ係数のみを用いた復号処理を行うこともできる。
【００１２】
なお、以下の説明では、このような４×８ＤＣＴ係数を用いた復号処理を４×８ダウンデコードと呼び、４×４ＤＣＴ係数を用いた復号処理を４×４ダウンデコードと呼ぶことにする。画像情報復号化部１は、４×８ダウンデコードや４×４ダウンデコードによる処理を採用することにより、ダウンデコードによる画質劣化を最小限に抑えながら、演算量とビデオメモリ容量を削減すると共に、後段のダウンサンプリング処理を簡略化することができる。
【００１３】
画像情報復号部１により復号された画像は、解像度／フレームレート変換部２へ伝送され、任意の異なる解像度及びフレームレートを持つ画像に変換され、さらに、画像情報符号化部３により、ＭＰＥＧ４画像圧縮情報（ビットストリーム）に符号化される。
【００１４】
ところで、画像情報符号化部３においては、解像度／フレームレート変換部２において解像度及びフレームレートが変換された画像をＭＰＥＧ４画像圧縮情報（ビットストリーム）に符号化する際に動きベクトルを検出することになるが、このときの動きベクトル検出演算には全演算処理量の約６０〜７０パーセントが費やされている。
【００１５】
このように画像情報符号化部３における処理量が多いために、従来の画像情報変換装置では、画像情報をリアルタイムに変換することが難しく、その結果、画像情報の変換に時間遅延が発生したり、装置の規模が大きくなってしまうという問題があった。
【００１６】
図１０に示す画像情報変換装置は、かかる問題を解決するために提案されたものである。
【００１７】
この画像情報変換装置においては、ＭＰＥＧ２画像圧縮情報（ビットストリーム）の動きベクトルをＭＰＥＧ４画像圧縮情報（ビットストリーム）の動きベクトルに変換することにより、処理の高速化が図られている。すなわち、上述した図９の画像情報変換装置の画像情報符号化部３においては動きベクトルの検出に大きな演算処理量を要していたが、この図１０に示す画像情報変換装置の画像情報符号化装置７ではＭＰＥＧ４の符号化の際に動きベクトルを検出する必要がないので、演算量が低減されて処理が高速化される。
【００１８】
この画像情報変換装置は、入力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）を復号すると共にＭＰＥＧ２の動きベクトル、画像サイズ等のパラメータを取り出す画像情報復号化部４と、画像情報復号化部４で取り出されたパラメータ及び外部から入力された画像サイズ調整フラグに基づいて、画像情報復号化部４で復号された画像の解像度及びフレームレートを変換する解像度／フレームレート変換部５とを有している。
【００１９】
解像度／フレームレート変換部５は、画像情報復号化部４で取り出されたＭＰＥＧ２動きベクトル、画像サイズ等のパラメータに基づいて画像情報復号化部４で復号された画像の解像度及びフレームレートを変換する解像度／フレームレート変換部５ａと、外部から入力された画像サイズ調整フラグに基づいて、解像度／フレームレート変換部５ａにて解像度及びフレームレートを変換された画像に対して画素の補填又は除去を行う画素補填／除去部５ｂとを有している。
【００２０】
また、画像情報変換装置は、画像情報復号化部４から送られたＭＰＥＧ２の動きベクトルをＭＰＥＧ４の動きベクトルに変換する動きベクトル変換部６と、解像度／フレームレート変換部５にて解像度及びフレームレートを変換された画像を動きベクトル変換部６から送られたＭＰＥＧ４動きベクトルに基づいてＭＰＥＧ４画像圧縮情報（ビットストリーム）に符号化して出力する画像情報符号化部７とを有している。
【００２１】
この画像情報変換装置においては、解像度／フレームレート変換部５は、画像情報符号化部３におけるＭＰＥＧ４画像圧縮情報（ビットストリーム）への符号化に適合するように、画像情報復号化部４から供給されＭＰＥＧ２画像圧縮情報（ビットストリーム）が復号された画像の解像度及びフレームレートを変換する。
【００２２】
動きベクトル変換部６は、解像度／フレームレート変換部５における解像度変換の際に、画像情報復号化部４から送られたＭＰＥＧ２動きベクトル、画像サイズ等のパラメータや外部から供給された画像サイズ調整フラグに基づいて、ＭＰＥＧ４動きベクトルを生成する。
【００２３】
動きベクトル変換部６における処理は、解像度変換前の画像に対応する動きベクトルと、解像度変換後の画像に対応する動きベクトルとが、大きな相関を有することを用いたものである。
【００２４】
これら解像度変換の前後の動きベクトルの相関について、図１１を用いて説明する。
【００２５】
図１１のＡに示す解像度変換前の現フレーム２０の左下には、太陽２１及び山２２が表示されているとする。また、現フレーム２０の太陽２１は、前フレームでは図中の網が掛けられた場所２３に位置していたとする。そして、図中のＭＶは、前フレームの太陽２４の位置を始点として現フレーム２０の太陽２１に向かう動きベクトルを表している。なお、この動きベクトルＭＶは、フレームの水平成分及び垂直成分にそれぞれ分解することができる。
【００２６】
一方、図１１のＢに示す解像度変換後の現フレーム２５に左下には、太陽２６及び山２７が表示されているとする。また、現フレーム２５の太陽２６は、前フレームでは図中の網が掛けられた部分２８に位置していたとする。そして、図中の動きベクトルＭＶ’は、前フレームの太陽２９の位置を始点として現フレーム２５の太陽２６に向かう動きベクトルを表している。なお、この動きベクトルＭＶ’も、フレームの水平成分及び垂直成分にそれぞれ分解することができる。
【００２７】
ここで、解像度変換後の動きベクトルＭＶ’は、解像度変換前の動きベクトルＭＶから解像度変換レートに基づいて求めることができる。
【００２８】
すなわち、解像度変換後の動きベクトルＭＶ’の水平成分は、解像度変換前の動きベクトルＭＶの水平成分と、水平方向（横方向）の解像度変換レートとを用いることによって求められる。同様に解像度変換後の動きベクトルＭＶ’の垂直成分は、解像度変換前の動きベクトルＭＶの垂直成分と、垂直方向（縦方向）の解像度変換レートとを用いることによって求められる。
【００２９】
このように、動きベクトル変換部６においては、解像度変換前の動きベクトルＭＶや画像サイズ等のパラメータに基づいて、解像度変換後の動きベクトルＭＶ’への変換を行うことができる。
【００３０】
すなわち、図１０の動きベクトル変換部６においては、解像度変換の比率を用いて、解像度変換前のＭＰＥＧ２動きベクトルＭＶから解像度変換後のＭＰＥＧ４の動きベクトルＭＶ’を得ることができる。したがって、この図１０の動きベクトル変換部６においては画像から動きベクトルを抽出するための演算は必要がないので、上述した図９の画像情報変換装置と比較すると、画像を符号化する際の演算量が少なく、時間遅延が低減されて処理が高速化されている。
【００３１】
なお、画像情報復号化部４は、マクロブロックの８×８ＤＣＴ係数を用いた復号の他に、４×８ＤＣＴ係数を用いた４×８ダウンデコードや４×４ＤＣＴ係数を用いた４×４ダウンデコードを行うこともできる。このように、８×８ＤＣＴ係数を用いた復号に代わって４×８ダウンデコードや４×４ダウンデコードを採用することにより、ダウンデコードによる画質劣化を最小限に抑えながら、演算量とビデオメモリ容量を削減することができる。さらに、これらのダウンデコードによって、後段のダウンサンプリング処理を簡略化することができる。
【００３２】
画像情報復号化部４から出力された画像は、解像度／フレームレート変換部５へ送られ、解像度及びフレームレート変換を施された後、外部から入力された画像サイズ調整フラグによりＭＰＥＧ４画像符号化に適した画像サイズに変換されて出力される。
【００３３】
解像度／フレームレート変換部５は、解像度及びフレームレートを変換する解像度／フレームレート変換部５ａと、解像度及びフレームレートが変換された画像に対して画素の補填又は除去を行う画素補填／除去部５ｂとを有している。
【００３４】
解像度／フレームレート変換部５ａは、画像復号化部４から供給された画像の解像度を変換する。ここでは、解像度／フレームレート変換部５は、水平方向及び垂直方向共に画像の解像度が１／２になるようなダウンサンプリングを行うものとする。
【００３５】
まず、垂直方向のダウンサンプリングについて、図１２を参照して説明する。
【００３６】
ＭＰＥＧ２画像圧縮情報（ビットストリーム）を復号した飛び越し走査の各フレームの画像は、図１２のＡに示す第一フィールド及び図１２のＢに示す第二フィールドから構成される。
【００３７】
図中には、表示順序にしたがって、フレーム内で符号化されたイントラ符号化画像（Ｉピクチャ）、前方の画像及び後方の画像を参照する双方向予測符号化画像（Ｂピクチャ）、前方の画像を参照する順方向予測符号化画像（Ｐピクチャ）の４つのフレームが示されている。
【００３８】
なお、簡単のために、以下では、Ｉピクチャ、Ｐピクチャ及びＢピクチャをそれぞれＩ、Ｐ及びＢと略することがある。
【００３９】
画像の垂直方向のダウンサンプリングは、図１２のＡ及びＢに示すフレームから、図１２のＡに示す第一フィールドを抽出して、飛び越し走査の画像を図１２のＣに示す順次走査の画像に変換することにより行う。この変換により、画像の垂直方向の解像度は１／２になる。
【００４０】
なお、垂直方向のダウンサンプリングは、図１２のＡ及びＢに示すフレームからの図１２のＢに示す第二フィールドを抽出することによって行ってもよい。
【００４１】
実際には、垂直方向のダウンサンプリングは、ビットレートを低下させるためのフレームレート変換と同時に行われる。すなわち、図１２のＣに示す順次走査の画像は、ＩＢＢＰのピクチャの内でＩピクチャ及びＰピクチャから抽出された第一フィールドから構成される。
【００４２】
これにより、図１２のＡ及びＢに示されたＩＢＢＰのフレームから構成される飛び越し走査の画像は、図１２のＣに示すようにＩＰの第一フィールドから構成される順次走査の画像になる。
【００４３】
異常のように、解像度／フレームレート変換部５では、解像度変換と共に、同時に行われるなフレームレート変換によってビットレートをさらに低減している。
【００４４】
一方、水平方向のダウンサンプリングについては、ダウンサンプリングフィルタにより解像度を１／２に変換することにより行う。例えば、ダウンサンプリングフィルタは、画像から画素を間引くことにより解像度の変換を行う。
【００４５】
このようにして、解像度／フレームレート変換部５ａに入力された飛び越し走査の画像は、解像度を水平方向及び垂直方向共に１／２に変換されると同時に、フレームレートを変換された順次走査の画像に変換される。
【００４６】
解像度／フレームレート変換部５ａにて解像度及びフレームレートを変換された画像は、画像の画素を補填又は除去する画素補填／除去部５ｂに送られる。
【００４７】
画素補填／除去部５ｂは、画像情報符号化部７における符号化に適合するように、画素の補填又は除去を行うことにより画像サイズを調整する。
【００４８】
具体的には、画素補填／除去部５ｂは、外部から入力される画像サイズ調整フラグに基づいて、画素の補填又は除去を行うことにより画像の水平方向及び垂直方向の画素数が共に１６の倍数になるようにする。これによって、画像のサイズは、画像情報符号化部７で行われる１６×１６画素のマクロブロック単位の符号化に適合するようになる。
【００４９】
画素補填／除去部５ｂにおける処理は、図１３に示すような手順によって行われる。
【００５０】
図１３のＡに示すように、解像度／フレームレート変換部５には、画像情報復号化部４で１６×１６ＤＣＴ係数からなるマクロブロックごとに復号され、１６×１６画素のマクロブロックを構成要素とした画像が入力される。したがって、入力された画像を水平方向にｍ画素及び垂直方向にｎ画素とすると、ｍ及びｎは共に１６の倍数である。
【００５１】
この画像は、解像度／フレームレート変換部５の解像度／フレームレート変換部５ａによって、水平方向及び垂直方向共に１／２に解像度変換され、水平方向にｍ／２画素及び垂直方向にｎ／２画素から構成されるようになる。
【００５２】
このように解像度変換により水平方向にｍ／２画素及び垂直方向にｎ／２画素から構成されるようになった画像が画素補填／除去部５ｂに入力されるが、これらｍ／２及びｎ／２は、１６で割り切れる場合と、１６で割ると８余る場合とがある。
【００５３】
そこで、画素補填／除去部５ｂにおいては、図１３のＳ１に示すように、ｍ／２及びｎ／２が１６の倍数である場合とそうでない場合によって処理を分岐させている。
【００５４】
すなわち、図１３のＢに示すように、ｍ／２及びｎ／２が共に１６の倍数の場合には、画像のサイズはＭＰＥＧ４の画像圧縮符号化に適合する。したがって、この場合には、画素補填／除去部５ｂは、画素の補填又は除去を行うことなく水平方向にｍ／２及び垂直方向にｎ／２画素の画像をそのまま出力する。
【００５５】
ｍ／２又はｎ／２の少なくとも一方が１６で割ると８余る場合には、画像のサイズは、ＭＰＥＧ４の画像圧縮符号化に適合していない。したがって、この場合には、画像補填／除去部５ｂは、画像のサイズをＭＰＥＧ４の画像圧縮符号化に適合させるために、画素の補填又は除去を行うことにより画像のサイズを変更する。
【００５６】
なお、以下では便宜上、水平方向のｍ／２画素が１６で割り切れない場合について例示するが、垂直方向のｎ／２画素が１６で割り切れない場合や、水平方向のｍ／２画素及び垂直方向のｎ／２画素が共に１６で割り切れない場合についても同様である。
【００５７】
画素補填／除去部５ｂは、外部から入力された画像サイズ調整フラグに応じて、画像へ８画素を補填する処理と、画像から８画素を除去する処理をスイッチＳ２で切り換える。
【００５８】
すなわち、画像サイズ調整フラグに応じて８画素を除去する場合には、スイッチＳ２で画素の除去を選択する。
【００５９】
この場合には、図１３のＣに示すように、水平方向にｍ／２画素の画像の例えば後部から水平方向に８画素が除去される。これによって、画像は水平方向にはｍ／２−８画素（すなわち、１６で割り切れる画素数）から構成されるようになる。同様に、画像の水平方向に先頭から画素を除去することもできる。
【００６０】
一方、画像調整フラグに応じて８画素を補填する場合には、スイッチＳ２で画素の補填を選択する。
【００６１】
この場合には、図１３のＤに示すように、水平方向にｍ／２画素の画像の例えば後部に８画素が補填される。これによって、画素は水平方向にはｍ／２＋８画素（すなわち、１６で割り切れる画素数）から構成されるようになる。同様に、画像の水平方向に先頭に画素を補填することもできる。なお、画像に補填する画素は、新たに作成したり、補填前の画像から複製したり、画像に適した画素を選択したものを使用することができる。
【００６２】
このような画素補填／除去部５ｂにおける画素の補填又は除去により、画像の水平方向及び垂直方向の画素数は共に１６の倍数になり、画像情報符号化部７におけるＭＰＥＧ４画像圧縮情報（ビットストリーム）への符号化に適合するようになる。
【００６３】
図１０に戻り、画像情報変換装置の画像情報復号化部４において、入力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）は、可変長符号の復号化が行われた後、Ｐピクチャに対する動きベクトルやマクロブロックタイプなどその他のパラメータが取り出される。
【００６４】
動きベクトル変換部６においては、これらのパラメータを用いて動きベクトルの変換が行われる。この動きベクトル変換部６における動きベクトル変換方法について、図１４を参照して説明する。
【００６５】
図１４のＡは画像情報復号化部４より出力された画像を表している。図１４のＢは、図１４のＡに示す画像を解像度／フレームレート変換部５で水平方向及び垂直方向共に１／２の解像度に変換された画像を表している。
【００６６】
例えば、図１４のＡに示した解像度変換前の画像における左上の１６×１６マクロブロック１０１は、解像度／フレームレート変換部５によって、図６のＢに示した変換後の画像における左上の８×８ブロック１０２に変換される。
【００６７】
同様に、図１４のＡに示した解像度変換前の画像における４つの１６×１６マクロブロック１０３は、解像度／フレームレート変換部５による解像度変換後の画像における２×２の４つの８×８ブロック１０４に対応している。これら４つの８×８ブロック１０４によって、一つの１６×１６マクロブロックが構成される。
【００６８】
解像度変換前の画像における４つの１６×１６マクロブロック１０３の各マクロブロックの動きベクトルＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４は、解像度変換後の画像における４つの８×８ブロック１０４の動きベクトルｍｖ１、ｍｖ２、ｍｖ３、ｍｖ４にそれぞれ対応している。
【００６９】
なお、１６×１６マクロブロックの動きベクトルを１６×１６動きベクトルと、８×８ブロックの動きベクトルを８×８動きベクトルと称することにする。
【００７０】
解像度／フレームレート変換部５による解像度変換の前後の画像に対応する動きベクトルの相関は前述したように大きいので、解像度変換後の８×８ブロックの動きベクトルは、解像度変換前の１６×１６マクロブロックの動きベクトルより求めることができる。したがって、解像度変換前の４つの１６×１６マクロブロック１０３の動きベクトルＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４から、解像度変換後の４つのブロック１０４の動きベクトルｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４をそれぞれ求めることができる。
【００７１】
図１０に戻り、ＭＰＥＧ２の動きベクトルをＭＰＥＧ４の動きベクトルに変換する画像情報変換装置の動きベクトル変換部６の構成について説明する。
【００７２】
この動きベクトル変換部６は、図１５に示すように、入力されたＭＰＥＧ２の動きベクトル、画像サイズ等のパラメータの内、ＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８動きベクトルに変換する動きベクトル変換部８と、画像サイズ調整フラグに基づいた画像サイズの調整に対応して動きベクトルを調整する動きベクトル調整部９とを有している。
【００７３】
また、動きベクトル変換部６は、動きベクトル調整部９から出力されたＭＰＥＧ４の８×８動きベクトルをＭＰＥＧ４の１６×１６動きベクトルに変換する動きベクトル変換部１０と、ＭＰＥＧ４の１６×１６動きベクトルを用いてイントラマクロブロックに対する補正を行う動きベクトル補正部１１とを有している。
【００７４】
動きベクトル変換部８は、動きベクトル変換部６に入力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル、画像サイズ等のパラメータは、ＭＰＥＧ４の８×８動きベクトルに変換する。
【００７５】
ここで、フレーム内で符号化するため動き補償を行わないＭＰＥＧ２の１６×１６イントラマクロブロックに対しては、解像度変換したＭＰＥＧ４の８×８ブロックが、動きベクトルを持つことを想定する。このため、動きベクトル変換部８では、その８×８ブロックに対する動きベクトルとして０を設定し、さらに後段の動きベクトル補正部１１での処理を行うためにイントラモードフラグを設ける。なお、ＭＰＥＧ２では、イントラマクロブロックの場合、イントラモードフラグを立てるようになされている。
【００７６】
動きベクトル変換部８から出力されたＭＰＥＧ４の８×８動きベクトルは、動きベクトル調整部９において、画像サイズ調整フラグによって調整された画像に応じた調整が施される。
【００７７】
動きベクトル調整部９より出力されたＭＰＥＧ４の８×８動きベクトルは、動きベクトル変換部１０において、ＭＰＥＧ４の１６×１６マクロブロックを構成する４つの８×８ブロックの動きベクトルの和を、動きベクトルの個数で割ることによりＭＰＥＧ４の１６×１６マクロブロックの動きベクトルを算出する。
【００７８】
これにより、図１６に示すように、動きベクトル補正部１１は、そのブロックがイントラマクロブロックに対応する場合に立つイントラモードフラグの状態に応じて、スイッチ２１を切り換えて補正を行う。
【００７９】
すなわち、動きベクトル補正部１１は、イントラモードフラグが立っている場合には、スイッチ２１を１に倒して処理を補正処理部２１に進める。補正処理部２１は、イントラマクロブロックに対応する０に設定されたＭＰＥＧ４の８×８ブロックの動きベクトルを、動きベクトル変換部１０で変換されたＭＰＥＧ４の１６×１６動きベクトルに置き換える。
【００８０】
なお、このような置き換えに代え、補正処理部２１は、イントラマクロブロックに対応するＭＰＥＧ４の８×８ブロックの動きベクトルを、そのイントラマクロブロックの周辺に存在するインターマクロブロックの動きベクトルから変換された動きベクトルに置き換えることもできる。
【００８１】
また、補正処理部２１は、イントラマクロブロックに対応するＭＰＥＧ４の８×８ブロックの動きベクトルを、そのイントラマクロブロックに一番近いインターマクロブロックの動きベクトルから変換された動きベクトルに置き換えることもできる。
【００８２】
さらに、ＭＰＥＧ２のマクロブロックタイプがスキップマクロブロックを示しているときには、ＭＰＥＧ４の各ブロックの動きベクトルは０に設定される。
【００８３】
一方、イントラフラグモードが立たない場合には、動きベクトル補正部１１はスイッチ２１を２に倒す。この場合には、入力されたＭＰＥＧ４の８×８動きベクトルがそのまま出力される。
【００８４】
図１０に戻り、動きベクトル変換部６からは、図１５に示した動きベクトル補正部１１を介したＭＰＥＧ４の８×８動きベクトルと、動きベクトル変換部１０にて変換されたＭＰＥＧ４の１６×１６動きベクトルが出力される。
【００８５】
図１０の画像情報符号化部７では、解像度／フレームレート変換部５からの出力画像に対して、動きベクトル変換部６から出力されたＭＰＥＧ４の１６×１６動きベクトル又はＭＰＥＧ４の８×８動きベクトルを用いて、ＭＰＥＧ４画像符号化方式による符号化が行わる。そして、この画像情報変換装置からは、画像情報符号化部７で符号化されたＭＰＥＧ４画像圧縮情報（ビットストリーム）が出力される。
【００８６】
【発明が解決しようとする課題】
ところで、図１５に示した動きベクトル変換部１０においては、動きベクトル変換部８から出力されたＭＰＥＧ４の８×８動きベクトルの平均値を算出し、この算出値をＭＰＥＧ４の１６×１６動きベクトルとしている。
【００８７】
しかしながら、平均値を算出することで、ＭＰＥＧ２画像圧縮情報（ビットストリーム）においては符号化効率の高かったＭＰＥＧ２の１６×１６動きベクトルを持つマクロブロックが、隣接する符号化効率の低いマクロブロックに対するＭＰＥＧ２の１６×１６動きベクトルに影響され、ＭＰＥＧ４画像圧縮情報（ビットストリーム）への符号化効率が低下するという問題点を有している。
【００８８】
本発明は、上述の実情に鑑みて提案されるものであって、動きベクトルを変換する際に、画像圧縮情報への符号化効率が低下しないような動きベクトルを選択する動きベクトル変換装置及び方法を提供することを目的とする。
【００８９】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、水平方向及び垂直方向共に一定数成分の離散コサイン変換係数からなるマクロブロックから構成される、飛び越し走査の画像を符号化した入力画像圧縮情報を、水平方向及び垂直方向共に一定数成分の離散コサイン変換係数からなるマクロブロックから構成され、上記飛び越し走査の画像に対して解像度変換した順次走査の画像を符号化した出力画像圧縮情報に変換する際に動きベクトルを変換する動きベクトル変換装置において、上記入力画像圧縮情報のマクロブロックは上記変換により解像度変換されたブロックに変換され、上記入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて上記出力画像圧縮情報のマクロブロックを構成する上記ブロックをそれぞれ動き補償する第２の動きベクトルを生成し、この第２の動きベクトルの内で、動きベクトルの長さに基づいて、符号化効率の最も高いものを上記出力画像圧縮情報のマクロブロックを動き補償する第３の動きベクトルとする変換手段を有し、符号化効率のパラメータとして上記入力画像圧縮情報を構成するマクロブロックごとの動きベクトルの長さを用い、その中間値となる動きベクトルに対応するマクロブロックに対応する上記第２の動きベクトルを選択する。
【００９０】
すなわち、本発明は、入力画像圧縮情報として飛び越し走査のＭＰＥＧ２画像情報圧縮情報（ビットストリーム）を入力とし、出力画像圧縮情報として順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力する際に、ＭＰＥＧ２画像圧縮情報（ビットストリーム）における画枠サイズ、及び、動きベクトルなどのマクロブロックごとの情報を入力とし、ＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８に変換する動きベクトル変換部、画像サイズ調整フラグによる動きベクトル調整部、記憶手段であるマクロブロック情報バッファ、ＭＰＥＧ４の８×８動きベクトルをＭＰＥＧ４の１６×１６に変換する動きベクトル変換部、ＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補正部を有し、順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）符号化の際に高い符号化効率を与えるＭＰＥＧ４の８×８動きベクトル及びＭＰＥＧ４の１６×１６動きベクトルを出力するものである。
【００９１】
ＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８に変換する動きベクトル変換部においては、ＭＰＥＧ２の１６×１６動きベクトルをスケーリングし、また必要に応じて時間軸方向の補正をすることでＭＰＥＧ４の８×８動きベクトルを生成し、画像サイズ調整フラグによる動きベクトルヘ調整部においては、ＭＰＥＧ４画像情報に符号化する際にマクロブロック単位の処理を行うことを可能にするための画枠調整を行い、マクロブロック情報バッファにおいては、入力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）における、ビット数、量子化スケール、非零ＤＣＴ係数の個数といったマクロブロックごとの情報を格納し、ＭＰＥＧ４の８×８動きベクトルからＭＰＥＧ４の１６×１６に変換する動きベクトル変換部においては、マクロブロック情報バッファに格納された情報を元に、ＭＰＥＧ４画像圧縮情報（ビットストリーム）の中の当該マクロブロックに対するＭＰＥＧ４の８×８動きベクトルの内の１つを選択してＭＰＥＧ４の１６×１６動きベクトルとし、ＭＰＥＧ２イントラマクロブロックに対する動きベクトル補正部においては、ＭＰＥＧ２画像圧縮情報（ビットストリーム）中の情報であるイントラモードフラグに応じた、ＭＰＥＧ４の８×８動きベクトルの補正を行う。
【００９２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００９３】
本発明を適用した動きベクトル変換装置の構成について、図１を参照して説明する。
【００９４】
本実施の形態の動きベクトル変換装置は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換する画像情報変換装置に備えられ、入力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）のＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４画像圧縮情報（ビットストリーム）のＭＰＥＧ４の１６×１６動きベクトル又はＭＰＥＧ４の８×８動きベクトルに変換するものである。
【００９５】
動きベクトル変換装置には、ＭＰＥＧ２の１６×１６動きベクトル、画像サイズ、ＭＰＥＧ２の１６×１６マクロブロック等のパラメータが入力される。
【００９６】
動きベクトル変換装置は、入力されたＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８動きベクトルに変換する動きベクトル変換部１２と、動きベクトル変換部１２から出力されたＭＰＥＧ４の８×８動きベクトルを画像サイズ調整フラグに基づいた画像サイズの調整に対応して調整する動きベクトル調整部１３とを有している。
【００９７】
また、動きベクトル変換装置は、入力されたマクロブロック情報を格納するマクロブロック情報バッファ１４と、マクロブロック情報バッファ１４に格納されたマクロブロック情報に基づいて、動きベクトル調整部１３から出力されたＭＰＥＧ４の８×８動きベクトルをＭＰＥＧ４の１６×１６の動きベクトルに変換する動きベクトル変換部１５とを有している。
【００９８】
さらに、動きベクトル変換装置は、動きベクトル変換部１５から送られたＭＰＥＧ４の１６×１６動きベクトルに基づいて、動きベクトル調整部１３から出力されたＭＰＥＧ４の１６×１６動きベクトルを用いてイントラマクロブロックに対する補正を行う動きベクトル補正部１６とを有している。
【００９９】
そして、動きベクトル変換装置は、動きベクトル変換部１５からのＭＰＥＧ４の１６×６動きベクトルと、動きベクトル補正部１６からの８×８動きベクトルとを出力する。
【０１００】
次に、動きベクトル変換部１５におけるＭＰＥＧ４の８×８動きベクトルからＭＰＥＧ４の１６×１６動きベクトルへの変換の動作原理について説明する。
【０１０１】
本実施の形態では、動きベクトル変換部１５は、動きベクトル調整部１３から供給されるＭＰＥＧ４の８×８動きベクトルの内、符号化効率が最も高いと思われるＭＰＥＧ４の８×８マクロブロックの動きベクトルを選択する。そして、選択されたＭＰＥＧ４の８×８動きベクトルをＭＰＥＧ４の１６×１６動きベクトルとして出力する。
【０１０２】
ここで、動きベクトル変換部１５は、マクロブロック情報バッファ１４に格納されたマクロブロック情報に基づいて、ＭＰＥＧ４の８×８ブロックに対応するＭＰＥＧ２の１６×１６マクロブロックの符号化効率を判定する。
【０１０３】
上述したように、動きベクトル変換部１２における変換において、ＭＰＥＧ４の８×８ブロックにはＭＰＥＧ２の１６×１６マクロブロックが対応している。符号化効率の判定は、ＭＰＥＧ４の１６×１６マクロブロックを構成する４つのＭＰＥＧ４の８×８ブロックに対応する４つのＭＰＥＧ２の１６×１６マクロブロックに対して行われる。
【０１０４】
具体的には、動きベクトル変換部１５は、次に掲げるような方法により、４つのＭＰＥＧ２の１６×１６マクロブロックの内、符号化効率の最も高いマクロブロックを判定する。
【０１０５】
第一の方法は、ＭＰＥＧ２の１６×１６マクロブロックを構成する１６×１６ＤＣＴ係数の内、非零のＤＣＴ係数が最も少ないＭＰＥＧ２の１６×１６マクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１０６】
第二の方法は、ＭＰＥＧ２の１６×１６マクロブロックは輝度成分及び色差成分より構成されるが、この内で輝度成分のＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１０７】
第三の方法は、ＭＰＥＧ２の１６×１６マクロブロックのＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１０８】
第四の方法は、動きベクトル等を含め、ＭＰＥＧ２の１６×１６マクロブロックに割り当てられた全ビット数の最も少ないマクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１０９】
第五の方法は、ＭＰＥＧ２の１６×１６マクロブロックのＤＣＴ係数を量子化するために割り当てられた量子化スケールが最も小さいマクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１１０】
第六の方法は、コンプレキシティＸの最も低いＭＰＥＧ２の１６×１６マクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１１１】
ここで、各マクロブロックに割り当てられたコンプレキシティＸは、そのマクロブロックに割り当てられた量子化スケールＱ、及びビット数Ｂを用いて以下のように計算される。
【０１１２】
【数１】
【０１１３】
ビット数Ｂは、マクロブロック全体に割り当てられたビット数、ＤＣＴ係数に割り当てられたビット数、又は輝度成分に割り当てられたＤＣＴ係数に割り当てられたビット数のいずれでもよい。
【０１１４】
また、動きベクトル変換部１５は、次に掲げるような方法により、４つのＭＰＥＧ２の１６×１６マクロブロックの内、符号化効率の最も高いマクロブロックを判定してもよい。
【０１１５】
すなわち、符号化効率のパラメータとしてＭＰＥＧ２の１６×１６マクロブロックごとの動きベクトルの長さを用い、その中間値となる動きベクトルに対応するマクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１１６】
上記中間値は、ＭＰＥＧ２の１６×１６マクロブロックごとの非零の離散コサイン変換係数の個数を用い、この個数の最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから求めることことができる。
【０１１７】
また、上記中間値は、ＭＰＥＧ２の１６×１６マクロブロックごとの輝度成分の離散コサイン変換係数に割り当てられたビット数を用い、このビット数の最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから求めることができる。
【０１１８】
さらに、上記中間値は、ＭＰＥＧ２の１６×１６マクロブロックごとの離散コサイン変換係数に割り当てられた全ビット数を用い、この全ビット数の最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから求めることができる。
【０１１９】
そして、上記中間値は、ＭＰＥＧ２の１６×１６マクロブロックに割り当てられた量子化スケールを用い、この量子化スケールの最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから求めることができる。
【０１２０】
さらにまた、上記中間値は、ＭＰＥＧ２の１６×１６マクロブロックごとに割り当てられたビット数Ｂおよび量子化スケールＱに関して、上記コンプレキシティＸを用い、このコンプレキシティＸの最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから中間値を求めることができる。
【０１２１】
このように、動きベクトル変換部１５は、符号化効率の最も高いと思われるＭＰＥＧ２の１６×１６マクロブロックに対応するＭＰＥＧ４の８×８動きベクトルを選択し、この動きベクトルをＭＰＥＧ４の１６×１６動きベクトルとしている。
【０１２２】
したがって、動きベクトル変換装置１５を用いることにより、ＭＰＥＧ２画像圧縮情報（ビットストリーム）をＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換する際に、画像情報の符号化効率の低減を抑制することができる。
【０１２３】
次に、ＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８動きベクトルに変換する動きベクトル変換部１２の動作原理について、図２を参照して説明する。
【０１２４】
なお、動きベクトル変換部１２には、ＭＰＥＧ２の１６×１６動きベクトルと共にマクロブロックタイプ等が入力されるものとする。
【０１２５】
最初のステップＳ１１において、動きベクトル変換部１２の処理は、入力されたマクロブロックタイプが、フレーム内で符号化されたイントラマクロブロック、フレーム間で予測符号化されたインターマクロブロック、又はスキップされるスキップマクロブロックのいずれであるかによって分岐する。
【０１２６】
すなわち、動きベクトル変換部１２の処理は、マクロブロックタイプがイントラマクロブロックの場合にはステップＳ１２に、スキップマクロブロックの場合にはステップＳ１３に、インターマクロブロックの場合にはステップＳ１４に、それぞれ進む。
【０１２７】
ステップＳ１２において、動きベクトル変換部１２は、イントラマクロブロックに対する処理を行う。動きベクトル変換部１２は、まず、イントラマクロブロックに対しては、ＭＰＥＧ４の８×８動きベクトルを０に設定する。さらに、動きベクトル変換部１２は、後段の動きベクトル補正部１６における動きベクトルの補正の際に参照するために、イントラモードフラグを立てる。例えば、Ｉピクチャのイントラマクロブロックに対しては、イントラモードフラグが立つ。
【０１２８】
ステップＳ１３において、動きベクトル変換部１２は、スキップマクロブロックに対する処理を行う。すなわち、動きベクトル変換部１２は、マクロブロックに対して、ＭＰＥＧ４の８×８動きベクトルを０に設定する。
【０１２９】
ステップＳ１４において、動きベクトル変換部１２の処理は、インターマクロブロックに対して、当該マクロブックがフレーム予測又はフィールド予測のいずれであるかによって分岐する。すなわち、動きベクトル変換部１２は、フレーム予測の場合にはステップＳ１５に、フィールド予測の場合にはステップＳ１６に処理を進める。
【０１３０】
ステップＳ１５において、動きベクトル変換部１２は、フレーム予測のインターマクロブロックに対する動きベクトル変換の処理を行う。動きベクトル変換部１２は、画像の解像度変換に応じて動きベクトルを変換する。
【０１３１】
図３を用いて、インターマクロブロックに対して、フレーム構造の画像にフレーム予測を行う場合の動きベクトル変換の様子を説明する。
【０１３２】
図３のＡに示す解像度変換前の画像には、現フレームにおける太陽３１及び山３２が表示されている。解像度変換前の動きベクトルＭＶは、前フレームの太陽３３の位置を始点とし、現フレームの太陽３１の位置に向かっている。すなわち、解像度変換前の１６×１６動きベクトルであるこの動きベクトルＭＶは、（０，０）から（８，１２）に向かっている。
【０１３３】
ここで、動きベクトルＭＶは、水平方向及び垂直方向のそれぞれついて、画像を構成する整数画素ａ１に相当する位置０，２，４，・・・と、隣接する整数画素ａ１の間の位置１，３，５，・・・に想定された仮想的な半画素ａ２とを用いて表されている。なお、この半画素ａ２は、動きベクトルＭＶを整数画素ａ１に相当する位置の１／２の精度で表すために想定された実在しない画素である。
【０１３４】
一方、図３のＢに示す解像度変換後の画像は、図３のＡに示した画像の解像度を１／２に変換したものである。
【０１３５】
この解像度変換により、水平方向及び垂直方向について、図３のＡに示した位置０，４，８，・・・に相当する整数画素ａ１が残り、図３のＢに示した整数画素ｂ１の位置０’，２’，４’，・・・に相当するようになる。図３のＡに示した位置２，６，１０，・・・に相当する整数画素ａ１は捨てられる。なお、図３のＢにおいては、動きベクトルＭＶ’を整数画素ｂ１に相当する位置０’，２’，４’，・・・の１／２の精度で表すために、隣接する整数画素ｂ１の間の位置１’，３’，５’，・・・に仮想的な半画素ｂ２が想定されている。
【０１３６】
解像度変換後の動きベクトルＭＶ’も、前フレームの太陽３６の位置を始点とし、現フレームの太陽３４の位置に向かっている。すなわち、解像度変換後の８×８動きベクトルであるこの動きベクトルＭＶ’は、（０，０）から（４’，６’）に向かっている。
【０１３７】
このような画像の解像度変換に応じて、解像度変換前の動きベクトルＭＶから解像度変換後の動きベクトルＭＶ’への変換を行うものとする。すなわち、解像度変換後の動きベクトルＭＶ’の水平成分は、画像の水平方向の解像度変換レートに応じて１／２倍に変換される。同様に、解像度変換後の動きベクトルＭＶ’の垂直成分も、画像の垂直成分の解像度変換レートに応じて１／２倍に変換される。
【０１３８】
例えば、図３のＡに示した（０，０）から（８，１２）に向かう解像度変換前の動きベクトルＭＶは、水平成分８及び垂直成分１２であるので、解像度変換レートに応じて１／２倍されて水平成分４及び垂直成分６となる。したがって、図３のＢに示す（０，０）から（４，６）に向かう解像度変換後の動きベクトルＭＶ’が得られる。
【０１３９】
ところで、解像度変換後の動きベクトルＭＶ’は、水平成分及び垂直成分に相当する整数画素ｂ１又は半画素ｂ２が存在しないことがある。なお、以下の説明では便宜上動きベクトルの水平成分についてのみ言及するが、垂直成分についても同様である。
【０１４０】
すなわち、図３のＡの上部に対応関係を示すように、解像度変換前の画像において、解像度変換前の動きベクトルＭＶの水平成分が整数画素ａ１に相当する０，４，８，・・・のとき、すなわち水平成分を４で割った余りが０となるときには、解像度変換レートに応じて１／２倍して得た解像度変換後の動きベクトルＭＶ’の水平成分は０’，２’，４’，・・・となり、解像度変換後の画像における整数画素ｂ１に相当する。
【０１４１】
同様に、解像度変換前の動きベクトルＭＶの水平成分が整数画素ａ１に相当する２，６，１０，・・・のとき、すなわち水平成分を４で割った余りが２となるときには、解像度変換レートに応じて１／２倍して得た解像度変換後の動きベクトルＭＶ’の水平成分は１’，３’，５’，・・・となり、解像度変換後の画像における半画素ｂ２に相当する。
【０１４２】
しかし、解像度変換前の動きベクトルＭＶの水平成分が半画素ａ２に相当する１，３，５，７，・・・のときには、解像度変換前の動きベクトルＭＶの水平成分を解像度変換レートに応じて１／２倍した値１／２，３／２，５／２，７／２，・・・には、相当する画素が存在しない。
【０１４３】
そこで、本実施の形態においては、かかる場合には、解像度変換後の動きベクトルＭＶ’の水平成分は、半画素ｂ２に相当する１’，１’，３’，３’，・・・に変換されるものとする。
【０１４４】
これら解像度変換前の動きベクトルＭＶの水平成分と、解像度変換後の動きベクトルＭＶ’の関係をまとめて図４に示す。なお、この図４においては、解像度変換前の動きベクトルＭＶの水平成分又は垂直成分の値をＭＶと表記している。
【０１４５】
すなわち、解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが０の場合には、解像度変換後の動きベクトルＭＶ’の水平成分［ＭＶ／２］は整数画素ｂ１に相当する。したがって、解像度変換後の動きベクトルＭＶ’の水平成分を［ＭＶ／２］とする。
【０１４６】
解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが１の場合には、解像度変換前の動きベクトルＭＶの水平成分を解像度変換レートに応じて１／２倍した値［ＭＶ／２］、解像度変換後の動きベクトルの水平成分に相当する画素は存在しない。この場合には、解像度変換後の動きベクトルＭＶ’の水平成分は、［ＭＶ／２］＋１として半画素ｂ２に対応させる。
【０１４７】
解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが２の場合には、解像度変換後の動きベクトルＭＶ’の水平成分［ＭＶ／２］は半画素ｂ２に相当する。この場合には、解像度変換後の動きベクトルＭＶ’の水平成分を［ＭＶ／２］とする。
【０１４８】
解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが３の場合には、解像度変換前の動きベクトルＭＶの水平成分を解像度変換レートに応じて１／２倍した値［ＭＶ／２］、解像度変換後の動きベクトルの水平成分に相当する画素は存在しない。この場合には、解像度変換後の動きベクトルＭＶ’の水平成分は、［ＭＶ／２］として半画素ｂ２に対応させる。
【０１４９】
このように、本実施の形態では、ＭＰＥＧ４画像符号化方式による符号化の予測効率が低減して画質が劣化することがないように、解像度変換前の動きベクトルＭＶが半画素ａ２に相当する場合には、解像度変換後の動きベクトルＭＶ’も半画素ｂ２に相当するように変換を行っている。
【０１５０】
なお、このような変換を行わないと、解像度変換前に動きベクトルＭＶが半画素ａ２に相当する場合には、解像度変換後の動きベクトルＭＶ’に相当する画素がなくなり、復号された画像信号には、量子化による歪みが本来含まれているため、そのまま予測画像として使用すると予測効率が低下し、画質の劣化を引き起こす場合がある。
【０１５１】
このような画質の劣化を低減するために、低域フィルタに相当する参照画面での各画素間を１：１で直線補間した半画素精度を選択することもあり、これによっても画質劣化を避けることができる。
【０１５２】
図２に戻り、ステップＳ１６において、フィールド予測のインターマクロブロックに対しては、動きベクトル変換部１２の処理は、第一フィールド予測又は第二フィールド予測のいずれかによって分岐する。すなわち、第一フィールド予測の場合はステップＳ１７に、第二フィールド予測の場合はステップＳ１８に進む。
【０１５３】
第一フィールド予測である場合は、動きベクトル変換部１２は、ステップＳ１７において、第一フィールド予測に適した動きベクトルへの変換を行う。このような第一フィールド予測に適した動きベクトルへの変換について、図５を参照して説明する。
【０１５４】
図５のＡに示すように、第一フィールドのラインａ３及び第二フィールドのラインａ４の内、第一フィールドのラインａ３を取り出す間引きを行うことにより、解像度を１／２にする解像度変換が行われる。
【０１５５】
図５のＢには、第一フィールドのラインｂ３を取り出すことで、垂直方向に解像度が１／２になった画像が示されている。また、第一フィールド予測を行っているため、解像度変換前の動きベクトルＭＶは、そのまま解像度変換後の動きベクトルＭＶ’になる。
【０１５６】
なお、動きベクトルＭＶの水平成分については、図４に示したフレーム予測のインターマクロブロックの場合と同様な処理を行われるので説明を省略する。
【０１５７】
一方、図２のステップＳ１８では、第二フィールド予測に適した動きベクトルの変換を行う。このステップＳ１８における第二フィールド予測の動きベクトル変換について、図６を参照して説明する。
【０１５８】
図６のＡにおいて、第一フィールドのラインａ３及び第二フィールドのラインａ４の内、第一フィールドのラインａ３を取り出す間引きを行うことにより、解像度を１／２にする解像度変換が行われる。このため、この第二フィールド予測の場合においても、解像度変換後には第一フィールドの画素値を参照画像として用いる。
【０１５９】
図６のＢには、参照画像として用いられる第一フィールドのラインｂ３のみから構成される解像度変換後の画像が示されている。
【０１６０】
しかし、飛び越し走査のＭＰＥＧ２画像圧縮情報では第一フィールドの画像と第二フィールドの画像には、時間的及び空間的なずれがある。このため、ＭＰＥＧ２で予測画像として用いた第二フィールドの画素値を解像度変換後の第一フィールド予測に変換するように、動きベクトルの時間的及び空間的な補正を行う。
【０１６１】
まず、第二フィールド予測から近似的に第一フィールド予測に変換するための空間的補正として、動きベクトルの垂直成分に１を加える。これによって、図６のＡに示すように、第二フィールド予測で求めた動きベクトルＭＶbottomは、垂直成分に１を加えることにより垂直方向に一行を繰り上げられ、第二フィールドが第一フィールドと同様の位置に達し、第一フィールド予測の近似動きベクトルＭＶtopが得られる。
【０１６２】
このような空間的な補正によって、第二フィールド予測で求めた動きベクトルＭＶbottomの空間的な位置は、第一フィールド予測で求めた動きベクトルと同様になる。
【０１６３】
式（２）は、近似第一フィールド、すなわち第一フィールドと同様な空間位置にある第二フィールドを空間的な補正によって予測した時の動きベクトルＭＶtopの垂直成分を表している。
【０１６４】
【数２】
【０１６５】
次に、第二フィールドから近似された第一フィールドと実際の第一フィールドとの時間ずれの補正を行う。
【０１６６】
図７は、時間ずれの補正を説明する図である。すなわち、図７のＡにおける各フレームは、第一フィールド及び第二フィールドから構成されるが、第一フィールドと第二フィールドの時間間隔を１とすると、Ｉピクチャの第二フィールドとＰピクチャの第一フィールドの時間間隔をａは１，３，５，・・・の値を取り得る。
【０１６７】
図中には、Ｉピクチャの第一フィールドを参照してＰピクチャの第一フィールドを予測する動きベクトルＭＶtopと、Ｉピクチャの第二フィールドを参照してＰピクチャの第一フィールドを予測する動きベクトルＭＶbottomとが示されている。
【０１６８】
図７のＢには、図７のＡに示した画像に解像度変換及びフレームレート変換により変換されたＩピクチャの第一フィールド及びＰピクチャの第一フィールドと、解像度変換後の動きベクトルＭＶ’が示されている。
【０１６９】
これらの時間間隔の比率により、第二フィールドを参照する動きベクトルＭＶbottomから近似した近似ＭＶtopを用いて、時間のずれを補正して解像度変換後の動きベクトルＭＶ’を得るためには式（３）を適用する。
【０１７０】
【数３】
【０１７１】
式（２）を式（３）に代入すると、解像度変換後の動きベクトルＭＶ’の垂直成分は、式（４）のようになる。
【０１７２】
【数４】
【０１７３】
なお、解像度変換後の動きベクトルの水平成分に対しては、、解像度変換前の動きベクトルＭＶbottomに（ａ＋１）／ａを乗じ、時間的な補正を行った後、先に図４に示したように変換される。すなわち、解像度変換前に半画素に相当する動きベクトルは、解像度変換後にも半画素に相当する動きベクトルに変換される。
【０１７４】
場合によっては、動きベクトルの垂直成分に対して時間的補正を行った後、空間的な補正を行ってもよい。その場合、動きベクトルＭＶ’の垂直成分は、式（５）で与えられる。
【０１７５】
【数５】
【０１７６】
なお、解像度変換後の動きベクトルＭＶ’の水平成分は、空間補正を行ってから時間補正を行う空間・時間補正と時間補正を行ってから空間補正を行う時間・空間補正のいずれでも同様な値となる。
【０１７７】
式（４）と式（５）の差、すなわち、空間・時間補正を行った場合と、時間・空間補正を行った場合の動きベクトルの垂直成分の差は１／ａになる。したがって、ａの値によって、空間・時間補正と時間・空間補正との差による影響が異なる。
【０１７８】
そこで、ａが１の場合と、１より大きい、すなわち３，５，７，・・・の２つの場合における補正方法を説明する。
【０１７９】
まず、ａが１の場合について、式（４）のａに１を代入すると、動きベクトルの垂直成分は式（６）になる。
【０１８０】
【数６】
【０１８１】
式（５）のａに１を代入し、動きベクトルの垂直成分は式（７）になる。
【０１８２】
【数７】
【０１８３】
その結果、解像度変換前の動きベクトルＭＶbottomに０，１，２，・・・を代入すると、式（６）による値は２，４，６，・・・のような偶数になる。すなわち、空間・時間補正を行うと、解像度変換前の動きベクトルＭＶbottomは整数画素又は半画素に位置しても、解像度変換後の動きベクトルＭＶ’はすべて整数画素に位置する。
【０１８４】
また、式（７）による値は、１，３，５，・・・のような奇数になる。すなわち、時間・空間補正を行うと、解像度変換前の動きベクトルＭＶは整数画素又は半画素に位置しても、解像度変換後の動きベクトルＭＶ’はすべて半画素に位置する。
【０１８５】
したがって、解像度変換前に整数画素に位置する動きベクトルＭＶbottomに対して、解像度変換後の動きベクトルＭＶ’を整数画素に位置するようにする場合、空間・時間補正を行う。また、解像度変換前に半画素に位置する動きベクトルＭＶbottomに対して、解像度変換後の動きベクトルＭＶ’を半画素に位置するようにする場合、時間・空間補正を行う。
【０１８６】
すなわち、解像度変換後の動きベクトルＭＶ’の垂直成分を求めるために、解像度変換前の動きベクトルＭＶbottomに対し、空間補正、時間補正を交互に使用して解像度変換後の動きベクトルＭＶ’に変換する。若しくは、解像度変換前の動きベクトルＭＶbottomに対して、すべてに時間・空間補正を行う。
【０１８７】
以上の動きベクトル変換処理が終了した後、動きベクトル変換部１２から、ＭＰＥＧ４の８×８動きベクトルが出力される。
【０１８８】
図１に戻り、動きベクトル変換部１２から出力されたＭＰＥＧ４の８×８動きベクトルは、動きベクトル調整部１３に送られる。動きベクトル調整部１３は、外部から入力された画像サイズ調整フラグに基づいて動きベクトルを調整し、画像サイズに適した動きベクトルを出力する。
【０１８９】
この動きベクトル調整部１３における動きベクトルの調整の処理について、図８を参照して説明する。
【０１９０】
動きベクトル調整部１３には、動きベクトル変換部１２からｍ画素×ｎ画素の画像サイズ及びＭＰＥＧ４の８×８動きベクトルが、外部から画像サイズ調整フラグが、それぞれ入力されている。
【０１９１】
動きベクトル調整部１３の処理は、ステップＳ２１において、ｍ画素×ｎ画素の入力画像サイズについてｍ／２及びｎ／２が共に１６の倍数であるかどうかによって分岐する。
【０１９２】
すなわち、動きベクトル調整部１３は、ｍ／２及びｎ／２が共に１６の倍数である場合には、ＭＰＥＧ４の８×８動きベクトルを処理することなくそのまま出力する。 一方、ｍ／２，ｎ／２のいずれかが１６の倍数でない場合には、処理をステップＳ２２に進める。
【０１９３】
動きベクトル調整部１３の処理がステップＳ２２以降に進む場合には、外部から入力された画像サイズ調整フラグを用いる。動きベクトル調整部１３は、ステップＳ２２において画素除去を行う場合には、８画素を除去した画像の動きベクトルを出力する。
【０１９４】
ステップＳ２３において画素補填を行う場合には、動きベクトル調整部１３は、８画素を補填した画像の動きベクトルを出力する。
【０１９５】
なお、上述の実施の形態では、入力としてＭＰＥＧ２画像圧縮情報（ビットストリーム）を、出力としてＭＰＥＧ４画像圧縮情報（ビットストリーム）を対象とした例を示したが、本発明はこれに限定されない。本発明は、入力又は出力を例えばＭＰＥＧ１やＨ．２６３などの画像圧縮情報（ビットストリーム）とすることもできる。
【０１９６】
【発明の効果】
以上述べてきた様に、本発明は、飛び越し走査のＭＰＥＧ２画像情報圧縮情報（ビットストリーム）を順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換する際に用いられる動きベクトル変換装置において、ＭＰＥＧ４の８×８動きベクトルからＭＰＥＧ４の１６×１６動きベクトルを生成する際、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロックごとの、ビット数、量子化スケール、コンプレキシティ、非零ＤＣＴ係数の個数といった情報を利用し、最も符号化効率の高いと考えられるＭＰＥＧ４の８×８動きベクトルを選択してＭＰＥＧ４の１６×１６動きベクトルとすることで、ＭＰＥＧ４画像圧縮情報（ビットストリーム）への符号化効率を高めるものである。
【図面の簡単な説明】
【図１】本実施の形態による動きベクトル変換装置の構成を示すブロック図である。
【図２】動きベクトル変換装置の動きベクトル調整部における処理を示す図である。
【図３】図２において、フレーム予測のインターマクロブロックに対する動きベクトル変換を示す図である。
【図４】図３の変換の際の半画素精度の動きベクトルの取り扱いを示す図である。
【図５】図２において、第一フィールド予測のインターマクロブロックに対する動きベクトル変換を示す図である。
【図６】図２において、第二フィールド予測のインターマクロブロックに対する動きベクトル変換を示す図である。
【図７】図２において、第二フィールド予測のインターマクロブロックに対する動きベクトル変換に対する時間的な補正を示す図である。
【図８】動きベクトル変換装置の動きベクトル調整部における画像サイズ調整フラグによる調整を示す図である。
【図９】ＭＰＥＧ２画像圧縮情報（ビットストリーム）からＭＰＥＧ４画像圧縮情報（ビットストリーム）への変換を実現する従来の例を示すブロック図である。
【図１０】ＭＰＥＧ２画像圧縮情報（ビットストリーム）からＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換する画像情報変換装置の構成を示すブロック図である。
【図１１】ＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトルとＭＰＥＧ４画像圧縮情報（ビットストリーム）中の動きベクトルとの相関を示す図である。
【図１２】図１０の画像情報変換装置の解像度／フレームレート変換部における処理を示す図である。
【図１３】図１０の画像情報変換装置の解像度／フレームレート変換部における画素の補填又は除去の処理を示す図である。
【図１４】図１０の画像情報変換装置の動きベクトル変換部における動きベクトル変換方法を示す図である。
【図１５】図１０の画像情報変換装置の動きベクトル変換部の構成を示すブロック図である。
【図１６】図１５の動きベクトル変換部の動きベクトル補正部の構成を示すブロック図である。
【符号の説明】
１２ 動きベクトル変換部、１３ 動きベクトル調整部、１４ マクロブロック情報バッファ、１５ 動きベクトル変換部、１６ 動きベクトル補正部
【発明の属する技術分野】
本発明は、動きベクトルを変換する動きベクトル変換装置及び方法に関し、詳しくは、離散コサイン変換等の直交変換と動き補償によって圧縮されたＭＰＥＧ等の画像情報（ビットストリーム）を衛星放送、ケーブルＴＶ、インターネット等のネットワークメディアを介して受信する際に、若しくは光、磁気ディスクのような記憶メディア上で処理する際に用いられる画像情報を変換する際に、動きベクトルを変換する動きベクトル変換装置及び方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルとして取り扱い、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの画像情報圧縮方式が提供されている。そして、このような画像情報圧縮方法に準拠した装置は、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ １３８１８−２）は、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する、汎用画像符号化方式として定義されている。
【０００４】
すなわち、ＭＰＥＧ２符号化圧縮方式によれば、例えば、７２０×４８０画素を持つ標準解像度の飛び越し走査画像に４〜８Ｍｂｐｓの符号量（ビットレート）を割り当て、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像に対して１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることにより、高い圧縮率と良好な画質の実現が可能となる。
【０００５】
このようなことから、ＭＰＥＧ２は、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。
しかし、ＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としており、例えばＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。
【０００６】
一方で、近年の携帯端末の普及により、今後とも高い圧縮率の符号化方式のニーズは高まると思われ、これに対応して、高い圧縮率を有するＭＰＥＧ４符号化方式の標準化が行われている。この画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ １４４９６−２として国際標準の規格が承認された。
【０００７】
ところで、ディジタル放送用に一度符号化されたＭＰＥＧ２画像圧縮情報（ビットストリーム）を、携帯端末上等で処理するのにより適した、より低い符号量（ビットレート）の画像圧縮情報（ビットストリーム）に変換したいというニーズがある。
【０００８】
かかる目的を達成する従来の画像情報変換装置の例を図９に示す。すなわち、この画像情報変換装置は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換するものである。
【０００９】
図９に示すように、この画像情報変換装置は、ＭＰＥＧ２画像圧縮情報（ビットストリーム）を復号する画像情報復号化部１と、画像情報復号化部１で復号された画像の解像度及びフレームレートを変換する解像度／フレームレート変換部２と、解像度／フレームレート変換部２で解像度及びフレームレートを変換された画像をＭＰＥＧ４画像圧縮情報（ビットストリーム）に符号化する画像情報符号化部３とから構成される。
【００１０】
画像情報変換装置に入力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）は、画像情報復号化部１により復号される。
【００１１】
ここで、画像情報変換装置に入力されるＭＰＥＧ２画像圧縮情報（ビットストリーム）は、水平方向及び垂直方向に共に８成分（以下、８×８という。他も同様とする。）の離散コサイン変換（discrete cosine transformation; DCT）係数からなるブロックを単位として構成される。ＭＰＥＧ２画像情報復号化部１は、８×８ＤＣＴ係数のすべてを用いて復号処理を行うことができるが、水平方向に低域４成分及び垂直方向に８成分（以下、４×８という。）のＤＣＴ係数や、水平方向及び垂直方向共に低域４成分（以下、４×４という。）のＤＣＴ係数のみを用いた復号処理を行うこともできる。
【００１２】
なお、以下の説明では、このような４×８ＤＣＴ係数を用いた復号処理を４×８ダウンデコードと呼び、４×４ＤＣＴ係数を用いた復号処理を４×４ダウンデコードと呼ぶことにする。画像情報復号化部１は、４×８ダウンデコードや４×４ダウンデコードによる処理を採用することにより、ダウンデコードによる画質劣化を最小限に抑えながら、演算量とビデオメモリ容量を削減すると共に、後段のダウンサンプリング処理を簡略化することができる。
【００１３】
画像情報復号部１により復号された画像は、解像度／フレームレート変換部２へ伝送され、任意の異なる解像度及びフレームレートを持つ画像に変換され、さらに、画像情報符号化部３により、ＭＰＥＧ４画像圧縮情報（ビットストリーム）に符号化される。
【００１４】
ところで、画像情報符号化部３においては、解像度／フレームレート変換部２において解像度及びフレームレートが変換された画像をＭＰＥＧ４画像圧縮情報（ビットストリーム）に符号化する際に動きベクトルを検出することになるが、このときの動きベクトル検出演算には全演算処理量の約６０〜７０パーセントが費やされている。
【００１５】
このように画像情報符号化部３における処理量が多いために、従来の画像情報変換装置では、画像情報をリアルタイムに変換することが難しく、その結果、画像情報の変換に時間遅延が発生したり、装置の規模が大きくなってしまうという問題があった。
【００１６】
図１０に示す画像情報変換装置は、かかる問題を解決するために提案されたものである。
【００１７】
この画像情報変換装置においては、ＭＰＥＧ２画像圧縮情報（ビットストリーム）の動きベクトルをＭＰＥＧ４画像圧縮情報（ビットストリーム）の動きベクトルに変換することにより、処理の高速化が図られている。すなわち、上述した図９の画像情報変換装置の画像情報符号化部３においては動きベクトルの検出に大きな演算処理量を要していたが、この図１０に示す画像情報変換装置の画像情報符号化装置７ではＭＰＥＧ４の符号化の際に動きベクトルを検出する必要がないので、演算量が低減されて処理が高速化される。
【００１８】
この画像情報変換装置は、入力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）を復号すると共にＭＰＥＧ２の動きベクトル、画像サイズ等のパラメータを取り出す画像情報復号化部４と、画像情報復号化部４で取り出されたパラメータ及び外部から入力された画像サイズ調整フラグに基づいて、画像情報復号化部４で復号された画像の解像度及びフレームレートを変換する解像度／フレームレート変換部５とを有している。
【００１９】
解像度／フレームレート変換部５は、画像情報復号化部４で取り出されたＭＰＥＧ２動きベクトル、画像サイズ等のパラメータに基づいて画像情報復号化部４で復号された画像の解像度及びフレームレートを変換する解像度／フレームレート変換部５ａと、外部から入力された画像サイズ調整フラグに基づいて、解像度／フレームレート変換部５ａにて解像度及びフレームレートを変換された画像に対して画素の補填又は除去を行う画素補填／除去部５ｂとを有している。
【００２０】
また、画像情報変換装置は、画像情報復号化部４から送られたＭＰＥＧ２の動きベクトルをＭＰＥＧ４の動きベクトルに変換する動きベクトル変換部６と、解像度／フレームレート変換部５にて解像度及びフレームレートを変換された画像を動きベクトル変換部６から送られたＭＰＥＧ４動きベクトルに基づいてＭＰＥＧ４画像圧縮情報（ビットストリーム）に符号化して出力する画像情報符号化部７とを有している。
【００２１】
この画像情報変換装置においては、解像度／フレームレート変換部５は、画像情報符号化部３におけるＭＰＥＧ４画像圧縮情報（ビットストリーム）への符号化に適合するように、画像情報復号化部４から供給されＭＰＥＧ２画像圧縮情報（ビットストリーム）が復号された画像の解像度及びフレームレートを変換する。
【００２２】
動きベクトル変換部６は、解像度／フレームレート変換部５における解像度変換の際に、画像情報復号化部４から送られたＭＰＥＧ２動きベクトル、画像サイズ等のパラメータや外部から供給された画像サイズ調整フラグに基づいて、ＭＰＥＧ４動きベクトルを生成する。
【００２３】
動きベクトル変換部６における処理は、解像度変換前の画像に対応する動きベクトルと、解像度変換後の画像に対応する動きベクトルとが、大きな相関を有することを用いたものである。
【００２４】
これら解像度変換の前後の動きベクトルの相関について、図１１を用いて説明する。
【００２５】
図１１のＡに示す解像度変換前の現フレーム２０の左下には、太陽２１及び山２２が表示されているとする。また、現フレーム２０の太陽２１は、前フレームでは図中の網が掛けられた場所２３に位置していたとする。そして、図中のＭＶは、前フレームの太陽２４の位置を始点として現フレーム２０の太陽２１に向かう動きベクトルを表している。なお、この動きベクトルＭＶは、フレームの水平成分及び垂直成分にそれぞれ分解することができる。
【００２６】
一方、図１１のＢに示す解像度変換後の現フレーム２５に左下には、太陽２６及び山２７が表示されているとする。また、現フレーム２５の太陽２６は、前フレームでは図中の網が掛けられた部分２８に位置していたとする。そして、図中の動きベクトルＭＶ’は、前フレームの太陽２９の位置を始点として現フレーム２５の太陽２６に向かう動きベクトルを表している。なお、この動きベクトルＭＶ’も、フレームの水平成分及び垂直成分にそれぞれ分解することができる。
【００２７】
ここで、解像度変換後の動きベクトルＭＶ’は、解像度変換前の動きベクトルＭＶから解像度変換レートに基づいて求めることができる。
【００２８】
すなわち、解像度変換後の動きベクトルＭＶ’の水平成分は、解像度変換前の動きベクトルＭＶの水平成分と、水平方向（横方向）の解像度変換レートとを用いることによって求められる。同様に解像度変換後の動きベクトルＭＶ’の垂直成分は、解像度変換前の動きベクトルＭＶの垂直成分と、垂直方向（縦方向）の解像度変換レートとを用いることによって求められる。
【００２９】
このように、動きベクトル変換部６においては、解像度変換前の動きベクトルＭＶや画像サイズ等のパラメータに基づいて、解像度変換後の動きベクトルＭＶ’への変換を行うことができる。
【００３０】
すなわち、図１０の動きベクトル変換部６においては、解像度変換の比率を用いて、解像度変換前のＭＰＥＧ２動きベクトルＭＶから解像度変換後のＭＰＥＧ４の動きベクトルＭＶ’を得ることができる。したがって、この図１０の動きベクトル変換部６においては画像から動きベクトルを抽出するための演算は必要がないので、上述した図９の画像情報変換装置と比較すると、画像を符号化する際の演算量が少なく、時間遅延が低減されて処理が高速化されている。
【００３１】
なお、画像情報復号化部４は、マクロブロックの８×８ＤＣＴ係数を用いた復号の他に、４×８ＤＣＴ係数を用いた４×８ダウンデコードや４×４ＤＣＴ係数を用いた４×４ダウンデコードを行うこともできる。このように、８×８ＤＣＴ係数を用いた復号に代わって４×８ダウンデコードや４×４ダウンデコードを採用することにより、ダウンデコードによる画質劣化を最小限に抑えながら、演算量とビデオメモリ容量を削減することができる。さらに、これらのダウンデコードによって、後段のダウンサンプリング処理を簡略化することができる。
【００３２】
画像情報復号化部４から出力された画像は、解像度／フレームレート変換部５へ送られ、解像度及びフレームレート変換を施された後、外部から入力された画像サイズ調整フラグによりＭＰＥＧ４画像符号化に適した画像サイズに変換されて出力される。
【００３３】
解像度／フレームレート変換部５は、解像度及びフレームレートを変換する解像度／フレームレート変換部５ａと、解像度及びフレームレートが変換された画像に対して画素の補填又は除去を行う画素補填／除去部５ｂとを有している。
【００３４】
解像度／フレームレート変換部５ａは、画像復号化部４から供給された画像の解像度を変換する。ここでは、解像度／フレームレート変換部５は、水平方向及び垂直方向共に画像の解像度が１／２になるようなダウンサンプリングを行うものとする。
【００３５】
まず、垂直方向のダウンサンプリングについて、図１２を参照して説明する。
【００３６】
ＭＰＥＧ２画像圧縮情報（ビットストリーム）を復号した飛び越し走査の各フレームの画像は、図１２のＡに示す第一フィールド及び図１２のＢに示す第二フィールドから構成される。
【００３７】
図中には、表示順序にしたがって、フレーム内で符号化されたイントラ符号化画像（Ｉピクチャ）、前方の画像及び後方の画像を参照する双方向予測符号化画像（Ｂピクチャ）、前方の画像を参照する順方向予測符号化画像（Ｐピクチャ）の４つのフレームが示されている。
【００３８】
なお、簡単のために、以下では、Ｉピクチャ、Ｐピクチャ及びＢピクチャをそれぞれＩ、Ｐ及びＢと略することがある。
【００３９】
画像の垂直方向のダウンサンプリングは、図１２のＡ及びＢに示すフレームから、図１２のＡに示す第一フィールドを抽出して、飛び越し走査の画像を図１２のＣに示す順次走査の画像に変換することにより行う。この変換により、画像の垂直方向の解像度は１／２になる。
【００４０】
なお、垂直方向のダウンサンプリングは、図１２のＡ及びＢに示すフレームからの図１２のＢに示す第二フィールドを抽出することによって行ってもよい。
【００４１】
実際には、垂直方向のダウンサンプリングは、ビットレートを低下させるためのフレームレート変換と同時に行われる。すなわち、図１２のＣに示す順次走査の画像は、ＩＢＢＰのピクチャの内でＩピクチャ及びＰピクチャから抽出された第一フィールドから構成される。
【００４２】
これにより、図１２のＡ及びＢに示されたＩＢＢＰのフレームから構成される飛び越し走査の画像は、図１２のＣに示すようにＩＰの第一フィールドから構成される順次走査の画像になる。
【００４３】
異常のように、解像度／フレームレート変換部５では、解像度変換と共に、同時に行われるなフレームレート変換によってビットレートをさらに低減している。
【００４４】
一方、水平方向のダウンサンプリングについては、ダウンサンプリングフィルタにより解像度を１／２に変換することにより行う。例えば、ダウンサンプリングフィルタは、画像から画素を間引くことにより解像度の変換を行う。
【００４５】
このようにして、解像度／フレームレート変換部５ａに入力された飛び越し走査の画像は、解像度を水平方向及び垂直方向共に１／２に変換されると同時に、フレームレートを変換された順次走査の画像に変換される。
【００４６】
解像度／フレームレート変換部５ａにて解像度及びフレームレートを変換された画像は、画像の画素を補填又は除去する画素補填／除去部５ｂに送られる。
【００４７】
画素補填／除去部５ｂは、画像情報符号化部７における符号化に適合するように、画素の補填又は除去を行うことにより画像サイズを調整する。
【００４８】
具体的には、画素補填／除去部５ｂは、外部から入力される画像サイズ調整フラグに基づいて、画素の補填又は除去を行うことにより画像の水平方向及び垂直方向の画素数が共に１６の倍数になるようにする。これによって、画像のサイズは、画像情報符号化部７で行われる１６×１６画素のマクロブロック単位の符号化に適合するようになる。
【００４９】
画素補填／除去部５ｂにおける処理は、図１３に示すような手順によって行われる。
【００５０】
図１３のＡに示すように、解像度／フレームレート変換部５には、画像情報復号化部４で１６×１６ＤＣＴ係数からなるマクロブロックごとに復号され、１６×１６画素のマクロブロックを構成要素とした画像が入力される。したがって、入力された画像を水平方向にｍ画素及び垂直方向にｎ画素とすると、ｍ及びｎは共に１６の倍数である。
【００５１】
この画像は、解像度／フレームレート変換部５の解像度／フレームレート変換部５ａによって、水平方向及び垂直方向共に１／２に解像度変換され、水平方向にｍ／２画素及び垂直方向にｎ／２画素から構成されるようになる。
【００５２】
このように解像度変換により水平方向にｍ／２画素及び垂直方向にｎ／２画素から構成されるようになった画像が画素補填／除去部５ｂに入力されるが、これらｍ／２及びｎ／２は、１６で割り切れる場合と、１６で割ると８余る場合とがある。
【００５３】
そこで、画素補填／除去部５ｂにおいては、図１３のＳ１に示すように、ｍ／２及びｎ／２が１６の倍数である場合とそうでない場合によって処理を分岐させている。
【００５４】
すなわち、図１３のＢに示すように、ｍ／２及びｎ／２が共に１６の倍数の場合には、画像のサイズはＭＰＥＧ４の画像圧縮符号化に適合する。したがって、この場合には、画素補填／除去部５ｂは、画素の補填又は除去を行うことなく水平方向にｍ／２及び垂直方向にｎ／２画素の画像をそのまま出力する。
【００５５】
ｍ／２又はｎ／２の少なくとも一方が１６で割ると８余る場合には、画像のサイズは、ＭＰＥＧ４の画像圧縮符号化に適合していない。したがって、この場合には、画像補填／除去部５ｂは、画像のサイズをＭＰＥＧ４の画像圧縮符号化に適合させるために、画素の補填又は除去を行うことにより画像のサイズを変更する。
【００５６】
なお、以下では便宜上、水平方向のｍ／２画素が１６で割り切れない場合について例示するが、垂直方向のｎ／２画素が１６で割り切れない場合や、水平方向のｍ／２画素及び垂直方向のｎ／２画素が共に１６で割り切れない場合についても同様である。
【００５７】
画素補填／除去部５ｂは、外部から入力された画像サイズ調整フラグに応じて、画像へ８画素を補填する処理と、画像から８画素を除去する処理をスイッチＳ２で切り換える。
【００５８】
すなわち、画像サイズ調整フラグに応じて８画素を除去する場合には、スイッチＳ２で画素の除去を選択する。
【００５９】
この場合には、図１３のＣに示すように、水平方向にｍ／２画素の画像の例えば後部から水平方向に８画素が除去される。これによって、画像は水平方向にはｍ／２−８画素（すなわち、１６で割り切れる画素数）から構成されるようになる。同様に、画像の水平方向に先頭から画素を除去することもできる。
【００６０】
一方、画像調整フラグに応じて８画素を補填する場合には、スイッチＳ２で画素の補填を選択する。
【００６１】
この場合には、図１３のＤに示すように、水平方向にｍ／２画素の画像の例えば後部に８画素が補填される。これによって、画素は水平方向にはｍ／２＋８画素（すなわち、１６で割り切れる画素数）から構成されるようになる。同様に、画像の水平方向に先頭に画素を補填することもできる。なお、画像に補填する画素は、新たに作成したり、補填前の画像から複製したり、画像に適した画素を選択したものを使用することができる。
【００６２】
このような画素補填／除去部５ｂにおける画素の補填又は除去により、画像の水平方向及び垂直方向の画素数は共に１６の倍数になり、画像情報符号化部７におけるＭＰＥＧ４画像圧縮情報（ビットストリーム）への符号化に適合するようになる。
【００６３】
図１０に戻り、画像情報変換装置の画像情報復号化部４において、入力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）は、可変長符号の復号化が行われた後、Ｐピクチャに対する動きベクトルやマクロブロックタイプなどその他のパラメータが取り出される。
【００６４】
動きベクトル変換部６においては、これらのパラメータを用いて動きベクトルの変換が行われる。この動きベクトル変換部６における動きベクトル変換方法について、図１４を参照して説明する。
【００６５】
図１４のＡは画像情報復号化部４より出力された画像を表している。図１４のＢは、図１４のＡに示す画像を解像度／フレームレート変換部５で水平方向及び垂直方向共に１／２の解像度に変換された画像を表している。
【００６６】
例えば、図１４のＡに示した解像度変換前の画像における左上の１６×１６マクロブロック１０１は、解像度／フレームレート変換部５によって、図６のＢに示した変換後の画像における左上の８×８ブロック１０２に変換される。
【００６７】
同様に、図１４のＡに示した解像度変換前の画像における４つの１６×１６マクロブロック１０３は、解像度／フレームレート変換部５による解像度変換後の画像における２×２の４つの８×８ブロック１０４に対応している。これら４つの８×８ブロック１０４によって、一つの１６×１６マクロブロックが構成される。
【００６８】
解像度変換前の画像における４つの１６×１６マクロブロック１０３の各マクロブロックの動きベクトルＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４は、解像度変換後の画像における４つの８×８ブロック１０４の動きベクトルｍｖ１、ｍｖ２、ｍｖ３、ｍｖ４にそれぞれ対応している。
【００６９】
なお、１６×１６マクロブロックの動きベクトルを１６×１６動きベクトルと、８×８ブロックの動きベクトルを８×８動きベクトルと称することにする。
【００７０】
解像度／フレームレート変換部５による解像度変換の前後の画像に対応する動きベクトルの相関は前述したように大きいので、解像度変換後の８×８ブロックの動きベクトルは、解像度変換前の１６×１６マクロブロックの動きベクトルより求めることができる。したがって、解像度変換前の４つの１６×１６マクロブロック１０３の動きベクトルＭＶ１，ＭＶ２，ＭＶ３，ＭＶ４から、解像度変換後の４つのブロック１０４の動きベクトルｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４をそれぞれ求めることができる。
【００７１】
図１０に戻り、ＭＰＥＧ２の動きベクトルをＭＰＥＧ４の動きベクトルに変換する画像情報変換装置の動きベクトル変換部６の構成について説明する。
【００７２】
この動きベクトル変換部６は、図１５に示すように、入力されたＭＰＥＧ２の動きベクトル、画像サイズ等のパラメータの内、ＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８動きベクトルに変換する動きベクトル変換部８と、画像サイズ調整フラグに基づいた画像サイズの調整に対応して動きベクトルを調整する動きベクトル調整部９とを有している。
【００７３】
また、動きベクトル変換部６は、動きベクトル調整部９から出力されたＭＰＥＧ４の８×８動きベクトルをＭＰＥＧ４の１６×１６動きベクトルに変換する動きベクトル変換部１０と、ＭＰＥＧ４の１６×１６動きベクトルを用いてイントラマクロブロックに対する補正を行う動きベクトル補正部１１とを有している。
【００７４】
動きベクトル変換部８は、動きベクトル変換部６に入力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル、画像サイズ等のパラメータは、ＭＰＥＧ４の８×８動きベクトルに変換する。
【００７５】
ここで、フレーム内で符号化するため動き補償を行わないＭＰＥＧ２の１６×１６イントラマクロブロックに対しては、解像度変換したＭＰＥＧ４の８×８ブロックが、動きベクトルを持つことを想定する。このため、動きベクトル変換部８では、その８×８ブロックに対する動きベクトルとして０を設定し、さらに後段の動きベクトル補正部１１での処理を行うためにイントラモードフラグを設ける。なお、ＭＰＥＧ２では、イントラマクロブロックの場合、イントラモードフラグを立てるようになされている。
【００７６】
動きベクトル変換部８から出力されたＭＰＥＧ４の８×８動きベクトルは、動きベクトル調整部９において、画像サイズ調整フラグによって調整された画像に応じた調整が施される。
【００７７】
動きベクトル調整部９より出力されたＭＰＥＧ４の８×８動きベクトルは、動きベクトル変換部１０において、ＭＰＥＧ４の１６×１６マクロブロックを構成する４つの８×８ブロックの動きベクトルの和を、動きベクトルの個数で割ることによりＭＰＥＧ４の１６×１６マクロブロックの動きベクトルを算出する。
【００７８】
これにより、図１６に示すように、動きベクトル補正部１１は、そのブロックがイントラマクロブロックに対応する場合に立つイントラモードフラグの状態に応じて、スイッチ２１を切り換えて補正を行う。
【００７９】
すなわち、動きベクトル補正部１１は、イントラモードフラグが立っている場合には、スイッチ２１を１に倒して処理を補正処理部２１に進める。補正処理部２１は、イントラマクロブロックに対応する０に設定されたＭＰＥＧ４の８×８ブロックの動きベクトルを、動きベクトル変換部１０で変換されたＭＰＥＧ４の１６×１６動きベクトルに置き換える。
【００８０】
なお、このような置き換えに代え、補正処理部２１は、イントラマクロブロックに対応するＭＰＥＧ４の８×８ブロックの動きベクトルを、そのイントラマクロブロックの周辺に存在するインターマクロブロックの動きベクトルから変換された動きベクトルに置き換えることもできる。
【００８１】
また、補正処理部２１は、イントラマクロブロックに対応するＭＰＥＧ４の８×８ブロックの動きベクトルを、そのイントラマクロブロックに一番近いインターマクロブロックの動きベクトルから変換された動きベクトルに置き換えることもできる。
【００８２】
さらに、ＭＰＥＧ２のマクロブロックタイプがスキップマクロブロックを示しているときには、ＭＰＥＧ４の各ブロックの動きベクトルは０に設定される。
【００８３】
一方、イントラフラグモードが立たない場合には、動きベクトル補正部１１はスイッチ２１を２に倒す。この場合には、入力されたＭＰＥＧ４の８×８動きベクトルがそのまま出力される。
【００８４】
図１０に戻り、動きベクトル変換部６からは、図１５に示した動きベクトル補正部１１を介したＭＰＥＧ４の８×８動きベクトルと、動きベクトル変換部１０にて変換されたＭＰＥＧ４の１６×１６動きベクトルが出力される。
【００８５】
図１０の画像情報符号化部７では、解像度／フレームレート変換部５からの出力画像に対して、動きベクトル変換部６から出力されたＭＰＥＧ４の１６×１６動きベクトル又はＭＰＥＧ４の８×８動きベクトルを用いて、ＭＰＥＧ４画像符号化方式による符号化が行わる。そして、この画像情報変換装置からは、画像情報符号化部７で符号化されたＭＰＥＧ４画像圧縮情報（ビットストリーム）が出力される。
【００８６】
【発明が解決しようとする課題】
ところで、図１５に示した動きベクトル変換部１０においては、動きベクトル変換部８から出力されたＭＰＥＧ４の８×８動きベクトルの平均値を算出し、この算出値をＭＰＥＧ４の１６×１６動きベクトルとしている。
【００８７】
しかしながら、平均値を算出することで、ＭＰＥＧ２画像圧縮情報（ビットストリーム）においては符号化効率の高かったＭＰＥＧ２の１６×１６動きベクトルを持つマクロブロックが、隣接する符号化効率の低いマクロブロックに対するＭＰＥＧ２の１６×１６動きベクトルに影響され、ＭＰＥＧ４画像圧縮情報（ビットストリーム）への符号化効率が低下するという問題点を有している。
【００８８】
本発明は、上述の実情に鑑みて提案されるものであって、動きベクトルを変換する際に、画像圧縮情報への符号化効率が低下しないような動きベクトルを選択する動きベクトル変換装置及び方法を提供することを目的とする。
【００８９】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、水平方向及び垂直方向共に一定数成分の離散コサイン変換係数からなるマクロブロックから構成される、飛び越し走査の画像を符号化した入力画像圧縮情報を、水平方向及び垂直方向共に一定数成分の離散コサイン変換係数からなるマクロブロックから構成され、上記飛び越し走査の画像に対して解像度変換した順次走査の画像を符号化した出力画像圧縮情報に変換する際に動きベクトルを変換する動きベクトル変換装置において、上記入力画像圧縮情報のマクロブロックは上記変換により解像度変換されたブロックに変換され、上記入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて上記出力画像圧縮情報のマクロブロックを構成する上記ブロックをそれぞれ動き補償する第２の動きベクトルを生成し、この第２の動きベクトルの内で、動きベクトルの長さに基づいて、符号化効率の最も高いものを上記出力画像圧縮情報のマクロブロックを動き補償する第３の動きベクトルとする変換手段を有し、符号化効率のパラメータとして上記入力画像圧縮情報を構成するマクロブロックごとの動きベクトルの長さを用い、その中間値となる動きベクトルに対応するマクロブロックに対応する上記第２の動きベクトルを選択する。
【００９０】
すなわち、本発明は、入力画像圧縮情報として飛び越し走査のＭＰＥＧ２画像情報圧縮情報（ビットストリーム）を入力とし、出力画像圧縮情報として順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力する際に、ＭＰＥＧ２画像圧縮情報（ビットストリーム）における画枠サイズ、及び、動きベクトルなどのマクロブロックごとの情報を入力とし、ＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８に変換する動きベクトル変換部、画像サイズ調整フラグによる動きベクトル調整部、記憶手段であるマクロブロック情報バッファ、ＭＰＥＧ４の８×８動きベクトルをＭＰＥＧ４の１６×１６に変換する動きベクトル変換部、ＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補正部を有し、順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）符号化の際に高い符号化効率を与えるＭＰＥＧ４の８×８動きベクトル及びＭＰＥＧ４の１６×１６動きベクトルを出力するものである。
【００９１】
ＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８に変換する動きベクトル変換部においては、ＭＰＥＧ２の１６×１６動きベクトルをスケーリングし、また必要に応じて時間軸方向の補正をすることでＭＰＥＧ４の８×８動きベクトルを生成し、画像サイズ調整フラグによる動きベクトルヘ調整部においては、ＭＰＥＧ４画像情報に符号化する際にマクロブロック単位の処理を行うことを可能にするための画枠調整を行い、マクロブロック情報バッファにおいては、入力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）における、ビット数、量子化スケール、非零ＤＣＴ係数の個数といったマクロブロックごとの情報を格納し、ＭＰＥＧ４の８×８動きベクトルからＭＰＥＧ４の１６×１６に変換する動きベクトル変換部においては、マクロブロック情報バッファに格納された情報を元に、ＭＰＥＧ４画像圧縮情報（ビットストリーム）の中の当該マクロブロックに対するＭＰＥＧ４の８×８動きベクトルの内の１つを選択してＭＰＥＧ４の１６×１６動きベクトルとし、ＭＰＥＧ２イントラマクロブロックに対する動きベクトル補正部においては、ＭＰＥＧ２画像圧縮情報（ビットストリーム）中の情報であるイントラモードフラグに応じた、ＭＰＥＧ４の８×８動きベクトルの補正を行う。
【００９２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００９３】
本発明を適用した動きベクトル変換装置の構成について、図１を参照して説明する。
【００９４】
本実施の形態の動きベクトル変換装置は、飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）を順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換する画像情報変換装置に備えられ、入力されたＭＰＥＧ２画像圧縮情報（ビットストリーム）のＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４画像圧縮情報（ビットストリーム）のＭＰＥＧ４の１６×１６動きベクトル又はＭＰＥＧ４の８×８動きベクトルに変換するものである。
【００９５】
動きベクトル変換装置には、ＭＰＥＧ２の１６×１６動きベクトル、画像サイズ、ＭＰＥＧ２の１６×１６マクロブロック等のパラメータが入力される。
【００９６】
動きベクトル変換装置は、入力されたＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８動きベクトルに変換する動きベクトル変換部１２と、動きベクトル変換部１２から出力されたＭＰＥＧ４の８×８動きベクトルを画像サイズ調整フラグに基づいた画像サイズの調整に対応して調整する動きベクトル調整部１３とを有している。
【００９７】
また、動きベクトル変換装置は、入力されたマクロブロック情報を格納するマクロブロック情報バッファ１４と、マクロブロック情報バッファ１４に格納されたマクロブロック情報に基づいて、動きベクトル調整部１３から出力されたＭＰＥＧ４の８×８動きベクトルをＭＰＥＧ４の１６×１６の動きベクトルに変換する動きベクトル変換部１５とを有している。
【００９８】
さらに、動きベクトル変換装置は、動きベクトル変換部１５から送られたＭＰＥＧ４の１６×１６動きベクトルに基づいて、動きベクトル調整部１３から出力されたＭＰＥＧ４の１６×１６動きベクトルを用いてイントラマクロブロックに対する補正を行う動きベクトル補正部１６とを有している。
【００９９】
そして、動きベクトル変換装置は、動きベクトル変換部１５からのＭＰＥＧ４の１６×６動きベクトルと、動きベクトル補正部１６からの８×８動きベクトルとを出力する。
【０１００】
次に、動きベクトル変換部１５におけるＭＰＥＧ４の８×８動きベクトルからＭＰＥＧ４の１６×１６動きベクトルへの変換の動作原理について説明する。
【０１０１】
本実施の形態では、動きベクトル変換部１５は、動きベクトル調整部１３から供給されるＭＰＥＧ４の８×８動きベクトルの内、符号化効率が最も高いと思われるＭＰＥＧ４の８×８マクロブロックの動きベクトルを選択する。そして、選択されたＭＰＥＧ４の８×８動きベクトルをＭＰＥＧ４の１６×１６動きベクトルとして出力する。
【０１０２】
ここで、動きベクトル変換部１５は、マクロブロック情報バッファ１４に格納されたマクロブロック情報に基づいて、ＭＰＥＧ４の８×８ブロックに対応するＭＰＥＧ２の１６×１６マクロブロックの符号化効率を判定する。
【０１０３】
上述したように、動きベクトル変換部１２における変換において、ＭＰＥＧ４の８×８ブロックにはＭＰＥＧ２の１６×１６マクロブロックが対応している。符号化効率の判定は、ＭＰＥＧ４の１６×１６マクロブロックを構成する４つのＭＰＥＧ４の８×８ブロックに対応する４つのＭＰＥＧ２の１６×１６マクロブロックに対して行われる。
【０１０４】
具体的には、動きベクトル変換部１５は、次に掲げるような方法により、４つのＭＰＥＧ２の１６×１６マクロブロックの内、符号化効率の最も高いマクロブロックを判定する。
【０１０５】
第一の方法は、ＭＰＥＧ２の１６×１６マクロブロックを構成する１６×１６ＤＣＴ係数の内、非零のＤＣＴ係数が最も少ないＭＰＥＧ２の１６×１６マクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１０６】
第二の方法は、ＭＰＥＧ２の１６×１６マクロブロックは輝度成分及び色差成分より構成されるが、この内で輝度成分のＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１０７】
第三の方法は、ＭＰＥＧ２の１６×１６マクロブロックのＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１０８】
第四の方法は、動きベクトル等を含め、ＭＰＥＧ２の１６×１６マクロブロックに割り当てられた全ビット数の最も少ないマクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１０９】
第五の方法は、ＭＰＥＧ２の１６×１６マクロブロックのＤＣＴ係数を量子化するために割り当てられた量子化スケールが最も小さいマクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１１０】
第六の方法は、コンプレキシティＸの最も低いＭＰＥＧ２の１６×１６マクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１１１】
ここで、各マクロブロックに割り当てられたコンプレキシティＸは、そのマクロブロックに割り当てられた量子化スケールＱ、及びビット数Ｂを用いて以下のように計算される。
【０１１２】
【数１】
ビット数Ｂは、マクロブロック全体に割り当てられたビット数、ＤＣＴ係数に割り当てられたビット数、又は輝度成分に割り当てられたＤＣＴ係数に割り当てられたビット数のいずれでもよい。
【０１１４】
また、動きベクトル変換部１５は、次に掲げるような方法により、４つのＭＰＥＧ２の１６×１６マクロブロックの内、符号化効率の最も高いマクロブロックを判定してもよい。
【０１１５】
すなわち、符号化効率のパラメータとしてＭＰＥＧ２の１６×１６マクロブロックごとの動きベクトルの長さを用い、その中間値となる動きベクトルに対応するマクロブロックを符号化効率の最も高いマクロブロックと判定するものである。
【０１１６】
上記中間値は、ＭＰＥＧ２の１６×１６マクロブロックごとの非零の離散コサイン変換係数の個数を用い、この個数の最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから求めることことができる。
【０１１７】
また、上記中間値は、ＭＰＥＧ２の１６×１６マクロブロックごとの輝度成分の離散コサイン変換係数に割り当てられたビット数を用い、このビット数の最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから求めることができる。
【０１１８】
さらに、上記中間値は、ＭＰＥＧ２の１６×１６マクロブロックごとの離散コサイン変換係数に割り当てられた全ビット数を用い、この全ビット数の最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから求めることができる。
【０１１９】
そして、上記中間値は、ＭＰＥＧ２の１６×１６マクロブロックに割り当てられた量子化スケールを用い、この量子化スケールの最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから求めることができる。
【０１２０】
さらにまた、上記中間値は、ＭＰＥＧ２の１６×１６マクロブロックごとに割り当てられたビット数Ｂおよび量子化スケールＱに関して、上記コンプレキシティＸを用い、このコンプレキシティＸの最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから中間値を求めることができる。
【０１２１】
このように、動きベクトル変換部１５は、符号化効率の最も高いと思われるＭＰＥＧ２の１６×１６マクロブロックに対応するＭＰＥＧ４の８×８動きベクトルを選択し、この動きベクトルをＭＰＥＧ４の１６×１６動きベクトルとしている。
【０１２２】
したがって、動きベクトル変換装置１５を用いることにより、ＭＰＥＧ２画像圧縮情報（ビットストリーム）をＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換する際に、画像情報の符号化効率の低減を抑制することができる。
【０１２３】
次に、ＭＰＥＧ２の１６×１６動きベクトルをＭＰＥＧ４の８×８動きベクトルに変換する動きベクトル変換部１２の動作原理について、図２を参照して説明する。
【０１２４】
なお、動きベクトル変換部１２には、ＭＰＥＧ２の１６×１６動きベクトルと共にマクロブロックタイプ等が入力されるものとする。
【０１２５】
最初のステップＳ１１において、動きベクトル変換部１２の処理は、入力されたマクロブロックタイプが、フレーム内で符号化されたイントラマクロブロック、フレーム間で予測符号化されたインターマクロブロック、又はスキップされるスキップマクロブロックのいずれであるかによって分岐する。
【０１２６】
すなわち、動きベクトル変換部１２の処理は、マクロブロックタイプがイントラマクロブロックの場合にはステップＳ１２に、スキップマクロブロックの場合にはステップＳ１３に、インターマクロブロックの場合にはステップＳ１４に、それぞれ進む。
【０１２７】
ステップＳ１２において、動きベクトル変換部１２は、イントラマクロブロックに対する処理を行う。動きベクトル変換部１２は、まず、イントラマクロブロックに対しては、ＭＰＥＧ４の８×８動きベクトルを０に設定する。さらに、動きベクトル変換部１２は、後段の動きベクトル補正部１６における動きベクトルの補正の際に参照するために、イントラモードフラグを立てる。例えば、Ｉピクチャのイントラマクロブロックに対しては、イントラモードフラグが立つ。
【０１２８】
ステップＳ１３において、動きベクトル変換部１２は、スキップマクロブロックに対する処理を行う。すなわち、動きベクトル変換部１２は、マクロブロックに対して、ＭＰＥＧ４の８×８動きベクトルを０に設定する。
【０１２９】
ステップＳ１４において、動きベクトル変換部１２の処理は、インターマクロブロックに対して、当該マクロブックがフレーム予測又はフィールド予測のいずれであるかによって分岐する。すなわち、動きベクトル変換部１２は、フレーム予測の場合にはステップＳ１５に、フィールド予測の場合にはステップＳ１６に処理を進める。
【０１３０】
ステップＳ１５において、動きベクトル変換部１２は、フレーム予測のインターマクロブロックに対する動きベクトル変換の処理を行う。動きベクトル変換部１２は、画像の解像度変換に応じて動きベクトルを変換する。
【０１３１】
図３を用いて、インターマクロブロックに対して、フレーム構造の画像にフレーム予測を行う場合の動きベクトル変換の様子を説明する。
【０１３２】
図３のＡに示す解像度変換前の画像には、現フレームにおける太陽３１及び山３２が表示されている。解像度変換前の動きベクトルＭＶは、前フレームの太陽３３の位置を始点とし、現フレームの太陽３１の位置に向かっている。すなわち、解像度変換前の１６×１６動きベクトルであるこの動きベクトルＭＶは、（０，０）から（８，１２）に向かっている。
【０１３３】
ここで、動きベクトルＭＶは、水平方向及び垂直方向のそれぞれついて、画像を構成する整数画素ａ１に相当する位置０，２，４，・・・と、隣接する整数画素ａ１の間の位置１，３，５，・・・に想定された仮想的な半画素ａ２とを用いて表されている。なお、この半画素ａ２は、動きベクトルＭＶを整数画素ａ１に相当する位置の１／２の精度で表すために想定された実在しない画素である。
【０１３４】
一方、図３のＢに示す解像度変換後の画像は、図３のＡに示した画像の解像度を１／２に変換したものである。
【０１３５】
この解像度変換により、水平方向及び垂直方向について、図３のＡに示した位置０，４，８，・・・に相当する整数画素ａ１が残り、図３のＢに示した整数画素ｂ１の位置０’，２’，４’，・・・に相当するようになる。図３のＡに示した位置２，６，１０，・・・に相当する整数画素ａ１は捨てられる。なお、図３のＢにおいては、動きベクトルＭＶ’を整数画素ｂ１に相当する位置０’，２’，４’，・・・の１／２の精度で表すために、隣接する整数画素ｂ１の間の位置１’，３’，５’，・・・に仮想的な半画素ｂ２が想定されている。
【０１３６】
解像度変換後の動きベクトルＭＶ’も、前フレームの太陽３６の位置を始点とし、現フレームの太陽３４の位置に向かっている。すなわち、解像度変換後の８×８動きベクトルであるこの動きベクトルＭＶ’は、（０，０）から（４’，６’）に向かっている。
【０１３７】
このような画像の解像度変換に応じて、解像度変換前の動きベクトルＭＶから解像度変換後の動きベクトルＭＶ’への変換を行うものとする。すなわち、解像度変換後の動きベクトルＭＶ’の水平成分は、画像の水平方向の解像度変換レートに応じて１／２倍に変換される。同様に、解像度変換後の動きベクトルＭＶ’の垂直成分も、画像の垂直成分の解像度変換レートに応じて１／２倍に変換される。
【０１３８】
例えば、図３のＡに示した（０，０）から（８，１２）に向かう解像度変換前の動きベクトルＭＶは、水平成分８及び垂直成分１２であるので、解像度変換レートに応じて１／２倍されて水平成分４及び垂直成分６となる。したがって、図３のＢに示す（０，０）から（４，６）に向かう解像度変換後の動きベクトルＭＶ’が得られる。
【０１３９】
ところで、解像度変換後の動きベクトルＭＶ’は、水平成分及び垂直成分に相当する整数画素ｂ１又は半画素ｂ２が存在しないことがある。なお、以下の説明では便宜上動きベクトルの水平成分についてのみ言及するが、垂直成分についても同様である。
【０１４０】
すなわち、図３のＡの上部に対応関係を示すように、解像度変換前の画像において、解像度変換前の動きベクトルＭＶの水平成分が整数画素ａ１に相当する０，４，８，・・・のとき、すなわち水平成分を４で割った余りが０となるときには、解像度変換レートに応じて１／２倍して得た解像度変換後の動きベクトルＭＶ’の水平成分は０’，２’，４’，・・・となり、解像度変換後の画像における整数画素ｂ１に相当する。
【０１４１】
同様に、解像度変換前の動きベクトルＭＶの水平成分が整数画素ａ１に相当する２，６，１０，・・・のとき、すなわち水平成分を４で割った余りが２となるときには、解像度変換レートに応じて１／２倍して得た解像度変換後の動きベクトルＭＶ’の水平成分は１’，３’，５’，・・・となり、解像度変換後の画像における半画素ｂ２に相当する。
【０１４２】
しかし、解像度変換前の動きベクトルＭＶの水平成分が半画素ａ２に相当する１，３，５，７，・・・のときには、解像度変換前の動きベクトルＭＶの水平成分を解像度変換レートに応じて１／２倍した値１／２，３／２，５／２，７／２，・・・には、相当する画素が存在しない。
【０１４３】
そこで、本実施の形態においては、かかる場合には、解像度変換後の動きベクトルＭＶ’の水平成分は、半画素ｂ２に相当する１’，１’，３’，３’，・・・に変換されるものとする。
【０１４４】
これら解像度変換前の動きベクトルＭＶの水平成分と、解像度変換後の動きベクトルＭＶ’の関係をまとめて図４に示す。なお、この図４においては、解像度変換前の動きベクトルＭＶの水平成分又は垂直成分の値をＭＶと表記している。
【０１４５】
すなわち、解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが０の場合には、解像度変換後の動きベクトルＭＶ’の水平成分［ＭＶ／２］は整数画素ｂ１に相当する。したがって、解像度変換後の動きベクトルＭＶ’の水平成分を［ＭＶ／２］とする。
【０１４６】
解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが１の場合には、解像度変換前の動きベクトルＭＶの水平成分を解像度変換レートに応じて１／２倍した値［ＭＶ／２］、解像度変換後の動きベクトルの水平成分に相当する画素は存在しない。この場合には、解像度変換後の動きベクトルＭＶ’の水平成分は、［ＭＶ／２］＋１として半画素ｂ２に対応させる。
【０１４７】
解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが２の場合には、解像度変換後の動きベクトルＭＶ’の水平成分［ＭＶ／２］は半画素ｂ２に相当する。この場合には、解像度変換後の動きベクトルＭＶ’の水平成分を［ＭＶ／２］とする。
【０１４８】
解像度変換前の動きベクトルＭＶの水平成分を４で割った余りが３の場合には、解像度変換前の動きベクトルＭＶの水平成分を解像度変換レートに応じて１／２倍した値［ＭＶ／２］、解像度変換後の動きベクトルの水平成分に相当する画素は存在しない。この場合には、解像度変換後の動きベクトルＭＶ’の水平成分は、［ＭＶ／２］として半画素ｂ２に対応させる。
【０１４９】
このように、本実施の形態では、ＭＰＥＧ４画像符号化方式による符号化の予測効率が低減して画質が劣化することがないように、解像度変換前の動きベクトルＭＶが半画素ａ２に相当する場合には、解像度変換後の動きベクトルＭＶ’も半画素ｂ２に相当するように変換を行っている。
【０１５０】
なお、このような変換を行わないと、解像度変換前に動きベクトルＭＶが半画素ａ２に相当する場合には、解像度変換後の動きベクトルＭＶ’に相当する画素がなくなり、復号された画像信号には、量子化による歪みが本来含まれているため、そのまま予測画像として使用すると予測効率が低下し、画質の劣化を引き起こす場合がある。
【０１５１】
このような画質の劣化を低減するために、低域フィルタに相当する参照画面での各画素間を１：１で直線補間した半画素精度を選択することもあり、これによっても画質劣化を避けることができる。
【０１５２】
図２に戻り、ステップＳ１６において、フィールド予測のインターマクロブロックに対しては、動きベクトル変換部１２の処理は、第一フィールド予測又は第二フィールド予測のいずれかによって分岐する。すなわち、第一フィールド予測の場合はステップＳ１７に、第二フィールド予測の場合はステップＳ１８に進む。
【０１５３】
第一フィールド予測である場合は、動きベクトル変換部１２は、ステップＳ１７において、第一フィールド予測に適した動きベクトルへの変換を行う。このような第一フィールド予測に適した動きベクトルへの変換について、図５を参照して説明する。
【０１５４】
図５のＡに示すように、第一フィールドのラインａ３及び第二フィールドのラインａ４の内、第一フィールドのラインａ３を取り出す間引きを行うことにより、解像度を１／２にする解像度変換が行われる。
【０１５５】
図５のＢには、第一フィールドのラインｂ３を取り出すことで、垂直方向に解像度が１／２になった画像が示されている。また、第一フィールド予測を行っているため、解像度変換前の動きベクトルＭＶは、そのまま解像度変換後の動きベクトルＭＶ’になる。
【０１５６】
なお、動きベクトルＭＶの水平成分については、図４に示したフレーム予測のインターマクロブロックの場合と同様な処理を行われるので説明を省略する。
【０１５７】
一方、図２のステップＳ１８では、第二フィールド予測に適した動きベクトルの変換を行う。このステップＳ１８における第二フィールド予測の動きベクトル変換について、図６を参照して説明する。
【０１５８】
図６のＡにおいて、第一フィールドのラインａ３及び第二フィールドのラインａ４の内、第一フィールドのラインａ３を取り出す間引きを行うことにより、解像度を１／２にする解像度変換が行われる。このため、この第二フィールド予測の場合においても、解像度変換後には第一フィールドの画素値を参照画像として用いる。
【０１５９】
図６のＢには、参照画像として用いられる第一フィールドのラインｂ３のみから構成される解像度変換後の画像が示されている。
【０１６０】
しかし、飛び越し走査のＭＰＥＧ２画像圧縮情報では第一フィールドの画像と第二フィールドの画像には、時間的及び空間的なずれがある。このため、ＭＰＥＧ２で予測画像として用いた第二フィールドの画素値を解像度変換後の第一フィールド予測に変換するように、動きベクトルの時間的及び空間的な補正を行う。
【０１６１】
まず、第二フィールド予測から近似的に第一フィールド予測に変換するための空間的補正として、動きベクトルの垂直成分に１を加える。これによって、図６のＡに示すように、第二フィールド予測で求めた動きベクトルＭＶbottomは、垂直成分に１を加えることにより垂直方向に一行を繰り上げられ、第二フィールドが第一フィールドと同様の位置に達し、第一フィールド予測の近似動きベクトルＭＶtopが得られる。
【０１６２】
このような空間的な補正によって、第二フィールド予測で求めた動きベクトルＭＶbottomの空間的な位置は、第一フィールド予測で求めた動きベクトルと同様になる。
【０１６３】
式（２）は、近似第一フィールド、すなわち第一フィールドと同様な空間位置にある第二フィールドを空間的な補正によって予測した時の動きベクトルＭＶtopの垂直成分を表している。
【０１６４】
【数２】
次に、第二フィールドから近似された第一フィールドと実際の第一フィールドとの時間ずれの補正を行う。
【０１６６】
図７は、時間ずれの補正を説明する図である。すなわち、図７のＡにおける各フレームは、第一フィールド及び第二フィールドから構成されるが、第一フィールドと第二フィールドの時間間隔を１とすると、Ｉピクチャの第二フィールドとＰピクチャの第一フィールドの時間間隔をａは１，３，５，・・・の値を取り得る。
【０１６７】
図中には、Ｉピクチャの第一フィールドを参照してＰピクチャの第一フィールドを予測する動きベクトルＭＶtopと、Ｉピクチャの第二フィールドを参照してＰピクチャの第一フィールドを予測する動きベクトルＭＶbottomとが示されている。
【０１６８】
図７のＢには、図７のＡに示した画像に解像度変換及びフレームレート変換により変換されたＩピクチャの第一フィールド及びＰピクチャの第一フィールドと、解像度変換後の動きベクトルＭＶ’が示されている。
【０１６９】
これらの時間間隔の比率により、第二フィールドを参照する動きベクトルＭＶbottomから近似した近似ＭＶtopを用いて、時間のずれを補正して解像度変換後の動きベクトルＭＶ’を得るためには式（３）を適用する。
【０１７０】
【数３】
式（２）を式（３）に代入すると、解像度変換後の動きベクトルＭＶ’の垂直成分は、式（４）のようになる。
【０１７２】
【数４】
なお、解像度変換後の動きベクトルの水平成分に対しては、、解像度変換前の動きベクトルＭＶbottomに（ａ＋１）／ａを乗じ、時間的な補正を行った後、先に図４に示したように変換される。すなわち、解像度変換前に半画素に相当する動きベクトルは、解像度変換後にも半画素に相当する動きベクトルに変換される。
【０１７４】
場合によっては、動きベクトルの垂直成分に対して時間的補正を行った後、空間的な補正を行ってもよい。その場合、動きベクトルＭＶ’の垂直成分は、式（５）で与えられる。
【０１７５】
【数５】
なお、解像度変換後の動きベクトルＭＶ’の水平成分は、空間補正を行ってから時間補正を行う空間・時間補正と時間補正を行ってから空間補正を行う時間・空間補正のいずれでも同様な値となる。
【０１７７】
式（４）と式（５）の差、すなわち、空間・時間補正を行った場合と、時間・空間補正を行った場合の動きベクトルの垂直成分の差は１／ａになる。したがって、ａの値によって、空間・時間補正と時間・空間補正との差による影響が異なる。
【０１７８】
そこで、ａが１の場合と、１より大きい、すなわち３，５，７，・・・の２つの場合における補正方法を説明する。
【０１７９】
まず、ａが１の場合について、式（４）のａに１を代入すると、動きベクトルの垂直成分は式（６）になる。
【０１８０】
【数６】
式（５）のａに１を代入し、動きベクトルの垂直成分は式（７）になる。
【０１８２】
【数７】
その結果、解像度変換前の動きベクトルＭＶbottomに０，１，２，・・・を代入すると、式（６）による値は２，４，６，・・・のような偶数になる。すなわち、空間・時間補正を行うと、解像度変換前の動きベクトルＭＶbottomは整数画素又は半画素に位置しても、解像度変換後の動きベクトルＭＶ’はすべて整数画素に位置する。
【０１８４】
また、式（７）による値は、１，３，５，・・・のような奇数になる。すなわち、時間・空間補正を行うと、解像度変換前の動きベクトルＭＶは整数画素又は半画素に位置しても、解像度変換後の動きベクトルＭＶ’はすべて半画素に位置する。
【０１８５】
したがって、解像度変換前に整数画素に位置する動きベクトルＭＶbottomに対して、解像度変換後の動きベクトルＭＶ’を整数画素に位置するようにする場合、空間・時間補正を行う。また、解像度変換前に半画素に位置する動きベクトルＭＶbottomに対して、解像度変換後の動きベクトルＭＶ’を半画素に位置するようにする場合、時間・空間補正を行う。
【０１８６】
すなわち、解像度変換後の動きベクトルＭＶ’の垂直成分を求めるために、解像度変換前の動きベクトルＭＶbottomに対し、空間補正、時間補正を交互に使用して解像度変換後の動きベクトルＭＶ’に変換する。若しくは、解像度変換前の動きベクトルＭＶbottomに対して、すべてに時間・空間補正を行う。
【０１８７】
以上の動きベクトル変換処理が終了した後、動きベクトル変換部１２から、ＭＰＥＧ４の８×８動きベクトルが出力される。
【０１８８】
図１に戻り、動きベクトル変換部１２から出力されたＭＰＥＧ４の８×８動きベクトルは、動きベクトル調整部１３に送られる。動きベクトル調整部１３は、外部から入力された画像サイズ調整フラグに基づいて動きベクトルを調整し、画像サイズに適した動きベクトルを出力する。
【０１８９】
この動きベクトル調整部１３における動きベクトルの調整の処理について、図８を参照して説明する。
【０１９０】
動きベクトル調整部１３には、動きベクトル変換部１２からｍ画素×ｎ画素の画像サイズ及びＭＰＥＧ４の８×８動きベクトルが、外部から画像サイズ調整フラグが、それぞれ入力されている。
【０１９１】
動きベクトル調整部１３の処理は、ステップＳ２１において、ｍ画素×ｎ画素の入力画像サイズについてｍ／２及びｎ／２が共に１６の倍数であるかどうかによって分岐する。
【０１９２】
すなわち、動きベクトル調整部１３は、ｍ／２及びｎ／２が共に１６の倍数である場合には、ＭＰＥＧ４の８×８動きベクトルを処理することなくそのまま出力する。 一方、ｍ／２，ｎ／２のいずれかが１６の倍数でない場合には、処理をステップＳ２２に進める。
【０１９３】
動きベクトル調整部１３の処理がステップＳ２２以降に進む場合には、外部から入力された画像サイズ調整フラグを用いる。動きベクトル調整部１３は、ステップＳ２２において画素除去を行う場合には、８画素を除去した画像の動きベクトルを出力する。
【０１９４】
ステップＳ２３において画素補填を行う場合には、動きベクトル調整部１３は、８画素を補填した画像の動きベクトルを出力する。
【０１９５】
なお、上述の実施の形態では、入力としてＭＰＥＧ２画像圧縮情報（ビットストリーム）を、出力としてＭＰＥＧ４画像圧縮情報（ビットストリーム）を対象とした例を示したが、本発明はこれに限定されない。本発明は、入力又は出力を例えばＭＰＥＧ１やＨ．２６３などの画像圧縮情報（ビットストリーム）とすることもできる。
【０１９６】
【発明の効果】
以上述べてきた様に、本発明は、飛び越し走査のＭＰＥＧ２画像情報圧縮情報（ビットストリーム）を順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換する際に用いられる動きベクトル変換装置において、ＭＰＥＧ４の８×８動きベクトルからＭＰＥＧ４の１６×１６動きベクトルを生成する際、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）におけるマクロブロックごとの、ビット数、量子化スケール、コンプレキシティ、非零ＤＣＴ係数の個数といった情報を利用し、最も符号化効率の高いと考えられるＭＰＥＧ４の８×８動きベクトルを選択してＭＰＥＧ４の１６×１６動きベクトルとすることで、ＭＰＥＧ４画像圧縮情報（ビットストリーム）への符号化効率を高めるものである。
【図面の簡単な説明】
【図１】本実施の形態による動きベクトル変換装置の構成を示すブロック図である。
【図２】動きベクトル変換装置の動きベクトル調整部における処理を示す図である。
【図３】図２において、フレーム予測のインターマクロブロックに対する動きベクトル変換を示す図である。
【図４】図３の変換の際の半画素精度の動きベクトルの取り扱いを示す図である。
【図５】図２において、第一フィールド予測のインターマクロブロックに対する動きベクトル変換を示す図である。
【図６】図２において、第二フィールド予測のインターマクロブロックに対する動きベクトル変換を示す図である。
【図７】図２において、第二フィールド予測のインターマクロブロックに対する動きベクトル変換に対する時間的な補正を示す図である。
【図８】動きベクトル変換装置の動きベクトル調整部における画像サイズ調整フラグによる調整を示す図である。
【図９】ＭＰＥＧ２画像圧縮情報（ビットストリーム）からＭＰＥＧ４画像圧縮情報（ビットストリーム）への変換を実現する従来の例を示すブロック図である。
【図１０】ＭＰＥＧ２画像圧縮情報（ビットストリーム）からＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換する画像情報変換装置の構成を示すブロック図である。
【図１１】ＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトルとＭＰＥＧ４画像圧縮情報（ビットストリーム）中の動きベクトルとの相関を示す図である。
【図１２】図１０の画像情報変換装置の解像度／フレームレート変換部における処理を示す図である。
【図１３】図１０の画像情報変換装置の解像度／フレームレート変換部における画素の補填又は除去の処理を示す図である。
【図１４】図１０の画像情報変換装置の動きベクトル変換部における動きベクトル変換方法を示す図である。
【図１５】図１０の画像情報変換装置の動きベクトル変換部の構成を示すブロック図である。
【図１６】図１５の動きベクトル変換部の動きベクトル補正部の構成を示すブロック図である。
【符号の説明】
１２ 動きベクトル変換部、１３ 動きベクトル調整部、１４ マクロブロック情報バッファ、１５ 動きベクトル変換部、１６ 動きベクトル補正部
Claims (16)
- 水平方向及び垂直方向共に一定数成分の離散コサイン変換係数からなるマクロブロックから構成される、飛び越し走査の画像を符号化した入力画像圧縮情報を、水平方向及び垂直方向共に一定数成分の離散コサイン変換係数からなるマクロブロックから構成され、上記飛び越し走査の画像に対して解像度変換した順次走査の画像を符号化した出力画像圧縮情報に変換する際に動きベクトルを変換する動きベクトル変換装置において、
上記入力画像圧縮情報のマクロブロックは上記変換により解像度変換されたブロックに変換され、上記入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて上記出力画像圧縮情報のマクロブロックを構成する上記ブロックをそれぞれ動き補償する第２の動きベクトルを生成し、この第２の動きベクトルの内で、動きベクトルの長さに基づいて、符号化効率の最も高いものを上記出力画像圧縮情報のマクロブロックを動き補償する第３の動きベクトルとする変換手段を有し、
符号化効率のパラメータとして上記入力画像圧縮情報を構成するマクロブロックごとの動きベクトルの長さを用い、その中間値となる動きベクトルに対応するマクロブロックに対応する上記第２の動きベクトルを選択する
動きベクトル変換装置。 - 上記入力画像圧縮情報は水平方向及び垂直方向共に１６成分の離散コサイン変換係数からなるマクロブロックから構成され、上記出力画像圧縮情報は水平方向及び垂直方向共に１６成分の離散コサイン変換係数からなるマクロブロックから構成され、上記飛び越し走査の画像に対して水平方向及び垂直方向共に１／２のサイズを有する順次走査の画像を符号化した出力画像圧縮情報に変換する請求項１記載の動きベクトル変換装置。
- 上記入力画像圧縮情報はＭＰＥＧ２規格によるものであり、上記出力画像圧縮情報はＭＰＥＧ４規格によるものである請求項１記載の動きベクトル変換装置。
- 上記変換手段は、上記第１の動きベクトルから解像度変換及び時間軸補正により上記第２の動きベクトルを生成する請求項１記載の動きベクトル変換装置。
- 上記中間値は、上記入力画像圧縮情報を構成するマクロブロックごとの非零の離散コサイン変換係数の個数を用い、この個数の最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから求める請求項１記載の動きベクトル変換装置。
- 上記中間値は、上記入力画像圧縮情報を構成するマクロブロックごとの輝度成分の離散コサイン変換係数に割り当てられたビット数を用い、このビット数の最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから求める請求項１記載の動きベクトル変換装置。
- 上記中間値は、上記入力画像圧縮情報を構成するマクロブロックごとの離散コサイン変換係数に割り当てられた全ビット数を用い、この全ビット数の最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから求める請求項１記載の動きベクトル変換装置。
- 上記中間値は、上記入力画像圧縮情報を構成するマクロブロックに割り当てられた量子化スケールを用い、この量子化スケールの最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから求める請求項１記載の動きベクトル変換装置。
- 上記中間値は、上記入力画像圧縮情報を構成するマクロブロックごとに割り当てられたビット数Ｂおよび量子化スケールＱに関して、コンプレキシティＸをＸ＝Ｑ×Ｂのように算出し、このコンプレキシティＸを用い、このコンプレキシティＸの最も少ないマクロブロックを２回重複して数え、合計５つの動きベクトルから中間値を求める請求項１記載の動きベクトル変換装置。
- 上記ビット数Ｂとして、当該マクロブロックの輝度成分の離散コサイン変換係数に割り当てられたビット数を用いる請求項９記載の動きベクトル変換装置。
- 上記ビット数Ｂとして、当該マクロブロックの離散コサイン変換係数に割り当てられたビット数を用いる請求項９記載の動きベクトル変換装置。
- 上記ビット数Ｂとして、当該マクロブロックに割り当てられた全ビット数を用いる請求項９記載の動きベクトル変換装置。
- 水平方向及び垂直方向共に一定数成分の離散コサイン変換係数からなるマクロブロックから構成される、飛び越し走査の画像を符号化した入力画像圧縮情報を、水平方向及び垂直方向共に一定数成分の離散コサイン変換係数からなるマクロブロックから構成され、上記飛び越し走査の画像に対して解像度変換した順次走査の画像を符号化した出力画像圧縮情報に変換する際に動きベクトルを変換する動きベクトル変換方法において、
上記入力画像圧縮情報のマクロブロックは上記変換により解像度変換されたブロックに変換され、
上記入力画像圧縮情報のマクロブロックを動き補償する第１の動きベクトルに基づいて上記出力画像圧縮情報のマクロブロックを構成する上記ブロックをそれぞれ動き補償する第２の動きベクトルを生成し、
この第２の動きベクトルの内で、動きベクトルの長さに基づいて、符号化効率の最も高いものを上記出力画像圧縮情報のマクロブロックを動き補償する第３の動きベクトルとし、
符号化効率のパラメータとして上記入力画像圧縮情報を構成するマクロブロックごとの動きベクトルの長さを用い、その中間値となる動きベクトルに対応するマクロブロックに対応する上記第２の動きベクトルを選択する
動きベクトル変換方法。 - 上記入力画像圧縮情報は水平方向及び垂直方向共に１６成分の離散コサイン変換係数からなるマクロブロックから構成され、上記出力画像圧縮情報は水平方向及び垂直方向共に１６成分の離散コサイン変換係数からなるマクロブロックから構成され、上記飛び越し走査の画像に対して水平方向及び垂直方向共に１／２のサイズを有する順次走査の画像を符号化した出力画像圧縮情報に変換する請求項１３記載の動きベクトル変換方法。
- 上記入力画像圧縮情報はＭＰＥＧ２規格によるものであり、上記出力画像圧縮情報はＭＰＥＧ４規格によるものである請求項１３記載の動きベクトル変換方法。
- 上記第１の動きベクトルから解像度変換及び時間軸補正により上記第２の動きベクトルを生成する請求項１３記載の動きベクトル変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000132915A JP4556286B2 (ja) | 2000-04-27 | 2000-04-27 | 動きベクトル変換装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000132915A JP4556286B2 (ja) | 2000-04-27 | 2000-04-27 | 動きベクトル変換装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001313948A JP2001313948A (ja) | 2001-11-09 |
| JP4556286B2 true JP4556286B2 (ja) | 2010-10-06 |
Family
ID=18641517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000132915A Expired - Fee Related JP4556286B2 (ja) | 2000-04-27 | 2000-04-27 | 動きベクトル変換装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4556286B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4622077B2 (ja) | 2000-10-11 | 2011-02-02 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| KR100681252B1 (ko) * | 2004-10-02 | 2007-02-09 | 삼성전자주식회사 | 트랜스코딩을 위해 출력 매크로블록 모드와 출력움직임벡터를 추정하는 방법 및 이를 이용한 트랜스코더 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10336672A (ja) * | 1997-05-30 | 1998-12-18 | Oki Electric Ind Co Ltd | 符号化方式変換装置およびその動きベクトル検出方法 |
-
2000
- 2000-04-27 JP JP2000132915A patent/JP4556286B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10336672A (ja) * | 1997-05-30 | 1998-12-18 | Oki Electric Ind Co Ltd | 符号化方式変換装置およびその動きベクトル検出方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001313948A (ja) | 2001-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4682410B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4378824B2 (ja) | 画像処理装置及び方法 | |
| US8718143B2 (en) | Optical flow based motion vector estimation systems and methods | |
| US9247250B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
| KR100600419B1 (ko) | 움직임 보상된 예측 영상 부호화 및 복호화 | |
| JPH11112973A (ja) | 映像信号変換装置及び映像信号変換方法 | |
| JP2004048552A (ja) | 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置 | |
| WO2003043344A2 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| KR20200128375A (ko) | 인트라 예측 모드 스케일러블 코딩 방법 및 장치 | |
| JP2009089332A (ja) | 動き予測方法及び動き予測装置 | |
| JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| JP3797209B2 (ja) | 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム | |
| JP2001508632A (ja) | 動き補償予測画像符号化および復号化 | |
| JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
| JP4622077B2 (ja) | 画像処理装置及び画像処理方法 | |
| US8767831B2 (en) | Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream | |
| JP4556286B2 (ja) | 動きベクトル変換装置及び方法 | |
| JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
| JP4264811B2 (ja) | 画像復号化装置及び画像復号化方法 | |
| JP2002262293A (ja) | 動画像復号装置および動画像復号方法 | |
| JP4779207B2 (ja) | 動きベクトル変換装置及び動きベクトル変換方法 | |
| AU2015255215B2 (en) | Image processing apparatus and method | |
| JP2001309389A (ja) | 動きベクトル変換装置及び方法 | |
| JP2002044669A (ja) | 画像情報変換装置及び方法 | |
| JP4529295B2 (ja) | 動きベクトル変換方法及び変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100712 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |