JP4764706B2 - 動画像変換装置 - Google Patents

Description

本発明は、符号化された動画像の符号列を変換する動画像変換装置に関し、特に、異なる動き補償予測方式で符号化された動画像の符号列への変換における変換効率の向上に関する。

近年、動画像のデジタル化が進み、動画像がデジタルデータとしてネット等で伝送され、媒体に記録されるようになっている。
これら動画像の色、精細さ、動きの滑らかさ等の要求を満たす為に、そのデータ量は増大しており、通信回線が高速化し蓄積媒体も大容量化してはいるものの、動画像データの圧縮技術が求められた。

そこで、例えば、現行テレビからハイビジョンまでのテレビジョン放送等の高画質の実現を目標としたＭＰＥＧ−２規格、モバイルやインターネットでの利用の為に高圧縮率の実現を目標とするＭＰＥＧ−４規格などの符号化圧縮方式が開発された。
これらは、それぞれの特徴に応じた用途を有するが、利用者にとっては、相互に動画像を変換できることが望まれる。例えば、ＭＰＥＧ−２規格で録画したテレビ番組をＭＰＥＧ−４規格のデータに変換して携帯再生装置で見ること等が可能となるからである。

通常、これらのデータ変換は、変換前のデータ、例えばＭＰＥＧ−２規格で符号化されたデータを一旦完全に復号し、その復号された動画像を変換後のデータ形式、例えばＭＰＥＧ−４規格で再度符号化することで行われる。
しかし、この変換方法は、従来からある符号化装置と復号装置とをつなげることで実現できるという利点はあるものの、基本的に動画像の再生時間分の時間がかかってしまうため、ＨＤＤ（Hard Disk Drive）からＤＶＤ（Digital Versatile Disk）などへの高速ダビングに慣れているユーザにとっては利便性が大幅に劣ることになる。

そこで、変換前の符号化データの一部を再利用することでデータ変換の時間の短縮化が図られた。
この変換方法は、変換前後の符号化処理が基本的に同じであることが前提となり、例えば、ＭＰＥＧ−２から、その上位規格のＭＰＥＧ−４へのデータ変換では動きベクトルの再利用がなされ、動きベクトル探索処理にかかる処理時間のカットにより、変換時間の大幅な短縮化が図られた。

しかし、その逆、すなわちＭＰＥＧ−４からＭＰＥＧ−２へのデータ変換では、動きベクトルの再利用が出来ない場合が生じ得る。
というのは、ＭＰＥＧ−２では、その上位規格のＭＰＥＧ−４がサポートしているブロックサイズや動きベクトル等に関する仕様の全てをサポートしているわけではないからである。具体的には、ＭＰＥＧ−２でサポートしているブロックサイズは１６画素×１６画素のみであるが、ＭＰＥＧ−４では、加えて８画素×８画素のブロックをサポートしている。さらに、ＭＰＥＧ−２では、動きベクトルが１／２画素精度までしか認められていないが、ＭＰＥＧ−４では１／４画素精度まで認められている。

これらの違いを解決してデータ変換を行う技術が開発されている（特許文献１）。解決方法を簡単に説明すると、８画素×８画素ブロック４つから得られる４つの動きベクトルから、対応する１６画素×１６画素ブロックの１つの動きベクトルを算出し、また、１／４画素精度での動きベクトルの近傍で再探索を行い、１／２画素精度での動きベクトルを求め利用することで、データ変換を実現している。

最近、これらのＭＰＥＧ−２規格、ＭＰＥＧ−４規格に加え、これらと符号化処理が基本的に同じであるＭＰＥＧ−４／ＡＶＣ規格（非特許文献１）が新たに標準化された。
このＭＰＥＧ−４／ＡＶＣ規格は、ＭＰＥＧ−２が対象とするテレビジョン放送などからＭＰＥＧ−４が対象とするモバイルやインターネットでも適用でき、ＱＣＩＦ（Quarter CIF：１８０画素×１４４ライン）〜ＨＤ（High Definition：１９２０画素×１０８０ライン）サイズの画像までを取り扱うことが可能なスケーラブルな規格であり、加えて、他の規格に比べて極めて高い圧縮率を実現する規格である。

従って、ＭＰＥＧ−４／ＡＶＣ規格が普及すれば、従来のＤＶＤ等の製品と高い親和性を誇るＭＰＥＧ−２規格、ＭＰＥＧ−４規格との間での動画像変換装置の需要が高まることが予測される。
特開平１１−２７５５９２ ＩＴＵ−Ｔ Ｈ．２６４規格書

しかし、ＭＰＥＧ−４／ＡＶＣ規格は、その仕様がＭＰＥＧ−４と異なる部分があるため、上記技術を持ってしてもＭＰＥＧ−４／ＡＶＣからＭＰＥＧ−２へのデータ変換を行うことが出来ず、変換処理の時間を短縮することができない。
そこで、本発明は、ＭＰＥＧ−４／ＡＶＣ規格からＭＰＥＧ−２規格、ＭＰＥＧ−４／ＡＶＣ規格からＭＰＥＧ−４規格等といった異なる符号化方式間でのデータ変換を短時間で行うことが出来る動画像変換装置の提供を目的とする。

上記目的を達成するために、本発明に係る動画変換装置は、第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画像変換装置であって、第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出手段と、第２の動き補償予測方式に従った符号化を行う符号化手段であって、前記選出手段により選出された各動きベクトルを用いてブロックの符号化を行う符号化手段とを備えることを特徴とする。

上記構成の動画変換装置は、変換前の符号化方式で符号化されたブロックの動きベクトルが、変換後の符号化方式での条件に合致するとして選ばれた場合には、変換前の動きベクトルを用いて変換後の符号化方式で符号化を行うので、従来のような動き探索により動きベクトルを求める必要がなくなり、データ変換の処理時間を短縮することができるようになる。

また、前記符号化手段は、前記選出された各動きベクトルを用いた符号化においては、動き探索により特定した動きベクトルを用いる代わりに、前記選出された各動きベクトルをそのまま用いて符号化を行うこととしてもよい。
これにより、動き探索をまったく行わずに、変換前の動きベクトルをそのまま用いる事ができるので、変換処理にかかる時間を大幅に短縮する事が出来るようになる。

また、前記符号化手段は、前記選出された各動きベクトルを用いた符号化においては、各動きベクトルが指す参照画像上の位置を基準とする所定の探索範囲であって、当該動きベクトルが示す参照ブロックを含む探索範囲について動き探索を行い、当該動きベクトルを用いる代わりに、動き探索の結果得られる動きベクトルを用いてブロックの符号化を行うこととしてもよい。

これにより、変換前の動きベクトルを基準とする所定の探索範囲のみを探索して動きベクトルを求めるので、動きベクトルに頼らずに、広範囲から探索を行う従来の場合と比べて、探索範囲を絞り込むことができて、探索にかかる計算量を少なくすることができ、変換処理にかかる時間を大幅に短縮する事が出来るようになる。
また、前記選出手段が選出する動きベクトルが満たすべき条件は、ブロックの参照画像の符号化タイプを制限するものであり、前記選出手段は、前記条件を満たす動きベクトルを選出することとしてもよい。

また、前記選出手段が選出する動きベクトルが満たすべき条件は、ブロックの参照画像の符号化タイプを制限するものであり、前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの参照画像が前記条件を満たさない場合には、その参照画像を前記条件を満たす参照画像に替えて、その動きベクトルを選出することとしてもよい。
これにより、変換前の動きベクトルをそのまま用いて、変換後の符号化方式において参照が許される参照画像にある参照ブロックを予測信号として用いる、また、変換後の符号化方式において参照が許される別の参照画像にある参照ブロックを予測信号として用いるので、動きベクトル探索のための計算が不要となり、処理時間を短縮することができるようになる。

また、前記符号化手段は、前記選出された各動きベクトルを用いた符号化においては、各動きベクトルが指す参照画像上の位置を基準とする所定の探索範囲であって、当該動きベクトルが示す参照ブロックを含む探索範囲について動き探索を行い、当該動きベクトルを用いる代わりに、動き探索の結果得られる動きベクトルを用いてブロックの符号化を行うこととしてもよい。

これにより、参照が許される別の参照画像上で、変換前の第１動画像中の動きベクトルを基準とする所定の探索範囲を探索して動きベクトルを求めるので、一から動きベクトルを探索する場合よりも探索範囲を絞りこむことができ、処理時間を短縮することができる。
また、前記選出手段が選出する動きベクトルが満たすべき条件は、ブロックの動きベクトルが１つである場合は、その動きベクトルの参照画像は当該ブロックの含まれる画像より前に表示される画像であることであり、前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの１つが前記条件を満たす場合には、その動きベクトルを選出することとしてもよい。

また、前記選出手段が選出する動きベクトルが満たすべき条件は、ブロックの動きベクトルが２つである場合には、そのうちの１の動きベクトルの参照画像は当該ブロックの含まれる画像より前に表示される画像であることであり、他の動きベクトルの参照画像は当該ブロックの含まれる画像より後に表示される画像であることであり、前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの２つが前記条件を満たす場合には、その２つの動きベクトルを選出することとしてもよい。

また、前記選出手段が選出する動きベクトルが満たすべき条件は、画像の表示順序において、ブロックが含まれる画像と当該ブロックの参照画像との間に表示される画像の符号化タイプが所定のタイプであることであり、前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの参照画像が前記条件を満たす場合には、その動きベクトルを選出することとしてもよい。

また、前記選出手段が選出する動きベクトルが満たすべき条件は、ブロックの参照画像が、当該ブロックの含まれる画像の表示から、表示時間順で最も近い過去のＰピクチャ又はＩピクチャの画像、あるいは最も近い将来のＰピクチャ又はＩピクチャの画像、あるいは当該ブロックの含まれる画像であることであり、前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの参照画像が前記条件を満たす場合には、その動きベクトルを選出することとしてもよい。

また、第１動画像データに含まれるブロックの動きベクトルの数が２つであり、 前記選出手段は、前記条件を満たす動きベクトルを１つだけ選出した場合、前記符号化手段は、当該１つの動きベクトルを用いてブロックの符号化を行うとともに、当該ブロックの動き予測のタイプを示す情報を、２つの動きベクトルを用いる動き予測のタイプから１つの動きベクトルを用いる動き予測のタイプに変更することとしてもよい。

また、前記条件は、ブロックの参照ブロックが、当該参照ブロックの含まれる参照画像内にすべて存在することであり、前記選出手段は、第１動画像データに含まれるブロックの動きベクトルの参照ブロックが前記条件を満たす場合には、その動きベクトルを選出することとしてもよい。
また、前記選出手段は、選出されなかった動きベクトルのうち、その動きベクトルを補正することによって補正後の動きベクトルの参照ブロックが参照画像内に存在することとなる場合には、当該補正後の動きベクトルを選出することとしてもよい。

これにより、変換前の動きベクトルのうち、変換後の符号化方式に適合する動きベクトルを選べるので、選んだ動きベクトルを再利用して符号化することが出来るようになる。
また、第１の動き補償予測方式は、ＭＰＥＧ４−ＡＶＣ規格に則ったものであることとしてもよい。
これにより、ＭＰＥＧ−４／ＡＶＣ規格で符号化したデータを、他の規格で符号化したデータの形式と同じ形式に変換することができる。

また、第２の動き補償予測方式は、ＭＰＥＧ２規格又はＭＰＥＧ４規格に則ったものであることとしてもよい。
これにより、ＭＰＥＧ−４／ＡＶＣ規格などの規格で符号化したデータを、ＭＰＥＧ−２規格で符号化したデータの形式と同じ形式に変換することができる。
また、第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画像変換方法は、第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出ステップと、第２の動き補償予測方式に従った符号化を行う符号化ステップであって、前記選出ステップにより選出された各動きベクトルを用いてブロックの符号化を行う符号化ステップとを含むことを特徴とする。

また、コンピュータプログラムを実行可能な装置に、第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画変換処理を行わせるためのコンピュータプログラムは、第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出ステップと、第２の動き補償予測方式に従った符号化を行う符号化ステップであって、前記選出ステップにより選出された各動きベクトルを用いてブロックの符号化を行う符号化ステップとを含むことを特徴とする。

また、コンピュータプログラムを記録したコンピュータ読取可能な記録媒体であって、前記コンピュータプログラムは、コンピュータプログラムを実行可能な装置に、第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画変換処理を行わせるためのコンピュータプログラムであって、第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出ステップと、第２の動き補償予測方式に従った符号化を行う符号化ステップであって、前記選出ステップにより選出された各動きベクトルを用いてブロックの符号化を行う符号化ステップとを含むことを特徴とする。

また、第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画像変換装置の集積回路は、第１動画像データに含まれるブロックの１以上の動きベクトルの中から、そのブロックの第２の動き補償予測方式における動きベクトルとなるべき条件を満たす動きベクトルを選出する選出手段と、第２の動き補償予測方式に従った符号化を行う符号化手段であって、前記選出手段により選出された各動きベクトルを用いてブロックの符号化を行う符号化手段と を備えることを特徴とする。

＜実施形態１＞
＜概要＞
本発明にかかる動画像変換装置は、ＭＰＥＧ−４／ＡＶＣ規格で符号化されたデータを、ＭＰＥＧ−２規格で符号化したデータの形式に変換する装置であり、この変換の際に動きベクトルを再利用することを特徴としている。これらの符号化方式は、動き補償予測方式であるという点で符号化の基本を同じくすることから、符号化データの共通の構成要素である動きベクトルの再利用を行う。

ＭＰＥＧ符号化処理においては、動きベクトル探索処理量が非常に大きくなるという特徴があることから、動きベクトル探索処理を減らすことは、符号化処理時間の大幅な短縮となり、利便性が大きく向上することになる。
まず、ここで、ＭＰＥＧ−４／ＡＶＣ規格とＭＰＥＧ−２規格の動きベクトルの相違について図２３〜図２６を用いて説明しておく。

＜ＭＰＥＧ−４／ＡＶＣ規格とＭＰＥＧ２規格の相違＞
ＭＰＥＧ−４／ＡＶＣとＭＰＥＧ−２のビデオストリームについて、図を用いて簡単に説明する。これらのビデオストリームは、基本的に同じ形をしている。
＜ビデオストリーム＞
図２３は、ビデオストリームのデータ構造を示す図である。

ビデオストリームは、画像の空間周波数成分に基づいて圧縮されており、画面上の数画素を一つの圧縮単位としている。その圧縮単位をマクロブロックといい、画面は複数のマクロブロックで構成される。図２４は、１画面が(0,0)〜(i,j)のマクロブロックで構成されている図である。
このマクロブロックは、例えば、縦16画素×横16画素からなり、復号時にも１個単位で復号処理がなされる。

図２３の第１段目は、ビデオストリームの構成を示す。
ビデオストリームは、複数のGOP（Group of Picture）で、構成され（１段目の図参照）、GOPは、Iピクチャ、Bピクチャ、Pピクチャという３つのタイプのピクチャデータ（図中のI,P,B）を1以上含み、先頭には必ずIピクチャが存在する（２段目の図参照）。
さらに、各ピクチャデータは、ピクチャヘッダと、複数のスライスから構成され（３段目の図参照）、ピクチャヘッダにはピクチャタイプが含まれる。このピクチャタイプは、ピクチャデータがIピクチャであるか、Bピクチャ、Pピクチャであるかを示す。

ただし、ＭＰＥＧ−４／ＡＶＣでは、ピクチャタイプそのものが入っているのではなく、ピクチャに含まれるスライスタイプが入っており、それらのスライスタイプからピクチャタイプを求めることになる。
スライスは、スライスヘッダと、複数のマクロブロックとを有し（４段目の図参照）、スライスヘッダにはスライスタイプが含まれる。このスライスタイプは、スライスデータがIスライスであるか、Bスライス、Pスライスであるかを示す。

ただし、このスライスタイプは、ＭＰＥＧ−４／ＡＶＣのデータにのみ存在する。すなわち、ＭＰＥＧ−４／ＡＶＣでは、ピクチャに複数タイプのスライスが存在するが、ＭＰＥＧ−２では、１種類のスライスタイプのみが存在する。
次に、マクロブロック２３００は、マクロブロックタイプ２３１０、動き情報２３２０および画面間予測誤差２３３０とで構成される。

マクロブロックタイプは、このマクロブロックが画面間予測が必要なものか否か、また、１方向参照なのか２方向参照なのか等の情報を表すものであり、このタイプによって動き情報の形式も異なることになる。
動き情報は、参照するピクチャを特定する参照ピクチャ２３２１と、動きベクトル２３２２とで構成される。

図では、２方向参照の動き情報の例を示している。「ref.idx0」と「ref.idx1」とは、参照ピクチャを示す番号であり、「mv0」と「mv1」とは、参照ピクチャそれぞれにおける動きベクトルを表す。
ただし、この動き情報の例はＭＰＥＧ−４／ＡＶＣ規格におけるものであり、ＭＰＥＧ−２規格では、参照ピクチャを示す番号であるところの「ref.idx0」等は存在しない。ＭＰＥＧ−２では、参照可能なピクチャが決まっている為、データとして持っておく必要が無いからである。

本発明では、ＭＰＥＧ−４／ＡＶＣの動きベクトルを再利用して、ＭＰＥＧ−２の動きベクトルを作成するが、利用できる動きベクトルによっては、マクロブロックタイプや参照ピクチャが変更される。
画面間予測誤差２３３０は、参照画像と対象画像の差分を表す。
＜Ｉ／Ｐ／Ｂピクチャ＞
ここで、Ｉピクチャとは、自画面内の情報のみを用いた符号化により得られる画面であり、Ｐピクチャとは１画面との１方向予測符号化によって得られる画面であり、Ｂピクチャとは２画面との２方向予測符号化によって得られる画面をいう。

また、Ｉピクチャに含まれるマクロブロックはすべて、（１）自画面内の情報のみで得られるマクロブロックであり、Ｐピクチャに含まれるマクロブロックは（１）自画面内の情報のみで得られるマクロブロックと（２）１画面との１方向予測符号化によって得られるマクロブロックとで構成され、Ｂピクチャに含まれるマクロブロックは（１）自画面内の情報のみで得られるマクロブロックと（２）１画面との１方向予測符号化によって得られるマクロブロックと（３）２画面との２方向予測符号化によって得られる画面とで構成される。これらの種類を表すのが、マクロブロックタイプである（図２３参照）。

このマクロブロックタイプのうち、ＭＰＥＧ−４／ＡＶＣとＭＰＥＧ−２とでサポートしているものに違いがあるため、この違いを解消することが、本発明の目的ともいえる。これらの違いについては、以下の＜動きベクトルの相違＞で説明する。
また、ＭＰＥＧ−４／ＡＶＣでは、Ｉ／Ｐ／Ｂの各スライスも上述したピクチャと同じタイプのマクロブロックで構成され、ＩピクチャはＩスライスのみ、ＰピクチャはＩスライスとＰスライスとで構成され、ＢピクチャはＩスライスとＰスライスとＢスライスとで構成される。従って、ＭＰＥＧ−４／ＡＶＣのピクチャもＭＰＥＧ−２のピクチャもそれぞれ同じタイプのマクロブロックを含む事となるため、本実施形態では、ピクチャで説明することとする。

尚、実際のＭＰＥＧ−４／ＡＶＣではスライス単位で処理を行っていることから、スライス単位で本発明を実施してもよい。
＜動きベクトルの相違＞
ＭＰＥＧ−４／ＡＶＣとＭＰＥＧ−２との動きベクトルの相違は、参照画像選択の自由度の違いである。ＭＰＥＧ−４／ＡＶＣでは圧縮率を上げるために参照画像の選択の幅を広げている。

図２５は、ＭＰＥＧ−２の動きベクトル例を示したものであり、図２５（ａ）は、Ｐピクチャの例であり、図２５（ｂ）は、Ｂピクチャの例である。図２６は、ＭＰＥＧ−４／ＡＶＣの動きベクトル例を示したものであり、図２６（ａ）と図２６（ｂ）はＢピクチャの例である。これらの図において「Ｉ／Ｐ／Ｂ」等は、ＩピクチャまたはＰピクチャまたはＢピクチャ等を表すものとし、また、矢印は、参照ブロックの方から対象ブロックを指すものとする（図５等においても同様。）。

まず、Ｉピクチャは、時間方向の動き予測を行わずに自画面内だけで独立して符号化して得られることから、これらの規格間で変換は可能である。
ただし、ＭＰＥＧ−２のＩピクチャを構成するマクロブロックは、すべて自マクロブロックのみで符号化が可能である（非参照）が、ＭＰＥＧ−４／ＡＶＣのＩピクチャを構成するマクロブロックは、この非参照のマクロブロックのほかに、自画面内の他のマクロブロック（左上、上、右上、左）を参照して対象ブロックを符号化するマクロブロックがある（画面内予測）。

データ変換の際には、この画面内予測タイプのマクロブロックを非参照タイプのマクロブロックに変換する。この場合は対象のマクロブロックのみを符号化するだけでよいため、少ない処理時間で変換が可能である。
次に、Ｐピクチャ及びＢピクチャに関しては、規格間で大きく３つの相違点がある。
１つは、参照画像とすることができるピクチャの種類が異なることであり、２つは、参照画像とできるピクチャの時間的距離であり、３つは、時間的方向である。

ピクチャの種類で言えば、ＭＰＥＧ−２は、ＩピクチャまたはＰピクチャでなければならない（図２５（ａ）参照）が、ＭＰＥＧ−４／ＡＶＣでは、Ｂピクチャも参照画像とすることが可能である（図２６（ａ）参照）。
また、参照画像とできるピクチャの時間的距離としては、ＭＰＥＧ−２では、時間的に直近のピクチャに限られる。例えば、ＭＰＥＧ−２のＰピクチャは、「最も近い過去のＩピクチャあるいはＰピクチャ」を参照画像とする必要がある（図２５（ａ）参照）。

しかし、ＭＰＥＧ−４／ＡＶＣでは、Ｐピクチャの場合は、直近の１６枚分のピクチャを参照画像とすることが可能であり、例えば、Ｂピクチャは、過去、将来のそれぞれ１６枚分のピクチャを参照画像とすることが可能である（図２６（ａ）参照）。
さらに、時間的方向の制約としては、ＭＰＥＧ−２のＢピクチャでは、前方向及び後方に一枚ずつ参照画像を選択する必要がある。例えば、Ｂピクチャのブロックに対する動きベクトル２本のうち、１本は「時間順で最も近い過去のＰピクチャあるいはＩピクチャ」を参照画像とし、他の１本を「時間順で最も近い将来のＰピクチャあるいはＩピクチャ」を参照画像とする必要があった（図２５（ｂ）参照）。

しかし、ＭＰＥＧ−４／ＡＶＣでは、前方向から２枚、あるいは後方向から２枚を参照画像として選択することも可能である（図２６（ｂ）参照）。
これらの違いをマクロブロックタイプを基にまとめると、次のようになる。
尚、この表での「前方」とは、時間的に前方のピクチャを参照する前方参照を意味し、「後方」とは、時間的に後方のピクチャを参照する後方参照を意味するものとする。

本発明は、これらの相違をふまえ、動きベクトルを再利用し、データの変換を行っている。

以下、本発明の実施形態における動画像変換装置について、図面を用いて説明する。
＜機能＞
図１は、動画像変換装置の構成を示すブロック図である。
同図において動画像変換装置１００は、外部から入力されるＭＰＥＧ−４／ＡＶＣ形式の動画像をＭＰＥＧ−２形式の動画像に変換して出力する装置であって、復号部１０、符号化部２０及び動きベクトル構成部３０から構成される。

復号部１０はＭＰＥＧ−４／ＡＶＣ形式の動画像データを入力とし、復号する。また、復号部２０は、復号部１０で復号された動画像を入力とし、ＭＰＥＧ−２形式の動画像データに符号化する。
ここでの復号部１０は、各機能部は従来の復号装置と基本的に同じである。但し、本発明に特有の処理を行う為のデータの流れがあり（太線矢印）、これらについては、後述する動きベクトル構成部３０の説明において述べる。

符号化部２０は、従来の符号化部と比べ、動きベクトル探索を行う機能部がない点が特徴である。本発明が動きベクトルを再利用することを特徴とするため、従来のような動きベクトルの探索を行う必要がないからである。
その代わりに、動きベクトル構成部３０が新たに設けられている。
動きベクトル構成部３０は、ＭＰＥＧ−４／ＡＶＣ形式の動画像に含まれる動きベクトル等が再利用できるかどうかを判定し、判定結果に応じて動き補償予測部２８に再利用のためのデータや指示を送る。

以下、まず復号部１０及び符号化部２０の構成を簡単に説明し、続いて動きベクトル構成部３０について説明する。
＜復号部１０＞
復号部１０は、可変長復号部１１、逆量子化部１２、逆直交変換部１３、加算部１４、フレームメモリ１５及び動き補償部１６から構成される。

可変長復号部１１は、ＭＰＥＧ−４／ＡＶＣ形式により符号化された動画像の符号列が外部より入力されると、可変長復号を行い、ピクチャタイプ、マクロブロックタイプ、動き情報、量子化係数等を分離する。
逆量子化部１２及び逆直交変換部１３は、分離されたブロック毎の量子化係数に対して逆量子化及び逆直交変換を行ってブロック毎の画素データを得る。

加算部１４は、マクロブロックタイプが示す符号化の種類によって、ブロック毎の画素データをそのまま、あるいは動き補償部１６からの予測信号を加えて出力する。
フレームメモリ１５は、加算部１４からの出力のうち、参照画像として用いるための画面に相当する画素データを蓄積する。
動き補償部１６は、動き補償予測されたブロックについて、可変長復号部１１から得られる動き情報とフレームメモリ１５に蓄積された参照画像とから当該ブロックの予測信号を求め、その予測信号を加算部１４に出力する。

フレームメモリ１５に蓄積する画像データについては、後の＜復号部１０のフレームメモリ１５の内容＞で詳しく説明する。
＜符号化部２０＞
符号化部２０は、減算部２１、直交変換部２２、量子化部２３、逆量子化部２４、逆直交変換部２５、加算部２６、フレームメモリ２７、動き補償予測部２８及び可変長符号化部２９から構成される。

減算部２１は、加算部１４から入力されるブロックの画素データをそのまま、あるいは動き補償予測部２８からの予測信号との減算によって残差信号を出力する。
直交変換部２２及び量子化部２３は、減算部２１からのブロックデータを直交変換及び量子化して出力する。
逆量子化部２４、逆直交変換部２５及び加算部２７は、逆直交変換及び逆量子化及び予測信号の加算によりブロックの画素データを復元してフレームメモリ２７に出力する。

フレームメモリ２７は、復元されたブロックの画素データからなる参照画像を記憶保持する。
動き補償予測部２８は、動き補償予測の対象のブロックについて、予測信号及び動きベクトルを求め、予測信号を減算部２１と加算部２６とに出力し、動きベクトルを可変長符号化部２９へ出力する。

動き補償予測部２８が動きベクトルを求める際の処理方法は、一般的には、動き探索により参照画像上から動きベクトルを求める方法である。
しかし、本発明では、その他に、動きベクトル構成部３０により出力される動きベクトルをそのまま、あるいはその動きベクトルを基準とする周辺の画像を参照画像上から探索して求める方法によっても動きベクトルを求める。

可変長符号化部２９は、量子化部２３より出力されるブロックデータと動き補償予測部２８より出力される動きベクトル及びマクロブロックタイプを可変長符号化し、その結果のＭＰＥＧ−２形式の符号化列を出力する。
＜復号部１０のフレームメモリ１５の内容＞
次に、復号部１０のフレームメモリ１５に記憶されている参照画像について、図２７と図２８とを用いて説明する。

本実施形態では、動きベクトル構成部３０で、動きベクトルが再利用するか否かを判定するが、フレームメモリ１５は、その判定の際に必要な情報を記憶している。
図２７は、フレームメモリ１５に格納される画像の関係を示す図である。
図２７（ａ）は、ＧＯＰに含まれる複数のピクチャを表す図であり、図２７（ｂ）は、ピクチャの表示順を表す図であり、図２７（ｃ）は、フレームメモリを表す図である。

ＧＯＰ内のピクチャは、表示順ではなく、復号時に参照が可能な順に並んでいる。例えば、「B5」は「I1」「B3」を参照ピクチャとしているため、「I1」「B3」は「B5」より前に位置している（図２７（ａ）参照）が、表示は「B5」が「B3」より前である（図２７（ｂ）参照）などである。
このＧＯＰ内のピクチャ順で復号されて、所定数のピクチャがフレームメモリに格納される。

例えば、所定数が６である場合には、６つのピクチャがフレームメモリに格納され、表示順序が管理される。また、「B5」が対象ピクチャである場合には、他のピクチャに参照ピクチャ番号が昇順に振られる（図２７（ｂ）参照）。
フレームメモリに格納されたピクチャは、後続のピクチャから参照されるピクチャである「参照ピクチャ」と、後続のピクチャでは参照されないが表示されるべき順序に並べ替えて表示されるタイミングまで一時的に格納される「非参照ピクチャ」とに分類される。例えば、B5は非参照ピクチャで、「I1」と「B3」は参照ピクチャである（図２７（ｃ）参照）。

参照ピクチャは、参照されなくなれば、非参照ピクチャとなり、表示すべき順序で順次表示されていく。
ここでのピクチャは、図２４に示すような、復号された複数のマクロブロックで構成されており、これらの画像データのほか、管理用のデータも格納している。
図２８は、フレームメモリに格納されている参照ピクチャの管理用データの例を示す図である。

図２８（ａ）は、参照ピクチャリスト２８００の例を表す図である。
この参照ピクチャリスト２８００は、フレームメモリに格納されている参照ピクチャを管理するもので、フレームメモリに格納されているものとする。また、この参照ピクチャリスト２８００の内容は、ピクチャが表示されたり、新しいピクチャが格納された時点で、更新される。

参照ピクチャリスト２８００は、表示順序２８０１、ピクチャタイプ２８０２および格納アドレス２８０３で構成される。
表示順序２８０１は、対象ブロックが参照ピクチャ２３２１を特定するための識別番号である。例えば、図２７（ｂ）においては、「B5」に含まれるマクロブロックの参照ピクチャ２３２１は、「ref.idx0」が「1」、「ref.idx1」が「4」となる（図２３参照）。

この参照番号は、対象ピクチャを基準として、表示順に昇順で振られており、対象ブロックの前方のピクチャか後方のピクチャかがわかる、所定の法則で振られているものとする。尚、この方法は、図２７（ｂ）の方法に限られない。
ピクチャタイプ２８０２は、このピクチャの符号化タイプを表し、ピクチャデータのピクチャタイプ（図２３第３段目参照）が格納される。

アドレス２８０３は、画像データ（図２４参照）が格納されているフレームメモリ内のアドレスを表す。
図２８（ｂ）は、マクロブロックアドレスリスト２８２０の例を示す図である。
マクロブロックを特定するマクロブロック位置２８２１と、そのブロックの画像データが格納されているフレームメモリ１５内のアドレス２８２２とで構成される。通常、ピクチャの画像データは連続領域に格納されることから、格納アドレス２８０３があれば各マクロブロックのアドレスは求めることが可能であるが、本実施形態では、説明の便宜上、マクロブロックアドレスリスト２８２０を持っているものとする。

符号化部２０のフレームメモリ２７の内容もほぼ同じである。異なるのは、ピクチャタイプ２８０２を記憶していない点である。符号化においては、不要だからである。
＜動きベクトル構成部３０＞
動きベクトル構成部３０は、判定部３１、プログラム記憶部３２及び予測制御部３３から構成される。

プログラム記憶部３２は、動き補償予測部２８の処理方法を決定するためのプログラムを予め記憶する。
判定部３１は、プログラム記憶部３２に記憶されているプログラムを実行することにより、動き補償予測部２８に行わせるべき処理方法を決定し、決定した処理方法に応じた指示を予測制御部３３に行わせる。予測制御部３３は、決定された処理方法に応じて動き補償予測部２８に指示を与える。

より具体的に言うと、判定部３１は、動き情報２３２０を可変長復号部１１から受信し、その中の動きベクトル２３２２（図２３参照）と、参照ピクチャ２３２１のピクチャタイプ２８０２（図２８参照）とを基に、新しい動き情報を作成し、符号化部１０は、この新しい動き情報で符号化処理を行う。
ピクチャタイプ２８０２は、可変長復号部１１から送られてフレームメモリ１５に一旦格納されていたものから、該当するピクチャのピクチャタイプを取得する。

以下に動きベクトル構成部３０の処理を詳しく説明する。
図２〜４は、プログラム記憶部３２に記憶されるプログラムの手順を示すフローチャートである。各図中のＡ〜Ｅの記号は、結合子であり、図面間の同じ記号の結合子どうしが結合して１つのフローチャートを表している。
プログラムの内容は、簡単には、ステップ（１）：ＭＰＥＧ−４／ＡＶＣ形式の動画像におけるマクロブロックと、それに対応する参照画像との組み合わせの関係を特定し、ステップ（２）：その関係がＭＰＥＧ−２形式で規定されている関係についての条件に適合するかどうかを判定し、ステップ（３）：判定結果に応じて動き補償予測部２８に行わせるべき処理方法を決定する、というものである。図面との対応は、上記（１）が図２全体に対応し、上記（２）が図３のステップＳ３０１〜Ｓ３０４及び図４のステップＳ４０１〜Ｓ４０４に対応し、上記（３）が図３のステップＳ３０５〜Ｓ３１２及び図４のステップＳ４０５〜Ｓ４１０に対応する。

ＡＵデリミタ（Access Unit Delimiter）とは、ピクチャの先頭に付されて、先頭位置を示すものである。このＡＵデリミタには、そのピクチャに含まれるスライスのスライスタイプを示す情報であるprimary_pic_typeが含まれる。これを利用して、判定部３１は、可変長復号されたデータの中に、ＡＵデリミタが存在する場合には、それに含まれるprimary_pic_typeを取得し、primary_pic_typeが示すスライスタイプからピクチャタイプを特定する。

スライスタイプは、スライス内のマクロブロックの符号化モードを限定するものである。より詳しくは、Ｐスライスは、画面内符号化及び参照ピクチャ１枚を用いた画面間予測符号化を行うスライスである。Ｂスライスは、画面内符号化及び参照ピクチャを１枚又は２枚用いた画面間予測符号化を行うスライスである。Ｉスライスは、画面内符号化のみを行うスライスである。ＭＰＥＧ−４／ＡＶＣでは、スライス毎にスライスの種類を示すスライスタイプが付され、１つのピクチャ内に単一又は複数のスライスタイプが含まれる。そこで、判定部３１は、ピクチャ内の全てのスライスが同一のスライスタイプであれば、そのスライスタイプをピクチャタイプとする。例えば、すべてのスライスがＰスライスであれば、そのピクチャをＰピクチャと特定し、すべてのスライスがＩスライスであれば、そのピクチャをＩピクチャと特定する。

ピクチャに複数のスライスが混在する場合には、判定部３１は、Ｂスライスが含まれている場合にはＢピクチャと特定し、Ｂスライスが含まれずにＰスライスが含まれている場合にはＰピクチャと特定する。例えば、ピクチャにＩ、Ｐ、Ｂスライスが含まれている場合、判定部３１は、Ｂスライスが含まれていることにより、Ｂピクチャと特定する。Ｉ、Ｐスライスが含まれており、Ｂスライスが含まれていない場合には、Ｐスライスが含まれていることによりＰピクチャと特定する。

ピクチャタイプの特定は、上記の方法に限らない。例えば、判定部３１は、可変長復号部１１により分離される各種データのうち、ピクチャ内の各スライスからスライスタイプを取得して取得されたスライスタイプからピクチャタイプを特定してもよい。このとき、ピクチャ内の全てのスライスタイプを取得する必要はなく、ピクチャ内のスライスタイプを順次取得する過程で１つでもＢスライスがあれば、Ｂピクチャと特定するよう構成してもよい。

このようにしてピクチャタイプを特定すると、次に判定部３１は、ステップＳ２０２、Ｓ２０５、Ｓ２０６において、可変長復号により分離された符号化情報から、対象ブロックのマクロブロック２３００（図２３参照）を取得し、マクロブロックタイプ２３１０あるいはサブマクロブロックタイプを取得してそれらに示されている予測モードを判断する。

ピクチャの先頭でピクチャタイプを判断したら、その後はＡＵデリミタが現れるまで、そのピクチャタイプの特定は行わない。
まず、対象ブロックがＰピクチャであるか否か（ステップＳ２０１）、Ｂピクチャであるか否か（ステップＳ２０４）を判断し、対象ブロックが含まれるピクチャのピクチャタイプ「Ｉ／Ｐ／Ｂ」を振り分ける。

Ｉピクチャである場合には（ステップＳ２０４：ＮＯ）、再利用する動きベクトルは存在しないため、動きベクトルを利用しない処理に移る（Ｄ）
Ｐピクチャである場合（ステップＳ２０１：ＹＥＳ）には、予測モードが画面間予測であるか否か（ステップＳ２０２）を判断し、画面間予測であれば（ステップＳ２０２：ＹＥＳ）、フレームメモリ１５から動きベクトルの参照画像の取得を行う（ステップＳ２０３）。

ここで、参照画像の取得は、マクロブロック２３００の参照ピクチャ２３２１に対応する表示順序２８０１の格納アドレス２８０３（図２８参照）から画面データを取得することで行う。また、同時に参照ピクチャリスト２８００も取得する。
画面内予測か非参照であれば（ステップＳ２０２：ＮＯ）、再利用する動きベクトルは存在しないため、動きベクトルを利用しない処理に移る（Ｄ）。

Ｂピクチャである場合には（ステップＳ２０４：ＹＥＳ）、予測モードが画面間予測であるか否か（ステップＳ２０５）を判断し、画面間予測である場合には、さらに、１方向参照か否か（２方向参照）（ステップＳ２０６）を判断し、それぞれ動きベクトルの参照画像の取得を行なう（ステップＳ２０７、ステップＳ２０８）。
以下、ピクチャタイプごとに説明する。

（Ｐピクチャの場合）
まず、Ｐピクチャの場合（Ａ）について説明する（図３参照）。
ステップＳ３０１において判定部３１は、Ｐピクチャの対象ブロックと参照画像との関係がＭＰＥＧ−２形式の規定に適合するかどうかを判定する。
ここにおいて、Ｐピクチャのブロックと参照画像についてのＭＰＥＧ−２の規定は、「参照画像が、対象ブロックのピクチャから時間順で最も近い過去のＰピクチャあるいはＩピクチャであること」である。

すなわち、ステップＳ２０３でフレームメモリから取得した参照ピクチャリスト２８００を参照し、該当する参照画像のピクチャタイプ２８０２が「Ｐ／Ｉ」であれば適合すると判断する。
また、該当する参照画像の表示順序２８０１より小さい番号のピクチャタイプ２８０２がすべて「Ｂ」であれば、時間的に最も近いと判断する。例えば、図２７（ｂ）において、参照画像の参照ピクチャ番号が「1」の場合、参照ピクチャ番号「0」のピクチャタイプ、すなわち、表示順序２８０１が「3」のピクチャタイプ２８０２が「B」であれば、時間的に最も近いと判断される。

このピクチャタイプ２８０２を参照してピクチャタイプの適合を判断する方法と、表示順序２８０３から時間的にもっとも近い判断する方法は、以下の適合判定においても同じである。
判定の結果、適合する場合は、参照可能であると判断し（ステップＳ３０２：ＹＥＳ）、動きベクトル等をＭＰＥＧ−２の符号化に利用するために、ステップＳ３０５に進む。

適合せずに参照不可能と判断した場合は（ステップＳ３０２：ＮＯ）、動きベクトルを利用しない処理（ステップ３０９）に進む。
（Ｂピクチャ：１方向参照）
次に、Ｂピクチャで、１方向参照の場合（Ｂ）について説明する（図３参照）。
ステップＳ３０３において判定部３１は、Ｂピクチャの対象ブロックと１方向参照の参照画像との関係について、ＭＰＥＧ−２の条件に適合するかどうかを判定する。ここにおいて、Ｂピクチャのマクロブロックと１枚の参照画像についてのＭＰＥＧ−２の規定は、「参照画像が、対象ブロックのピクチャから時間順で最も近い過去のＰピクチャ又はＩピクチャであること」である。

判定の結果、適合する場合は、参照可能であると判断し（ステップＳ３０４：ＹＥＳ）、動きベクトル等ＭＰＥＧ−２の符号化に利用するために、ステップＳ３０７に進む。
適合せずに参照不可能と判断した場合は（ステップＳ３０４：ＮＯ）、動きベクトルを利用しない処理（ステップ３０９）に進む。
（Ｂピクチャ：２方向参照）
次に、Ｂピクチャで、２方向参照の場合（Ｃ）について説明する（図４参照）。

ステップＳ４０１において判定部３１は、Ｂピクチャの対象ブロックと２方向参照の参照画像との関係について、ＭＰＥＧ−２の条件に適合するかどうかを判定する。ここにおいて、Ｂピクチャのブロックと２枚の参照画像についてのＭＰＥＧ−２の規定は、「２枚参照画像のうち、一方の参照画像が、対象ブロックのピクチャから時間順で最も近い過去のＰピクチャあるいはＩピクチャであり、他方の参照画像が、対象ブロックのピクチャから時間順で最も近い将来のＰピクチャあるいはＩピクチャであること」である。

この判定において判定部３１は、以下に示すように、判定の結果をステップＳ４０２、Ｓ４０３、Ｓ４０４及びその他（Ｅ）の４種類に分類する。
まず1つ目は、１つ参照画像のみが、最も近い過去または将来のＩ／Ｐピクチャである。
２つ目は、２つの参照画像ともに、最も近い過去または将来のＩ／またはＰピクチャである。

また、３つ目は、１つが最も近い過去のＩ／Ｐピクチャで、１つが最も近い将来のＩ／Ｐピクチャである。
４つ目は、その他、すなわち、２つの参照画像ともに適合しない場合である。
ステップＳ４０２において、２枚の参照画像のうち１枚がＭＰＥＧ−２の規定に適合すると判定した場合、ステップＳ４０５に処理を進める。

ステップＳ４０３において、２枚の参照画像のどちらもＭＰＥＧ−２の規定に適合し、かつ、２枚とも前方参照又は２枚とも後方参照である場合、判定部３１は、ステップＳ４０７に処理を進める。
ステップＳ４０４において、２枚の参照画像のどちらもＭＰＥＧ−２の規定に適合し、かつ、一方の参照画像が前方参照で他方の参照画像が後方参照である場合、判定部３１は、ステップＳ４０９に処理を進める。

その他（ステップＳ４０４：ＮＯ）の場合は、（Ｅ）へ進む。
（ステップ（３））
最後に、判定部は、ステップ（２）における判定結果に応じて、動き補償予測部２８に行わせるべき処理方法を決定し、決定に応じて予測制御部３３が動き補償予測部２８に処理方法を指示する。

以下、ピクチャタイプごとに説明する。
（Ｐピクチャ）
ＭＰＥＧ−４／ＡＶＣにおけるＰピクチャの対象ブロックに対する参照画像が、対象ブロックのピクチャから時間順で最も近い過去のＰピクチャあるいはＩピクチャである場合には、判定部３１は、動き補償予測部２８に、その動きベクトルを再利用させることを決定する（ステップＳ３０５）。再利用とはつまり、動き補償予測部２８が、参照画像から動き探索によって動きベクトルを探索する代わりに、ＭＰＥＧ−４／ＡＶＣの動きベクトルをＭＰＥＧ−２の動きベクトルとしてそのまま利用して符号化することを意味する。

この場合、判定部３１は、ＭＰＥＧ−４／ＡＶＣにおけるマクロブロックタイプ（画面間参照）を、ＭＰＥＧ−２でも維持することを決定する（ステップＳ３０６、図５参照）。
（Ｂピクチャ：１方向参照）
また、ＭＰＥＧ−４／ＡＶＣにおけるＢピクチャのブロックに対する１枚の参照画像が、対象ブロックのピクチャから時間順で最も近い過去又は将来のＰピクチャ又はＩピクチャである場合には、判定部３１は、動き補償予測部２８に、その動きベクトルを再利用させることを決定する（ステップＳ３０７）。

この場合、判定部３１は、ＭＰＥＧ−４／ＡＶＣにおけるマクロブロックタイプ（一方向参照）を、ＭＰＥＧ−２でも維持することを決定する（ステップＳ３０８、図５参照）。
（Ｂピクチャ：２方向参照）
また、ＭＰＥＧ−４／ＡＶＣにおけるＢピクチャのブロックに対する２枚の参照画像のうちの１枚のみが、対象ブロックのピクチャから時間順で最も近い過去又は未来のＰピクチャあるいはＩピクチャである場合には、判定部３１は、動き補償予測部２８に、その動きベクトルを再利用させることを決定する（ステップＳ４０５）。

この場合、判定部３１は、ＭＰＥＧ−２におけるマクロブロックタイプを１方向参照にすることを決定する（ステップＳ４０６、図９参照）。
また、ＭＰＥＧ−４／ＡＶＣにおけるＢピクチャのブロックに対する２枚の参照画像がいずれも、対象ブロックのピクチャから時間順で最も近い過去又は未来のＰピクチャあるいはＩピクチャである場合であって、参照方向がどちらも前方参照か又はどちらも後方参照である場合には、判定部３１は、どちらか１つの動きベクトルを選択し、それを再利用させることを決定する（ステップＳ４０７）。

動きベクトルの選択は、例えば、対応するブロックの残差信号の値が小さい方を選択するよう構成してもよいし、動きベクトルが小さい方を選択するよう構成してもよい。
この場合、判定部３１は、ＭＰＥＧ−２におけるマクロブロックタイプを１方向参照にすることを決定する（ステップＳ４０８、図１０参照）。
また、ＭＰＥＧ−４／ＡＶＣにおけるＢピクチャのブロックに対する２枚の参照画像がいずれも、対象ブロックのピクチャから時間順で最も近い過去又は未来のＰピクチャあるいはＩピクチャである場合であって、一方が前方参照で他方が後方参照である場合には、判定部３１は、２つの動きベクトルを再利用させることを決定する（ステップＳ４０９）。

この場合、判定部３１は、ＭＰＥＧ−４／ＡＶＣにおけるマクロブロックタイプ（両方向参照）を、ＭＰＥＧ−２でも維持することを決定する（ステップＳ４１０、図７参照）。
なお、Ｂピクチャの対象ブロックに対する参照画像が、ＭＰＥＧ−２の規定に適合しない場合には、判定部３１は、対象ブロックの動きベクトルを利用しないことを決定し、ＭＰＥＧ−２におけるマクロブロックタイプを画面間参照なしにする（ステップＳ３０９、Ｓ３１０、図６および図８参照）。

（Ｉピクチャ）
Ｉピクチャの対象ブロック、及び、Ｐ／Ｂピクチャにおける非参照、画面内予測の対象ブロックについては、判定部３１は、動きベクトルを利用しないことを決定（ステップＳ３１１）し、またＭＰＥＧ−４／ＡＶＣのマクロブロックタイプ（画面間参照なし）をＭＰＥＧ−２でも維持することを決定する（ステップＳ３１２）。

予測制御部３３は、判定部３１の決定に応じて、動き補償予測部２８に、動きベクトル、マクロブロックタイプ、どの画像を参照画像とするかを示す情報等を送り、それらを利用して符号化を行うよう指示する。
具体的には、動きベクトルを再使用できる場合には、動き情報２３２０を、動き補償予測部２８に送信し、再使用できない場合は、その旨を通知することになる。
（動作例）
次に、マクロブロックと参照画像との関係を示す例の図をあげて、動作を説明する。

ある動画像を本発明にかかる変換装置で変換した場合の入力となる画像を図（ａ）に、出力となる画像を図（ｂ）に示す。
図（ａ）、図（ｂ）ともに、同じ動画像が左から右へ表示順に並ぶものとする。図（ａ）は、対象ブロックについての、ＭＰＥＧ−４／ＡＶＣ形式における参照ブロックとの関係を示しており、図（ｂ）は、図（ａ）と同じ対象ブロックについての変換後のＭＰＥＧ−２形式における参照画像との関係を示している。図５〜図２２まで、同様である。

まず、典型的なパターンを、図５〜図１０を用いて説明する。
図５は、1方向参照の場合の、動きベクトル利用のケースである。
このケースは、Ｐピクチャの場合と、Ｂピクチャの1方向参照の場合が該当する。
図５（ａ）において、右方のＰピクチャの対象ブロックは（ステップＳ２０１；ＹＥＳ）、前方参照の画面間予測により（ステップＳ２０２；ＹＥＳ）、左方のＩピクチャを参照画像として、その参照ブロックを参照しており、この参照関係は、ＭＰＥＧ−２の規定に適合する（ステップＳ３０２；ＹＥＳ）。このときの動きベクトルはＭＶ１である。

この場合、符号化部２０の動き補償予測部２８は、予測制御部３３からの指示に従って、Ｐピクチャの対象ブロックに対し、図５（ｂ）に示すように図５（ａ）と同じ動きベクトルＭＶ１をそのまま利用して、それを動き探索により得られる動きベクトルの代わりに用いて符号化し、またマクロブロックタイプを画面間参照とする。
図６は、マクロブロックタイプの変更を伴う、動きベクトル利用不可のケースである。

このケースは、Ｐピクチャの場合と、Ｂピクチャの1方向参照の場合が該当する。
図７は、２方向参照の場合の、動きベクトル利用のケースである。
このケースは、Ｂピクチャの２方向参照の場合が該当する。
図７（ａ）においては、対象ブロックのピクチャがＢピクチャであって（ステップＳ２０４；ＹＥＳ）、両方向参照の画面間予測をし（ステップＳ２０５；ＹＥＳ、ステップＳ２０６；ＮＯ）、どちらの参照画像もＭＰＥＧ−２の規定において参照可能である（ステップＳ４０４；ＹＥＳ）。よって図７（ｂ）に示すように２つの動きベクトルＭＶ１、ＭＶ２を利用し（ステップＳ４０９）、マクロブロックタイプを両方向参照とする（ステップＳ４１０）。

図８は、２方向参照の場合の、２つの動きベクトル利用不可のケースである。
このケースは、Ｂピクチャの２方向参照の場合が該当する。
図８（ａ）においては、Ｂピクチャにある対象ブロックは、２つのＢピクチャを参照するが、ＭＰＥＧ−２ではＢピクチャを参照画像とすることはできない（ステップＳ２０４→Ｓ２０５→Ｓ２０６→Ｓ２０８→Ｓ４０１→Ｓ４０２→Ｓ４０３→Ｓ４０４；ＮＯ）。

よって動き補償予測部２８は、同図（ｂ）に示すように、同図（ａ）における動きベクトルを利用せず、マクロブロックタイプを画面間参照なしとして符号化する（ステップＳ３０９、Ｓ３１０）。
図９は、マクロブロックタイプの変更を伴う、動きベクトル利用のケースである。
このケースは、Ｂピクチャの２方向参照の場合が該当する。

図９（ａ）においては、Ｂピクチャにある対象ブロックは、ＩピクチャとＢピクチャを参照する。ＭＰＥＧ−２においてはＩピクチャの参照は許されるが、Ｂピクチャの参照は許されない（ステップＳ２０４→Ｓ２０５→Ｓ２０６→Ｓ２０８→Ｓ４０１→Ｓ４０２；ＹＥＳ）。
よって動き補償予測部２８は、同図（ｂ）に示すように、Ｉピクチャを参照する動きベクトルＭＶ１を利用し、マクロブロックタイプを１方向の画面間参照とする（ステップＳ３０５、Ｓ３０６）。

図１０は、マクロブロックタイプの変更を伴う、一部の動きベクトル利用不可のケースである。
このケースは、Ｂピクチャの２方向参照の場合が該当する。
図１０（ａ）においては、Ｂピクチャにある対象ブロックは、前方のＩピクチャにある２つの参照ブロック１及び２を参照する。ＭＰＥＧ−２においては、前方の２つの画像を参照すること、あるいは、後方の２つの画像を参照することは許されていない（ステップＳ２０４→Ｓ２０５→Ｓ２０６→Ｓ２０８→Ｓ４０１→Ｓ４０２→Ｓ４０３；ＹＥＳ）。

よって動き補償予測部２８は、図１０（ｂ）に示すように、２つの動きベクトルＭＶ１、ＭＶ２のうちの一方であるＭＶ１を選択して再利用し、マクロブロックタイプを前２方向参照から前方向参照に替えて符号化する（ステップＳ４０７、Ｓ４０８）。
＜変形例１＞
実施形態１では、動きベクトルの再利用に関して、典型的なパターンを説明したが、動きベクトルの再利用が可能な場合であっても、まったくそのままでは利用できない場合や、そのまま利用しない方がよい場合がある。

前者のそのまま利用できない場合の例を図１１を用いて説明し、後者のそのまま利用しない方がよい場合の例を図１２を用いて説明する。
まず、そのまま利用できない場合としては、画素精度の問題があげられる。
すなわち、ＭＰＥＧ−４／ＡＶＣでは、画素精度が１／４であり、ＭＰＥＧ−２では１／２であるからである。

図１１（ａ）は図９（ａ）と同じ状況であり、Ｂピクチャの２つのベクトルのうち、1つのみを再利用するケースであるが、この例に限られないのはもちろんである。
ここでＭＰＥＧ−４／ＡＶＣでは動きベクトルの画素精度が１／４であり、ＭＰＥＧ−２では画素精度が１／２である。よって、動き補償予測部２８は、図１１（ｂ）に示すように、図１１（ａ）の動きベクトルＭＶ１が１／４画素単位で指定されていたら、動きベクトルＭＶ１を１／２精度に丸める補正を行い、その結果得られる動きベクトルＭＶ３を利用して符号化する。この処理は、動きベクトル構成部３０で行い、新しい動きベクトルを動き補償予測部２８に送信する。または、動き補償予測部２８で、行うこととしてもよい。

次に、そのまま利用しない方がよい場合としては、マクロブロックタイプが変更される場合があげられる。
図１２（ａ）は図９（ａ）と同じ状況であり、Ｂピクチャの２つのベクトルのうち、1つのみを再利用するケースであり、マクロブロックタイプが変更となるケースである。
２方向参照の場合、２つの参照ブロック（参照ブロック１および参照ブロック２）の平均をとることで最適な予測画像を得るようになっている。すなわち、少ないデータ量である画面間予測誤差２３３０（図２３参照）を得ることができる。

しかし、１つの参照ブロックとすることで、予測画像が変わり、予測画像からの誤差が予想以上に大きくなってしまう可能性がある。
誤差が大きくなる可能性がある場合には、動きベクトルを再度探索し最適な新しい動きベクトルを得る方がよいが、動きベクトル探索の処理量が多いという欠点がある。
そこで、再利用しようとする動きベクトル（MV1）の参照ブロックの近傍のみを再探索範囲とすることで、最適な新しい動きベクトルを得るとともに、処理時間を大幅に短縮することができるようになる。

図１２（ｂ）に示すように、参照画像上のＭＶ１が指す参照ブロック１の位置を基準とする所定の範囲を再探索することにより、他の動きベクトルＭＶ３を検出し、その動きベクトルＭＶ３を利用して符号化する。
より詳しくは、動き補償予測部２８は、参照ブロック１の座標位置を中心としてｘ及びｙ方向に例えば±３０画素の探索範囲を広げ、その探索範囲の中から動き探索により予測誤差がより小さいブロックを検出し、そのブロックを指す動きベクトルをＭＶ３とする。

動きベクトル構成部３０は、参照画像と参照ブロックを指定し、参照ブロックの近傍の再検索を行う旨の指示を動き補償予測部２８に出すことになる。
動きベクトルの探索範囲に含まれる参照ブロックのデータの求め方として、例えば、動きベクトル構成部３０で、次のように求めることも可能である。
図２９は、対象ブロックと、その近傍のマクロブロックを表す図である。ここで、例えば、探索範囲１に含まれるマクロブロックのデータは、（２，２）、（２，３）等の８つと対象ブロック（３，３）である。

マクロブロックのデータは、フレームメモリ２７のマクロブロックアドレスリスト２８２０を参照することで、容易に得ることができる。例えば、マクロブロック位置２８２１が「（０，２）」であれば、アドレス２８２２「addr02」から１ブロック分のデータを読込めばよい。
同様に、探索範囲２の場合も、その範囲が含まれるマクロブロック（１，１）等を読込む。

＜変形例２＞
ここでは、実施形態１で動きベクトルの再利用が不可と判断される場合であっても、その動きベクトルの参照ブロックを変えることで、再利用を可能とする場合を説明する。
参照ブロックを変えることで、予測誤差が増えることが考えられるが、動きベクトルの再探索処理を行う必要がないという利点がある。

図１３（ａ）は、図９（ａ）と同じ状況である。
図９（ｂ）では、動きベクトル「ＭＶ２」を捨てて、動きベクトル「ＭＶ１」だけを利用して符号化している。
これに対し、図１３（ｂ）に示すように、動きベクトル「ＭＶ２」の代わりに動きベクトル「ＭＶ３」を利用して符号化してもよい。

動きベクトル「ＭＶ３」は動きベクトル「ＭＶ２」と同じ空間座標を指す同じ値であるが、指している参照画像が、元の参照画像と時間的に近いIピクチャまたはＰピクチャである点が異なる。
時間的に近い画像は、画像の画素値が類似している可能性が高いからである。
動き補償予測部２８は、参照画像３を、対象ブロックとの関係がＭＰＥＧ−２の規定に適合する画像の中から選択する。この処理は、動きベクトル構成部３０で行うこととしてもよい。

参照ブロック３は、対象ブロックとの誤差が大きくなる可能性があるので、参照ブロック３の周辺の所定範囲を探索して、誤差が小さい参照ブロックを見つけるように構成してもよい（後述の図２１参照）。
＜実施形態２＞
実施形態１では、フレームの例を扱ってきたが、図１４〜１６のようにフィールド構造に適用してもよい。

フィールドとは、１枚のフレーム（画面）を２つに分けたものであり、奇数番目の走査線の集合であるＴｏｐフィールドと、偶数番目の走査線の集合であるＢｏｔｔｏｍフィールドの２つである。
例えば、通常のテレビでは、ＴｏｐフィールドとＢｏｔｔｏｍフィールドを交互に表示する方式が採用されており、インターレース方式と呼ばれている。

このような画面構造の場合、１枚のフィールドを１枚のフレームのように扱って、符号化を行うことが可能である。
すなわち、フィールドをフレームに置き換えて、実施形態１で説明したようなデータ形式の変換、すなわち、高圧縮の符号化方式で作成された動画像データをＭＰＥＧ−２のデータに変換することが可能になる。

ここで、ＭＰＥＧ−２規格の仕様をみてみると、Ｐピクチャ、Ｉピクチャともに、自フィールド双方から、参照画像の双方のフィールドを参照することが可能である。加えて、Ｉピクチャの場合は、ＢｏｔｔｏｍフィールドのマクロブロックはＴｏｐフィールドを参照できることとなっている。
詳細には、ＭＰＥＧ−２のフィールド構造において、参照画像として認められるのは、符号化対象のピクチャがIピクチャの場合は、Ｔｏｐフィールドは参照不可、Ｂｏｔｔｏｍフィールドに限りトップフィールドを参照可能であり、Pピクチャの場合は、Ｔｏｐフィールド、Ｂｏｔｔｏｍフィールドとも時間順で最も近い過去のPピクチャあるいはIピクチャの両フィールドを参照可能であり、Ｂピクチャの場合は、Ｔｏｐフィールド、Ｂｏｔｔｏｍフィールドとも、１つは時間順で最も近い過去のＰピクチャあるいはＩピクチャの両フィールドを参照可能、１つは時間順で最も近い将来のＰピクチャあるいはＩピクチャの両フィールドを参照可能である。この制約は、ＭＰＥＧ−４でも同様である。

従って、現在のＭＰＥＧ−４／ＡＶＣと同様な制限で、参照画像のフレーム参照を可能とするような規格においては、実施形態１と同様な変換が可能となる。
例えば、図１４の例では、参照画像が「Ｉピクチャのボトムフィールド」と「Ｂピクチャのトップフィールド」であり、ＭＰＥＧ−２の参照画像としては、前者だけが参照可能である。よって、マクロブロックタイプを１方向参照に変更することで前者を参照画像として動きベクトルを再利用することが可能となる。

現在、ＭＰＥＧ−２規格では、ＭＰＥＧ−４／ＡＶＣ規格においてほど自由な、フレーム間の参照はサポートされていないが、将来サポートされる場合が考えられる。
というのは、ＭＰＥＧ−２、ＭＰＥＧ−４以降に登場する動画像符号化方式では、ＭＰＥＧ−４／ＡＶＣのように、圧縮率を上げるために参照画像の自由度が上がる傾向になることが予想されるからである。

予想される符号化方式の１つとして、現在のＭＰＥＧ−２規格に加えて、ＢピクチャのＢｏｔｔｏｍフィールドは同フレームのＴｏｐフィールドを参照できるが、ＭＰＥＧ２と同様、他のＢピクチャを参照できない、といった方式が考えられる。
すなわち、この方式は、ＭＰＥＧ−２の参照画像の制約よりは自由度を高くし、ＭＰＥＧ−４／ＡＶＣの制約よりは自由度の低い、動画像符号化方式といえるものである。

ＭＰＥＧ−４／ＡＶＣのように、参照画像の候補を最大１６フレーム（３２ピクチャ）まで可能とすると、復号時に参照画像をメモリに残しておく必要があるため、デコーダに要求されるメモリ量が多くなるなど、負荷がかかるようになるためである。
ＭＰＥＧ−４／ＡＶＣから、このような参照画像の制約を持つ動画像符号化方式への変換の方法について図１５に示す。

図１５の例は、参照画像がＢピクチャであるので、動きベクトルは利用せずに、同一フレーム内のフィールド参照のみを再利用する例である。
ＭＰＥＧ−２のような制約を持つ符号化方式Ａでは、対象画面がＢピクチャであるので、いずれの動きベクトルも再利用はできないが、「ＢピクチャのＢｏｔｔｏｍフィールドは同フレームのＴｏｐフィールドを参照できる」という制約を持つ符号化方式Ｂでは、同一フレーム内のフィールド参照の動きベクトルは再利用が可能となる。

図１５では、予想される符号化形式の１つとして、ＭＰＥＧ−２の参照画像の制約に加えて、同フレーム内であれば参照可能という符号化方式を想定して説明を行ったが、他のいかなる参照画像を持つ符号化方式においても、同様の説明が成り立つ。
例えば、上述した予想される符号化形式の１つ（符号化方式Ｂ）で符号化された動画像から、ＭＰＥＧ−２に変換する際にも同様のことが考えられる。この場合の例として、図１６に示すように２つの動きベクトルのうち、１つの動きベクトルだけが再利用可能となる。ＭＰＥＧ−２では、Ｂピクチャの同フレーム内参照はできないためである。図１６（ａ）は、上記符号化方式Ｂでの動きベクトルを表し、図１６（ｂ）は、ＭＰＥＧ−２での動きベクトルを表す。
＜実施形態３＞
実施形態１では、ＭＰＥＧ−４／ＡＶＣ形式のデータ内に存在する動きベクトルの再利用について説明したが、本実施形態では、データ内に存在しないが、マクロブロックを復号する際に動的に求められる動きベクトルを再利用する場合について説明する。

ＭＰＥＧ−４／ＡＶＣでは、動きベクトルがなくても参照画像を参照することができるダイレクトモードが定義されている。
ダイレクトモードは、圧縮効率を上げる為に設けられたものであり、動き情報を他のブロックの動き情報から予測生成する符号化モードである。すなわち、動き情報に関するデータの量を減らすことができる。

ＭＰＥＧ−２では、ダイレクトモードがサポートされておらず、ＭＰＥＧ−４／ＡＶＣからの変換において、再利用する動きベクトルがないので参照画像を参照させることができない。
本実施形態は、ＭＰＥＧ−４／ＡＶＣの復号時に算出した仮想的な動きベクトルをＭＰＥＧ−２の動きベクトルとして利用するものである。すなわち、ＭＰＥＧ−４／ＡＶＣでは存在していなかった動きベクトルを算出してＭＰＥＧ−２で付加することとなる。

ダイレクトモードには２種類あり、それぞれに図１７と図１８を用いて説明する。
図１７を用いて、１つ目のダイレクトモードの動き情報生成について説明する。
１つ目のダイレクトモードは、周辺位置のマクロブロックの動きベクトル情報を利用して、対象となるマクロブロックの動きベクトルを仮想的に求めるスペーシャルダイレクトモードである。

スペーシャルダイレクトモードは、基本的に、対象ブロックの左側のマクロブロック１７０１と上のマクロブロック１７０２と右上のマクロブロック１７０３との３つのマクロブロックを利用して予測を行う。
予測の方法は、これら３つのマクロブロック（１７０１、１７０２、１７０３）の動きベクトルの中で、時間的に最も近い過去の参照画像を指す動きベクトルと、時間的に最も近い将来の動きベクトルとを選択し、対象ブロックの仮想動きベクトルとして予測する。対象ブロックは、２方向参照となる。

図１７（ａ）では、３つのマクロブロックの動きベクトルは、それぞれに、マクロブロック１７０１は「ＭＶ５」、マクロブロック１７０２は「ＭＶ１」、マクロブロック１７０３は「ＭＶ２」となる。
その中で、時間的に最も近い過去の参照画像を指す動きベクトル「ＭＶ１」と、時間的に最も近い将来の動きベクトル「ＭＶ２」とを選択し、そのまま対象ブロックの動きベクトルとする。

例えば、対象ブロックの動きベクトルは、「ＭＶ３」と「ＭＶ４」とになる（図１７（ｂ）参照）。
「ＭＶ３」はベクトルとしての値は「ＭＶ１」と同じで、「ＭＶ４」も「ＭＶ２」と同じである。また、参照画像は「ＭＶ１」「ＭＶ２」と同じ参照画像１と参照画像２である。参照画像と動きベクトルから、参照ブロック１と参照ブロック２が定まることになる。

次に、図１８を用いて、２つ目のダイレクトモードの動き情報生成について説明する。
２つ目のダイレクトモードは、周辺時間のマクロブロックの動き情報を利用して、対象ブロックの動きベクトルを仮想的に求めるテンポラルダイレクトモードである。
テンポラルダイレクトモードは、基本的に、時間的に最も近い将来の参照画像（参照画像２）において、対象ブロックと同じ位置のマクロブロック１８０１を指す動きベクトルから、対象のマクロブロックに対する動きベクトルを推測して、対象ブロックの仮想動きベクトルを求める。対象ブロックは、２方向参照となる。

仮想動きベクトルの求め方は、マクロブロック１８０１の動きベクトル「ＭＶ１」を参照画像１〜参照画像２の時間間隔と参照画像１〜対象画像の時間間隔との比から、「ＭＶ２」と「ＭＶ３」を求める。
この求めた「ＭＶ２」と「ＭＶ３」を、対象ブロックの動きベクトルとする。この場合、「ＭＶ２」の参照ブロックは、マクロブロック１８０２と同じ参照画像１の参照ブロック１となり、「ＭＶ３」の参照ブロックは、マクロブロック１８０１と同じ参照画像２の参照ブロック２となる。
＜実施形態４＞
本実施形態では、動きベクトルを再利用する場合、動きベクトルの参照画像のタイプ「Ｉ／Ｐ」と、時間方向の要件は満たしているが、参照ブロックの画面での位置の要件が満たされていない場合について、図１９と図２０を用いて説明する。

ＭＰＥＧ−４／ＡＶＣでは、参照画像の考え方が画面外まで拡張されているので、動きベクトルが画面外にはみ出したマクロブロックを参照していてもよい。例えば、図１９の参照画像１のマクロブロック１９０１である。
画面外の領域は、画面外が一番端の画素で埋められていることを想定して参照する。
一方、ＭＰＥＧ−２では、動きベクトルが常に画面内だけを参照している必要がある。

例えば、２方向参照の対象ブロックであって、図１９（ａ）のように動きベクトル「ＭＶ１」のみが画面外を参照しているような場合には、画面内に収まっている参照ブロック２の動きベクトル「ＭＶ２」のみが再利用できることになるが、この例の場合は、後方参照となるため再利用が出来ない。
また、すべての動きベクトルが、画面外を参照している場合も、再利用することが出来ない。

そこで、図２０に示すように、画面外の参照が画面内の参照になるように動きベクトルを補正することで、ＭＰＥＧ−２で参照可能となる。
この場合、ＭＰＥＧ−２では、当初想定していた参照ブロック（参照ブロック１）と異なる参照ブロック（参照ブロック２）を利用することになるので、予測画像からの誤差が発生する可能性がある。

そのような場合を想定して、実施形態１で説明したように、領域の再探索などを行って、可能な限り予測画像からの誤差の発生を減らすような処理を行うようにしてもよい（図１２参照）。
＜補足＞
以上、本発明の実施形態について説明したが、本発明は上記形態に限らず、以下のようにしてもよい。
（１）実施形態では、基本的に、参照ブロックの含まれる参照画像は、変えないで動きベクトルの再利用を行うこととしているが、参照画像を変えることで、動きベクトルの再利用を行うこととしてもよい。ここで説明するケースは、図１３で説明した場合の、発展形といえる。

その例を図２１に示す。
図２１（ａ）では、参照画像（参照画像１）がＢピクチャであるので、再利用することは出来ない。しかし、Ｐピクチャを参照画像（参照画像２）とすることで、この動きベクトル「ＭＶ１」の再利用が可能となる場合がある。
しかし、この場合、予測画像との誤差が大きくなる場合があるので、Ｐピクチャの参照ブロックの近傍を探索範囲として再探索し、新しい参照ブロック（参照ブロック２）と新しい動きベクトル「ＭＶ２」を求めることとしてもよい（図２１（ｂ）参照）。

また、図２１の例では、参照画像のみを変えることとしていたが、参照画像とともに、再探索せずに参照ブロックの位置を変えることとしてもよい。
その例を図２２に示す。
図２２（ｂ）では、参照画像をＰピクチャ（参照画像２）に変更し、さらに、動きベクトル「ＭＶ１」を参照画像１〜参照画像２の時間間隔と参照画像１〜対象画像の時間間隔との比から、参照ブロックを移動する位置を決めて、新しい参照ブロック（参照ブロック２）を求める。

この場合も、予測画像との誤差が大きくなる場合があるので、Ｐピクチャの参照ブロックの近傍を探索範囲として再探索し、新しい動きベクトル「ＭＶ２」を求めることとしてもよい。
（２）実施形態では、ＭＰＥＧ−４／ＡＶＣからＭＰＥＧ−２への変換を想定して説明を行ったが、本発明は、これらの符号化方式に限定されるものではなく、動きベクトルに関する制約が異なる符号化方式間の変換であれば、どのような符号化方式でもよい。

例えば、ＭＰＥＧ−４／ＡＶＣからＭＰＥＧ−４への変換、ＭＰＥＧ−４／ＡＶＣからＶＣ１への変換、ＭＰＥＧ−４／ＡＶＣからＡＶＳ（Audio Video coding Standard of China）への変換、ＭＰＥＧ−４／ＡＶＣメインプロファイルからＭＰＥＧ−４／ＡＶＣベースラインプロファイルへの変換であってもよいし、その他の符号化方式間の変換であってもよい。

また、実施形態では、ピクチャからピクチャへの変換を記載しているが、スライスからスライス、ピクチャからスライスへの変換としてもよい。
（３）実施形態では、ＭＰＥＧ−４／ＡＶＣからＭＰＥＧ−２への変換を説明したが、例えば、ＭＰＥＧ−２からＭＰＥＧ−４／ＡＶＣへの変換を行う場合もあり得る。
ＭＰＥＧ−２とＭＰＥＧ−４／ＡＶＣの相違として、動きベクトルの探索範囲の違いがある。ＭＰＥＧ−４／ＡＶＣに規定される動きベクトルの最大探索範囲の方がＭＰＥＧ−２の最大探索範囲よりも小さい。

ＭＰＥＧ−２からＭＰＥＧ−４／ＡＶＣへの変換を行う場合において、動画像変換装置は、ＭＰＥＧ−２のブロックについての動きベクトルが、ＭＰＥＧ−４／ＡＶＣに規定される最大探索範囲内に入るか否かによって、動きベクトルを利用するか否かを決定するよう構成してもよい。
またこのとき、動きベクトルが、ＭＰＥＧ−４／ＡＶＣに規定される最大探索範囲内に入らない動きベクトルについては、最大探索範囲内に収まるように動きベクトルをずらすことによって、動きベクトルを再利用するよう構成してもよい。
（４）動画像変換装置１００は、図１の各構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよいし、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。

判定部３１は、プログラム記憶部３２に記憶されているプログラムを実行することにより、動き補償予測部２８に行わせるべき処理方法を決定するよう構成されているが、この構成の代わりに論理回路を用いて構成してもよい。その論理回路は、可変長復号部１１により分離される各種データから、スライスタイプやマクロブロックタイプ、参照画像に関する情報等、判定に必要な情報を入力信号として、それら入力信号に応じて動き補償予測部２８に行わせるべき処理方法を示す出力信号を出力する。
（５）またコンピュータプログラムの場合、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体に書き込まれたものをコンピュータに読み込ませて実行させる形にしてもよいし、ネットワークを経由してプログラムをダウンロードして実行させる形にしてもよい。
（６）上記実施形態では、スライス単位の動画像データをピクチャ単位の動画像データに変換する例を記載しているが、スライス単位からスライス単位、ピクチャ単位からピクチャ単位の変換においても、本発明の概念を適用することができる。
（７）動画像変換装置１００は、図１の各構成要素の全部又は一部をＬＳＩで構成してもよい。

本発明は、動画像の変換処理を行うＡＶ機器に適用することができる。

動画像変換装置の構成を示すブロック図である。 プログラム記憶部３２に記憶されるプログラムの手順を示すフローチャート（その１）である。 プログラム記憶部３２に記憶されるプログラムの手順を示すフローチャート（その２）である。 プログラム記憶部３２に記憶されるプログラムの手順を示すフローチャート（その３）である。 １方向参照を保持する場合の動作例を示す図である。 １方向参照を非画面間参照とする場合の動作例を示す図である。 ２方向参照を保持する場合の動作例を示す図である。 ２方向参照を非画面間参照とする場合の動作例を示す図である。 ２方向参照（前方、後方）を１方向参照とする場合の動作例を示す図である。 ２方向参照（前方、前方）を１方向参照とする場合の動作例を示す図である。 画素精度１／４から１／２へ変換する場合の動作例を示す図である。 動きベクトル再探索の場合の動作例を示す図である。 参照画像をピクチャタイプの異なる画像とする場合の動作例を示す図である。 フィールド間参照の場合の動作例を示す図である。 同一フレームにおけるフィールド間参照の場合の動作例を示す図である。 フィールド間参照の場合の動作例を示す図である。 スペーシャルダイレクトモードから２方向参照とする場合の動作例を示す図である。 テンポラルダイレクトモードから２方向参照とする場合の動作例を示す図である。 画面外ブロックを参照する場合の動作例を示す図である。 画面外の参照ブロックを画面内に移動した場合の動作例を示す図である。 参照画面をピクチャタイプの異なる画面にした場合の再探索の動作例を示す図である。 参照ブロックを他の画面に移した場合の再探索の動作例を示す図である。 ＭＰＥＧ符号化データの構成例を表す図である。 １画面とマクロブロックの関係を示す図である。 ＭＰＥＧ−２の動きベクトルの例を示す図である。 ＭＰＥＧ−４／ＡＶＣの動きベクトルの例を示す図である。 フレームメモリ内のピクチャの関連を示す図である。 フレームメモリ内のピクチャを管理するテーブル例を示す図である。 再探索時のマクロブロック選択方法例を示す図である。

符号の説明

１０ 復号部
１１ 可変長復号部
１２ 逆量子化部
１３ 逆直交変換部
１４ 加算部
１５ フレームメモリ
１６ 動き補償部
２０ 符号化部
２１ 減算部
２２ 直交変換部
２３ 量子化部
２４ 逆量子化部
２５ 逆直交変換部
２６ 加算部
２７ フレームメモリ
２８ 動き補償部
３０ 動きベクトル構成部
３１ 判定部
３２ プログラム記憶部
３３ 予測制御部
１００ 動画像変換装置

Claims (6)

1. 第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画像変換装置であって、
   第２の動き補償予測方式の規格上の規定で、参照画像とすることができる画像には符号化したときの符号化タイプに制限があり、
   第１動画像データに含まれるブロックの１以上の動きベクトルの中から、前記制限を満たす参照画像を指し示す動きベクトルを選出する選出手段と、
   前記選出手段により選出された各動きベクトルを前記第２の動き補償予測方式における動きベクトルとしてそのまま用いてブロックの符号化を行う符号化手段と
   を備え、
   第１動画像データに含まれるブロックの動きベクトルの数が２つであり、
   前記選出手段で、前記条件を満たす動きベクトルを１つだけ選出した場合、
   前記符号化手段は、当該１つの動きベクトルをそのまま用いてブロックの符号化を行うとともに、当該ブロックの動き予測のタイプを示す情報を、２つの動きベクトルを用いる動き予測のタイプから１つの動きベクトルを用いる動き予測のタイプに変更することを特徴とする動画像変換装置。
2. 前記選出手段は、第１動画データに含まれるブロックの２つの動きベクトルのいずれもが前方参照であるか、またはいずれもが後方参照である場合に、前記２つの動きベクトルのうちいずれか一方を選出することを特徴とする請求項１に記載の動画像変換装置。
3. 第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画像変換方法であって、
   第２の動き補償予測方式の規格上の規定で、参照画像とすることができる画像には符号化したときの符号化タイプに制限があり、
   第１動画像データに含まれるブロックの１以上の動きベクトルの中から、前記制限を満たす参照画像を指し示す動きベクトルを選出する選出ステップと、
   前記選出ステップにより選出された各動きベクトルを前記第２の動き補償予測方式における動きベクトルとしてそのまま用いてブロックの符号化を行う符号化ステップと
   を含み、
   第１動画像データに含まれるブロックの動きベクトルの数が２つであり、
   前記選出ステップで、前記条件を満たす動きベクトルを１つだけ選出した場合、
   前記符号化ステップは、当該１つの動きベクトルをそのまま用いてブロックの符号化を行うとともに、当該ブロックの動き予測のタイプを示す情報を、２つの動きベクトルを用いる動き予測のタイプから１つの動きベクトルを用いる動き予測のタイプに変更することを特徴とする動画像変換方法。
4. コンピュータプログラムを実行可能な装置に、第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画変換処理を行わせるためのコンピュータプログラムであって、
   第２の動き補償予測方式の規格上の規定で、参照画像とすることができる画像には符号化したときの符号化タイプに制限があり、
   第１動画像データに含まれるブロックの１以上の動きベクトルの中から、前記制限を満たす参照画像を指し示す動きベクトルを選出する選出ステップと、
   前記選出ステップにより選出された各動きベクトルを前記第２の動き補償予測方式における動きベクトルとしてそのまま用いてブロックの符号化を行う符号化ステップと
   を含み、
   第１動画像データに含まれるブロックの動きベクトルの数が２つであり、
   前記選出ステップで、前記条件を満たす動きベクトルを１つだけ選出した場合、
   前記符号化ステップは、当該１つの動きベクトルをそのまま用いてブロックの符号化を行うとともに、当該ブロックの動き予測のタイプを示す情報を、２つの動きベクトルを用いる動き予測のタイプから１つの動きベクトルを用いる動き予測のタイプに変更することを特徴とするコンピュータプログラム。
5. コンピュータプログラムを記録したコンピュータ読取可能な記録媒体であって、前記コンピュータプログラムは、
   コンピュータプログラムを実行可能な装置に、第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画変換処理を行わせるためのコンピュータプログラムであって、
   第２の動き補償予測方式の規格上の規定で、参照画像とすることができる画像には符号化したときの符号化タイプに制限があり、
   第１動画像データに含まれるブロックの１以上の動きベクトルの中から、前記制限を満たす参照画像を指し示す動きベクトルを選出する選出ステップと、
   前記選出ステップにより選出された各動きベクトルを前記第２の動き補償予測方式における動きベクトルとしてそのまま用いてブロックの符号化を行う符号化ステップと
   を含み、
   第１動画像データに含まれるブロックの動きベクトルの数が２つであり、
   前記選出ステップで、前記条件を満たす動きベクトルを１つだけ選出した場合、
   前記符号化ステップは、当該１つの動きベクトルをそのまま用いてブロックの符号化を行うとともに、当該ブロックの動き予測のタイプを示す情報を、２つの動きベクトルを用いる動き予測のタイプから１つの動きベクトルを用いる動き予測のタイプに変更することを特徴とする。
6. 第１の動き補償予測方式に従って符号化された第１動画像データを第２の動き補償予測方式に従って符号化されたデータと同形式の第２動画像データに変換する動画像変換装置
   の集積回路であって、
   第２の動き補償予測方式の規格上の規定で、参照画像とすることができる画像には符号化したときの符号化タイプに制限があり、
   第１動画像データに含まれるブロックの１以上の動きベクトルの中から、前記制限を満たす参照画像を指し示す動きベクトルを選出する選出手段と、
   前記選出手段により選出された各動きベクトルを前記第２の動き補償予測方式における動きベクトルとしてそのまま用いてブロックの符号化を行う符号化手段と
   を備え、
   第１動画像データに含まれるブロックの動きベクトルの数が２つであり、
   前記選出手段で、前記条件を満たす動きベクトルを１つだけ選出した場合、
   前記符号化手段は、当該１つの動きベクトルをそのまま用いてブロックの符号化を行うとともに、当該ブロックの動き予測のタイプを示す情報を、２つの動きベクトルを用いる動き予測のタイプから１つの動きベクトルを用いる動き予測のタイプに変更することを特徴とする集積回路。

Images