JP4078803B2 - インターレース・プログレッシブ変換方法および変換装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Moving Picture Experts Group）２方式等の動画像符号化方式に対応したアルゴリズムによって符号化されたインターレース画像データをプログレッシブ画像データに変換するインターレース・プログレッシブ変換方法および変換装置に関する。
【０００２】
【従来の技術】
動画像の高能率圧縮符号化アルゴリズムとして、ＭＰＥＧの規格に対応した符号化アルゴリズムが知られている。この符号化アルゴリズムでは、フレーム内符号化アルゴリズムとフレーム間予測アルゴリズムを併用している。さらに詳述すると、この符号化アルゴリズムでは、動画像を構成する多数のフレーム（もしくはフィールド）を各々一定個数のフレームからなるＧＯＰ（Group Of Picture）に分け、ＧＯＰの先頭のフレームについてはフレーム内符号化を行い、他のフレームについてはフレーム間予測符号化を行う。ここで、フレーム内符号化とは、他のフレームを全く参照することなく処理対象であるフレームの符号化を行うことをいう。また、フレーム間予測符号化は、処理対象であるフレームを所定個数の画素からなるマクロブロックに分け、各マクロブロック毎に、他の先行するフレーム等（参照フレーム）中に含まれている当該マクロブロックに類似した参照マクロブロックを求め、当該マクロブロックからみた参照マクロブロックまでの相対的変位を表す動きベクトルと、当該マクロブロックと参照マクロブロックとの差分画像とを符号化するものである。この符号化アルゴリズムにおいて、参照フレームの中から参照マクロブロックを探索する処理は、動き予測と呼ばれている。
【０００３】
ディジタル放送システムでは、ＭＰＥＧ２の規格に対応した符号化アルゴリズムによって圧縮符号化された動画像データが放送されるようになっている。各家庭等においては、放送局から放送される符号化された動画像データを受信し、この符号化データを復号してテレビ画面等に映像を表示させるようになっている。このようにディジタル放送システムにより提供される動画像データを符号化するＭＰＥＧ２アルゴリズムでは、インターレース走査方式の動画像フォーマット（インターレースフォーマット）と、プログレッシブ操作方式の動画像フォーマット（プログレッシブフォーマット）の両者に対応することができるようになっている。
【０００４】
ところで、ＬＣＤ（Liquid Crystal Display）やＰＤＰ（Plasma Display Panel）等の表示装置では、ＣＲＴ（Cathode Ray Tube）と異なり、プログレッシブフォーマットの動画像データを再生表示するようになっている。したがって、ＬＣＤやＰＤＰ等の表示装置において、ディジタル放送システムによってインターレースフォーマットの動画像データで放送されている番組等を再生表示する場合には、放送されているインターレースフォーマットの動画像のビデオ信号をプログレッシブフォーマットのビデオ信号に変換する必要がある。
【０００５】
ここで、ＭＰＥＧ２規格に対応した符号化アルゴリズムによって符号化された動画像データを復号してインターレース・プログレッシブ変換を行う従来の変換装置の構成を図９に示す。
【０００６】
同図に示すように、この変換装置は、ＭＰＥＧ２デコーダ１を有している。ＭＰＥＧ２デコーダ１には、ＭＰＥＧ２規格に対応した符号化アルゴリズムによって符号化された動画像（インターレースフォーマット）の符号化データが入力される。当該符号化データはデジタル放送局からの放送波を受信する、もしくはＤＶＤ（Digital Versatile Disc）に記録されているデータを読み取る等によって取得することができる。
【０００７】
ここで、ＭＰＥＧ２規格に対応した符号化アルゴリズムでは、画像をピクチャという単位で扱い、ピクチャとしてフレームを割り当てることもできるし、フィールドを割り当てることもできる。インターレース走査方式による画像データは、１つのフレームの画像が偶数走査線のみの画像である第１フィールドおよび奇数走査線のみの画像である第２フィールドといった２つのフィールドによって構成される。したがって、ピクチャとしてフレームを割り当てた符号化処理を行う場合には、フィールド／フレーム変換処理を行うことにより、インターレース走査方式により得られたフィールド画像をフレーム構造の画像データに変換した後、変換後のフレームを１単位としてＭＰＥＧ２に準拠した符号化処理を行う。一方、ピクチャとしてフィールドを割り当てた符号化処理を行う場合には、上記のようなフィールド／フレーム変換処理は不要であり、インターレース走査方式により得られた動画像、すなわち一連のフィールドを１単位としてＭＰＥＧ２に準拠した符号化処理を施す。
【０００８】
ＭＰＥＧ２デコーダ１は、上述したように符号化されたインターレース画像の符号化データを上記符号化アルゴリズムに対応する復号アルゴリズムによって復号し、一連のフィールド画像を復元する。
【０００９】
ＭＰＥＧ２デコーダ１から出力されたフィールド単位の画像は、直接およびフィールドメモリ２，３を介して動き検出部６に供給される。すなわち、動き検出部６には、ＭＰＥＧ２デコーダ１によって最近復号されたフィールドの画像（処理対象となる画像）に加え、当該フィールドの１つ前および２つ前を先行するフィールドの画像が供給されるようになっている。動き検出部６は、このような先行する２つのフィールド画像と処理対象フィールドの画像に基づいて、所定の演算を行って処理対象フィールドの画像の動き、すなわち静止画であるか動画であるかを検出する。動き検出部６は、静止画であると検出した場合にはｋ＝０、動画であると検出した場合にはｋ＝１を乗算器７，８に出力する。
【００１０】
ＭＰＥＧ２デコーダ１から出力されたフィールドの画像は、ラインメモリ５、フィールドメモリ４および加算器９にも供給される。ラインメモリ５には１ライン（走査線）分の画像が保存され、次のラインの画像が供給されると、保存しているラインの画像を加算器９に出力する。これにより加算器９からは、１つのフィールド画像における上下に隣接するラインの画像が加算されて乗算器１０に出力され、加算された画像は乗算器１０によって１／２倍されて乗算器７に出力される。すなわち、乗算器１０からは、１つのフィールド画像における上下に隣接するラインの画像を平均した画像が出力されるのである。
【００１１】
そして、この平均した画像が乗算器７によってｋ倍されて加算器１１に出力される。動き検出部６によって処理対象フィールド画像が静止画であると検出された場合にはｋ＝０であるため、乗算器７からは画像は出力されない。一方、処理対象フィールド画像が動画であると検出された場合にはｋ＝１であるため、乗算器７からは乗算器１０から出力された画像がそのまま加算器１１に出力される。
【００１２】
フィールドメモリ４には１フィールド分の画像が保存され、次のフィールドの画像が供給されると、保存しているフィールドの画像を乗算器８に出力する。乗算器８では、フィールドメモリ４から供給された画像が（１−ｋ）倍されて加算器１１に出力される。動き検出部６によって処理対象フィールド画像が静止画であると検出された場合にはｋ＝０であるため、乗算器８からはフィールドメモリ４から出力された画像がそのまま加算器１１に出力される。一方、処理対象フィールド画像が動画であると検出された場合にはｋ＝１であるため、乗算器８からは画像は出力されない。
【００１３】
すなわち、処理対象フィールドが静止画である場合には、加算器１１にはフィールドメモリ４から供給されたフィールド画像のみが供給され、加算器１１からはこの画像が切替スイッチ１２に出力される。一方、処理対象フィールドが動画である場合には、加算器１１には、処理対象フィールド画像における上下のラインの画像の平均画像がライン毎に供給され、加算器１１からはこのライン毎の画像のみが切替スイッチ１２に出力される。
【００１４】
切替スイッチ１２には、上記のような加算器１１からの画像が供給されるとともに、ＭＰＥＧ２デコーダ１から供給されるフィールド画像、すなわち処理対象フィールドの画像が供給され、切替スイッチ１２はこれらの画像を１ライン毎に切り換えて出力する。
【００１５】
すなわち、処理対象フィールド画像が静止画である場合、切替スイッチ１２からは当該フィールドの画像の各ラインの画像と、フィールドメモリ４から出力されるフィールドの画像、すなわち処理対象フィールドの１つ前のフィールドの画像の各ラインの画像とが交互に出力される。このようにして処理対象フィールド画像が静止画である場合には、図４に示すように、２つのフィールドの画像を合成してフィールド画像の２倍の走査線数の画像であるプログレッシブ画像が出力されるのである。つまり、処理対象フィールドが静止画である場合には、いわゆるフィールド間内挿処理が行われてプログレッシブ画像が出力される。
【００１６】
一方、処理対象フィールド画像が動画である場合、切替スイッチ１２からは当該フィールドの画像の各ラインの画像と、当該フィールド画像の上下に隣接するラインの画像の平均画像とが交互に出力される。このようにして処理対象フィールド画像が動画である場合には、図５に示すように、上下に隣接するラインの平均画像が処理対象フィールドの各ライン間を補間するライン画像として加えられ、フィールド画像の２倍の走査線数の画像であるプログレッシブ画像が出力されるのである。つまり、処理対象フィールドが動画である場合には、いわゆるフィールド内内挿処理が行われたプログレッシブ画像が出力される。
【００１７】
つまり、図９に示す従来の変換装置では、供給された符号化データをＭＰＥＧ２デコーダ１によってフィールド画像を復元し、復元したフィールド画像の動きを検出する。そして、フィールド画像の動きが大きい場合にはフィールド内内挿処理を行い、動きが小さい場合にはフィールド間内挿処理を行うのである。このように画像の動きが大きい場合にフィールド内内挿処理を行い、画像が静止している場合にフィールド間内挿処理を行うことにより、高画質のプログレッシブ画像を出力することができるのは周知である。
【００１８】
【発明が解決しようとする課題】
しかし、上述した従来の変換装置では、ＭＰＥＧ２デコーダ１によって復号されたフィールド画像を参照することにより、動き検出部６が所定の演算を行ってフィールド画像の動きを検出している。このような復号された画像に基づいて動きを検出するための演算処理は複雑であり、また複雑な処理にも関わらず誤検出の可能性が高い。
【００１９】
本発明は、上記の事情を考慮してなされたものであり、インターレースフォーマットの画像を、より簡易な処理でより正確にプログレッシブフォーマットの画像に変換することができるインターレース・プログレッシブ変換方法および変換装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記課題を解決するため、本発明に係るインターレース・プログレッシブ変換方法は、フィールド単位のフィールド内符号化アルゴリズム又はフレーム単位のフレーム内符号化アルゴリズムと動き補償を伴った、フィールド間符号化アルゴリズム又はフレーム間符号化アルゴリズムを含む符号化アルゴリズムであって、フィールド画像を構成する複数のマクロブロック毎の動きベクトル情報、マクロブロックのタイプが非動き補償コーデッドであるか動き補償コーデッドであるかを示すマクロブロックタイプ情報および有意ブロックパターンを示すＣＢＰ（Coded Block Pattern）情報を含む符号化画像データを作成するための符号化アルゴリズムによって、１対のフィールドを１フレームとするインターレース画像を符号化した符号化画像データを、プログレッシブ画像に変換するインターレース・プログレッシブ変換方法であって、（ａ）前記符号化画像データを、前記符号化アルゴリズムに対応した復号アルゴリズムにより復号してフィールド画像を復元する復号ステップと、（ｂ）前記符号化画像データから、前記動きベクトル情報、前記マクロブロックタイプ情報および前記ＣＢＰ情報を抽出する抽出ステップと、（ｃ）前記符号化画像データから抽出された前記動きベクトル情報、前記マクロブロックタイプ情報および前記ＣＢＰ情報に基づいて、前記復元されたフィールド画像を分割したマクロブロックの動きの大小を検出する動き検出ステップであって、前記マクロブロックタイプ情報が非動き補償コーデッドである場合、当該マクロブロックタイプ情報に対応するマクロブロックの前記ＣＢＰ情報によって当該マクロブロック内の係数を持っているブロック数を判別し、そのブロック数が所定数以上のときにはマクロブロックの動きが大きいと判断する一方、当該ブロック数が前記所定数未満のときにはマクロブロックの動きが小さいと判断する第１のステップと、前記マクロブロックタイプ情報が動き補償コーデッドである場合、前記動きベクトル情報の絶対値が閾値以上であるときには、マクロブロックの動きが大きいと判断する一方、前記動きベクトル情報の絶対値が前記閾値未満であるときには、マクロブロックの動きが小さいと判断する第２のステップとからなる動き検出ステップと、（ｄ）前記フィールド画像を補間するための画像データを、前記マクロブロックの動きが大きいほど、当該フィールド画像に先行する先行フィールド画像に基づくフィールド間内挿処理の割合を小さく、且つ、前記マクロブロックの動きが小さいほど、当該フィールド画像に基づくフィールド内内挿処理の割合を小さくした処理方法で生成し、生成した当該画像データによって当該フィールド画像を補間することによりプログレッシブ画像に変換する変換ステップとを具備することを特徴とする。
【００２４】
また、本発明に係るインターレース・プログレッシブ変換装置は、フィールド単位のフィールド内符号化アルゴリズム又はフレーム単位のフレーム内符号化アルゴリズムと動き補償を伴った、フィールド間符号化アルゴリズム又はフレーム間符号化アルゴリズムを含む符号化アルゴリズムであって、フィールド画像を構成する複数のマクロブロック毎の動きベクトル情報、マクロブロックのタイプが非動き補償コーデッドであるか動き補償コーデッドであるかを示すマクロブロックタイプ情報および有意ブロックパターンを示すＣＢＰ（Coded Block Pattern）情報を含む符号化画像データを作成するための符号化アルゴリズムによって、１対のフィールドを１フレームとするインターレース画像を符号化した符号化画像データを、プログレッシブ画像に変換するインターレース・プログレッシブ変換装置であって、（ａ）前記符号化画像データを、前記符号化アルゴリズムに対応した復号アルゴリズムにより復号してフィールド画像を復元する復号手段と、（ｂ）前記符号化画像データから、前記動きベクトル情報、前記マクロブロックタイプ情報および前記ＣＢＰ情報を抽出する抽出手段と、（ｃ）前記符号化画像データから抽出された前記動きベクトル情報、前記マクロブロックタイプ情報および前記ＣＢＰ情報に基づいて、前記復元されたフィールド画像を分割したマクロブロックの動きの大小を検出する動き検出手段であって、前記マクロブロックタイプ情報が非動き補償コーデッドである場合、当該マクロブロックタイプ情報に対応するマクロブロックの前記ＣＢＰ情報によって当該マクロブロック内の係数を持っているブロック数を判別し、そのブロック数が所定数以上のときにはマクロブロックの動きが大きいと判断する一方、当該ブロック数が前記所定数未満のときにはマクロブロックの動きが小さいと判断し、前記マクロブロックタイプ情報が動き補償コーデッドである場合、前記動きベクトル情報の絶対値が閾値以上であるときには、マクロブロックの動きが大きいと判断する一方、前記動きベクトル情報の絶対値が前記閾値未満であるときには、マクロブロックの動きが小さいと判断する動き検出手段と、（ｄ）前記フィールド画像を補間するための画像データを、前記マクロブロックの動きが大きいほど、当該フィールド画像に先行する先行フィールド画像に基づくフィールド間内挿処理の割合を小さく、且つ、前記マクロブロックの動きが小さいほど、当該フィールド画像に基づくフィールド内内挿処理の割合を小さくした処理方法で生成し、生成した当該画像データによって当該フィールド画像を補間することによりプログレッシブ画像に変換する変換手段とを具備することを特徴とする。
【００２５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
Ａ．第１実施形態
まず、図１は本発明の第１実施形態に係るインターレース・プログレッシブ変換装置の構成を示すブロック図である。同図に示すように、このインターレースプログレッシブ変換装置１００は、ＭＰＥＧ２復号部１１０と、バッファ１１１と、動き量検出部１１２と、変換処理部１１３とを備えている。
【００２６】
ＭＰＥＧ２復号部１１０およびバッファ１１１には、変換処理対象となるインターレースフォーマットの動画像の符号化データが入力される。ＭＰＥＧ２復号部１１０およびバッファ１１１に入力される符号化データは、インターレースフォーマットの動画像を構成する一連のフィールド画像（ビデオ信号）に対し、フィールド単位もしくはフレーム単位でＭＰＥＧ２に準拠した符号化処理を施すことにより生成された符号化データである。なお、フレーム単位で符号化処理を施す場合には、インターレースフォーマットの動画像を構成する一連のフィールドに対し、フィールド／フレーム変換処理を行う必要がある。ここで、ＭＰＥＧ２復号部１１０およびバッファ１１１に入力される符号化データについて説明する。なお、以下においては、フィールド単位で符号化処理を行った場合を例に挙げて説明するが、上記のようにフィールド／フレーム変換処理を行うことによりフレーム単位でインターレースフォーマットの画像に符号化処理を行うようにしてもよい。
【００２７】
まず、各フィールドに対応した符号化データは、当該フィールドを分割した複数のマクロブロック毎に対応した符号化データを含んでいる。これらの各マクロブロックに対応した符号化データには、フィールド内符号化により得られたものと、フィールド間予測符号化により得られたものとがある。さらに詳述すると、まず、ＧＯＰの先頭のＩフィールドについてはフィールド内符号化が行われる。したがって、Ｉフィールドを構成する各マクロブロックに対応した符号化データはすべてフィールド内符号化により得られたものである。
【００２８】
また、Ｉフィールドの後続の各フィールド（ＰフィールドやＢフィールド）は、フィールド間予測符号化が行われるのが一般的であるが、これらの各フィールドを構成する一部のマクロブロックについてフィールド内符号化が行われる場合もある。したがって、Ｉフィールドの後続の各フィールドの各マクロブロックに対応した符号化データは、フィールド間予測符号化により得られたもの、またはフィールド内符号化により得られたものである。
【００２９】
各マクロブロックに対応した符号化データのうちフィールド内符号化により得られた符号化データは、当該マクロブロックを８×８画素１を１ブロックとして分割した輝度信号ブロック４個と色差信号ブロックの各々について、当該ブロックの画像データに対し、直交変換の一種であるＤＣＴ（Discrete Cosine Transform；離散コサイン変換）を施し、これにより得られたＤＣＴ係数を量子化し、さらに可変長符号化したデータにより構成されている。
【００３０】
また、各マクロブロックに対応した符号化データのうちフィールド間予測符号化により得られた符号化データは、当該マクロブロックに対応した動きベクトルの可変長符号を含むとともに当該マクロブロックを分割した各ブロック毎に量子化されたＤＣＴ係数の可変長符号を含んでいる。これらの可変長符号のうち前者のものにおける動きベクトルは、当該マクロブロックから参照フィールド内の参照マクロブロックまでの相対移動に対応している。あるマクロブロックの画像を復号する際には、この動きベクトルに基づいて参照フィールド内の参照マクロブロックの所在位置が求められる。また、後者のもののＤＣＴ係数は当該マクロブロックに対応した画像と参照マクロブロックの画像との差分画像に対し、ブロック単位でＤＣＴを施すことにより得られたものである。
【００３１】
以上のようにこの符号化データには、各マクロブロックについて動きベクトルの可変長符号が含まれており、マクロブロックを分割したブロック毎にＤＣＴ係数の可変長符号が含まれている。また、ＭＰＥＧ２に準拠した符号化処理により生成された符号化データには、各ピクチャ（フィールドもしくはフレーム）毎にＰＳＣ（Picture Start Code）の可変長符号が含まれており、このＰＳＣにより各ピクチャのデータビット列を判別することができるようになっている。さらに各マクロブロック毎にマクロブロックアドレスの増分（Macroblock Address Increment）の可変長符号、マクロブロックタイプ（Macroblock Type）、ＤＣＴタイプの可変長符号、およびＣＢＰ（Coded Block Pattern）の可変長符号が含まれている。
【００３２】
ここで、マクロブロックアドレスは、マクロブロックの位置を示す情報である。マクロブロックタイプは、Ｉ，Ｐ，Ｂピクチャ毎にそのマクロブロックの処理方法を示す情報であり、例えばＭＣ（動き補償）コーデッド（MC Coded；動き補償符号化要）、ノンＭＣコーデッド（No MC Coded）等を示す情報である。
【００３３】
ＤＣＴタイプは、当該マクロブロックのＤＣＴがフレームモードであるか、フィールドモードであるかを表す情報である。上記のようにフィールド単位で符号化処理が行われた符号化データの場合には、フィールドモードしか選択できないため、フィールドモードであることを示す情報となる。一方、フレーム単位で符号化処理が行われた符号化データの場合には、フィールドモードとフレームモードのいずれかを選択することができる。インターレース画像に対してフレーム単位で符号化処理を施す場合には、隣り合う走査線間の相関が大きい時には、そのマクロブロックについてフレームＤＣＴ処理、すなわち１対のフィールドからなるフレームを１単位としてＤＣＴ処理を行う。この場合、このマクロブロックのＤＣＴタイプはフレームモードを示す情報となる。一方、隣り合う走査線間の相関が小さい場合には、そのマクロブロックについてフィールドＤＣＴ処理、すなわちフィールドを１単位としてＤＣＴ処理を行う。この場合には、このマクロブロックのＤＣＴタイプはフィールドモードを示す情報となる。このようにフレーム単位の符号化処理により生成された符号化データでは、マクロブロック毎にフレームＤＣＴとフィールドＤＣＴが適応的に選択されて実施され、ＤＣＴタイプはいずれのＤＣＴが実施されたかを示す情報である。
【００３４】
ＣＢＰは、マクロブロックを構成する６つのブロックが有意ブロックであるか否かをパターン化した情報である。この情報を参照することにより、マクロブロックを構成するどのブロックが有意ブロックであるか、つまり前画面に対して変化のあったブロックであるかが分かるようになっている。
【００３５】
以上がＭＰＥＧ２復号部１１０およびバッファ１１１に入力される符号化データの詳細である。
【００３６】
ＭＰＥＧ２復号部１１０は、可変長復号器、逆量子化器、逆ＤＣＴ部、動き補償部等を備え、上述したＭＰＥＧ２に準拠した符号化処理によって符号化された符号化データを復号し、インターレース動画像を構成する一連のフィールド画像データを復元する。ＭＰＥＧ２復号部１１０によって復元された一連のフィールド画像データは、動き量検出部１１２、変換処理部１１３および切替スイッチ１３１に出力される。
【００３７】
バッファ１１１は、順次入力される一連のフィールド（もしくはフレーム）に対応した符号化データを一時的に格納する装置である。バッファ１１１に格納された符号化データに含まれる可変長符号は順次読み出され、動き量検出部１１２に供給される。
【００３８】
動き量検出部１１２は、可変長復号器１２０と、フィールド同期検出部１２１と、パラメータ保存部１２２と、マクロブロックアドレスカウンタ（以下、ＭＢＡカウンタという）１２３と、動き量決定部１２４とを有している。
【００３９】
可変長復号器（Variable Length Decoder）１２０は、バッファ１１１から順次供給される可変長符号を可変長前のデータにデコードし、デコードしたデータをパラメータ保存部１２２に出力する。また、可変長復号器１２０は、Ｉフィールドに対応する符号化データに含まれる可変長符号のうち、Ｉフィールド（もしくはＩフレーム）の各マクロブロックを構成するブロックのＤＣＴ係数のＤＣ（Direct Current）係数に対応する可変長符号をデコードしたデータをフィールド同期検出部１２１に出力する。
【００４０】
フィールド同期検出部１２１には、上記可変長復号器１２０から供給される各ブロックのＤＣ係数を示すデータに加え、ＭＰＥＧ２復号部１１０によって復元された一連のフィールド画像（ビデオ信号）が供給される。フィールド同期検出部１２１は、ＭＰＥＧ２復号部１１０から供給される復元画像ビデオ信号の垂直同期信号からフィールド画像を検出し、あるフィールドに対応するビデオ信号がＭＰＥＧ２復号部１１０から出力されたことを示すフィールド同期信号をＭＢＡ（マクロブロックアドレス）カウンタ１２３に出力する。
【００４１】
また、フィールド同期検出部１２１は、可変長復号器１２０から供給されるＩフィールドの各ブロックのＤＣ係数を示す情報および検出したフィールド画像に基づいて、復元された各フィールド画像と、可変長復号器１２０によって可変長復号されたデータとの同期をとる。すなわち、フィールド同期検出部１２１は、可変長復号器１２０から供給されたデータの可変長復号前の符号化データによって復元されたフィールド画像を検出して同期をとる。このように同期をとることによって動き量検出部１１２や変換処理部１１３において、フィールド画像（ビデオ信号）と、当該フィールド画像に対応する符号化データを可変長復号したデータとを対応させて処理を行うことができる。
【００４２】
以下、フィールド同期検出部１２１によって行われる同期検出処理について詳細に説明する。フィールド同期検出部１２１は、可変長復号器１２０から供給されるあるＩフィールドの各ブロックのＤＣ係数と、ＭＰＥＧ２復号部１１０から供給されるあるフィールド画像とを比較する。具体的には、図２に示すように、各ブロックのＤＣＴ係数のＤＣ係数と、各ブロックに対応する復元画像の８×８画素のブロックの画素値の平均値とを比較する。ここで、復元画像の各ブロックの画素値の平均値Ｈは、次の式により算出される。
【数１】

そして、全てのブロックについてＤＣ係数と復元画像の上記画素値の平均値Ｈとが一致する、もしくは所定個数以上のブロックについてＤＣ係数と画素値の平均値Ｈとが一致した場合に、可変長復号器１２０から供給された当該Ｉフィールドのデータと、ＭＰＥＧ２復号部１１０から供給されるフィールドの画像とが対応していると検出することができ、両者を同期させることができる。なお、このような同期検出を行うためには、復元されたフィールド画像の平均画素値を集計するブロックの境界線を正確に把握する必要があり、本実施形態では各ブロックの境界線が正確に把握されているものとする。また、同じ画像が数フィールド（もしくはフレーム）連続する場合には、上記のような同期検出の正確性の低下が問題となるが、この場合には画像の動きが全くないと判断できるので動きベクトル等の情報がなく、後述する動き量決定部１２４によって動きがないと推定することができ、変換処理部１１３の処理に支障を来すことはない。
【００４３】
上記のような処理を経てフィールド同期検出部１２１からフレーム同期信号がＭＢＡカウンタ１２３に供給される。ＭＢＡカウンタ１２３は、フレーム同期信号を基準にして、垂直水平の画素の位置をカウントすることによりＭＰＥＧ２復号部１１０から出力される画像であるビデオ信号がフィールド画像内のどのマクロブロックに対応するかを求める。そして、求めたブロックのフィールド画像内の位置を示す情報を動き量決定部１２４に出力する。
【００４４】
パラメータ保存部１２２は、可変長復号器１２０によってデコードされたデータの中から以下に示すパラメータを抽出し、抽出したパラメータをどのフィールドのものであるかといった情報に対応付けて保存する。ここで、どのフィールドのパラメータであるかといったことは、可変長復号したデータ中のＰＳＣ（Picture Start Code）を参照することにより判別することができる。
【００４５】
本実施形態では、パラメータ保存部１２２には、動きベクトル、マクロブロックアドレス、マクロブロックタイプ、ＤＣＴタイプおよびＣＢＰといったパラメータが保存される。ここで、上述したフィールド同期検出部１２１による同期検出によって、ＭＰＥＧ２復号部１１０から出力されるフィールド画像に対応する可変長復号器１２０で可変長復号されたデータが特定されている。したがって、ＭＰＥＧ２復号部１１０から出力されるフィールド画像に対応する各マクロブロックに関する上記パラメータが特定され、これらのパラメータがパラメータ保存部１２２から動き量決定部１２４に出力される。
【００４６】
動き量決定部１２４は、パラメータ保存部１２２から供給される各マクロブロックに関する各種パラメータの中から、ＭＢＡカウンタ１２３から供給される出力画像（ビデオ信号）のマクロブロックの位置を示す情報に基づいて、現在ＭＰＥＧ２復号部１１０から出力されている画像のマクロブロックに関するパラメータを特定する。この特定は、各マクロブロックのマクロブロックアドレスを参照することにより行われる。このように現在ＭＰＥＧ２復号部１１０から出力されている画像のマクロブロックに関する各種パラメータを特定すると、動き量決定部１２４は、そのマクロブロックに関する各種パラメータに基づいて、当該マクロブロックの動き量に応じた値ｋを決定し、当該値ｋを変換処理部１１３に出力する。
【００４７】
ここで、各マクロブロック毎の上記動きベクトル、マクロブロックアドレス、マクロブロックタイプ、ＤＣＴタイプおよびＣＢＰといったパラメータによって、各々のマクロブロックの動きを推定できる原理について説明する。
【００４８】
まず、マクロブロックタイプは、ＭＣ（動き補償）コーデッド（MC Coded；符号化要）、ノンＭＣコーデッド（No MC Coded）等の当該マクロブロックの処理方法を示す情報であり、次のように動き推定の判断要素とすることができる。例えばマクロブロックタイプが「ＭＣ（動き補償）コーデッド」である場合には、そのマクロブロックの動きは大きいと判断できる。また、「ノンＭＣコーデッド」の場合には、このマクロブロックの動きはあまり大きくないといった判断ができる。なお、Ｂフィールドのマクロブロックの場合には、「ＭＣコーデッド」は双方向の予測を含む。
【００４９】
次に、マクロブロックアドレスを参照することにより、情報を何も必要としない、いわゆる「スキップト・マクロブロック」を検出することができる。スキップト・マクロブロックであると検出されたマクロブロックは、当然ながら動きが全くないものと判断することができる。
【００５０】
次に、ＤＣＴタイプはフレーム単位で符号化処理が行われた場合にマクロブロックの動きを推定する判断要素として参照することができる。上述したようにインターレース画像に対してフレーム単位で符号化処理を施す場合には、隣り合う走査線間の相関が大きい時にはフレームを１単位としてＤＣＴ処理を行い（ＤＣＴタイプ＝フレームモード）、隣り合う走査線間の相関が小さい場合には、フィールドを１単位としてＤＣＴ処理を行う（ＤＣＴタイプ＝フィールドモード）。したがって、ＤＣＴタイプが「フレームモード」である場合には、フィールド間の相関が大きいので動きが小さいと推定することができる。一方、ＤＣＴタイプが「フィールドモード」である場合には、フィールド間の相関が小さいので動きが大きいと推定することができる。
【００５１】
次に、ＣＢＰは、上記マクロブロックタイプと併せて参照することにより、当該マクロブロックの動きを推定することができる。具体的には、ＣＢＰを参照することにより当該マクロブロックを構成する各ブロックが係数を持つか否かを判別することができ、マクロブロック内の係数を持っているブロック数が分かる。このように係数を持っているブロック数が少なく、かつマクロブロックタイプが「ノンＭＣコーデッド」の場合には当該マクロブロックの動きは小さいと推定することができる。
【００５２】
次に、動きベクトルは、その絶対値を参照すれば当該マクロブロックの動きが大きいか小さいかを判別することができる。すなわち、動きベクトルの絶対値が大きければ、そのマクロブロックの動きは大きいと推定でき、動きベクトルの絶対値が小さければ、そのマクロブロックの動きは小さいと推定できる。なお、Ｉフィールドの各マクロブロックに関しては、原則として動きベクトルが含まれていない。したがって、Ｉフィールドの動き量を推定する場合には、当該Ｉフィールドのマクロブロックを参照して復号されるＰフィールドやＢフィールドのマクロブロックの動きベクトルを利用する。
【００５３】
このように動き量決定部１２４は、動きベクトル、マクロブロックアドレス、マクロブロックタイプ、ＤＣＴタイプおよびＣＢＰといったパラメータに基づいてそのマクロブロックの動き量を推定することができ、当該推定した動き量に応じた値ｋを決定する。ここで、値ｋは０〜１の範囲で変動する値であり、動きが大きいほど１に近づくような値（ある程度動きが大きいと判断した場合はｋ＝１）、動きが小さいほど０に近づくような値、動きがない場合に０といったように決定される。
【００５４】
上記各パラメータによる動きの推定手法のように、いずれか１種類のパラメータに基づいて動きを推定して値ｋを決定するようにしていもよいが、複数種類のパラメータを組み合わせて動きを推定して値ｋを決定するようにしてもよい。以下、複数種類のパラメータを用いて動き量決定部１２４が動き量を推定して値ｋを決定する処理の一例について図３を参照しながら説明する。
【００５５】
まず、処理対象となっているマクロブロックが「スキップト・マクロブロック」であるか否かを判断し（ステップＳａ１）、「スキップト・マクロブロック」である場合には、静止していると判断し、ｋ＝０に決定する。ここで、「スキップト・マクロブロック」であるか否かは、マクロブロックアドレスを参照することにより判断できる。
【００５６】
次に、マクロブロックが「スキップト・マクロブロック」ではない場合には、マクロブロックタイプが「ノンＭＣコーデッド」であるか否かを判別し（ステップＳａ２）、「ノンＭＣコーデッド」の場合には、マクロブロックを構成する各ブロックのうち係数を持っているブロックが所定数以上であるか否かを判別する（ステップＳａ３）。ここで、係数を持っているブロック（有意ブロック）の数はＣＢＰを参照することにより判別できる。ブロック数が所定数以上である場合には、当該マクロブロックが動いていると判断し、ｋ＝１に決定する。一方、ブロック数が所定数未満である場合には当該マクロブロックは静止していると判断し、ｋ＝０に決定する。
【００５７】
一方、ステップＳａ２の判別において「ノンＭＣコーデッド」ではないと判別された場合には、マクロブロックタイプが「ＭＣコーデッド」または「ＭＣ符号化不要」であるか否かを判別する（ステップＳａ４）。ここで、「ＭＣコーデッド」または「ＭＣ符号化不要」である場合には、ＤＣＴタイプが「フレームモード」であるか否かを判別する（ステップＳａ５）。そして、「フレームモード」である場合には、動きベクトルの絶対値（ＭＶ）が４以上であるか否かを判別し（ステップＳａ６）、４以上である場合には当該マクロブロックが動いていると判断してｋ＝１に決定する。動きベクトルの絶対値が４未満である場合には、動きベクトルの絶対値が１以上４未満であるか否かを判別し（ステップＳａ７）、１以上４未満である場合には、当該マクロブロックがゆっくり動いていると判断してｋ＝０．５に決定する。また、ステップＳａ７の判別において絶対値が１以上４未満ではない場合、すなわち動きベクトルの絶対値が１未満の場合には、当該マクロブロックが非常にゆっくり動いていると判断してｋ＝０．２５に決定する。
【００５８】
一方、ステップＳａ５において、「フレームモード」ではないと判断された場合、すなわちＤＣＴタイプが「フィールドモード」である場合には、動きベクトルの絶対値が２以上であるか否かを判別する（ステップＳａ８）。ここで、動きベクトルの絶対値が２以上である場合には、当該マクロブロックは動いていると判断してｋ＝１に決定する。一方、動きベクトルの絶対値が２未満である場合には、当該マクロブロックがややゆっくり動いていると判断してｋ＝０．７５に決定する。
【００５９】
また、ステップＳａ４の判別において、マクロブロックタイプが「ＭＣコーデッド」または「ＭＣ符号化不要」ではない場合には、当該マクロブロックがイントラマクロブロックであると判断してｋ＝１に決定する。
【００６０】
以上のようにして決定された現在ＭＰＥＧ２復号部１１０から出力されている画像のマクロブロックの動きに応じた値ｋは動き量決定部１２４から変換処理部１１３に出力される。なお、動き量決定部１２４では、各マクロブロック毎にｋを決定することができるが、当該値ｋは後述する補間する各走査線毎の画像出力処理で用いられるため、実際には動き量決定部１２４は走査線方向に並ぶ複数のマクロブロックに対して決定した値ｋを切りかえて出力するようにすればよい。
【００６１】
変換処理部１１３は、動画用補間画像出力部１１３ａと、静止画用補間画像出力部１１３ｂと、加算器１３０と、切替スイッチ１３１とを備えている。
【００６２】
動画用補間画像出力部１１３ａは、フィールド内内挿を行うための補間画像を出力するものであり、ラインメモリ１４０と、加算器１４１と、乗算器１４２と、乗算器１４３とを有している。ＭＰＥＧ２デコーダ１１０から出力されたフィールドの画像は、ラインメモリ１４０および加算器１４１にも供給される。ラインメモリ１４０には１ライン（走査線）分の画像が保存され、次のラインの画像が供給されると、保存しているラインの画像を加算器１４１に出力する。これにより加算器１４１からは、１つのフィールド画像における上下に隣接するラインの画像が加算されて乗算器１４２に出力され、加算された画像は乗算器１４２によって１／２倍されて乗算器１４３に出力される。すなわち、乗算器１４２からは、１つのフィールド画像における上下に隣接するラインの画像を平均した画像が出力されるのである。
【００６３】
乗算器１４３には、上述した動き量決定部１２４によって決定された値ｋが供給され、これにより乗算器１４２から出力された平均画像は乗算器１４３によってｋ倍されて加算器１３０に出力される。
【００６４】
静止画用補間画像出力部１１３ｂは、フィールド間内挿を行うための補間画像を出力するものであり、フィールドメモリ１５０と、乗算器１５１とを有している。フィールドメモリ１５０には、ＭＰＥＧ２復号部１１０から供給された１フィールド分の画像が保存され、次のフィールドの画像がＭＰＥＧ２復号部１１０から供給されると、保存しているフィールドの画像を乗算器１５１に出力する。乗算器１５１には、上述した動き量決定部１２４によって決定された値ｋが供給され、これによりフィールドメモリ１５０から供給された画像が（１−ｋ）倍されて加算器１３０に出力される。
【００６５】
加算器１３０は、動画用補間画像出力部１１３ａおよび静止画用補間画像出力部１１３ｂから供給される画像を加算し、加算した画像がＦＩＦＯ（First In First Out）メモリ３５１に供給され、当該画像がＦＩＦＯメモリ３５１から２倍速で切替スイッチ１３１に出力する。
【００６６】
切替スイッチ１３１には、上記のような加算器１３０からの加算画像が供給されるとともに、ＭＰＥＧ２復号部１１０から供給されるフィールド画像、すなわち処理対象フィールドの画像がＦＩＦＯ（First In First Out）メモリ３５０を介して供給される。ここで、切替スイッチ１３１には、ＭＰＥＧ２復号部１１０によって復号された画像がＦＩＦＯメモリ３５０から２倍速で供給される。切替スイッチ１３１は、ＭＰＥＧ２復号部１１０から供給される画像と加算器１３０から供給される画像を１ライン毎に切り換えて出力する。すなわち、ＭＰＥＧ２復号部１１０から出力されたフィールドの各ラインの画像を出力する間に、加算器１３０から出力された各ラインの画像を出力することにより、ＭＰＥＧ２復号部１１０から出力されたフィールド画像の各ライン間が補間されたプログレッシブ画像が切替スイッチ１３１から出力されるのである。
【００６７】
例えば、動き量決定部１２４によってＭＰＥＧ２復号部１１０から出力されたフィールド画像（処理対象フィールド画像）の動きがないと判断され、ｋ＝０が乗算器１４３および乗算器１５１に供給された場合、動画用補間画像出力部１１３ａからは画像は出力されず、静止画用補間画像出力部１１３ｂからの画像がそのまま乗算器１５１を経て加算器１３０に出力される。すなわち、加算器１３０からの出力される画像は、静止画用補間画像出力部１１３ｂから出力された画像であり、ＭＰＥＧ２復号部１１０から出力されるフィールド画像の各ライン間を補間する画像として、静止画用補間画像出力部１１３ｂから出力される画像が用いられるのである。
【００６８】
このように動き量決定部１２４によってｋ＝０が出力された場合において、ＭＰＥＧ２復号部１１０から出力されるフィールド画像（インターレース）がプログレッシブ画像に変換される様子を図４に示す。同図に示すように、ＭＰＥＧ２復号部１１０から出力される処理対象フィールド画像がａ１，ａ２，ａ３，ａ４……といったライン画像から構成されており、当該フィールド画像に１つ先行して出力された先行フィールド画像がｂ１，ｂ２，ｂ３，ｂ４……といったライン画像から構成されているものとする。上述したように静止画用補間画像出力部１１３ｂは、フィールドメモリ１５０を有しており、当該フィールドメモリ１５０が次のフィールド画像が供給するまでフィールド画像を一時的に蓄積するので、静止画用補間画像出力部１１３ｂから出力されるフィールド画像は、ＭＰＥＧ２復号部１１０から切替スイッチ１３１に出力されるフィールド画像の１つ前に出力された画像、すなわち先行フィールド画像である。したがって、ｋ＝０の場合には、切替スイッチ１３１からは処理対象フィールドのライン画像と、先行フィールドのライン画像とが交互に出力されることになる。すなわち、ａ１，ｂ１，ａ２，ｂ２，ａ３，ｂ３……といったライン画像から構成されるプログレッシブ画像、いわゆるフィールド間内挿処理により補間されたプログレッシブ画像が出力されるのである。
【００６９】
一方、動き量決定部１２４によってＭＰＥＧ２復号部１１０から出力されたフィールド画像（処理対象フィールド画像）が動いていると判断され、ｋ＝１が乗算器１４３および乗算器１５１に供給された場合、静止画用補間画像出力部１１３ｂからは画像は出力されず、動画用補間画像出力部１１３ａからの画像がそのまま乗算器１４３を経て加算器１３０に出力される。すなわち、加算器１３０からの出力される画像は、動画用補間画像出力部１１３ａから出力された画像であり、ＭＰＥＧ２復号部１１０から出力されるフィールド画像の各ライン間を補間する画像として、動画用補間画像出力部１１３ａから出力される画像が用いられるのである。
【００７０】
このように動き量決定部１２４によってｋ＝１が出力された場合において、ＭＰＥＧ２復号部１１０から出力されるフィールド画像（インターレース）がプログレッシブ画像に変換される様子を図５に示す。同図に示すように、ＭＰＥＧ２復号部１１０から出力される処理対象フィールド画像がａ１，ａ２，ａ３，ａ４……といったライン画像から構成されているものとする。上述したように動画用補間画像出力部１１３ａは、処理対象フィールドの隣接するライン画像を平均した画像が各ラインを構成する画像が出力される。すなわち、動画用補間画像出力部１１３ａからは、図示のように（ａ１＋ａ２）／２，（ａ２＋ａ３）／２，（ａ３＋ａ４）／２……といったライン画像が順次出力されるのである。したがって、ｋ＝１の場合には、切替スイッチ１３１からは処理対象フィールドのライン画像と、動画用補間画像出力部１１３ａから順次出力される（ａ１＋ａ２）／２，（ａ２＋ａ３）／２，（ａ３＋ａ４）／２……といったライン画像とが交互に出力されることになる。これにより、ａ１，（ａ１＋ａ２）／２，ａ２，（ａ２＋ａ３）／２，ａ３，（ａ３＋ａ４）／２……といったライン画像から構成されるプログレッシブ画像、いわゆるフィールド内内挿処理によって補間されたプログレッシブ画像が出力されるのである。
【００７１】
また、動き量決定部１２４によって出力されるｋが１および０ではない場合には、加算器１３０には、動画用補間画像出力部１１３ａから出力された画像（動画用画像という）×ｋと、静止画用補間画像出力部１１３ｂから出力された画像（静止画用画像という）×（１−ｋ）が供給され、両者が加算されて切替スイッチ１３１に出力されることになる。したがって、上記のように処理対象フィールド画像がａ１，ａ２，ａ３，ａ４……といったライン画像から構成されており、当該フィールド画像に１つ先行して出力された先行フィールド画像がｂ１，ｂ２，ｂ３，ｂ４……といったライン画像から構成されているものとした場合、ａ１，ｂ１×（１−ｋ）＋ｋ（ａ１＋ａ２）／２，ａ２，ｂ２×（１−ｋ）＋ｋ（ａ２＋ａ３）／２，ａ３，ｂ３×（１−ｋ）＋ｋ（ａ３＋ａ４）／２……といったライン画像から構成されるプログレッシブ画像が出力されるのである。
【００７２】
本実施形態では、動き量検出部１１２によってプログレッシブ変換を行うインターレース画像の動きが検出され、検出した動きに応じてフィールド内内挿処理およびフィールド間内挿処理との適宜選択、もしくは混合して行うことにより、画像の動きの大小に関わらず、優れた画質のプログレッシブ画像に変換することができる。本実施形態では、このように優れた画質のプログレッシブ画像に変換するための必要となる画像の動きを、復元画像（ビデオ信号）を参照するのではなく、ＭＰＥＧ２に準拠した符号化処理によって作成された画像の動きに関わるパラメータを利用して検出している。ＭＰＥＧ２に準拠した符号化処理では、連続するフィールド（もしくはフレーム）間の画像の差分や動きベクトル等の情報を用いてデータ圧縮を実現するものであり、ＭＰＥＧ２に準拠した符号化処理によって符号化されたデータには、画像の動きを推定するために利用できるパラメータが多数含まれている。本実施形態では、このように画像を圧縮符号化するために用いられているパラメータを、インターレース・プログレッシブ変換を行う際の画像の動きの推定に利用しているのである。もちろん、従来のインターレース・プログレッシブ変換においても、画像の動きに応じてフィールド間内挿処理やフィールド内内挿処理を適宜選択または混合等する技術もあったが、従来は復元した複数フィールド分の画像（ビデオ信号）から動きを求めているので複雑な演算処理を行う必要があった。これに対し本実施形態では、高圧縮符号化のために用いられているパラメータを利用して画像の動きを検出しているので、新たに複数フィールド間の画像の動き等を求めるための複雑な演算処理等を行う必要がない。したがって、当該インターレース・プログレッシブ変換処理をソフトウェアにより実現する場合にも、パーソナルコンピュータ（ＰＣ）等のＣＰＵ（Central Processing Unit）が実行すべき演算量を大幅に削減することができ、従来のインターレース・プログレッシブ変換と比較して、性能的に劣るＣＰＵを搭載したＰＣでもソフトウェアによるインターレース・プログレッシブ変換を実現することができる。
【００７３】
また、ＭＰＥＧ２に準拠した符号化処理で求められるフィールド間（フレーム間）の動きや画像の差分に関するパラメータは十分に正確性を持ったものであり、これらのパラメータを利用する動き推定も十分に正確性を有しているといえる。したがって、本実施形態では、インターレース・プログレッシブ変換の際に用いる画像の動きを、簡易な処理でより正確に推定することができるのである。
【００７４】
Ｂ．第２実施形態
次に、図６は本発明の第２実施形態に係るインターレース・プログレッシブ変換装置の構成を示す。同図に示すように、第２実施形態に係るインターレース・プログレッシブ変換装置２００は、第１実施形態に係るインターレース・プログレッシブ変換装置１００における変換処理部１１３に代えて、動画用補間画像出力部１１３ａおよび静止画用補間画像出力部１１３ｂに加えて動き補償補間画像出力部２１３を有する変換処理部２１５を備えている。なお、第２実施形態において、第１実施形態と共通する構成要素には同一の符号を付けて、その説明を省略する。
【００７５】
第２実施形態に係るインターレース・プログレッシブ変換装置２００の動き量検出部１１２’は、上記第１実施形態における動き量決定部１２４に代えて、動き量決定部１２４’を有している。動き量決定部１２４’は、上述した第１実施形態と同様、パラメータ保存部１２２に保存された各種パラメータに基づいて、処理対象フィールドの動きを推定し、推定した動きに応じてα、β、γといった３つの値を決定する（α＋β＋γ＝１）。
【００７６】
ここで、パラメータ保存部１２２に保存された複数種類のパラメータを用いて動き量決定部１２４’が動き量を推定して値α、β、γを決定する処理の一例について図７を参照しながら説明する。
【００７７】
まず、処理対象となっているマクロブロックが「スキップト・マクロブロック」であるか否かを判断し（ステップＳｂ１）、「スキップト・マクロブロック」である場合には、静止していると判断し、β＝１、α＝γ＝０に決定する。ここで、「スキップト・マクロブロック」であるか否かは、マクロブロックアドレスを参照することにより判断できる。
【００７８】
次に、マクロブロックが「スキップト・マクロブロック」ではない場合、マクロブロックタイプが「ノンＭＣコーデッド」であるか否かを判別し（ステップＳｂ２）、「ノンＭＣコーデッド」の場合には、マクロブロックを構成する各ブロックのうち係数を持っているブロックが所定数以上であるか否かを判別する（ステップＳｂ３）。ここで、係数を持っているブロックの数はＣＢＰを参照することにより判別できる。ブロック数が所定数以上である場合には、当該マクロブロックが動いていると判断し、α＝１、β＝γ＝０に決定する。一方、ブロック数が所定数未満である場合には当該マクロブロックは静止していると判断し、β＝１、α＝γ＝０に決定する。
【００７９】
一方、ステップＳｂ２の判別において「ノンＭＣコーデッド」ではないと判別された場合には、マクロブロックタイプが「ＭＣコーデッド」または「ＭＣ符号化不要」であるか否かを判別する（ステップＳｂ４）。ここで、「ＭＣコーデッド」または「ＭＣ符号化不要」である場合は、当該マクロブロックが動いているものの、その動き補償が有効と判断され、この場合にはγ＝１，α＝β＝０に決定する。
【００８０】
一方、ステップＳｂ４の判別において、マクロブロックタイプが「ＭＣコーデッド」または「ＭＣ符号化不要」ではないと判断された場合には、α＝１、β＝γ＝０に決定する。
【００８１】
以上のようにして決定された現在ＭＰＥＧ２復号部１１０から出力されている画像のマクロブロックの動きに応じた値α、β、γは動き量決定部１２４から各々動画用補間画像出力部１１３ａ、静止画用補間画像出力部１１３ｂおよび動き補償補間画像出力部２１３に出力される。
【００８２】
変換処理部２１５は、上記第１実施形態と同様の動画用補間画像出力部１１３ａ、静止画用補間画像出力部１１３ｂ、加算器１３０、および切替スイッチ１３１と、動き補償補間画像出力部２１３と、加算器２１６とを備えている。
【００８３】
第２実施形態においては、動画用補間画像出力部１１３ａの乗算器１４３には動き量決定部１２４’によって決定されたαが供給され、これにより乗算器１４３からは１つのフィールド画像における上下に隣接するラインの画像を平均した画像がα倍されて出力されるのである。
【００８４】
また、静止画用補間画像出力部１１３ｂの乗算器１５１には、動き量決定部１２４’によって決定されたβが供給され、これにより乗算器１５１からはフィールドメモリ１５０から供給された画像（処理対象フィールドの１つ前に出力されたフィールド）がβ倍されて加算器２１６に出力される。
【００８５】
動き補償補間画像出力部２１３は、フレームメモリ２２０と、動き補償部２２１と、乗算器２２２とを備えている。フレームメモリ２２０には、ＭＰＥＧ２復号部１１０から出力された２フィールド分の画像が蓄積され、動き補償部２２１は当該フレームメモリ２２０に蓄積された画像を参照することになる。動き補償部２２１は、動き量検出部１１２’の可変長復号器１２０から順次出力される各マクロブロック毎の動きベクトルに従い、各マクロブロックに対応した参照画像であるフレームメモリ２２０に蓄積された参照マクロブロックの所在を求める。動き補償部２２１は、このように動きベクトルにしたがって求めた参照マクロブロックの画像をフレームメモリ２２０から読み出し、乗算器２２２に出力する。図８に示すように、動き補償部２２１は、各マクロブロックＭＢ毎に過去の画像中の参照マクロブロックＳＭＢを求め、当該参照マクロブロックＳＭＢの画像を各マクロブロックに当てはめた補間用画像を乗算器２２２に出力するのである。乗算器２２２には、動き量決定部１２４’によって決定されたγが供給され、これにより乗算器２２２から上記のように動き補償部２２１から出力された補間用画像がγ倍されて加算器２１６に出力される。
【００８６】
加算器２１６には、上述したように静止画用補間画像出力部１１３ｂの乗算器１５１から出力される画像と、動き補償補間画像出力部２１３の乗算器２２２から出力される画像とが供給され、両者が加算されて加算器１３０に出力される。
【００８７】
加算器１３０は、動画用補間画像出力部１１３ａから出力される画像と、加算器２１６から出力される画像、すなわち静止画用補間画像出力部１１３ｂおよび動き補償補間画像出力部２１３から出力される画像を加算した画像とを加算し、加算した画像をＦＩＦＯメモリ３５１を介して切替スイッチ１３１に出力する。
【００８８】
切替スイッチ１３１には、上記のような加算器１３０からの加算画像が供給されるとともに、ＭＰＥＧ２復号部１１０から供給されるフィールド画像、すなわち処理対象フィールドの画像がＦＩＦＯメモリ３５０を介して供給される。切替スイッチ１３１は、ＭＰＥＧ２復号部１１０から供給される画像と加算器１３０から供給される画像を１ライン毎に切り換えて出力する。すなわち、ＭＰＥＧ２復号部１１０から出力されたフィールドの各ラインの画像を出力する間に、加算器１３０から出力された各ラインの画像を出力することにより、ＭＰＥＧ２復号部１１０から出力されたフィールド画像の各ライン間が補間されたプログレッシブ画像が切替スイッチ１３１から出力されるのである。
【００８９】
例えば、動き量決定部１２４’によってＭＰＥＧ２復号部１１０から出力されたフィールド画像（処理対象フィールド画像）の動きがないと判断され、β＝１、α＝γ＝０が変換処理部２１５に供給された場合、動画用補間画像出力部１１３ａおよび動き補償補間画像出力部２１３からは画像は出力されず、静止画用補間画像出力部１１３ｂからの画像がそのまま乗算器１５１、加算器２１６を経て加算器１３０に出力される。すなわち、加算器１３０からの出力される画像は、静止画用補間画像出力部１１３ｂから出力された画像であり、ＭＰＥＧ２復号部１１０から出力されるフィールド画像の各ライン間を補間する画像として、静止画用補間画像出力部１１３ｂから出力される画像が用いられるのである。この場合、上述した第１実施形態で説明したフィールド間内挿処理（図４参照）が行われ、インターレース画像がプログレッシブ画像に変換されて出力される。
【００９０】
次に、動き量決定部１２４’によってＭＰＥＧ２復号部１１０から出力されたフィールド画像（処理対象フィールド画像）が動いていると判断され、α＝１、β＝γ＝０が変換処理部２１５に供給された場合、静止画用補間画像出力部１１３ｂおよび動き補償補間画像出力部２１３からは画像は出力されず、動画用補間画像出力部１１３ａからの画像がそのまま乗算器１４３を経て加算器１３０に出力される。すなわち、加算器１３０からの出力される画像は、動画用補間画像出力部１１３ａから出力された画像であり、ＭＰＥＧ２復号部１１０から出力されるフィールド画像の各ライン間を補間する画像として、動画用補間画像出力部１１３ａから出力される画像が用いられるのである。この場合、上述した第１実施形態で説明したフィールド内内挿処理（図５参照）が行われ、インターレース画像がプログレッシブ画像に変換されて出力される。
【００９１】
次に、動き量決定部１２４’によってＭＰＥＧ２復号部１１０から出力されたフィールド画像（処理対象フィールド画像）がゆっくり動いていると判断され、γ＝１、α＝β＝０が変換処理部２１５に供給された場合、静止画用補間画像出力部１１３ｂおよび動画用補間画像出力部１１３ａからは画像は出力されず、動き補償補間画像出力部２１３からの画像がそのまま乗算器２２２、加算器２１６を経て加算器１３０に出力される。すなわち、加算器１３０からの出力される画像は、動き補償補間画像出力部２１３から出力された画像であり、ＭＰＥＧ２復号部１１０から出力されるフィールド画像の各ライン間を補間する画像として、動き補償補間画像出力部２１３から出力される画像が用いられるのである。上述したように動き補償補間画像出力部２１３から出力される画像は、各マクロブロック毎に動きベクトルに従い、過去の参照画像から抽出されたものであり、処理対象フィールド画像の動き量を反映して作成された画像である。このような画像が処理対象フィールド画像の各ライン間の補間画像として用いられ、インターレース画像がプログレッシブ画像に変換されて出力される。
【００９２】
第２実施形態では、第１実施形態と同様に動き量検出部１１２’によってプログレッシブ変換を行うインターレース画像の動きが検出され、静止している場合にはフィールド間内挿処理が行われ、大きく動いている場合にはフィールド内内挿処理が行われる。また、画像が大きく動いている場合や静止している場合にも、優れた画質のプログレッシブ画像に変換することができる。さらに、第２実施形態では、処理対象画像がゆっくりとした動きである場合には、ＭＰＥＧ２に準拠した符号化処理によって作成された画像の動きを示す動きベクトルを利用して補間用の画像を作成している。このように動きベクトルに利用して作成された画像は、当然ながらその処理対象画像の動き量を反映した画像となる。すなわち、動き量に応じた補間画像を作成し、インターレース画像をプログレッシブ画像に変換することができるのである。
【００９３】
【発明の効果】
以上説明したように、本発明によれば、インターレースフォーマットの画像を、より簡易な処理でより正確にプログレッシブフォーマットの画像に変換することができる。
【図面の簡単な説明】
【図１】 本発明の第１実施形態に係るインターレース・プログレッシブ変換装置の構成を示す図である。
【図２】 前記インターレース・プログレッシブ変換装置の構成要素であるフィールド同期検出部による処理を説明するための図である。
【図３】 前記インターレース・プログレッシブ変換装置の構成要素である動き量決定部による処理を説明するためのフローチャートである。
【図４】 前記インターレース・プログレッシブ変換装置により実行されるフィールド間内挿処理を説明するための図である。
【図５】 前記インターレース・プログレッシブ変換装置により実行されるフィールド内内挿処理を説明するための図である。
【図６】 本発明の第２実施形態に係るインターレース・プログレッシブ変換装置の構成を示す図である。
【図７】 第２実施形態に係る前記インターレース・プログレッシブ変換装置の構成要素である動き量決定部による処理を説明するためのフローチャートである。
【図８】 第２実施形態係る前記インターレース・プログレッシブ変換装置の構成要素である動き補償部による補間画像作成処理を説明するための図である。
【図９】 従来のインターレース・プログレッシブ変換装置の構成を示す図である。
【符号の説明】
１１０……ＭＰＥＧ２復号部、１１１……バッファ、１１２，１１２’……動き量検出部、１１３……変換処理部、１２０……可変長復号器、１２１……フィールド同期検出部、１２２……パラメータ保存部、１２３……ＭＢＡカウンタ、１２４，１２４’……動き量決定部、１１３ａ……動画用補間画像出力部、１１３ｂ……静止画用補間画像出力部、１３１……切替スイッチ、２１３……動き補償補間画像出力部、２１５……変換処理部、２２０……フレームメモリ、２２１……動き補償部

Claims (2)

1. フィールド単位のフィールド内符号化アルゴリズム又はフレーム単位のフレーム内符号化アルゴリズムと動き補償を伴った、フィールド間符号化アルゴリズム又はフレーム間符号化アルゴリズムを含む符号化アルゴリズムであって、フィールド画像を構成する複数のマクロブロック毎の動きベクトル情報、マクロブロックのタイプが非動き補償コーデッドであるか動き補償コーデッドであるかを示すマクロブロックタイプ情報および有意ブロックパターンを示すＣＢＰ（Coded Block Pattern）情報を含む符号化画像データを作成するための符号化アルゴリズムによって、１対のフィールドを１フレームとするインターレース画像を符号化した符号化画像データを、プログレッシブ画像に変換するインターレース・プログレッシブ変換方法であって、
   （ａ）前記符号化画像データを、前記符号化アルゴリズムに対応した復号アルゴリズムにより復号してフィールド画像を復元する復号ステップと、
   （ｂ）前記符号化画像データから、前記動きベクトル情報、前記マクロブロックタイプ情報および前記ＣＢＰ情報を抽出する抽出ステップと、
   （ｃ）前記符号化画像データから抽出された前記動きベクトル情報、前記マクロブロックタイプ情報および前記ＣＢＰ情報に基づいて、前記復元されたフィールド画像を分割したマクロブロックの動きの大小を検出する動き検出ステップであって、
   前記マクロブロックタイプ情報が非動き補償コーデッドである場合、当該マクロブロックタイプ情報に対応するマクロブロックの前記ＣＢＰ情報によって当該マクロブロック内の係数を持っているブロック数を判別し、そのブロック数が所定数以上のときにはマクロブロックの動きが大きいと判断する一方、当該ブロック数が前記所定数未満のときにはマクロブロックの動きが小さいと判断する第１のステップと、
   前記マクロブロックタイプ情報が動き補償コーデッドである場合、前記動きベクトル情報の絶対値が閾値以上であるときには、マクロブロックの動きが大きいと判断する一方、前記動きベクトル情報の絶対値が前記閾値未満であるときには、マクロブロックの動きが小さいと判断する第２のステップと
   からなる動き検出ステップと、
   （ｄ）前記フィールド画像を補間するための画像データを、前記マクロブロックの動きが大きいほど、当該フィールド画像に先行する先行フィールド画像に基づくフィールド間内挿処理の割合を小さく、且つ、前記マクロブロックの動きが小さいほど、当該フィールド画像に基づくフィールド内内挿処理の割合を小さくした処理方法で生成し、生成した当該画像データによって当該フィールド画像を補間することによりプログレッシブ画像に変換する変換ステップと
   を具備することを特徴とするインターレース・プログレッシブ変換方法。
2. フィールド単位のフィールド内符号化アルゴリズム又はフレーム単位のフレーム内符号化アルゴリズムと動き補償を伴った、フィールド間符号化アルゴリズム又はフレーム間符号化アルゴリズムを含む符号化アルゴリズムであって、フィールド画像を構成する複数のマクロブロック毎の動きベクトル情報、マクロブロックのタイプが非動き補償コーデッドであるか動き補償コーデッドであるかを示すマクロブロックタイプ情報および有意ブロックパターンを示すＣＢＰ（Coded Block Pattern）情報を含む符号化画像データを作成するための符号化アルゴリズムによって、１対のフィールドを１フレームとするインターレース画像を符号化した符号化画像データを、プログレッシブ画像に変換するインターレース・プログレッシブ変換装置であって、
   （ａ）前記符号化画像データを、前記符号化アルゴリズムに対応した復号アルゴリズムにより復号してフィールド画像を復元する復号手段と、
   （ｂ）前記符号化画像データから、前記動きベクトル情報、前記マクロブロックタイプ情報および前記ＣＢＰ情報を抽出する抽出手段と、
   （ｃ）前記符号化画像データから抽出された前記動きベクトル情報、前記マクロブロックタイプ情報および前記ＣＢＰ情報に基づいて、前記復元されたフィールド画像を分割したマクロブロックの動きの大小を検出する動き検出手段であって、
   前記マクロブロックタイプ情報が非動き補償コーデッドである場合、当該マクロブロックタイプ情報に対応するマクロブロックの前記ＣＢＰ情報によって当該マクロブロック内の係数を持っているブロック数を判別し、そのブロック数が所定数以上のときにはマクロブロックの動きが大きいと判断する一方、当該ブロック数が前記所定数未満のときにはマクロブロックの動きが小さいと判断し、
   前記マクロブロックタイプ情報が動き補償コーデッドである場合、前記動きベクトル情報の絶対値が閾値以上であるときには、マクロブロックの動きが大きいと判断する一方、前記動きベクトル情報の絶対値が前記閾値未満であるときには、マクロブロックの動きが小さいと判断する動き検出手段と、
   （ｄ）前記フィールド画像を補間するための画像データを、前記マクロブロックの動きが大きいほど、当該フィールド画像に先行する先行フィールド画像に基づくフィールド間内挿処理の割合を小さく、且つ、前記マクロブロックの動きが小さいほど、当該フィールド画像に基づくフィールド内内挿処理の割合を小さくした処理方法で生成し、生成した当該画像データによって当該フィールド画像を補間することによりプログレッシブ画像に変換する変換手段と
   を具備することを特徴とするインターレース・プログレッシブ変換装置。

Images