JP5143164B2 - 画像処理装置と画像処理方法 - Google Patents

Description

本発明は、低解像度の映像から高解像度の映像を生成するための画像処理技術に関する。

近年、例えばＮＴＳＣ（National Television System Committee）規格の映像信号などの低解像度の映像を、高解像度のフラットパネル型ディスプレイで表示する要求が増えている。具体的には、低解像度で放送又は撮影された映像（便宜的にソース側映像）を、デジタルテレビやパーソナルコンピュータの高解像度のディスプレイに再生して表示する場合である。

通常では、ソース側映像は、インターレース形式（飛び越し走査方式）の映像である。従って、このようなソース側映像を高解像度のディスプレイに表示する場合には、インターレース形式の映像を、ディスプレイ側のプログレッシブ形式(順次走査方式)の映像に変換するＩＰ変換（Interlace/Progressive変換）処理が必要となる（例えば、特許文献１から４又は非特許文献１を参照）。

また、低解像度のソース側映像を、高解像度のディスプレイに表示する場合、画像の拡大処理が必要となる。近年、拡大処理については、鮮鋭な映像が得られる超解像技術が開発されている（例えば、非特許文献２を参照）。超解像処理は、低解像度の映像から高解像度の映像を生成する処理である。超解像方式は、複数フレームの再構成処理を行なう再構成方式が有効である。

特開２００７−２５１６８８号公報 特開２００７−２５１６８６号公報 特開平８−２６３６３９号公報 特許第３８０４８９３号公報

画像処理ハンドブック，東京大学出版会，２００４年，pp.1360-1373 東芝レビュー，Vol.63, No.11, 2008, pp.50-53

低解像度の映像を高解像度のディスプレイに表示する画像処理では、ＩＰ変換処理と拡大処理が必要であり、これらの処理が別々に実行されている。即ち、再構成方式の超解像技術を利用する拡大処理は、ＩＰ変換処理により得られたプログレッシブ形式の映像から複数フレームを再構成して高解像度化した拡大プログレッシブ形式の映像を生成する。

しかしながら、従来の超解像方式による拡大処理では、ＩＰ変換処理により補完された精度の低い画素が超解像処理の過程や結果に伝播して、生成される映像の低画質化を招く問題がある。一方、ＩＰ変換前のインターレース映像を使用して、超解像方式の再構成処理に必要な高精度の位置合わせ処理を行なうのは困難である。

そこで、本発明の目的は、超解像方式を利用して高画質で高解像度化した拡大プログレッシブ形式の映像を生成することができる画像処理装置を提供することにある。

本発明の観点に従った画像処理装置は、インターレース形式の映像をプログレッシブ形式の映像に変換するＩＰ変換手段と、前記プログレッシブ形式の映像を構成する複数のフレームの動きベクトル情報及び前記インターレース形式の映像を使用して、拡大プログレッシブ形式の映像を生成する超解像処理手段とを備えた構成である。

本発明によれば、超解像方式を利用して高画質で高解像度化した拡大プログレッシブ形式の映像を生成することができる。

本発明の第１の実施形態に関する画像処理装置の構成を説明するためのブロック図。 第１の実施形態に関するインターレース形式の映像を説明するための図。 第１の実施形態に関するプログレッシブ形式の映像を説明するための図。 第１の実施形態に関する位置合わせ処理を説明するための図。 第１の実施形態に関するテンプレートマッチング処理を説明するための図。 第２の本実施形態に関する画像処理装置の構成を説明するためのブロック図。 第３の本実施形態に関する画像処理装置の構成を説明するためのブロック図。 第４の本実施形態に関する画像処理装置の構成を説明するためのブロック図。 第５の本実施形態に関する画像処理装置の構成を説明するためのブロック図。

以下図面を参照して、本発明の実施形態を説明する。

［第１の実施形態］
本実施形態の画像処理装置は、超解像方式を利用する拡大処理での位置合わせ処理をＩＰ変換により得られるプログレッシブ形式の映像で実行し、インターレース形式の映像で再構成処理を実行する構成である。

（画像処理装置の構成）
図１は、本実施形態に関する画像処理装置１０の要部を示すブロック図である。

図１に示すように、画像処理装置１０は大別して、ＩＰ変換（Interlace/Progressive変換）処理部１１と、超解像方式の拡大処理部１３とを含む。ＩＰ変換処理部１１は、インターレース形式の映像（以下、インターレース映像と表記する場合がある）１００を、プログレッシブ形式の映像（以下、プログレッシブ映像と表記する場合がある）１１０に変換する。

ここで、画像処理装置１０は、インターレース映像が例えばＮＴＳＣ規格のアナログ映像信号である場合、デジタル映像信号に変換するためのＡ／Ｄコンバータ１２を入力側に有する。但し、インターレース映像としてデジタル映像信号を想定する場合には、画像処理装置１０は、入力側にＡ／Ｄコンバータ１２を必要としない。

拡大処理部１３は、低解像度のインターレース映像（デジタル映像信号）１００から、高解像度の拡大プログレッシブ映像１３０を、超解像方式（超解像アルゴリズム）により生成する。拡大処理部１３は、位置合わせ処理部１４及び再構成処理部１５を含む。位置合わせ処理部１４は、後述するように、プログレッシブ映像１１０から動きベクトル情報１２０を生成する。再構成処理部１５は、インターレース映像１００を入力し、動きベクトル情報１２０を使用して当該インターレース映像１００を再構成し、表示装置１６の高解像度に適合する拡大プログレッシブ形式の映像（以下、拡大プログレッシブ映像と表記する場合がある）１３０を生成する。

表示装置１６は、デジタルテレビやパーソナルコンピュータに使用される高解像度のフラットパネル型ディスプレイを有し、拡大プログレッシブ映像１３０をディスプレイ上に表示する。

（画像処理装置の動作）
以下、図２から図５を参照して、本実施形態の画像処理装置１０の動作を説明する。

まず、ＩＰ変換処理部１１は、インターレース映像（デジタル映像信号）１００をプログレッシブ映像１１０に変換する。インターレース映像１００は、図２（Ａ），（Ｂ）に示すように、時間的にずれたトップフィールドとボトムフィールドの２つのフィールドを組みとして、１つのフレームを構成している。インターレース映像１００は、そのようなトップフィールドとボトムフィールドが連続して構成される。具体的には、インターレース映像１００は、例えばＶＧＡ（６４０×４８０画素）解像度で、３０fps(１秒間に３０フレーム、即ち１秒間に６０フィールド)の低解像度映像である。

本実施形態では、ＩＰ変換処理部１１は、インターレース映像１００の各フィールドを縦方向に２倍としてフレーム化してプログレッシブ映像１１０に変換する。具体的には、ＩＰ変換処理部１１は、図２（Ａ）に示すように、点線部分２００（実線部分２１０）にライン補間して縦方向へ２倍拡大してフィールドをフレームに変換する。即ち、ＩＰ変換処理は、ラインずれしたフィールドを縦方向（垂直方向）に２倍する処理に相当する。

ＩＰ変換処理部１１は、縦方向への２倍拡大処理として、例えば動き適応型ＩＰ変換アルゴリズムを使用する。これは、動きがない部分は直前のフィールドの画素をコピーし、動きのある部分は補完したいラインの上下の平均値を計算して新たな画素値として使用するアルゴリズムである。

図３に示すように、ＩＰ変換処理部１１は、インターレース映像１００から複数のフレームＦ１〜Ｆ４からなるプログレッシブ映像１１０を生成する。プログレッシブ映像１１０は、例えば解像度（６４０×４８０画素）で、６０fps(１秒間に６０フレーム)の高解像度映像である。なお、インターレース映像１００のフィールドの画素は６４０×２４０であり、ＩＰ変換処理によりライン数が２倍となり、６４０×４８０画素のプログレッシブ映像１１０となる。

次に、拡大処理部１３は、位置合わせ処理部１４及び再構成処理部１５を含み、複数フレームを用いるタイプの超解像アルゴリズムである超解像処理を実行する。超解像処理は大別して、位置合わせ処理と再構成処理の２つのプロセスからなる。

位置合わせ処理部１４は、図４（Ａ）に示すように、ＩＰ変換処理部１１から得られるフレームＦ１〜Ｆ５の中で、例えばフレームＦ３をリファレンスフレームとして設定し、前後のフレームＦ１，Ｆ２，Ｆ４，Ｆ５との動きベクトルを求める。動きベクトルは、サブピクセル（小数点画素）の精度が要求される。位置合わせ処理部１４は、領域ベースのテンプレートマッチング方法で整数精度の動きベクトルを求める。位置合わせ処理部１４は、その結果に対して、パラボラフィッティングや等角直線フィッティングによって、サブピクセル精度の動きベクトルの推定値を動きベクトル情報１２０として算出する。

テンプレートマッチング処理とは、図４（Ｂ）に示すように、リファレンスフレームＦ３の画像の中に、探索の対象となるフレームＦ１のテンプレート画像（小ブロック）４００と類似した部分４１０を探すことである。テンプレート画像４００の元の位置と、リファレンスフレームＦ３上で探索された類似ブロック４１０の位置の変位が動きベクトルである。

テンプレートマッチング処理には、２つの計算方法がある。図５（Ａ）は、リファレンスフレームＦ３の画像構成を示す。リファレンスフレームＦ３は、オリジナル画素５００とＩＰ変換処理により補間された画素５１０から構成されている。第１の計算方法は、図５（Ｂ）に示すように、テンプレートマッチング処理に、リファレンス画像とテンプレート画像のいずれも共にプログレッシブ映像を使用する方法である。また、第２の計算方法は、図５（Ｃ）に示すように、テンプレートマッチング処理に、リファレンス画像としてプログレッシブ映像を使用し、テンプレート画像としてインターレース映像を使用する方法である。但し、いずれの計算方法の場合も、ＩＰ変換の補間画素５１０が使用される可能性が残る。その使用状況によって、後段処理のサブピクセル精度の計算処理や、再構成処理に対して重み付けを行なうことになる。

次に、再構成処理部１５は、解像度（６４０×４８０画素）のプログレッシブ映像１１０を６０fps(１秒間に６０フレーム)の拡大プログレッシブ映像１３０に再構成して、例えば高解像度（１２８０×９６０画素）にする。なお、この拡大プログレッシブ映像１３０を、例えばＳＸＧＡ（１２８０×１０２４画素）解像度の表示装置１６に表示する場合には、画素が不足するため、画面上の上下に黒い帯を付けて表示するような調整処理が必要となる。

本実施形態の再構成処理部１５は、位置合わせ処理部１４により算出された動きベクトル情報１２０と、ＩＰ変換処理前のインターレース映像１００を使用して、複数フレームを使用する超解像アルゴリズムにより拡大プログレッシブ映像１３０を生成する。即ち、本実施形態の再構成処理部１５は、インターレース映像１００を直接的に入力し、ＩＰ変換処理部１１のＩＰ変換処理と並行して拡大プログレッシブ映像１３０を生成する拡大処理を実行する。

以上のように本実施形態の画像処理装置１０であれば、低解像度のインターレース映像１００から、高解像度の拡大プログレッシブ映像１３０を超解像方式により生成することができる。本実施形態では、再構成処理部１５は動きベクトル情報１２０と共に、ＩＰ変換処理部１１のＩＰ変換処理により得られるプログレッシブ映像１１０ではなく、インターレース映像１００を使用して拡大プログレッシブ映像１３０を生成する。

プログレッシブ映像１１０には、ＩＰ変換処理により解像度の低い補間ラインが含まれる。このため、ＩＰ変換後のプログレッシブ画像１１０に対して、超解像処理による拡大処理を実行した場合に、十分な鮮鋭性の拡大プログレッシブ映像を生成できない。これに対して、本実施形態の再構成処理部１５は、ＩＰ変換処理前のインターレース映像１００を使用して拡大プログレッシブ映像１３０を生成するため、解像度の低い補間ラインに影響されることなく、十分な鮮鋭性を備えた拡大プログレッシブ映像１３０を生成できる。要するに、本実施形態の画像処理装置１０は、ＩＰ変換処理と拡大処理とを並行して実行し、インターレース映像１００を直接的に処理する複数フレームの超解像処理により高画質の拡大プログレッシブ映像１３０を生成できる。

［第２の実施形態］
図６は、第２の実施形態に関する画像処理装置１０の要部を示すブロック図である。なお、本実施形態の画像処理装置１０において、図１に示す第１の実施形態に関する画像処理装置１０と同様の構成については同一符号付して説明を省略する。

本実施形態の画像処理装置１０は、補間拡大処理部１７及びセレクタ１８を含む構成である。補間拡大処理部１７は、ＩＰ変換処理部１１により、インターレース映像１００をＩＰ変換したプログレッシブ映像１１０を入力し、補間処理法で拡大した拡大プログレッシブ映像１５０を生成する。拡大プログレッシブ映像１５０は、プログレッシブ映像１１０を例えば縦横２倍（画素数４倍）に拡大処理された映像である。

セレクタ１８は、位置合わせ処理部１４から出力される切替信号１４０に応じて、再構成処理部１５から出力される拡大プログレッシブ映像１３０と、補間拡大処理部１７から出力される拡大プログレッシブ映像１５０のいずれかを選択して表示装置１６に伝送する。

本実施形態の画像処理装置１０であれば、位置合わせ処理部１４は、プログレッシブ映像１１０から位置合わせ処理により正常に動きベクトル情報１２０を算出できない場合に、補間拡大処理部１７を指示する切替信号１４０をセレクタ１８に出力する。セレクタ１８は、その切替信号１４０に応じて、補間拡大処理部１７により生成された拡大プログレッシブ映像１５０を表示装置１６に伝送する。

従って、位置合わせ処理部１４が正常に動きベクトル情報１２０を算出できない場合、再構成処理部１５は拡大プログレッシブ映像１３０を生成できない状態なる。本実施形態であれば、このような場合でも、補間拡大処理部１７により生成された拡大プログレッシブ映像１５０を表示装置１６に伝送することが可能となる。

［第３の実施形態］
図７は、第３の実施形態に関する画像処理装置の要部を示すブロック図である。なお、本実施形態の画像処理装置において、図１に示す第１の実施形態に関する画像処理装置と同様の構成については同一符号付して説明を省略する。

本実施形態の画像処理装置では、超解像方式の拡大処理部１３は、画像メモリ１９を含む。拡大処理部１３は、再構成処理部１５により生成された拡大プログレッシブ映像１３０を表示装置１６に出力する共に、画像メモリ１９に保存する。拡大処理部１３では、位置合わせ処理部１４は、動きベクトル情報１２０を算出する位置合わせ処理に、画像メモリ１９に保存された過去の拡大プログレッシブ映像１３０Ｐを使用する。

本実施形態の画像処理装置であれば、位置合わせ処理部１４は、ＩＰ変換処理部１１からのプログレッシブ映像１１０だけでなく、画像メモリ１９に保存された過去の拡大プログレッシブ映像１３０Ｐを使用して動きベクトル情報１２０を算出できる。なお、画像メモリ１９には、再構成処理部１５から拡大プログレッシブ映像１３０の代わりに、再構成処理の過程で生成される推定低解像度画像が保存される構成でもよい。この場合、推定低解像度画像は拡大プログレッシブ映像１３０よりデータ量が少ないため、画像メモリ１９の容量を節約することが可能となる。

［第４の実施形態］
図８は、第４の実施形態に関する画像処理装置の要部を示すブロック図である。なお、本実施形態の画像処理装置において、図１に示す第１の実施形態に関する画像処理装置と同様の構成については同一符号付して説明を省略する。

本実施形態の画像処理装置において、拡大処理部１３は、複数フレームを用いるタイプの超解像アルゴリズムにより超解像処理を実行し、再構成処理部１５から拡大プログレッシブ映像１３０を生成する。ＩＰ変換処理部１１は、動き適応アルゴリズムによりＩＰ変換処理を実行するときに、ある画素がフィールドコピーされた画素あるいは補完された画素のいずれであるかを識別する識別情報をＩＰ変換特性情報１６０として1出力する。

拡大処理部１３は、ＩＰ変換処理部１１から出力されるＩＰ変換特性情報１６０を、再構成処理部１５が超解像アルゴリズムを実行するときに、劣化逆変換のモデルとして利用することで拡大プログレッシブ映像１３０を生成する。従って、本実施形態の画像処理装置１０では、図８に示すように、拡大処理部１３の再構成処理部１５にインターレース映像１００を入力するための伝送系が不要となり、構成の簡単化を図ることが可能となる。

［第５の実施形態］
図９は、第５の実施形態に関する画像処理装置の要部を示すブロック図である。なお、本実施形態の画像処理装置において、図１に示す第１の実施形態に関する画像処理装置と同様の構成については同一符号付して説明を省略する。

本実施形態の画像処理装置は、複数のカメラ２０により撮影されたインターレース映像１００を映像ソースとして処理し、統合処理部２１を含む構成である。統合処理部２１は、ＩＰ変換処理部及びカメラインターフェース制御部を含む構成である。統合処理部２１は、ＩＰ変換処理部から出力されるタイミング同期信号９００を、カメラインターフェース制御部を介して各カメラ２０に伝送する。このタイミング同期信号９００により、カメラ２０により撮影されたインターレース映像１００の伝送が同期化される。

統合処理部２１は、各カメラ２０により撮影されたインターレース映像（デジタル映像信号）１００を入力し、ＩＰ変換処理部によりＩＰ変換されたプログレッシブ映像９１０を拡大処理部１３に出力する。統合処理部２１は、各カメラ２０により撮影されたインターレース映像１００を統合した中間映像を生成する。即ち、統合処理部２１から出力されるプログレッシブ映像９１０は、２つのカメラ２０の特性差や位置ずれなどが含まれた不完全な映像である。

統合処理部２１は、その不完全な映像９１０の特性を示す特性情報９２０を、拡大処理部１３に伝送する。拡大処理部１３では、再構成処理部１５が超解像アルゴリズムを実行するときに、特性情報９２０を劣化逆変換のモデルの点広がり関数(ＰＳＦ)、位置ずれ、及び変形情報として利用することが可能である。これにより、拡大処理部１３は、正常なＩＰ変換処理と拡大処理がなされた拡大プログレッシブ映像１３０を生成することが可能となる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０…画像処理装置、１１…ＩＰ変換処理部、１２…Ａ／Ｄコンバータ、
１３…拡大処理部、１４…位置合わせ処理部、１５…再構成処理部、１６…表示装置、
１７…補間拡大処理部、１８…セレクタ、１９…画像メモリ、２０…カメラ、
２１…統合処理部。

Claims (9)

1. インターレース形式の映像をプログレッシブ形式の映像に変換するＩＰ変換手段と、
   前記プログレッシブ形式の映像を構成する複数のフレームの動きベクトル情報及び前記インターレース形式の映像を使用して、拡大プログレッシブ形式の映像を生成する超解像処理手段と
   を具備したことを特徴とする画像処理装置。
2. 前記超解像処理手段は、
   前記プログレッシブ形式の映像の位置合わせ処理としてテンプレートマッチング処理を実行して、前記動きベクトル情報を生成する位置合わせ処理手段と、
   前記動きベクトル情報を使用して、前記インターレース形式の映像を再構成して前記拡大プログレッシブ形式の映像を生成する再構成処理手段と
   を含む構成であることを特徴とする請求項１に記載の画像処理装置。
3. 前記超解像処理手段は、
   前記ＩＰ変換手段のＩＰ変換処理と並行して、前記インターレース形式の映像を使用した前記拡大プログレッシブ形式の映像を生成する処理を実行する構成であることを特徴とする請求項１又は請求項２のいずれか１項に記載の画像処理装置。
4. 前記位置合わせ処理手段は、
   前記テンプレートマッチング処理として、リファレンス画像とテンプレート画像のいずれも共にプログレッシブ映像を使用することを特徴とする請求項２に記載の画像処理装置。
5. 前記位置合わせ処理手段は、
   前記位置合わせ処理に含まれるテンプレートマッチング処理として、リファレンス画像としてプログレッシブ映像を使用し、テンプレート画像としてインターレース映像を使用することを特徴とする請求項２に記載の画像処理装置。
6. 前記超解像処理手段は、
   前記位置合わせ処理手段の位置合わせ処理において、プログレッシブの補間画素を使用する場合とオリジナル画素を使用する場合により、重み付けを変更する処理を実行することを特徴とする請求項２に記載の画像処理装置。
7. 前記ＩＰ変換手段により変換されたプログレッシブ形式の映像から補間拡大処理により拡大プログレッシブ形式の映像を生成する補間拡大処理手段と、
   前記位置合わせ処理手段により前記動きベクトル情報が得られない場合に、前記超解像処理手段から前記補間拡大処理手段に切り替えて、前記補間拡大処理による拡大プログレッシブ形式の映像を選択する選択手段と
   を有することを特徴とする請求項２、４、５、６のいずれか１項に記載の画像処理装置。
8. 前記超解像処理手段により生成された前記拡大プログレッシブ形式の映像を保存するメモリ手段を有し、
   前記位置合わせ処理手段は、前記メモリ手段に保存された前記拡大プログレッシブ形式の映像を使用して前記位置合わせ処理を実行する構成であることを特徴とする請求項２、４、５、６のいずれか１項に記載の画像処理装置。
9. インターレース形式の映像をプログレッシブ形式の映像に変換する処理と、
   前記プログレッシブ形式の映像を構成する複数のフレームの動きベクトル情報を算出する処理と、
   前記動きベクトル情報及び前記インターレース形式の映像を使用して、拡大プログレッシブ形式の映像を生成する超解像処理と
   を実行することを特徴とする画像処理方法。

Images