JP6099104B2 - カラー動画像構造変換方法及びカラー動画像構造変換装置 - Google Patents

Description

テレビジョン映像などの動画像信号を効率的かつ高画質に伝送、蓄積、表示するための映像信号処理で、特に合理的な信号形態で形成されたカラー動画像を、通常形態のカラー動画像に変換する画像構造変換処理に属する。

近年、画像のデジタル化が普及し、動画像に限らずカラー画像信号は、赤(Red),緑(Green),青(Blue)の３原色により形成され、撮像や画像表示は、ＲＧＢを使用して行われている。一方、伝送や記録のための形態は、輝度と、ふたつの色差により形成されるコンポーネントカラー信号が使われる。これらは３原色から所定の変換により得られ、さらに色差がサブサンプリングされる場合が多い。具体的には、色差がサブサンプリングされない４：４：４、色差が水平方向に２分の１にサブサンプリングされる４：２：２、色差が水平と垂直の両方で２分の１にサブンサンプリングされた４：２：０といった色差サンプリング方式である。この様な動画像カラーフォーマットは、それぞれ規格として詳細に定義されており、放送などで広く使われている。

一方、カラー動画像の撮像において、最も簡易な方式として、各フレーム(インターレース走査画像ではフィールド)で色プレーンを切り替えるシーケンシャルカラー(カラー)方式(以下ＳＣとして参照する。)が過去にも検討された。この方式は、動き補償無しで色補間を行うことにより、動いた部分は原色間のズレを生じ、実用的な画像を与えることにはならない。なお、３倍速で撮像と表示を行なえばこのような問題は無いが、色差サブサンプリングのような合理化ができないので、現在は普及してはいない。

通常のＲＧＢ画像とそれに対応するＳＣ画像のフレーム関係を図７に示す。図７では、フレームにより撮像タイミングが異なり画像内容が変化していることを、色の濃さが異なる丸印の移動で表している。ＲＧＢ画像は、各フレームに３色すべての色プレーンが存在する。ＳＣ画像はひとつのフレームにひとつの色プレーンしか存在しない。そして、各フレームの色プレーンは、所定パターンでフレーム毎に入れ替わる。色プレーンは３種類なのでパターンは３フレーム周期となるので、３フレーム経過すると同じ色プレーンとなる。

ＳＣ画像の非圧縮データ量は、ＲＧＢ画像の３分の１であり、単色(白黒)画像と同じになる。これは、現在最も一般的に使われているコンポーネントカラー信号の４：２：０より少なく、機器間の接続において非圧縮で使われることの多い４：２：２の半分となる。

一方、表示装置において、３原色を時分割で表示する方法がある。各色がフレーム(フィールド)で順次となるので、フレーム(フィールド)シーケンシャル方式と呼ばれる。この場合は、通常１フレーム(フィールド)が提示される６０分の１秒間に、３原色のすべてを表示するので、色プレーンの表示速度は３倍となる。また、そもそも同一フレームの各色プレーンを表示タイミングだけ変えるので、画像内容の時間による動き変化は無い。この方式は、各色プレーンで動きによる画像変化があるシーケンシャルカラー方式とは異なるものである。

ＲＧＢ画像とＳＣ画像間の変換は、ＲＧＢ画像からＳＣ画像への変換と、ＳＣ画像からＲＧＢ画像への変換で大きく異なる。前者は色プレーンの間引きであり、容易に実現できる。後者は色プレーンの補間であり、近隣フレームを用いて色プレーン補間を行なう必要がある。既存色プレーンと補間色プレーンの様子を図８に示す。図８に示すように、補間色プレーンは既存色以外の２色であり、既存色が３フレーム周期で変化するので補間色プレーンも３フレーム周期で変化する。図８に示す補間１は、Ｒの画像からＢの画像を予測した補間を行う場合であり、補間２は、Ｒの画像からＧの画像を予測する場合の補間を行う場合である。

なお、コンポーネントカラー信号である４：２：２や４：２：０へは、ＲＧＢ画像からさらに変換が行われることになり、ＳＣ画像から直接変換することは現実的でない。つまり、いずれの形態への変換も一旦ＲＧＢ画像にしてから行なわれるので、そのための色プレーンの補間のみを検討する。

図９は、従来のカラー動画像構造変換装置の機能ブロック図である。以下、本明細書において、同一の機能を有する機能ブロックには、同一の符号を付して参照するものとする。シーケンシャルカラー画像入力１から入来するＳＣ画像信号は、参照画像メモリ２に格納され、遅延調整された信号は、次の参照画像メモリ３１に与えられる。参照画像メモリ３１で１フレーム分遅延した信号は次の参照画像メモリ３２に与えられる。参照画像メモリ３２は、参照画像メモリ３１と同様なもので、これにより参照画像メモリ２には現在フレームが、参照画像メモリ３１には１フレーム前の画像が、参照画像メモリ３２には２フレーム前の画像が格納される。格納されているのはＳＣ画像信号なので、それぞれのメモリの色プレーンはフレーム単位で更新される。

図９では、動き推定器４１は参照画像メモリ２の現在フレームの画像と参照画像メモリ３１の１フレーム前の画像を用いて動き推定を行い、１フレーム間の動きベクトルを得る。動き推定は、ブロックマッチングで、ブロックサイズ(動きベクトルを求める単位)は、４×４画素か８×８画素とする。探索精度は、0.5画素か、望ましくは0.25画素となる。動き補償器９は、参照画像メモリ３１に格納されている１フレーム前の画像を、動き推定器４２から与えられる動きベクトルに従って動き補償して補間画像１として画像多重化器１３に与える。ここでの画素精度は動き推定と同じである。

一方、動き推定器４１は、参照画像メモリ２の現在フレームの画像と参照画像メモリ３２の２フレーム前の画像を用いて動き推定を行い、２フレーム間の動きベクトルを得る。動き補償器１０は、参照画像メモリ３２に格納されている２フレーム前の画像を、動き推定器４１から与えられる動きベクトルに従って動き補償して補間画像２として画像多重化器１３に与える。これらの補間画像２を得るための処理は、２フレーム間で行なわれているので、動きベクトルの探索範囲のみ広げる。

画像多重化器１３は、参照画像メモリ２から現フレームの画像を既存画像として得て、補間画像１と補間画像２を出力フォーマットに合わせてフレームに同期して入替え、ＲＧＢ画像を形成する。変換されたＲＧＢ画像は、ＲＧＢ画像出力１４から出力される。

図９に示す従来のカラー動画像構造変換装置を使用した従来のカラー動画像構造変換について図１０を使用して具体的に説明する。図１０は、従来の動き補償色プレーン補間処理をＳＣ画像にそのまま適用する場合を示したもので、図１０(ａ)の片方向補間では、既存画像(R4)と１フレーム前(B3)との間で動き推定を行い、(B3)を動き補償して補間画像１を、既存画像(R4)と２フレーム前(G2)との間で動き推定を行い、(G2)を動き補償して補間画像２を得る。

一方、図１０(ｂ)では、フレーム内挿による補間が行われ、被補間フレーム(B12)をまたぐ画像(G11)と同色の逆方向フレーム(G14)との間で動き推定を行い、得られた動きベクトルから（G11）と（G14）を動き補償内挿補間して(G12)を得る。また画像(R10)と同色の逆方向フレーム(R13)との間で動き推定を行い、得られた動きベクトルから得られた動きベクトルから（R10）と（R13）を動き補償内挿補間して(B12)を得る。

以上の処理を検討すると、図１０（ａ）の片方向補間では、各動き推定は動き補償で使われるフレームで行っているので、得られた動きベクトルはそのまま動き補償に使うことができる。しかし、ＳＣ画像の色プレーンは３フレーム周期なので、１フレーム間も２フレーム間も異なった色プレーン間での動き推定となる。この場合、画像に色が無くＲＧＢ各プレーンの値が近い場合は問題が無いが、画像に色が付いていると値が異なるので、単純なブロックマッチングでは動き推定ができなくなる。また、図１０（ｂ）に示すフレーム内挿による動き推定も毎秒２０フレームの画像から３倍速の毎秒６０フレームの画像を作るのに相当し、フレーム変化が少なければ良いが、前後フレーム間で変化が激しいと動き推定が適切にできないという問題が生じる。

これまで、カラー動画像の符号化については種々検討されており、例えば、特開平９−２２４２６２号公報（特許文献１）では、差分パルスコード変調による予測エラーを視感色差の範囲を用いて低減するために、現在の元映像と以前の復元映像から差分パルスコード変調により予測映像を生成する映像入力部と、そこから出力される現在の元映像の各画素の色成分に対する視感色差の範囲を決める視感色差範囲決め部と、前記映像入力部から出力される予測映像と現在の元映像との予測エラーを発生させる予測エラー発生部と、そこから出力される予測エラーと前記視感色差範囲決め部から出力される各画素の視感色差の範囲とを比べる視感予測エラー比較部とを備え、視感予測エラーと予測映像を用いて前記現在の元映像を符号化して復元する映像符号化方法および装置が開示されている。

また、特開平１０−７０７３８号公報（特許文献２）では、カラー画像の視感誤差を改善するために、元の画像と復元画像との差から予測誤差画像を生成する手段を設け、復号化された予測誤差画像から動き推定及び補償により復元画像を予測する手段と、予測誤差画像を視感色差ルックアップテーブルを用いて視感誤差画像に再構成する画像符号化装置が開示されている。

さらに、特開２００２−１１８８５０号公報（特許文献３）では、フレーム間符号化方法を用いて動画像の符号化を行い符号を伝送する際に、差分情報にある誤差を一定期間内に減衰させて再生画像の誤差を減らす動画像符号化方式が記載されている。また、特開２００５−３９８４２号公報（特許文献４）では、カラー画像のためのビデオ符号化装置および方法であって、第１動き予測部は、入力映像の第１動き予測結果に基づいて入力映像に対する第１予測誤差映像を算出し、映像情報把握部は、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分に設定し、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分が基準色成分であるか否かを把握することで、カラー映像の符号化／復号化を行う点が記載されている。

この他、特開２００８−１７２５９９号公報（特許文献５）では、４：２：０、４：２：２、４：４：４等の複数の異なるクロマフォーマットに対して効率的な装置構成で統一的に符号化・復号するために、前記入力動画像信号のクロマフォーマット種別を与える制御信号に基づき、クロマフォーマットが４：２：０ないしは４：２：２の場合は、前記入力動画像信号の輝度成分に前記第１のイントラ予測モード決定部と前記第１のイントラ予測画像生成部を、色差成分に前記第２のイントラ予測モード決定部と前記第２のイントラ予測画像生成部を適用し、クロマフォーマットが４：４：４の場合は、前記入力動画像信号の全色成分に前記第１のイントラ予測モード決定部と前記第１のイントラ予測画像生成部を適用して符号化を行い、前記可変長符号化部は前記制御信号を動画像シーケンス単位に適用する符号化データとしてビットストリームに多重化する点を記載している。さらに、特開２００９−３０３２６３号公報（特許文献６）では、４：４：４フォーマットのような色成分間にサンプル比の区別のない動画像信号を符号化するにあたり、最適性を高めた、符号化装置、復号装置、符号化方法、および、復号方法が記載されている。

特開平９−２２４２６２号公報 特開平１０−７０７３８号公報 特開２００２−１１８８５０号公報 特開２００５−３９８４２号公報 特開２００８−１７２５９９号公報 特開２００９−３０３２６３号公報

以上の通り、カラー動画像の符号化を行う検討は種々行われているものの、これまで、シーケンシャルカラー画像の特性を有効利用してカラー動画像構造を生成する方法および装置はない。従来の手法では、フレーム毎に色プレーンが入れ替わるシーケンンシャルカラー動画像を、各フレームで全色プレーンが存在する通常のカラー動画像に変換するカラー動画像フォーマット変換で、動き補償フレーム間補間を行おうとすると、被補間フレームの既存色プレーンと参照フレームの色プレーンが異なるので、画像に色が付いている部分ではフレーム間で画像が異なることになり、適切な動き推定ができない。

また、フレーム内挿のように同一色プレーンを持つフレーム間で動き推定を行い、得られた動きベクトルにより色プレーンを動き補償して補間プレーンを形成すると、動き推定で被補間フレームの既存色プレーンが使われないので、動きベクトルの確からしさは高くなく、オクルージョン部分などで誤補間を生じやすいと言う問題は解消されるものではない。

本発明は、以上の点に着目してなされたもので、シーケンシャルカラー画像で適切な動き補償補間や補間信号形成を行い、動きベクトルの信頼度が高く、誤補間の少ない高画質の変換画像が得られるカラー動画像構造変換方法及びカラー動画像構造変換装置を提供することを目的とする。

本発明は、フレーム毎に色プレーンが入れ替わる第１のカラー動画像を、各フレームで全色プレーンが存在する第２のカラー動画像に変換するカラー動画像の構造変換において、入来する第１のカラー動画像から、被補間フレームの補間色プレーンと同一色画像であって、かつフレーム順で前後のフレームの画像信号から低周波数成分信号を得る工程と、入来する第１のカラー動画像から、被補間フレームの既存色プレーンの画像信号についての高周波数成分信号を得る工程と、前記高周波数成分信号と前記低周波数成分信号を加算して複数の補間色プレーンを得る工程と、前記被補間フレームの補間色プレーンと前記既存色プレーンとを再配置して第２のカラー動画像を形成する工程と、を含むカラー動画像構造変換装置および方法である。

本発明は、フレーム毎に色プレーンが入れ替わるシーケンシャルカラー画像を、各フレームで全色プレーンが存在する通常のカラー動画像に変換するカラー動画像の構造変換において、入来するシーケンシャルカラー画像を用いて、被補間フレームと、フレーム順で前方向と後方向に離散して存在するフレーム間で動き推定を行い、被補間フレームに対して前方向と後方向の動きベクトルを求め、前方向動きベクトルを前に隣接するフレームに、後方向動きベクトルを後に隣接するフレームに使って動き補償することで、同一色間での動き推定処理となり、画像に色が付いていても画像内容の空間移動以外は変化しないものとして処理できるので、絶対値差分などによる通常のブロックマッチングで、誤ベクトルが少ない動きベクトルが得られる。さらに、被補間フレームに最も近いフレームのみが使われるが、これらのフレームは被補間フレームと相関が高いので、良好な補間が可能になる。動きベクトルも、縮小されたものが使われるので、動き補償の空間移動精度も高くできる。

また、入来するシーケンシャルカラー動画像から、被補間フレームの補間色プレーンと同一色である近隣フレームの低周波数成分信号と、被補間フレームの既存色プレーンの高周波数成分信号を加算して補間色プレーンとすることで、輝度成分の高周波数成分が動きの影響を受けないフレーム内のプレーン間で補間されるので誤差が極めて少なくなる、一方、色差成分もフレーム間で補間されるので、画像変化に堅牢な補間が可能になる。

さらに、入来するシーケンシャルカラー動画像を用いて動き推定を行い、被補間フレームに対してフレーム順で前方向と後方向の両方の動きベクトルを求め、前方向と後方向それぞれの動きベクトルをそれぞれの方向の補間色プレーンに適用し、動き補償で得た前方向のプレーンと後方向のプレーンを、動き推定における画像の適合度に応じて適合度の高い方向が多くなるように用いて補間色プレーンを形成することで、画像変化の少ない方向から補間が行われることになり、特にオクルージョン部分など画像変化の大きな部分でも適切な補間が可能になる。また、誤ベクトルによる誤補間も軽減できる。

これらにより、より誤補間や誤差の少ない色プレーンの補間が実現でき、変換された画像の画質が改善される。

本発明の第１実施例カラー動画像構造変換の構成例を示す図である。 本発明の第２実施例カラー動画像構造変換の構成例を示す図である。 本発明の第３実施例カラー動画像構造変換の構成例を示す図である。 実施例のシーケンシャルカラー画像を示す図である。 実施例のシーケンシャルカラー画像の色補間を示す図である。 実施例の適応型補間で用いる補間係数算出特性を示す図である。 実施例の動き補償色プレーン補間の様子を示す図である。 従来の適応型動き補償色プレーン補間の様子を示す図である。 従来のカラー動画像構造変換装置の構成例を示す図である。 従来の動き補償色プレーン補間の様子を示す図である。

本発明の第１の実施例カラー動画像構造変換について説明する。図１は、第１の実施形態のカラー動画像変換装置の機能ブロック図である。図１には、図９と比較して、動き推定器４１、４２の代わりに、処理動作の異なる動き推定器７、１２がある。また、動作の異なる参照画像メモリ３，６、動きベクトルスケーラ８，１１が追加されている。本実施形態において、従来例と異なるのは用いる補間画像形成での参照フレームと動き推定方法および動きベクトルの使い方法であるので、動き補償器９，１０、画像多重化器１３の動作処理は基本的に従来例と同じである。

本実施形態で、シーケンシャルカラー（ＳＣ）画像とは、同一の色属性を有するフレームが、色属性の数、例えばＲＧＢであれば３フレーム周期で配置された構成を有する。図１で、シーケンシャルカラー画像入力１から入来するシーケンシャルカラー(ＳＣ)画像信号は、参照画像メモリ２に１フレーム分の１割程度が格納され、受け取り側の要求に応じたタイミングで出力される。参照画像メモリ２で遅延調整された信号は、次の参照画像メモリ３に与えられる。参照画像メモリ３はおおよそ２フレーム分が格納され、２フレーム分遅延した信号が次の参照画像メモリ４に与えられる。参照画像メモリ４はおおよそ１フレーム分が格納され、１フレーム分遅延した信号が次の参照画像メモリ４に与えられる。参照画像メモリ５は、参照画像メモリ４と同様なもので、画像信号を１フレーム分時間遅延させ、参照画像メモリ６に与える。参照画像メモリ６は、参照画像メモリ３と同様なもので、画像信号を２フレーム分時間遅延させる。

これにより、参照画像メモリ４に格納されている画像を被補間フレームである現在フレームとすると、参照画像メモリ２には３フレーム後のフレームが、参照画像メモリ３には２フレーム後の画像が、参照画像メモリ５には１フレーム前の画像が、参照画像メモリ６には３フレーム前の画像が格納されていることになる。なお、各参照画像メモリに格納されるのはＳＣ画像なので、１フレーム分が１色(プレーン)のみである。そして、それぞれのメモリの色プレーンはフレーム単位で更新される。動き推定器１２は、参照画像メモリ４の現在フレームの既存色プレーンを基準画像、参照画像メモリ６の３フレーム前の色プレーンを参照画像として動き補償を行う。ＳＣ画像がＲＧＢの３種類の色プレーンで構成されていると、３フレームで１周期となるので、基準画像と参照画像は同一色プレーンとなる。

動き推定処理はブロックマッチングで、基準画像(現在フレーム)はブロック位置が固定され、探索の空間移動は参照画像(３フレーム前)の画像のみに適用される。ブロックサイズ(動きベクトルを求める単位)は、４×４画素か８×８画素とするが、基本的なブロックマッチングでは誤ベクトルが生じやすいので、階層型探索など誤ベクトルを防ぐ処理を用いる。一方、探索精度は、符号化のような０.２５画素精度は必要がなく、１画素精度かせいぜい０.５画素精度で十分である。これは後に示される様に動きベクトルがスケールダウンされて使われるためである。探索範囲は画素数とフレームレートに合わせて設定される。

動き推定器１２で被補間フレームである現フレームに対して求められた３フレーム前の動きベクトル(ＭＶ１)は、動きベクトルスケーラ１１で、水平及び垂直各成分の値がダウンスケールされる。具体的には、３フレーム間の動きベクトルを１フレーム前の画像に適用するので３分の１倍する。そして、３分の１倍されたＭＶ１は動き補償器１０に与えられる。動き補償器１０は、参照画像メモリ５に格納されている１フレーム前の画像を、３分の１となったＭＶ１に従って動き補償する。得られた補間画像１は画像多重化器１４に与えられる。

一方、第２の補間画像を形成する動き推定器７、動きベクトルスケーラ８、動き補償器９の動作は、第１の補間画像を形成する動き推定器１２、動きベクトルスケーラ１１、動き補償器１０と同じである。異なるのは、参照画像が逆方向の後フレームとなる点のみで、動き推定器１２では参照画像メモリ２の３フレーム後を参照画像とし、動き補償器９は参照画像メモリ３の１フレーム後の画像を動き補償し、補間画像２を得る。

画像多重化器１３は、参照画像メモリ２から現フレームの画像を既存画像として得て、補間画像１と補間画像２を出力フォーマットに合わせて変換する。出力フォーマットは色プレーン並列のほか、ビット統合(２４ビット)、画素順、プレーン順もある。ここで、既存画像、補間画像１、補間画像２は３フレーム周期で色プレーンが入れ替わるので、フレームに同期して入替え、ＲＧＢが常に同じ位置(順番)になる様にする。画像多重化器１３で得られたＲＧＢ画像はＲＧＢ画像出力１４から出力される。

本実施例の動き推定は同一色プレーン間で行なわれるので、ブロックマッチングは一般的な輝度信号におけるものと同等の処理で、同等の結果が得られる。一方、動きベクトルのスケーリングは、３分の１であるので、動き推定の画素精度が１画素の場合、動き補償の画素精度は３分の１画素とすると誤差が無い。同様に動き推定精度が半画素なら、動き補償精度は６分の１画素となるが、動きベクトル値を丸めて半画素や４分の１画素精度にしても大きな問題はない。補間に使われるフレームは前後の隣接フレームであるので、画像変化は最も少ない。ただし、逆方向処理を行なうので、変換画像が得られるまでに遅延を生じる。

図４に、実施形態１および実施形態２のカラー動画像構造変換装置における動き補償処理方法の処理シーケンスにおける動き推定と動き補償プレーン補間との関係を示す。図４において、Ｒを黒のハッチングで示し、Ｇを灰色のハッチングで示し、Ｂをハッチングなしで示す。以下、ＲＧＢフレームは、同一のハッチングにより参照する。図４で、被補間フレームを（R4）とすると、３フレーム前(R1)の同一色画像との間で動き推定を行い、１フレーム前(B3)を動き補償して補間画像１を、既存プレーン(R4)と３フレーム後(R7)との間で動き推定を行い、１フレーム後(G5)を動き補償して補間画像２を得る。また、被補間フレーム（B12）では、（B9）と（B12）,（B15）と（B12）の間で動き推定を行い、（G11）を動き補償して補間画像１を、（R13）を動き補償して補間画像２を得る。

図２は、本発明のカラー動画像構造変換の第２の実施形態の機能ブロック図である。図２の実施形態においても、図１の第１の実施形態と同一の機能要素には、同一符号を付して参照する。図２には、図１と比較して、空間ＬＰＦ２１，２３、空間ＨＰＦ２２、加算器２４，２５、が追加されている。第２の実施形態において、第１の実施形態と異なるのは動き補償後の補間画像の形成方法であり、動き補償までは第１の実施形態と同様である。従って、参照画像メモリ２，３，４，５，６、動き推定器７，１２、動きベクトルスケーラ８，１１の動作は、図１と同じである。

動き補償器１０は、参照画像メモリ６に格納されている１フレーム前の画像を、ＭＶ１に従って動き補償して空間ＬＰＦ２３に与えられる。同様に、動き補償器９は、参照画像メモリ２に格納されている１フレーム後の画像を、ＭＶ２に従って動き補償して空間ＬＰＦ２１に与える。

空間ＬＰＦ２１，２３は２次元の低域通過フィルタで、垂直及び水平の各方向で通過周波数帯域を４分の１程度に帯域制限するものである。これにより得られた１フレーム前の画像の低周波数成分は、加算器２５に与えられる。同様に１フレーム後の画像の低周波数成分は、加算器２４に与えられる。

一方、参照画像メモリ４に格納されている現在フレームの既存画像は、空間ＨＰＦ２２で高周波数成分のみとなり、加算器２４と２５に与えられる。空間ＨＰＦ２２は、２次元の高域通過フィルタで、周波数特性は空間ＬＰＦ２１，２３のまったく逆となり、空間ＬＰＦ２１，２３で削除される周波数帯域を通過させる。
帯域制限の具体的方法は、通常のＦＩＲ型フィルタを用い予測画面全体を処理しても良いが、より簡易で、ブロック境界の影響を受けにくい手法としてはブロック単位のものがある。これは４×４画素のブロック平均値を低周波数成分とし、平均値と各画素の差分を高周波数成分とするものである。この場合の、空間ＬＰＦ２１，２３はブロック平均値を出力し、空間ＨＰＦ２２はブロック平均値を減じた画素値を出力すればよい。ブロック単位の処理は、動き補償のブロックと適合させる。

加算器２５は、動き補償された１フレーム前の画像の低周波数成分の信号と現在フレームの既存画像の高周波数成分の信号を加算し補間画像１を得る。同様に加算器２４は、動き補償された１フレーム後の画像の低周波数成分の信号と現在フレームの既存画像の高周波数成分の信号を加算し補間画像２を得る。ここで、ＬＰＦとＨＰＦは逆特性なので、加算結果画像の周波数特性は平坦となる。

画像多重化器１３は、参照画像メモリ４から現在フレームの既存画像を得て、補間画像１と補間画像２により出力フォーマットに適合したＲＧＢ画像に変換する。得られたＲＧＢ画像はＲＧＢ画像出力１４から出力される。
本実施例の補間画像は、動き補償された他フレーム画像の低周波数成分と、現フレームの既存画像の高周波数成分で形成されるが、それぞれの特徴を説明する。他フレームの画像は被補間画像と同一色プレーンであるので、色の有無に関わらず補間に使用できるが、画像変化があり特に高い周波数成分で違いが出やすい。一方、現フレームの既存画像は他色プレーンであるので、色があると色差成分が誤補間となってしまう。しかし色差成分は空間的な変化が少なく、高周波数成分は僅かなので、色プレーンの高周波数成分は概ね輝度成分であり、そのまま補間に使うことができる。

見方を変えると、輝度成分と色差成分が混ざっているＲＧＢ色プレーンの補間において、全周波数成分を持つ輝度成分は、低周波数成分がフレーム間で、高周波数成分がフレーム内のプレーン間で補間される。一方、主に低周波数成分である色差成分は、低周波数成分が同一色である他フレームで補間される。色差の高周波数成分は補間されずに消失するが、その量は僅かである。

図３は、本発明の第３の実施形態のカラー動画像構造変換装置の機能ブロック図である。図３に示す第３の実施形態では、図１と比較して、２フレーム分の参照画像メモリ３，６の代わりに１フレーム分の参照画像メモリ３１，３２，３３，３４、があり、動きベクトルスケーラ３５，４０、動き補償器３６，３９、適応補間器３７，３８が追加されている。第３の実施例は、前後双方向の補間画像から適切な方を選ぶもので、補間画像候補の形成方法は第１の実施形態に２フレーム前後を追加したものとなっている。

図３でシーケンシャルカラー画像入力１から入来するＳＣ画像信号は、参照画像メモリ２で遅延調整され、参照画像メモリ３１に与えられる。参照画像メモリ３１はおおよそ１フレーム分が格納され、１フレーム分遅延した信号が次の参照画像メモリ３２に与えられる。以降参照画像メモリ４，５，３３，３４は同様なものである。これにより参照画像メモリ２，３１，３２，４，５，３３，３４には１フレーム単位で遅延した画像が格納される。

動き推定器７，１２の動作は、図１の第１の実施例と同様であり、３フレーム間の前(過去)方向動きベクトルを得る。動き補償器９，１０、動きベクトルスケーラ８，１１の動作も図１のそれと同様で、１フレーム前の補間画像候補と１フレーム後の補間画像候補を得る。

一方、動きベクトルスケーラ３５、４０は、動きベクトルを３分の２して動き補償器３６，３９に与える。動き補償器３９は２フレーム前の画像を３分の２されたＭＶ１で動き補償し、２フレーム前の補間画像候補を得る。同様に動き補償器３６は２フレーム後の画像を３分の２されたＭＶ２で動き補償し、２フレーム後の補間画像候補を得る。この結果、前後２フレームづつ合計４フレームから補間画像候補を得る。

以上の処理を、図５のフレーム間の処理シーケンスを使用して説明する。図５は、第３の実施形態の適応型動き補償色プレーン補間を２種類示す。ひとつは被補間フレームを(R4)としたもので、３フレーム前(R1)との間で動き推定を行い、補間画像１の候補として１フレーム前(B3)を動き補償したものと、補間画像２の候補として２フレーム前(G2)を動き補償したものを得る。また、既存画像(R4)と３フレーム後(R7)との間でも動き推定を行い、補間画像１の候補として２フレーム後(B6)を動き補償したものと、１フレーム後(G5)を動き補償したものを得る。最終的な補間画像は、前記各候補から適切な方に重みをおいて形成する。図５では、前方向の(B3)と(R4)の間で変化があり、後方向(G5)と(B6)が補間に使われる。(B12)を被補間フレームとした方は、後方向（R13）と（G14）の間で変化があり、前方向の（G11）,（R10）補間に使われる。

この処理において、適応補間器３７は、２フレーム後の補間画像候補と１フレーム前の補間画像候補を受け取る。同様に適応補間器３８は、１フレーム後の補間画像候補と２フレーム前の補間画像候補を受け取る。これらの適応補間器３７，３８は、補間対象となる当該画像部分(ブロック)に関する適合度の情報を、前方向に関して動き推定器１２から、後方向に関して動き推定器７から得る。

両適応補間器は、前方向に関する適合度と後方向に関する適合度を用いて、両方向の補間画像候補を加重加算する。前方向補間画像候補の画素値をP_a、後方向補間画像候補の画素値をP_bとすると、補間画像の画素値P_iは補間係数k(=0〜1.0)により次式で与えられる。

上式においてkは、ブロックマッチングで絶対値誤差が使われた場合、前方向当該ブロックの絶対値誤差をD_a、後方向当該ブロックの絶対値誤差をD_bとして次式で与えられる。

上式においてTは、信号ビット数やブロックサイズで決まる判定定数で、画像信号が８ビットの場合、１画素あたり２から４程度である。この補間係数形成を図示すると図６(ａ)のような特性になる。一方、次式を使うと類似した特性で連続的な変化とすることができる。

この連続型補間係数形成を(ｂ)に示す。これらの特性は、両方の絶対値誤差が微小ならば、両方が適当と判断して平均値を用い、片方の絶対値誤差が大きければ、他方の画素値が使われる。

画像多重化器１３は、参照画像メモリ４から現在フレームの既存画像を得て、補間画像１と補間画像２により出力フォーマットに適合したＲＧＢ画像に変換する。得られたＲＧＢ画像はＲＧＢ画像出力１４から出力される。
本実施例において、前方向の候補補間画像と後方向の候補補間画像で、主に変化が少ない方向が補間に使われるので、良好な補間画像が得やすい。特にシーンチェンジ画像やオクルージョン領域において、片方向の参照フレームには存在しない画像や領域があるが、他方向では存在する可能性が高いので、適切な補間が維持できる。また、両方向の画像適合度が良好な場合は、前後の画像を混合することで、画像のレベル方向の変化にも対応できる。動き推定は第１の実施例と同様で済む。

以上の通り、本発明によれば、同一色間での動き推定処理を可能とすることで、画像に色が付いていても画像内容の空間移動以外は変化しないものとして処理でき、絶対値差分などによる通常のブロックマッチングで、誤ベクトルが少ない動きベクトルが得られ、動き補償の空間移動精度も高くでき、さらに、輝度成分の高周波数成分が動きの影響を受けないフレーム内のプレーン間で補間されるので誤差が極めて少ない画像変化に堅牢な補間が可能とされ、さらに、特にオクルージョン部分など画像変化の大きな部分でも適切な補間が可能になる。また、誤ベクトルによる誤補間も軽減できるカラー動画像構造変換装置および方法が提供できる。

本発明によれば、シーケンシャルカラー画像を高画質にＲＧＢ画像に変換可能にするもので、シーケンシャルカラー方式で撮像するカメラを実現できる。また、ディスプレイに適用することで、現在デジタル放送やＤＶＤなどで使われている輝度色差４：２：０方式などの動画像フォーマットの代わりに、より合理的なシーケンシャルカラー方式を使用可能とすることが可能となる。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１…シーケンシャルカラー画像入力、２，３，４，５，６，３１，３２，３３，３４…参照画像メモリ、７，１２，４１，４２…動き推定器、９，１０、３６，３９…動き補償器、８，１１，３５，４０…動きベクトルスケーラ、１３…画像多重化器、１４…ＲＧＢ画像出力、２１，２３…空間ＬＰＦ、２２…空間ＨＰＦ、２４，２５…加算器、３７，３８…適応補間器、

Claims (2)

1. フレーム毎に色プレーンが入れ替わる第１のカラー動画像を、各フレームで全色プレーンが存在する第２のカラー動画像に変換するカラー動画像の構造変換において、
   入来する第１のカラー動画像から、被補間フレームの補間色プレーンと同一色画像であって、かつフレーム順で既存色プレーンに対応するフレームの直前および直後のフレーム画像信号からそれぞれ低周波数成分信号を得る工程と、
   入来する第１のカラー動画像から、被補間フレームの既存色プレーンの画像信号についての高周波数成分信号を得る工程と、
   前記高周波数成分信号と、前記既存色プレーンに対応する前記低周波数成分信号の加算をそれぞれ行い、複数の第２の補間色プレーンを得る工程と、
   前記被補間フレームの前記複数の第２の補間色プレーンと前記既存色プレーンとを再配置して第２のカラー動画像を形成する工程と、
   を含む、カラー動画像構造変換方法。
2. フレーム毎に色プレーンが入れ替わる第１のカラー動画像を、各フレームで全色プレーンが存在する第２のカラー動画像に変換するカラー動画像の構造変換装置において、
   入来する第１のカラー動画像から、被補間フレームの補間色プレーンと同一色画像であって、かつフレーム順で既存色プレーンに対応するフレームの直前および直後のフレーム画像信号からそれぞれ低周波数成分信号を得る工程と、
   入来する第１のカラー動画像から、被補間フレームの既存色プレーンの画像信号についての高周波数成分信号を得る工程と、
   前記高周波数成分信号と、前記既存色プレーンに対応する前記低周波数成分信号の加算をそれぞれ行い、複数の第２の補間色プレーンを得る工程と、
   前記被補間フレームの前記複数の第２の補間色プレーンと前記既存色プレーンとを再配置して第２のカラー動画像を形成する工程と、
   を含む、カラー動画像構造変換装置。