JP5209121B2 - 視差画像生成装置 - Google Patents

Description

本発明は、視差画像生成に関する。

入力された２次元画像からその画像に対する視差画像を生成して、立体表示を可能とする方法が種々提案されている。視差画像は、入力画像と当該入力画像の奥行き情報から画素毎の視差ベクトルを求め、入力画像の各画素の画素値を、対応する視差ベクトルが示す位置に割り当てて生成される。この視差画像の生成の際に、画素値が割り当てられない空白領域（陰面領域）が生じてしまうことがある。特許文献１に記載の立体画像生成装置では、空白領域に隣接する部分画像の端部に対応する画素値に基づいて、空白領域の画素に対応する画素値を生成し、補間している。また、非特許文献１には画像修復等に使用されるImage Inpaintingの技術が開示されている。この技術によれば、画像中の空白領域の画素値を、空白-非空白領域境界の近傍画素を用いて補間する。これらの画素補間では、空白領域が遠景側の領域であるにも関わらず、手前側の被写体等を表す領域の画素値による補間が行なわれてしまうことがある。

特開２００４−２９５８５９公報

Ａｎｔｏｎｉｏ Ｃｒｉｍｉｎａｓｉ、 Ｐａｔｒｉｃｋ Ｐｅｒｅｚ， ａｎｄ Ｋｅｎｔａｒｏ ＴｏｙａＭａ "Ｒｅｇｉｏｎ Ｆｉｌｌｉｎｇ ａｎｄ Ｏｂｊｅｃｔ Ｒｅｍｏｖａｌ ｂｙ Ｅｘｅｍｐｌａｒ−Ｂａｓｅｄ Ｉｍａｇｅ Ｉｎｐａｉｎｔｉｎｇ", ＩＥＥＥ Ｔｒａｎｓ. Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ, ＶｏＬ１３, Ｎｏ.９, Ｓｅｐ ２００４.

上述の画素補間では、空白領域の画素値を、前景側の領域の画素値によって補間してしまい、不自然な視差画像を生成することがあった。本発明は、陰面領域の画素の画素値を背景側の画素の画素値を用いて補間することで、より自然な視差画像を生成する視差画像生成装置を提供することを目的とする。

本発明の一実施形態に係る視差画像生成装置は、入力画像及び前記入力画像の画素の奥行き情報から、前記入力画像の画素について対応する視差ベクトルを導出する導出手段と、前記入力画像の画素の画素値を、対応する視差ベクトルが指し示す位置の画素に割り当てて中間画像を生成する生成手段と、前記視差画像の画素に対して、前記入力画像において前記奥行き情報が奥側を示していた画素に対応する画素ほど大きい重みをもつよう第１の重みを算出する第１の算出手段と、前記中間画像の画素のうち、前記生成手段によって画素値が割り当てられなかった陰面画素の近傍に、少なくとも１つの候補ブロックを設定し、当該候補ブロックに含まれる各画素に前記第１の重みを乗じた和を算出し、当該和の大きさの順に少なくとも１つの候補ブロックを参照ブロックとして設定する設定手段と、前記参照ブロックに類似する対象ブロックを、前記入力画像または前記中間画像のいずれか１以上の画像内で探索する探索手段と、前記陰面画素の画素値を、当該陰面画素と前記対象ブロックとの相対位置に基づいて補間する補間手段を具備する。

本発明の一実施形態に係る視差画像生成装置は、入力画像において背景領域に属する画素に対応する画素ほど大きい重みをもつよう第１の重みに基づいて陰面画素の画素値を補完するので、より自然な視差画像を生成する視差画像生成装置を提供することができる。

直交する２つの座標軸と、画像を構成する各画素の位置関係を模式的に表す図。 奥行き情報と視差ベクトルの関係を表す図である。 第１の実施形態の視差画像生成装置を示す図である。 第１の実施形態の画素補間制御部の詳細を示す図である。 第１重み算出部による重み算出動作を示すフローチャートである。 基準ブロックの一例を示す図である。 候補ブロックの一例を示す図である。 画素補間制御部において実行される視差画像生成処理のフローチャートである。 誤った奥行き情報が入力されたときの画素値割り当ての様子を示す図である。 第２の実施形態の画素補間制御部の詳細を示す図である。 １画面中に複数の背景領域が存在する場合の中間視差画像の一例を示す図である。 第３の実施形態の画素補間制御部の構成の詳細を示す図である。

以下、図面を参照して本発明による視差画像生成装置の実施形態を説明する。

以下の説明において、本発明の各実施形態に係る視差画像生成装置は、当該視差画像生成装置に入力する入力画像を左目用画像とし、この入力画像から右目用の視差画像を生成するものとする。ただし、入力画像は左目用画像に限定されない。例えば入力画像を右目用画像とし、左目用画像を生成する際には、視差ベクトル生成時にベクトルの向きを反転させればよい。

まず、以降の説明のために、入力画像（左目用画像）や視差画像（右目用画像）等の画像を構成する各画素の位置をベクトル表示する方法について説明する。
図１は、直交する２つの座標軸と、画像を構成する各画素の位置関係を模式的に表す図である。図１には、直交する水平軸と垂直軸の２つの座標軸が図示され、各画素は○で表されている。各画素の中心位置は、水平及び垂直方向座標の整数位置にとるものとする。以降、特に断らない限り、ベクトルはすべて（０，０）を起点とする。図１に示すように、水平軸座標が２で、垂直軸座標が１である画素は、位置ベクトルｒ＝（２，１）で表される。

次に、視差ベクトルを導出する導出式を、図２を参照して説明する。図２では、点Ａの位置に置かれた対象物が画面に投射されている。当該画面は、図１の水平軸に平行に設けられている。図２は、視聴環境を真上から見た場合の図を表している。また、同図の画面を表す線から上には、奥行きZaを有する対象物を視聴環境に対して仮想的に配置した場合の位置を示している。点Ｂは、視聴者の左目を、点Ｃは、右目をそれぞれ表している。さらに、線分ＢＣは、水平であり、かつ線分ＤＥに対して平行である。またｚ軸を、図２に示すように、画面に対して直交し、画面との交点が原点となるように設定する。する。

点Ｄは、左目から見た点Ａが画面上に投射される位置を表す。すなわち点Ｄは、左目用画像の画面上に表示される対象物の位置を示している。点Ｅは、右目から見た点Ａが画面上に投射される位置を表す。すなわち点Ｅは、右目用画像の画面上に表示される対象物の位置を示している。そして、点Ｄから点Ｅに延びる矢印が視差ベクトルｄである。この視差ベクトルは水平方向にのみ成分を持つ１次元ベクトルであり、かつその要素は、点Ｄから点Ｅの方向に対して正の値を持つ。

視聴者と画面との間の距離をＺｓとすれば、三角形ＡＢＣと三角形ＡＤＥが相似関係にあるため、（Ｚａ＋Ｚｓ）：Ｚａ＝ｂ：ｄが成り立つ。従って、以下の式によって視差ベクトルｄが定義される。

以下では、入力画像の画素位置ｉに投射された対象物の奥行き（Ｚ軸方向の距離）を、ｚ（ｉ）で表す。奥行きｚ（ｉ）は相対的な距離を表し、０から１に正規化された値をとる。ただし、ｉは、２次元画像上の位置を表す２次元ベクトルである。すなわち、画面より無限遠の位置にある対象物の奥行きをｚ＝１で表す。また、以下では、画素位置ｉにおける視差ベクトルをｄ（ｉ）と表す。

入力画像（左目用画像）の各画素についての奥行きは、当該入力画像が保持するか、当該入力画像から導出することができる。その他、例えば、入力画像が距離計を内蔵したレンジファインダーカメラ等で撮影されている場合、当該距離系によって被写体との距離を測り、奥行きを取得することができる。本発明の各実施形態に係る視差画像生成装置には、入力画像及び対応する奥行き情報が入力する。

（第１の実施形態）
図３は、本発明の第１の実施形態に係る視差画像生成装置の構成を示すブロック図である。この視差画像生成装置は、視差ベクトル導出部１０１、画素割り当て部１０２、陰面領域判定部１０３および画素補間制御部１０４を備えている。この視差画像生成装置には、入力画像及びその奥行き情報が入力される。この視差画像生成装置は、例えばパーソナルコンピュータ等を用いるコンピュータシステムにおいて実現される。コンピュータシステムは、図示しないが、ＣＰＵ，プログラムメモリ，ワークメモリを備える。図３及び図４に示す各ブロックは、プログラムメモリに記憶されたプログラムに従ってＣＰＵが動作することで機能する。入力画像とその奥行き情報は、コンピュータシステムに内蔵又は接続される記憶媒体から、ＣＰＵによって読み出される。あるいは、入力画像はネットワークを介して入力されてもよい。また、当該コンピュータシステムは、入力画像から奥行き情報を生成するユニットを具備していてもよい。例えば組み込み式のコンピュータシステムが表示装置内に組み困れた場合、入力画像や生成された視差画像を表示装置によって表示することができる。

視差ベクトル導出部１０１は、入力された奥行き情報から、上述の視差ベクトル導出式に基づいて視差ベクトルを画素毎に導出する。導出式において、視聴者と画面との間の距離Ｚｓ及び視聴者の眼間距離ｂの値として、予め任意の値が設定されていてもよい。導出された視差ベクトルの値は、画素割り当て部１０２および陰面画素補間部１０４に出力される。

画素割り当て部１０２には、入力画像と、視差ベクトル導出部１０１からの各画素の視差ベクトルが入力する。画素割り当て部１０２は、中間視差画像を生成する。中間視差画像は、入力画像の各画素の画素値を、対応する視差ベクトルが示す位置に割り当て生成される。生成された中間視差画像は、画素補間制御部１０４に出力される。

陰面領域判定部１０３は、画素割り当て部１０２から入力される中間視差画像において、画素値の割り当てられている領域と割り当てられていない領域を判別する。１画像（１フレーム）分の判別結果は、陰面マップに格納される。陰面マップｏｃｃｕｌｕｄｅ（ｉ）は、中間視差画像において位置ベクトルｉの画素に画素値が割り当てられていればｏｃｃｌｕｄｅ（ｉ）＝ＤＯＮＥに設定され、位置ベクトルｉの画素に画素値が割り当てられていなければｏｃｃｌｕｄｅ（ｉ）＝ＮＯＴ−ＤＯＮＥに設定される。判別結果を格納した陰面マップは、画素補間制御部１０４に出力される。中間視差画像において、画素値が割り当てられていない領域を、陰面領域と称する。この陰面領域は、より遠景側の背景を表す画素に対応する可能性が高いものと考えられる。

画素補間制御部１０４には、画素割り当て部１０２から中間視差画像が、陰面領域判定部１０３から陰面マップが入力される。また、入力画像及びその奥行き情報も、画素補間制御部１０４に入力される。画素補間制御部１０４は、陰面マップによって特定される、画素値が割り当てられていない陰面領域の画素に対して、補間画素値を割り当てる。

次に、画素補間制御部１０４について、図４を用いて詳細に説明する。

図４は、第１の実施形態に係る画素補間制御部１０４の構成の詳細を示すブロック図である。画素補間制御部１０４は、第１の重み算出部２０１、注目画素設定部２０２、参照ブロック設定部２０３、対象ブロック探索部２０４及び画素補間部２０５を備えている。

第１の重み算出部２０１は、視差ベクトルと奥行き情報に基づいて第１の重みを算出する。以下、第１重み算出部２０１の動作について、図５を参照して詳細に説明する。

図５は、第１重み算出部２０１による重み算出動作を示すフローチャートである。このフローチャートの処理は、中間視差画像において位置ベクトルｉで指定される画素に対して行われる。
第１の重み算出部２０１は、位置ベクトルがｉである画素の陰面マップｏｃｃｌｕｄｅ（ｉ）の値を参照し、位置ｉの画素に画素値が割り当てられているか否かを判定する（ステップＳ１０１）。

位置ｉの画素に画素値が割り当てられていれば（Ｓ１０１でＹｅｓ）、入力画像においてこの位置ｉの画素に対応する画素の奥行きｚ（ｉ−ｄ（ｉ））を第１の重みｗ１（ｉ）とする（Ｓ１０２）。位置ベクトルｉと視差ベクトルｄ（ｉ）の減算結果は、入力画像において対応する画素の位置ベクトルを与える。従って、中間視差画像において位置ｉにある画素に画素値が割り当てられている場合、当該画素値は、入力画像（左目用画像）において位置ｉ−ｄ（ｉ）で表される画素の画素値である。このため、中間視差画像の位置ｉの画素の第１の重みは、入力画像において位置ｉ−ｄ（ｉ）の画素の奥行き情報であるとする。

一方、位置ｉの画素に画素値が割り当てられていないならば（Ｓ１０１でＮｏ）、位置ｉにおける第１の重みｗ１（ｉ）の値をゼロとする（Ｓ１０３）。

第１の重み算出部２０１は、以上のような処理を中間視差画像の各画素について行い、各画素について第１の重みを算出する。結果として、第１の重みの値は、遠くの対象物を示す画素ほど大きくなる。

注目画素設定部２０２は、ラスタスキャンの操作順に従って画像を走査していき、ｏｃｃｌｕｄｅ（ｃ）＝ＮＯＴ−ＤＯＮＥとなる位置ベクトルｃに対応する画素（陰面領域の画素）を注目画素として設定する。なお、画像を走査する順序としてラスタスキャン順を一例として挙げたが、その他にヒルベルト走査など画像のすべての領域を一筆書きで走査する順序で画像を走査してもよい。注目画素の位置ベクトルｃは、参照ブロック設定部２０３に送られる。

参照ブロック設定部２０３には、第１の重み算出部２０１から送られる第１の重みと、注目画素設定部２０２から送られる注目画素の位置ベクトルｃが入力する。参照ブロック設定部２０３は、注目画素の近傍で適切な参照ブロックを設定する。

以下、参照ブロックの設定について説明する。参照ブロックの大きさは、Ｍ_１×Ｍ_２画素の矩形ブロックであるとし、Ｍ_１及びＭ_２の値は予め設定されているものとする。

まず、注目画素を中心とする基準ブロックを生成する。注目画素の位置ベクトルｃを起点とし基準ブロックに含まれる画素を表す位置ベクトルｅの集合をＥとする。集合Ｅは以下各式によってあわすことができる。

（１）Ｍ_１、Ｍ_２が奇数のとき、集合Ｅは以下の式で定義される。

（２）Ｍ_１が奇数かつＭ_２が偶数のとき、集合Ｅは以下の式で定義される。

（３）Ｍ_１が偶数かつＭ_２が奇数のとき、集合Ｅは以下の式で定義される。

（４）Ｍ_１が偶数かつＭ_２が偶数のとき、集合Ｅは以下の式で定義される。

上記の各式中において、Ｚはすべての整数からなる集合である。またδ_１、δ_２は、基準ブロックの候補数を制御するオフセットである。δ_１及びδ_２の値は、入力画像の解像度や許容演算量に応じて、任意に定められてもよい。δ_１は０を含めた自然数であり、その上限はＭ_１／２以上で最も小さい整数である。δ_２も、δ_１と同様に０を含めた自然数であり、その上限はＭ_２／２以上で最も小さい整数である。

図６は、以上のようにして設定された基準ブロックの一例を示す図である。図６に示す例は、注目画素の位置ベクトルがｃ＝（４，３）であり、Ｍ_１＝Ｍ_２＝３かつδ_１＝δ_２＝０の場合の基準ブロックを示す。図６には一例として、注目画素ｃを起点とした位置ベクトルｅ＝（−１，＋１）が示されている。

図６の例では、Ｍ_１、Ｍ_２は共に奇数であるので、集合Ｅは、注目画素ｃから破線内にあるそれぞれの画素へ向かう２５個のベクトルの集合に相当する。また、δ_１＝δ_２＝１とすると、集合Ｅは、注目画素ｃから図６の破線内で最外周の１６画素を除く９画素へ向かうベクトルの集合となる。Ｍ_１とＭ_２の一方又は両方が偶数である場合、上述の各式より、位置ベクトルｅの一方又は両方の成分は整数値から０．５ずれる。このため、集合Ｅに含まれる位置ベクトルは、画素の中心ではなく画素と画素の中点を指す。

次に、基準ブロック内の位置ベクトルｅのそれぞれについて、参照ブロックの候補となる候補ブロックを設定する。候補ブロックの中心位置ベクトルは、注目画素ｃを起点とし集合Ｅに含まれるいずれかの位置ベクトルｅによって示される。すなわち、候補ブロックの中心位置ベクトルは、ｃ＋ｅで表される。この位置ベクトルｃ＋ｅが指す点を起点として、候補ブロック（Ｍ_１×Ｍ_２画素）を構成する画素の位置ベクトルｂの集合Ｂ（ｃ＋ｅ）は、以下の式で表される。

ただし、上式中のα及びβは整数値を取る。Ｍ_１とＭ_２の一方又は両方が偶数である場合、位置ベクトルｂの一方又は両方の成分が整数値から０．５ずれる。しかしながら、起点となる位置ベクトルｃ＋ｅの成分も整数値から０．５ずれているため、集合Ｂに含まれるベクトルｂは、いずれかの画素の中心を指すことになる。

図７は、以上のようにして設定された候補ブロックの一例を示す図である。図７に示す例は、注目画素の位置ベクトルがｃ＝（４，３）、候補ブロックの中心画素の位置ベクトルがｃ＋ｅ＝（４，３）＋（−１，１）＝（３，４）であり、Ｍ_１＝Ｍ_２＝３かつδ_１＝δ_２＝０の場合の候補ブロックを示す。図７には一例として、中心画素ｃ＋ｅを起点とした位置ベクトルｂ＝（１，１）が示されている。

以上のように、ユーザの指定したδ１、およびδ２に応じて、注目画素ｃを中心とした基準ブロックを設定する。すると、基準ブロック内に含まれる画素それぞれを中心とした複数の候補ブロックが得られる。本実施形態に係る参照ブロック設定部２０３は、これらの候補ブロックの中から、本発明に適した参照ブロックを選択する。具体的には、参照ブロックに含まれる全画素の第１の重みの和が最大となる位置ベクトルｅを選択する。注目画素ｃを起点とし、参照ブロックを与える位置ベクトルｅ_ｍ（ｃ）は、以下の式で表される。

参照ブロック設定部２０３は、上式に基づいて注目画素の位置ｃを起点とする位置ベクトルｅ_ｍ（ｃ）を算出し、位置ベクトルｃ＋ｅ_ｍ（ｃ）によって示される画素を中心とするＭ_１×Ｍ_２画素サイズの参照ブロックを設定する。全画素の第１の重みの和が最大となる候補ブロックが参照ブロックとして設定されるため、当該参照ブロックは、遠景を表す画素をなるべく多く含むブロックになる。

対象ブロック探索部２０４には、第１の重み算出部２０１から送られる第１の重み、参照ブロック設定部２０３から送られる参照ブロックの情報、陰面マップ及び中間視差画像が入力される。対象ブロック探索部２０４は、参照ブロックとのテンプレートマッチングを行い、対象ブロックを探索する。

以下、対象ブロックの探索について説明する。対象ブロック探索部２０４は、中間視差画像内に、所定の探索領域Ｗを設定する。また、対象ブロック探索部２０４は、探索領域Ｗ内で、参照ブロックと同じサイズの候補対象ブロックを設定する。候補対象ブロックの中心位置ベクトルをｓとし、候補対象ブロックは、画素値が割り当てられていない画素を含まないものとする。候補対象ブロックは複数設定されてもよい。探索領域Ｗ内に、候補対象ブロックとなりうるブロックが存在しなければ、探索領域Ｗを拡大させる。

対象ブロック探索部２０４は、探索領域Ｗ内に設定された対象候補ブロックから、注目画素ｃについて設定された参照ブロックと最もよくマッチする対象ブロックを探索して選択する。例えば、対象ブロックの中心ベクトルｓ（ｃ）は、以下の式に基づき、差分自乗和基準によるテンプレートマッチングによって得られる。

ここで、Ｉ（ｉ）は、中間視差画像において位置ベクトルｉによって示される画素の画素値である。この式に示すように、テンプレートマッチングの際に、差分自乗値は対応する画素の第１の重みによって重み付けされている。

また，ｓ（ｃ）は、次のような差分値絶対値和基準によって求めてもよい。

さらに、探索領域Ｗは、中間視差画像内だけでなく、表示時間が処理対象の画像と時間的に前後する画像内に設定されてもよい。また、探索領域Ｗは、入力画像内に設定されてもよい。

画素補間部２０５には、対象ブロック探索部２０４から注目画素ｃについて探索された対象ブロックの中心位置を表すベクトルｓ（ｃ）と、中間視差画像が入力する。画素補間部２０５は、中間視差画像において位置ベクトルｃが指定する注目画素の画素値に、探索された対象ブロックとの相対位置に基づいて、以下の式に示す画素値を代入する。

すなわち、中間視差画像において対象ブロックの中心画素からｅ_ｍ（ｃ）だけずれた点にある画素の画素値が、画素値が割り当てられていない注目画素注目画素ｃの画素値として設定される。さらに、画素補間部２０５は、当該画素ｃについて、陰面マップの値をｏｃｃｌｕｄｅ（ｃ）＝ＤＯＮＥに変更する。

また、参照ブロック中に、注目画素ｃ以外にも、画素値が割り当てられていない画素が１つ以上あれば、それぞれの画素に対して同様の式によって画素値を割り当ててもよい。

参照ブロック中で、注目画素ｃ以外の画素値が割り当てられていない画素の位置ベクトルをｃ´とすると、画素補間部２０５は、画素ブロックこの位置ベクトルｃ´で指定される画素の画素値を、以下の式に基づいて設定する。

画素補間部２０５は、陰面マップの値を、ｏｃｃｌｕｄｅ（ｃ＋ｃ’）＝ＤＯＮＥに変更する。

次に、本実施形態に係る画素補間制御部１０４における動作手順を説明する。図８は、画素補間制御部１０４において実行される視差画像生成処理のフローチャートである。この処理は主に、画素補間制御部１０４の注目画素設定部２０２、参照ブロック設定部２０３、対象ブロック探索部２０４、及び画素補間部２０５によって実行される。

注目画素設定部２０２は、中間視差画像において位置ベクトルｉによって示される画素を処理対象として選択する。初期状態では、ｉ＝（０，０）に設定されている。
注目画素設定部２０３は、位置ｉの画素について陰面マップがｏｃｃｌｕｄｅ（ｉ）＝ＮＯＴ−ＤＯＮＥに設定されているか否かを判定する（ステップＳ２０１）。すなわち、位置ｉの画素が、画素値を割り当てられていない陰面領域に属するか否かが判定される。

位置ｉの画素について陰面マップがｏｃｃｌｕｄｅ（ｉ）＝ＤＯＮＥに設定されており、当該画素に画素値が割り当てられていれば（Ｓ２０１でＮｏ）、注目画素設定部２０２はラスタスキャン順に従って処理対象画素の位置ベクトルｉを変更し（Ｓ２０２）、ステップＳ２０１の処理に戻る。処理対象画素の位置ベクトルｉが、画面の終端に達した場合には（ステップＳ２０３でＹｅｓ）、処理を終了する。

位置ｉの画素について陰面マップがｏｃｃｌｕｄｅ（ｉ）＝ＮＯＴ−ＤＯＮＥに設定されており、当該画素に画素値が割り当てられていなければ（Ｓ２０１でＹｅｓ）、注目画素設定部２０２は、位置ｉの画素を注目画素ｃとして設定する（Ｓ２０４）。

次に、参照ブロック設定部２０３が、注目画素ｃについて、上述したように参照ブロックを設定する（Ｓ２０５）。参照ブロックは、注目画素ｃの近傍に、当該ブロック内の画素についての第１の重みの和が最大となるように設定される。

対象ブロック探索部２０４は、探索領域Ｗ内の候補対象ブロックに対して参照ブロックとマッチする対象ブロックを探索するためのテンプレートマッチングを行い、対象ブロックの中心位置ベクトルｓ（ｃ）を導出する（Ｓ２０６）。

その後、画素補間部２０５は、参照ブロック内をラスタスキャン順に走査する位置ベクトルｊを設定する（Ｓ２０７）。画素補間部２０５は、当該位置ベクトルｊの画素について陰面マップがｏｃｃｌｕｄｅ（ｊ）＝ＮＯＴ−ＤＯＮＥに設定されているか否かを判定する（ステップＳ２０８）。

位置ベクトルｊの画素について陰面マップがｏｃｃｌｕｄｅ（ｊ）＝ＮＯＴ−ＤＯＮＥに設定されていれば（Ｓ２０８でＹｅｓ）、画素補間部２０５は、位置ベクトルｊに対応する画素の画素値を、対象ブロックとの相対位置に基づいて割り当てる（Ｓ２０９）。さらに画素補間部２０５は、当該位置ベクトルｊの画素について、陰面マップをｏｃｃｌｕｄｅ（ｊ）＝ＤＯＮＥに変更する（Ｓ２１０）。

一方、位置ベクトルｊの画素について陰面マップがｏｃｃｌｕｄｅ（ｊ）＝ＤＯＮＥに設定されていれば（Ｓ２０８でＮｏ）、画素補間部２０５は、ラスタスキャン順序に従って、位置ベクトルｊを変更して（ステップＳ２０７）、以降の処理を繰り返す。

位置ベクトルｊが参照ブロック内をすべて走査し終えたら、注目画素設定部２０２が、処理対象画素の位置ベクトルｉをラスタスキャン順に従って移動する（Ｓ２０２）。

移動後の位置ベクトルｉが画面の終端を指す場合（ステップＳ２０３でＹｅｓ）、処理を終了する。移動後の位置ベクトルｉが画面の終端でなければ（ステップＳ２０３でＮｏ）、ステップＳ２０１に戻り、以降の処理が繰り返される。

以上のように、第１の実施形態に係る視差画像生成装置によれば、奥行きに応じた第１の重みを設定し、第１の重みに応じて参照ブロックが生成される。また、この参照ブロックに対して第１の重みを利用したテンプレートマッチングが行なわれ、陰面領域に対して背景画素と相関の高い画素の画素値を割り当てる。このため、より自然な視差画像を生成することが可能となる。

次に本発明の他の実施形態を説明する。以下の実施形態で第１実施形態と対応する部分は対応する参照数字を付して詳細な説明は省略する。他の実施形態に係る視差画像生成装置の構成は図３に示すブロック図で表される。

（第２の実施形態）
第１の実施形態では、対象ブロック探索部２０４によるテンプレートマッチングにおいて、奥行き情報から得られる第１の重みを用いて、背景側の画素に重きをおいたマッチングを行った。これによって、陰面領域に属する画素に、より背景画素と相関の高い画素値を割り当てることを可能とした。ここで、第１の実施形態では、正確な奥行き情報が入力することを想定している。このため、誤った奥行き情報が入力された場合に、参照ブロックが当該誤った奥行きに基づいて画素値が割り当てられた画素を含むと、テンプレートマッチングの結果にも誤差が伝搬してしまう。従って、必ずしも背景画素と相関の高い画素値が、陰面領域の画素に割り当てられるとは限らない。

図９は、誤った奥行き情報が入力されたときの画素割り当ての様子を示す。図９には、入力画像の一部として水平方向に並んだ４つの画素Ｐ１〜Ｐ４が示されている。各画素内の数字は、視差ベクトル導出部１０１が導出した当該画素の視差ベクトルの大きさを示している。図９では、画素Ｐ１の視差ベクトルの大きさが１、画素Ｐ２の視差ベクトルの大きさが２．７５、画素Ｐ３及びＰ４の視差ベクトルの大きさが３となっている。画素Ｐ１とＰ２は前景領域に、画素Ｐ３とＰ４は背景領域に属するが、奥行き情報に誤りがあり、画素Ｐ２の視差ベクトルの大きさが実際よりも大きくなっている。このように、前景画素と背景画素の境界付近においては、奥行きの測定精度が低下しかねない。

画素割り当て部１０２は、視差ベクトルの大きさが整数値である画素を、当該視差ベクトルの大きさ分ずらして中間視差画像を生成する。中間視差画像において、画素Ｐ１は、１画素ずれた画素Ｑ１に対応し、画素Ｐ３とＰ４は、３画素ずつずれた画素Ｑ５とＱ６にそれぞれ対応する。画素Ｐ２のように視差ベクトルの大きさが小数である場合は、バイリニア法などによって小数精度画素を作成し、中間視差画像に割り当てる。図９では、画素Ｐ２は、３画素分ずれた画素Ｑ４に対応する。このため、中間視差画像には、画素Ｐ１に対応する画素Ｑ１と画素Ｐ２に対応する画素Ｑ４の間に、陰面画素Ｑ２とＱ３が生じている。

第１の重みを用いた画素補間を行うと、陰面領域の画素には背景画素との相関の強い画素値が割り当てられる。このため、前景に相当する画素Ｑ１とＱ４の間で、陰面画素Ｑ２及びＱ３に背景との相関の強い画素値が割り当てられかねない。そこで、第２の実施形態では、陰面領域境界の画素に対して重みを小さく与える第２の重みを導入し、第１の重みと掛け合わせた重みを用いて画素補間を行なう。

以下、第２の実施形態に係る画素補間処理について説明する。
図１０は、第２の実施形態に係る画素補間制御部１０４の構成の詳細を示すブロック図である。この画素補間制御部１０４は、第１の重み算出部２０１、注目画素設定部２０２、参照ブロック設定部２０３、第２の重み算出部３０１、対象ブロック探索部３０２、及び画素補間部２０５を備えている。第１重み算出部２０１、注目画素設定部２０２、参照ブロック設定部２０３及び画素補間部２０５は、第１の実施形態と同様の動作を行なうので、説明を省略する。

第２の重み算出部３０１には、注目画素の位置ベクトルｃと、参照ブロックの中心位置ベクトルｅ_ｍ（ｃ）が入力する。第２の重み算出部３０１は、これらに基づいて参照ブロック内の各画素の第２の重みを算出し、対象ブロック探索部３０２に出力する。

以下、第２の重み算出方法について、詳細に説明する。参照ブロック内の各画素の位置を示す位置ベクトルをｋとする。ただし、位置ベクトルｋは、以下の式を満たす。

このとき、位置ベクトルｋが示す画素について第２の重みは、以下の式で与えられる。

ただし、Ｎは参照ブロックのサイズであり、以下の式で与えられる。

つまり、第２の重みｗ２の値は、参照ブロック内の画素位置ｋと注目画素の位置ｃとの距離が大きいほど大きくなる。言い換えると、参照ブロック内の陰面領域境界の画素であれば第２の重みが小さくなる。

対象ブロック探索部３０２は、第１の実施形態と同様に、探索領域Ｗ内に設定された対象候補ブロックから、注目画素ｃについて設定された参照ブロックと差分自乗和等の基準を用いて、もっとも評価の高いブロックを対象ブロックとして選択する。第２の実施形態に係る対象ブロック探索部３０２は、対象ブロックの中心ベクトルｓ（ｃ）を、以下の式に基づく差分自乗和基準によるテンプレートマッチングによって導出する。

つまり、第１の重みｗ１にｗ２を乗じて、第２の重みｗ２を反映させた重みを用いたテンプレートマッチングを行う。

また，ｓ（ｃ）は、次のような差分値絶対値和基準によって求めてもよい。

画素補間部２０５は、第１の実施形態と同様に、位置ベクトルｃによって指定される注目画素の画素値に、上述のように探索された対象ブロックとの相対位置に基づく画素値を代入する。

このように、第２の実施形態に係る視差画像生成装置では、奥行きに応じた第１の重みのみでなく、陰面領域境界の画素の影響を小さくする第２の重みを第１の重みに乗じた重みを用いたテンプレートマッチングが行われる。このため、奥行き情報の誤差を低減した画素補間を行うことが可能となる。

（第３の実施形態）
第１の実施形態及び第２の実施形態では、参照ブロック設定部２０３は、複数の候補ブロックから１つの参照ブロックを選択した。しかしながら、図１１に示すように、１画面中に複数の背景領域が存在する場合がある（例えば被写体人物の背後に建物（第１の背景）と青空（第２の背景）が背景領域として写っている場合）。このような場合、どの背景領域に参照ブロックが設定されるかによって、補間される画素値が大きく変わる。

このため、陰面領域において画素間の相関が低下して、補間された画素が微小なノイズとして認識されることがある。そこで、第３の実施形態では、複数の参照ブロックを設定し、それぞれの参照ブロックに対してテンプレートマッチングを行って複数の対象ブロックを検出し、当該複数の対象ブロックと注目画素の相対位置に応じた複数の画素の画素値を平均化した画素値を注目画素に割り当てる。このようにして、参照ブロックの選択に応じた補間画素値のばらつきの発生を抑制する。

以下では、説明を簡略化するため、参照ブロックの設定数は２とする。ただし、参照ブロックの設定は２個に限定されず、３以上で、設定可能な基準ブロック数よりも小さい整数が設定されてもよい。

以下、第３の実施形態に係る画素補間処理について説明する。
図１２は、第３の実施形態に係る画素補間制御部１０４の構成の詳細を示すブロック図である。この画素補間制御部１０４は、第１の重み算出部２０１、注目画素設定部２０２、参照ブロック設定部４０３、対象ブロック探索部４０４、及び画素補間部４０５を備えている。第１重み算出部２０１及び注目画素設定部２０２は、第１の実施形態と同様の動作を行なうので、説明を省略する。

参照ブロック設定部４０３は、注目画素の位置ベクトルｃに対して、当該注目画素を起点として参照ブロックの中心を表す位置ベクトルｅの集合Ｅから、複数の中心ベクトルを選択する。

参照ブロック設定部４０３は、集合Ｅに属するベクトルｅそれぞれについて、以下の式より参照ブロック内の画素の第１の重みの和Ｔを求める。

参照ブロック設定部４０３は、算出されたＴのうち、最大値Ｔ１を与える第１の位置ベクトルｅ１（ｃ）、２番目に大きいＴの値Ｔ２を与える第２の位置ベクトルｅ２を検出する。参照ブロック設定部４０３は、第１の位置ベクトルｅ１（ｃ）を中心とする第１の参照ブロックと、第２の位置ベクトルｅ２（ｃ）を中心とする第２の参照ブロックの２つの参照ブロックを設定する。参照ブロック設定部４０３から対象ブロック探索部４０４へは、第１及び第２の参照ブロックの情報が出力される。

対象ブロック探索部４０４は、２つの位置ベクトルｅ１及びｅ２について、第１の実施形態における対象ブロック探索部２０４と同様のテンプレートマッチングを行う。テンプレートマッチングの結果、第１の位置ベクトルに対応する第１の対象ブロックが得られ、この第１の対象ブロックの中心を示す位置ベクトルｓ１（ｃ）が導出される。同様に、第２の位置ベクトルに対応する第２の対象ブロックが得られ、この第２の対象ブロックの中心を示す位置ベクトルｓ２（ｃ）が導出される。この２つの位置ベクトルｓ１（ｃ）とｓ２（ｃ）は、対象ブロック探索部４０４から画素補間部４０５に出力される。

画素補間部４０５は、複数の対象ブロックとの相対位置に基づいてそれぞれ導出される補間画素値を平均化して、注目画素を補間する画素値を算出する。

すなわち、画素補間部４０５に、注目画素ｃについて、第１の位置ベクトルｅ１と第２の位置ベクトルｅ２、及び第１の対象ブロックの中心を示す位置ベクトルｓ１（ｃ）と第２の対象ブロックの中心を示す位置ベクトルｓ２（ｃ）が入力すると、画素補間部４０５は、以下の式によって注目画素を補間する画素値を算出する。

ここで、λ１およびλ２は、各参照ブロックについての第１の重みの和に基づいて、次式によって定義される。

すなわち、係数λ１とλ２は、重みの和Ｔ１とＴ２の比に応じて決定される。あるいは、λ１＝λ２＝０．５と設定してもよい。

また、画素補間部４０５は、第１の実施形態に係る画素補間部２０５と同様に、いずれかの参照ブロック中に、注目画素ｃ以外にも画素値が割り当てられていない画素が１つ以上あれば、それぞれの画素に対して同様に画素値を割り当ててもよい。

参照ブロック中で、注目画素ｃ以外の画素値が割り当てられていない画素の位置ベクトルをｃ´とすると、画素補間部４０５は、画素ブロックこの位置ベクトルＣ´で指定される画素の画素値を、以下の式に基づいて設定する。

このように、第３の実施形態に係る視差画像生成装置によれば、参照ブロックが複数設定され、それぞれの参照ブロックに対してテンプレートマッチングによって対象ブロックも複数用意される。陰面領域では、これらの対象ブロックと注目画素の相対位置に応じて複数の画素の画素値平均が注目画素の画素値として割り当てられる。このため、参照ブロックの選択によって補間画素値にばらつきが生じることを抑制することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０１…視差ベクトル導出部１０１、１０２…画素割り当て部、１０３…陰面領域判定部、１０４…画素補間制御部、２０１…第１の重み算出部、２０２…注目画素設定部、２０３…参照ブロック設定部、２０４…対象ブロック探索部、２０５…画素補間部。

Claims (5)

1. 入力画像及び前記入力画像の画素の奥行き情報から、前記入力画像の画素について対応する視差ベクトルを導出する導出手段と、
   前記入力画像の画素の画素値を、対応する視差ベクトルが指し示す位置の画素に割り当てて中間画像を生成する生成手段と、
   前記視差画像の画素に対して、前記入力画像において前記奥行き情報が奥側を示していた画素に対応する画素ほど大きい重みをもつよう第１の重みを算出する第１の算出手段と、
   前記中間画像の画素のうち、前記生成手段によって画素値が割り当てられなかった陰面画素の近傍に、少なくとも１つの候補ブロックを設定し、当該候補ブロックに含まれる各画素に前記第１の重みを乗じた和を算出し、当該和の大きさの順に少なくとも１つの候補ブロックを参照ブロックとして設定する設定手段と、
   前記参照ブロックに類似する対象ブロックを、前記入力画像または前記中間画像のいずれか１以上の画像内で探索する探索手段と、
   前記陰面画素の画素値を、当該陰面画素と前記対象ブロックとの相対位置に基づいて補間する補間手段と、
   を具備する視差画像生成装置。
2. 前記参照ブロック内の各画素について、前記陰面画素より遠い画素ほど大きい重みをもつよう第２の重みを算出する第２の算出手段を更に具備し、
   前記探索手段は、探索対象のブロック内の各画素の第１の重みと第２の重みの積を用いて、前記対象ブロックを探索する請求項１に記載の視差画像生成装置。
3. 前記設定手段は、前記陰面画素の近傍に複数の参照ブロックを設定し、
   前記探索手段は、前記複数の参照ブロックのそれぞれに対して、類似する対象ブロックを探索し、
   前記補間手段は、前記複数の対象ブロックのそれぞれについて、前記陰面画素との相対位置に基づいて補間画素値を求め、補間画素値の平均値によって、前記陰面画素の画素値を補間する請求項１に記載の視差画像生成装置。
4. 前記補間手段は、前記複数の参照ブロックそれぞれにおける第１の重みの和の比に応じて、前記画素補間値の平均値を算出する請求項３に記載の視差画像生成装置。
5. 複数のフレームを有する入力画像及び前記複数のフレームの画素の奥行き情報から、前記入力画像のうち処理対象のフレームの画素に対応する視差ベクトルを導出する手段と、
   前記入力画像のうち処理対象の画像の画素の画素値を、対応する視差ベクトルが指し示す位置の画素に割り当てて中間画像を生成する生成手段と、
   前記処理対象のフレームの画素の画素値を、対応する視差ベクトルが指し示す位置の画素に割り当てて中間画像を生成する手段と、
   前記視差画像の画素に対して、前記処理対象のフレームにおいて前記奥行き情報が奥側を示していた画素に対応する画素ほど大きい重みをもつよう第１の重みを算出する第１の算出手段と、
   前記中間画像の画素のうち、前記生成手段によって画素値が割り当てられなかった陰面画素の近傍に、少なくとも１つの候補ブロックを設定し、当該候補ブロックに含まれる各画素に前記第１の重みを乗じた和を算出し、当該和の大きさの順に少なくとも１つの候補ブロックを参照ブロックとして設定する設定手段と、
   前記参照ブロックに類似する対象ブロックを、前記入力画像のうち前記処理対象のフレームに対して時間的に前又は後に表示すべき画像、前記処理対象のフレームおよび前記中間画像のいずれか１以上の画像内で探索する探索手段と、
   前記陰面画素の画素値を、当該陰面画素と前記対象ブロックとの相対位置に基づいて補間する補間手段と、
   を具備する視差画像生成装置。

Images