JP5015126B2 - 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 - Google Patents

Description

本発明は、画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体に係わり、特に、複数の画像に基づき所望の視点位置から被写体を撮影した画像を生成する技術に関する。

近年、コンピュータグラフィックス（ＣＧ）やバーチャルリアリティ（ＶＲ）の分野では、カメラが設置された視点位置からだけでなく、利用者が望む視点位置から見た被写体の画像をコンピュータにより生成する技術が盛んに研究されている。
これらの技術の代表的なものとして、被写体の形状を推定し、所望の視点位置からレンダリングする幾何ベースの方法と、被写体から飛来する光線を所望の視点位置で再サンプリングする光線ベースの方法がある。
幾何ベースの方法では、被写体の幾何形状を推定するために画像間のステレオ対応を用いる方法（下記、非特許文献１参照）や、視体積交差法を用いる方法（下記、非特許文献２参照）がある。
また、光線ベースの方法は、光線の強度を位置、方向、時間、波長に対する関数であるplenoptic functionにより記述されることに基づき、その次元を落とし、ある視点位置を与えたときにそこを通る光線群を再サンプリングするのに適した表現方法として、いくつかの方式が提案されている。（下記、非特許文献３、４参照）
一般的に光線ベースの方法の方が計算機負荷は小さく、実時間処理が求められるアプリケーションに適している。しかし、光線ベースの方法では、被写体が存在すると仮定した面の付近でしか、正しく画像生成できないことが知られている。（下記、非特許文献５、６参照）
そのため、予め被写体の位置を利用者が仮定する必要があるため、利便性が悪く、また、被写体が動いた場合に正しく画像生成できないという欠点があった。
そこで、多層の投影面を設定し、被写体が存在すると仮定する範囲を拡げる手法が提案された。（下記、特許文献１参照）

なお、本願発明に関連する先行技術文献としては以下のものがある。
T.Kanade,P.J.Narayanan,and P.W.Rander:"Virtualized Reality: Concepts and Early Results", In Proc. of IEEE Workshop of the Representation of Visual Scenes, pp.69-76(1995) W. Matusik,C.Buehler,R.Raskar,s.J.Gortler,and L McMillan: "Image-Based Visual Hulls", In Proc.of SIGGRAPH 2000, pp.369-374(2000) M. Levoy and P. Hanrahan: "Light Field Rendering" In Proc. of SIGGRAPH ’96, pp.31-41(1993) S.J.Gortler,R.Grzeszczuk,R.Szeliski,and M.F.Cohen: "The Lumigraph",In Proc. of SIGGRAPH ’96, pp.43-54(1996) Y.Kunita,M.Inami,T.Maeda,and S.Tachi: "Realtime Rendering System of Moving Objects", In Proc. of the 1999IEEE Workshop on Multi-View Modeling & Analysis of Visual Scenes (MVIEW ’99), pp.81-88(1999) J.-X. Chai, X. Tong, S.-C. Chan, and H.-Y. Shum: "Plenoptic Sampling",In Proc. of SIGGRAPH 2000, pp.307-318(2000） 特許第４０５２３３１号：仮想視点画像生成方法及び３次元画像表示方法並びに装置

しかしながら、特許文献１に記載の方法でも、利用者が多層の投影面の位置を決定する必要があった。そして、被写体が動く範囲を多層の投影面でカバーしきれていない場合、適切に画像生成ができなかった。
また、たとえ多層の投影面が被写体をカバーしたとしても、投影面の数が多すぎると、メモリなどの計算機リソースを多く消費し、また、必要以上に多層の投影面の範囲が広いと、生成画像の劣化を招いていた。
また、多層投影面がカバーできていない被写体以外の場所は、多重像などが生じ、生成画像の見た目を悪くしていた。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、複数の画像に基づき所望の視点位置から被写体を撮影した画像を生成する際に、被写体の存在する場所が未知である場合にも、計算機リソースを節約しつつ適切に画像を生成し、また、被写体以外の場所の見栄えが悪くない画像を生成可能な画像生成方法および画像生成装置を提供することにある。
また、本発明の他の目的は、前述の画像生成方法を利用して個人を認証する画像認証方法と画像認証装置を提供することにある。
また、本発明の他の目的は、前述の画像生成方法をコンピュータに実行させるプログラムと、当該プログラムが記録された記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
（１）複数の異なる視点位置から被写体を撮影した複数の元画像を元に、所望の視点位置である基準視点から前記被写体を撮影した基準視点位置画像を生成する画像生成装置における画像生成方法であって、前記画像生成装置が、前記複数の元画像を取得するステップ１と、前記画像生成装置が、前記ステップ１で取得した複数の元画像をもとに、３次元空間中で前記被写体の表面の色情報または輝度情報を推定するステップ２と、前記画像生成装置が、前記ステップ２で推定した情報に基づいて、前記基準視点位置画像を生成するステップ３とを有し、前記ステップ２は、前記画像生成装置が、前記複数の元画像中で前記被写体が撮影されている位置または領域である元画像被写体領域を検出するサブステップ２ａと、前記画像生成装置が、前記サブステップ２ａで検出した元画像被写体領域を、元画像を撮影した各カメラの視点位置を投影中心として３次元空間中に投影処理し、３次元空間上で前記被写体が存在する代表的な位置または範囲を推定し、前記位置または範囲を含む１つ以上の投影面を設定するサブステップ２ｂと、前記画像生成装置が、前記サブステップ２ｂで設定した前記１つ以上の投影面について、前記各元画像に射影変換を施して複数の投影画像を生成するサブステップ２ｃと、前記画像生成装置が、前記複数の投影画像の色または輝度情報の合成演算により、前記１つ以上の投影面上の各点における被写体の色または輝度情報を算出するサブステップ２ｄを有し、前記画像生成装置は、前記投影面が複数の場合に、前記ステップ３において、前記基準視点から見て重なりを持つ前記１つ以上の投影面上の各画素の輝度情報もしくは色情報を合成演算処理することにより前記基準視点位置画像を得ることを特徴とする。

（２）（１）において、前記１つ以上の投影面上の各画素は、色情報もしくは輝度情報の他に前記被写体が各投影面に存在する可能性を示す存在情報を持ち、前記画像生成装置は、前記投影面が複数の場合に、前記ステップ３において、各カメラの元画像被写体領域を共通の投影面上に射影して得られた投影面上の投影面被写体領域を取得し、前記複数のカメラの投影面被写体領域の積演算から存在情報を計算し、前記存在情報と、前記輝度情報もしくは色情報の合成演算により画像を生成する。
（３）（２）において、前記存在情報は０から１までの階調的な値を持ち、前記存在情報は、前記１つ以上の投影面上の各点に対応する元画像における点の色または輝度情報の類似の程度により決定される。
（４）（１）ないし（３）の何れかにおいて、前記画像生成装置は、前記サブステップ２ａにおいて、前記被写体の画像をその代表的な画像パターンと照合処理することにより、前記元画像被写体領域を検出する。
（５）（４）において、前記画像生成装置は、前記元画像を撮影するカメラの位置に応じて、前記被写体の方向に依存した画像パターンと照合処理する。
（６）（１）ないし（５）の何れかにおいて、前記画像生成装置は、前記サブステップ２ｂにおける投影面の設定は、過去の履歴を考慮して推定する。

（７）（１）ないし（６）の何れかにおいて、前記ステップ３において生成された画像に対し、前記画像生成装置が、さらに被写体以外の領域をぼかす、もしくは除去し、最終的な画像を生成するステップを有する。
（８）（１）ないし（７）の何れかにおいて、前記ステップ１で取得した前記複数の元画像に対して、前記画像生成装置が、被写体以外の領域をぼかす、もしくは除去するステップを有する。
（９）また、本発明は、前述の（１）ないし（８）の何れかの画像生成方法を用いて、ディスプレイの周辺で撮影した複数のカメラの画像により、ディスプレイ中心付近の実際にはカメラを設置していない視点位置からの顔画像を生成する画像生成方法である。
（１０）また、本発明は、前述の（１）ないし（９）の何れかの画像生成方法を実現する画像生成装置である。
（１１）また、本発明は、前述の（１）ないし（８）の何れかの画像生成方法を用いて、周辺で撮影した複数のカメラの画像から、正面向きの顔画像を生成し、個人の認証を行う画像認証方法および画像生成装置である。
（１２）また、本発明は、前述の（１）ないし（１０）の何れかの画像生成方法を、コンピュータに実行させるプログラムである。
（１３）また、本発明は、前述のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、複数の異なる視点位置から被写体を撮影した画像を元に、所望の視点位置にて被写体を撮影した画像を生成する際に、被写体の存在する場所が未知である場合にも、計算機リソースを節約しつつ適切に画像を生成し、また、被写体以外の場所の見栄えが悪くない画像を生成することが可能となる。

図２は、本発明の実施例の画像生成方法の処理手順を示すフローチャートである。
ステップ１においては、複数の視点位置から被写体を撮影した画像（元画像）｛Ｉ_ｉ（ｍ）｜ｉ∈Ｎ｝を得る。
ステップ２ａにおいて、元画像中で被写体が映っている２次元領域または位置を検出する。画像中の被写体の検出方法としては、例えば、背景差分を用いる方法、既知の背景色との色の違いを用いる方法、被写体の形や色や濃淡パターンに仮定をおき（モデルを仮定し）、画像中で合致する領域を被写体がある領域として判別する方法、などが考えられる。いわゆる、パターンマッチングもこれに相当する。
また、元画像を撮影するカメラとは別に、例えば、赤外線イメージを撮影可能な装置を用いて、画像中で熱を持つ領域を検出することができる。
このようにして検出した元画像Ｉ_ｉ（ｍ）中の被写体が存在する領域をΓ_ｉ（ｍ）にて表し、Γ_ｉ（ｍ）＝１なる画像座標では被写体が存在し、Γ_ｉ（ｍ）＝０なる画像座標では被写体が存在しないものとする。

＜複数の候補点から被写体の位置を絞り込む方法＞
２次元画像上の被写体は、誤検出の可能性があり、必ずしも検出された被写体の像の位置を結ぶ光線が、被写体付近で交点を持つわけではない。
また、複数の被写体が撮影されている場合、それぞれのカメラで１つ以上の像が検出される。それぞれの像が、どの被写体による像かということは不明であり、どの光線とどの光線が交わりを持つかは分からない。
以下では、そのような場合でも、適切に被写体位置の候補点を求める方法を説明する。
図５は、本発明の実施例１の画像生成方法において、交点候補を算出する処理手順を示すフローチャートである。
すべてのカメラで検出された被写体の像の代表点の集合をＱとする。この中には、異なる被写体による像による代表点が混在し、また、実際には被写体が存在しない点が誤って検出されて含まれている。
また、計算の過程で推定される３次元空間中の被写体の候補点の集合をＦ、その要素ｆの十分近傍で近似的に交差する光線の集合をＲ（ｆ）とする。また、計算の過程において、その時点でＦのどの要素とも交差しない光線の集合をＥとする。

Ｅ、Ｆ、Ｒ（ｆ）は初期状態で空集合としておく。（ステップ１０１）
まず、Ｑのすべての要素ｑについて、対応する光線ｒ（ｑ）を算出する。光線の算出は式（６）を用いる。（ステップ１０２，１０３）
Ｆのすべての要素ｆについて、ｒ（ｑ）がｆに十分近いとき、光線ｒ（ｑ）をｆ近辺で交差する光線の集合Ｒ（ｆ）に加え、ｆを更新する。（ステップ１０４、１０５、１０６、１０７、１０８）
すなわち、検出済みの交点の候補に対して、着目する光線が近い点を通るときには、その光線もその位置付近で交点を持つと判断し、かつ、当該光線を加えて新たに交点の位置を計算し直す。この判断にあたり、検出済みの交点の候補と光線との距離は、前述の（８）式を用いる。
また、新たな交点の位置の計算には、（１６）式を用いる。
ただし、（１６）式は、下記（１７）式と書き直せるため、既存の光線の集合における左辺および右辺の行列をメモリ上に保持しておけば、新たに光線を加える際にはその分の項を加えるだけでよく、計算量を低減することができる。

着目する光線ｒ（ｑ）が検出済みの交点の候補Ｆと交差しないと判断されたときは、同様に検出済みの交点の候補と交差しないと判断された他の光線と交差するかを判断する。（ステップ１０４、１０５、１０６、１０９、１１０、１１１）
すなわち、検出済みの交点の候補と交差しないと判断された光線の集合Ｅのすべての要素ｅについて、以下の手順を行う。
まず、ｅとｒ（ｑ）が同一のカメラの光線の時は、２つの光線はカメラの視点位置で交点を持ち、被写体側では交点を持たない。よって以下の処理をスキップして、Ｑに関するループを進める。
それ以外の時は、（１６）式により、ｅとｒ（ｑ）を用いて、近似交点を計算する。（ステップ１１２）
近似交点の半径が十分に小さいとき（εより小さい）は、新たな近似交点が見つかったことになる。これをＦに加え、また、ｅは近似交点を持つため、Ｅから除外する。（ステップ１１３、１１４、１１５、１１６）
これをすべての要素ｅについて行い、十分に近い近似交点が見つからなかったら、ｒ（ｑ）をＥに加えて、Ｑに関するループを進める。（ステップ１１３、１１７、１１８）

すべてのｑについて処理が終了したら、最後に、既存の候補点Ｆの各要素ｆにおいて、その位置で近似交点を持つ光線の集合Ｒ（ｆ）の要素の数により、ｆが信頼できる被写体の位置かを判断する。（ステップ１１９）
例えば、カメラの総数がＮのとき、過半数のカメラで撮影されていることを基準とすれば、Ｒ（ｆ）の要素数＞Ｎ／２がひとつの判断基準となる。
なお、εのオーダーは、被写体の大きさが目安となる。例えば、被写体のおよその半径がρと分かっているとき、その１０分の１程度までの交点のぶれを許容するなら、ε＝ρ１０などと設定できる。
例えば、図６に示すように、２つの被写体（図６においては顔）があり、複数のカメラでパターンマッチングによりその矩形領域が検出されている。また、顔以外の領域も、誤って検出されている。
このような場合に上記の処理を経ると、３次元の顔位置として、Ｆ＝｛ｆ１，ｆ２｝が検出され、それぞれの顔位置に対応する光線の集合として、Ｒ（ｆ_１）＝｛ｌ_１ ^１，ｌ_１ ^２，ｌ_１ ^３｝、Ｒ（ｆ_２）＝｛ｌ_２ ^１，ｌ_２ ^２，ｌ_２ ^３｝が検出される。また、どの顔とも交点を持たない光線の集合として、Ｅ＝｛ｌ_３，ｌ_４｝が検出される。

［実施例４］
前述の実施例１でも述べたとおり、元画像中において被写体が写っている領域は、テンプレートと呼ばれる代表的な画像のパターンと照合処理することで検出することができる。
ただし、例えば、正面顔のパターンでは、上から見た画像が照合できないなど、テンプレートの撮影角度と撮影された被写体の角度の違いによっては、検出できないことがある。
そこで、カメラの相対的な位置関係が既知であることを利用し、各カメラの元画像ごとに、異なるテンプレートにより照合処理をすることで、検出の成功率を向上させることができる。
すなわち、上のカメラからは被写体を上から見た画像のテンプレート、下のカメラからは被写体を下から見た画像のテンプレートを用いる。

［実施例５］
動きのある被写体において、撮影時の雑音や、一時的にあるカメラからは被写体の表面が隠れてしまうなどの要因により、ある瞬間において被写体の検出に失敗することがある。
本実施例は、その状況においても適切な位置に投影面を配置するため、過去の履歴を考慮する。
そのいちばん単純な方法は、検出を失敗したときに、最後に検出に成功したときの投影面の配置を用いることである。
すなわち、ステップ２ｂ中で投影面を検出できたかの判断を行い、検出できなかった場合は、１フレーム前の投影面の配置を用いる。また、時間に対する投影面の位置を時系列信号と見なし、ウィーナーフィルタなど、何らかのフィルタ処理により現時刻の投影面の配置を推定しても良い。

［実施例６］
被写体以外の場所については、適切な位置に投影面を配置していないため、生成画像は多重像が生じるなど、画像が乱れることになる。
例えば、図８において、カメラ（Ｃ_１，Ｃ_２）で撮影され元画像から、顔をパターンマッチングにより検出し、存在する位置に投影面を配置した場合、その後ろにある背景の部分は投影面が配置されていないため、再現できない。
このような箇所において、乱れた画像を生成する代わりに、その箇所をぼかしたり、切り抜いて他の画像や色で埋めたりすることができる。
その一例として、図９の処理手順のステップ４、５に示すように、画像を生成したあと、生成画像中の被写体を検出し、その他の領域をぼかす・切り抜いて他の画像や色を埋めるなどの処理を行うことができる。なお、図９において、★１は、ぼかし処理を施す前の基準視点画像を、★２は基準視点画像中の被写体領域を、★３は、ぼかし処理を施した後の基準視点画像を示す。
また、他の例として、図１０の処理手順のステップ２ｅに示すように、投影面の配置を決定するために元画像中の被写体を検出した際に、元画像中の被写体の領域をぼかす・切り抜いて他の画像や色を埋めるなどの処理を行うことができる。

［実施例７］
本実施例では、周りのカメラから正面向きの画像を生成する装置を提供する。
また、このような端末を用いて、テレビ電話として用いることができる。
従来のテレビ電話は、カメラの位置とディスプレイの位置が異なるため、目線が合わず、実際に会って話している臨場感に乏しいという問題があった。
それを解決するために、ハーフミラーなどを用いて光学的にカメラの位置とディスプレイの位置を合わせる装置もあるが、装置構成が大がかりとなる問題があった。
また、半透過の特殊なスクリーンを用いる方法もあるが、スクリーンに投影した映像をカメラで撮影してしまうクロストークと呼ばれる現象があるなど、画質的に十分ではない。
そこで、ディスプレイの相手の目の位置から見た画像を生成し、相手側に提示することで、お互いの視線が合った映像によりコミュニケーションすることができる。
例えば、図１１に示すように、ゲートの周りに配置したカメラ（Ｃ_１〜Ｃ_３）により正面顔を生成すれば、通る人に警戒されず、認証を行うことができる。
また、認証用の登録データが正面向きである場合、撮影データが横向きだと認証の精度が落ちるのを防止することができる。
また、図１２に示すように、ＡＴＭ端末の周りに小型のカメラ（Ｃ_１，Ｃ_２）を配置しておけば、利用者が操作している間に、利用者を煩わせることなく、また、警戒させることなく認証をすることができる。

［実施例８］
以下、前述の本実施例の画像生成方法を実行する画像生成装置について説明する。
図１３は、本発明の実施例の画像生成装置の概略構成を示すブロック図である。
図１３において、２００は画像生成装置、２０１は基準視点決定手段、２０２は被写体画像（元画像）取得手段、２０３はレンダリング手段、２０４は生成画像出力手段、２１０は被写体画像生成装置、２１１は元画像中被写体領域検出手段、２１２は３次元空間被写体位置／領域検出手段、２１３は投影面決定手段、２１４はテクスチャ配列確保手段、２１５は色／輝度情報決定手段、２２１は視点位置入力手段、２２２は被写体撮影手段、２２３は画像表示手段である。
本実施例の画像生成装置では、利用者が視点位置入力手段２２１を用いて入力した視点（基準視点）のパラメータを決定する基準視点決定手段２０１と、複数の視点位置Ｃ_ｉにある被写体撮影手段（カメラ）２２２で撮影された被写体の画像（元画像）を取得する被写体画像取得手段２０２と、前記取得した元画像をもとに、被写体画像生成装置２１０とレンダリング手段２０３により、基準視点から被写体を見たときの画像（基準視点画像）を生成する。

元画像中被写体領域検出手段２１１は、図２のステップ２ａの処理を実行する。
３次元空間被写体位置／領域検出手段２１２と投影面決定手段２１３は、図２のステップ２ｂの処理を実行する。即ち、３次元空間被写体位置／領域検出手段２１２は、３次元空間中の被写体位置または領域を算出し、投影面決定手段２１３は、投影面を設定する。
テクスチャ配列確保手段２１４は、図２のステップ２ｃの処理を実行する。
色／輝度情報決定手段２１５は図２のステップ２ｄの処理を実行する。
レンダリング手段２０３は、図２のステップ３の処理を実行する。
生成画像出力手段２０４は、レンダリング手段２０３により生成された基準画像を表示する。
なお、図１３に示す画像生成装置は、コンピュータに実行させることも可能であり、その場合に、本実施例の画像生成方法は、コンピュータ内のハードディスクなどに格納されるプログラムを、コンピュータが実行することにより行われる。このプログラムは、ＣＤ−ＲＯＭ、あるいは、ネットワークを介したダウンロードにより供給される。

以上説明したように、本実施例によれば、先に元画像中で２次元的に被写体を検出し、３次元空間中での１つ以上の２次元面の集合として被写体の位置を限定するため、被写体の存在しない余計な３次元空間中の領域で計算処理をする必要がなくなり、計算機リソースの低減につながる。
また、被写体が存在する領域が限定されるため、被写体の位置や色（もしくは輝度）の推定の誤りが少なくなり、生成画像の画質向上を実現できる。たとえ、複数の元画像を１枚の２次元投影面上に射影変換し合成するなど、明示的に３次元情報を求めない場合においても、被写体が存在する３次元的な位置（奥行きなど）を仮定するが、この場合においても、適切な位置に奥行きを設定することができる。また、被写体が動いた場合でも、自動的に投影面位置を調整し、良好な画像を生成できる。
また、３次元空間中で奥行きを限定された２次元の投影面上で、さらに被写体の２次元的な領域が限定されるため、被写体が写っていない領域の元画像を用いて基準視点からの画像を生成することが少なくなり、さらなる画質向上および計算機リソースの低減の効果がある。

また、投影面中で被写体の表面が存在する箇所の存在確率が大きく設定され、合成処理演算において当該箇所の重み付けが多くなり、生成された画像において被写体表面が存在する箇所がより明瞭に描画され、画質が向上する効果がある。
また、元画像中で特定の被写体を限定的に検出することができ、生成画像においても特定の被写体のみ効率的に画像生成することができ、計算機リソースの低減および画質の向上に効果がある。
また、被写体が撮影された向きによる検出の誤りを防ぎ、被写体の検出性能が向上することにより、生成画像の画質の向上に効果がある。
また、このような措置をとらなかった場合に被写体が検出できず、本発明が使用できなかったようなカメラの配置においても使用が可能となり、適用できる状況を拡げることができる。
また、あるタイミングにおいて一時的に元画像中での被写体像の位置検出に失敗した場合でも、投影面の配置を推定することができ、生成画像の画質安定の効果がある。
また、被写体として検出された部分以外の再現できていない部分（背景など）をぼかすまたは除去し、見た目に良好な画像を生成できる。
また、被写体として検出された部分以外の再現できていない部分（背景など）をぼかすまたは除去し、見た目に良好な画像を生成できる。

また、カメラの設置条件から所望の方向からの顔画像を撮影できない場合でも、他の方向から撮影した顔画像をもとに、目的となる顔画像を合成することができる。
さらに、周りに配置したカメラにより正面顔を生成して認証を行うことで、正面向きで撮影した認証用の登録データと照合する際、正面向きではない撮影画像を用いるよりも、認証の精度を向上させることができる。
また、認証の対象となる人を煩わせることなく、また、意識させることなく、認証を行うことができる。
このように、本実施例によれば、複数の異なる視点位置から被写体を撮影した画像を元に、所望の視点位置にて被写体を撮影したのと同等の画像を生成する方法において、被写体の存在する場所が未知である場合にも、計算機リソースを節約しつつ適切に画像を生成し、また、被写体以外の場所の見栄えが悪くない画像生成方法およびそのような方法を実装した画像生成装置を提供できる。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

本発明の実施例の画像生成方法におけるカメラと被写体の配置の一例を示す図である。 本発明の実施例の画像生成方法における基本的な処理手順を示すフローチャートである。 本発明の実施例の画像生成方法において、元画像中の被写体を検出し、その領域をマスクとして投影面に投影した一例を示す図である。 本発明の実施例の画像生成方法において、元画像で検出された光線の交点を最小自乗推定する一例を示す図である。 本発明の実施例の画像生成方法において、被写体が存在する位置の候補を光線の交点として検出する処理手順を示すフローチャートである。 本発明の実施例の画像生成方法において、被写体が複数存在する場合に、被写体の位置の候補を交線の交点としてロバストに検出する一例を示す図である。 本発明の実施例の画像生成方法において、カメラの位置に応じて投影面上の色もしくは輝度情報の混合の重みを決定する一例を示す図である。 複数のカメラからの画像を合成した場合に、被写体以外の領域が多重象となって生成される一例を示す図である。 本発明の実施例の画像生成方法において、被写体以外の領域をぼかして生成する処理手順を示すフローチャートである。 本発明の実施例の画像生成方法において、被写体以外の領域をぼかして生成する処理手順を示すフローチャートである。 本発明の実施例の画像生成方法により、正面顔画像を合成し、認証するゲート装置の一例を示す図である。 本発明の実施例の画像生成方法により、正面顔画像を合成し、認証するＡＴＭ端末の一例を示す図である。 本発明の実施例の画像生成装置の概略構成を示すブロック図である。

符号の説明

２００ 画像生成装置
２０１ 基準視点決定手段
２０２ 被写体画像（元画像）取得手段
２０３ レンダリング手段
２０４ 生成画像出力手段
２１０ 被写体画像生成装置
２１１ 元画像中被写体領域検出手段
２１２ ３次元空間被写体位置／領域検出手段
２１３ 投影面決定手段
２１４ テクスチャ配列確保手段
２１５ 色／輝度情報決定手段
２２１ 視点位置入力手段
２２２ 被写体撮影手段
２２３ 画像表示手段

Claims (22)

1. 複数の異なる視点位置から被写体を撮影した複数の元画像を元に、所望の視点位置である基準視点から前記被写体を撮影した基準視点位置画像を生成する画像生成装置における画像生成方法であって、
   前記画像生成装置が、前記複数の元画像を取得するステップ１と、
   前記画像生成装置が、前記ステップ１で取得した複数の元画像をもとに、３次元空間中で前記被写体の表面の色情報または輝度情報を推定するステップ２と、
   前記画像生成装置が、前記ステップ２で推定した情報に基づいて、前記基準視点位置画像を生成するステップ３とを有し、
   前記ステップ２は、前記画像生成装置が、前記複数の元画像中で前記被写体が撮影されている位置または領域である元画像被写体領域を検出するサブステップ２ａと、
   前記画像生成装置が、前記サブステップ２ａで検出した元画像被写体領域を、元画像を撮影した各カメラの視点位置を投影中心として３次元空間中に投影処理し、３次元空間上で前記被写体が存在する代表的な位置または範囲を推定し、前記位置または範囲を含む１つ以上の投影面を設定するサブステップ２ｂと、
   前記画像生成装置が、前記サブステップ２ｂで設定した前記１つ以上の投影面について、前記各元画像に射影変換を施して複数の投影画像を生成するサブステップ２ｃと、
   前記画像生成装置が、前記複数の投影画像の色または輝度情報の合成演算により、前記１つ以上の投影面上の各点における被写体の色または輝度情報を算出するサブステップ２ｄを有し、
   前記画像生成装置は、前記投影面が複数の場合に、前記ステップ３において、前記基準視点から見て重なりを持つ前記１つ以上の投影面上の各画素の輝度情報もしくは色情報を合成演算処理することにより前記基準視点位置画像を得ることを特徴とする画像生成方法。
2. 前記１つ以上の投影面上の各画素は、色情報もしくは輝度情報の他に前記被写体が各投影面に存在する可能性を示す存在情報を持ち、
   前記画像生成装置は、前記投影面が複数の場合に、前記ステップ３において、各カメラの元画像被写体領域を共通の投影面上に射影して得られた投影面上の投影面被写体領域を取得し、前記複数のカメラの投影面被写体領域の積演算から存在情報を計算し、前記存在情報と、前記輝度情報もしくは色情報の合成演算により画像を生成することを特徴とする請求項１に記載の画像生成方法。
3. 前記存在情報は０から１までの階調的な値を持ち、
   前記存在情報は、前記１つ以上の投影面上の各点に対応する元画像における点の色または輝度情報の類似の程度により決定されることを特徴とする請求項２に記載の画像生成方法。
4. 前記画像生成装置は、前記サブステップ２ａにおいて、前記被写体の画像をその代表的な画像パターンと照合処理することにより、前記元画像被写体領域を検出することを特徴とする請求項１ないし請求項３のいずれか１項に記載の画像生成方法。
5. 前記画像生成装置は、前記元画像を撮影するカメラの位置に応じて、前記被写体の方向に依存した画像パターンと照合処理することを特徴とする請求項４に記載の画像生成方法。
6. 前記画像生成装置は、前記サブステップ２ｂにおける投影面の設定は、過去の履歴を考慮して推定することを特徴とする請求項１ないし請求項５のいずれか１項に記載の画像生成方法。
7. 前記ステップ３において生成された画像に対し、前記画像生成装置が、さらに被写体以外の領域をぼかす、もしくは除去し、最終的な画像を生成するステップを有することを特徴とする請求項１ないし請求項６のいずれか１項に記載の画像生成方法。
8. 前記ステップ１で取得した前記複数の元画像に対して、前記画像生成装置が、被写体以外の領域をぼかす、もしくは除去するステップを有することを特徴とする請求項１ないし請求項７のいずれか１項に記載の画像生成方法。
9. 請求項１ないし請求項８のいずれか１項の画像生成方法を用いて、ディスプレイの周辺で撮影した複数のカメラの画像により、ディスプレイ中心付近の実際にはカメラを設置していない視点位置からの顔画像を生成することを特徴とする画像生成方法。
10. 請求項１ないし請求項８のいずれか１項の画像生成方法を用いて、周辺で撮影した複数のカメラの画像から、正面向きの顔画像を生成し、個人の認証を行うことを特徴とする画像認証方法。
11. 複数の異なる視点位置から被写体を撮影した複数の元画像を元に、所望の視点位置である基準視点から前記被写体を撮影した基準視点位置画像を生成する画像生成装置であって、
    前記複数の元画像を取得する手段１と、
    前記手段１で取得した複数の元画像をもとに、３次元空間中で前記被写体の表面の色情報または輝度情報を推定する手段２と、
    前記手段２で推定した情報に基づいて、前記基準視点位置画像を生成する手段３とを有し、
    前記手段２は、前記複数の元画像中で前記被写体が撮影されている位置または領域である元画像被写体領域を検出する手段２ａと、
    前記手段２ａで検出した元画像被写体領域を、元画像を撮影した各カメラの視点位置を投影中心として３次元空間中に投影処理し、３次元空間上で前記被写体が存在する代表的な位置または範囲を推定し、前記位置または範囲を含む１つ以上の投影面を設定する手段２ｂと、
    前記手段２ｂで設定した前記１つ以上の投影面について、前記各元画像に射影変換を施して複数の投影画像を生成する手段２ｃと、
    前記複数の投影画像の色または輝度情報の合成演算により、前記１つ以上の投影面上の各点における被写体の色または輝度情報を算出する手段２ｄを有し、
    前記投影面が複数の場合に、前記手段３において、前記基準視点から見て重なりを持つ前記１つ以上の投影面上の各画素の輝度情報もしくは色情報を合成演算処理することにより前記基準視点位置画像を得ることを特徴とする画像生成装置。
12. 前記１つ以上の投影面上の各画素は、色情報もしくは輝度情報の他に前記被写体が各投影面に存在する可能性を示す存在情報を持ち、
    前記投影面が複数の場合に、前記手段３において、各カメラの元画像被写体領域を共通の投影面上に射影して得られた投影面上の投影面被写体領域を取得し、前記複数のカメラの投影面被写体領域の積演算から存在情報を計算し、前記存在情報と、前記輝度情報もしくは色情報の合成演算により画像を生成することを特徴とする請求項１１に記載の画像生成装置。
13. 前記存在情報は０から１までの階調的な値を持ち、
    前記存在情報は、前記１つ以上の投影面上の各点に対応する元画像における点の色または輝度情報の類似の程度により決定されることを特徴とする請求項１２に記載の画像生成装置。
14. 前記手段２ａにおいて、前記被写体の画像をその代表的な画像パターンと照合処理することにより、前記元画像被写体領域を検出することを特徴とする請求項１１ないし請求項１３のいずれか１項に記載の画像生成装置。
15. 前記元画像を撮影するカメラの位置に応じて、前記被写体の方向に依存した画像パターンと照合処理することを特徴とする請求項１４に記載の画像生成装置。
16. 前記手段２ｂにおける投影面の設定は、過去の履歴を考慮して推定することを特徴とする請求項１１ないし請求項１５のいずれか１項に記載の画像生成装置。
17. 前記手段３において生成された画像に対し、さらに被写体以外の領域をぼかす、もしくは除去し、最終的な画像を生成する手段を有することを特徴とする請求項１１ないし請求項１６のいずれか１項に記載の画像生成装置。
18. 前記手段１で取得した前記複数の元画像に対して、被写体以外の領域をぼかす、もしくは除去する手段を有することを特徴とする請求項１１ないし請求項１７のいずれか１項に記載の画像生成装置。
19. 請求項１１ないし請求項１８のいずれか１項の画像生成装置を用いて、ディスプレイの周辺で撮影した複数のカメラの画像により、ディスプレイ中心付近の実際にはカメラを設置していない視点位置からの顔画像を生成することを特徴とする画像生成装置。
20. 請求項１１ないし請求項１８のいずれか１項の画像生成装置を用いて、周辺で撮影した複数のカメラの画像から、正面向きの顔画像を生成し、個人の認証を行うことを特徴とする画像認証装置。
21. 請求項１ないし請求項９のいずれか１項に記載の画像生成方法を、コンピュータに実行させるためのプログラム。
22. 請求項２１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images