JP7387434B2 - 画像生成方法および画像生成装置 - Google Patents

Description

本開示は、画像生成方法および画像生成装置に関する。

特許文献１には、三次元の物体のパラメトリック・サーフェスのビューのレンダリングのためのビュー依存のレンダリング技術が開示されている。レンダリング技術は、表面を表すパラメトリック・サーフェス・パッチのセットを、表面のビュー依存多角形近似に変換することを含む。

特許文献２には、多視点画像を生成するための入力画像を決定し、ステレオ画像間の歪みの存在に基づいて入力画像とする全ステレオ画像またはステレオ画像の１つを選択することを含む、多視点画像を生成する方法および装置が開示されている。この方法および装置では、生成される画像の視点は、入力されたステレオ画像の視点とは異なる。

米国特許第８３８４７１５号明細書 米国特許第９４１８４８６号明細書

しかしながら、上記特許文献にかかる技術には、更なる改善が必要とされていた。

本開示の一態様にかかる画像生成方法は、三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の画像のうちの少なくとも１つの画像を用いて、前記三次元空間上の仮想的な視点から前記対象空間を見たときの二次元画像である仮想画像を、プロセッサを用いて生成する画像生成方法であって、前記複数の画像のうちの基準となる１以上の第１画像を撮像した１以上の第１カメラとは少なくとも１つのカメラが異なる１以上の第２カメラにより撮像された１以上の第２画像を用いて前記仮想画像を生成する場合、前記１以上の第１画像を用いて前記仮想画像を生成するときに行う第１の処理とは異なる第２の処理であって、輝度調整および色調整の少なくとも一方を含む第２の処理を前記１以上の第２画像に対して行うことで、前記仮想画像を生成する。

なお、これらの全般的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

上記態様によれば、更なる改善を実現することができる。

図１は、実施の形態１に係る画像生成システムの構成の一例を示すブロック図である。 図２は、実施の形態１に係る画像生成システムによる動作の一例を示すシーケンス図である。 図３は、実施の形態１に係る画像生成システムによる仮想画像の生成処理の一例を示すフローチャートである。 図４は、レンダリングモジュールによる可視性の算出処理の一例を示すフローチャートである。 図５は、デプスマップの算出処理の一例を示すフローチャートである。 図６は、可視性の算出処理の一例を示すフローチャートである。 図７は、二次元画素の可視性の算出処理の一例を示すフローチャートである。 図８は、参照ビューの決定処理の一例を示すフローチャートである。 図９は、調整処理の一例を示すフローチャートである。 図１０は、一対の参照ビューを起点として２方向にビューを変更してテクスチャを検索する処理を示すフローチャートである。 図１１は、複数のビューのうち利用可能なテクスチャを検索する処理を説明するための図である。 図１２は、調整処理を行っていない場合の仮想画像における輝度差または色の差の一例を示す図である。 図１３は、調整比の算出処理の一例を示すフローチャートである。 図１４は、調整比の推定処理の一例を示すフローチャートである。 図１５は、２つのビューからの調整比を用いた調整処理を説明するための図である。 図１６は、参照ビューからのテクスチャを合成する処理の一例を示すフローチャートである。 図１７は、実施の形態２に係る画像生成システムによる仮想画像の生成処理の一例を示すフローチャートである。 図１８は、複数のビューから利用可能なテクスチャを検索する別の方法を説明するための図である。 図１９は、変形例に係る画像生成システムの構成の一例を示すブロック図である。

（本開示の基礎となった知見）
新規ビュー画像である仮想画像の合成は、入力画像、および、対応する三次元モデルまたは各画素がある視点からの距離情報を有した画像であるデプスマップから、仮想的な視点から三次元オブジェクトを見たときに見えると推定される仮想画像を生成する処理であり、ビュー依存合成である。なお、ビューとは視点、または視野のことである。仮想画像は、三次元オブジェクトの三次元モデルと、三次元オブジェクトが撮影された画像であるテクスチャ画像とを用いて生成することができる。仮想画像は、例えば、ユーザにより指示された視点に応じて変化する表示であって、マルチビュー３Ｄ表示またはシングルビュー２Ｄ表示で表示されてもよい。より具体的には、ビュー依存合成は、特定の視線方向からの画像を用いて仮想画像を生成する。

このような仮想画像の合成では、典型的には、異なる複数のカメラにより撮像された複数のビューにおける複数の画像を複数の入力画像としたとき、当該複数の入力画像からのテクスチャを貼り付けるプロキシとして三次元モデルを使用する。上記従来の方法では、入力画像から得られたテクスチャが仮想画像に結合される。しかしながら、従来の方法では、異なる複数のカメラによって得られる複数の入力画像間の色が、複数のカメラに応じて適切に補正されていない。このため、視線方向の角度が変わると、一部の素材の色が大きく変わってしまう。例えば、仮想画像の複数の領域うち、複数の領域のそれぞれの領域が、入力画像に含まれるか否かに応じて、本来なら同程度の輝度または色で見えるものであっても、領域間に輝度差または色の差が生じる場合がある。このように、仮想画像には、本来、三次元モデルを新規の仮想的な視点から見た場合には見られない輝度差または色の差が生じる場合があり、ユーザに視覚的な違和感を引き起こすという可能性があった。

そこで、本開示の一態様にかかる画像生成方法は、三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の画像のうちの少なくとも１つの画像を用いて、前記三次元空間上の仮想的な視点から前記対象空間を見たときの二次元画像である仮想画像を、プロセッサを用いて生成する画像生成方法であって、前記複数の画像のうちの基準となる１以上の第１画像を撮像した１以上の第１カメラとは少なくとも１つのカメラが異なる１以上の第２カメラにより撮像された１以上の第２画像を用いて前記仮想画像を生成する場合、前記１以上の第１画像を用いて前記仮想画像を生成するときに行う第１の処理とは異なる第２の処理であって、輝度調整および色調整の少なくとも一方を含む第２の処理を前記１以上の第２画像に対して行うことで、前記仮想画像を生成する。

これによれば、１以上の第２画像を用いて仮想画像を生成する場合、１以上の第１画像を用いて仮想画像を生成するときに行う第１の処理とは異なる第２の処理であって、輝度調整および色調整の少なくとも一方を含む第２の処理を１以上の第２画像に対して行うため、仮想画像における複数の領域間で輝度差または色の差が生じることを低減することができる。よって、ユーザに与える視覚的な違和感を軽減することができる。

また、前記仮想画像の生成では、前記１以上の第１画像に前記第１の処理を行うことで、前記仮想画像の第１領域を生成し、前記１以上の第２画像に前記第２の処理を行うことで、前記仮想画像の前記第１領域と重ならない第２領域を生成してもよい。

このため、仮想画像における複数の領域間に輝度差または色の差が生じることを低減することができる。よって、ユーザに与える視覚的な違和感を軽減することができる。

また、前記仮想画像の生成では、さらに、前記対象空間の三次元モデルを取得し、前記三次元モデルを構成する前記複数の三次元点のうち、前記仮想画像を生成するための複数の候補点を選択し、前記複数の候補点のそれぞれについて、当該候補点を撮像しているカメラを前記複数のカメラの中から抽出し、前記第１領域の生成では、前記複数の候補点のそれぞれについて抽出したカメラの中に前記１以上の第１カメラが全て含まれていれば、前記１以上の第１画像の当該候補点に対応する領域に前記第１の処理を行うことで、前記仮想画像の当該候補点に対応する領域である前記第１領域を生成し、前記第２領域の生成では、前記複数の候補点のそれぞれについて抽出したカメラの中に前記１以上の第１カメラのうちの少なくとも１つのカメラが含まれていなければ、抽出したカメラに含まれる前記１以上の第２カメラにより撮像された前記１以上の第２画像の当該候補点に対応する画素に前記第２の処理を行うことで、前記仮想画像の当該候補点に対応する領域である前記第２領域を生成してもよい。

これによれば、仮想画像の生成に利用する複数の画像を撮像したカメラの構成が異なれば、異なる輝度調整および異なる色調整の少なくとも一方を行うため、仮想画像における複数の領域間で輝度差または色の差が生じることを低減することができる。

また、前記同一の対象空間は、平面を含み、前記１以上の第１画像、および、前記１以上の第２画像のそれぞれは、前記平面を含む画像であり、前記第１の処理では、前記１以上の第１画像を射影変換することで前記仮想画像の前記平面に対応する領域を生成し、前記第２の処理では、前記１以上の第２画像を射影変換することで前記仮想画像の前記平面に対応する領域を生成してもよい。

これによれば、平面を含む、第１画像および第２画像を、射影変換することで仮想画像を合成する場合においても、輝度調整および色調整の少なくとも一方を含む第２の処理を１以上の第２画像に対して行うため、仮想画像における複数の領域間で輝度差または色の差が生じることを低減することができる。よって、ユーザに与える視覚的な違和感を軽減することができる。

また、前記１以上の第１カメラは、前記複数のカメラのうち、前記仮想的な視点から最も近い位置に位置する２つのカメラであってもよい。

このため、仮想的な視点からみた場合に最も近い見え方で撮像された画像を仮想画像の生成に利用することができる。

また、前記１以上の第１カメラは、２以上の第１カメラであり、前記第１の処理は、前記２以上の第１カメラにより撮像された２以上の前記第１画像の輝度および色の少なくとも一方を予め定められた混合比で混合する処理を含み、前記第２の処理は、前記２以上の第１カメラにより得られた２以上の第１背景画像と前記１以上の第２カメラにより得られた１以上の第２背景画像とを比較することにより得られる輝度および色の少なくとも一方の差異を用いて、前記混合する処理によって得られる輝度または色に近づくように輝度調整および色調整の少なくとも一方を調整する処理を含んでもよい。

このため、仮想画像における複数の領域間で輝度差または色の差が生じることを効果的に低減することができる。

なお、これらの全般的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本開示の一態様に係る画像生成方法および画像生成装置について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
実施の形態１に係る画像生成システムについて説明する。

図１は、実施の形態１に係る画像生成システムの構成の一例を示すブロック図である。

図１に示すように、画像生成システム１００は、複数のカメラ１０２と、複数のカメラ１０２にそれぞれ対応して接続される複数の撮像装置１０４と、画像生成装置１０１と、ディスプレイ１０８と、入力装置１１０とを備える。画像生成システム１００は、さらに、同期装置１１６を備えていてもよい。

複数のカメラ１０２は、互いに異なる位置に配置され、互いに異なる姿勢で固定されており、三次元空間上の同一の対象空間を撮像する。これにより、複数のカメラ１０２は、異なる複数の視点から異なる視線方向で撮像された複数の画像を得ることができる。複数のカメラ１０２は、それぞれ、異なる複数のタイミングにおいて撮像することにより、複数の画像を得てもよい。複数のカメラ１０２は、例えば、予め定められたフレームレートで複数の画像としての複数のフレームを含む動画像を撮像するカメラであってもよい。複数のカメラ１０２による撮像のタイミングは、同期装置１１６により互いに同期されていてもよい。なお、図１の画像生成システム１００では、２つのカメラ１０２が示されているが、画像生成システム１００は、２以上のカメラ１０２を備えていてもよい。

複数の撮像装置１０４は、複数のカメラ１０２のそれぞれに対応して設けられ、複数のカメラ１０２において撮像されることにより得られた画像を記憶し、記憶した画像をプロセッサ１０６に出力する。なお、複数の撮像装置１０４は、複数のカメラ１０２に内蔵されていてもよい。つまり、複数のカメラ１０２のそれぞれは、撮像装置１０４の機能を有していてもよい。

画像生成装置１０１は、プロセッサ１０６と、外部メモリ１１２と、モデルデータベース１１４とを備える。プロセッサ１０６は、校正モジュール２と、再構成モジュール４と、レンダリングモジュール８と、メモリ１０とを有する。

校正モジュール２は、複数のカメラ１０２の校正を実行することで、複数のカメラ１０２それぞれのカメラパラメータを取得する。カメラパラメータは、三次元空間におけるカメラの位置及び姿勢を示す外部パラメータと、カメラの焦点距離、収差、画像中心等の光学系の特性を示す内部パラメータとを含む。校正方法は、例えば、ＳＦＭ（Structure From Motion）技術を用いて行われてもよいし、または既知の校正パターンに基づいて行われてもよい。校正処理は、一度に実行されてもよいし、セットアップまたは移動の変化に対処するために、徐々に実行されてもよい。

再構成モジュール４は、複数のカメラ１０２により撮像されることにより得られた複数の二次元画像、および、複数のカメラ１０２のそれぞれのカメラパラメータを用いて、高密度で正確な三次元モデルを再構築する。三次元モデルは、上記に限らずに、ＴｏＦ（Time of Flight）カメラ、ＬＩＤＡＲ（Light Detection and Ranging）、レーザスキャナ、ソナーなどのセンサによるセンシングデータを用いて取得されたものであってもよい。

レンダリングモジュール８は、再構成モジュール４において再構成された三次元モデルと、複数のカメラ１０２から得られた複数の画像とを用いて、三次元シーンの仮想画像をレンダリングまたは生成する。レンダリングモジュール８は、レンダリングまたは生成した仮想画像をディスプレイ１０８に出力する。仮想画像は、複数のカメラ１０２の撮像対象となる三次元空間上の同一の対象空間を複数のカメラ１０２の視点とは異なる仮想的な視点から見たときの二次元画像である。

プロセッサ１０６が有する校正モジュール２、再構成モジュール４およびレンダリングモジュール８の機能は、汎用のプロセッサがプログラムを実行することで実現されることに限らずに、専用回路により実現されてもよい。つまり、これらの機能は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。

メモリ１０は、校正モジュール２、再構成モジュール４およびレンダリングモジュール８による各処理において生成された中間データを一時的に記憶してもよい。

プロセッサ１０６に接続されたディスプレイ１０８は、レンダリングモジュール８により出力された仮想画像を表示する。つまり、ディスプレイ１０８は、プロセッサ１０６から出力された画像を表示する装置であり、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどにより実現される。プロセッサ１０６から出力される画像には、入力を受け付けるためのＧＵＩ（Graphical User Interface）が含まれていてもよい。

入力装置１１０は、ディスプレイ１０８に接続され、ユーザが所望する仮想的な視点である仮想視点を指定する入力をユーザから受け付け、受け付けた入力を示す入力信号をディスプレイ１０８に出力する。入力装置１１０は、例えば、リモートコントローラ、ゲームパッド、マウス、キーボードなどにより実現される。

なお、ディスプレイ１０８は、入力信号を受信すると、プロセッサ１０６から受信している複数の仮想的な視点から見たときの複数の仮想画像のうち、入力信号に応じた仮想画像に切り替えて表示してもよい。

また、ディスプレイ１０８は、プロセッサ１０６から複数の視点から見たときの複数の仮想画像を受信していない場合、入力信号をプロセッサ１０６に送信してもよい。この場合、プロセッサ１０６は、受信した入力信号に応じた視点から見たときの仮想画像を生成し、生成した仮想画像をディスプレイ１０８に出力する。そして、ディスプレイ１０８は、プロセッサ１０６から出力された仮想画像を表示する。また、この場合、入力装置１１０は、ディスプレイ１０８に接続されていなくてもよく、画像生成装置１０１に直接接続されており、画像生成装置１０１に入力信号を送信する構成であってもよい。

なお、図１で説明した、接続とは、通信接続であり、有線で電気的に接続されてなくてもよく、無線接続であってもよい。つまり、接続は、有線による通信接続であってもよいし、無線による通信接続であってもよい。

外部メモリ１１２は、例えば、プログラムなどのようなプロセッサ１０６が必要とする情報を格納してもよい。外部メモリ１１２は、プロセッサ１０６の処理で生じたデータを格納してもよい。

モデルデータベース１１４は、再構成モジュール４またはレンダリングモジュール８で使用されるシーンの事前生成モデルを格納している。

図２は、実施の形態１に係る画像生成システムによる動作の一例を示すシーケンス図である。

一の撮像装置１０４は、一のカメラ１０２により撮像された画像を画像生成装置１０１に送信する（Ｓ１）。同様に、他の撮像装置１０４は、他のカメラ１０２により撮像された画像を画像生成装置１０１に送信する（Ｓ２）。

次に、画像生成装置１０１では、プロセッサ１０６が複数のカメラ１０２により撮像された複数の画像を取得する（Ｓ３）。この時、プロセッサ１０６は、同一のタイミングで複数のカメラ１０２により撮像された複数の画像を取得してもよい。

そして、プロセッサ１０６の再構成モジュール４は、校正モジュール２により既に行われた校正処理により得られた複数のカメラ１０２のカメラパラメータと、取得した複数の画像とを用いて、三次元モデルを生成する（Ｓ４）。

プロセッサ１０６のレンダリングモジュール８は、生成された三次元モデルと、複数の画像とを用いて、仮想視点から対象空間を見たときの仮想画像を生成する（Ｓ５）。なお、仮想画像の生成処理の詳細については、図３を用いて後述する。

レンダリングモジュール８は、生成した仮想画像をディスプレイ１０８に出力する（Ｓ６）。

入力装置１１０は、ユーザが所望する仮想視点を示す入力信号をディスプレイ１０８に出力する（Ｓ７）。

ディスプレイ１０８は、画像生成装置１０１により出力された仮想画像のうちで、入力信号に応じた仮想画像を表示する（Ｓ８）。

なお、入力装置１１０が画像生成装置１０１に直接通信接続されている場合、入力装置１１０は、画像生成装置１０１にディスプレイ１０８を介さずに入力信号を出力してもよい。この場合、画像生成装置１０１は、入力信号に応じた仮想画像を生成し、生成した仮想画像をディスプレイ１０８に出力し、ディスプレイ１０８には、入力信号に応じた仮想画像が表示される。

図３は、実施の形態１に係る画像生成システムによる仮想画像の生成処理の一例を示すフローチャートである。つまり、図３のフローチャートは、レンダリングモジュール８により行われる処理を示す。

まず、レンダリングモジュール８は、複数のカメラ１０２のうちの２つのカメラによりそれぞれ撮像された２枚の画像を一対の参照画像として決定する（Ｓ１１）。具体的には、レンダリングモジュール８は、複数のカメラ１０２による複数の視点からの複数のビューと、ユーザにより指定された仮想視点からの仮想的なビューとのそれぞれのビューについて、三次元モデルを構成する複数の三次元点のそれぞれが見える点であるか否かを示す可視性を算出する。そして、レンダリングモジュール８は、可視性の算出処理において、仮想画像の生成に用いる一対の参照画像を、複数のカメラ１０２により撮像された複数の画像の中から決定する。なお、参照画像の決定処理の詳細は、後述する。

次に、レンダリングモジュール８は、算出した三次元点の可視性を用いて、複数の三次元点のそれぞれについて以下のステップＳ１３～Ｓ１５の処理を実行するループ１を開始する（Ｓ１２）。

レンダリングモジュール８は、一対の参照画像が得られた２つのカメラ１０２による２つのビューである２つの参照ビューの両方において、処理対象の三次元点が見えるか否かを判定する（Ｓ１３）。

レンダリングモジュール８は、処理対象の三次元点が、両方の参照ビューにおいて見えると判定された場合（Ｓ１３でＹｅｓ）、両方の参照ビューから得られた２つのテクスチャを用いて２つのテクスチャを混合し（Ｓ１４）、混合した結果を記憶する。

また、レンダリングモジュール８は、処理対象の三次元点が、両方の参照ビューにおいて見えないと判定された場合（Ｓ１３でＮｏ）、つまり、２つの参照ビューのうち少なくとも一つの参照ビューにおいて見えないと判定された場合、当該三次元点に貼り付けるテクスチャに輝度調整および色調整の少なくとも一方を実行し（Ｓ１５）、輝度調整および色調整の少なくとも一方の結果を記憶する。なお、輝度調整または色調整の詳細は、図９を用いて後述する。

レンダリングモジュール８は、ステップＳ１４およびＳ１５の後で、複数の三次元点のうちまだループ１における処理が行われていない次の三次元点に対してステップＳ１３～Ｓ１５を実行する。

レンダリングモジュール８は、複数の三次元点の全てに対してステップＳ１３～Ｓ１５の処理を行った場合、ループ１を終了し、ループ１により生成された複数のテクスチャを対応する複数の三次元点に貼り付けて複数のテクスチャを結合することで仮想画像を生成する（Ｓ１６）。なお、レンダリングモジュール８は、ループ１により生成された複数のテクスチャを二次元平面上でそのまま結合することで仮想画像を生成してもよい。仮想画像の合成では、良好な画像品質を得るために、フィルタリングまたはノイズ除去などの後処理がさらに実行されてもよい。なお、生成された仮想画像は、ストレージに出力されストレージに記憶されてもよい。

このように、レンダリングモジュール８は、一対の参照画像の、三次元点に対応する領域に第１の処理としてのステップＳ１４を行うことで、仮想画像における三次元点に対応する領域である第１領域を生成する。また、レンダリングモジュール８は、複数の三次元点が一対の参照ビューにおいて見えなければ、異なる他のカメラにより撮像された画像のテクスチャに第２の処理としてのステップＳ１５を行うことで、仮想画像における三次元点に対応する領域である第２領域を生成する。第１の処理は、一対の参照カメラにより撮像された一対の参照画像の輝度および色の少なくとも一方を予め定められた混合比で混合することで輝度および色の少なくとも一方を調整する処理を含む。第２の処理は、一対の参照カメラにより得られた第１背景画像と他のカメラにより得られた１以上の第２背景画像とを比較することにより得られる輝度および色の少なくとも一方の差異を用いて、混合する処理によって得られる輝度または色に近づくように輝度および色の少なくとも一方を調整する処理を含む。

このように、仮想画像の生成では、（ｉ）１以上の第１画像としての一対の参照画像に第１の処理としての２つのテクスチャの合成処理を行うことで、仮想画像の第１領域を生成し、（ｉｉ）１以上の第２画像としての他のビューにおける画像に第２の処理としての輝度調整および色調整の少なくとも一方を含む調整処理を行うことで、仮想画像の第２領域を生成する。このため、仮想画像における複数の領域間に輝度差または色の差が生じることを低減することができる。よって、ユーザに与える視覚的な違和感を軽減することができる。

ループ１により生成された複数のテクスチャを貼り付けるプロキシは、矩形状であってもよいし、円形状であってもよい。

複数の画像からの複数のテクスチャが同じ三次元ポイントに重なり、ボケを発生させるため、仮想視点から見える仮想画像の合成に用いる画像は、できるだけ少ない方がよい場合がある。このため、ほぼ全ての三次元点のテクスチャの元になる１枚または２枚の参照画像が複数のカメラ１０２による複数のビューに対する三次元点の可視性に応じて選択される。また、仮想画像の合成には、より質の高いテクスチャ、特に、ノイズレベルがより低い、および／または、歪みがより少ないテクスチャを見つけるために、より多くの画像が用いられてもよい。

図４は、レンダリングモジュールによる可視性の算出処理の一例を示すフローチャートである。

レンダリングモジュール８は、三次元モデルと対応するカメラパラメータとを用いて、複数のカメラ１０２による複数のビューおよび仮想ビューのそれぞれのビューについて、三次元モデルを投影し、当該ビューを基準とした三次元座標を含むデプスマップを算出する（Ｓ２１）。デプスマップは、基準となるビューにおける二次元座標と、当該二次元座標のそれぞれの座標について、当該ビューの視線方向の三次元モデルの位置を示す奥行き座標とを含む情報である。ここでの二次元座標とは、二次元画像における画素の二次元位置を示す座標であってもよい。つまり、デプスマップは、二次元画像の各画素に、当該画素の物体までの距離が付加された画像であってもよい。また、ビューとは、対応するカメラ１０２から見え、かつ、当該カメラ１０２の画角で区画される二次元的な眺め（二次元的な映像）である。ビューは、視点または視野であってもよい。つまり、カメラ１０２から得られる画像は、ビューが当該カメラ１０２により撮像されることにより得られる二次元画像である。デプスマップは、各ビューのカメラ１０２により得られる二次元画像と同サイズであり、正の無限大で初期化されている。デプスマップの算出処理の詳細は、後述する。

なお、三次元モデルを構成する複数の三次元点のそれぞれの可視性の算出は、デプスマップを生成する前に行われてもよいし、デプスマップの生成中に行われてもよい。

レンダリングモジュール８は、複数のビューのそれぞれにおいて、三次元モデルを構成する複数の三次元点のそれぞれが見える点であるか否かを、算出したデプスマップを用いて算出する（Ｓ２２）。

レンダリングモジュール８は、算出した複数のビューのそれぞれにおける複数の三次元点の可視性を用いて、仮想ビューに三次元点を投影することにより得られた二次元画像の複数の画素のそれぞれに対応する複数の三次元点のそれぞれの各ビューにおける可視性を算出する（Ｓ２３）。

レンダリングモジュール８は、複数のビューのうち最良のビューであると判断したいくつかのビューを、参照ビューとして決定する（Ｓ２４）。これにより、複数のビューにおける可視性と、仮想ビューと、参照ビューとを示す情報が出力される。

図５は、デプスマップの算出処理の一例を示すフローチャートである。

レンダリングモジュール８は、複数のビューのそれぞれについて以下のステップＳ３２のループ３の処理を実行するループ２を開始する（Ｓ３１）。

レンダリングモジュール８は、三次元モデルを構成する複数の三次元点のそれぞれについて以下のステップＳ３３～Ｓ３５の処理を実行するループ３を開始する（Ｓ３２）。

レンダリングモジュール８は、処理対象となるビューに対応するカメラパラメータを用いて、当該ビューにおいて、処理対象となる三次元点を投影する（Ｓ３３）。これにより、三次元点の当該ビューを基準とする三次元座標が得られる。得られる三次元座標は、例えば、処理対象となるビューで区画される二次元ビューにおける垂直方向および水平方向の位置を示す二次元座標と、当該ビューの視線方向に平行な奥行き方向の位置を示す座標とを含む座標である。なお、垂直方向は、カメラ１０２の垂直方向を基準として決定されてもよいし、地球の重力加速度がはたらく方向を基準として決定されてもよい。

次に、レンダリングモジュール８は、処理対象の三次元点の投影により得られた三次元座標と、既に処理済みの三次元点の投影により得られた三次元座標とを比較し、二次元座標が対応（例えば一致）している三次元座標の奥行き方向の位置を示す座標が小さいか否かを判定する（Ｓ３４）。つまり、処理対象の三次元点を投影した三次元座標が、処理済みの三次元点のうちで処理対象の三次元点と二次元ビューにおける二次元座標が対応している三次元点を投影した三次元座標よりも、対応するカメラ１０２に近い点であるか否かを判定する。

レンダリングモジュール８は、処理対象の三次元点の投影により得られた三次元座標が、処理済みの三次元点の投影により得られた三次元座標よりも、奥行き方向の座標が小さいと判定した場合（Ｓ３４でＹｅｓ）、処理対象の三次元点の投影により得られた三次元座標を記憶する（Ｓ３５）。

レンダリングモジュール８は、複数の三次元点の全てに対してステップＳ３３～Ｓ３５の処理を行った場合、ループ３を終了する。

レンダリングモジュール８は、複数のビューの全てに対してループ３の処理を行った場合、ループ２を終了する。

ループ２が終了すれば、デプスマップの算出処理は終了する。なお、レンダリングモジュール８は、図５で説明した処理を行わずに、再構成モジュール４からデプスマップ取得してもよい。

図６は、可視性の算出処理の一例を示すフローチャートである。

レンダリングモジュール８は、複数のビューのそれぞれについて以下のステップＳ４２のループ５の処理を実行するループ４を開始する（Ｓ４１）。

レンダリングモジュール８は、三次元モデルを構成する複数の三次元点のそれぞれについて以下のステップＳ４３～Ｓ４５の処理を実行するループ５を開始する（Ｓ４２）。

レンダリングモジュール８は、処理対象となるビューに対応するカメラパラメータを用いて、当該ビューにおいて、処理対象となる三次元点を投影する（Ｓ４３）。

次に、レンダリングモジュール８は、処理対象の三次元点の投影により得られた三次元座標と、既に処理済みの三次元点の投影により得られた三次元座標とを比較し、二次元座標が対応（例えば一致）している三次元座標の奥行き方向の位置を示す座標が大きいか否かを判定する（Ｓ４４）。つまり、処理対象の三次元点を投影した三次元座標が、処理済みの三次元点のうちで処理対象の三次元点と二次元ビューにおける二次元座標が対応している三次元点を投影した三次元座標よりも、対応するカメラ１０２から遠い点であるか否かを判定する。

レンダリングモジュール８は、処理対象の三次元点の投影により得られた三次元座標が、処理済みの三次元点の投影により得られた三次元座標よりも、奥行き方向の座標が大きいと判定した場合（Ｓ４４でＹｅｓ）、処理対象の三次元点を見えない点として当該三次元点の可視性を算出する（Ｓ４５）。

レンダリングモジュール８は、複数の三次元点の全てに対してステップＳ４３～Ｓ４５の処理を行った場合、ループ５を終了する。

レンダリングモジュール８は、複数のビューの全てに対してループ５の処理を行った場合、ループ４を終了する。

ループ４が終了すれば、可視性の算出処理は終了する。

なお、可視性の算出処理は、デプスマップの算出処理と共に行われてもよい。具体的には、ステップＳ３４の判定においてＮｏと判定された場合に、上記の図５のフローチャートの説明ではループ３を終了するとしたが、これに限らずに、ステップＳ４５の処理を行った後のループ３を終了してもよい。これにより、図６を用いて説明した可視性の算出処理を、図５を用いて説明したデプスマップの算出処理に組み込むことができる。また、ステップＳ４の三次元モデルを生成する処理の前に、可視性が算出されていてもよい。

図７は、二次元画素の可視性の算出処理の一例を示すフローチャートである。

レンダリングモジュール８は、算出した複数のビューのそれぞれにおける三次元点の可視性を用いて、仮想視点からのビューである仮想ビューにおける二次元画像を構成する複数の画素のそれぞれについて、当該画素に対応する三次元点が複数のビューのそれぞれにおいて見えるか否かを示す可視性を算出する（Ｓ５１）。つまり、レンダリングモジュール８は、複数の三次元点のうち、仮想的な視点から見えると判定された複数の候補点のそれぞれについて、当該候補点を撮像しているカメラを複数のカメラの中から抽出する。

レンダリングモジュール８は、算出した可視性を用いて、複数のビューのうちの、一対のビューである参照ビューの可視性を抽出する（Ｓ５２）。つまり、レンダリングモジュール８は、所定の条件を満たす一対の参照ビューの可視性を抽出する。

レンダリングモジュール８は、二次元画像を構成する複数の画素のそれぞれについて算出した、当該画素に対応する三次元点が一対の参照ビューにおいて見えるか否かを示す可視性を示す情報を、各画素に対応付けたフラグ画像として記憶する（Ｓ５３）。なお、フラグ画像は、ＲＧＢ画像によって表されてもよい。

図８は、参照ビューの決定処理の一例を示すフローチャートである。

レンダリングモジュール８は、対応するカメラパラメータを用いて、複数のビューにそれぞれ対応する複数のカメラ１０２の位置および姿勢を算出する（Ｓ６１）。

レンダリングモジュール８は、算出した複数のカメラ１０２の位置および姿勢を用いて、仮想ビューに最も近い２つのカメラに対応する２つのビューを参照ビューとして選択する（Ｓ６２）。なお、ここで、仮想ビューに最も近い２つのカメラとは、仮想ビューに対応する仮想カメラの位置に最も近い距離に位置する２つのカメラであってもよいし、仮想ビューの視線方向を基準としたときの角度の差異が最も小さい撮像方向を有する２つのカメラであってもよい。

レンダリングモジュール８は、選択した２つの参照ビューのそれぞれの仮想ビューからの近接度を算出する（Ｓ６３）。近接度は、例えば、参照ビューに対応するカメラと、仮想カメラとの間の距離であってもよいし、参照ビューと仮想ビューとが為す角の角度であってもよい。近接度は、２つの参照ビューに対応する２つのカメラ１０２から得られる２つの参照画像を合成するときの、２つの参照画像を混合する混合比として使用されてもよい。

なお、複数のカメラ１０２のカメラ設定が不規則である、または、複数のカメラ１０２の設置される高さが異なる高さである場合、仮想ビューの視野角（画角）または仮想視点の高さが使用されうる。また、参照ビューは、ユーザによって予め定義された条件を満たすビューが選択されてもよい。

このようにして、ステップＳ１１における参照ビューの決定が行われる。

三次元オブジェクトのオクルージョンのために、一部の領域が一対の参照ビューの両方に表示されないことがあり、この場合、一対の参照ビューからテクスチャを取得することができない場合がある。このため、図３における仮想画像の生成処理のステップＳ１３において、三次元ポイントが一対の参照ビューの両方から見えるか否かを判定してこれらを区別している。

図９は、調整処理の一例を示すフローチャートである。

レンダリングモジュール８は、処理対象の三次元点が一対の参照ビューのうちの１つの参照ビューから見えるか否かを判定する（Ｓ７１）。ここでいう処理対象の三次元点とは、図３におけるループ１の処理対象とである三次元点である。調整処理は、ステップＳ１３でＮｏと判定された場合に行われる処理であるため、ステップＳ７１の判定を行うことで、１つの参照ビューから見える三次元点であるか、両方の参照ビューのいずれからも見えない三次元点であるかを判定することができる。

レンダリングモジュール８は、処理対象の三次元点が一対の参照ビューのうちの１つの参照ビューから見える点である場合（Ｓ７１でＹｅｓ）、当該１つの参照ビューに対応するカメラにより撮像された画像からテクスチャを取得する（Ｓ７２）。

一方で、レンダリングモジュール８は、処理対象の三次元点が一対の参照ビューの両方の参照ビューから見えない点である場合（Ｓ７１でＮｏ）、複数のビューのうちで一対の参照ビュー以外の他のビューに対応するカメラ１０２で撮像された画像から、利用可能なテクスチャを検索する（Ｓ７３）。テクスチャを探す処理の詳細は、後述する図１０を用いて説明する。

次に、レンダリングモジュール８は、得られたテクスチャの輝度および色の少なくとも一方を調整するための調整比を算出する（Ｓ７４）。調整比は、輝度を調整する輝度比、色を調整する色比を含む。色比は、色差を規定する指標を用いた比である。また、色比は、色を規定する指標を用いた比であってもよく、色がＲＧＢで規定される場合には、ＲＧＢ（赤・緑・青）それぞれのゲインにおける比であってもよい。色比が色を規定する指標を用いた比である場合、輝度調整は行われなくてもよい。調整比の算出処理の詳細は、図１３を用いて後述する。

レンダリングモジュール８は、算出した調整比を用いて、ステップＳ７２またはステップＳ７３で得られたテクスチャを、一対の参照ビューに対応する一対の参照カメラで撮像された参照画像から得られるテクスチャに合わせて調整する（Ｓ７５）。これにより、輝度差または色の差が軽減された仮想画像を得ることができる。

図１０は、一対の参照ビューを起点として２方向にビューを変更してテクスチャを検索する処理を示すフローチャートである。図１１は、複数のビューのうち利用可能なテクスチャを検索する処理を説明するための図である。

図１１には、三次元物体２０２を撮像対象とする複数のカメラが、三次元物体２０２を囲むように配置されている構成が示されており、このうちのカメラ２０６が仮想ビューに対応する仮想カメラであり、カメラ２０６以外のカメラが複数のカメラ１０２に対応している。カメラ２０６の両隣には、２つの参照ビューに対応する参照カメラ２０４、２２０が示されている。

レンダリングモジュール８は、カメラ２０６以外の複数のカメラのうち、参照カメラ２０４、２２０の両方に対応する参照ビューから処理対象の三次元点が見えない場合、２つの参照カメラ２０４、２２０を起点として、それぞれ、２つの矢印２１６、２１８の方向にカメラを切り替えてテクスチャを検索する処理を行う。レンダリングモジュール８は、各参照ビューに対応する参照カメラ２０４、２２０を起点としてそれぞれ矢印２１６、２１８の方向に隣接するビューに順次切り替えることで、切り替えたビューから処理対象の三次元点が見えるテクスチャを検索する。

具体的には、レンダリングモジュール８は、参照カメラの隣のカメラのビューを選択する（Ｓ８１）。レンダリングモジュール８は、例えば、参照カメラ２０４の矢印２１６側の隣りのカメラのビューを選択し、参照カメラ２２０の矢印２１８側の隣のカメラのビューを選択する。あるいは、レンダリングモジュール８は、所定の順序が定められている場合には、参照カメラ２０４の次の順序が割り当てられているカメラのビューを選択してもよい。

次に、レンダリングモジュール８は、選択したビューから処理対象の三次元点が見えるか否かを判定する（Ｓ８２）。この判定は、ステップＳ２１で得られたデプスマップを用いて行われてもよいし、ステップＳ２２で得られた三次元点の可視性を用いて行われてもよい。

レンダリングモジュール８は、選択したビューから処理対象の三次元点が見える場合（Ｓ８２でＹｅｓ）、当該ビューを候補として決定する（Ｓ８３）。

レンダリングモジュール８は、選択したビューから処理対象の三次元点が見えない場合（Ｓ８２でＮｏ）、または、ステップＳ８３の後において、現在のビューが仮想ビューの反対側のビューであるか否かを判定し（Ｓ８４）、反対側のビューである場合（Ｓ８４でＹｅｓ）に処理を終了し、反対側のビューでない場合（Ｓ８４でＮｏ）にステップＳ８１に戻る。

レンダリングモジュール８は、候補として決定された１以上のビューのうち、起点となった参照カメラ２０４または参照カメラ２２０により近いビューに対応するカメラで撮像された画像からテクスチャを選択する（Ｓ８５）。

なお、レンダリングモジュール８は、例えば、カメラ２１０まで切り替えたときに、カメラ２０４からカメラ２１０の間のカメラのビューから処理対象の三次元点が見えず、カメラ２１０のビューから処理対象の三次元点が初めて見えると判定した場合、カメラ２１０で撮像された画像からテクスチャを取得し、検索処理を終了してもよい。同様に、レンダリングモジュール８は、例えば、カメラ２１４まで切り替えたときに、カメラ２２０からカメラ２１４の間のカメラのビューから処理対象の三次元点が見えず、カメラ２１４のビューから処理対象の三次元点が初めて見えると判定した場合、カメラ２１４で撮像された画像からテクスチャを取得し検索処理を終了してもよい。この場合、レンダリングモジュール８は、処理対象の三次元点が見えるビューが見つからない場合、２つの参照ビューに対応する参照カメラ２０４、２２０に対して幾何学的に最も遠い反対側のビューに対応するカメラ２１２まで順次ビューを切り替えることになる。

なお、検索方法は、図１１で示した方法に限定されるものではない。例えば、複数のカメラが、図１１で示したように、三次元物体２０２を囲むように二次元の環状に配置されていない場合には、ビューを切り替える順序、つまり、検索する順序は、それぞれのカメラの視野角（画角）およびカメラの設置高さなどの他の幾何学的特性に応じて決定されてもよい。あるいは、検索の順序は、複数のカメラの設置が規則的で無い場合、または、いくつかのカメラを無効にする必要がある場合、ユーザによって事前に定義された順序としてもよい。

図１２は、調整処理を行っていない場合の仮想画像における輝度差または色の差の一例を示す図である。

図１２で示されるオブジェクト３０５は、例えば、地面に載置された三次元オブジェクトである。仮想視点からみた場合の仮想ビューには、オクルージョンにより、一対の参照ビューのいずれか１つにおいて見えない領域３０１、３０３が含まれる。参照ビューで見えない領域３０１、３０３は、対応する参照ビューにおける可視性の算出で見えないと判定されるため、当該参照ビューに対応するカメラにより得られる画像からテクスチャを取得することはできない。例えば、見えない領域３０１は、第１参照ビューでは見えず、第２参照ビューでは見える。また、見えない領域３０３は、第２参照ビューでは見えず、第１参照ビューでは見える。このように、見えない領域３０１、３０３は、一方の参照ビューで見える領域であるため、レンダリングモジュール８は、当該一方の参照ビューからテクスチャを取得することができる。信頼できる色の校正が行われない場合のように、２つの参照ビューの色がその領域で異なる場合、見えない領域３０１の色と見えない領域３０３の色とは明らかに異なる。また、この場合、見えない領域３０１、３０３の色と、両方の参照ビューで見える地面の他の領域の色とは、明らかに異なる。また、ビューは、限られた領域であるため、仮想ビューの特に隅の領域は、参照ビューのいずれにおいても見えない場合がある。このように、両方の参照ビューにおいて見えない領域については、図１０で説明したように、他のビューを検索することで対応するテクスチャが取得される。他のビューから取得されたテクスチャは、両方の参照ビューにおいて見える領域と一致しない場合がある。よって、前述したような色の違いが発生する。いずれの場合も、上記の調整処理によって、輝度または色が調整されるため、実際には同じ色に見える領域において色の違いを低減したテクスチャを適用することができる。これにより、実際には同じ色に見える領域において色が異なって見えるアーティファクトが発生した仮想画像が生成されることを低減することができる。

同様のアーティファクトは、前景のオブジェクトにも発生する可能性が有り、特にそれらの間にはオクルージョン（遮蔽物）がある。この場合、前景の調整処理は別々に実行される。特に、アーティファクトが明らかになれば、合成された背景画像に対して適用することができる。

図１３は、調整比の算出処理の一例を示すフローチャートである。

レンダリングモジュール８は、三次元モデルと複数のカメラ１０２のカメラパラメータとを用いて、複数のビューのそれぞれに三次元モデルを投影することにより、複数のカメラ１０２により得られた複数の画像の間の各画素間の対応関係を特定する（Ｓ９１）。レンダリングモジュール８は、例えば、一対の参照ビューに対応する参照カメラにより得られた一対の参照画像の第１参照画像を構成する複数の第１画素と、第２参照画像を構成する複数の第２画素との間の対応関係を特定する。レンダリングモジュール８は、共通する三次元点を含む第１画素および第２画素を対応関係にあると決定する。また、レンダリングモジュール８は、テクスチャの取得の対象となった画像に対しても、同様に対応関係を決定する。

レンダリングモジュール８は、対応関係にあるとされた２つの画素の輝度差または色の差を算出する（Ｓ９２）。レンダリングモジュール８は、例えば、複数のカメラ１０２において予め撮像された背景画像を用いて２つの画素の間の輝度差または色の差を算出してもよい。なお、輝度差または色の差は、予め定められた背景画像が利用できない場合にも算出することができる。例えば、複数のカメラ１０２から得られる複数の画像上の前景オブジェクトを検出することができ、それ以前に取得され、対象画素に背景テクスチャを有する画像に含まれる所望のテクスチャを見つけることができる。

レンダリングモジュール８は、複数のビューのうちのいずれかのビューにおいて見えていない領域の調整比を、使用可能なビューにおける画像を用いて推定する（Ｓ９３）。調整比の推定処理の詳細は、図１４を用いて後述する。

図１４は、調整比の推定処理の一例を示すフローチャートである。

レンダリングモジュール８は、二次元画素の対応関係を用いて、仮想ビュー上における二次元座標のそれぞれが、テクスチャを取得するのに用いられる複数の画像であって、一対の参照画像を含む複数の画像上における二次元座標を取得する（Ｓ１０１）。

レンダリングモジュール８は、各ビューにおける二次元座標のそれぞれについて、処理対象となる二次元座標が処理対象のビューの領域内にあるか否かを判定する（Ｓ１０２）。レンダリングモジュール８は、例えば、処理対象となる二次元座標が、処理対象のビューの二次元座標上において負の値を示すか、あるいは、処理対象のビューの画像のサイズよりも大きい座標である場合、当該二次元座標を処理対象のビューの画像領域内にないと判定する。この場合の座標は、無効であり、当該座標を有する画素は、複数の画像のいずれにも対応関係にない画素である。

レンダリングモジュール８は、処理対象となる二次元座標が処理対象のビューの領域内にあると判定した場合（Ｓ１０２でＹｅｓ）、当該ビューの領域で処理対象の二次元座標に対応する画素のテクスチャを当該二次元座標に対応付けて記憶する（Ｓ１０３）。

また、レンダリングモジュール８は、処理対象となる二次元座標が処理対象のビューの領域内にないと判定した場合（Ｓ１０２でＮｏ）、当該二次元座標に最も近い、処理対象のビュー上の他の二次元座標であり、かつ、有効な二次元座標に割り当てられた画素のテクスチャを取得し、処理対象の二次元座標と取得した画素のテクスチャとを対応付ける（Ｓ１０４）。ここで、有効な二次元座標とは、テクスチャを取得するのに用いられる複数の画像の領域内に対応する座標を有する座標である。

なお、ステップＳ１０２～Ｓ１０４の処理は、仮想ビュー上における全ての二次元座標について繰り返し実行され、全ての二次元座標は、複数の画像のいずれかの画素のテクスチャと対応付けられる。なお、二次元座標が２つの参照画像の両方と対応関係にあれば、２つの参照画像のテクスチャと対応付けられる。

レンダリングモジュール８は、全ての二次元座標のそれぞれについて、当該二次元座標に対応付けられたテクスチャを用いて、調整比を算出する（Ｓ１０５）。レンダリングモジュール８は、例えば、２つの参照画像のテクスチャと対応付けられている二次元座標については、２つの参照画像のテクスチャを用いて調整比を算出する。具体的には、レンダリングモジュール８は、仮想ビューの処理対象の二次元座標Ｘに、処理対象のビューＡの座標ＸＡ、および、処理対象のビューＢの座標ＸＢが対応する場合、処理対象のビューＡの背景画像ＩＡから取得した座標ＸＡの値ＰＡと、処理対象のビューＢの背景画像ＩＢから取得した座標ＸＢの値ＰＢとを用いて、調整比ｒＡＢ＝ＰＡ／ＰＢを算出する。なお、レンダリングモジュール８は、調整比ｒＡＢとは逆数である、調整比ｒＢＡ＝ＰＢ／ＰＡを算出してもよい。このように、レンダリングモジュール８は、各処理対象のビュー間の画素ごとの調整比を考慮して、仮想ビューにおける仮想画像を合成する。なお、値ＰＡおよび値ＰＢは、輝度であってもよいし、色を示す指標における値であってもよい。

図１５は、２つのビューからの調整比を用いた調整処理を説明するための図である。

参照ビューのうちの一方から得られるテクスチャを有する領域４０２および領域４０４に対して、その領域上の参照ビュー間の調整比は、所定の背景画像を用いて算出される。ここで算出される調整比は、画像４０６および画像４０８として示されている。混合比は、２つの参照ビューの間のテクスチャを混合して仮想ビュー内の新しいテクスチャを得るための比率である。混合比は、図４のステップＳ２４において取得される。また、ステップＳ２４では、２つの参照ビューおよび２つの参照ビューの互いの比率も取得される。画像４０６および画像４０８の調整比と、混合比とは、レンダリングされた仮想ビューの仮想画像上の輝度差または色の差を調整するために一緒に用いられる。この比率の適用は、図９におけるステップＳ７５において行われる。調整処理を適用した後の１つの参照ビューから得られたテクスチャの色は、２つの参照ビューによって混合された色と同じになるように調整されてもよい。

図１６は、参照ビューからのテクスチャを合成する処理の一例を示すフローチャートである。この処理は、両方の参照ビューから見える仮想ビューの領域に対して行われるレンダリングの処理であり、図３のＳ１３においてＹｅｓと判定された領域に対してステップＳ１４で行われる合成処理の一例である。

レンダリングモジュール８は、２つの参照ビューに対応する２つの参照カメラから得られた２つの参照画像からテクスチャを取得する（Ｓ１１１）。レンダリングモジュール８は、２つの参照ビュー内の正確に対応する座標から１つのテクスチャを取得しなくてもよく、複数のテクスチャを、対応する座標に隣接する複数の画素から取得してもよい。レンダリングモジュール８は、このようにして得られた複数のテクスチャのうちの１つのテクスチャを選択してもよいし、複数のテクスチャをマージしてもよい。このように複数のテクスチャを取得することで、三次元モデルの精度によるテクスチャのズレを軽減することができる。

レンダリングモジュール８は、２つの参照画像から得られた２つのテクスチャを、算出された混合比を用いて混合する（Ｓ１１２）。

本実施の形態に係る画像生成方法では、仮想画像の生成に利用する複数の画像を撮像したカメラの構成が異なれば、異なる調整処理を行うため、仮想画像における複数の領域間に輝度差または色の差が生じることを低減することができる。これにより、仮想画像をユーザが見ることによりユーザに与える視覚的な違和感を軽減することができる。

また、本実施の形態に係る画像生成方法では、一対の参照カメラとして、複数のカメラ１０２のうち、仮想的な視点から最も近い位置に位置する２つのカメラを選択する。このため、仮想的な視点からみた場合に最も近い見え方で撮像された画像を仮想画像の生成に利用することができる。

（実施の形態２）
実施の形態２に係る画像生成システムについて説明する。

実施の形態１に係る画像生成システム１００と同様であるが、プロセッサ１０６のレンダリングモジュール８において行われる仮想画像の生成処理が異なる。実施の形態２では、三次元空間上の、運動場のフィールド、体育館の床面、地面などの同一の平面を異なるカメラで撮像した場合に、射影変換を用いて当該平面の画像を合成する処理を行う場合に適用されうる。つまり、レンダリングモジュール８は、一対の参照画像である複数の第１画像を射影変換することで仮想画像の平面に対応する領域を生成し、一対の参照画像とは異なる複数の第２画像を用いる場合に、複数の第２画像を射影変換することで仮想画像の平面に対応する領域を生成する。このため、プロセッサ１０６は、複数のカメラ１０２から、同一の平面の画像を含む複数の画像を取得する。

図１７は、実施の形態２に係る画像生成システムによる仮想画像の生成処理の一例を示すフローチャートである。つまり、実施の形態２では、実施の形態１の図３の仮想画像の生成処理の代わりに図１７のフローチャートで示す処理が行われる。

レンダリングモジュール８は、複数のカメラ１０２による複数のビューのそれぞれと、仮想ビューとの間のワーピングマトリクスを算出する（Ｓ１１ａ）。ワーピングマトリクスは、異なる視点から撮像された一対の画像（またはビュー）の間の画素（または座標）の対応関係を示す。なお、ワーピングマトリクスは、一対の画像の間の画素の対応関係だけでなく、一対の画像を複数の領域に分割したときに、領域間の対応関係を示していてもよい。これにより、複数のビューのそれぞれと、仮想ビューとの間の対応する座標が得られる。つまり、ワーピングマトリクスでは、仮想ビューを構成する各画素が、複数のビューのそれぞれにおける画素と対応付けられている。レンダリングモジュール８は、ステップＳ１１ａにおいて一対の参照画像を決定していてもよい。一対の参照画像の決定方法は、実施の形態１と同様の方法を用いることができる。

レンダリングモジュール８は、算出したワーピングマトリクスを用いて、仮想ビューを構成する複数の画素のそれぞれについてステップＳ１３ａ～Ｓ１５ａの処理を実行するループ６を開始する（Ｓ１２ａ）。

レンダリングモジュール８は、一対の参照画像が得られた２つのカメラ１０２による２つのビューである２つの参照ビューの両方において、処理対象の画素が有効であるか否かを判定する（Ｓ１３ａ）。画素が有効であるか否かの判定には、実施の形態１のステップＳ１０２と同様の判定を用いることができる。

レンダリングモジュール８は、処理対象の画素が、両方の参照ビューにおいて有効であると判定された場合（Ｓ１３ａでＹｅｓ）、両方の参照ビューから得られた２つのテクスチャを用いて２つのテクスチャを混合し（Ｓ１４ａ）、混合した結果を記憶する。ステップＳ１４ａのテクスチャの混合には、ステップＳ１４と同様のテクスチャの混合を用いることができる。

また、レンダリングモジュール８は、処理対象の画素が、両方の参照ビューにおいて有効でないと判定された場合（Ｓ１３ａでＮｏ）、当該画素に適用するテクスチャに調整処理を実行し（Ｓ１５ａ）、調整処理の結果を記憶する。ステップＳ１５ａの調整処理には、ステップＳ１５と同様の調整処理を用いることができる。

レンダリングモジュール８は、ステップＳ１４ａおよびＳ１５ａの後で、複数の画素のうちまだループ６における処理が行われていない次の画素に対してステップＳ１３ａ～Ｓ１５ａを実行する。

レンダリングモジュール８は、複数の画素の全てに対してステップＳ１３ａ～Ｓ１５ａの処理を行った場合、ループ６を終了し、ループ６により生成された複数のテクスチャを対応する複数の画素に適用して複数のテクスチャを結合することで仮想画像を生成する（Ｓ１６ａ）。仮想画像の合成では、良好な画像品質を得るために、フィルタリングまたはノイズ除去などの後処理がさらに実行されてもよい。なお、生成された仮想画像は、ストレージに出力されストレージに記憶されてもよい。

（変形例）
上記実施の形態１および２では、複数のカメラ１０２により撮像された複数の画像のうち、一対の参照画像を用いて仮想画像を生成するときには、一対の参照画像から得られた２つのテクスチャを混合する処理を行うとしたが、これに限らずに、１枚の参照画像を用いて仮想画像を生成してもよい。この場合、三次元点が１枚の参照画像にない場合、複数のカメラ１０２のうち参照カメラ以外の他のカメラにより撮像された１以上の画像に調整処理を適用することで仮想画像を生成してもよい。つまり、実施の形態１および２では、基準となる複数の第１画像を用いて仮想画像を生成する時に、基準となる複数の第１画像を利用できないときに、複数の第２画像を用いて仮想画像を生成するとしたが、これに限らない。基準となる１枚の第１画像を用いて仮想画像を生成する時に、１枚の第１画像を利用できないときに、複数の第２画像を用いて仮想画像を生成することとしてもよい。

つまり、プロセッサ１０６は、複数の画像のうちの基準となる１以上の第１画像を撮像した１以上の第１カメラとは少なくとも１つのカメラが異なる１以上の第２カメラにより撮像された１以上の第２画像を用いて仮想画像を生成する場合、１以上の第１画像を用いて仮想画像を生成するときに行う第１の処理とは異なる調整処理を含む第２の処理を前記１以上の第２画像に対して行うことで、仮想画像を生成する。

これによれば、１以上の第２画像を用いて仮想画像を生成する場合、１以上の第１画像を用いて仮想画像を生成するときに行う第１の処理とは異なる調整処理を含む第２の処理を１以上の第２画像に対して行うため、仮想画像における複数の領域間、または、複数のフレーム間に輝度差または色の差が生じることを低減することができる。よって、ユーザに与える視覚的な違和感を軽減することができる。

また、実施の形態１および２では、１枚の仮想画像を生成する時に、２つのテクスチャを混合する処理を行う領域と、調整処理を行う領域とが混在している場合を例としたが、全ての領域において、つまり全ての三次元点において、一対の参照ビューの両方から見える点であると判定されれば、調整処理を行わずに、２つのテクスチャを混合する処理を行ってもよい。また、同様に、全ての三次元点において、一対の参照ビューの両方から見える点でないと判定されれば、２つのテクスチャを混合する処理を行わずに、調整処理を行う処理を行ってもよい。

上記実施の形態１では、図１１において二次元平面上に環状に複数のビューに対応する複数のカメラが配置される例を説明したが、これに限らずに、三次元上に複数のビューに対応する複数のカメラが配置される構成であってもよい。この場合、テクスチャの検索処理を行う場合に、図１１を用いた方法とは異なる方法を用いる必要がある。

図１８は、複数のビューから利用可能なテクスチャを検索する別の方法を説明するための図である。

図１８において、ポリゴン５０１は、仮想ビューを示す。ポリゴン５０３、５０５、５０７、５０９、５１１および他のポリゴンは、複数のカメラによる複数のビューを示す。図１８のような複数のカメラの配置では、例えば、仮想ビューに最も近い３つのビューが選択されてもよい。この場合、ポリゴン５０１に最も近いポリゴン５０３、５０５、５０７が選択される。そして、これらのポリゴン５０３、５０５、５０７に対応する３つのビューでは、実施の形態１で説明したように、可視性が判定され、可視であれば利用可能なテクスチャが選択されたビューから抽出される。また、これらの３つのビューのいずれからも見えない場合、次の３つの最も近いビューが選択されうる。例えば、ポリゴン５０９、５１１、５１３が選択されてもよい。このように、実施の形態１と同様に三次元点が見えるビューが見つかるまで、テクスチャの検索が行われる。ビューは、仮想ビューからの距離に応じて複数のグループに分類され、グループ毎にテクスチャの検索が行われる。仮想ビューと、同じグループに属する各ビューとの間の距離は互いに近いため、品質のよい合成を行うことができる。

上記実施の形態では、画像生成システム１００は、複数のカメラ１０２により撮像された複数の画像は、複数の撮像装置１０４を経由して画像生成装置１０１に出力される構成としたが、これに限らない。例えば、図１９に示す画像生成システム１００Ａのように、複数のカメラ１０２により撮像された複数の画像は、ネットワーク１３０を介して画像生成装置１０１Ａに出力される構成としてもよい。この場合、複数の画像は、ネットワーク１３０を介して、一端サーバ１３８のストレージ１３２に蓄積される構成であってもよい。そして、画像生成装置１０１Ａは、サーバ１３８からストレージ１３２に蓄積された複数の画像を、プロセッサ１０６ＡのネットワークＩＦ１２を介して取得する構成であってもよい。

このような、ビュー依存合成は、医療産業、映画産業、ビデオゲーム産業、建築産業、科学コミュニティ、およびエンジニアリングコミュニティを含む広範囲のアプリケーションにおいて有用である。

上述のビュー依存合成には、視覚的な違和感を最小限とする、現実的なレンダリングと高画質が必要である。また、可視性、オクルージョン、および色／輝度の違いを処理する方法が必要である。

上記実施の形態では、調整処理において輝度差を調整する輝度調整と色の差を調整する色調整のうちの少なくとも一方を調整するとしたが、典型的には、輝度成分を調整する輝度調整と色差成分を調整する色差調整とが調整処理として行われる。調整処理は、ＲＧＢの値を調整する場合には色調整のみであってもよい。また、調整処理は、輝度調整のみであってもよい。

なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。

（４）本発明は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像生成方法および画像生成装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の画像のうちの少なくとも１つの画像を用いて、前記三次元空間上の仮想的な視点から前記対象空間を見たときの二次元画像である仮想画像を、プロセッサを用いて生成する画像生成方法であって、前記複数の画像のうちの基準となる１以上の第１画像を撮像した１以上の第１カメラとは少なくとも１つのカメラが異なる１以上の第２カメラにより撮像された１以上の第２画像を用いて前記仮想画像を生成する場合、前記１以上の第１画像を用いて前記仮想画像を生成するときに行う第１の処理とは異なる第２の処理であって、輝度調整および色調整の少なくとも一方を含む第２の処理を前記１以上の第２画像に対して行うことで、前記仮想画像を生成する画像生成方法を実行させる。

以上、本開示の一つまたは複数の態様に係る画像生成方法および画像生成装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。

本開示は、三次元レンダリング装置または三次元レンダリング方法において有利に利用される。

２ 校正モジュール
４ 再構成モジュール
８ レンダリングモジュール
１０ メモリ
１２ ネットワークＩＦ
１００、１００Ａ 画像生成システム
１０１、１０１Ａ 画像生成装置
１０２ カメラ
１０４ 撮像装置
１０６、１０６Ａ プロセッサ
１０８ ディスプレイ
１１０ 入力装置
１１２ 外部メモリ
１１４ モデルデータベース
１１６ 同期装置
１３０ ネットワーク
１３２ ストレージ
１３８ サーバ

Claims (4)

1. 仮想的な視点から見た仮想画像を生成する画像生成方法であって、
   被写体の三次元モデルを取得し、
   複数のカメラを制御して複数の視点から前記被写体を撮影することで、第１画像および第２画像を含む複数の画像を生成し、
   前記三次元モデルの三次元点を前記第１画像および前記第２画像に投影し、
   前記第１画像および前記第２画像の両方において、投影された前記三次元点が見えるか否かを判定し、
   投影された前記三次元点が前記第１画像及び前記第２画像の両方で見えると判定された場合、前記第１画像および前記第２画像を合成することで、前記仮想画像内の前記三次元点を示す第１テクスチャを生成し、
   投影された前記三次元点が前記第１画像及び前記第２画像の両方で見えないと判定された場合、前記複数の画像に含まれる第３画像であって、投影された前記三次元点が前記第３画像上で見える前記第３画像を取得し、
   前記第１画像および前記第２画像に基づいて前記第３画像に対して輝度調整又は色調整の少なくとも一方を行い、前記仮想画像内の前記三次元点を示す第２テクスチャを生成する
   画像生成方法。
2. 前記第３画像は、前記複数の画像から前記第１画像および前記第２画像を除いた複数の第４画像を、所定の順序で検索することで決定され、
   前記所定の順序は、前記複数のカメラのそれぞれの視野角及び設置高さの少なくとも一方に応じて決定される
   請求項１に記載の画像生成方法。
3. 仮想的な視点から見た仮想画像を生成する画像生成装置であって、
   プロセッサを備え、
   前記プロセッサは、
   被写体の三次元モデルを取得し、
   複数のカメラを制御して複数の視点から前記被写体を撮影することで、第１画像および第２画像を含む複数の画像を生成し、
   前記三次元モデルの三次元点を前記第１画像および前記第２画像に投影し、
   前記第１画像および前記第２画像の両方において、投影された前記三次元点が見えるか否かを判定し、
   投影された前記三次元点が前記第１画像及び前記第２画像の両方で見えると判定された場合、前記第１画像および前記第２画像を合成することで、前記仮想画像内の前記三次元点を示す第１テクスチャを生成し、
   投影された前記三次元点が前記第１画像及び前記第２画像の両方で見えないと判定された場合、前記複数の画像に含まれる第３画像であって、投影された前記三次元点が前記第３画像上で見える前記第３画像を取得し、
   前記第１画像および前記第２画像に基づいて前記第３画像に対して輝度調整又は色調整の少なくとも一方を行い、前記仮想画像内の前記三次元点を示す第２テクスチャを生成する
   画像生成装置。
4. 仮想的な視点から見た仮想画像を生成する画像生成方法をコンピュータに実行させるためのプログラムであって、
   被写体の三次元モデルを取得し、
   複数のカメラを制御して複数の視点から前記被写体を撮影することで、第１画像および第２画像を含む複数の画像を生成し、
   前記三次元モデルの三次元点を前記第１画像および前記第２画像に投影し、
   前記第１画像および前記第２画像の両方において、投影された前記三次元点が見えるか否かを判定し、
   投影された前記三次元点が前記第１画像及び前記第２画像の両方で見えると判定された場合、前記第１画像および前記第２画像を合成することで、前記仮想画像内の前記三次元点を示す第１テクスチャを生成し、
   投影された前記三次元点が前記第１画像及び前記第２画像の両方で見えないと判定された場合、前記複数の画像に含まれる第３画像であって、投影された前記三次元点が前記第３画像上で見える前記第３画像を取得し、
   前記第１画像および前記第２画像に基づいて前記第３画像に対して輝度調整又は色調整の少なくとも一方を行い、前記仮想画像内の前記三次元点を示す第２テクスチャを生成することを、
   コンピュータに実行させるためのプログラム。

Images