JP6674192B2 - 画像処理装置と画像処理方法 - Google Patents

Description

この技術は、画像処理装置と画像処理方法に関し、所望の照明環境下での被写体画像を生成する際に照明環境の設定を容易に行えるようにする。

従来、撮影時とは異なる照明環境での照明効果を算出するリライティングと呼ばれる画像処理技術が画像の加工等で用いられている。

リライティングでは、被写体の照明に関連する被写体情報例えば被写体の形状や反射特性と、照明情報例えば照明位置や照明強度等が必要とされている。これらの情報は、一般的な３次元コンピュータグラフィクスの描画に用いられる要素と同じである。被写体の形状は、例えば複数カメラを用いたステレオマッチングにより奥行きを推定して、各画素に対応した３次元座標の集合からモデルを復元する方法が用いられる。被写体の反射特性および光源位置については、例えば球面ミラーにおける光源の反射を用いた手法が提案されている。

また、適切なリライティング画像を生成するため、例えば特許文献１では、光源の強度を自動調整することが開示されている。

特開２００９−２２３９０６号公報

ところで、所望のリライティング画像を生成するには、特許文献１によって調整される光源の強度だけでなく、照明位置や照明方向等も調整できることが望ましい。照明位置や照明方向等の調整は、例えばコンピュータグラフィクス等では、表示装置の画面を見ながらマウス等の操作することで行われている。また、三次元座標等を直接入力することで、照明位置や照明方向等を設定することも行われている。しかし、このような従来の方法では、照明位置や照明方向等をユーザが直感的に把握することが困難であるため、照明を適切な場所に配置することが容易でない。

そこで、この技術では、所望の照明環境下での被写体画像を生成する際に照明環境の設定を容易に行える画像処理装置と画像処理方法を提供することを目的とする。

この技術の第１の側面は、被写体の照明に関連する被写体情報と、照明体の代替物として実空間内に設けた仮想照明体の種類と前記実空間内における三次元情報によって示される前記仮想照明体の位置や姿勢およびその変化に基づいて、照明の位置や方向，強度，種類を設定する照明情報とから、前記照明情報に基づいた照明環境下における前記被写体の画像を生成する画像生成部を備える画像処理装置にある。

この技術において、実空間内の仮想照明体に基づいて照明情報を取得する照明情報取得部は、仮想照明体が置かれる実空間の情報を取得する実空間情報取得部と、仮想照明体の特徴量を予め記憶した特徴量記憶部と、特徴量記憶部に記憶されている特徴量に基づき、実空間情報取得部が取得した実空間の情報から仮想照明体を検出して、検出した仮想照明体の照明情報を生成する仮想照明体検出部を有している。また、照明情報取得部は、仮想照明体が置かれる実空間の情報を取得する実空間情報取得部と、仮想照明体の特徴量を学習する仮想照明体学習部と、仮想照明体学習部で学習された特徴量を記憶する特徴量記憶部と、特徴量記憶部に記憶されている特徴量に基づき、実空間情報取得部が取得した実空間の情報から仮想照明体を検出して、検出した仮想照明体の照明情報を生成する仮想照明体検出部を備えている。また、照明情報取得部は、仮想照明体が置かれる実空間の情報を取得する実空間情報取得部と、ユーザが実空間情報から手動で指定した仮想照明体の領域を取得する仮想照明体領域取得部と、取得した仮想照明体の照明情報を生成する仮想照明体検出部を備えている。また、照明情報取得部は、仮想照明体と通信を行う通信部と、通信部で仮想照明体からの通信信号を受信して得られた受信データに基づいた照明情報を生成して出力するデータ処理部とを有している。照明情報取得部には、実空間内の仮想照明体の三次元情報を取得する撮像部が設けられている。データ処理部は、受信データで示された仮想照明体の位置や姿勢およびその変化に基づいて照明情報を生成する。照明情報は、照明の三次元位置，照明方向，照明強度および種類の少なくともいずれかの情報を含むように生成される。また、画像処理装置には、撮像画像から被写体の照明に関連する被写体情報を取得する被写体情報取得部が設けられる。

この技術の第２の側面は、画像生成部で、被写体の照明に関連する被写体情報と、照明体の代替物として実空間内に設けた仮想照明体の種類と前記実空間内における三次元情報によって示される前記仮想照明体の位置や姿勢およびその変化に基づいて、照明の位置や方向，強度，種類を設定する照明情報とから、前記照明情報に基づいた照明環境下における前記被写体の画像を生成する工程を含む画像処理方法にある。

この技術によれば、実空間内の仮想照明体に基づいて照明情報が取得されて、この照明情報と被写体の照明に関連する被写体情報から、照明情報に基づいた照明環境下における被写体の画像が生成される。このため、所望の照明環境下での被写体画像を生成する場合の照明環境の設定を、実空間内に設けた仮想照明体の位置や向き等を利用して容易に行えるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像処理装置の構成を示す図である。 双方向反射率分布関数を用いた反射モデルを示す図である。 実空間の座標系とコンピュータグラフィクスの座標系を例示した図である。 レンダリングの原理を説明するための図である。 照明情報取得部の第１の実施の形態の構成を例示した図である。 実空間情報取得部の構成を例示した図である。 仮想照明体を例示した図である。 マーカー領域の画像の検出動作を説明するための図である。 マーカー認識動作を説明するための図である。 マーカーの三次元情報の推定動作を説明するための図である。 撮像画像の二次元画像座標系を示す図である。 座標変換行列の回転行列を計算する方法を説明するための図である。 マーカーの実空間における三次元情報とコンピュータグラフィクスのワールド座標系における照明情報との対応関係を説明するための図である。 第１の実施の形態の動作を示すフローチャートである。 実空間情報の検出動作を示すフローチャートである。 三次元情報の推定動作を示すフローチャートである。 マーカーを自在に移動や回転させることが可能に配置例を示す図である。 照明情報取得部の第２の実施の形態の構成を例示した図である。 学習に用いるマーカーを例示した図である。 学習動作を説明するための図である。 第２の実施の形態の動作を示すフローチャートである。 照明情報取得部の第３の実施の形態の構成を例示した図である。 第３の実施の形態の動作を示すフローチャートである。 仮想照明体（例えばスマートフォンを用いた場合）の構成を例示した図である。 仮想照明体における三次元情報の生成についての説明図である。 照明設定画面を例示した図である。 照明情報取得部の第４の実施の形態の構成を例示した図である。 第４の実施の形態の動作を示すフローチャートである。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置の概要
２．照明情報取得部の第１の実施の形態
３．照明情報取得部の第２の実施の形態
４．照明情報取得部の第３の実施の形態
５．照明情報取得部の第４の実施の形態

＜１．画像処理装置の概要＞
図１は、この技術の画像処理装置の構成を示している。画像処理装置１０は、例えばリライティング処理を行い、撮像画像から撮影時とは異なる照明環境で撮像を行った場合の撮像画像に相当するリライティング画像を生成する。

画像処理装置１０は、被写体情報取得部２０と照明情報取得部３０および画像生成部５０を有している。

被写体情報取得部２０は被写体情報を取得する。被写体情報は、被写体の照明に関連する被写体情報である。例えば被写体を撮像する場合、照明が一定であっても被写体の三次元形状や反射特性が異なると、得られる撮像画像は異なった画像となる。したがって、被写体情報取得部２０は、被写体の照明に関連する被写体情報である被写体の三次元形状や反射特性等を示す情報を被写体情報として取得する。被写体情報取得部２０は、画像生成部５０でリライティング画像を生成する場合、撮像画像から被写体情報を取得する。被写体情報取得部２０は、取得した被写体情報を画像生成部５０に出力する。

照明情報取得部３０は、実空間の仮想照明体に基づき照明情報を取得する。仮想照明体は、照明光を出射する照明体の代替えとして照明情報を取得する際に用いられる物体である。照明情報取得部３０は、仮想照明体の実空間における三次元情報例えば三次元位置および向きや仮称照明体の種類等に基づき、照明の三次元位置，照明方向，照明強度や種類等の情報を含む照明情報を生成する。したがって、仮想照明体としては、認識できる任意の物体例えば平面状のマーカー、スマートフォン、ユーザの所持物等を用いることができる。なお、照明情報は、照明の三次元位置，照明方向，照明強度および種類等の少なくともいずれかを含む情報であってもよい。照明情報取得部３０は、実空間の仮想照明体に基づいて取得した照明情報を画像生成部５０に出力する。

画像生成部５０は、被写体情報取得部２０で取得された被写体情報と照明情報取得部３０で取得された照明情報に基づきレンダリング等を行い、照明情報に基づいた照明環境下における被写体の画像を生成する。例えば、画像生成部５０は、撮像画像から取得した被写体情報を用いることで、撮像画像の被写体を照明情報に基づく新たな照明環境下で撮像した場合に相当するリライティング画像を生成する。

次に、画像処理装置の動作について説明する。被写体情報取得部２０における三次元形状の取得では、例えばステレオカメラや多視点カメラ、ＴＯＦ(Time-of-Flight)法を用いた画像センサ、ストラクチャードライト(structured light)法を用いた３Ｄスキャナ等のデバイスを用いて被写体を撮像する。被写体情報取得部２０は撮像結果からデプスマップまたは三次元の点群(Point Cloud)、もしくはポリゴンメッシュ等の三次元形状情報を取得する。

次に、被写体情報取得部２０における反射特性の取得について説明する。物体表面の反射特性とは、物体表面に入射した光の強度が、どのように変化して反射されるかを示す特性であり、物体の材料や形状、観察方向等によって異なる。反射特性を表現するモデルの一つとして、双方向反射率分布関数（ＢＲＤＦ: Bidirectional Reflectance Distribution Function）が知られている。双方向反射率分布関数は、入射光の角度および出射光の角度の関数であり、ある角度で入射してきた光の強度が、ある角度へどの程度の反射率で出射するか示している。双方向反射率分布関数を用いた反射モデルの多くは、図２に示すように拡散反射と鏡面反射を含んでいる。なお、図２の（Ａ）は拡散反射の反射方向（細線の矢印方向）と出射光の強度（細線の矢印の長さ）、図２の（Ｂ）は鏡面反射の反射方向（細線の矢印方向）と出射光の強度（細線の矢印の長さ）を示している。入射光の表面法線に対する方向と入射光の強度が一定である場合、拡散反射の出射光はどの角度で反射しても強度が不変であり、鏡面反射の出射光は鏡面反射方向に近いほど強度が強くなり、鏡面反射方向から離れるほど強度が弱くなる。図２の（Ｃ）は、拡散反射と鏡面反射を含んだ反射方向（細線の矢印方向）と出射光の強度（細線の矢印の長さ）を示している。なお、説明を容易とするため、以下の説明では拡散反射のみの反射モデルについて説明する。

拡散反射のみのＢＲＤＦ反射モデルは、ランバート(Lambert)モデルが広く用いられている。ランバートモデルは、式（１）に示すように、三原色画像の画素値Ｉｄが、その画素に対応する三次元物体表面の点の法線方向Ｎと光源の方向Ｌの内積と、光源の強度Ｉｐおよびその点の拡散反射率Ｋｄに基づいて算出される。
Ｉｄ＝ＫｄＩｐ（Ｎ・Ｌ） ・・・（１）

ランバートモデルのパラメータである拡散反射率Ｋｄは、図２の（Ａ）に示す反射特性に対応しており、拡散反射率Ｋｄは被写体の素材などにより（例えば金属や布）大きく異なる。また、ランバートモデルから、光の入射方向Ｌと法線方向Ｎが近づけると画素値Ｉｄが大きくなることが分かる。また、画素値Ｉｄは観察方向によって変化することがない。なお、鏡面反射も考慮した反射モデルを用いる場合、上述のように、観察方向が光の鏡面反射方向に近づくと画素値が大きくなり、観察方向が光の鏡面反射方向から離れると画素値が小さくなる。

拡散反射率Ｋｄは波長に応じて異なり、一般的には赤色と緑色および青色の三原色毎に拡散反射率Ｋｄを定義する。ランバートモデルに基づいて、被写体表面の拡散反射率Ｋｄを取得する場合、被写体の三原色画像と三次元形状、および光源の方向と強度が必要となり、これらの情報を用いて式（２）の演算を行うことで色毎に、各画素の物体表面の拡散反射率Ｋｄを算出できる。なお、光源の方向は、例えば光源が点光源である場合、撮影時にメジャーなどを使って被写体に対する点光源の相対位置を実測することで取得できる。光源の強度は照度計などを用いて計測することで取得できる。
Ｋｄ＝Ｉｄ／Ｉｐ（Ｎ・Ｌ） ・・・（２）

被写体情報取得部２０は、以上のような処理を行うことで取得した被写体情報を画像生成部５０に出力する。

なお、被写体情報取得部は画像処理装置１０と別個に設けられてもよい。この場合、被写体情報取得部で取得された被写体情報を記憶する被写体情報記憶部２５を画像処理装置１０に設ける。

次に、照明情報取得部３０における照明情報の取得について説明する。照明情報は、リライティングを行うために必要な情報であり、画像生成部５０でレンダリング等を行う場合の照明の位置や向き，強度，種類などの設定を示す情報である。照明情報取得部３０は実空間上に存在する仮想照明体を認識して，実空間における仮想照明体の三次元位置や向きなどの情報を取得する。その後、照明情報取得部３０は、取得した情報を照明情報へ変換する。例えば、画像処理装置１０を被写体と見なす場合、実空間の任意の場所に置かれた仮想照明体と画像処理装置との位置関係が、レンダリング等のコンピュータグラフィクス（ＣＧ）における照明の設定値に反映される。すなわち、ユーザは、画像処理装置を被写体と見なして、照明体と見なした仮想照明体でこの被写体（画像処理装置）を照らすようにして、照明体と被写体を実際に用意しなくとも、直感的に照明体を所望の位置に配置した場合に相当する照明情報を生成できる。

ここで、画像処理装置と仮想照明体の位置関係を、コンピュータグラフィクスにおける照明情報の三次元位置として反映することについて説明する。

図３は、実空間の座標系とコンピュータグラフィクスの座標系を例示している。実空間には、画像処理装置１０と仮想照明体６０が設けられている。実空間のワールド座標系は例えば画像処理装置１０の中心を原点にして、画像処理装置１０の右方向、上方向、正面方向をワールド座標系のＸ，Ｙ，Ｚ軸方向とする。また、実空間のワールド座標系における仮想照明体の三次元情報のＸ，Ｙ，Ｚ座標は座標値（ｘ，ｙ，ｚ）で表して、回転方向は（Ｖｘ，Ｖｙ，Ｖｚ）で表す。

また、コンピュータグラフィクスにおいて、新たな照明環境下の画像が生成される処理対象被写体と、新たな照明の配置等に関する情報があるとする。この新たな照明の情報は、実空間に置かれる仮想照明体から得られる。また、処理対象被写体の三次元形状は上述のように被写体情報取得部２０で取得される。このため、コンピュータグラフィクスのワールド座標系は、例えば処理対象被写体の中心を原点にして、処理対象被写体の右方向、上方向、正面方向をコンピュータグラフィクスのワールド座標系のＸ，Ｙ，Ｚ軸方向とする。また、コンピュータグラフィクスのワールド座標系における新たな照明のＸ，Ｙ，Ｚ軸方向の座標値（ｘ’，ｙ’，ｚ’）と、実空間のワールド座標系における仮想照明体のＸ，Ｙ，Ｚ軸方向の座標値（ｘ，ｙ，ｚ）の関係は、（ｘ’，ｙ’，ｚ’）＝（ｘ，ｙ，ｚ）とする。また、（ｘ’，ｙ’，ｚ’）＝（Ｊｘ，Ｊｙ，Ｊｚ）としてもよい。係数「Ｊ」は、実空間のワールド座標系とコンピュータグラフィクスのワールド座標系のスケール関係を示しており、例えば予め所定の値またはユーザによる設定値とされる。

コンピュータグラフィクスのワールド座標系における新たな照明の向き(Ｘ軸周りの角度Ｖ’xとＹ軸周りの角度Ｖ’y)と実空間のワールド座標系における仮想照明体の回転方向（Ｖx，Ｖy，Ｖz)の関係はＶ’x＝Ｖx，Ｖ’Y＝Ｖyにする。この場合、照明情報取得部３０が出力する照明の三次元位置は座標値(ｘ’，ｙ’，ｚ’）であって、照明の向きのＸ軸周りの角度はＶ’xであり、Ｙ軸周りの角度はＶ’yである。

照明情報取得部３０が仮想照明体から照明の強度および種類等を取得する動作に関しては後述する。

画像生成部５０は、被写体情報取得部２０で取得された被写体情報と照明情報取得部３０で取得された照明情報に基づいてレンダリングを行い例えばリライティング画像を生成する。

図４は、コンピュータグラフィクスにおけるレンダリングの原理を説明するための図である。コンピュータグラフィクスで物体の画像をレンダリングする場合、その物体の外見を決定する三種類のデータ（三次元形状、表面の反射特性、照明）をもとにレンダリングを行う。具体的には、物体の表面の一点に入射した照明からの入射光が、表面の反射特性によって定まる強度で反射される。撮像装置のセンサにおいて、物体の一点に対応している画素の画素値（信号レベル）は、反射された光である出射光の強度で決まる。コンピュータグラフィクスではその入射光の強度と表面の形状、表面の反射特性をユーザが設定することで、画素値が自動的に計算される。同様に、リライティング処理においても、被写体の三次元形状と反射特性および照明の三種類のデータが必要であり、レンダリングと同様にして画素値を計算する。なお、コンピュータグラフィクスでは、三種類のデータを全部設定する。しかし、リライティング処理では被写体の三次元形状と反射特性が被写体情報として被写体情報取得部２０によって取得されている。したがって、リライティング処理では、照明情報によって新たな照明環境を設定することで、撮影時と同じ構図であるが、照明条件の異なる画像がリライティング画像として生成される。

なお、画像処理装置１０と別個に設けられた被写体情報取得部２０で取得された被写体情報が被写体情報記憶部２５に記憶されている場合、画像生成部５０は、被写体情報記憶部２５に記憶されている被写体情報を用いてレンダリングを行う。

＜２．照明情報取得部の第１の実施の形態＞
図５は、照明情報取得部の第１の実施の形態の構成を例示している。照明情報取得部３０は、実空間情報取得部３１と特徴量記憶部３２および照明情報生成処理部３５を有している。

実空間情報取得部３１は、仮想照明体が置かれる実空間の情報を取得して照明情報生成処理部３５に出力する。仮想照明体が置かれる実空間の情報は、実空間における仮想照明体の例えば三次元位置や向き等を取得するための情報である。特徴量記憶部３２は、予め設定した仮想照明体毎の特徴量が予め記憶されている。照明情報生成処理部３５は、特徴量記憶部３２に記憶されている特徴量と実空間情報取得部３１が取得した実空間の情報に基づき、仮想照明体の三次元位置や向き等の情報を取得して、取得した情報を照明情報に変換して画像生成部５０に出力する。

図６は、実空間情報取得部の構成を例示している。実空間情報取得部３１は、撮像部３１１と仮想照明体検出部３１２を有している。

撮像部３１１は、仮想照明体が設けられている実空間の撮像画像を仮想照明体検出部３１２に出力する。

図７は仮想照明体を例示した図であり、認識できる任意の物体である仮想照明体は、二次元物体または三次元物体のいずれであってもよい。二次元物体としては、図７の（Ａ）に示すように拡張現実(Augmented Reality)の分野で広く利用されているマーカーや、図７の（Ｂ）に示すような各種のチラシ等を用いることができる。三次元物体としては、図７の（Ｃ）に示すような人間の手や、図７の（Ｄ）に示すような三次元形状のおもちゃ等を用いることができる。以下、この技術の理解を容易とするため、仮想照明体としてマーカーを用いた場合について説明する。

ＡＲＴｏｏｌＫｉｔ等で用いられるマーカーは、正方形で黒枠内に白領域が設けられており、黒枠と白領域は所定の割合とされて、黒枠でマーカー領域の検出を行い、白領域内のパターンに応じてマーカーを判別できるように構成されている。以下、パターンが含まれる領域をパターン領域とする。

撮像部３１１は、実空間に設けられたマーカーを撮像して、撮像画像を仮想照明体検出部３１２に出力する。

仮想照明体検出部３１２は、撮像画像からマーカー領域の画像を検出する。図８は、マーカー領域の画像の検出動作を説明するための図である。仮想照明体検出部３１２は、撮像画像をグレースケール画像に変換したのち、予め設定されている閾値と比較して二値化画像（白黒画像）を生成する。図８の（Ａ）は二値化画像を例示している。次に、仮想照明体検出部３１２は、二値化画像の白黒反転処理を行う。図８の（Ｂ）は白黒反転画像を例示している。仮想照明体検出部３１２は、反転画像から図８の（Ｃ）に示すように白色の四角形を検出する。仮想照明体検出部３１２は、反転画像における白色の四角形の4つの頂点の座標に基づき、射影変換を用いて、白色の四角形を図８の（Ｄ）に示すように白色の正方形に変換する。さらに、仮想照明体検出部３１２は、変換された白色の正方形の領域の内における黒領域の縦横の辺の長さを比較してマーカー領域の画像であるか検出する。仮想照明体検出部３１２は、長さが同じであれば当該黒領域はパターン領域であると判定して、長さが異なる場合はパターン領域ではないと判定する。

ここで、射影変換を用いて、白色の四角形を正方形に変換する方法について説明する。白色の四角形の4つの頂点の反転画像における座標をそれぞれｐ₁ ^ｕｖ＝（ｕ₁，ｖ₁），ｐ₂ ^ｕｖ＝（ｕ₂，ｖ₂），ｐ₃ ^ｕｖ＝（ｕ₃，ｖ₃），ｐ₄ ^ｕｖ＝（ｕ₄，ｖ₄）とする。変換後の正方形の各辺の長さは任意に設定することができる。例えば正方形の各辺の長さを「２００」と設定する場合、四角形の各頂点ｐ_i ^ｕｖ（ｉ＝１〜４）の座標は射影により（−１００,１００）、（１００，１００）、（１００，−１００）、（−１００，−１００）となる。この射影変換は、ホモグラフィ行列Hを用いて式（３）〜（６）として表すことができる。なお、式（７）はホモグラフィ行列Hを示している。

仮想照明体検出部３１２は、式（８）に示す射影変換式を用いて、射影変換行列の９つの変数ｈ_ｉｊを算出する。そして、白色の四角形の中の点（ｕ，ｖ）を射影変換行列を用いて、白色の正方形の中の点（ｕ’，ｖ’）に変換する。

照明情報生成処理部３５は、マーカーの認識を行う。照明情報生成処理部３５は、実空間情報取得部３１で検出されたマーカーにおけるパターン領域と、予め登録されているマーカーのパターン領域の画像を比較して、撮像画像にいずれのマーカーが含まれているか認識する。図９は、マーカー認識動作を説明するための図である。実空間情報取得部３１は、例えば検出したマーカーのパターン領域の画像を予め登録されているマーカーのパターン領域の画像と等しい解像度で分割して数値化する。なお、図９の（Ａ）は検出したマーカーのパターン領域の画像、図９の（Ｂ）は画像の分割、図９の（Ｃ）は数値化データを示している。照明情報生成処理部３５は、数値化パターンと予め記憶されているマーカーの数値化パターンを比較して、一致率が最も高くかつ一致率が予め設定された閾値よりも高いマーカーを撮像画像に含まれているマーカーと認識する。

次に、照明情報生成処理部３５は、マーカーの三次元情報を推定する。図１０は、マーカーの三次元情報の推定動作を説明するための図である。

照明情報生成処理部３５は、認識されたマーカーと予め記憶されているマーカーの黒枠の正方形の一辺の長さから、実空間におけるマーカーの三次元情報を推定する。

まず初めに座標系の定義を説明する。実空間のワールド座標系は例えば撮像装置の中心を原点にして、撮像部３１１の右方向、上方向、正面方向をＸ，Ｙ，Ｚ軸とする。実空間におけるマーカーの中心を原点にしているマーカー座標系も考えられている。マーカー座標系は例えばマーカーの中心を原点として、マーカーの右方向、上方向、マーカーの平面に対して垂直で裏面を指す方向を、それぞれＸ，Ｙ，Ｚ軸とする。撮像部３１１から取得した撮像画像の二次元画像座標系は、例えば図１１に示すように、二次元画像の中心を原点にして、二次元画像の右方向はｕ軸、二次元画像の上方向がｖ軸とする。

マーカー座標系の座標Ｐ^ｍ（Ｐ_ｘ ^ｍ，Ｐ_ｙ ^ｍ，Ｐ_ｚ ^ｍ）からワールド座標系の座標Ｐ^ｗ（Ｐ_ｘ ^ｗ，Ｐ_ｙ ^ｗ，Ｐ_ｚ ^ｗ）への変換は、式（９）の座標変換行列式で示すことができる。また、図１０において、マーカー座標系における「ｓｚ」は、マーカーの縦幅および横幅の「１／２」のサイズを示している。

照明情報生成処理部３５は、座標変換行列の回転行列Ｒと移動行列Ｔを計算して、マーカーの三次元情報を生成する。図１２は、座標変換行列の回転行列を計算する方法を説明するための図である。

まずマーカーの各頂点の記号について説明する。マーカーの各頂点ｐ_ｉ（ｉ＝１，２，３，４）およびマーカーの位置を表すマーカーの中心点ｐ_０のワールド座標系における座標は図１０に示すようにｐ_ｉ ^ｗで表す。また、マーカーの各頂点Ｐ_ｉ（ｉ＝１，２，３，４）およびマーカーの位置を表すマーカーの中心点Ｐ_０のマーカー座標系における座標は１０に示すようにＰ_ｉ ^ｍで表す。マーカーの各頂点Ｐ_ｉの二次元画像上に対応する頂点ｐ_ｉの二次元画像座標系における座標は図１１に示すようにｐ_ｉ ^ｕｖで表し、頂点ｐ_ｉのワールド座標系における座標値はｐ_ｉ ^ｗで表す。図１２では、撮像部３１１、三次元空間上にあるマーカーの頂点Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４および三次元空間上のマーカーの頂点Ｐ_１，Ｐ_２，Ｐ_３，Ｐ_４が二次元画像上に映されたマーカーの頂点ｐ_１，ｐ_２，ｐ_３，ｐ_４を示している。

照明情報生成処理部３５は、マーカーの画像からマーカーを認識して、画像におけるマーカーの四角形の辺ｐ_１ｐ_２，ｐ_２ｐ_３，ｐ_３ｐ_４，ｐ_４ｐ_１を取得できたら、撮像装置の視点Ｏを通る面Ｏｐ_１ｐ_２，Ｏｐ_２ｐ_３，Ｏｐ_３ｐ_４，Ｏｐ_４ｐ_１を実空間に延長する。この時、各面は実空間におけるマーカーの四辺Ｐ_１Ｐ_２，Ｐ_２Ｐ_３，Ｐ_３Ｐ_４，Ｐ_４Ｐ_１もそれぞれ通ることになり、視点Ｏと二次元画像のマーカーの辺と三次元のマーカーの辺を繋ぐ面となる。

次に、照明情報生成処理部３５は、この４つの面の法線を計算する。ワールド座標系は上述のように定義されており、ワールド座標系における撮像部３１１の視点Ｏの座標値は原点（０，０，０）である。撮像画像面のマーカーの頂点ｐ_１，ｐ_２，ｐ_３，ｐ_４のワールド座標系における座標は、撮影画像面がワールド座標系におけるＺ＝焦点距離（撮像部３１１の焦点距離ｆ）の平面であるので、各頂点ｐ_１，ｐ_２，ｐ_３，ｐ_４のＺ座標値も焦点距離になる。また、頂点ｐ_ｉ（ｉ＝１，２，３，４）のワールド座標系におけるＸ座標値ｐ_ｘｉ ^ｗは、各点の二次元画像座標系におけるｕ座標ｕ_ｉに画素ピッチpitchを乗算した値になる。すなわちＸ座標値ｐ_ｘｉ ^ｗ＝ｕ_ｉ×pitchとなる。さらに、頂点ｐ_ｉ（ｉ＝１，２，３，４）のワールド座標系におけるＹ座標値ｐ_Ｙｉ ^ｗは、各点の二次元画像座標系におけるｖ座標ｖ_ｉに画素ピッチpitchを乗算した値になる。すなわちＹ座標値ｐ_Ｙｉ ^ｗ＝ｖ_ｉ×pitchとなる。視点Ｏおよびマーカーの頂点ｐ_ｉの座標が得られれば、面Ｏｐ_１ｐ_２，Ｏｐ_２ｐ_３，Ｏｐ_３ｐ_４，Ｏｐ_４ｐ_１（すなわち面ＯＰ_１Ｐ_２，ＯＰ_２Ｐ_３，ＯＰ_３Ｐ_４，ＯＰ_４Ｐ_１）はワールド座標系において、式（１０）乃至（１３）で表すことができる。

ここで、面Ｏｐ_１ｐ_２，Ｏｐ_２ｐ_３，Ｏｐ_３ｐ_４，Ｏｐ_４ｐ_１に対して垂直なベクトル（面の法線）は、Ｎ_１２＝（Ｎ_Ｘ１２，Ｎ_Ｙ１２，Ｎ_Ｚ１２），Ｎ_２３＝（Ｎ_Ｘ２３，Ｎ_Ｙ２３，Ｎ_Ｚ２３），Ｎ_３４＝（Ｎ_Ｘ３４，Ｎ_Ｙ３４，Ｎ_Ｚ３４），Ｎ_４１＝（Ｎ_Ｘ４１，Ｎ_Ｙ４１，Ｎ_Ｚ４１）と表すことができる。

次に、照明情報生成処理部３５は向かい合った面同士の法線（面Ｏｐ_１ｐ_２の法線Ｎ_１２、面Ｏｐ_３ｐ_４の法線Ｎ_３４、面Ｏｐ_２ｐ_３の法線Ｎ_２３、面Ｏｐ_４ｐ_１の法線Ｎ_４１）から、外積を計算する。外積は２つの法線方向に対し垂直になり、さらにマーカー座標系の一つの軸を表すベクトルになる。ここで、図１２のマーカー座標系を図１０に示すマーカー座標系と同様に定義する場合、面ＯＰ_１Ｐ_２の法線Ｎ_１２と面ＯＰ_３Ｐ_４の法線Ｎ_３４の外積Ｖ_ｘ＝Ｎ_１２×Ｎ_３４はワールド座標系において、マーカー座標系のＸ軸を表すベクトルになる。また、面ＯＰ_２Ｐ_３の法線Ｎ_２３と面ＯＰ_４Ｐ_１の法線Ｎ_４１の外積Ｖ_ｙ＝Ｎ_２３×Ｎ_４１はワールド座標系において、マーカー座標系のＹ軸を表すベクトルになる。さらに、照明情報生成処理部３５で計算した２つの外積から外積Ｖ_ｚ＝Ｖ_ｘ×Ｖ_ｙを計算する。計算された外積Ｖ_ｚはワールド座標系において、マーカー座標系のＺ軸を表すベクトルになる。

ベクトルＶ_ｘ，Ｖ_ｙ，Ｖ_ｚは、３×１のサイズであって、これらのベクトルを横に並べて組み合わせた式（１４）に示す３×３の行列［Ｖ_ｘ Ｖ_ｙ Ｖ_ｚ］は座標変換行列の回転行列Ｒになる。

次に、移動行列Ｔの計算について説明する。照明情報生成処理部３５は、式（９）に示す座標変換行列式を用いて座標変換行列の残りの移動行列Ｔを計算する。マーカー座標系におけるマーカーの４つの頂点の座標Ｐ_ｉ ^ｍ（ｉ＝１，２，３，４）は、それぞれＰ_１ ^ｍ＝（−ｓｚ，ｓｚ，０)、Ｐ_２ ^ｍ＝(ｓｚ,ｓｚ,０)、Ｐ_３ ^ｍ＝（ｓｚ,−ｓｚ,０）、Ｐ_４ ^ｍ＝（−ｓｚ，−ｓｚ，０）になる。なお、上述のように、マーカー座標系における「ｓｚ」は、マーカーの縦幅および横幅の「１／２」のサイズを示している。

ワールド座標系におけるマーカーの各頂点のＸ座標値Ｐ_ｘｉ ^ｗとＹ座標値Ｐ_Ｙｉ ^ｗは、ワールド座標系におけるマーカーの各頂点のＺ座標値Ｐ_ｚｉ ^ｗ、および二次元画像上の位置(ｕ_ｉ,ｖ_ｉ)を用いて、下記の式（１５）〜（１８）のように表せる。なお、式（１５）〜（１８）において「ｆ」は撮像部３１１の焦点距離である。

マーカーの各頂点のマーカー座標系における座標とワールド座標系における座標を式（３）に代入することで、下記の式（１９）から（２２）を得ることができる。

４つの座標変換行列式では、マーカーの４つの頂点のワールド座標系におけるＺ座標Ｐ_ｚｉ ^ｗと移動行列（Ｔ_１１，Ｔ_１２，Ｔ_１３）^Ｔで、合わせて７つの未知数がある。また、一つの座標変換行列式は３つの方程式があり、４つの座標変換行列式では合計１２の方程式があることから、これらの方程式を用いて７つの未知数を算出することで、照明情報生成処理部３５は座標変換行列の移動行列Ｔを算出する。

ここで、回転行列Ｒと移動行列Ｔについてマーカーの三次元情報との関係を説明する。ワールド座標系において、マーカーの三次元情報の三次元位置で表すマーカーの中心の座標値（Ｐ_ｘ０ ^ｗ，Ｐ_ｙ０ ^ｗ，Ｐ_ｚ０ ^ｗ）は、移動行列Ｔ＝（Ｔ_１１，Ｔ_１２，Ｔ_１３）と同様で、（Ｐ_ｘ０ ^ｗ，Ｐ_ｙ０ ^ｗ，Ｐ_ｚ０ ^ｗ）＝（Ｔ_１１，Ｔ_１２，Ｔ_１３）である。回転方向は、回転行列Ｒ＝（Ｒ_１１，Ｒ_１２，Ｒ_１３；Ｒ_２１，Ｒ_２２，Ｒ_２３；Ｒ_３１，Ｒ_３２，Ｒ_３３）と同様となる。または、照明情報生成処理部３５は、３×３の回転行列ＲからＸ軸、Ｙ軸、Ｚ軸周りのＸＹＺオイラー角度Ｒ＝（Ｒ_ｘ,Ｒ_ｙ,Ｒ_ｚ)に変形した回転方向になる。

照明情報生成処理部３５は、以上のような処理を行うことにより得たマーカーの三次元情報を照明情報に変換する。マーカーの三次元情報と照明情報の対応関係は予め設定されていて、照明情報生成処理部３５は、対応関係に基づいてマーカーの三次元情報から照明情報への変換を行う。図１３は、マーカーの実空間における三次元情報とコンピュータグラフィクスのワールド座標系における照明情報との対応関係を説明するための図である。実空間のワールド座標系におけるマーカーのＸ軸周りの回転角度は、コンピュータグラフィクスのワールド座標系における照明のＸ軸周りの回転角度と対応している。また、実空間のワールド座標系におけるマーカーのＹ軸周りの回転角度は、コンピュータグラフィクスのワールド座標系における照明のＹ軸周りの回転角度と対応している。さらに、実空間のワールド座標系におけるマーカーのＺ軸周りの回転角度は、コンピュータグラフィクスのワールド座標系における照明の強度と対応している。マーカーの三次元情報から照明情報への変換方法は、コンピュータグラフィクスのワールド座標系の定義によって異なる。例えばコンピュータグラフィクスのワールド座標系が、図３に示すようにリライティングする被写体の中心を原点にする場合、照明の三次元座標（ｘ’，ｙ’，ｚ’）はマーカーの実空間の三次元座標の座標値(Ｐ_ｘｏ ^ｗ，Ｐ_ｙ０ ^ｗ，Ｐ_ｚ０ ^ｗ）のＫ倍になる、すなわち（ｘ’，ｙ’，ｚ’）＝(ＫＰ_ｘｏ ^ｗ，ＫＰ_ｙ０ ^ｗ，ＫＰ_ｚ０ ^ｗ）となる。なお「Ｋ」は、実空間のワールド座標系とコンピュータグラフィクスのワールド座標系のスケール関係を示しており、予め所定の値またはユーザによって変更可能に設定されている。

ここで、コンピュータグラフィクスのワールド座標系は、リライティングする被写体の中心を原点として、かつコンピュータグラフィクスのワールド座標系と実空間のワールド座標系が同じ左手系の座標系であるとする。この場合、マーカーの実空間におけるＸ，Ｙ軸周りの回転方向はそのまま照明の向きのＸ，Ｙ軸周りの回転方向となる。また、コンピュータグラフィクスのワールド座標系の原点がリライティングする被写体の中心ではない場合、リライティングする被写体のコンピュータグラフィクスのワールド座標系における三次元座標と回転方向を考慮して、マーカーの三次元座標と回転方向から、照明のコンピュータグラフィクスのワールド座標系における三次元座標と回転方向へ変換する必要がある。例えば、コンピュータグラフィクスのワールド座標系において、リライティングする被写体の中心の三次元位置と回転角度をそれぞれＴobjectとＲobjectとする。この場合、照明のコンピュータグラフィクスのワールド座標系における三次元座標Ｔ’と回転方向Ｒ’は式（２３）のように変換される。

照明の強度変化に関しては、例えばマーカーの実空間のＺ軸周りの回転方向が時計回りの方向であるときには強度を強くして、逆時計回りの方向であるときは強度を弱くする。

図１４は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で照明情報取得部３０は、実空間情報の検出を行う。照明情報取得部３０は、仮想照明体が置かれる実空間の情報を検出する。

図１５は、実空間情報の検出動作を示すフローチャートである。ステップＳＴ１１で照明情報取得部３０は、マーカーを撮像する。照明情報取得部３０は、仮想照明体であるマーカーを撮像してステップＳＴ１２に進む。

ステップＳＴ１２で照明情報取得部３０は、マーカー領域の画像を検出する。照明情報取得部３０は、ステップＳＴ１１で生成された撮像画像に対して、上述のように二値化画像を生成する処理やマーカーに対応する領域例えば所定の割合の枠領域を含む四角形の被写体領域の画像を検出する処理等を行う。照明情報取得部３０は、このような処理を行うことでマーカー領域の画像を検出する。

図１４に戻り、ステップＳＴ２で照明情報取得部３０は、参照特徴量を取得する。照明情報取得部３０は、予めマーカー毎に生成されて記憶されているパターンファイルである参照特徴量をメモリ等から取得してステップＳＴ３に進む。なお、参照特徴量は、マーカー毎にマーカーのパターン領域を所定の解像度で分割して、分割領域毎の画像を数値化したパターンファイルである。

ステップＳＴ３で照明情報取得部３０は、仮想照明体の認識処理を行う。照明情報取得部３０は、ステップＳＴ１で検出されたマーカー領域の画像から枠領域の画像を除いたパターン領域の画像を、参照特徴量の算出時と等しい解像度で分割して分割領域毎の画像を数値化して特徴量であるパターンファイルを生成する。照明情報取得部３０は、この特徴量（パターンファイル）とステップＳＴ２で取得した参照特徴量（パターンファイル）を照合して、検出したマーカーに最も類似した参照特徴量のマーカーを判別する。照明情報取得部３０は、検出したマーカーに最も類似した参照特徴量のマーカーを仮想照明体と認識してステップＳＴ４に進む。

ステップＳＴ４で照明情報取得部３０は、三次元情報の推定を行う。照明情報取得部３０は、仮想照明体の実空間における三次元情報を推定する。

図１６は、三次元情報の推定動作を示すフローチャートである。ステップＳＴ２１で照明情報取得部３０は、視点とマーカーの辺で面を構成する。照明情報取得部３０は、図１２を用いて説明したように、視点Ｏと二次元画像のマーカーの辺と三次元のマーカーの辺を繋ぐ面を構成してステップＳＴ２２に進む。

ステップＳＴ２２で照明情報取得部３０は、各面の法線を算出する。照明情報取得部３０は、ステップＳＴ２１で構成された面毎に法線を算出してステップＳＴ２３に進む。

ステップＳＴ２３で照明情報取得部３０は、向かい合った面の法線から外積を算出する。照明情報取得部３０は、向かい合った面の法線から外積を算出することで、例えば上述のようにマーカー座標系のＸ軸を表すベクトルとＹ軸を表すベクトルを取得してステップＳＴ２４に進む。

ステップＳＴ２４で照明情報取得部３０は、外積同士から外積を算出する。照明情報取得部３０は、向かい合った面の法線から算出した外積同士の外積を算出することで、例えば上述のようにマーカー座標系のＺ軸を表すベクトルを取得してステップＳＴ２５に進む。なお、ステップＳＴ２１からステップＳＴ２４の処理は、座標変換行列の回転行列Ｒの推定に相当する。

ステップＳＴ２５で照明情報取得部３０は、座標変換行列式を用いて行列の残り値を算出する。照明情報取得部３０は、上述した移動行列Ｔの計算と同様にして、行列の残り値を算出することで三次元情報を推定する。

図１４に戻り、ステップＳＴ５で照明情報取得部３０は、三次元情報を照明情報に変換する。照明情報取得部３０は、マーカーの三次元情報と照明情報の対応関係を予め設定して、ステップＳＴ４で推定した三次元情報を画像生成部５０で用いる照明情報に変換する。

ところで、上述の実施の形態では、１種類のマーカーを利用して、照明情報の照明位置（三次元座標）と照明方向および照明強度を設定する場合について説明しており、照明の種類の変更は行われていない。そこで、照明の種類の変更する場合には、照明の種類に対応したマーカーを用いて照明情報の生成を行えばよい。例えばマーカーＡを白い点光源の照明、マーカーＢを黄色の平面光源の照明にそれぞれ予め設定する。ここで、照明情報生成処理部３５で、マーカーＡを認識した場合には、白い点光源が照明として用いられているとして照明情報を生成する。また、マーカーＡとマーカーＢを認識した場合には、白い点光源と黄色の平面光源が照明として用いられているとして照明情報を生成する。

なお、マーカー等を用いる場合、マーカーがテーブルの上に置かれるとマーカーはＸ軸周りの回転とＹ軸周りの回転ができない。しかし、図１７に示すように、テーブル上に本やコップ等を積み上げて、仮想照明体６０をコップにもたれるようにすることで、マーカーを自在に移動や回転させることが可能となる。また、マーカーを印刷している紙が立てられない場合は、例えば硬い板などに貼り付けてからコップなどにもたれるようにしてもよい。また、マーカーが貼り付けられた板を、ユーザが所望の位置となるように把持してもよく、三脚等を用いて所望の位置に保持させてもよい。

また、照明情報取得部３０における実空間情報取得部３１の構成は、仮想照明体の種類により異なる構成としてもよい。仮想照明体として平面状のマーカーを用いる場合、実空間の情報としてマーカーの撮像画像を取得すれば、上述のような処理を行うことで、実空間におけるマーカーの三次元位置や向き等に応じて照明情報を生成できる。しかし、仮想照明体が図７の（Ｄ）に示すおもちゃの場合、マーカーの場合と同様な処理で実空間におけるおもちゃの三次元位置や向き等を判別することは困難である。そこで、仮想照明体が三次元形状において特徴を有する場合、実空間情報取得部３１は、例えばデプス取得部と特徴点検出部を用いた構成とする。デプス取得部は、三次元情報を取得する撮像部、例えばステレオカメラや多視点カメラ、ＴＯＦ(Time-of-Flight)法を用いた画像センサ、ストラクチャードライト(structured light)法を用いた３Ｄスキャナ等を用いて構成する。デプス取得部は、三次元情報を取得する撮像部を用いて、実空間における仮想照明体のデプスマップを生成する。特徴点検出部は、実空間の画像から実空間における仮想照明体の特徴点を検出する。このように実空間情報取得部３１を構成した場合、照明情報生成処理部３５が適用する手法も、実空間情報取得部３１の構成に応じて異なる手法とする。例えば、照明情報生成処理部３５は、実空間情報取得部３１の特徴点検出部から得られた実空間における仮想照明体の特徴点と予め記憶されている仮想照明体の特徴点を用いて特徴点マッチングを行い、実空間の画像から仮想照明体を認識する。その後、照明情報生成処理部３５は、認識した仮想照明体とデプスマップから実空間における仮想照明体の三次元位置や向き等を検出して、検出結果に基づき照明情報を生成する。

以上の第１の実施の形態によれば、実空間内の仮想照明体に基づいて照明情報が取得されて、この照明情報と被写体の照明に関連する被写体情報から、照明情報に基づいた照明環境下における被写体の画像が生成される。このように、実空間内の仮想照明体に基づいて照明情報が取得されるので、仮想照明体すなわち照明器具と見なした物体の位置や向き等によって直感的に照明位置や照明方向等を把握できる。したがって、所望の照明環境下の被写体画像を生成する場合に照明環境の設定を容易に行うことができる。

＜３．照明情報取得部の第２の実施の形態＞
ところで、第１の実施の形態では、予め参照特徴量が記憶されている物体を仮想照明体として用いる場合について説明したが、第２の実施の形態では、任意の物体を仮想照明体として用いる場合について説明する。

第２の実施の形態では、仮想照明体とする被写体を用いて学習を行い、学習結果を示す特徴量をメモリ等に記憶させる。また、メモリ等に記憶された特徴量を用いて仮想照明体を認識する。

図１８は、照明情報取得部の第２の実施の形態の構成を例示している。照明情報取得部３０は、実空間情報取得部３１、仮想照明体学習部３３、特徴量記憶部３４および照明情報生成処理部３５を有している。

実空間情報取得部３１は、仮想照明体が置かれる実空間の情報を取得して照明情報生成処理部３５に出力する。

仮想照明体学習部３３は、仮想照明体として用いる物体について特徴量を算出して、算出した特徴量を特徴量記憶部３４に記憶させる。なお、特徴量記憶部３４には、予め設定した仮想照明体に関する特徴量が記憶されていてもよい。

照明情報生成処理部３５は、特徴量記憶部３４に記憶されている特徴量に基づき、実空間情報取得部３１が取得した実空間情報から仮想照明体を検出して、検出した仮想照明体の照明情報を画像生成部５０に出力する。

以下、学習に用いる仮想照明体としてマーカーを用いる場合について説明する。学習に用いるマーカーは、例えば図１９に示すように所定サイズ（２ｓｚ×２ｓｚ）の正方形として、幅が「ｓｚ（例えばｓｚ＝４０ｍｍ）」の黒枠を設ける。また、黒枠内をパターン領域として、パターン領域にアルファベットや文字や図等を記載することでマーカーを作成する。

仮想照明体学習部３３は、マーカーの撮像画像から特徴量例えばパターンファイルを作成する。図２０は、学習動作を説明するための図である。仮想照明体学習部３３は、作成したマーカーの撮像画像を取得する。図２０の（Ａ）は撮像画像を例示している。仮想照明体学習部３３は、取得した撮像画像のマーカーが、正面から撮像した場合の形状となるように射影変換を行い、図２０の（Ｂ）に示すように、マーカーの正対画像を作成する。仮想照明体学習部３３は、正対画像から枠領域を削除して、パターン領域の画像を抽出する。図２０の（Ｃ）は、パターン領域の画像を例示している。仮想照明体学習部３３は、パターン領域の画像を所定の解像度で分割する。図２０の（Ｄ）は、８×８のブロックにパターン領域の画像を分割する場合を例示している。さらに、仮想照明体学習部３３は、ブロック毎に画像を数値化してパターンファイルを生成する。なお、図２０の（Ｅ）は、パターンデータを例示している。

次に、正対画像の作成について説明する。撮像画像の二次元画像座標系は、図１１に示すように定義されている。仮想照明体学習部３３は、撮像画像から正方形状のマーカーの四隅の点の座標を取得する。ここで、四隅の点の座標を例えば（ｕ_１，ｖ_１），（ｕ_２，ｖ_２），（ｕ_３，ｖ_３），（ｕ_４，ｖ_４）とする。また、マーカーの四辺の一番短い辺の長さを「ｌ」に定義して、座標を取得した四隅の点が、大きさ「ｌ」の正方形の四隅の点に射影変換されるようなホモグラフィ行列を求める。なお、マーカーの四隅の点の射影変換後の座標はそれぞれ（−ｌ／２，ｌ／２），（ｌ／２，ｌ／２），（ｌ／２，−ｌ／２），（−ｌ／２，−ｌ／２）になる。

ホモグラフィ行列は、上述の式（７）に示すように３×３のマトリックスとする。

マーカーの各点を撮像画像から正対画像に射影変換する式は、ホモグラフィ行列を用いることで式（２４）〜（２７）となる。この際、ｈ_３３＝１になっている。

仮想照明体学習部３３は、式（２４）〜（２７）の１２の方程式からホモグラフィ行列の８つの変数を算出して、この算出したホモグラフィ行列を用いて、撮像画像の射影変換を行い、射影変換後の画像からマーカーの画像を抽出することで、正対画像を作成する。

図２１は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ３１で照明情報取得部３０は、マーカーの撮像画像を取得する。照明情報取得部３０は、仮想照明体として用いるマーカーの撮像画像を取得してステップＳＴ３２に進む。

ステップＳＴ３２で照明情報取得部３０は、パターン領域の画像を抽出する。照明情報取得部３０は、取得した撮像画像のマーカーが、正面から撮像した場合の形状となるように射影変換を行い、射影変換後の正対画像から、枠領域を削除してパターン領域の画像を抽出してステップＳＴ３３に進む。

ステップＳＴ３３で照明情報取得部３０は、特徴量を作成する。照明情報取得部３０は、抽出したパターン領域の画像を所定の解像度で分割して、分割領域毎に画像を数値化することで、特徴量であるパターンデータを作成してステップＳＴ３４に進む。

ステップＳＴ３４で照明情報取得部３０は、参照特徴量として記憶する。照明情報取得部３０は、作成した特徴量を後述する照合で利用できるように参照特徴量としてメモリ等に記憶させてステップＳＴ４１に進む。

ステップＳＴ４１からステップＳＴ４５までの処理は第１の実施の形態におけるステップＳＴ１からステップＳＴ５までの処理と同様である。

ステップＳＴ４１で照明情報取得部３０は、実空間情報を検出する。照明情報取得部３０は、照明情報取得部３０は、照明情報取得部３０は、仮想照明体が置かれる実空間の情報を検出してステップＳＴ４２に進む。

ステップＳＴ４２で照明情報取得部３０は、参照特徴量を取得する。照明情報取得部３０は、ステップＳＴ３４で記憶した参照特徴量をメモリから読み出してステップＳＴ４３に進む。

ステップＳＴ４３で照明情報取得部３０は、仮想照明体の認識処理を行う。照明情報取得部３０は、ステップＳＴ４１で検出されたマーカー領域におけるパターン画像の特徴量とステップＳＴ４２で取得した参照特徴量を照合して、最も類似した参照特徴量のマーカーを判別する。照明情報取得部３０は、最も類似した参照特徴量のマーカーを仮想照明体と認識してステップＳＴ４４に進む。

ステップＳＴ４４で照明情報取得部３０は、三次元情報の推定を行う。照明情報取得部３０は、仮想照明体の実空間における三次元情報を推定してステップＳＴ４５に進む。

ステップＳＴ４５で照明情報取得部３０は、三次元情報を照明情報に変換する。照明情報取得部３０は、マーカーの三次元情報と照明情報の対応関係を予め設定して、ステップＳＴ４４で推定した三次元情報を画像生成部５０で用いる照明情報に変換する。

このような第２の実施の形態によれば、第１の実施の形態と同様に、実空間内の仮想照明体に基づいて照明情報が取得されるので、仮想照明体すなわち照明器具と見なした物体の位置や向き等によって直感的に照明位置や照明方向等を把握できる。したがって、所望の照明環境下の被写体画像を生成する場合に照明環境の設定を容易に行うことができる。

また、第２の実施の形態では、学習によって任意の物体を仮想照明体として利用することが可能となる。したがって、予め指定されているマーカー等を仮想照明体として用いる第１の実施の形態に比べて、照明環境の設定における自由度を高めることができる。

＜４．照明情報取得部の第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態では、第２の実施の形態のように仮想照明体とする被写体を用いた学習を行わなくとも、ユーザが仮想照明体を例えば画面上で指定することで、照明情報を取得できるようにする。

図２２は、照明情報取得部の第３の実施の形態の構成を例示している。照明情報取得部３０は、実空間情報取得部３１ａ、照明情報生成処理部３５および仮想照明体指定操作部３８を有している。

実空間情報取得部３１ａは、被写体が設けられている実空間情報を取得して照明情報生成処理部３５と仮想照明体指定操作部３８に出力する。実空間情報取得部３１ａは、撮像部を有しており、被写体が設けられている実空間の撮像画像を実空間情報として仮想照明体検出部３１２に出力する。

仮想照明体指定操作部３８は、実空間の情報をユーザに提示する機能とユーザ操作を受け付ける機能を有している。例えば仮想照明体指定操作部３８は、表示部の画面上にタッチパネルを設けた構成、または表示部と表示部の画面上の位置をカーソル等で指定可能とする操作部を用いた構成とされている。仮想照明体指定操作部３８は、実空間の情報を表示部に表示して、表示された情報に応じてユーザが行った仮想照明体の指定操作に応じた操作信号を生成して照明情報生成処理部３５に出力する。

照明情報生成処理部３５は、実空間情報取得部３１が取得した実空間の情報と仮想照明体指定操作部３８からの操作信号に基づき仮想照明体を決定して、決定した仮想照明体に応じた照明情報を生成して画像生成部５０に出力する。

なお、仮想照明体の指定操作は、例えば四角形状である被写体の領域を指定して、この指定された領域を仮想照明体の領域としてもよく、ユーザが指定した被写体例えば四角形状である被写体や人物の顔等を仮想照明体としてもよい。

図２３は、第３の実施の形態の動作を示すフローチャートである。ステップＳＴ５１で照明情報取得部３０は、実空間情報を取得する。照明情報取得部３０は、例えば被写体が設けられている実空間の撮像画像を実空間の情報として取得してステップＳＴ５２に進む。

ステップＳＴ５２で照明情報取得部３０は、仮想照明体を決定する。照明情報取得部３０は、取得されている実空間情報である撮像画像をユーザに提示する。また、照明情報取得部３０は、提示された撮像画像に対してユーザが行った仮想照明体の指定操作に基づき仮想照明体を決定してステップＳＴ５３に進む。

ステップＳＴ５３で照明情報取得部３０は、三次元情報の推定を行う。照明情報取得部３０は、撮像画像における仮想照明体の位置に基づき、仮想照明体の実空間における三次元情報を推定してステップＳＴ５４に進む。

ステップＳＴ５４で照明情報取得部３０は、三次元情報を照明情報に変換する。照明情報取得部３０は、仮想照明体の三次元情報と照明情報の対応関係を予め設定して、ステップＳＴ５４で推定した三次元情報を画像生成部５０で用いる照明情報に変換する。

このように、第３の実施の形態によれば、照明情報取得部は、仮想照明体が置かれる実空間の情報を取得して提示し、提示した情報からユーザが仮想照明体として指定した実空間の情報に基づき照明情報を生成する。したがって、第２の実施の形態と同様に、実空間内の仮想照明体に基づいて照明情報が生成されるので、仮想照明体すなわち照明器具と見なした物体や人物の顔等の位置や向きによって直感的に照明位置や照明方向等を把握できる。このため、所望の照明環境下の被写体画像を生成する場合に照明環境の設定を容易に行うことができる。

さらに、第３の実施の形態では、ユーザが仮想照明体を指定するため、予め仮想照明体の特徴量の保存や仮想照明体の学習が不要になる。したがって、予め指定されているマーカー等を仮想照明体として用いる第１の実施の形態、及び学習されているマーカー等を仮想照明体として用いる第２の実施の形態に比べて、照明環境の設定における便利性を高めることができる。

＜５．照明情報取得部の第４の実施の形態＞
次に、第４の実施の形態では、三次元情報の生成が可能な機器を仮想照明体として用いることで、照明情報を生成する場合について説明する。

第４の実施の形態における仮想照明体としては、三次元情報等の生成および画像処理装置との通信を行う機能を有した電子機器を用いる。画像処理装置と電子機器との通信は、有線または無線のいずれであってもよい。以下、三次元情報等の生成および画像処理装置との通信を行う機能を有した電子機器として、例えばスマートフォン等の携帯通信端末を用いた場合について説明する。

図２４は、仮想照明体（例えばスマートフォンを用いた場合）の構成を例示している。仮想照明体６０は、通信部６１、音声入出力部６２、記憶部６３、記録再生部６４、電源部６５、計時部６６、表示部６７、操作入力部６８、センサ部６９、位置情報取得部７０、制御部７５を有している。また、仮想照明体６０には、記録媒体７７が着脱可能に設けられている。

通信部６１は、制御部７５による制御にしたがい外部機器と例えば無線通信を行う。通信部６１は、無線通信において、近距離無線通信例えばＢｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、赤外線通信等の少なくともいずれかの通信規格に対応した通信を行う。また、仮想照明体がスマートフォンである場合、セルラーフォンの通信規格に対応した通信を行う。

音声入出力部６２は、スピーカおよびマイクロフォンを用いて構成されている。音声入出力部６２は、通信部６１を介して行われる音声通話の音声入出力を行う。また、音声入出力部６２は、記憶部６３や記録媒体７７に記録されている音楽コンテンツや動画コンテンツの再生音を出力する。

記憶部６３は、ＲＡＭ(Random Access Memory)およびＲＯＭ(Read Only Memory)などの記録媒体である。ＲＡＭは、例えば制御部７５の作業領域として利用される。また、ＲＯＭには、例えば制御部７５で種々の制御を実行するためのプログラム等が記憶されている。また、ＲＯＭやＲＡＭには、制御部７５で種々の制御を行うために用いられる制御情報等が記憶される。さらにＲＡＭには、音楽コンテンツや動画コンテンツ、各種アプリケーションのプログラム、メール情報等も記録可能とされている。

記録再生部６４は、記録媒体７７を用いて、各種情報の記録および記録された情報の読み出しを行う。記録再生部６４は、例えば音楽コンテンツや動画コンテンツ、撮像画像、メール情報、無線通信で用いる他者のアドレス情報等を記録媒体７７に記録する。また、記録再生部６４は記録媒体７７に記録されている種々の情報の読み出しを行う。

電源部６５は、バッテリおよび電源回路で構成されている。電源部６５は仮想照明体６０の各部へ電力供給を行う。

表示部６７は、液晶ディスプレイや有機ＥＬディスプレイなどの表示素子を用いて構成されている。表示部６７は制御部７５の制御により、ＧＵＩ（Graphical User Interface）画面、アプリケーションの動作に応じた文字や画像等を表示する。

操作入力部６８は、操作スイッチやタッチパネルを用いて構成されている。タッチパネルは、表示部６７の表示画面上に設けられており、表示画面の表示に応じて機能が割り当てられる構成とされている。操作入力部６８は、ユーザ操作に応じた操作信号を生成して制御部７５へ出力する。

センサ部６９は、加速度センサやジャイロセンサを用いて構成されている。センサ部６９は、仮想照明体６０の平行移動や回転に応じたセンサ信号を生成して制御部７５に出力する。

位置情報取得部７０は、測位信号例えば全地球測位システム（ＧＰＳ：Global Positioning System）の測位信号を受信して、仮想照明体６０の現在位置を示す情報を生成して制御部７５に出力する。

制御部７５は、記憶部６３に記録されているプログラムを実行して、操作入力部６８から供給された操作信号や記憶部６３に記憶されている制御情報等に基づいて制御信号を生成する。制御部７５は、生成した制御信号を各部へ出力して、ユーザ操作に応じた動作が仮想照明体６０で行われるように、通信制御、表示制御、記録再生制御等を行う。また、制御部７５は、通信部６１を制御して、画像処理装置１０と無線通信を行う。さらに、制御部７５は、画像処理装置１０との通信に基づき所定のアプリケーションプログラムを起動させる処理、プログラムの起動後に、操作信号に基づき制御信号を生成する処理等を行う。また、制御部７５は、センサ部６９からのセンサ信号やユーザ操作に基づき、三次元情報やユーザ設定の情報を含む照明設定通信情報を生成して画像処理装置１０へ送信する処理等を行う。

ここで、図２５を用いて仮想照明体６０における三次元情報の生成について説明する。仮想照明体６０のセンサ部６９は、仮想照明体６０の図２５の（Ａ）に示すようなＸ軸方向（±Ｘ方向）の移動、Ｙ軸方向（±Ｙ方向）の移動、Ｚ軸方向（±Ｚ方向）の移動を例えば加速度センサで検出して、検出結果を制御部７５に出力する。また、センサ部６９は、図２５の（Ｂ）に示す仮想照明体６０のＸ方向を軸とした回転（±Ｘｒ回転方向）、Ｙ方向を軸とした回転（±Ｙｒ回転方向）の移動、Ｚ方向を軸とした回転（±Ｚｒ回転方向）の移動を例えばジャイロセンサで検出する。センサ部６９は、検出結果を制御部７５に出力する。制御部７５は、センサ部６９からのセンサ信号に基づき移動後の位置や仮想照明体６０の向きを示す三次元情報を生成する。仮想照明体６０は、例えば三次元情報の生成を開始した時の位置および姿勢を初期状態として、この初期状態からの移動位置や姿勢変化を三次元情報で判別可能とする。このようにすれば、初期状態の位置および姿勢を、画像生成時における照明の所定の位置および照明方向とすることで、初期状態から仮想照明体６０を移動させることで、画像生成時における照明の位置を所定位置から移動させることが可能となる。また、初期状態から仮想照明体６０の姿勢を変化させることで、画像生成時における照明方向を所定の方向から新たな方向に変更することが可能となる。

また、仮想照明体６０は、照明の強度や種類を設定するための照明設定画面を表示部６７に表示して、操作入力部６８におけるユーザ操作に応じて照明の強度や種類を設定する。図２６は、照明設定画面を例示しており、照明の強度はユーザがスライダーを移動することで調整可能とされている。また、照明の種類は、例えば予め作成した点光源や面光源等の種類毎のプリセットボタンをユーザが選択することで照明の種類が指定可能とされている。制御部７５は、照明設定画面に対するユーザ操作に応じて設定された照明の強度情報や種類情報をユーザ設定の情報とする。なお、制御部７５は、ユーザ設定の情報として予め設定されている強度情報や種類情報を用いてもよい。

図２７は、照明情報取得部の第４の実施の形態の構成を例示している。照明情報取得部３０は、通信部３６とデータ処理部３７を有している。

通信部３６は、仮想照明体６０から送信された通信信号を受信して得られた受信データをデータ処理部３７に出力する。データ処理部３７は、受信データを通信規格に応じてデコードする。

データ処理部３７は、受信データで示された仮想照明体の位置や姿勢およびその変化に基づいて照明情報を生成して画像生成部５０に出力する。データ処理部３７は、例えば受信データに含まれている照明設定通信情報で示された仮想照明体の位置や姿勢およびその変化に基づいて、リライティング処理における照明の位置や方向，強度を設定する照明情報を生成する。また、データ処理部３７は、例えば照明設定通信情報で示された仮想照明体におけるユーザ設定に基づき、例えばリライティング処理における照明の強度と種類を設定する照明情報を生成する。

図２８は、第４の実施の形態の動作を示すフローチャートである。ステップＳＴ６１で照明情報取得部３０は、通信信号を受信する。照明情報取得部３０は、仮想照明体からの通信信号を受信してステップＳＴ６２に進む。

ステップＳＴ６２で照明情報取得部３０は、照明設定通信情報を抽出する。照明情報取得部３０は、通信信号を受信して得られた受信データから、仮想照明体の三次元位置や向き、照明の強度や種類を示す情報が含まれた照明設定通信情報を抽出してステップＳＴ６３に進む。

ステップＳＴ６３で照明情報取得部３０は、照明設定通信情報に基づき照明情報を生成する。照明情報取得部３０は、照明設定通信情報によって示された仮想照明体の位置や姿勢を、例えばリライティング処理における照明の三次元位置と向きに対応させて照明情報を生成する。また、照明情報取得部３０は、照明設定通信情報によって示された照明の強度や種類を、例えばリライティング処理で用いる照明の強度と種類に対応させて照明情報を生成する。

このような第４の実施の形態によれば、第１の実施の形態と同様に、実空間内の仮想照明体に基づいて照明情報が取得されるので、仮想照明体すなわち照明器具と見なした物体の位置や向き等によって直感的に照明位置や照明方向等を把握できる。したがって、所望の照明環境下の被写体画像を生成する場合に照明環境の設定を容易に行うことができる。

また、第４の実施の形態では、仮想照明体から三次元情報等が画像処理装置に供給されて、画像処理装置では、仮想照明体から供給された三次元情報等に基づき照明の位置や向き等が設定される。したがって、仮想照明体を撮像した画像から仮想照明体の三次元情報等を取得する第１の実施の形態や第２の実施の形態に比べて、照明環境を設定するための照明情報の生成を容易に行うことができる。

なお、上述の実施の形態では、リライティング画像の生成に用いる照明情報を生成する場合について説明したが、上述の実施の形態のように生成した照明情報を用いてコンピュータグラフィクスにおける照明の設定を行うようにしてもよい。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 被写体の照明に関連する被写体情報と、実空間内の仮想照明体に基づいて取得した照明情報とから、前記照明情報に基づいた照明環境下における前記被写体の画像を生成する画像生成部を
備える画像処理装置。
（２） 前記実空間内の仮想照明体に基づいて前記照明情報を取得する照明情報取得部をさらに備える（１）に記載の画像処理装置。
（３） 前記照明情報取得部は、前記実空間における前記仮想照明体の三次元情報に基づいて前記照明情報を取得する（２）に記載の画像処理装置。
（４） 前記照明情報取得部は、
前記仮想照明体が置かれる実空間の情報を取得する実空間情報取得部と、
前記仮想照明体の特徴量を記憶した特徴量記憶部と、
前記特徴量記憶部に記憶されている特徴量と前記実空間情報取得部が取得した前記実空間の情報に基づき前記仮想照明体を判別して、判別した前記仮想照明体の実空間の情報に基づき照明情報を生成する照明情報生成処理部と
を有する（２）または（３）に記載の画像処理装置。
（５） 前記照明情報取得部は、
前記仮想照明体が置かれる実空間の情報を取得する実空間情報取得部と、
前記仮想照明体の特徴量を学習する仮想照明体学習部と、
前記仮想照明体学習部で学習された前記特徴量を記憶する特徴量記憶部と、
前記特徴量記憶部に記憶されている特徴量と前記実空間情報取得部が取得した前記実空間の情報に基づき前記仮想照明体を判別して、判別した前記仮想照明体の実空間の情報に基づき照明情報を生成する照明情報生成処理部と
を有する（２）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記照明情報取得部は、撮像部から前記実空間内の仮想照明体の三次元情報を取得する（２）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記照明情報取得部は、前記仮想照明体が置かれる実空間の情報を取得して提示した情報から、ユーザが前記仮想照明体として指定した実空間の情報に基づき、前記照明情報を生成する照明情報生成処理部を有する（２）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記照明情報取得部は、
前記仮想照明体との通信を行う通信部と、
前記通信部で前記仮想照明体からの通信信号を受信して得られた受信データに基づき前記照明情報を生成するデータ処理部とを有する（２）乃至（７）のいずれかに記載の画像処理装置。
（９） 前記データ処理部は、前記受信データで示された前記仮想照明体の位置や姿勢およびその変化に基づいて前記照明情報を生成する（８）に記載の画像処理装置。
（１０） 前記データ処理部は、前記受信データで示された前記仮想照明体の位置や姿勢およびその変化に基づいて照明の位置や方向，強度を設定する前記照明情報を生成する（９）に記載の画像処理装置。
（１１） 前記データ処理部は、前記仮想照明体におけるユーザ設定に基づいて、照明の強度や種類を設定する前記照明情報を生成する（９）に記載の画像処理装置。
（１２） 前記照明情報は、照明の三次元位置と照明方向および照明強度と種類の少なくともいずれかの情報を含む（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記仮想照明体は、認識できる任意な物体である（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記認識できる任意な物体は、平面に矩形状の枠領域を設けて、前記枠領域内に所定のパターンを描画したマーカーである（１３）に記載の画像処理装置。
（１５） 撮像画像から前記被写体の照明に関連する被写体情報を取得する被写体情報取得部をさらに備える（１）乃至（１４）のいずれかに記載の画像処理装置。

この技術の画像処理装置と画像処理方法では、実空間内の仮想照明体に基づいて照明情報が取得されて、この照明情報と被写体の照明に関連する被写体情報から、照明情報に基づいた照明環境下における被写体の画像が生成される。このため、所望の照明環境下での被写体画像の生成における照明環境の設定を、実空間内に設けた仮想照明体の位置や向き等を利用して容易に行えるようになる。したがって、新たな照明環境下で被写体を撮像した場合に相当するリライティング画像を生成する機能を有した機器に適している。

１０・・・画像処理装置
２０・・・被写体情報取得部
２５・・・被写体情報記憶部
３０・・・照明情報取得部
３１・・・実空間情報取得部
３２，３４・・・特徴量記憶部
３３・・・仮想照明体学習部
３５・・・照明情報生成処理部
３６・・・通信部
３７・・・データ処理部
３８・・・仮想照明体指定操作部
５０・・・画像生成部
６０・・・仮想照明体
３１１・・・撮像部
３１２・・・仮想照明体検出部

Claims (14)

1. 被写体の照明に関連する被写体情報と、照明体の代替物として実空間内に設けた仮想照明体の種類と前記実空間内における三次元情報によって示される前記仮想照明体の位置や姿勢およびその変化に基づいて、照明の位置や方向，強度，種類を設定する照明情報とから、前記照明情報に基づいた照明環境下における前記被写体の画像を生成する画像生成部を備える
   画像処理装置。
2. 前記実空間内の仮想照明体に基づいて前記照明情報を取得する照明情報取得部をさらに備える
   請求項１に記載の画像処理装置。
3. 前記照明情報取得部は、
   前記仮想照明体が置かれる実空間の情報を取得する実空間情報取得部と、
   前記仮想照明体の特徴量を記憶した特徴量記憶部と、
   前記特徴量記憶部に記憶されている特徴量と前記実空間情報取得部が取得した前記実空間の情報に基づき前記仮想照明体を判別して、判別した前記仮想照明体の実空間の情報に基づき照明情報を生成する照明情報生成処理部とを有する
   請求項２に記載の画像処理装置。
4. 前記照明情報取得部は、
   前記仮想照明体が置かれる実空間の情報を取得する実空間情報取得部と、
   前記仮想照明体の特徴量を学習する仮想照明体学習部と、
   前記仮想照明体学習部で学習された前記特徴量を記憶する特徴量記憶部と、
   前記特徴量記憶部に記憶されている特徴量と前記実空間情報取得部が取得した前記実空間の情報に基づき前記仮想照明体を判別して、判別した前記仮想照明体の実空間の情報に基づき照明情報を生成する照明情報生成処理部とを有する
   請求項２に記載の画像処理装置。
5. 前記照明情報取得部は、撮像部から前記実空間内の仮想被写体の三次元情報を取得する請求項２に記載の画像処理装置。
6. 前記照明情報取得部は、前記仮想照明体が置かれる実空間の情報を取得して提示した情報から、ユーザが前記仮想照明体として指定した実空間の情報に基づいて前記仮想照明体を決定して、決定した前記仮想照明体に基づいて前記照明情報を生成する照明情報生成処理部を有する
   請求項２に記載の画像処理装置。
7. 前記照明情報取得部は、
   前記仮想照明体との通信を行う通信部と、
   前記通信部で前記仮想照明体からの通信信号を受信して得られた受信データに基づき前記照明情報を生成するデータ処理部とを有する
   請求項２に記載の画像処理装置。
8. 前記データ処理部は、前記受信データで示された前記仮想照明体の位置や姿勢およびその変化に基づいて前記照明情報を生成する
   請求項７に記載の画像処理装置。
9. 前記データ処理部は、前記仮想照明体におけるユーザ設定に基づいて、照明の強度や種類を設定する前記照明情報を生成する
   請求項８に記載の画像処理装置。
10. 前記照明情報は、照明の三次元位置と照明方向および照明強度と種類の少なくともいずれかの情報を含む
    請求項１に記載の画像処理装置。
11. 前記仮想照明体は、認識できる任意な物体である
    請求項１に記載の画像処理装置。
12. 前記認識できる任意な物体は、平面に矩形状の枠領域を設けて、前記枠領域内に所定のパターンを描画したマーカーである
    請求項９に記載の画像処理装置。
13. 撮像画像から前記被写体の照明に関連する被写体情報を取得する被写体情報取得部をさらに備える
    請求項１に記載の画像処理装置。
14. 画像生成部で、被写体の照明に関連する被写体情報と、照明体の代替物として実空間内に設けた仮想照明体の種類と前記実空間内における三次元情報によって示される前記仮想照明体の位置や姿勢およびその変化に基づいて、照明の位置や方向，強度，種類を設定する照明情報とから、前記照明情報に基づいた照明環境下における前記被写体の画像を生成する工程を含む画像処理方法。

Images