JP6625745B2

JP6625745B2 - 画像処理装置

Info

Publication number: JP6625745B2
Application number: JP2018523688A
Authority: JP
Inventors: 和田　信也; 信也和田
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2016-06-16
Filing date: 2017-06-07
Publication date: 2019-12-25
Anticipated expiration: 2037-06-07
Also published as: JP2020030864A; JPWO2017217296A1; JP7007348B2; WO2017217296A1; US20190156563A1; EP3474236A4; EP3474236A1; US10950039B2

Description

本発明は、カメラの撮影画像に仮想オブジェクトを合成した画像を生成する画像処理装置、画像処理方法、プログラム、及び情報記憶媒体に関する。

カメラによって得られる撮影画像に対して、仮想オブジェクトを合成する技術が知られている。このような技術を用いることにより、現実には存在しない仮想オブジェクトがあたかも実空間に存在するかのような画像をユーザーに提示することができる。

もし仮想オブジェクトが実空間に実際に存在したとすると、周囲の環境光などのライティングによって、仮想オブジェクトの色が変化したり、陰影が生じたりするはずである。しかしながら、上記従来例の技術では、このようなライティングによる効果を表現することが困難であった。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、実空間の景色を表す景色画像に仮想オブジェクトを合成する際に、リアリティのあるライティング効果をもたらすことのできる画像処理装置、画像処理方法、プログラム、及び情報記憶媒体を提供することにある。

本発明に係る画像処理装置は、実空間内の被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の１又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離、及び当該被写体部分の色成分の情報を含んだ距離画像を取得する距離画像取得部と、実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成部と、を含み、前記合成画像生成部は、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定することを特徴とする。

また、本発明に係る別の画像処理装置は、実空間内の被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の１又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離の情報を含んだ距離画像を取得する距離画像取得部と、実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成部と、を含み、前記合成画像生成部は、前記被写体部分の実空間内における位置、及び前記仮想オブジェクトの表示色に基づいて、前記仮想オブジェクトからの光による前記被写体部分の色の変化量を算出し、当該算出した変化量に応じて、当該被写体部分に対応する前記景色画像内の画素の色を変化させることを特徴とする。

本発明に係る画像処理方法は、被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の１又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離、及び当該被写体部分の色成分の情報を含んだ距離画像を取得する距離画像取得ステップと、実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成ステップと、を含み、前記合成画像生成ステップでは、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定することを特徴とする。

本発明に係るプログラムは、実空間内の被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の１又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離、及び当該被写体部分の色成分の情報を含んだ距離画像を取得する距離画像取得部、及び、実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成部、としてコンピュータを機能させるためのプログラムであって、前記合成画像生成部は、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定するプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明の実施の形態に係る画像処理装置を使用する様子を示す図である。本発明の実施の形態に係る画像処理装置の構成を示す構成ブロック図である。本発明の実施の形態に係る画像処理装置の機能を示す機能ブロック図である。実空間内の景色を表す景色画像の一例を示す図である。図４の景色画像に対応する距離画像の一例を示す図である。距離画像内において距離が検出された検出点を仮想空間内にプロットした様子を示す図である。本実施形態における光源画像の一例を示す図である。仮想オブジェクトが配置された合成画像の一例を示す図である。本発明の実施の形態に係る画像処理装置が実行する処理の流れの一例を示すフロー図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る画像処理装置１を使用する様子を示す図である。また、図２は画像処理装置１の構成を示す構成ブロック図である。画像処理装置１は、例えば家庭用ゲーム機や携帯型ゲーム機、パーソナルコンピュータ、スマートホン等であって、図２に示すように、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成されている。また、画像処理装置１は、図２に示すように、表示装置１４、及びステレオカメラ１５と接続されている。

制御部１１は少なくとも一つのプロセッサーを含んで構成され、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。インタフェース部１３は、画像処理装置１が表示装置１４、及びステレオカメラ１５との間で各種の情報を授受するためのインタフェースである。

表示装置１４は、ヘッドマウントディスプレイや家庭用テレビ受像機、液晶ディスプレイ等であって、画像処理装置１が出力する映像信号に応じた画像を画面上に表示する。

ステレオカメラ１５は、左右に並んで配置された複数のカメラから構成されている。本実施形態では具体的に、ステレオカメラ１５はカメラ１５ａとカメラ１５ｂの２台のカメラから構成されているものとする。これらのカメラの視差を利用することで、２台のカメラ双方の撮影範囲内に写っている被写体までの距離を算出することができる。各カメラによって撮影された撮影画像は、インタフェース部１３経由で画像処理装置１に入力される。

なお、表示装置１４、及びステレオカメラ１５は、いずれも画像処理装置１の筐体内に内蔵されてもよいし、画像処理装置１と有線又は無線により接続される別個の装置であってもよい。また、ステレオカメラ１５は表示装置１４に固定されてもよいし、表示装置１４の筐体に内蔵されてもよい。

以下、画像処理装置１が実現する機能について、図３を用いて説明する。図３に示すように、画像処理装置１は、機能的に、画像取得部２１と、空間座標算出部２２と、オブジェクト表示色決定部２３と、合成画像生成部２４と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して画像処理装置１に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。本実施形態において画像処理装置１は、実空間の景色を表す景色画像ＶＩに対して仮想オブジェクトＯを配置してなる合成画像ＣＩを生成する。生成された合成画像ＣＩは、表示装置１４に表示される。

画像取得部２１は、ステレオカメラ１５が実空間を撮影することで得られる距離画像（デプスマップ）ＤＭを取得する。本実施形態において距離画像ＤＭは、画像内の複数の単位領域ごとに、距離Ｄと色成分Ｃの情報を含んだ画像である。ここで単位領域は、画像内の一つ一つの画素であってもよいし、互いに隣接する複数の画素からなる画素ブロックであってもよい。距離Ｄは、対応する単位領域に写っている被写体の部分（以下、検出点Ｐという）までの距離である。画像取得部２１は、カメラ１５ａの撮影画像とカメラ１５ｂの撮影画像の間における同じ検出点Ｐの視差による位置のずれから、当該検出点Ｐまでの距離Ｄを算出する。色成分Ｃは、対応する単位領域の色を表す情報であって、一又は複数の数値によって構成される。例えば色成分Ｃは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の基本色それぞれの輝度を表す数値であってよい。画像取得部２１は、カメラ１５ａ及びカメラ１５ｂのいずれかの撮影画像内における、当該単位領域の画素値を、色成分Ｃとして取得する。なお、カメラ１５ａ及びカメラ１５ｂの撮影画像がモノクロ画像の場合、色成分Ｃは当該単位領域の輝度や明度を表す一種類の数値であってもよい。

図４は、ステレオカメラ１５を構成するカメラの一つによって撮影された、実空間内の景色を表す景色画像ＶＩの一例を示している。また、図５は、この景色画像ＶＩに対応する距離画像ＤＭの一例を示している。この図の例では、距離画像ＤＭ内の全ての単位領域において距離Ｄが特定できているわけではない。具体的に、図中のドットパターンが、その位置に写っている被写体部分までの距離Ｄが特定された単位領域を示している。これに対してドットパターンが配置されていない領域は、距離Ｄが特定できていない領域である。ステレオカメラ１５によって得られる２つの撮影画像の間で対応関係が特定できない箇所については、距離Ｄが算出されないことになる。検出点Ｐは、距離画像ＤＭ内において距離Ｄが特定された単位領域と一対一で対応している。つまり、ある大きさを持った物体が距離画像ＤＭ内において複数の単位領域にまたがって写っている場合、その物体の表面に複数の検出点Ｐが存在することになる。

空間座標算出部２２は、上述した距離画像ＤＭに含まれる各単位領域の画像内における位置、及び距離Ｄの情報に基づいて、各検出点Ｐの実空間内における位置座標（空間座標）Ｘを算出する。具体的に、ここでは注目する単位領域の距離画像ＤＭ内における位置座標を（ｕ，ｖ）で表すこととする。この座標値は、ステレオカメラ１５の位置を基準とした検出点Ｐまでの方向を表している。この座標値（ｕ，ｖ）と距離Ｄの情報を用いることで、ステレオカメラ１５の位置を原点とした空間座標系における検出点Ｐの位置座標Ｘの値を算出できる。なお、各単位領域の色成分Ｃは、この検出点Ｐの位置にある被写体部分の色を表している。つまり、実空間内の複数の検出点Ｐのそれぞれに対して、位置座標Ｘと色成分Ｃの情報が得られることになる。

一例として、距離画像ＤＭ内のＮ個の単位領域について、距離Ｄと色成分Ｃとが特定されているとする。ここで、ｉを１からＮまでの整数として、ｉ番目の単位領域の距離画像ＤＭ内の位置座標を（ｕｉ，ｖｉ）、当該単位領域に写っている被写体までの距離をＤｉと表記する。また、当該単位領域の色成分がＣｒｉ，Ｃｇｉ，Ｃｂｉの３つの輝度値によって表現されるものとする。このとき、ｉ番目の単位領域に対応する検出点Ｐｉの位置座標Ｘｉは、ｕｉ，ｖｉ，Ｄｉの３つの数値から算出される。位置座標Ｘｉは、３次元空間の座標値（ｘｉ，ｙｉ，ｚｉ）によって表される。また、検出点Ｐｉの色成分Ｃは３つの輝度値（Ｃｒｉ，Ｃｇｉ，Ｃｂｉ）によって表される。このようにして、Ｎ個の検出点Ｐのそれぞれについて、その位置座標Ｘの座標値（ｘｉ，ｙｉ，ｚｉ）と色成分Ｃの輝度値（Ｃｒｉ，Ｃｇｉ，Ｃｂｉ）が特定される。

図６は、実空間に対応する仮想空間内に複数の検出点Ｐをプロットした様子を示している。この図における各検出点Ｐの位置は、位置座標Ｘによって表される実空間内の位置に対応している。また、図中においてステレオカメラ１５の撮影位置から延びている直線は、ステレオカメラ１５の撮影範囲を示している。このように、距離画像ＤＭを用いることによって、ステレオカメラ１５の撮影範囲内に存在する物体の位置や色が特定されることになる。

オブジェクト表示色決定部２３は、実空間に対応する仮想空間内に仮想オブジェクトＯを配置する。なお、仮想オブジェクトＯの形状や表面のテクスチャー等の情報は、予め記憶部１２に格納されているものとする。

さらにオブジェクト表示色決定部２３は、仮想オブジェクトＯの表示色を、空間座標算出部２２によって算出された各検出点Ｐの位置座標Ｘ、及び色成分Ｃの情報に基づいて決定する。より具体的に、オブジェクト表示色決定部２３は、仮想オブジェクトＯ表面の本来の色に対して、周囲の光による影響（ライティング効果）を反映させることによって、実際に表示する際の仮想オブジェクトＯ表面の色成分を決定する。このライティング効果を決定する際に、各検出点Ｐの位置座標Ｘ、及び色成分Ｃの情報を光源として利用する。これは、イメージベースドライティングと呼ばれる、画像を光源として利用する公知の手法に類似した手法である。ただし、イメージベースドライティングでは予め用意された画像が光源として用いられるため、実空間内の時間変化をリアルタイムに仮想オブジェクトＯに反映させることは難しい。また、イメージベースドライティングでは仮想オブジェクトＯから十分離れた位置に光源が存在すると仮定するため、仮想オブジェクトＯの位置の変化による光源の影響の変化を再現することができず、仮想オブジェクトＯの配置位置によらず仮想オブジェクトＯに対するライティング効果は同じものになる。これに対して本実施形態では、実際にステレオカメラ１５を用いて距離画像ＤＭを取得し、その距離画像ＤＭに基づいて算出される各検出点Ｐの位置座標Ｘ及び色成分Ｃの情報を光源として利用する。そのため、イメージベースドライティングと比較して、周囲の光による仮想オブジェクトＯへの影響をより現実に近い形で再現することができる。

以下、オブジェクト表示色決定部２３が検出点Ｐの情報を用いて仮想オブジェクトＯの表示色を決定する処理の具体例について、説明する。まずオブジェクト表示色決定部２３は、各検出点Ｐの位置座標Ｘを、仮想オブジェクトＯの配置位置を原点とした極座標系（球面座標系）の座標値に変換する。この極座標系の座標値は、仮想オブジェクトＯから見た各検出点Ｐの方向を表す２個の角度値θ，φと、原点から検出点Ｐまでの距離ｒからなる。ここで、θは仮想オブジェクトＯから見た検出点Ｐの方位を表す０度から３６０度までの値である。φは仮想オブジェクトＯから見た検出点Ｐの仰角または俯角を表し、水平方向を０度として−９０度（真下方向）から９０度（真上方向）までの値をとる。

図７は、この極座標系の（θ，φ）平面に一部の検出点Ｐを配置した様子を示しており、サンプルとして検出点Ｐ１〜Ｐ３の３点を含む複数の検出点Ｐの位置が示されている。このように（θ，φ）平面に検出点Ｐを配置してなる平面画像が、イメージベースドライティングにおける光源画像と同様に、仮想オブジェクトＯに対するライティング効果の決定のために用いられる。以下では、（θ，φ）平面上に検出点Ｐを配置して得られる平面画像を光源画像ＬＭという。光源画像ＬＭは、その内部を分割して得られる複数の単位領域のそれぞれに対して、色成分Ｃ及び距離ｒの情報が設定された画像である。検出点Ｐに対応する単位領域については、この検出点Ｐに応じた色成分Ｃ及び距離ｒが設定される。色成分Ｃはその検出点Ｐに存在する物体の色を表し、距離ｒは仮想オブジェクトＯから検出点Ｐまでの距離を表している。なお、検出点Ｐの色成分Ｃは、距離画像ＤＭ内の当該検出点Ｐに対応する単位領域の色成分Ｃそのものであってもよいし、当該検出点Ｐ及びその周囲の検出点Ｐの色成分Ｃの平均値等であってもよい。

この光源画像ＬＭは、全ての単位領域に検出点Ｐが対応しているわけではなく、検出点Ｐが対応しない単位領域も存在する。例えば、ステレオカメラ１５から見て他の物体の陰に隠れて死角になっている箇所については、そこにどのような物体が存在するのか距離画像ＤＭを用いて特定することができない。そのため、そのような死角に何らかの物体が存在している場合であっても、光源画像ＬＭ内にその物体を表す検出点Ｐは含まれないことになる。また、前述したように、距離画像ＤＭ内の全ての単位領域について距離Ｄが特定できるとは限らないため、距離Ｄが特定できていない単位領域に写っている被写体については、その被写体に対応する検出点Ｐを光源画像ＬＭ内に配置することができない。また、そもそもステレオカメラ１５の撮影範囲外に存在する物体の情報は、光源画像ＬＭに反映されない。このような理由により、光源画像ＬＭ内には検出点Ｐが対応しない単位領域（以下、空白領域という）が存在することになる。この空白領域については、ライティング効果を決定する際に無視してもよいが、既知の検出点Ｐの情報を用いて補間処理を実行することによって、空白領域の色成分Ｃ及び距離ｒを決定してもよい。この補間処理の具体例については、後述する。

必要に応じて補間処理を実行した後、オブジェクト表示色決定部２３は、この光源画像ＬＭ内で色成分Ｃが設定された各単位領域（すなわち、検出点Ｐに対応する単位領域、及び補間処理によって色成分Ｃが算出された単位領域）を光源として、その光源からの光が照射された際の仮想オブジェクトＯの表示色を決定する。これは、イメージベースドライティングと類似の処理によって実現できる。ただし、本実施形態では光源画像ＬＭ内の各単位領域に対して、色成分Ｃだけでなく仮想オブジェクトＯからの距離ｒが設定されている。そのため、仮想オブジェクトＯの表示色を決定する際に、距離ｒが小さい単位領域（すなわち、仮想オブジェクトＯに近い位置に物体があると想定される単位領域）ほど、その単位領域による仮想オブジェクトＯへのライティング効果が強くなるようにする。具体的には、例えば距離ｒが小さい単位領域については輝度が実際よりも大きく、また距離ｒが大きな単位領域については輝度が実際よりも小さくなるように色成分Ｃに含まれる輝度値を補正する。そして、イメージベースドライティングと同様の計算式で各単位領域の補正後の色成分Ｃが表す色を仮想オブジェクトＯの表面に投影する。これにより、各検出点Ｐの現実の位置と仮想オブジェクトＯとの位置関係を反映した、よりリアリティがあるライティング効果を実現することができる。なお、光源画像ＬＭによる仮想オブジェクトＯへのライティング効果を算出する際には、距離ｒだけではなく、仮想オブジェクトＯ表面の材質（仮想オブジェクトＯが周囲の光を反射しやすい物質か、反射しにくい物質かなど）に関する設定や、単位領域からの光の仮想オブジェクトＯ表面に対する入射角などの情報を用いてもよい。

さらにオブジェクト表示色決定部２３は、仮想オブジェクトＯを配置することによって生じる周囲の物体の色の変化を算出してもよい。具体的にオブジェクト表示色決定部２３は、仮想空間内において仮想オブジェクトＯが配置される位置の周囲の各検出点Ｐに対して、前述した仮想オブジェクトＯについて行ったのと同様のライティング効果の演算を行って、仮想オブジェクトＯからの光による色の変化量を算出する。ただし、他の検出点Ｐによる光の影響は、実空間を実際に撮影した景色画像ＶＩに反映されているはずなので、オブジェクト表示色決定部２３は仮想オブジェクトＯ表面の色成分による検出点Ｐへの影響だけを計算すればよい。また、全ての検出点Ｐについて、仮想オブジェクトＯからの光の影響を反映する必要はない。例えばオブジェクト表示色決定部２３は、仮想オブジェクトＯからの距離が所定値以下の検出点Ｐについてのみ、仮想オブジェクトＯによって生じる色の変化量を算出する。仮想オブジェクトＯによるライティング効果の計算の具体例については、後述する。

合成画像生成部２４は、景色画像ＶＩに仮想オブジェクトＯを配置してなる合成画像ＣＩを生成する。ここで、景色画像ＶＩに重ねて配置される仮想オブジェクトＯは、ステレオカメラ１５に対応する仮想空間内の位置から見た形状であって、かつ、オブジェクト表示色決定部２３によって決定された表示色で表示される。

また、合成画像生成部２４は、景色画像ＶＩ内の仮想オブジェクトＯの周囲の領域に対して、仮想オブジェクトＯの影響による色の変化を生じさせる。具体的に合成画像生成部２４は、前述した処理によって算出された、検出点Ｐごとの仮想オブジェクトＯからの光による色の変化量を、景色画像ＶＩ内の検出点Ｐに対応する画素に反映させる。また、検出点Ｐに対応する画素だけでなく、その周囲の画素についても同様に画素値を変化させてもよい。これにより、仮想オブジェクトＯが現実に存在する場合にその光によって生じると想定されるライティング効果を景色画像ＶＩに発生させることができる。

図８は、合成画像ＣＩの一例を示す図であって、図４で示した景色画像ＶＩに仮想オブジェクトＯが配置された様子を示している。このようにして生成された合成画像ＣＩは、表示装置１４の画面に表示される。これにより、景色画像ＶＩの中に現実の周囲の景色によるライティング効果を反映して色合いの変化した仮想オブジェクトＯが存在する様子を表示することができる。

以下、オブジェクト表示色決定部２３が光源画像ＬＭ内の空白領域の色成分Ｃ及び距離ｒを決定する補間処理の具体例について、説明する。

まず第１の例として、内挿を用いる例について説明する。この例では、光源画像ＬＭ内の複数の検出点Ｐを結んで光源画像ＬＭを複数のメッシュ（多角形領域）に分割する。そして、各メッシュ内のある空白領域について、メッシュの頂点を構成する検出点Ｐの色成分Ｃを重み付き平均して得られる値を、当該空白領域の色成分Ｃとする。このとき、各検出点Ｐの色成分Ｃに乗じられる重みは、当該空白領域と各検出点Ｐとの間の距離に応じて決定されてよい。例えば図７では検出点Ｐ１、Ｐ２、及びＰ３に囲まれた空白領域Ｗについて、その赤色の輝度値Ｃｒｗが、以下の計算式で計算される。
Ｃｒｗ＝（ｗ１・Ｃｒｐ１＋ｗ２・Ｃｒｐ２＋ｗ３・Ｃｒｐ３）／（ｗ１＋ｗ２＋ｗ３）
ここでＣｒｐ１、Ｃｒｐ２、及びＣｒｐ３はそれぞれ検出点Ｐ１、Ｐ２、及びＰ３の赤色の輝度値である。また、ｗ１、ｗ２、ｗ３はそれぞれの検出点Ｐと空白領域Ｗとの間の距離に応じて決まる重みである。この重みは、検出点Ｐと空白領域Ｗとの間の距離が近いほど大きな値になるよう決定される。その他の基本色の輝度値についても、同様にして算出される。また、距離ｒについても、同様にして算出されてよい。

なお、このような内挿による空白領域の色成分Ｃの算出は、ＧＰＵ（Graphics Processing Unit）によってハードウェア的に実現することもできる。ＧＰＵはテクスチャーマッピングなどを実行する際に複数の頂点に囲まれたテクセルの色成分を内挿によって周囲の頂点の色成分から算出する機能を備えている。このような機能を利用することで、オブジェクト表示色決定部２３は、各空白領域の色成分Ｃを高速に算出することができる。

補間処理の第２の例として、オブジェクト表示色決定部２３は、複数の検出点Ｐに囲まれた全ての空白領域に対して、同じ色成分Ｃを設定してもよい。この場合に空白領域に設定される色成分Ｃは、空白領域を囲む複数の検出点Ｐの色成分Ｃの代表値（平均値等）であってよい。この例では、例えば図７の検出点Ｐ１、Ｐ２、及びＰ３を結んでできる三角形内の全ての空白領域に対して、同じ色成分Ｃが設定される。なお、距離ｒについても、同様に算出された同じ値が設定されてよい。

次に、仮想オブジェクトＯによる周囲の物体へのライティング効果の計算の具体例について、説明する。

まずオブジェクト表示色決定部２３は、仮想オブジェクトＯによる影響を計算する対象となる注目検出点Ｐについて、その注目検出点Ｐから仮想オブジェクトＯ表面上の１又は複数の基準点までの距離を算出する。ここで、仮想オブジェクトＯの表面に設定される基準点は、仮想オブジェクトＯの表面にマッピングされるテクスチャーのテクセルであってもよいし、複数のテクセルから構成される領域であってもよい。また、仮想オブジェクトＯを構成するポリゴンの頂点であってもよい。

続いてオブジェクト表示色決定部２３は、仮想オブジェクトＯ表面の各基準点の色成分の情報を用いて、その基準点からの光による注目検出点Ｐの色の変化量（ライティング効果）を計算する。具体例として、仮想オブジェクトＯ表面の一つの基準点Ｏ１の影響による、ある注目検出点Ｐ１の色の変化量ΔＣｐ１は、以下の計算式により計算されてよい。
ΔＣｐ１＝（Ａ・Ｃｏ１）／ｒ
ここでＣｏ１は基準点Ｏ１の色成分の値であり、ｒは基準点Ｏ１と注目検出点Ｐ１との間の距離である。また、Ａは予め定められた定数である。なお、色成分が複数種類の数値（複数の基本色の輝度値など）によって構成される場合、そのそれぞれについて上述の計算式によって変化量を算出する。あるいは、変化量ΔＣｐ１は、以下の計算式により計算されてもよい。
ΔＣｐ１＝Ａ・Ｃｏ１・ｅｘｐ（−ｒ）
この計算式を使用した場合、距離ｒが大きくなると、仮想オブジェクトＯの色の影響は指数関数的に小さくなる。どのような計算式を用いる場合であっても、距離ｒが大きければ大きいほど仮想オブジェクトＯの色の影響が小さくなるようにすることが望ましい。

一つの注目検出点Ｐに対して複数の基準点が影響を与える場合、オブジェクト表示色決定部２３は、各基準点について上述したような計算式により変化量を計算する。そして、各基準点について算出された変化量を合計して、総変化量を算出する。この総変化量が、注目検出点Ｐの色成分Ｃに対する仮想オブジェクトＯの影響による色の変化量ΔＣｐとなる。

オブジェクト表示色決定部２３は、仮想オブジェクトＯ周囲の複数の注目検出点Ｐのそれぞれについて、以上説明したような計算により色の変化量ΔＣｐを算出し、元の注目検出点Ｐの色成分Ｃに対して加算する。これにより、合成画像ＣＩ内における仮想オブジェクトＯ周囲の領域へのライティング効果を表現することができる。なお、仮想オブジェクトＯによる周囲の物体へのライティング効果を算出するためには、各基準点の色成分として、前述した光源画像ＬＭによるライティング効果を反映した後の色成分を使用することが望ましい。

以上説明した計算式では、仮想オブジェクトＯまでの距離ｒを利用するため、実空間内の位置座標Ｘが特定できている検出点Ｐについてのみ、色の変化量ΔＣｐを計算することができる。合成画像ＣＩ内の検出点Ｐ以外の位置の色については、補間処理によってその変化量ΔＣｐを決定してもよい。この場合の補間処理は、光源画像ＬＭの空白領域について行ったものと類似する処理であってよい。すなわち、補間処理の対象となる注目領域に対して、その注目領域の周囲の複数の検出点Ｐの色の変化量ΔＣｐを用いて、重み付け平均などにより当該注目領域の色の変化量ΔＣｐを算出する。あるいは、オブジェクト表示色決定部２３は、注目領域に最も近い検出点Ｐの色の変化量ΔＣｐを、そのまま当該注目領域の色の変化量ΔＣｐの値として用いてもよい。

また、以上説明したものとは別の手法として、オブジェクト表示色決定部２３は、距離画像ＤＭに基づいて実空間内に存在する光源の位置を特定し、特定された光源位置を用いて仮想オブジェクトＯによる周囲へのライティング効果を計算してもよい。この例では、距離画像ＤＭを用いて実空間内における光源位置の位置座標が算出される。例えばオブジェクト表示色決定部２３は、距離画像内ＤＭで色成分Ｃの値が所定値より大きい（すなわち、輝度や明度が高い）検出点Ｐを、光源と判定する。なお、色成分Ｃの値が所定値より大きい検出点Ｐが所定の大きさの範囲内に複数個ある場合、それらの検出点Ｐの中心位置を光源と判定してもよい。いずれにせよ、距離画像ＤＭに含まれる距離Ｄの情報を利用することによって、オブジェクト表示色決定部２３は、実空間内における光源の３次元的な位置座標Ｌｘを特定できる。

光源の位置座標Ｌｘを特定すると、オブジェクト表示色決定部２３は、光源からの光が仮想オブジェクトＯの表面で反射することによって他の検出点Ｐにおいて生じる色の変化量ΔＣｐを算出する。このような光源からの光の反射によるライティング効果は、光源の色成分Ｃ、光源の位置座標Ｌｘ、仮想オブジェクトＯ表面の法線方向などの情報を用いて、公知の手法により計算できる。さらに検出点Ｐ以外の箇所で生じるライティング効果も、前述した例と同様の補間処理によって計算できる。

さらに、オブジェクト表示色決定部２３は、光源の位置座標Ｌｘと仮想オブジェクトＯの位置座標を用いて、光源からの光によって生じる仮想オブジェクトＯの影を表現してもよい。具体的に、仮想オブジェクトＯ周囲のある注目検出点Ｐ１の３次元的な位置座標をＸ１とすると、オブジェクト表示色決定部２３は、この位置座標Ｘ１と光源の位置座標Ｌｘとを結ぶ直線が仮想オブジェクトＯを通るか否か判定する。そして、通ると判定された場合、注目検出点Ｐ１に仮想オブジェクトＯの影が生じることになるので、注目検出点Ｐ１の色を暗くする補正を行う。なお、前述したライティング効果の計算例と同様に、距離Ｄが特定されていない領域については、周囲の検出点Ｐの判定結果を利用して補間処理を行う。これにより、仮想オブジェクトＯの存在によって合成画像ＣＩ内に生じる影を表現することができる。

以上例示したような手法により、オブジェクト表示色決定部２３は、景色画像ＶＩに含まれる各単位領域に対する仮想オブジェクトＯによるライティング効果（色の変化量）の情報を含んだ反射・陰影マップテクスチャーを生成する。合成画像生成部２４は、このテクスチャーを景色画像ＶＩに重ねることによって、実空間に存在する光源からの光を仮想オブジェクトＯが反射したり遮ったりすることで生じるライティング効果を反映した合成画像ＣＩを生成することができる。

ここで、画像処理装置１が実行する処理の流れの具体例について、図９のフロー図を用いて説明する。

まず画像取得部２１が、ステレオカメラ１５によって撮影された２枚の撮影画像を取得する（ステップＳ１）。ここでは、カメラ１５ａによって撮影された撮影画像を景色画像ＶＩとして使用するものとする。続いて画像取得部２１は、ステップＳ１で取得した２枚の撮影画像を用いて距離画像ＤＭを生成する（ステップＳ２）。

次に、空間座標算出部２２が、ステップＳ２で生成された距離画像ＤＭ内の各単位領域の情報を用いて、検出点Ｐの位置座標Ｘ及び色成分Ｃを決定する（ステップＳ３）。ここでは、距離画像ＤＭ内において距離Ｄが特定されている単位領域と同数の検出点Ｐについて、位置座標Ｘが算出される。

次に、オブジェクト表示色決定部２３が、仮想オブジェクトＯの実空間内における配置位置を決定する（ステップＳ４）。オブジェクト表示色決定部２３は、例えばユーザーの指示に応じて仮想オブジェクトＯの配置位置を決定してよい。あるいは、景色画像ＶＩを解析した結果に基づいて仮想オブジェクトＯの配置位置を決定してもよい。

さらにオブジェクト表示色決定部２３は、ステップＳ３で算出された各検出点Ｐの位置座標Ｘを、ステップＳ４で決定された仮想オブジェクトＯの配置位置を原点とする極座標系の座標値に変換する。これにより、光源画像ＬＭが生成される（ステップＳ５）。その後、オブジェクト表示色決定部２３は、ステップＳ５で算出された検出点Ｐの光源画像ＬＭ内における位置、距離ｒ、及び色成分Ｃの情報を用いて、光源画像ＬＭ内の空白領域に対する補間処理を実行する（ステップＳ６）。

次に、オブジェクト表示色決定部２３は、ステップＳ５及びＳ６によって各単位領域に対して距離ｒ、及び色成分Ｃが決定された光源画像ＬＭを用いて、仮想オブジェクトＯの表示色を決定する（ステップＳ７）。さらにオブジェクト表示色決定部２３は、ステップＳ７で決定された仮想オブジェクトＯの表示色の情報を用いて、仮想オブジェクトＯ周囲の検出点Ｐについて、仮想オブジェクトＯの影響によって生じると想定される色の変化を算出する（ステップＳ８）。

次に、合成画像生成部２４が、ステップＳ１で得られた景色画像ＶＩに対して仮想オブジェクトＯを合成し、合成画像ＣＩを生成する（ステップＳ９）。このとき、合成画像生成部２４は仮想オブジェクトＯの表示色としてステップＳ７で決定された色を使用する。また、ステップＳ８で決定された色の変化を、景色画像ＶＩ内の仮想オブジェクトＯ周囲の画素に反映させる。これにより、仮想オブジェクトＯがあたかも現実に存在しているかのようなライティング効果を仮想オブジェクトＯやその周囲の物体に反映させた合成画像ＣＩを生成することができる。合成画像生成部２４は、生成した合成画像ＣＩを表示装置１４の画面に表示させる（ステップＳ１０）。

画像処理装置１は、以上説明した処理を、例えば表示装置１４のフレームレートに応じた時間間隔で繰り返し実行する。これにより画像処理装置１は、人の影に隠れた際に仮想オブジェクトＯの表示色が暗くなるなど、リアルタイムで周囲の状況を仮想オブジェクトＯの表示色に反映させた動画像を表示することができる。

なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では、距離画像ＤＭの生成に用いる撮影画像をそのまま景色画像ＶＩとしても利用することとした。しかしながらこれに限らず、画像処理装置１は距離画像ＤＭの生成に用いる撮影画像とは別に景色画像ＶＩを取得してもよい。例えば画像処理装置１は、予め定められた撮影条件で撮影された画像を景色画像ＶＩとして使用する。一方、景色画像ＶＩを撮影する際の撮影条件とは異なる撮影条件で撮影した画像を用いて距離画像ＤＭを生成する。この場合の撮影条件としては、シャッタースピードや露出、感度等が挙げられる。このように撮影条件を変化させることで、距離Ｄを特定しやすい条件で撮影を行うことができる。なお、この場合において、距離画像ＤＭに含まれる各単位領域の色成分Ｃの情報は、景色画像ＶＩを参照して決定されてもよい。また、距離画像ＤＭの生成に用いる撮影画像を撮影する際に、シャッタースピードを速くすることで、明るい単位領域のみ距離Ｄが特定された距離画像ＤＭを得ることができる。このような距離画像ＤＭを利用すれば、仮想オブジェクトＯに対するライティングの影響が少ないと想定される低輝度の検出点Ｐを無視して、大きな影響があると想定される高輝度の検出点Ｐだけを用いて仮想オブジェクトＯの表示色を決定することができる。なお、ステレオカメラ１５の撮影条件を変更する代わりに、距離画像ＤＭ内の色成分Ｃの値が所定値以上の単位領域の情報を用いてライティング効果の算出を行ってもよい。

また、以上の説明では一つのステレオカメラ１５による撮影で得られる１枚の距離画像ＤＭだけを用いて仮想オブジェクトＯに対するライティング効果を決定することとしたが、これに限らず、互いに異なる位置に配置された複数のステレオカメラ１５を用いて得られる複数の距離画像ＤＭを用いて、仮想オブジェクトＯの表示色を決定してもよい。この例では、画像処理装置１は各ステレオカメラ１５の位置関係に関する情報を予め取得しているものとする。空間座標算出部２２は、それぞれのステレオカメラ１５の撮影で得られた距離画像ＤＭを用いて、検出点Ｐの位置座標Ｘを算出する。そして、オブジェクト表示色決定部２３は、複数の距離画像ＤＭから得られた複数の検出点Ｐを一つの光源画像ＬＭ内に配置して、光源画像ＬＭを生成する。このとき、実空間の所定距離範囲内にそれぞれのステレオカメラ１５から得られた検出点Ｐが存在する場合、そのうち一方のデータだけを使用してもよいし、双方のデータを光源画像ＬＭに反映させてもよい。このようにして得られる光源画像ＬＭを用いて仮想オブジェクトＯの表示色を決定することにより、一つの距離画像ＤＭだけでは撮影できない死角の領域などの情報も仮想オブジェクトＯの表示色に反映させることができる。例えば、低い位置と天井等の高い位置の双方にステレオカメラ１５を設置し、そこから得られた撮影画像を用いて距離画像ＤＭを生成することで、単一の距離画像ＤＭだけでは特定できない検出点Ｐの情報を用いて仮想オブジェクトＯの表示色を決定できる。

また、画像処理装置１は、同じステレオカメラ１５で時間をおいて複数回の撮影を行うことで得られる複数の距離画像ＤＭを利用して仮想オブジェクトＯの表示色を決定してもよい。特に、ステレオカメラ１５の撮影条件や撮影方向、撮影位置を変化させて複数回の撮影を行うことで、より多く検出点Ｐの情報を取得することができる。特に、表示装置１４がヘッドマウントディスプレイであって、ステレオカメラ１５がヘッドマウントディスプレイに搭載されている場合、ユーザーの顔の動きに従ってステレオカメラ１５の撮影範囲が変化する。この変化の前後で撮影を行って得られる複数の距離画像ＤＭを利用することで、広範囲の検出点Ｐの情報を用いて仮想オブジェクトＯの表示色を決定することができる。

さらに、景色画像ＶＩを撮影するカメラは、距離画像ＤＭを撮影するステレオカメラ１５と別のカメラであってもよい。この場合、画像処理装置１は、複数のステレオカメラ１５を使用する場合と同様に、各カメラの位置関係の情報を予め取得しているものとする。距離画像ＤＭから得られる各検出点Ｐの実空間内における位置と、景色画像ＶＩの撮影範囲との間の位置関係が判明していれば、画像処理装置１は、この検出点Ｐの情報を用いて景色画像ＶＩに重ねて配置される仮想オブジェクトＯの表示色を決定することができる。

また、以上の説明では距離画像ＤＭは、ステレオカメラ１５によって得られる複数の撮影画像を用いて生成されるものとした。しかしながらこれに限らず、距離画像ＤＭは、その内部の単位領域ごとに被写体までの距離Ｄの情報を含むものであれば、どのような方式で生成されたものであってもよい。具体的に画像処理装置１は、例えばパターン照射方式やＴＯＦ方式などで生成された距離画像ＤＭを用いて仮想オブジェクトＯの表示色を決定してもよい。

また、以上の説明では画像処理装置１は景色画像ＶＩや距離画像ＤＭの撮影が行われる場所に設置され、ステレオカメラ１５と直接接続されることとしたが、本発明の実施の形態はこのようなものに限られない。例えば画像処理装置１は撮影場所から離れた場所に設置されたサーバ装置等であってもよい。この場合、画像処理装置１は、自身で距離画像ＤＭを生成するのではなく、別のコンピュータで生成された距離画像ＤＭをネットワーク経由で受信したりして取得してもよい。

１画像処理装置、１１制御部、１２記憶部、１３インタフェース部、１４表示装置、１５ステレオカメラ、２１画像取得部、２２空間座標算出部、２３オブジェクト表示色決定部、２４合成画像生成部。

Claims

実空間内の被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の１又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離、及び当該被写体部分の色成分の情報を含んだ距離画像を取得する距離画像取得部と、
実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成部と、
を含み、
前記合成画像生成部は、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定する
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記合成画像生成部は、前記被写体部分からの光による前記仮想オブジェクトに対する影響を、当該被写体部分の実空間内における位置、及び色成分に基づいて算出して、前記仮想オブジェクトの表示色を決定する
ことを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記合成画像生成部は、前記仮想オブジェクトの配置位置を原点とした極座標系における前記被写体部分の位置座標を算出し、当該算出した位置座標に対応する単位領域に対して当該被写体部分の色成分が関連づけられた光源画像を生成し、当該光源画像を用いて前記仮想オブジェクトの表示色を決定する
ことを特徴とする画像処理装置。
請求項３に記載の画像処理装置において、
前記合成画像生成部は、前記光源画像内の前記被写体部分に対応しない単位領域に対して、当該単位領域を囲む、前記被写体部分に対応する複数の単位領域に関連づけられた色成分に応じて算出される色成分を関連づける補間処理を実行してから、前記光源画像を用いて前記仮想オブジェクトの表示色を決定する
ことを特徴とする画像処理装置。
請求項４に記載の画像処理装置において、
前記合成画像生成部は、前記補間処理において、前記被写体部分に対応しない単位領域に対して、前記被写体部分に対応する複数の単位領域に関連づけられた色成分の重み付き平均によって算出される色成分を関連づける
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記距離画像取得部は、実空間内の互いに異なる位置を基準とする距離の情報を含んだ複数の距離画像を取得し、
前記合成画像生成部は、前記複数の距離画像のそれぞれに写っている１又は複数の被写体部分の情報に基づいて、前記仮想オブジェクトの表示色を決定する
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記合成画像生成部は、前記被写体部分の実空間内における位置、及び前記仮想オブジェクトの表示色に基づいて、前記仮想オブジェクトからの光による前記被写体部分の色の変化量を算出し、当該算出した変化量に応じて、当該被写体部分に対応する前記景色画像内の画素の色を変化させる
ことを特徴とする画像処理装置。
請求項７に記載の画像処理装置において、
前記合成画像生成部は、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定してから、当該決定した表示色に基づいて、前記被写体部分の色の変化量を算出する
ことを特徴とする画像処理装置。
実空間内の被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の１又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離の情報を含んだ距離画像を取得する距離画像取得部と、
実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成部と、
を含み、
前記合成画像生成部は、前記被写体部分の実空間内における位置、及び前記仮想オブジェクトの表示色に基づいて、前記仮想オブジェクトからの光による前記被写体部分の色の変化量を算出し、当該算出した変化量に応じて、当該被写体部分に対応する前記景色画像内の画素の色を変化させる
ことを特徴とする画像処理装置。
請求項１から９のいずれか一項に記載の画像処理装置において、
前記画像処理装置は、ユーザーが頭部に装着して使用する表示装置と接続され、
前記距離画像取得部は、前記表示装置に搭載されたステレオカメラによって撮影された撮影画像に基づいて生成された距離画像を取得し、
前記合成画像生成部が生成した合成画像は、前記表示装置に表示される
ことを特徴とする画像処理装置。
被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の１又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離、及び当該被写体部分の色成分の情報を含んだ距離画像を取得する距離画像取得ステップと、
実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成ステップと、
を含み、
前記合成画像生成ステップでは、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定する
ことを特徴とする画像処理方法。
実空間内の被写体までの距離を示す情報を含んだ距離画像であって、当該距離画像内の１又は複数の領域のそれぞれについて、当該領域に写っている被写体部分までの距離、及び当該被写体部分の色成分の情報を含んだ距離画像を取得する距離画像取得部、及び、
実空間の景色を表す景色画像に仮想オブジェクトを配置してなる合成画像を生成する合成画像生成部、
としてコンピュータを機能させるためのプログラムであって、
前記合成画像生成部は、前記距離画像に写っている前記被写体部分までの距離、及び色成分に基づいて、前記仮想オブジェクトの表示色を決定する
プログラム。
請求項１２に記載のプログラムを記憶した、コンピュータ読み取り可能な情報記憶媒体。