JP6851475B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、撮影画像を利用して情報処理を行う情報処理装置および情報処理方法に関する。

ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出して別の画像で置換した表示画像を利用するゲームが知られている（例えば、特許文献１参照）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。このように、実世界を撮影しその動きに反応する仮想世界を表示させたり、何らかの情報処理に利用したりする技術は、小型の携帯端末からレジャー施設まで、規模によらず幅広い分野で利用されている。

欧州特許出願公開第０９９９５１８号明細書

実物体の位置や姿勢を撮影画像から取得する画像解析においては、その他の物や照明など周囲の状況に、処理の精度が影響されやすいという課題がある。例えば光源の位置や照度に依存して、実物体の見かけ上の色が変化したり、影の色、形状、位置が変化したりするため、実物体と影の区別がつきにくい場合がある。一方、撮影画像を用いた情報処理は、実世界での様々な事象を入力データとして取り込めるという長所がある。したがって、画像解析の精度の向上や安定化が、その結果を用いた情報処理の多様化につながることが期待される。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いた情報処理技術において、より正確に実空間の状態を認識できる技術を提供することにある。本発明の別の目的は、撮影画像を用いて行える情報処理を多様化させる技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、撮影された偏光画像を用いて、画像平面における偏光度および法線ベクトルの分布を取得する偏光画像処理部と、被写体の一つの面を表す像に対して得られた、偏光度または法線ベクトルの分布に基づき、影の像の領域を特定する影領域特定部と、少なくとも影の像の領域に基づいた処理を行い結果を出力する出力データ生成部と、を備えることを特徴とする。

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は、撮影された偏光画像を用いて、画像平面における偏光度および法線ベクトルの分布を取得するステップと、被写体の一つの面を表す像に対して得られた、偏光度または法線ベクトルの分布に基づき、影の像の領域を特定するステップと、少なくとも影の像の領域に基づいた処理を行い結果を出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、撮影画像を用いて実空間の状態を精度よく認識できる。また撮影画像を用いた情報処理を多様化できる。

本実施の形態における情報処理システムの構成例を示す図である。 本実施の形態における撮像装置が備える撮像素子の構造例を示す図である。 本実施の形態において偏光に基づき影の領域を特定する原理を説明するための図である。 本実施の形態における情報処理装置の内部回路構成を示す図である。 本実施の形態における情報処理装置の機能ブロックの構成を示す図である。 本実施の形態においてモデルを固定して算出される法線ベクトルが影によって変化する様子を実際の画像で示す図である。 本実施の形態において偏光度が影によって変化する様子を実際の画像で示す図である。 本実施の形態において状態特定部が影の像の領域から実空間の状態情報を取得する処理の例を説明するための図である。 本実施の形態において状態特定部が影の像の領域から実空間の状態情報を取得する処理の別の例を説明するための図である。 本実施の形態の情報処理装置が偏光画像を用いて実空間の状態を認識し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。

図１は、本実施の形態における情報処理システムの構成例を示している。この情報処理システムは、被写体８を所定のフレームレートで撮影する撮像装置１２、その撮影画像のデータを取得し所定の情報処理を行う情報処理装置１０、および情報処理の結果を出力する表示装置１６を含む。情報処理システムにはさらに、情報処理装置１０に対する操作をユーザから受け付ける入力装置が含まれていてもよい。情報処理装置１０はさらに、インターネットなどのネットワークに接続することでサーバなど外部の装置と通信可能としてもよい。

情報処理装置１０と撮像装置１２および表示装置１６とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また情報処理装置１０、撮像装置１２、表示装置１６のいずれか２つ以上を組み合わせて一体的な装置としてもよい。例えばそれらを装備したカメラや携帯端末などで情報処理システムを実現してもよい。あるいは表示装置１６を、ユーザが頭部に装着することで眼前に画像を表示させるヘッドマウントディスプレイとし、当該ヘッドマウントディスプレイに、ユーザの視線に対応する画像を撮影するように撮像装置１２を設けてもよい。いずれにしろ情報処理装置１０、撮像装置１２、表示装置１６の外観形状は図示するものに限らない。

このようなシステムにおいて情報処理装置１０は、撮像装置１２が所定のフレームレートで撮影した画像のデータを順次取得し、それを解析することにより被写体８の像を特定したうえ、その実空間での位置や姿勢といった状態情報を取得する。このため撮像装置１２は、既知の間隔を隔てて同じ被写空間を撮影するステレオカメラとしてもよい。ステレオカメラにより撮影されたステレオ画像から対応点を抽出し、その視差に基づき被写体の位置や姿勢を特定する手法は一般に知られている。

ただし撮像装置１２をステレオカメラに限る趣旨ではない。形状が既知の対象物について状態情報を取得する場合などは特に、単眼のカメラであってもその像の形状や大きさから状態情報を取得できる。情報処理装置１０は、取得した状態情報に対応するように情報処理を実施し、表示画像や音声のデータを生成して表示装置１６に出力する。ここで被写体８の状態情報に基づき情報処理装置１０が実施する情報処理の内容は特に限定されない。

例えば被写体８に含まれる所定の対象物をゲームのコントローラとし、ユーザが把持して動かすことでゲームに対する操作がなされるようにしてもよい。この場合、ゲーム世界を表す画像がコントローラの動きに応じて変化したり、ユーザを写した撮影画像上でコントローラが仮想オブジェクトに置換された画像を表示させたりすることができる。あるいはヘッドマウントディスプレイを装着したユーザの視線に対応する視野で、ユーザの手とインタラクションする仮想オブジェクトを表した画像を当該ヘッドマウントディスプレイに表示させることもできる。

このようなシステムにおいては、被写体８の位置や姿勢などの状態情報を高精度かつ即時に特定することが求められる。ところが撮影画像を用いて状態情報を取得する場合、情報の取得精度は、被写空間の照度、照明の配置、存在する物の多さ、物体表面の色、模様、材質など様々な要因に影響され得る。例えば被写空間に多くの物体が存在するとき、物体同士を混同しやすくなるうえ、ある物体が他の物体表面に映り込んでいたり、影が物体の一部のように写っていたりすることで、それらの偽の像を実物体と誤認してしまうことも考えられる。

そこで本実施の形態では特に、撮影画像における影の像を、実物体の像と区別して認識できるようにすることで、被写体８の状態情報の特定精度を高める。また影の像の特定結果を利用して、撮像装置１２の視野外にある実物体の存在を認識したり、影の位置や動き自体を入力データとして活用したりできるようにする。このような目的において本実施の形態における撮像装置１２は、少なくとも偏光画像を撮影する。

図２は、撮像装置１２が備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、ワイヤグリッド型偏光子層１１４、カラーフィルター層１１６、および光検出層１１８を含む。ワイヤグリッド型偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光がワイヤグリッド型偏光子層１１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。

透過した偏光成分を光検出層１１８で検出することにより偏光画像が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。ワイヤグリッド型偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で主軸角度が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。

同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ一主軸角度の偏光子の領域を表しており、点線自体は実際に形成されるものではない。図示する例では、４通りの主軸角度の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその主軸角度が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４つの主軸角度の偏光子を設けている。

各偏光子はワイヤの方向に直交する方向の偏光成分を透過する。これにより、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。このような４つの主軸角度の偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４種類の偏光情報を２次元データとして同時に取得するイメージセンサを実現できる。

同図に示す撮像素子１１０では、ワイヤグリッド型偏光子層１１４と光検出層１１８の間にカラーフィルター層１１６を設けている。カラーフィルター層１１６は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層１１４における偏光子の主軸角度とカラーフィルター層１１６におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。

また同一色の偏光画像同士を演算することにより、無偏光のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２−８００６５号公報などにも開示されている。ただし本実施の形態における撮像装置１２の素子構造は図示するものに限らない。例えば本実施の形態では基本的に偏光輝度画像を用いるため、その他の用途でカラー画像が必要なければ、カラーフィルター層１１６を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。あるいは一般的なカメラの前面に主軸角度が変更可能な偏光板を配置した構造としてもよい。

偏光強度の方位に対する振る舞いが被写体からの光の反射角度に依存することを利用して、偏光子の角度変化に対する偏光画像の輝度の変化に基づき被写体表面の法線を求める手法は一般的に知られており（例えば、Gary Atkinson and Edwin R. Hancock, "Recovery of Surface Orientation from Diffuse Polarization", IEEE Transactions on Image Processing, June 2006, 15(6), pp.1653-1664、特開２００９−５８５３３号公報等参照）、本実施の形態ではそれを適用できる。以下、概要を説明する。

まず偏光子を介して観察される光の輝度は、偏光子の主軸角度θ_ｐｏｌに対し次の式のように変化する。

ここでＩ_ｍａｘ、Ｉ_ｍｉｎはそれぞれ、観測される輝度の最大値、最小値であり、φは偏光位相である。上述のとおり４通りの主軸角度θ_ｐｏｌに対し偏光画像を取得した場合、同じ位置にある画素の輝度Ｉは、各主軸角度θ_ｐｏｌに対し式１を満たすことになる。したがって、それらの座標（Ｉ，θ_ｐｏｌ）を通る曲線を、最小二乗法等を用いて余弦関数に近似することにより、Ｉ_ｍａｘ、Ｉ_ｍｉｎ、φを求めることができる。そのように求めたＩ_ｍａｘ、Ｉ_ｍｉｎを用いて、次の式により偏光度ρが求められる。

対象物表面の法線は、光の入射面（拡散反射の場合は出射面）の角度を表す方位角αと、当該面上での角度を表す天頂角θで表現できる。また二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。ここで鏡面反射は物体の表面で正反射する光であり、拡散反射は物体を構成する色素粒子により散乱された光である。上述の方位角αは、鏡面反射の場合は式１において最小輝度Ｉ_ｍｉｎを与える主軸角度であり、拡散反射の場合は式１において最大輝度Ｉ_ｍａｘを与える主軸角度である。

天頂角θは、鏡面反射の場合の偏光度ρ_ｓ、拡散反射の場合の偏光度ρ_ｄと、それぞれ次のような関係にある。

ここでｎは物体の屈折率である。式２で得られる偏光度ρを式３のρ_ｓ、ρ_ｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐ_ｘ，ｐ_ｙ，ｐ_ｚ）は次のように得られる。

このように偏光画像の各画素が表す輝度Ｉと偏光子の主軸角度θ_ｐｏｌとの関係から当該画素に写る対象物の法線ベクトルが求められ、像全体に対し法線ベクトル分布を得ることができる。ただし上述の通り観測される光は鏡面反射成分と拡散反射成分を含むため、厳密に法線ベクトルを求めるには、観測された光を各成分に分離したうえで、それぞれに異なる反射モデルを適用するのが望ましい。そのため従来、この成分分離の手法について研究が進められている。

一方、本実施の形態では、物体表面に対し式４で算出される法線ベクトルのうち、分布の傾向が他と異なる箇所を検出したり、時間的な変化を検出したりすることで影の像を特定する。すなわちこの特定手法は、算出される法線ベクトル同士の空間的あるいは時間的な比較に基づくため、成分を分離することなく鏡面反射および拡散反射のどちらかのモデルを適用すればよい。または式２で得られる偏光度によっても、同様に影の像を特定する。

図３は、偏光に基づき影の領域を特定する原理を説明するための図である。同図は実物体１５２と光源１５０がある被写空間を模式的に示している。光源１５０からの光が実物体１５２によって遮られることにより、床１５６には影１５４が生じる。また実物体１５２には矢印で示すように、光源１５０からの直接光のほか、床１５６や壁１５８などその他の物体からの反射光が入射する。そしてそれらの入射光が実物体１５２で反射してなる光を撮像装置１２が検出することにより、実物体１５２の像が撮影される。

ここで光源１５０における光と比較し一回以上の反射を経た光は、反射する物体表面の材質や色、反射回数に依存して偏光状態が変化する。また撮像面に至る光の経路は、被写空間における光源の位置や、そこに存在する様々な物体の配置や形状に依存する。したがって同じ実物体１５２の像でも、そのような周囲の状況が、偏光画像における特性として表れることになる。床１５６についても同様に、影１５４があるときとないときでは偏光状態が異なる。

具体的には影１５４がない場合、すなわち実物体１５２が存在しない場合、光源１５０からの直接光の反射が支配的となる。一方、実物体１５２の存在により影１５４が生じると、当該領域には光源１５０からの直接光が到達しないため、壁１５８などからの反射光がさらに反射してなる成分が支配的になる。光源１５０からの直接光と壁１５８などからの反射光では偏光状態が異なるため、床１５６からの反射光についても、影の有無によって偏光状態が変化することになる。

このような偏光状態の変化は、影の見た目の濃さや色によらず安定的に表れる。そこでこの偏光状態の変化を、偏光度あるいは法線ベクトル分布の変化に基づき検出することで、影の領域や、その出現／消滅を特定する。ここで偏光状態とは、厳密には振動方向ごとの光の成分の割合であるが、拡散反射成分と鏡面反射成分の割合と考えることもできる。上述のように拡散反射モデルと鏡面反射モデルのどちらかを適用して法線ベクトルを算出する場合、拡散反射成分と鏡面反射成分の割合が変化することにより、結果として算出される法線ベクトルが変化することになる。

図の例では、床１５６の法線ベクトル分布において、一部の領域のみ異なる方向の法線ベクトルが算出されたとき、あるいは一部の領域のみ偏光度が異なるとき、当該領域に影１５４があると特定できる。すなわち物体の面を表す一様な、あるいは連続した変化を示す法線ベクトル分布において、一部の領域のみ特異な方向の法線ベクトルがある、といった空間的な変化で影の存在を判定できる。あるいは、それまで得られていた法線ベクトル分布の一部が、ある時点で明らかに変化した、といった時間的な変化で影の発生や消滅を判定できる。偏光度を判定に用いる場合も同様に、一部の領域のみ、偏光度の値が異なったりそれまでの偏光度から変化したりしたとき、影の存在や発生、消滅を判定できる。

本手法は偏光度や、反射モデルを固定として算出される法線ベクトルを介し、光の成分の変化を検出していると捉えることができる。そのため検出対象とする「影」は、光がほぼ到達せずに黒く表れる一般的な影より広い意味を持つ。このような「影」の領域を抽出できるようにすると、次のような効果が得られる。
（１）影の色が濃い場合に、その色の実物体があるという誤認を防止できる
（２）影の色の濃淡によらず、入射光を遮る実物体が存在することがわかる
（３）影の色の濃淡によらず、光源の動きを検出できる

上記（１）は例えば、実物体の動きを入力情報とする情報処理において、影の動きまで入力情報に含めてしまうことによる処理精度の低下防止に有効である。上記（２）は、入射光を遮る実物体自体が撮影画像に写っていなくとも、その存在や視野への侵入を検知できる、という特有の効果をもたらす。（３）の場合も、光源自体が視野外にあっても位置の追跡が可能となり、ひいては光源の位置に基づく、各種反射モデルを用いた画像解析の精度を向上させることができる。

図４は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図５は、本実施の形態の情報処理装置１０の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図４で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などの構成で実現でき、ソフトウェア的には、記録媒体などからメインメモリ２６にロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する撮影画像取得部５０、取得した画像のデータを格納する画像データ記憶部５２、撮影対象の実空間における影や実物体の状況を認識する実空間認識部５４、および、表示画像など出力すべきデータを生成し出力する出力データ生成部５６を含む。

撮影画像取得部５０は図４の入力部３８、ＣＰＵ２３などで実現され、撮像装置１２から偏光画像を含む撮影画像のデータを所定のレートで取得する。撮像装置１２をステレオカメラとする場合、カメラの一方を、図２で示したような撮像素子を備える偏光カメラ、他方を一般的な自然光の画像を撮影するカメラとしてもよいし、ステレオカメラの双方を偏光カメラとしてもよい。あるいはステレオカメラを自然光のカメラで構成し、別途偏光カメラを設けてもよい。

したがって撮影画像取得部５０が取得する撮影画像の種類は、撮像装置１２の構成や情報処理の目的によって様々でよい。画像データ記憶部５２はメインメモリ２６で実現され、撮影画像取得部５０が取得した撮影画像のデータを順次格納する。このとき撮影画像取得部５０は必要に応じて、４方位の偏光輝度の平均値をとることにより偏光画像から自然光の輝度画像を生成するなど、後段の処理に必要な画像データも生成し格納してよい。

実空間認識部５４はＣＰＵ２３、ＧＰＵ２４などで実現され、画像データ記憶部５２に格納されたデータを用いて、実物体や影に係る情報を所定のレートで取得する。詳細には実空間認識部５４は、偏光画像処理部５８、影領域特定部６０、および状態特定部６２を含む。偏光画像処理部５８は、４方位の偏光画像から上述のとおり画素ごと、あるいは複数の画素からなる領域ごとに、式２により偏光度を、式４により法線ベクトルを求める。

上述のとおり本実施の形態では、同じ実物体でも撮像面に入射する光の成分が他の領域と異なっていることや、当該光の成分がある時点から変化したことを、偏光度や算出される法線ベクトルを介して検出する。したがって偏光画像処理部５８は法線ベクトルを算出する際、少なくとも影を検出する目的においては、鏡面反射モデルおよび拡散反射モデルのどちらか一方を適用すればよい。ただしそれ以外の目的で、光の成分を分離したり反射モデルを適切に切り替えたりして別途、正確な法線ベクトルを求めてもよい。影の像を特定した後に、当該領域について反射モデルを切り替え、正確な法線ベクトルを求めてもよい。

影領域特定部６０は、偏光度や法線ベクトルの分布を監視することにより、影の像の領域を特定する。具体的には上述のとおり、実物体の面に対し得られる偏光度、あるいは法線ベクトルの分布の一部に、特異な偏光度あるいは法線ベクトルを示す領域が存在するとき、当該領域に影があると判定する。例えば実物体の像において、周囲の法線ベクトルに対し所定のしきい値以上の方向の差がある法線ベクトル群が所定面積以上の領域で得られたとき、当該領域を影の像と特定する。

あるいは周囲の偏光度に対し所定のしきい値以上の差がある偏光度を有する画素群が得られたとき、その領域を影の領域と特定する。また、そのような特異な領域の出現および消滅により、影の出現および消失を検出する。なお影の領域を特定するのに用いるパラメータは、偏光度および法線ベクトルのどちらか一方でよい。

状態特定部６２は、偏光画像処理部５８が求めた法線ベクトル分布、影領域特定部６０が特定した影の領域に基づき、実空間の状態に係る情報を特定する。例えば実物体の姿勢や形状を、撮影画像中の像における法線ベクトル分布から特定する。このとき、影の領域における法線ベクトルを演算対象から除外することにより、影による偽の法線ベクトルの影響を軽減できる。あるいは状態特定部６２は、影の発生や位置に基づき、当該影を発生させている実物体の存在や位置を特定する。影を特定することにより、実物体自体が撮影画像の視野外にあっても検出できる。

実空間における光源の位置をあらかじめ取得しておくことにより、当該光源と影との位置関係から、視野外にある実物体の位置や動きを推定することができる。当該実物体が、コントローラなど形状や大きさが既知の物である場合、より正確に位置や動きを求めることができる。さらに状態特定部６２は、撮影画像に写る実物体が変化しない一方、その影が変形していることに基づき、光源の位置が変化していることを検出する。この場合も、実物体の位置や形状と影の変形の仕方から、光源の位置をおよそ推定することができる。

このように実空間での実物体や光源の位置や動きを求める場合、状態特定部６２は、画像データ記憶部５２に格納されたステレオ画像を用いて、実空間における実物体および影の位置を算出する。具体的にはステレオ画像における像の視差から、三角測量の原理により実物体や影の撮像面からの距離を求め、撮影画像における各像を距離に応じた位置に逆射影することにより、それぞれの３次元空間での位置を求める。このとき、偏光画像処理部５８が取得した法線ベクトル分布を利用して、実物体表面の微少領域ごとの位置をより正確に求めてもよい。

この位置情報は、出力データ生成部５６が行う処理に利用できるほか、影領域特定部６０における影の像の検出にも利用できる。影領域特定部６０は上述のとおり、実物体表面の像の領域における偏光度や法線ベクトルの分布の特異性から影を特定する。このとき面の位置情報、すなわち実際の形状および姿勢に係る情報と照合し、そのような特異性が実際の面の状態を表しているのか影によるものなのかを確認することにより、影の像の特定精度を高められる。例えば実際の形状や姿勢によって得られるべき法線ベクトルと、算出された法線ベクトルとの一致度をベクトルごとに評価し、一致度がしきい値より低い法線ベクトルを示す領域を影の像と特定できる。なお実物体の実際の形状や姿勢に係る情報は、前のフレームに対して得られたものを利用してもよい。また実物体の形状に係る情報は、撮影画像における像の形状などから求めてもよい。

出力データ生成部５６はＣＰＵ２３、ＧＰＵ２４、出力部３６などで実現し、実空間認識部５４が特定した、実空間の状態に係る情報に基づき、所定の情報処理を実施して、表示画像や音声など出力すべきデータを生成する。上述したようにここで実施する情報処理の内容は特に限定されない。例えば撮影画像に写る実物体の動きに対応させて、仮想世界の画像を描画してもよいし、画像データ記憶部５２から撮影画像のデータを読み出し、実物体の位置や姿勢に対応するように仮想オブジェクトを重畳描画してもよい。

あるいは撮影画像の視野外にある実物体の動きに基づき、それが視野に入ったときの処理を投機的に実施してもよいし、視野にない実物体の動きも入力値として、それに対応する仮想世界の画像や仮想オブジェクトを描画してもよい。実物体をユーザが把持するコントローラとし、その動きによりゲームを進捗させるような態様においては、コントローラが意図せず撮像装置の視野外に出てしまっても、その間の動きを影によって推定し、ゲームを継続させることができる。

さらに撮像装置１２をヘッドマウントディスプレイに設ける場合、視野外にある実物体の存在を影によって検出することにより、衝突の危険性を警告する表示画像を生成してもよい。また影の動き自体を入力値とし、影を動かすことをユーザ操作とするゲームなどを実現してもよい。出力データ生成部５６は、そのようにして生成した表示画像などの出力データを、所定のレートで表示装置１６に送信する。

図６は、モデルを固定して算出される法線ベクトルが影によって変化する様子を実際の画像で示している。（ａ）および（ｂ）はどちらも、テーブルの上面を撮影したときの法線画像を示している。ここで法線画像は、法線ベクトルの３要素をＲＧＢの画素値とした画像であり、図ではそれをグレースケールで示している。各画像の下方には、算出された法線ベクトルを、算出対象の画素を始点とする矢印で示している。

（ａ）はテーブルに影がない状態の法線画像であり、矢印が示すように法線ベクトルはほぼ一様に上方向を向いている。なお最上段の法線ベクトル群は、テーブル上で布が敷かれた領域に対応し、材質の差により反射成分が変化した結果、算出される法線ベクトルにも多少の変化が表れている。（ｂ）はテーブル上の領域１６６に影がある状態の法線画像であり、法線ベクトルは当該領域１６６で大きく変化している。この変化は、（ａ）における材質の差による変化と比較しても顕著である。

したがって影領域特定部６０は、所定のレートで図示するような法線ベクトル分布を算出し、（ａ）の状態から（ｂ）の状態に遷移したことを両者の差分のしきい値判定などにより検出する。そしてしきい値を超える差分が得られた領域１６６に影の像が出現したことを判定する。また（ｂ）の状態から（ａ）の状態に戻ったことを検出したら、影が消滅したことを判定する。

実物体がテーブルの面であることを踏まえれば、（ｂ）の画像のみからも、領域１６６において偽の法線ベクトルが算出されていることを検出でき、ひいては影の像を特定できる。したがって影領域特定部６０は、上述した位置情報や、物体認識、撮影画像における像の連続性など様々な情報に基づき偽の法線ベクトルを検出し、それが算出される領域を影の像として特定してよい。

図７は、偏光度が影によって変化する様子を実際の画像で示している。図示する画像は、実物体とその影の撮影画像から生成した偏光度画像である。偏光度画像は、４方位の偏光の輝度から式２により求めた偏光度を画素値とする画像であり、この例では偏光度が高いほど高い輝度としている。この偏光度画像には、指示棒の実物体の像１７０と、それがテーブル上で作る影の像１７２が写っている。

図示するように実物体の像１７０や背景全体を占めるテーブルの上面の像と比較し、影の像１７２は偏光度が顕著に高くなっている。これは、実物体やテーブルには偏光度が低い光源からの光が当たっているのに対し、同じテーブルでも影の領域においては光源からの光が当たっていないことに起因する。したがって偏光度によっても、全体の分布に対する一部領域の特異性に基づき影の像１７２を特定できる。すなわちテーブルの像において得られた偏光度分布において、周囲としきい値以上の差分を有する偏光度を示す所定面積以上の領域があれば、それを影の像１７２と判定できる。

あるいは実物体と、それと似通った形状の影の像が検出されたとき、両者の偏光度を比較して高い方を影の像１７２と判定してもよい。例えば既知の形状のコントローラの動きによりユーザ操作を行う態様において、撮影画像からコントローラの像を検出した際、類似形状の影の像も検出してしまうことがあり得る。このとき影領域特定部６０は、両者の偏光度を比較して高い方を影の像と認定する。これらのことにより、影の像１７２を実物体の像と誤認するのを防止できる。また法線ベクトル分布を用いた判定と同様、テーブル上面の偏光度分布を監視して、一部の領域で偏光度が所定のしきい値以上、変化したら、影が生じたことを判定してもよい。あるいは本来、偏光度が所定範囲内にあるべき同じ実物体の面において、当該範囲を逸脱する偏光度が一部の領域において算出されたら、当該領域を影として特定してもよい。

図８は、状態特定部６２が影の像の領域から実空間の状態情報を取得する処理の例を説明するための図である。この例ではテーブル１８４、ボール１８８、光源１９０を含む実空間を撮影対象としている。ただしボール１８８と光源１９０は撮影画像の視野外にあり、テーブル１８４上にはボール１８８の影１８６が生じている。この空間を撮影した撮影画像１８０ａに対し、影領域特定部６０は上述のとおり影の像１８２を特定する。

このように影の像１８２が特定されていることにより、まず状態特定部６２は、影１８６が何らかの実物体でないことを認識できる。したがって、テーブル１８４の上面の像に対し算出された法線ベクトルのうち、影の像１８２における法線ベクトルを除外することにより、テーブル上面の実際の向きを精度よく特定できる。また影１８６が動いても、その動きを実物体の動きと誤認して出力データ生成部５６に通知するのを防げる。さらに撮影画像の視野外にボール１８８が存在することを検知できる。

撮像装置１２をステレオカメラとした場合、撮影画像１８０ａの視点に対し水平方向に所定間隔を有する視点からの撮影画像１８０ｂが得られる。状態特定部６２は両撮影画像１８０ａ、１８０ｂにおける影の像の視差を取得することにより、撮像面から影１８６までの距離を求めたうえ、撮影画像１８０ａにおける影の像１８２を３次元空間に逆射影する。テーブルの像についても同様に逆射影することにより、３次元の実空間を再現できる。

３次元空間における光源１９０の位置が既知のとき、光源１９０からの光の経路と影１８６およびテーブル１８４の位置、形状、傾きから、ボール１８８の存在範囲はおよそ特定される。このときコンピュータグラフィクスにおけるシャドーイング処理に用いられる演算を利用できる。ボール１８８の形状やサイズが既知であれば、その位置はより正確に特定できる。したがって、影１８６の３次元空間での位置を所定のレートで取得することにより、ボール１８８の動きも特定できることになる。

図９は、状態特定部６２が影の像の領域から実空間の状態情報を取得する処理の別の例を説明するための図である。撮影対象は図８と同様であり、同じ構成には同じ符号を付している。ただしこの例ではボール１８８が撮影画像の視野にある。この場合も状態特定部６２は、テーブル１８４、影１８６、ボール１８８の３次元空間における位置を、撮影画像１８０ａにおける像からの逆射影により取得する。この場合、光源１９０ａの位置が不明であっても、ボール１８８の位置が既知のため、ボール１８８、影１８６、テーブル１８４の位置、形状、傾きから、そのような状態となるべき光路、ひいては光源１９０ａの位置を特定できる。

またボール１８８に変化がない一方、影１８６の及ぶ範囲が領域１９２のように変化した場合、状態特定部６２は光源が動いたことを検知できる。実際には、ボール１８８、影１８６、テーブル１８４の位置、形状、傾きに基づき所定のレートで光源の位置を算出し続けることにより、領域１９２のように影が形成されるときの光源１９０ｂの位置は自ずと判明する。図示する例では影の範囲が伸張していることから、移動後の光源１９０ｂは元の光源１９０ａより低い位置にあることがわかる。

なおボール１８８が変形したり動いたりしても、その位置や形状に係る情報を取得することにより光源の位置を特定できる。そのため状態特定部６２は、撮影画像に対し物体検出処理や視覚追跡処理など既存の技術を用いて当該情報を取得し、それと影に係る情報に基づき光源の位置を特定してもよい。あるいは撮影画像を構成するフレームのうち前のフレームに対し得られた状態情報を、現フレームにおける光源位置の特定に利用してもよい。

次に、これまで述べた構成によって実現できる情報処理装置の動作について説明する。図１０は、本実施の形態の情報処理装置１０が偏光画像を用いて実空間の状態を認識し、その結果に基づき出力データを生成、出力する処理手順を示すフローチャートである。このフローチャートは、情報処理装置１０に対しユーザが処理の開始を要求し、それに応じて撮像装置１２が所定のフレームレートで撮影を開始した時点で開始される。

まず撮影画像取得部５０は、撮像装置１２から撮影画像のフレームデータを取得する（Ｓ１０）。当該データには複数方位の偏光画像が含まれる。さらに、実物体の位置や姿勢を取得したり、表示画像の生成に用いたりするために、自然光の画像等、その他の撮影画像のデータを取得してもよい。また撮像装置１２をステレオカメラとした場合、偏光画像または自然光の画像はステレオ画像であってよい。

次に実空間認識部５４の偏光画像処理部５８は、４方位の偏光画像を解析し、偏光度や法線ベクトルの分布を算出する（Ｓ１２）。偏光度や法線ベクトルの算出は、画素単位でもよいしそれより大きい単位でもよい。また影の像を特定する目的においては、法線ベクトル分布の算出に適用する反射モデルを固定する。影領域特定部６０は、偏光度分布あるいは法線ベクトル分布に基づき、画像中の影の像の領域を特定する（Ｓ１４）。具体的には上述のとおり、各実物体の面の像において得られた偏光度あるいは法線ベクトルの分布において、一部の領域に特異な値が得られたことを検出したら、当該領域を影の像と特定する。

続いて状態特定部６２は、少なくともＳ１４で特定された影の像に係る情報を用いて、実空間の状態に係る情報を取得する（Ｓ１６）。例えばＳ１２で得られた法線ベクトルのうち、影の像における法線ベクトルを除いた真の法線ベクトルの分布を用いて、実物体の姿勢や形状に係る情報を取得する。あるいはステレオ画像を用いて実物体や影までの距離を求め、それらの３次元空間における位置を導出する。また視野外にある実物体や光源の位置を影の位置から導出する。

出力データ生成部５６は、実空間の状態に係る情報に基づき、ゲームを進捗させたり撮影画像上に仮想オブジェクトを描画したりして、表示画像や音声の出力データを生成し、表示装置１６に出力する（Ｓ２０）。ここでなされる処理は上述のとおり特に限定されない。ユーザ操作などにより処理を停止させる必要がない期間は（Ｓ２２のＮ）、撮影画像の後続のフレームに対しＳ１０〜Ｓ２０の処理を繰り返す。これにより、被写体や影といった実空間の状況に応じたゲーム画面や情報処理の結果が動画として表示される。ユーザ操作などにより処理を停止させる必要が生じたら全ての処理を終了させる（Ｓ２２のＹ）。

以上述べた本実施の形態によれば、撮影された偏光画像を用いて偏光度または法線ベクトルの分布を求め、その空間的または時間的変化に基づき、撮影画像における影の像の領域を特定する。これにより、見かけの色や濃淡によらず、実物体の像と影の像との区別を安定的に行える。結果として、実物体の状態や動きに応じて情報処理を行う態様では、影を実物体と誤認して処理の精度が低下するのを防ぐことができる。また、実物体の状態を得るのに法線ベクトルの分布を用いる場合、影による偽の法線ベクトルを抽出できるため、それを除外して位置や姿勢を求めることにより処理精度を高めることができる。

さらにそのような除外処理を前提にするため、法線ベクトルの算出に用いる反射モデルを、鏡面反射モデルおよび拡散反射モデルのどちらか一方としても、影の多少に関わらず安定した結果が得られる。結果として、影による影響を排除した精度のよい情報処理を、簡易なアルゴリズムで実現できる。また実物体が撮影画像の視野外にあっても、影の位置や形状によりその位置や動きを特定できる。これにより実物体の動きを入力情報とするゲームなどにおいて、より自由な動きを許容できる。

また視野外にある光源の位置も同様に、影の位置や形状により特定できるため、当該情報を利用して、種々の反射モデルによりさらに詳細に実空間の状態を特定することもできる。さらに影そのものの位置や動きを入力データとする新規なゲームなども実現でき、撮影画像を用いた情報処理を多様化させることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ 情報処理装置、 １２ 撮像装置、 １６ 表示装置、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ５０ 撮影画像取得部、 ５２ 画像データ記憶部、 ５４ 実空間認識部、 ５６ 出力データ生成部、 ５８ 偏光画像処理部、 ６０ 影領域特定部、 ６２ 状態特定部。

以上のように本発明は、ゲーム装置、携帯端末、パーソナルコンピュータなど各種情報処理装置と、それを含むシステムなどに利用可能である。

Claims (12)

1. 撮影された偏光画像を用いて、画像平面における偏光度および法線ベクトルの分布を取得する偏光画像処理部と、
   被写体の一つの面を表す像に対して得られた、前記偏光度または法線ベクトルの分布の、空間的または時間的な比較に基づき、影の像の領域を特定する影領域特定部と、
   少なくとも前記影の像の領域に基づいた処理を行い結果を出力する出力データ生成部と、
   を備えることを特徴とする情報処理装置。
2. 前記偏光画像処理部は、前記法線ベクトルの分布を取得する際、反射モデルを一つに定めて適用することを特徴とする請求項１に記載の情報処理装置。
3. 前記影領域特定部は、被写体の一つの面を表す像に対して得られた偏光度または法線ベクトルの分布において、周囲との差分が所定のしきい値より高い偏光度または法線ベクトルを有する所定面積以上の領域を、前記影の像の領域として特定することを特徴とする請求項１に記載の情報処理装置。
4. 前記偏光画像処理部は、所定のフレームレートで取得した偏光画像ごとに、前記偏光度または法線ベクトルの分布を取得し、
   前記影領域特定部は、偏光度または法線ベクトルの分布の、前のフレームとの差分に基づき、前記影の像の領域の発生を検出することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記影領域特定部は、被写体の面の姿勢に係る情報を取得し、当該被写体の面を表す像に対して得られた前記法線ベクトルの分布のうち、前記姿勢を反映しない法線ベクトルを検出することにより、当該面上の影の像の領域を特定することを特徴とする請求項１または２に記載の情報処理装置。
6. 前記被写体の一つの面を表す像に対し得られた法線ベクトルの分布のうち、前記影の像の領域に対し得られた法線ベクトルを除いた法線ベクトルを用いて、当該被写体の状態に係る情報を取得する状態特定部をさらに備えることを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. 既知の間隔を有する左右の視点から撮影されたステレオ画像を用いて、実空間における前記影および被写体の位置および形状を導出するとともに、当該実空間における光源の位置と前記被写体上の影の位置および形状に基づき、前記ステレオ画像の視野外にある実物体の位置を特定する状態特定部をさらに備えることを特徴とする請求項１から５のいずれかに記載の情報処理装置。
8. 既知の間隔を有する左右の視点から撮影されたステレオ画像を用いて、実空間における前記影および被写体の位置および形状を導出し、当該影を生じさせる被写体と影の位置および形状に基づき、前記ステレオ画像の視野外にある光源の位置を特定する状態特定部をさらに備えることを特徴とする請求項１から５のいずれかに記載の情報処理装置。
9. 前記出力データ生成部は、前記影の像の存在に基づき、前記偏光画像の視野外にある実物体の存在を検出し、当該存在に応じた情報処理を実施してその結果を出力することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
10. 既知の間隔を有する左右の視点から撮影されたステレオ画像を用いて、実空間における前記影の位置を導出する状態特定部をさらに備え、
    前記出力データ生成部は、当該影の位置に応じた情報処理を実施してその結果を出力することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
11. 撮影された偏光画像を用いて、画像平面における偏光度および法線ベクトルの分布を取得するステップと、
    被写体の一つの面を表す像に対して得られた、前記偏光度または法線ベクトルの分布の、空間的または時間的な比較に基づき、影の像の領域を特定するステップと、
    少なくとも前記影の像の領域に基づいた処理を行い結果を出力するステップと、
    を含むことを特徴とする、情報処理装置による情報処理方法。
12. 撮影された偏光画像を用いて、画像平面における偏光度および法線ベクトルの分布を取得する機能と、
    被写体の一つの面を表す像に対して得られた、前記偏光度または法線ベクトルの分布の、空間的または時間的な比較に基づき、影の像の領域を特定する機能と、
    少なくとも前記影の像の領域に基づいた処理を行い結果を出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images