JP7300517B2

JP7300517B2 - 入射光情報取得方法、入射光情報取得システム、および情報処理装置

Info

Publication number: JP7300517B2
Application number: JP2021558122A
Authority: JP
Inventors: 隆行石田; 信也和田
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2019-11-21
Filing date: 2019-11-21
Publication date: 2023-06-29
Anticipated expiration: 2039-11-21
Also published as: US20220394165A1; US11910095B2; WO2021100177A1; JPWO2021100177A1

Description

本発明は、撮影画像を利用して対象物の情報を取得するのに用いる入射光情報の取得方法、それを実行する入射光情報取得システム、および情報処理装置に関する。

ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出して別の画像で置換した表示画像を利用するゲームが知られている（例えば、特許文献１参照）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。このように、実世界を撮影し、実物体の存在や動きを反映させた仮想世界を表示させたり、何らかの情報処理に利用したりする技術は、小型の携帯端末からレジャー施設まで、規模によらず幅広い分野で利用されている。

欧州特許出願公開第０９９９５１８号明細書

撮影画像に基づき実物体の形状や材質を取得し、その３Ｄモデルを仮想世界へ取り込んだり情報処理を実施したりする技術においては、撮影環境に起因して処理の精度が不安定になりやすいという課題がある。例えば周囲の照明や自然光の具合によって撮影画像上の像が変化すると、画像解析の結果に多大な影響を与え得る。実物体の情報を高精度に取得するには、照明環境を厳密に制御したスタジオなどに撮影場所を限定したり、光の強度を全方位に渡り測定したうえでの撮影が要求されたりして、汎用性、容易性の点で問題となる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いた対象物の情報取得を容易に高精度化できる技術を提供することにある。

本発明のある態様は入射光情報取得方法に関する。この入射光情報取得方法は、入射光の一部を遮蔽した状態で、形状および材質が既知のリファレンス用物体を撮影した画像を取得するステップと、入射光の遮蔽方向が異なる複数の撮影画像における、リファレンス用物体の像に基づき、一部が遮蔽された部分的な入射光の輝度分布を所定のモデル式により取得するステップと、部分的な入射光の輝度分布同士を演算することにより、入射光全体の輝度分布を取得するステップと、を含むことを特徴とする。

本発明の別の態様は入射光情報取得システムに関する。この入射光情報取得システムは、形状および材質が既知のリファレンス用物体と、入射光の一部を遮蔽した状態のリファレンス用物体を撮影する撮像装置と、撮影画像を用いて入射光の輝度分布を取得する情報処理装置と、を含み、情報処理装置は、入射光の遮蔽方向が異なる複数の撮影画像における、リファレンス用物体の像に基づき、一部が遮蔽された部分的な入射光の輝度分布を所定のモデル式により取得する部分入射光情報取得部と、部分的な入射光の輝度分布同士を演算することにより、入射光全体の輝度分布を取得する全体入射光情報取得部と、を備えたことを特徴とする。

本発明のさらに別の態様は情報処理装置に関する。この情報処理装置は、入射光の一部を遮蔽した状態で、形状および材質が既知のリファレンス用物体を撮影した画像を取得する撮影画像取得部と、入射光の遮蔽方向が異なる複数の撮影画像における、リファレンス用物体の像に基づき、一部が遮蔽された部分的な入射光の輝度分布を所定のモデル式により取得する部分入射光情報取得部と、部分的な入射光の輝度分布同士を演算することにより、入射光全体の輝度分布を取得する全体入射光情報取得部と、を備えたことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、撮影画像を用いた対象物の情報取得を容易に高精度化できる。

本実施の形態を適用できる情報処理システムの構成例を示す図である。本実施の形態において入射光の輝度分布を取得する原理を説明するための図である。本実施の形態において入射光の輝度分布を取得する原理を別の観点から説明するための図である。本実施の形態の入射光情報取得システムの構成例を示す図である。本実施の形態における情報処理装置の内部回路構成を示す図である。本実施の形態における情報処理装置の機能ブロックの構成を示す図である。本実施の形態における、立方体形状の遮光用物体の入光部について説明するための図である。本実施の形態で利用できる遮光用物体の別の例を示す図である。本実施の形態において遮光用物体を人手として入射光輝度分布を取得する態様を説明するための図である。本実施の形態における遮光状態制御部が、入射光を遮蔽すべき方向をユーザに通知する際の表示画面の例を示す図である。本実施の形態において、情報処理装置が入射光の輝度分布を取得する処理手順を示すフローチャートである。

図１は、本実施の形態を適用できる情報処理システムの構成例を示している。この情報処理システムは、被写体８を所定のフレームレートで撮影する撮像装置１１２、その撮影画像のデータを取得し所定の情報処理を行う情報処理装置１１０、および情報処理の結果を出力する表示装置１１６を含む。情報処理システムにはさらに、情報処理装置１１０に対する操作をユーザから受け付ける入力装置が含まれていてもよい。情報処理装置１１０はさらに、インターネットなどのネットワークに接続することでサーバなど外部の装置と通信可能としてもよい。

情報処理装置１１０と撮像装置１１２および表示装置１１６とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また情報処理装置１１０、撮像装置１１２、表示装置１１６のいずれか２つ以上を組み合わせて一体的な装置としてもよい。例えばそれらを装備したカメラや携帯端末などで情報処理システムを実現してもよい。あるいは表示装置１１６を、ユーザが頭部に装着することで眼前に画像を表示させるヘッドマウントディスプレイとし、当該ヘッドマウントディスプレイに、ユーザの視線に対応する画像を撮影するように撮像装置１１２を設けてもよい。いずれにしろ情報処理装置１１０、撮像装置１１２、表示装置１１６の外観形状は図示するものに限らない。

このようなシステムにおいて情報処理装置１１０は少なくとも、撮像装置１１２が撮影した画像のデータを取得し、それを解析することにより３次元形状や材質などの被写体情報を取得する。そして情報処理装置１１０は、取得した被写体情報に基づいて情報処理を実施する。例えば情報処理装置１１０は、当該被写体情報に基づき被写体を認識したり、被写体の動きを追跡したりする。あるいは情報処理装置１１０は、被写体が表れる仮想世界を描画して表示装置１１６に出力する。

図示する例では、被写体８のうち球体を模したオブジェクト１１８を仮想世界に描画している。ここで描画する画像の内容や目的は特に限定されない。例えば実物体を模したオブジェクトが登場する映画など鑑賞用の画像を生成してもよいし、ユーザが実物体を動かし、それを模したオブジェクトが表示上で連動することにより敵オブジェクトと戦うようなゲームを実現してもよい。このような態様においては、実物体の形状や材質を正確に取得しておくことにより、あたかも実物体が画面内に入り込んだかのような、よりリアルな表現が可能になる。

ただし情報処理装置１１０は、実物体を画像世界に融合させるのに限らず、実物体の動きに応じて情報処理を実施したり、実物体を別の仮想オブジェクトに置換した画像を表示させたりしてもよい。この場合も、実物体の形状や材質を正確に取得しておくことにより、その動きを追跡したり、他の物と区別したりすることを精度よく行える。なお被写体８は、人の顔や手など生体であってもよい。この場合、情報処理装置１１０は、例えば撮像装置１１２の視野に入った人の顔や手の動きを認識したり、人を忠実に再現したコンピュータグラフィクスのオブジェクトを、表示装置１１６に表示させたりすることができる。

図１で示したようなシステムにおいて、撮影画像から被写体の形状や材質を取得するための様々な手法が提案されている。そのうちの一つとして、コンピュータグラフィクス描画において一般的に利用されるレンダリング方程式の逆問題を解くインバースレンダリングが広く知られている。一般的なコンピュータグラフィクスでは、ワールド座標系において、反射特性が設定されたオブジェクトを配置し、光源とカメラ座標系を設定することにより、オブジェクト表面からの光の輝度分布を計算する。このとき、次のレンダリング方程式によって、オブジェクト表面上の位置ｘ_ｏにおいて方向ω_ｏへ放射される光の輝度Ｌ_ｏ（ｒ_ｏ，ω_ｏ）を求める。

ここで関数Ｓは双方向散乱面反射率分布関数（ＢＳＳＲＤＦ：Bidirectional Scattering-Surface Reflectance Distribution Function）であり、位置ｘ_ｉに方向ω_ｉから輝度Ｌ_ｉで入射した光が、物体表面下での光の散乱を含め位置ｘ_ｏで方向ω_ｏへ出射する割合を表す。またベクトルｎはオブジェクト表面の法線、Ａは表面下での散乱光が影響する範囲を示す。すなわち関数Ｓはオブジェクトの材質に依存し、ベクトルｎはオブジェクトの形状に依存する。

したがって描画対象のオブジェクトの材質および形状の設定に基づき関数Ｓとベクトルｎを決定し、入射光の輝度分布Ｌ_ｉ（ｘ_ｉ，ω_ｉ）を与えることにより、オブジェクト表面の各位置ｘ_ｏにおける出射光の輝度分布Ｌ_ｏ（ω_ｏ）が得られる。そして当該出射光のうち、視点に応じたビュースクリーンへ入射する光の輝度を計算すれば、オブジェクトの材質や周囲の光による影響を反映させたオブジェクトを描画できる。インバースレンダリングはこの関係を利用して、撮影画像が表す被写体の像の輝度値を左辺に与えることにより、右辺に含まれるいずれかのパラメータを求めるものである。

一般的には、被写体を多方向から撮影し、式１の方程式を複数立てることにより、それらを同時に満たすようにパラメータを推定していく。ここで既知のパラメータを増やすほど、未知のパラメータの推定精度を向上させることができる。例えば被写体の形状と材質を精度よく得るため、入射光の輝度分布Ｌｉ（ｘ_ｉ，ω_ｉ）を既知としておくことが考えられる。しかしながら一般的な環境では、窓や照明の配置、数、それぞれからの光の輝度などが様々であり、それらを全て特定するのは困難である。

初期処理として、撮像装置１１２を壁や天井に向けて撮影することで、それらの情報を特定することが考えられるが、これには多大な労力を要する。すなわち複数の撮影画像から個々に得られる情報を、統一された座標系で表すため、撮像装置１１２の正確な位置合わせが必要となる。また、全方位を撮影する、もしくは間隔を設けて撮影した結果を補間する、といった作業が必要となる。一方、形状および材質が既知の物体を撮影し、インバースレンダリングにより入射光の輝度分布Ｌｉ（ｘ_ｉ，ω_ｉ）を取得することも考えられる。

しかしながら輝度分布Ｌｉ（ｘ_ｉ，ω_ｉ）自体の自由度があまりに高く、多数の撮影が必要なうえ、それぞれについて立てた方程式を全て満たすような解が得られない不良設定問題となる可能性が高い。そこで本実施の形態では、入射光の一部を遮蔽した状態で、形状および材質が既知のリファレンス用物体を撮影し、インバースレンダリングにより部分的な入射光の輝度分布を取得する。当該輝度分布は、少なくとも方向ω_ｉが限定されるため、少ない方程式で解が得られやすい。この処理を、遮蔽方向を異ならせて繰り返し、その情報を統合することにより、遮蔽のない状態での被写空間への入射光の輝度分布を取得する。

図２は、本実施の形態において入射光の輝度分布を取得する原理を説明するための図である。同図は、球面状の遮光用物体８２の内部空間に、球体のリファレンス用物体８０が存在する状態を断面で示している。リファレンス用物体８０への入射光を、放射状の線で模式的に示している。遮光用物体８２は光を透過させない素材や色を有する面で構成され、当該面の一部に、位置が可変の入光部８４を備える。ここで「入光部」とは光の入り口であり、面が開口している場合のほか、部分的に透明として光を透過させるようにした場合も含まれる。

遮光用物体８２に入光部８４を設けることにより、本来の入射光のうちの一部がリファレンス用物体８０に入射する。原理的には式１において、入光部８４に対応する立体角に対する入射光のみを考慮すれば、その状態で観測される、リファレンス用物体８０の像の輝度が得られる。すなわち下記の等式が成り立つ。

ここでＮ＝１、２、３、・・・は添え字であり、入光部８４の位置を識別する自然数である。また式１における関数Ｓ、および輝度分布Ｌ_ｏ、Ｌ_ｉを与える変数を省略している。例えば（ａ）の状態をＮ＝１とすると、そのときのリファレンス用物体８０への入射光の輝度分布Ｌ_ｉ（１）は、リファレンス用物体８０からの出射光の輝度分布Ｌ_ｏ（１）との間に、式２の関係を有する。入光部８４の位置を異ならせた（ｂ）の状態を、Ｎ＝２とすると、リファレンス用物体８０への入射光の輝度分布Ｌ_ｉ（２）は、リファレンス用物体８０からの出射光の輝度分布Ｌ_ｏ（２）との間に、式２の関係を有する。

（ｃ）の状態も同様に、リファレンス用物体８０に対する入射光の輝度分布Ｌ_ｉ（３）と出射光の輝度分布Ｌ_ｏ（３）は式２を満たす。入光部８４の方向が異なる各状態（以後、遮光状態とも呼ぶ）における、リファレンス用物体８０からの出射光の輝度分布Ｌ_ｏ（Ｎ）は、撮像装置の姿勢と、撮影画像における像の輝度から取得できる。その値を式２の左辺に代入することにより、各遮光状態における、リファレンス用物体８０への入射光の輝度分布Ｌ_ｉ（Ｎ）が求められる。

実際には次式のように、入射光の輝度分布Ｌ_ｉ（Ｎ）を仮定して算出した出射光の輝度分布Ｌ_ｏ（Ｎ）_ｓｉｍと、実際に観測された出射光の輝度分布Ｌ_ｏ（Ｎ）_ｏｂｓとの差が最小になるように入射光Ｌ_ｉ（Ｎ）を調整して最終解を得る。

ここで「argmin」は括弧内の数値を最小とするための調整処理を示し、「Err」は括弧内の分布の差を示す。この計算により、各遮光状態においてリファレンス用物体８０へ入射する光の輝度分布が得られることになる。原理的には入光部８４を、重なりのないように全方位に向けて配置し、それぞれの状態での入射光の輝度分布を得れば、遮光用物体８２がない状態での本来の入射光の分布が次のように得られる。

図３は、本実施の形態において入射光の輝度分布を取得する原理を別の観点から説明するための図である。図の表し方は図２と同様である。図の上部に示すように、図の上側を０°とし時計回りに角度θを定義したとき、（ａ）の状態において、遮光用物体８２の入光部８４の範囲は－９０°≦θ＜９０°であるのに対し、（ｂ）の状態では入光部８４の範囲が０°≦θ＜９０°である。ただし実際には立体角となる。

この場合も上述と同様に、それぞれの状態についてリファレンス用物体８０からの出射光の輝度分布Ｌ_ｏ（１）、Ｌ_ｏ（２）を観測すると、入光部８４が広い前者の方が全体的な輝度値が高くなる。すなわちそれらの差分Ｌ_ｏ（１）－Ｌ_ｏ（２）は、後者において遮蔽されていた、－９０°≦θ＜０°からの入射光による寄与ということになる。そこで当該差分を観測値として式３に導入すれば、－９０°≦θ＜０°に入光部８４を設けた状態を撮影することなく、－９０°≦θ＜０°の範囲の入射光の輝度分布を取得できる。

０°≦θ＜９０°の範囲の入射光の輝度分布については、図２で説明したのと同様にＬ_ｏ（２）から求められる。本実施の形態ではこのように、入射光の一部を遮蔽した状態でリファレンス用物体８０を撮影して得られる、部分的な入射光の輝度分布同士を、遮光状態に合わせて演算することにより、被写空間への入射光の輝度分布を取得することを基本とする。なお入射光の輝度分布と出射光の輝度分布の関係を表すモデル式は式１に限らず様々なものが提案されており、本実施の形態ではそのいずれを採用してもよい。

本実施の形態の場合、遮光用物体８２に設ける入光部８４の縁部分（例えば図３における縁部分８５）における回折現象や、遮光用物体の外面および内面における多重反射をモデル式に含めることにより、入射光の輝度分布の精度をより高めることができる。なお光吸収性の高い素材や色で遮光用物体８２を形成することにより、多重反射の影響を抑えてもよい。また図２、３では、リファレンス用物体８０を球体、遮光用物体８２を球面としていたが、それぞれの形状は限定されない。なお遮光用物体８２には、リファレンス用物体８０を観測（撮影）するための開口をさらに設けるか、遮光用物体８２の内面に撮像センサを設けるものとする。

図４は、本実施の形態の入射光情報取得システムの構成例を示している。入射光情報取得システムは、リファレンス用物体８０と遮光用物体８６を撮影する撮像装置１２、撮影画像を用いて入射光の輝度分布の情報を取得する情報処理装置１０、必要な遮光状態をユーザに通知するための表示装置１６を含む。撮像装置１２および表示装置１６はそれぞれ、図１で示した撮像装置１１２および表示装置１１６と同じであってもよい。情報処理装置１０は図１で示した情報処理装置１１０の一部であってもよい。

撮像装置１２は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどを備えた一般的なカメラである。あるいは撮像装置１２は、レンズの前面または撮像素子内に偏光子を備えた偏光カメラであってもよい。この場合、複数方向の偏光画像を撮影することにより、偏光方向ごとに出射光の輝度分布が得られる。それぞれに対し方程式を立てると、偏光方向ごとに入射光の輝度分布が得られるため、それらを加算することで、非偏光の入射光の輝度分布が得られる。このように偏光成分を分離しそれぞれについて解を求めることにより、最終的に取得する入射光の輝度分布の精度を高められる。

図示する例では、図２、３と同様、リファレンス用物体８０を球体とする一方、遮光用物体８６は撮像装置１２側の面が遮蔽されない立方体の面としている。またこの例では、運用時に形状や材質を取得する対象物がテーブルに置かれることを想定し、リファレンス用物体８０と遮光用物体８６も同じテーブル８８の上に置いている。これによりテーブル８８からの反射光を入射光として、その輝度分布を同様に取得できる。なおテーブル８８からの反射光をモデル式に含めるため、テーブルの材質や色などの情報はリファレンス情報記憶部５２にあらかじめ格納しておく。

当該情報が未知の場合、入射光情報取得部５４は、その場でそれらの情報を取得してもよい。例えば遮光用物体８６の内壁などに、等方性、あるいはそれに近い特性の光源を設けておき、情報処理装置１０がその点灯／消灯を切り替えるよう制御する。内壁の複数箇所に光源を設け、点灯位置を切り替えてもよい。入射光情報取得部５４は、リファレンス用物体８０のない状態での遮光用物体８６の撮影画像に基づき、テーブル８８からの出射光の輝度分布を取得する。この場合、入射光の輝度分布が既知となるため、対象物の情報を得るのと同様の計算で、テーブル８８の反射特性を得ることができる。

なお遮光用物体８６とリファレンス用物体８０を載置する面はテーブルに限らず、床や棚などでも同様に反射特性を求められる。いずれにしろ入射光の輝度分布を取得する段階においても、運用時に形状や材質を求める対象物と可能な限り同じ環境にリファレンス用物体８０を置くことで、対象物への入射光情報を精度よく推定し、ひいては対象物の情報の取得精度を向上させることができる。また、底面など運用時に必要でない面への入射光の輝度分布を取得対象外とすることで、処理を簡略化できる。

図示する状態においてユーザは、遮光用物体８６の１つまたは複数の面を取り外したり元に戻したりして入光部の位置ひいては方向を変化させたうえで、撮像装置１２により撮影する。そのため遮光用物体８６の各面は、人手により取り外し可能な構造とする。各遮光状態において複数の方向から撮影画像を得ることにより、出射光の輝度分布を広い範囲で取得でき、結果として入射光の輝度分布の取得精度が上がる。撮像装置１２をビデオカメラとすることにより方向を変化させて動画を撮影し、得られたフレームから情報処理装置１０が解析対象を選択してもよい。

また情報処理装置１０と遮光用物体８６を電気的に接続し、必要な位置に入光部が設けられるように情報処理装置１０が遮光用物体８６を制御してもよい。例えば情報処理装置１０は、遮光用物体８６の各面に設けたシャッターを開閉させる。あるいは遮光用物体８６の各面を液晶パネルで形成し、情報処理装置１０が電圧印加によって配向を変化させることにより、遮光用物体８６の面を黒色と透明で切り替えてもよい。黒と透明の２階調に限らず、光透過性を３階調以上としてもよい。遮光用物体８６の光透過性を面内で徐々に変化させることにより、入射光の輝度をグラデーション状としてもよい。

この場合、本来の入射光の輝度に、面内分布を有する既知の透過率を乗算した値が、リファレンス用物体８０への入射光の輝度になる。透過率を様々に設定したうえでリファレンス用物体８０からの出射光を取得することで、撮像装置１２の姿勢を変化させずに撮影した画像を用いて、多数の方程式を立てることができる。また情報処理装置１０は、撮像装置１２の撮影タイミングや姿勢を制御してもよい。この場合、情報処理装置１０は、必要な位置に入光部が設けられたのに合わせて撮影したり、各遮光状態に対し所定の複数の姿勢で撮影したりするよう撮像装置１２を制御してよい。

遮光用物体８６は、内部に空間を有する複数の平面または曲面で構成されればよく、これまで述べた球面や立方体の面のほか、直方体の面、多面体、円筒の面などのいずれでもよい。また入光部の形状も限定されず、矩形、円形、多角形、スリット形状などのいずれでもよい。あるいは後述するように、遮光用物体８６は、ユーザの手、ユーザが動かす板などの物体、近傍を通過する人や動物など、入射光の一部を遮る物であればよい。この場合、それらの物に遮られない全ての範囲（方向）から光が入射可能となるが、本実施の形態では当該範囲も広義の「入光部」とする。

図５は、情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、必要に応じて表示装置１６へデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図６は、本実施の形態の情報処理装置１０の機能ブロックの構成を示している。情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する撮影画像取得部５０、リファレンス用物体８０の形状および材質に係る情報を格納するリファレンス情報記憶部５２、入射光の輝度分布に係る情報を取得する入射光情報取得部５４、取得した輝度分布の情報を格納する入射光情報記憶部５６、および輝度分布の情報を利用して対象物の情報を取得する対象物情報取得部６６を含む。

なお図示する機能ブロックは、リファレンス用実物体の撮影画像を用いて入射光の輝度分布を取得する機能と、その結果と対象物の撮影画像を用いて当該対象物の情報を取得す機能を含んでいる。入射光の輝度分布を取得することを目的とする場合、対象物情報取得部６６を省略できる。対象物の情報も取得する場合、対象物情報取得部６６は、図１で示したように被写体に対象物を含めることによって機能する。これに引き続き、対象物を用いてゲームなどを実施する場合、対象物の情報を用いて情報処理を行ったり、その結果を表す画像を描画したりする機能を適宜設けてよい。

また図示する各機能ブロックは、ハードウェア的には、図５で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現でき、ソフトウェア的にはハードディスクや記録媒体からメインメモリ２６にロードされたコンピュータプログラムなどで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

撮影画像取得部５０は、撮像装置１２から撮影画像のデータを取得する。この撮影画像は上述のとおり、入射光の一部を遮蔽した状態でリファレンス用物体８０を撮影した画像であり、撮影画像取得部５０は、入射光の遮蔽方向が異なる複数の撮影画像のデータを取得する。リファレンス情報記憶部５２には、リファレンス用物体８０の形状および材質の情報をあらかじめ格納しておく。リファレンス用物体８０の候補を複数種類、準備する場合は、それらの識別情報と、形状および材質の情報を対応づけて格納しておき、実際に用いるリファレンス用物体８０をユーザが指定できるようにしてもよい。

入射光情報取得部５４は、像抽出部５８、部分入射光情報取得部６０、全体入射光情報取得部６２、および遮光状態制御部６４を含む。像抽出部５８は、リファレンス情報記憶部５２から取得したリファレンス用物体８０の形状や色などの特徴に基づき、撮影画像からリファレンス用物体８０の像を、パターンマッチングなどにより抽出する。像抽出部５８は、抽出した像の形状や、テーブル８８など周囲の物の像の形状などに基づき、リファレンス用物体８０に対する撮像面の姿勢も取得する。当該情報は、撮像装置１２が内蔵するモーションセンサの計測値に基づき取得してもよい。

像抽出部５８はさらに、遮光用物体８６の像から、入光部の位置、ひいては遮光状態を取得する。当該情報は、ユーザが入力装置を介して入力してもよい。あるいは上述のとおり遮光状態制御部６４が制御してもよい。部分入射光情報取得部６０は、抽出した像の輝度分布に基づき、実空間でのリファレンス用物体８０からの出射光の輝度分布を取得する。そして式３により、撮影された遮光状態での部分的な入射光の輝度分布を推定する。この際、部分入射光情報取得部６０は、リファレンス情報記憶部５２から取得したリファレンス用物体８０の形状および材質の情報を適用する。

全体入射光情報取得部６２は、式４のように、部分的な入射光の輝度分布同士を演算することにより、遮光用物体８６のない状態での入射光全体の輝度分布を取得する。ただし入光部の設け方によって、入射光全体の輝度分布を取得する数式は様々となる。すなわち図３に示したように、出射光の輝度分布を演算してから入射光の輝度分布を取得する場合もある。また後述するように、異なる遮光状態において入光部の範囲に重複がある場合、輝度分布は単なる合計でなく、重複分を減算したり除算したりする必要がある。

遮光状態制御部６４は、部分的な入射光の輝度分布の取得状況に応じて、撮影が必要な位置に入光部が設けられるように制御する。例えば遮光用物体８６のある面からの入射光の分布が得られていないことが判明したら、その面を外すように画像および音声の少なくともいずれかでユーザに通知する。また輝度の変化が所定値以上大きい領域が判明したら、当該領域の開口範囲をより狭くするようにユーザに通知する。これにより、細かい単位で部分的な入射光の輝度分布を取得し、全体的な入射光の輝度分布の精度を向上させることができる。

あるいは上述のとおり、遮光状態制御部６４が遮光用物体８６を電気的に制御してもよい。遮光用物体８６を液晶パネルとする場合、上述のように光透過性を変化させるほか、所定の微細幅のストライプ状に透過部分が形成されるように制御することにより、遮光用物体８６の少なくとも一部の面を偏光子に変化させてもよい。この場合、撮像装置１２を偏光カメラとしたときと同様の効果が得られる。なお遮光状態制御部６４は、遮光用物体８６の一部の面を偏光子に取り替える作業を実施するよう、ユーザに通知してもよい。さらに遮光状態制御部６４は、部分的な入射光の輝度分布の取得状況に応じて、必要な方向を遮蔽するようにユーザに通知してもよい。

入射光情報取得部５４は、複数のリファレンス用物体８０に対し同様の処理を実施してもよい。遮光用物体８６の内面における二次反射を考慮しない場合、入射光の輝度分布は基本的に、リファレンス用物体８０の材質によらないが、当該二次反射などに起因して、材質や形状に依存した誤差が含まれ得る。そこで形状や材質の異なるリファレンス用物体８０を用いて入射光の輝度分布を取得し、それを平均化するなどして最終的な輝度分布とすることで誤差を最小限にできる。

入射光情報取得部５４は、取得した入射光全体の輝度分布の情報を、入射光情報記憶部５６に格納する。対象物情報取得部６６は、格納された入射光の輝度分布と、対象物を撮影した画像に基づき、当該対象物の形状および材質のうち必要な情報を取得する。この場合、撮影画像取得部は撮像装置１２から、対象物を撮影した画像のデータを取得し対象物情報取得部６６に供給する。当該撮影画像を用いて、対象物の形状や材質を求める手法は特に限定されないが、例えば式１を用いてインバースレンダリングを行うことが考えられる。

なおリファレンス用物体８０および遮光用物体８６を対象物の近傍に配置し、それらを同時に撮影することにより、対象物情報取得部６６が機能している期間に、入射光情報取得部５４が並行して入射光の輝度分布を取得することもできる。例えば対象物情報取得部６６は、当該期間に撮影されたリファレンス用物体の像に基づいて、初期に取得した入射光の輝度分布の変化を検出し、必要に応じて、入射光の輝度分布を修正したり取得し直したりしてもよい。

図７は、立方体形状の遮光用物体８６の入光部について説明するための図である。遮光用物体８６は図の手前側の面を撮影用に常時開口させるとする。遮光用物体８６のその他の面Ａ、Ｂ、Ｃ、Ｄは遮光可能な面である。まず当該４面全てに板を配した状態を状態（１）とすると、部分入射光情報取得部６０により、手前からの入射光の輝度分布Ｌ_ｉ（１）が得られる。面Ａの板を除いたり透明にしたりして当該方向を入光部とした状態を状態（２）とすると、手前および上面からの入射光の輝度分布Ｌ_ｉ（２）が得られる。

同様に、面Ｂの方向を入光部とした状態を状態（３）、面Ｃの方向を入光部とした状態を状態（４）、面Ｄの方向を入光部とした状態を状態（５）とすると、部分入射光情報取得部６０により、それぞれの状態における入射光の輝度分布Ｌ_ｉ（３）、Ｌ_ｉ（４）、Ｌ_ｉ（５）が得られる。上記のとおり全ての遮光状態で撮影用の開口部が設けられているため、輝度分布Ｌ_ｉ（２）、Ｌ_ｉ（３）、Ｌ_ｉ（４）、Ｌ_ｉ（５）には全てＬ_ｉ（１）が含まれる。そこで全体入射光情報取得部６２は、入射光全体の輝度分布Ｌ_ｉを、次のように決定する。
Ｌｉ＝Ｌ_ｉ（２）＋Ｌ_ｉ（３）＋Ｌ_ｉ（４）＋Ｌ_ｉ（５）－３Ｌ_ｉ（１）

この例は立方体の面を１つずつ入光部としたが、２つ以上の面を同時に入光部としてもよい。例えば面Ａ、Ｂの方向を入光部とした状態を状態（６）、面Ｂ、Ｃの方向を入光部とした状態を状態（７）、面Ｃ、Ｄの方向を入光部とした状態を状態（８）、面Ｄ、Ａの方向を入光部とした状態を状態（９）とし、それぞれの状態において得られた入射光の輝度分布をＬ_ｉ（６）、Ｌ_ｉ（７）、Ｌ_ｉ（８）、Ｌ_ｉ（９）とすると、入射光全体の輝度分布Ｌ_ｉは次のように算出できる。
Ｌ_ｉ＝｛Ｌ_ｉ（６）＋Ｌ_ｉ（７）＋Ｌ_ｉ（８）＋Ｌ_ｉ（９）｝／２－Ｌ_ｉ（１）

図８は本実施の形態で利用できる遮光用物体の別の例を示している。遮光用物体９０は球体の面に撮影用の開口部９２と入光部９４を備えた構成を有する。この遮光用物体９０は、内壁がリファレンス用物体を兼ねている。すなわち撮像装置１２は、開口部９２から遮光用物体９０の内壁の少なくとも一部を撮影する。撮像装置１２を開口部９２の箇所にはめ込み、開口を塞ぐようにしてもよい。いずれにしろ撮像装置１２は入光部９４からの入射光による物体からの出射光を観測する点で、これまでの説明と同様となる。

ここで遮光用物体９０を回転させると、入光部９４の向きが変化するため、板を外したり透明にしたりして入光部を設けるのと同様に、様々な方向からの部分的な入射光の輝度を得ることができる。ユーザが遮光用物体９０を転がす場合、例えば遮光用物体９０にロータリーエンコーダなどの回転角センサを設け、部分入射光情報取得部６０がその計測値を無線通信などにより取得することにより、入光部９４の方向を取得してもよい。または部分入射光情報取得部６０は、撮影画像の枠の回転角に基づき入光部９４の方向を取得してもよい。

あるいは遮光用物体９０自体に動力を設け、遮光状態制御部６４が遮光用物体９０を回転させてもよい。なお入光部９４は１つでも複数でもよい。上述のとおり、図７で示したような遮光用物体８６とリファレンス用物体８０の組、あるいは図８で示したようなリファレンス用物体を兼ねた遮光用物体８６を、ゲームなどの運用時に対象物の近傍に置いておいておくことにより、入射光の輝度分布の変化を監視してもよい。

例えば徐々に照度が高くなる照明や窓からの光の変化、周囲にある物の移動などに起因して、入射光が経時変化する可能性がある場合、初期処理として取得した入射光の輝度分布を随時修正することにより、対象物の形状や材質の取得精度を維持できる。この場合、入射光情報取得部５４は、基本的にはこれまで説明したのと同様の手順により、リファレンス用物体８０の像に基づき定期的に入射光の輝度分布を取得し、前のタイミングで取得した輝度分布との差を求める。

この際、用いる撮影画像は、対象物の形状や材質を取得するために撮影された画像でもよい。この場合、初期処理で得られる撮影画像より、撮像装置１２の姿勢や遮光状態のバリエーションが限られる可能性がある。入射光情報取得部５４は、その限られた条件下で得られた結果を比較し、差が誤差の範囲内と判定したら元の入射光情報をそのまま維持する。差に有意性があっても所定の基準より小さければ、限られた条件下で得られた結果のみを反映させるように輝度分布を更新する。差が所定の基準以上であれば、入射光情報取得部５４は、初期処理と同様の条件で再度、入射光全体の輝度分布を取得する。

最終的に入射光の輝度分布を取得し直すことを前提とすれば、入射光情報取得部５４は、厳密に入射光の輝度分布を取得し続ける代わりに、リファレンス用物体８０からの出射光の変化に基づき間接的に入射光の輝度分布の変化を検出するのでもよい。あるいは図８で示したようなリファレンス用物体を兼ねた遮光用物体８６を、遮光状態制御部６４の制御のもと、転がし続けたり、空中を飛行させたりして、運用中も常に入射光の輝度分布を取得し続けてもよい。あるいは運用中に人や動物がリファレンス用物体８０の近傍を通過した際、それを遮光用物体と見なしてもよい。

すなわち図３において説明したように、人や動物により入射光が遮蔽される前後における、リファレンス用物体８０からの出射光の差は、遮蔽された方向の入射光の寄与を示している。そこで部分入射光情報取得部６０は、遮蔽前後の出射光の差から、式２、３を用いて、遮蔽された方向の入射光の輝度分布Ｌ_ｉを取得する。この部分的な入射光の輝度分布と、入射光情報記憶部５６に格納されている入射光全体の輝度分布のうち当該部分との差に基づき、上述のとおり部分的な修正あるいは全体的な修正を実施する。

図９は、遮光用物体を人手として入射光輝度分布を取得する態様を説明するための図である。この例では、リファレンス用物体９６を片方の手９８ａで把持したうえ、入射光をもう一方の手９８ｂにより遮蔽する。この場合も、遮蔽前後のリファレンス用物体９６からの出射光の変化により、手９８ｂの方向からの入射光の輝度分布を得ることができる。したがって情報処理装置１０は、リファレンス用物体９６に対する手９８ａの方向を様々に変化させて撮影した画像を取得すれば、これまで述べたのと同様に、入射光全体の輝度分布を取得できる。

この際、部分入射光情報取得部６０は、遮光する手９８ｂの位置や姿勢を、撮影画像からパターンマッチングなどにより取得する。遮光に供する物は人手に限らず、板などでもよい。この例で人がリファレンス用物体９６を把持することにより、対象物をコントローラとして用いる場合と同様の環境を作り出せる。また運用時に人の顔の造作や肌の状態を得るための前処理として入射光の輝度分布を取得する場合に、リファレンス用物体９６を顔の高さに掲げるなど、対象物に想定される高さや位置に自由に合わせることができる。

なお図７、８で示したような遮光用物体とリファレンス用物体を人が把持するようにしても同様の効果が得られる。また上述のとおり人の顔を対象物とする場合、肩や胸などからの反射も入射光となり得るため、好適には上半身に近い形状のリファレンス用物体を準備することにより、運用時の状態により近づけることができる。

図１０は遮光状態制御部６４が、入射光を遮蔽すべき方向をユーザに通知する際の表示画面の例を示している。この例で遮光状態誘導画面１００は、現在の状態を示す画像に、どの方向を遮蔽すべきかを示す矢印１０２を重畳表示させた構成を有する。ここで現在の状態を示す画像は、図９で示したような状態を撮像装置１２が撮影した画像、あるいはそれをユーザから見た状態に再構成した画像などである。

上述のとおり部分入射光情報取得部６０は、解析対象の撮影画像における、入射光を遮蔽している手や物の像などに基づき、入射光の遮蔽方向を取得する。遮光状態制御部６４は当該情報と、各遮光状態で得られている入射光の輝度分布、あるいはそれらを演算した全体的な入射光の輝度分布の途中経過を参照し、新たに撮影が必要な遮蔽方向をユーザに通知する。例えば遮光状態制御部６４は、輝度分布が得られていない方向、分布が不連続など誤差が大きいと判定される方向、輝度分布の変化が大きく、分布の取得単位を細分化する必要があると判定される方向などを特定する。

対象物情報取得部６６が対象物の形状や材質を取得中であれば、当該対象物のうち情報をより詳細に取得する必要がある部分への入射光の方向を取得してもよい。そして遮光状態制御部６４は、取得した方向の入射光の輝度分布が得られるように、遮蔽すべき方向を導出し、遮光する手を当該方向に移動させるための矢印１０２を表示画像に描画する。追加で情報が必要な入射光の方向と、遮蔽すべき方向との関係は、それまで得られている部分的な入射光の輝度分布によって様々となる。

なお図示する例は人手による遮光を想定しているが、遮光用物体のうち入光部を設けるべき方向を矢印などにより示してもよい。ユーザがそれに従い遮光したり入光部を設けたりしたことが撮影画像により判定されたら、部分入射光情報取得部６０は、その状態で撮影された画像を用いて、部分的な入射光の輝度分布を取得する。そして全体入射光情報取得部６２は、追加で取得された部分的な入射光の輝度分布を演算に組み入れることにより、入射光全体の輝度分布を精度よく求める。

次に、これまで述べた構成によって実現できる情報処理装置１０の動作について説明する。図１１は、情報処理装置１０が入射光の輝度分布を取得する処理手順を示すフローチャートである。なお同図では、取得した入射光の輝度分布を利用して対象物の情報を取得する処理も含めて示している。このフローチャートは、ユーザが入射光の一部を遮蔽した状態のリファレンス用物体を準備し、撮像装置１２がそれを撮影している状態で開始される。

撮影画像取得部５０は、準備された遮光状態での撮影画像のデータを撮像装置１２から取得する（Ｓ１０）。すると入射光情報取得部５４は、撮影画像におけるリファレンス用物体の像に基づき、当該遮光状態での部分的な入射光の輝度分布を取得する（Ｓ１２）。入射光情報取得部５４はこの際、遮光されている方向あるいは入光部の方向を撮影画像などから取得しておく。そして入射光情報取得部５４は、部分的な入射光の輝度分布を演算することにより、得られている情報の範囲で入射光全体の輝度分布を算出する（Ｓ１４）。ただし初回はＳ１４の処理を省略する。

必要な方向の部分的な輝度分布が全て得られていなければ（Ｓ１６のＮ）、入射光情報取得部５４は、不足している情報を得るために必要な遮光状態、すなわち遮蔽の方向または入光部の方向を、表示装置１６を介してユーザに通知する（Ｓ１８）。ただし情報処理装置１０が電気的に遮光物体を制御することで、必要な遮光状態を作り出してもよい。そして撮影画像取得部５０は、新たな遮光状態での撮影画像のデータを取得し、入射光情報取得部５４がその状態での輝度分布を取得することで、得られている情報の範囲で入射光全体の輝度分布を算出する（Ｓ１０～Ｓ１４）。

Ｓ１０からＳ１８の処理を繰り返し、必要な方向の部分的な輝度分布が全て得られたら（Ｓ１６のＹ）、入射光情報取得部５４はその時点で取得されている、入射光全体の輝度分布の情報を、対象物情報取得部６６に格納する（Ｓ２０）。そして対象物情報取得部６６は、当該輝度分布の情報を用いて対象物の形状や材質の取得を開始する（Ｓ２２）。なお厳密にはＳ２２の処理には、撮影画像取得部５０が、対象物を撮影した画像を撮像装置１２から取得する処理が含まれる。

この段階でも入射光情報取得部５４は、撮影画像中のリファレンス用物体の像に基づき入射光の輝度分布の変化を監視する（Ｓ２４のＮ、Ｓ２６）。対象物の情報を取得している期間に輝度分布に基準以上の変化が生じたら（Ｓ２４のＮ、Ｓ２６のＹ）、入射光情報取得部５４は、Ｓ１０からＳ１８の処理を再び実施することにより、入射光全体の輝度分布を取得し直す（Ｓ２０）。なお上述のように、Ｓ１０からＳ１８の処理を行う代わりに、Ｓ２６の監視により得られた部分的な入射光の輝度分布を反映させる小規模な修正としてもよい。

輝度分布に基準以上の変化が生じなければ、対象物の情報取得を継続する（Ｓ２６のＮ、Ｓ２２）。このように、必要に応じて入射光の輝度分布を修正しながら対象物の情報を取得していき、情報の取得が完了したら、全ての処理を終了させる（Ｓ２４のＹ）。

以上述べた本実施の形態によれば、撮影画像を用いて対象物の形状や材質を取得する際に必要な、入射光の輝度分布を、同じ場でリファレンス用立体物を撮影した画像を用いて取得する。この際、入射光の一部を遮蔽した状態で撮影することにより、輝度分布の自由度が限定的となり、反射モデルを表す方程式を用いた際の解を導出しやすくなる。そのようにして得られた部分的な入射光の輝度分布同士を演算することにより、入射光全体の輝度分布を容易かつ正確に導出できる。

入射光の一部を遮蔽するため、位置が可変の入光部を有する遮光物体を導入したり、必要な遮光方向をユーザに通知したりすることにより、一般的なユーザでも必要な遮光状態を容易に作り出すことができる。また形状や材質を取得する対象物と同じ状況で、手軽にリファレンス用物体を撮影できるため、対象物の情報を精度よく取得でき、ひいてはそれを用いた情報処理の精度も容易に向上させることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０情報処理装置、１２撮像装置、１６表示装置、２３ＣＰＵ、２４ＧＰＵ、２６メインメモリ、５０撮影画像取得部、５２リファレンス情報記憶部、５４入射光情報取得部、５６入射光情報記憶部、５８像抽出部、６０部分入射光情報取得部、６２全体入射光情報取得部、６４遮光状態制御部、６６対象物情報取得部。

以上のように本発明は、画像処理装置、ゲーム装置、携帯端末、パーソナルコンピュータなど各種情報処理装置と、それを含むシステムなどに利用可能である。

Claims

入射光の一部を遮蔽した状態で、形状および材質が既知のリファレンス用物体を撮影した画像を取得するステップと、
入射光の遮蔽方向が異なる複数の撮影画像における、前記リファレンス用物体の像に基づき、一部が遮蔽された部分的な入射光の輝度分布を所定のモデル式により取得するステップと、
前記部分的な入射光の輝度分布同士を演算することにより、入射光全体の輝度分布を取得するステップと、
を含むことを特徴とする入射光情報取得方法。
前記画像を取得するステップは、位置が可変の入光部を有する遮光用物体の内部空間にある前記リファレンス用物体の撮影画像を取得することを特徴とする請求項１に記載の入射光情報取得方法。
前記部分的な入射光の輝度分布の取得状況に応じて、撮影が必要な位置に前記入光部が設けられるように前記遮光用物体を制御するステップをさらに含むことを特徴とする請求項２に記載の入射光情報取得方法。
前記制御するステップは、前記遮光用物体を構成する液晶パネルの光透過性を、印加電圧の制御によって部分的に変化させることにより、前記入光部の位置を変化させることを特徴とする請求項３に記載の入射光情報取得方法。
前記制御するステップは、前記遮光用物体を構成する液晶パネルを、所定幅のストライプ状に光の透過部分が形成されるように制御することにより、前記遮光用物体の少なくとも一部の面を偏光子に変化させることを特徴とする請求項３に記載の入射光情報取得方法。
前記画像を取得するステップは、位置が可変の入光部を有する遮光用物体の内壁を、前記リファレンス用物体として撮影した画像を取得することを特徴とする請求項１に記載の入射光情報取得方法。
前記画像を取得するステップは、前記遮光用物体の回転により、前記入光部の方向が異なる状態で撮影された複数の画像を取得することを特徴とする請求項６に記載の入射光情報取得方法。
前記撮影画像における、入射光を遮蔽している物体の像に基づき、入射光の前記遮蔽方向を取得するステップと、
前記部分的な入射光の輝度分布の取得状況に応じて、撮影が必要な遮蔽方向をユーザに通知するステップをさらに含むことを特徴とする請求項１または２に記載の入射光情報取得方法。
前記入射光の輝度分布に基づき、撮影画像に写る対象物の形状および材質の少なくともいずれかを取得する期間において撮影された、前記リファレンス用物体の像に基づいて、前記入射光の輝度分布の変化を検出するステップと、
前記輝度分布の変化に応じて前記入射光の輝度分布の情報を修正するステップと、
をさらに含むことを特徴とする請求項１から８のいずれかに記載の入射光情報取得方法。
前記画像を取得するステップは、複数方向の偏光画像を取得し、
前記輝度分布を取得するステップは、偏光方向ごとに前記部分的な入射光の輝度分布を取得したうえ、それらを加算して前記部分的な入射光の輝度分布を取得することを特徴とする請求項１から９のいずれかに記載の入射光情報取得方法。
前記遮光用物体の内壁に設けた光源を点灯させ、前記リファレンス用物体がない状態での撮影画像における、前記遮光用物体が載置される面の像に基づき、当該面の反射特性を取得し、前記モデル式に反映させるステップをさらに含むことを特徴とする請求項２から５のいずれかに記載の入射光情報取得方法。
前記部分的な入射光の輝度分布を取得するステップは、複数の遮蔽方向での前記リファレンス用物体の像に基づき得られた、前記リファレンス用物体からの出射光の輝度分布同士を演算することにより、撮影されていない遮蔽方向における前記リファレンス用物体からの出射光の輝度分布を算出し、それに基づき部分的な入射光の輝度分布を取得することを特徴とする請求項１から１１のいずれかに記載の入射光情報取得方法。
形状および材質が既知のリファレンス用物体と、
入射光の一部を遮蔽した状態の前記リファレンス用物体を撮影する撮像装置と、
撮影画像を用いて入射光の輝度分布を取得する情報処理装置と、
を含み、
前記情報処理装置は、
入射光の遮蔽方向が異なる複数の撮影画像における、前記リファレンス用物体の像に基づき、一部が遮蔽された部分的な入射光の輝度分布を所定のモデル式により取得する部分入射光情報取得部と、
前記部分的な入射光の輝度分布同士を演算することにより、入射光全体の輝度分布を取得する全体入射光情報取得部と、
を備えたことを特徴とする入射光情報取得システム。
入射光の一部を遮蔽した状態で、形状および材質が既知のリファレンス用物体を撮影した画像を取得する撮影画像取得部と、
入射光の遮蔽方向が異なる複数の撮影画像における、前記リファレンス用物体の像に基づき、一部が遮蔽された部分的な入射光の輝度分布を所定のモデル式により取得する部分入射光情報取得部と、
前記部分的な入射光の輝度分布同士を演算することにより、入射光全体の輝度分布を取得する全体入射光情報取得部と、
を備えたことを特徴とする情報処理装置。
入射光の一部を遮蔽した状態で、形状および材質が既知のリファレンス用物体を撮影した画像を取得する機能と、
入射光の遮蔽方向が異なる複数の撮影画像における、前記リファレンス用物体の像に基づき、一部が遮蔽された部分的な入射光の輝度分布を所定のモデル式により取得する機能と、
前記部分的な入射光の輝度分布同士を演算することにより、入射光全体の輝度分布を取得する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。