JP6934575B2

JP6934575B2 - 情報処理装置および物体検出方法

Info

Publication number: JP6934575B2
Application number: JP2020546669A
Authority: JP
Inventors: 和田　信也; 信也和田; 隆行石田
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2018-09-14
Filing date: 2018-09-14
Publication date: 2021-09-15
Anticipated expiration: 2038-09-14
Also published as: US20210319218A1; US11776251B2; JPWO2020054076A1; WO2020054076A1

Description

本発明は、撮影画像を利用して実物体を検出する情報処理装置および物体検出方法に関する。

ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出して別の画像で置換した表示画像を利用するゲームが知られている（例えば、特許文献１参照）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。このように、実世界を撮影して対象物の状態を検知したり、それに基づく情報処理を実施したりする技術は、電子コンテンツのみならず、自動制御ロボット、監視カメラ、自動運転システム、製造ラインにおける検品装置など幅広い分野で導入されている。

欧州特許出願公開第０９９９５１８号明細書

撮影画像における被写体の像の様子は、周囲の明るさや物の数、配置などによる光の状態の変化に影響される。そのため同じ被写体でも、その像の色や輝度分布が大きく変化したり、輪郭が明確に得られなかったりした結果、検出に失敗したり他の物と混同したりすることが起こり得る。特に無色のガラスやアクリル樹脂など、光線透過率が高い材質の物は色情報に乏しく、また周囲の状況の影響を受けやすいため安定的な検出が難しい。

本発明はこうした課題に鑑みてなされたものであり、その目的は、光線透過率の高い物であっても、撮影画像を用いた物体検出を安定的に実現できる技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、複数の方位の偏光画像のデータを撮像装置から取得する画像取得部と、偏光画像を用いて法線ベクトルを取得することにより被写体の面を検出する法線取得部と、検出された面から連続する、検出されていない面の存在を仮定する表面仮定部と、仮定された面に推定される法線ベクトルを利用して、当該面の有無を確認し最終的な被写体の面を導出する被写体検出部と、導出された被写体の面に係る情報に基づき出力データを生成し出力する出力データ生成部と、を備えたことを特徴とする。

本発明のさらに別の態様は物体検出方法に関する。この物体検出方法は情報処理装置が、複数の方位の偏光画像のデータを撮像装置から取得するステップと、偏光画像を用いて法線ベクトルを取得することにより被写体の面を検出するステップと、検出された面から連続する、検出されていない面の存在を仮定するステップと、仮定された面に推定される法線ベクトルを利用して、当該面の有無を確認し最終的な被写体の面を導出するステップと、導出された被写体の面に係る情報に基づき出力データを生成し出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、光線透過率の高い物であっても、撮影画像を用いた物体検出を安定的に実現できる。

本実施の形態における情報処理システムの構成例を示す図である。本実施の形態で利用する偏光の基本的な特性を説明するための図である。入射角に対する偏光方向の変化を鏡面反射と拡散反射で比較する図である。本実施の形態における、偏光方位に対する輝度の変化を例示する図である。法線ベクトルの天頂角に対する偏光度の変化の例を、鏡面反射と拡散反射で比較する図である。本実施の形態の撮像装置に導入できる、偏光子層を備える撮像素子の構造例を示す図である。透明物体に対する撮影視点の角度によって被写体の検出精度が低下する現象を説明するための図である。本実施の形態における情報処理装置の内部回路構成を示す図である。本実施の形態における情報処理装置の機能ブロックの構成を示す図である。本実施の形態において、表面仮定部が被写体の表面を仮定する手法を説明するための図である。本実施の形態において、被写体検出部が撮像装置を移動させることにより、仮定された面の存在を確認する手法を説明するための図である。本実施の形態において、様々な被写体形状に対し撮像装置を移動させて面を検出する様子を示す図である。本実施の形態において、被写体検出部が撮像装置を移動させることにより、仮定された面の存在を確認する別の手法を説明するための図である。本実施の形態において、被写体検出部がｓ偏光、ｐ偏光の割合を評価することで、仮定された面の存在を確認する手法を説明するための図である。本実施の形態において、反射光と透過光を同時に観測できる環境で透明物体の有無を判定する手法を説明するための図である。本実施の形態において、透明物体の反射光と透過光を同時に観測できる環境で透明物体の有無を判定する別の例を示す図である。本実施の形態における情報処理装置が、撮影画像を用いて被写体を検出する処理の手順を示すフローチャートである。

本実施の形態は、撮像装置が撮影した画像を解析することにより、空間に存在する物を検出したり、その位置や姿勢を認識したりすることを基本とする。その限りにおいて、検出結果をどのように利用するかは特に限定されない。図１は、本実施の形態における情報処理システムの構成例を示している。図示する例では、撮像装置１２を装備したロボット４が周囲に存在する物体８ａ、８ｂ、８ｃを認識しながら歩行することを想定している。ロボット４の内部には、撮影画像を解析し、物体８ａ、８ｂ、８ｃの形状、距離、姿勢などを認識してロボット４を好適に動作させる情報処理装置１０が備えられる。

このような形態はV-SLAM（Visual Simultaneous Localization and Mapping)を導入した自動制御ロボットや無人搬送車などで広く知られている。ただし情報処理装置１０は外部からロボット４を遠隔制御する装置としてもよい。また情報処理装置１０が、物体の検出結果を図示しない表示装置に表示させ、ユーザがそれを見ながら、図示しない入力装置を用いてロボット４を遠隔操作する態様としてもよい。一方、ロボット４の代わりにユーザが、撮像装置１２を備えたヘッドマウントディスプレイを装着する態様としてもよい。

この場合、情報処理装置１０を、ヘッドマウントディスプレイに内蔵させてもよいし、ヘッドマウントディスプレイと無線あるいは有線により通信接続可能な外部の装置としてもよい。このとき情報処理装置１０は、物体の検出結果に基づき表示画像を生成し、それをヘッドマウントディスプレイに表示させてもよい。当該表示画像の少なくとも一部は、撮像装置１２が撮影した画像であってもよい。撮像装置１２をユーザが把持し、情報処理装置１０がその撮影画像を無線または有線により取得し解析してもよい。

撮像装置１２、情報処理装置１０、および図示しない表示装置を一体的に備える携帯端末をユーザが把持してもよい。情報処理装置１０を採用できる形態は、ロボットの制御システム、電子コンテンツ処理装置、監視カメラシステム、検品装置など様々に考えられる。そのため情報処理装置１０から出力される情報も、ロボット４への制御信号、表示画像、出力音声など、目的によって変化し得る。

これらの技術においては、物体８ａ、８ｂ、８ｃや、その周囲の状況をできるだけ正確に特定する必要がある。しかしながら一般的なカラーの撮影画像では、ガラスやアクリル樹脂など光線透過率の高い材質の物が像として写りにくい。そのため、そのような材質の物を認識しなかったり、光線の具合によって背後や手前にある別の物を、そこにあるように誤認識したりすることが考えられる。そこで本実施の形態では、撮像装置１２により被写空間の偏光を観測し、偏光の特性を利用して、光線透過率の高い材質の物を精度よく検出できるようにする。

ここで「光線透過率の高い材質」は、例えば無色のガラスやアクリル樹脂などであるが、対象とする光線透過率や色は限定されない。すなわち一般的なカラーの撮影画像を用いては見過ごされやすい物も網羅して検出できるようにすることで、全体として撮影による誤認識の発生を抑えることを旨とし、検出対象を限定する趣旨ではない。以後、「光線透過率の高い材質」で形成された物体を「透明物体」と呼ぶ。

図２は、本実施の形態で利用する偏光の基本的な特性を説明するための図である。撮像装置１２は、直線偏光板７０を介して被写体７２を含む空間を撮影する。より詳細には撮像装置１２は、光源から照射された光が被写体７２を反射してなる鏡面反射成分と、被写体７２内部で散乱された光が表面から出射してなる拡散反射成分とで構成される反射光のうち、直線偏光板７０によって定まる方向に振動する偏光を観測する。被写体７２の表面のうち観測点ａにおける法線ベクトルｎと、点ａから画像平面８０上の結像点ｂに到達する光線８２を含む面を、観測点ａにおける入射面７６と呼ぶ。

直線偏光板７０は、光線８２のうちある方向に振動する直線偏光のみを透過する。以後、透過させる偏光の振動方向を直線偏光板７０の透過軸と呼ぶ。直線偏光板７０を面に垂直な軸周りに回転させれば、透過軸を任意の方向にとることができる。仮に撮像装置１２へ到達する光が無偏光であれば、直線偏光板７０を回転させても、観測される輝度は一定となる。一方、一般的な反射光は部分偏光により、透過軸の方向に対し観測される輝度に変化が生じる。また鏡面反射と拡散反射の割合や入射角によって、輝度の変化の様子が異なる。

図３は、入射角に対する偏光方向の変化を鏡面反射と拡散反射で比較している。ここで「ｓ偏光」は入射面に垂直な方向に振動する成分、「ｐ偏光」は入射面に平行な方向に振動する成分である。鏡面反射および拡散反射の双方において、ｓ偏光とｐ偏光の割合は入射角に依存する。また鏡面反射の光は、入射角によらずｓ偏光が支配的である。このため、直線偏光板７０の透過軸が入射面と垂直な状態において観測輝度が最大となり、当該透過軸が入射面と平行な状態において観測輝度が最小となる。

拡散反射の光はその逆であり、直線偏光板７０の透過軸が入射面と平行な状態において観測輝度が最大となり、当該透過軸が入射面と垂直な状態において観測輝度が最小となる。したがって、様々な透過軸の方向で偏光画像を撮影することにより得られる結像点ｂの偏光輝度の変化は、入射面７６の角度と、入射光（あるいは出射光）の角度、すなわち被写体７２上の観測点ａにおける法線ベクトルｎの天頂角θの情報を含んでいることになる。本実施の形態でもこのような偏光の輝度の変化を利用する。

図４は、偏光方位φに対する輝度Ｉの変化を例示している。同図上段は鏡面反射が支配的な場合、下段は拡散反射が支配的な場合であり、どちらも１８０°周期の正弦波の形状を有する。一方、鏡面反射の輝度Ｉが最大値Ｉ_ｍａｘをとるときの偏光方位ψｓと、拡散反射の輝度Ｉが最大値Ｉ_ｍａｘをとるときの偏光方位ψｄには９０°の差がある。これは上述したように、鏡面反射においてはｓ偏光が、拡散反射においてはｐ偏光が支配的なことに起因する。

ｓ偏光が入射面に垂直、ｐ偏光が入射面に平行な振動であることに鑑みれば、鏡面反射において輝度が最小となる偏光方位（ψｓ−９０°）、あるいは拡散反射において輝度が最大となる偏光方位ψｄが、入射面の角度を表す。法線ベクトルｎは常に入射面に含まれるため、当該角度は、法線ベクトルｎを撮影画像平面に射影したベクトルの角度を表す。この角度は一般的に、法線ベクトルｎの方位角と呼ばれる。当該方位角に加え、上述した天頂角を求めることにより、撮像装置１２から見た３次元空間での法線ベクトルが一意に定まる。観測される偏光の輝度が最大となるときの偏光方位は位相角ψと呼ばれる。図４で示す輝度Ｉの変化は、位相角ψを用いて次の式で表すことができる。

直線偏光板７０を回転させ複数の偏光方位φに対し観測される輝度を、最小二乗法等を用いて式１の形式に近似することにより、Ｉ_ｍａｘ、Ｉ_ｍｉｎ、ψを求めることができる。そのうちＩ_ｍａｘ、Ｉ_ｍｉｎを用いて、次の式により偏光度ρが求められる。

図５は、法線ベクトルの天頂角に対する偏光度の変化の例を、鏡面反射と拡散反射で比較している。上段に示す鏡面反射の場合、偏光度は最大で１．０までの値をとるのに対し、下段に示す拡散反射の偏光度は、最大でも０．４程度である。なお天頂角θは、鏡面反射の場合の偏光度ρ_ｓ、拡散反射の場合の偏光度ρ_ｄと、それぞれ次のような関係にある。

ここでηは物体の屈折率である。式２で得られる偏光度ρを式３のρ_ｓ、ρ_ｄのどちらかに代入することにより天頂角θが得られる。こうして得られた方位角α、天頂角θにより、法線ベクトル（ｐ_ｘ，ｐ_ｙ，ｐ_ｚ）は次のように得られる。

なお本実施の形態において、偏光輝度を観測する手段は直線偏光板に限らない。例えば撮像素子構造の一部として偏光子の層を設けてもよい。図６は、本実施の形態の撮像装置１２に導入できる、偏光子層を備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、ワイヤグリッド型偏光子層１１４、カラーフィルター層１１６、および光検出層１１８を含む。

ワイヤグリッド型偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光がワイヤグリッド型偏光子層１１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。透過した偏光成分を光検出層１１８で検出することにより偏光画像が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。

ワイヤグリッド型偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で透過する偏光方位が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ１方向の偏光子の領域を表しており、点線自体は実際に形成されるものではない。

図示する例では、４方向の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその透過方向が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４方向の偏光子を設けている。これが直線偏光板７０の代わりとなり、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。このような偏光子配列をさらに縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４方位の偏光情報を２次元データとして同時に取得するイメージセンサを実現できる。

同図に示す撮像素子１１０では、ワイヤグリッド型偏光子層１１４と光検出層１１８の間にカラーフィルター層１１６を設けている。カラーフィルター層１１６は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層１１４における偏光子の方向とカラーフィルター層１１６におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。

また同一色の偏光画像同士を演算することにより、無偏光のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２−８００６５号公報などにも開示されている。ただし本実施の形態では基本的に偏光輝度画像を用いるため、その他の用途でカラー画像が必要なければカラーフィルター層１１６を省略することもできる。また偏光子はワイヤグリッド型に限らず、線二色性偏光子などを用いることもできる。

これまで述べたように、被写体表面あるいは内部で反射した光の偏光特性は、被写体表面の撮像面に対する傾き、ひいては被写体の形状や姿勢の情報を含むことから、被写体の色情報を表す一般的なカラー画像と比較し透明物体を検出しやすい。一方、図１で示したように物体８ａ、８ｂ、８ｃを任意の視点から撮影する場合、あるいは逆に撮像面に対し物体が動いている場合など、透明物体に対する撮影視点の角度によっては、偏光によっても透明物体が検出しにくいことがある。

図７は、透明物体に対する撮影視点の角度によって被写体の検出精度が低下する現象を説明するための図である。（ａ）、（ｂ）は撮像装置１２がそれぞれ、平面状の被写体１５０ａおよび円筒状の被写体１５０ｂを撮影している様子を俯瞰した状態を示している。なお被写体表面を実線と点線としているのは説明のためであり、実際は一様とする。（ａ）において被写体１５０ａを撮影することにより、表面上の各位置から撮像装置１２への光線の偏光輝度が画素値として得られる。例えば観測点１５２ａ、１５２ｂを見ると、法線ベクトルｎ１、ｎ２が同じ方向である一方、撮像装置１２へ入射する光線の角度が異なる。

具体的には、撮像装置１２の光軸ｏに対する角度が大きい観測点１５２ａにおける、法線ベクトルｎ１と光線のなす角θ１は、光軸ｏに対する角度が小さい観測点１５２ｂにおける、法線ベクトルｎ２と光線のなす角θ２より大きくなる。ここで角度θ１、θ２は、各観測点１５２ａ、１５２ｂにおける法線ベクトルｎ１、ｎ２の天頂角に他ならない。観測される光は鏡面反射が支配的であるとすると、図５の上段に示すように、天頂角が０．６ｒａｄから１．３ｒａｄ程度の範囲で高い偏光度が得られ、天頂角がその範囲から離れるほど偏光度が低くなる。

例えばガラスの場合、ｐ偏光の反射率が０になりｓ偏光の成分のみの全偏光となるブリュースター角は約５６°（０．９８ｒａｄ）である。そのため上述のように偏光画像を解析すると、観測点１５２ａでは高い偏光度が得られるのに対し、観測点１５２ｂでは偏光度が低くなり、適正な法線ベクトルが得られにくくなる。結果として、平面状の被写体１５０ａのうち実線で示した部分は検出される一方、点線で示した部分は検出されない。

図５に示したように偏光度は天頂角に対し徐々に変化するため、実際には被写体１５０ａの表面上で、撮像装置１２の光軸ｏと交差する位置に近づくほど、検出精度が悪化していく。（ｂ）に示した円筒状の被写体１５０ｂの場合も同様である。すなわち撮像装置１２の光軸ｏからの角度が大きい観測点１５２ｃにおける、法線ベクトルｎ３と光線のなす角θ３は、光軸ｏからの角度が小さい観測点１５２ｄにおける、法線ベクトルｎ４と光線のなす角θ４より大きくなる。

そのため、観測点１５２ｃでは高い偏光度が得られるのに対し、観測点１５２ｂでは偏光度が低くなり、法線ベクトルの検出精度が悪化する。結果として円筒状の被写体１５０ｂのうち実線で示した部分は検出される一方、点線で示した部分は検出されない。このような現象は、被写体の形状によらず発生し得る。

被写体が透明物体の場合、カラーの撮影画像が示す色情報でも検出が困難なことから、撮影画像からは検出できない部分が発生することになる。そこで本実施の形態では、検出結果が適正に得られている部分から、撮像装置１２の光軸ｏとのなす角度が小さくなる方向に、被写体の面が続いていると仮定したうえ、実際に面が存在するか否かを、偏光を利用して確認することで検出精度を向上させる。

図８は、情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、ロボット４の制御機構や図示しない表示装置などへデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。

そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。なお上述のとおり本実施の形態には様々な用途が考えられる。そのため用途に応じた処理結果の出力形態によって、図示する構成の一部を省略したり別の回路に置き換えたりしてよい。

図９は、本実施の形態における情報処理装置１０の機能ブロックの構成を示している。同図においてさまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、図８で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６等の各主回路で構成することができ、ソフトウェア的には、記録媒体駆動部４０により駆動される記録媒体や記憶部３４からメインメモリ２６にロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する画像取得部５０、取得した画像のデータを格納する画像データ記憶部５２、被写体の検出を含む画像解析を行う画像解析部５４、および、解析結果を利用して出力すべきデータを生成する出力データ生成部５６を含む。

画像取得部５０は図８の入力部３８、ＣＰＵ２３などで実現され、撮像装置１２から偏光画像を含む撮影画像のデータを取得する。このとき偏光画像として、少なくとも３方向の透過軸に対応する３方位の偏光画像のデータを取得する。偏光画像は、図２に示すように撮像装置１２の前面に配置した直線偏光板７０を回転させ、所定の方向で停止させる都度、撮影してもよいし、図６で示した構造の撮像素子を含むイメージセンサを導入して撮影してもよい。後者の場合、一度の撮影で複数方位の偏光画像を取得できる。

出力する表示画像に撮影画像を用いる場合など、情報処理の目的や画像解析の内容によっては、画像取得部５０はさらに、一般的なカラーの撮影画像のデータも取得してよい。また、取得する撮影画像は動画でもよいし静止画でもよい。さらに撮像装置１２を、既知の間隔で設けた２つのカメラからなるステレオカメラとする場合、画像取得部５０は、それらのカメラが撮影した左右に視差を有するステレオ画像のデータを取得してもよい。画像取得部５０は取得した撮影画像のデータを画像データ記憶部５２に逐次格納する。

画像解析部５４は図８のＣＰＵ２３、ＧＰＵ２４などで実現され、画像データ記憶部５２に格納されたデータを用いて、被写体の検出を含む画像解析を行う。より詳細には画像解析部５４は、法線取得部５８、表面仮定部６０、および被写体検出部６２を含む。法線取得部５８は、上述のとおり方位の変化に対する偏光輝度の変化を利用して被写体の法線ベクトルを導出する。具体的にはまず、複数方位の偏光画像の対応する画素ごとに輝度を抽出し、偏光方位に対する輝度の変化を導出する。

偏光画像がφ１、φ２、φ３の３方位あれば、それらの座標（φ１，Ｉ１）、（φ２，Ｉ２）、（φ３，Ｉ３）の３点を通る曲線を、最小二乗法等を用いて式１の関数に近似することにより、図４に示すような連続した関数が得られる。これにより最大輝度Ｉ_ｍａｘと最小輝度Ｉ_ｍｉｎを求め、式２〜４により偏光度ρおよび法線ベクトルを求める。この処理を画素ごとに繰り返すと、画像平面に対し法線ベクトルの分布が得られ、被写空間に存在する物の形状や姿勢を特定できる。

法線取得部５８は、画像の色情報に基づき別途、被写体の検出を実施してもよい。当該色情報は、複数方位の偏光画像の輝度を対応する画素ごと、色ごとに平均するなどして取得してもよいし、対応する視野で撮影された自然光の画像を利用してもよい。色情報を用いた物体検出には既存の技術を利用できる。ただしこの段階では上述のとおり、撮像装置１２との位置関係や角度によって、被写体の一部の領域で法線ベクトルが得られない、または法線ベクトルの精度が低くなる可能性がある。透明物体の場合、色情報によっても正確な検出が難しい。

表面仮定部６０は、法線取得部５８が取得した法線ベクトルの分布を用いて被写体表面の連続性などに鑑み表面の存在を仮定する。表面仮定部６０はこのとき、別途取得した光源の位置や被写空間にある物の種類などの空間情報に基づき、より可能性の高い面を仮定してもよい。具体例は後に述べる。

被写体検出部６２は、表面仮定部６０が存在を仮定した面が実際に存在するか否かを確認し、その結果に応じて最終的な検出結果を導出する。確認手段として、（１）撮像装置１２を適切な位置へ移動させて再度撮影する態様、（２）仮定した面の法線に基づきｓ偏光とｐ偏光の関係を評価する態様、（３）撮像装置１２を移動させたときの像の変化を確認する態様、が考えられる。具体例は後に述べる。なお被写体検出部６２が最終的に導出する情報は法線ベクトルの分布に限らない。例えば仮定した位置に面が存在することを示すのみでもよいし、法線ベクトル分布に基づき被写体の位置や姿勢を表すデータを生成してもよい。

出力データ生成部５６は、図８のＣＰＵ２３、ＧＰＵ２４、出力部３６などで実現し、画像解析部５４が特定した情報に基づき所定の情報処理を実施して、ロボットへの制御信号、表示画像や音声など出力すべきデータを生成し出力する。上述したようにここで実施する情報処理の内容や出力データの種類は特に限定されない。例えばロボットの正面にガラス窓が存在することが判明したら、方向転換するような制御信号を送信してもよいし、検出された透明物体を含む被写体を把持するような制御信号を送信してもよい。

または物体の存在を提示する画像や音声を生成し表示装置に出力してもよい。あるいは検出された被写体を仮想オブジェクトに置き換えるなどして仮想現実、拡張現実を表した表示画像を生成し表示装置に出力してもよい。この際、画像解析部５４が取得した法線ベクトル分布に基づき、被写体の形状や姿勢に合致するように仮想オブジェクトを描画してもよい。画像取得部５０がステレオ画像のデータを取得する場合は、それを用いて被写体までの距離を求め出力データに反映させてもよい。ステレオ画像から対応点を抽出し、画像平面での位置のずれから三角測量の原理により被写体までの距離を取得する技術は広く知られている。

そのようにして得られた対応点ごとの距離情報に、画像解析部５４が取得した法線ベクトルの情報を統合し、より詳細に距離情報を取得してもよい。出力データ生成部５６はさらに、被写体検出部６２が仮定した面の存在を確認するのに必要な情報も出力する。具体的には、撮像装置１２を適切な位置に移動させ撮影させるための制御信号を生成してロボット４へ送信する。あるいは撮像装置１２を装着または把持したユーザに、移動方向や撮影タイミングを指示するための画像や音声を生成して表示装置やスピーカに送信してもよい。

図１０は、表面仮定部６０が被写体の表面を仮定する手法を説明するための図である。図７で示したように、被写体の面１６０ａ、１６０ｂが検出され、法線ベクトルｎ１、ｎ２が求められたとする。例えばあらかじめ設定したしきい値より大きい偏光度が得られる領域を「検出された」面１６０ａ、１６０ｂと定める。表面仮定部６０は、その間の領域１６２に面が存在する可能性を評価する。定性的には図７で示したように、撮像装置１２の光軸ｏとのなす角度が小さい方向に、検出された面１６０ａ、１６０ｂを延長してなる面の存在を推定する。

例えば図示するように、検出された面１６０ａ、１６０ｂで法線ベクトルｎ１、ｎ２が同一である場合、またはその変化の割合がしきい値より小さい場合に、その間の領域１６２に面があると推定する。この場合、法線ベクトルの分布を周知の演算手法で補間することにより面の形状を仮定できる。または検出された面１６０ａ、１６０ｂから領域１６２にかけて偏光度が連続していると見なせる場合に面の存在を仮定してもよい。あるいは窓枠のような不透明物体が、検出された面１６０ａ、１６０ｂから領域１６２に渡って近傍に存在することをカラー画像から導出し、その連続性から面の存在を推定してもよい。

さらに図示するように、カラー画像における像の歪み１６４や、鏡面ハイライト１６６の少なくともどちらかを確認して、面の存在やその形状を推定してもよい。像の歪み１６４を利用した推定としては例えば、１つの被写体の像１６７の部分的な歪み１６８の状態を、歪みのない部分から推定することにより、当該被写体の手前に、領域１６２に渡って透明物体が存在することを推定する。また歪みの度合いから面の形状を推定する。

あるいは被写体の像１６７からテレビやテーブルなど物の種類が推定できる場合、その本来の形状からの差分をとることにより歪みの有無や形状を推定してもよい。このため、物の種類、あるいはそれを導出するための色やサイズなどと、本来の形状とを対応づけたデータベースをあらかじめ準備しておいてもよい。テレビやテーブルといった、空間に備え付けられた物を事前に撮影しておき、運用時に撮影した画像との差分に基づき像の歪みを検出してもよい。

鏡面ハイライト１６６を利用した推定としては、輝度がしきい値以上の強い反射光の像（ハイライト）１７０が領域１６２に検出された場合、そこに面があると推定する。また実空間において撮像装置１２に対する光源１７２の位置を別途取得し、ハイライト１７０の形状やサイズとの関係に基づき面の形状を推定してもよい。光源の位置とオブジェクトの形状を既知としてハイライトを描画する技術はコンピュータグラフィクスの分野では広く知られている。

これを利用して、光源の位置と鏡面ハイライトの位置や形状を既知とすることで、被写体の形状を逆演算により求めることができる。このような手法はインバースレンダリングとして知られている。ここで光源の位置は次の手法の少なくともいずれかにより取得できる。
１．光源自体を撮影する
２．光源が映る色や材質の球体を被写空間に置く
３．形状が既知の被写体における鏡面ハイライトを利用する
４．被写空間にいる人の瞳への映り込みを利用する

１は、撮像装置１２を搭載したロボットを制御するか、ユーザにその旨を指示し、光源自体を撮影することで、そのときの撮影方位から、撮像装置１２との位置関係を取得する手法である。光源のおよその位置が未知の場合でも、全方位の画像を撮影すればいずれは光源を撮影できる。２は、情報処理の開始にあたり被写空間に、光源が映るような球体を設置するようユーザに規則づけておき、球面上の像に基づき光源の位置を取得する手法である。例えば球体を鏡のような材質とすることで、光源の像を明瞭に映すことができる。

３は、銀色の球体の代わりに、被写空間に存在する、鏡面反射する既知の形状の物を利用する手法である。例えば撮影画像において、領域１６２以外の領域で鏡面ハイライトが観測されたら、当該ハイライトを生じさせている物体の３次元形状を特定する。そしてハイライトの形状や位置に基づき光源の位置を特定する。撮影画像における物体の像の形状から３次元形状を特定するため、上述したように両者を対応づけたデータベースを利用してもよい。あるいは表示装置を介してユーザにその像を示し、物の種類や形状を入力させるようにしてもよい。

４は、それらの物の代わりに人の眼球を利用する手法である。この場合、撮影画像から人の顔を既存技術により検出し、そのうちの瞳の像におけるハイライトから光源の位置を特定する。撮像装置１２自体に光源を取り付ける場合や、光源の配置が既知の室内で撮像装置１２の位置や姿勢を内部のセンサなどで継続して計測する場合などは、より容易に光源の位置を取得できる。表面仮定部６０はこれまで述べた少なくともいずれかの手段により、未検出の領域１６２における面１６４やその法線ベクトルを仮定する。

図１１は、被写体検出部６２が撮像装置１２を移動させることにより、仮定された面の存在を確認する手法を説明するための図である。同図は図７の（ａ）で示したのと同じケースを示している。すなわち撮像装置１２ａの位置における撮影画像から、観測点１５２ａを含む面１６０ａと、面１６０ｂが検出され、その間に、それらに続く平面の存在が仮定されたとする。この場合、被写体検出部６２は、仮定された平面について、しきい値より大きい偏光度が得られる位置および向きに撮像装置１２を移動させ、再度撮影するようにロボットやユーザを誘導する。

図示する例では、撮像装置１２ａを撮像装置１２ｂの位置へ移動させている。これにより、観測点１５２ｂからの光線と法線ｎ２とのなす角θ５が増加し、偏光度も増加する。結果として高い精度で法線ベクトルを得ることができる。すなわち被写体検出部６２は、仮定された面上の各位置における法線ベクトルとそこからの光線とのなす角θが所定の範囲に入る位置および向きに撮像装置１２を移動させる。例えば０．５程度以上の偏光度を得たいとき、０．６ｒａｄ＜θ＜１．３ｒａｄとなるように撮像装置１２を移動させればよい。

仮定した面のうち、一度の移動で上記条件を満たせない領域が存在する場合は、複数回に分けて撮像装置１２の移動と撮影を繰り返し、偏光度や法線ベクトルを取得していく。偏光度が高くなり有意な法線ベクトルが得られる場合、そこに被写体の面が存在することを結論づけることができる。そのように撮像装置１２を移動させても偏光度に変化がない場合、そこに面はないと結論づけることができる。撮像装置１２の移動や撮影は、被写体検出部６２が出力データ生成部５６を介してロボット４に制御信号を送信することで実現してもよいし、移動方向や撮影タイミングを指示する画像や音声を表示装置に送信しユーザに提示することで実現してもよい。

図１２は、様々な被写体形状に対し撮像装置１２を移動させて面を検出する様子を示している。（ａ）は図７の（ｂ）で示した円筒状の被写体１５０ｂを対象としている。上述のとおり撮像装置１２ｃの位置からの撮影画像に基づき、面１７４ａ、１７４ｂが検出される。これに対し表面仮定部６０は、点線で示すように、それらに続く平面の存在を仮定する。すると被写体検出部６２は、仮定された面上の各位置における法線ベクトルとそこからの光線とのなす角が所定の範囲に入る位置および向きに撮像装置１２を移動させる。移動後の撮像装置１２ｄが撮影した画像によれば、グレーで示したように未検出であった面が検出される。結果として円筒状の被写体１５０ｂの面全体を検出できる。

（ｂ）は任意形状の被写体１５０ｃを対象とした様子を模式的に示している。例えば撮像装置１２ｅの位置からの撮影画像に基づき、面１７４ｃが検出される。これに対し、表面仮定部６０は、点線で示すように、それに続く平面の存在を仮定する。すると被写体検出部６２は、仮定された面上の各位置における法線ベクトルとそこからの光線とのなす角が所定の範囲に入る位置および向きに撮像装置１２を移動させる。移動後の撮像装置１２ｆが撮影した画像によれば、グレーで示したように未検出であった面が検出される。結果として任意形状の被写体１５０ｃの面全体を検出できる。

図１３は、被写体検出部６２が撮像装置１２を移動させることにより、仮定された面の存在を確認する別の手法を説明するための図である。この態様では表面仮定部６０が仮定した面１７６に対し角度を変化させながら動画撮影する。例えば面１７６の少なくともいずれかの位置１７８を中心とする円弧上に、その法線ベクトルｎから双方向に所定角度θｃの範囲、すなわち角度２θｃだけ撮像装置１２を移動させながら撮影する。透明物体の面に対しそのように撮像装置１２を移動させながら撮影すると、光軸と面のなす角度が小さいうちは鏡面反射した手前の物が写り、当該角度が９０°に近づくと透過光により背後の物が写る、といった像の変化が生じやすい。

この態様ではそのような状態遷移により、面を仮定した領域の像が変化したとき、透明物体が存在すると判定する。この場合も被写体検出部６２は出力データ生成部５６を介して、面に対する角度が変化するように撮像装置１２を移動させながら、動画撮影するようにロボット４へ制御信号を送信する。あるいはユーザにそのように指示するための画像や音声を生成し、表示装置へ送信する。画像取得部５０はそれに応じて撮影された動画像のデータを取得する。

被写体検出部６２は当該動画像のうち、移動の始点における撮影画像のスナップショットを取得しておく。面１７６に透明物体が存在すれば、反射により手前にある「シーンＡ」の像が当該面に映り込んでいる可能性が高い。そして撮像装置１２を移動させていく過程で面１７６に映る像が変化したら、それは面１７６の背後にある「シーンＢ」が透過した像であり、反射から透過への状態遷移が生じた可能性が高い。したがってこの時点で、面１７６には透明物体が存在すると判定できる。さらに撮像装置１２を移動させ、再度「シーンＡ」が映ったら、透過から反射への状態遷移が生じており、ひいては面１７６には透明物体が存在する確度がさらに高くなる。

像が変化したことは、最初に取得したスナップショットとの比較により判定できる。すなわちスナップショットに対し画角の変化以外の変化が得られたら、映り込みがシーンＡからシーンＢへ像が変化したと判定できる。撮像装置１２を移動させても、画角の変化以外の変化が見られない場合は、仮定された面１７６に透明物体がないと結論づけられる。この態様は、手前にある物が反射している状態をあえて作り出すことにより、透明物体の存在の根拠としている。利用する画像は偏光画像でもよいしカラー画像でもよい。

図１４は、被写体検出部６２がｓ偏光、ｐ偏光の割合を評価することで、仮定された面の存在を確認する手法を説明するための図である。この例では、仮定された面の背景にある物や光源の状態を既知としている。例えば透明物体などが置かれていない室内の状態を事前に撮影しておき、周囲の物体の色、形状、サイズ、光源の位置などを取得しておく。図の（ａ）は、仮定された面１８０の背景として、黒い物体、すなわちアルベドが所定値より低い物体１８２が存在する場合を示している。この場合、仮定された面１８０に透明物体があれば、撮像装置１２には主に、面１８０において鏡面反射した光が入射する。

鏡面反射光は上述のとおりｓ偏光が支配的となる。物体１８２が本来、拡散反射が支配的な材質で形成されており、主にｐ偏光が観測されるべきところ、実際には主にｓ偏光が観測された場合、物体１８２の前に透明物体が存在することを判定できる。同様の理論で、仮定された面１８０の背景が暗闇である場合も、主にｓ偏光が観測されればそこにガラス窓などの透明物体があることを判定できる。

上述のとおりｓ偏光は入射面に垂直に振動する光であるため、推定された面の法線から得られる入射面に対し、最大輝度を与える偏光方位が９０°ずれていれば、ｓ偏光が優位と結論づけられる。（ｂ）は、仮定された面１８０の背景として環境光など自然光が支配的な場合を示している。この場合、仮定された面１８０に透明物体があれば、撮像装置１２には主に、面１８０を透過した光が入射する。元々偏光度が０に近い自然光であっても、透明物体を透過することによりｐ偏光が支配的な部分偏光となる。

したがって本来、無偏光が観測されるべきところ、実際には主にｐ偏光が観測された場合、面１８０にガラス窓などの透明物体があることを判定できる。また面１８０の背景として、アルベドが所定値より高く鏡面反射する物体１８４が存在し、主にｓ偏光が観測されるべきところ、実際には主にｐ偏光が観測された場合も、物体１８４の前に透明物体が存在することを判定できる。このとき、仮定した面の法線から得られる入射面と同じ角度で、最大輝度を与える偏光方位が得られれば、ｐ偏光が優位と結論づけられる。

図１４の例は、背後にある物が本来有する反射特性と、透明物体がある場合の反射光あるいは透過光による偏光状態との間に差がある場合を想定し、当該差を利用して透明物体の有無を判定した。一方、同じ透明物体での反射光と透過光を同時に観測すれば、背後にある物の材質を限定せずに透明物体の有無を判定できる。図１５は、反射光と透過光を同時に観測できる環境で透明物体の有無を判定する手法を説明するための図である。

同図上段は被写体として、背景１９０とその手前にある平板状の透明物体１９２を示している。背景１９０は説明のため、上半分を白（例えばアルベドが所定値より高い物体がある）、下半分を黒（例えばアルベドが所定値より低い物体がある）としている。また撮像装置１２側からは一様な光が照射されているとする。同図下段はその状態を撮像装置１２により撮影したカラー画像１９４、当該画像の平面に対応する偏光度の分布１９６、および偏光（ｐ偏光／ｓ偏光）の分布１９８を示している。３つの画像（分布）には、透明物体１９２に対応する領域の境界を点線で示している。

上述のとおり背景が白い、例えばアルベドが所定値より高い物体がある場合、そこからの光が透明物体を透過する。背景が黒い、例えばアルベドが所定値より低い物体がある場合、手前からの光が反射する。カラー画像１９４ではそのような差や透明物体の有無による差はほぼ表れず、上半分が白く、下半分が黒い像が得られる。偏光度の分布１９６によれば、透明物体１９２を反射した光が到達する領域２０２において偏光度が大きく、透明物体１９２を透過した光が到達する領域２００において、偏光度が領域２０２より小さい。これは図５に示したように、天頂角によらず鏡面反射の偏光度が拡散反射の偏光度より大きいことに起因する。

なお図示する例では、透明物体１９２の平面状の表面が撮像装置１２の撮像面に対し傾きを有することにより、ある程度の偏光度が得られるとしている。このため領域２００、２０２以外の領域においては、偏光度がさらに低くなっている。一方、偏光の分布１９８によれば、透明物体１９２を透過した光が到達する領域２００においてｐ偏光が支配的となり、透明物体１９２を反射した光が到達する領域２０２においてｓ偏光が支配的となる。それ以外の領域では偏光度が小さいためｐ偏光とｓ偏光の割合が明確となりにくい。これらの性質を利用して透明物体の有無を判定する場合、次の２つの条件を用いる。

（１）カラー画像で輝度値が所定値より高い領域（例：白い領域）において、偏光度が所定値より高くｐ偏光が支配的である
（２）カラー画像で輝度値が所定値より低い領域（例：黒い領域）において、偏光度が所定値より高くｓ偏光が支配的である
ここで（１）と（２）の輝度値および偏光度の基準となる「所定値」は全て、それぞれ独立に設定してよい。そして上記（１）と（２）が同時に満たされるとき透明物体１９２があると判定する。

なお背景におけるアルベドの差は図示するように領域が明確に分かれている物を準備してもよいし、アルベドが所定値より高いテーブルとアルベドが所定値より低いテレビなど被写空間にある物を利用してもよい。照明がある部分と暗闇の部分などでもよい。いずれにしろ被写体検出部６２は、表面仮定部６０により面が仮定された領域において、背景にある物のアルベドが高い部分と低い部分が撮影され、かつ偏光度が所定値以上得られるように、撮像装置１２の位置や姿勢を調整することが望ましい。

図１６は、透明物体の反射光と透過光を同時に観測できる環境で透明物体の有無を判定する別の例を示している。この例では上段に示すように、背景２１０とその手前にある円筒状の透明物体２１２を撮影する。背景２１０や光源の環境は図１５のケースと同様である。同図下段はそのとき撮影されたカラー画像２１４、当該画像の平面に対応する偏光度の分布２１６、および偏光（ｐ偏光／ｓ偏光）の分布２１８を示している。

この場合もカラー画像２１４では背景２１０を反映し、上半分が白く、下半分が黒い像が得られる。偏光度の分布２１６によれば、透明物体２１２を反射した光が到達する領域の一部領域２２０において偏光度が大きく、透明物体２１２を透過した光が到達する領域の一部領域２２２において、偏光度が領域２２０より小さい。またその他の領域では偏光度がさらに低くなる。反射あるいは透過した光が到達する領域のうち一部の領域のみ偏光度が高くなるのは、図５に示すように天頂角による依存性があるためである。

また偏光度が得られている領域のうち、透過光の領域２２２と比較し、反射光の領域２２０の幅が広いのは、図５に示すように、同じ天頂角の範囲でも鏡面反射の方が、高い偏光度が得られる範囲が広いためである。一方、偏光の分布２１８によれば、透明物体２１２を透過した光が到達する領域の一部領域２２２においてｐ偏光が支配的となり、透明物体２１２を反射した光が到達する領域の一部領域２２０においてｓ偏光が支配的となる。

それ以外の領域では偏光度が小さいためｐ偏光とｓ偏光の割合が明確となりにくい。これらの性質を利用して透明物体の有無を判定する場合、次の２つの条件のいずれかを用いる。
（１）カラー画像で輝度値が所定値より高い領域（例：白い領域）において、偏光度が所定値より高くｐ偏光が支配的な所定形状の領域がある
（２）カラー画像で輝度値が所定値より低い領域（例：黒い領域）において、偏光度が所定値より高くｓ偏光が支配的な所定形状の領域がある

ここで（１）と（２）の輝度値および偏光度の基準となる「所定値」は全て、それぞれ独立に設定してよい。上記（１）および（２）の少なくとも一方を満たす場合、当該領域が透明物体２１２の縁部分の像であり、その間に透明物体があると判定する。ここで「所定形状」は、想定される透明物体の形状に基づきあらかじめ定義しておく。図示する円筒状の物体の場合、アスペクト比が所定の条件を満たす矩形または略矩形の形状とする。また領域の向きによって円筒の向きも判明する。この態様においても被写体検出部６２は、背景にある物のアルベドが高い部分と低い部分が撮影されるように、撮像装置１２の位置や姿勢を調整することが望ましい。

次に、以上述べた構成によって実現できる動作について説明する。図１７は情報処理装置１０が、撮影画像を用いて被写体を検出する処理の手順を示すフローチャートである。このフローチャートは、撮像装置１２が偏光画像を含む被写空間の画像を撮影している状態で開始する。まず情報処理装置１０の画像取得部５０は、偏光画像を含む撮影画像のデータを取得する（Ｓ１０）。そして画像解析部５４の法線取得部５８は、少なくとも偏光画像を用いて一般的な手法で被写体を検出する（Ｓ１２）。具体的には上述の手順により、偏光画像の輝度特性に基づき偏光度や法線ベクトルの分布を求める。

法線取得部５８はこの際、カラー画像を用いて色情報に基づき被写体の像の領域を抽出してもよい。またステレオ画像を用いて被写体までの距離を求めてもよい。次に表面仮定部６０は、Ｓ１０において検出された面から、撮像装置１２の光軸に対する角度が小さくなる方向に延長するような面の存在を仮定する（Ｓ１４）。具体的には上述のとおり、偏光度や法線ベクトルの分布、被写体までの距離、枠など周囲にある物の像などについて、連続性があると判定できる所定の条件を満たしたとき、未検出な面が存在する確率が高いと判定する。

次に表面仮定部６０は、仮定した面の法線ベクトルを推定する（Ｓ１６）。この処理には図１０に示した像の歪みや鏡面ハイライトの位置および形状などを利用する。あるいは検出済みの面の法線ベクトルを補間してもよい。次に被写体検出部６２は、仮定した面が実際に存在するか否かを確認する（Ｓ１８）。すなわち、撮像装置１２の位置や姿勢を変化させ、しきい値より大きい偏光度が得られる範囲で再度撮影された複数方位の偏光画像を用いて、法線ベクトルの取得を試みる。

または仮定した面を異なる角度から連続して撮影することにより、当該面の領域に写る像の変化の有無を確認する。あるいは偏光度や偏光の状態に基づき、透明物体の透過光や反射光であるか否かを特定する。被写体検出部６２はそれらの手法の少なくともいずれかにより、仮定した面に実際に面が存在するか否かを確定させる。なおＳ１８において補間処理などにより透明物体の法線ベクトルを取得すれば、Ｓ１６において推定する法線ベクトルは厳密なものでなくてよい。

出力データ生成部５６は、確定された結果、すなわち被写体全体の存在、その位置、姿勢、法線ベクトルの分布などに基づき所定の情報処理を実施し、その結果を出力データとして生成したうえロボット４や表示装置に適宜出力する（Ｓ２０）。ユーザからの要求などにより処理を停止させる必要がなければ（Ｓ２２のＮ）、Ｓ１０からＳ２０までの処理を繰り返す。処理を停止させる必要に応じて全処理を終了させる（Ｓ２２のＹ）。

以上述べた本実施の形態によれば、撮影画像を用いた物体検出技術において、偏光画像を利用して物体の法線ベクトルを求める。この際、偏光度が十分に得られず検出ができなかった面の存在を仮定する。そして推定した法線ベクトルを利用して所定の対策をとることにより、仮定した面の存在を確認する。具体的には、撮像装置を好適な位置に移動させて撮影したり、透明物体による反射光／透過光であるか否かを偏光度や偏光状態から特定したりする。

これにより、一般的なカラー画像では検出しづらい光線透過率の高い物体も抜けなく検出することができ、物体の種類を限定することなく、その検出結果を情報処理に活かすことができる。結果として、例えばロボット制御、電子コンテンツ処理、検品処理、監視などの精度や汎用性を高めることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０情報処理装置、１２撮像装置、２３ＣＰＵ、２４ＧＰＵ、２６メインメモリ、５０画像取得部、５２画像データ記憶部、５４画像解析部、５６出力データ生成部、５８法線取得部、６０表面仮定部、６２被写体検出部。

以上のように本発明は、ロボット制御装置、電子コンテンツ処理装置、携帯端末、監視カメラシステム、検品装置など各種情報処理装置およびシステムに利用可能である。

Claims

複数の方位の偏光画像のデータを撮像装置から取得する画像取得部と、
前記偏光画像を用いて法線ベクトルを取得することにより被写体の面を検出する法線取得部と、
検出された面から連続する、検出されていない面の存在を仮定する表面仮定部と、
仮定された面に推定される法線ベクトルを利用して、当該面の有無を確認し最終的な被写体の面を導出する被写体検出部と、
導出された被写体の面に係る情報に基づき出力データを生成し出力する出力データ生成部と、
を備えたことを特徴とする情報処理装置。
前記画像取得部は、前記仮定された面に推定される法線と前記撮像装置への光線とのなす角度が所定範囲に入った状態で再度撮影された複数方位の偏光画像のデータをさらに取得し、
前記被写体検出部は、当該偏光画像を用いて法線ベクトルの取得を試みることにより、前記仮定された面の有無を確認することを特徴とする請求項１に記載の情報処理装置。
前記出力データ生成部は、前記撮像装置が前記所定範囲に入った状態とするための制御信号を、前記撮像装置を搭載したロボットに送信するか、当該状態とするためのユーザへの指示を表すデータを表示装置に送信することを特徴とする請求項２に記載の情報処理装置。
前記画像取得部は、前記撮像装置が前記仮定された面に対する角度を変化させながら撮影したカラー画像または偏光画像の動画像をさらに取得し、
前記被写体検出部は、当該動画像において、前記仮定された面の領域に、反射と透過の状態遷移による像の変化が確認されたとき、当該面に透明物体があると判定することを特徴とする請求項１に記載の情報処理装置。
前記被写体検出部は、前記仮定された面に対応する画像平面上の領域における偏光輝度の特性に基づき、当該面に存在する透明物体からの光か、当該面の背後にある物体からの光かを区別することにより、当該面における透明物体の有無を判定することを特徴とする請求項１に記載の情報処理装置。
前記被写体検出部は、前記仮定された面の領域で画像の輝度値が所定値より低い場合に、前記透明物体から鏡面反射した光であるか否かを前記偏光輝度の特性に基づき確認することにより、前記区別を実現することを特徴とする請求項５に記載の情報処理装置。
前記被写体検出部は、前記仮定された面の領域で画像の輝度値が所定値より高い場合に、前記透明物体を透過した光であるか否かを前記偏光輝度の特性に基づき確認することにより、前記区別を実現することを特徴とする請求項５または６に記載の情報処理装置。
前記被写体検出部は、前記仮定された面に対応する画像平面上の領域に、偏光度が所定値より高い所定形状の領域が含まれるとき、当該領域に対応する縁部分を有する透明物体の存在を判定することを特徴とする請求項１および５から７のいずれかに記載の情報処理装置。
前記表面仮定部は、被写空間に存在する物体の像の歪みに基づき、仮定する透明物体の面を決定することを特徴とする請求項１から８のいずれかに記載の情報処理装置。
前記表面仮定部は、前記物体の本来の形状を、当該物体の種類に基づきデータベースを用いて特定することにより、前記像の歪みの有無を推定することを特徴とする請求項９に記載の情報処理装置。
前記表面仮定部は、前記撮像装置により撮影された鏡面ハイライトの位置および形状と光源の位置とに基づき、仮定する透明物体の面を決定することを特徴とする請求項１から８のいずれかに記載の情報処理装置。
前記表面仮定部は、光源を撮影した際の撮影方位または、被写空間に存在する形状が既知の物体の表面への映り込みに基づき、前記撮像装置と前記光源の位置関係を特定することを特徴とする請求項１１に記載の情報処理装置。
前記表面仮定部は、被写体の色情報に基づき検出した不透明物体が、前記検出された面から及ぶ範囲に基づき、仮定する透明物体の面を決定することを特徴とする請求項１から８のいずれかに記載の情報処理装置。
複数の方位の偏光画像のデータを撮像装置から取得するステップと、
前記偏光画像を用いて法線ベクトルを取得することにより被写体の面を検出するステップと、
検出された面から連続する、検出されていない面の存在を仮定するステップと、
仮定された面に推定される法線ベクトルを利用して、当該面の有無を確認し最終的な被写体の面を導出するステップと、
導出された被写体の面に係る情報に基づき出力データを生成し出力するステップと、
を含むことを特徴とする、情報処理装置による物体検出方法。
複数の方位の偏光画像のデータを撮像装置から取得する機能と、
前記偏光画像を用いて法線ベクトルを取得することにより被写体の面を検出する機能と、
検出された面から連続する、検出されていない面の存在を仮定する機能と、
仮定された面に推定される法線ベクトルを利用して、当該面の有無を確認し最終的な被写体の面を導出する機能と、
導出された被写体の面に係る情報に基づき出力データを生成し出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。