JPWO2016174915A1 - 画像処理装置と画像処理方法およびプログラム - Google Patents

Abstract

偏光画像取得部２０は、偏光方向が異なる複数の偏光画像を取得する。偏光画像は、例えばユーザインタフェースにおける入力指示体を認識対象の被写体として撮像された画像である。法線算出部３０は、偏光画像取得部２０によって取得された偏光画像に基づいて、認識対象の被写体の画素毎に法線を算出する。法線は認識対象の被写体の三次元形状に応じた情報であり、認識部４０は、法線算出部３０で算出された法線を用いて被写体の認識を行い、入力指示体の種類や位置、姿勢等を判別して、判別結果をユーザインタフェースにおける入力情報として出力する。被写体の認識を精度よく容易に行えるようになる。

Description

この技術は、画像処理装置と画像処理方法およびプログラムに関し、被写体の認識を精度よく容易に行えるようにする。

従来、複数の偏光方向の偏光画像から被写体の法線を算出することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像をモデル式に当てはめることによって法線の算出が行われている。

また、偏光画像を用いて被写体の認識等も行われている。例えば特許文献１は、照明光が所定の基準面に対してｐ偏光となるよう照明手段を配置して被写体の照明を行う。また、特許文献１は、基準面からの反射光をｓ偏光とｐ偏光に分離して偏光成分毎の光強度の測定を行い、被測定物を基準面に沿って移動させながら得られた光強度の測定結果に基づき、被写体の識別が行われている。

さらに、法線をユーザインタフェースに利用することが行われている。例えば特許文献２は、手と前腕とに相当する対象物の動作を検出して、ページめくりを行う際の人の自然な動作に近い動きを認識することが行われており、動作の検出では手のひらに相当する対象面の法線が用いられている。また、対象物は、距離画像における距離の分布や輪郭の抽出を行うことで検出されている。

特開２０１１−１５０６８９号公報 特開２０１２−２４２９０１号公報

Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence，Vol.13，No.7，July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006

ところで、複数の偏光方向の偏光画像をモデル式に当てはめることによって法線を算出する場合、偏光方向と偏光画像の輝度との関係は１８０度の周期性を有しており、法線方向の方位角を求める場合にいわゆる１８０度の不定性の問題が残ってしまう。また、ｓ偏光とｐ偏光を用いた識別では、被写体の表面素材の違いを識別することはできるが、原理上２偏光方向から被写体の三次元形状を識別できない。さらに、対象物の検出や法線の算出を距離画像に基づいて行う場合、精度よく対象物の検出や法線の算出を行うためには距離の分解能が高い画像が必要であるが、距離の分解能が高い画像を取得することは容易でない。

そこで、この技術では、被写体の認識を精度よく容易に行うことができる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、
認識対象の被写体が撮像されている偏光方向が異なる複数の偏光画像を取得する偏光画像取得部と、
前記偏光画像取得部で取得された偏光画像に基づいて、画素毎に法線を算出する法線算出部と、
前記法線算出部で算出された法線を用いて前記被写体の認識を行う認識部と
を備える画像処理装置にある。

この技術においては、例えばユーザインタフェースにおける入力指示体を認識対象の被写体として撮像されている偏光方向が異なる複数の偏光画像が偏光画像取得部で取得される。法線算出部では、取得された偏光画像に基づいて画素毎に法線を算出する。例えば、法線算出部は、複数の偏光画像から生成した仮認識処理用画像を用いて被写体の仮認識を行う。また、複数の偏光画像から法線を算出して、算出した法線の不定性を仮認識結果に基づいて解消する。仮認識では、仮認識処理用画像と予め登録されているモデルの画像を用いて被写体に最も近似したモデルを被写体の仮認識結果として、仮認識されたモデルに基づいて法線の不定性を解消する。認識対象の被写体が手である場合、法線算出部は、仮認識処理用画像と予め登録されているモデルの画像を用いて手の指先と指腹の位置を仮認識して、仮認識結果に基づいて手における指領域の法線の不定性を解消する。認識部は、不定性が解消された指領域の法線に基づき指さし方向を判別する。また、法線算出部は、仮認識処理用画像と予め登録されているモデルの画像を用いて手の領域の位置と骨格構造を仮認識して、仮認識結果に基づいて手の領域の法線の不定性を解消してもよい。この場合、認識部は、不定性が解消された手領域の法線に基づき手形状を判別する。さらに、認識対象の被写体は顔である場合、法線算出部は、仮認識処理用画像と予め登録されているモデルの画像を用いて顔領域の位置を仮認識して、仮認識結果に基づいて顔の法線の不定性を解消する。認識部は、不定性が解消された顔領域の法線に基づき顔形状または表情を判別する。

また、認識部は、学習用被写体を撮像した偏光方向が異なる複数の偏光画像に基づいて算出した学習用被写体の法線から学習用被写体に応じた教師データ、例えば学習用被写体の法線の分布を教師データとして教師データベース部に記憶させる。認識部は、認識対象の被写体を撮像した偏光方向が異なる複数の偏光画像に基づいて算出した法線の分布を生徒データとして、生徒データと教師データベース部に記憶されている教師データに基づき生徒データに最も近似した教師データに対応するする学習用被写体を、認識対象の被写体の認識結果としてもよい。

この技術の第２の側面は、偏光画像取得部で、認識対象の被写体が撮像されている偏光方向が異なる複数の偏光画像を取得することと、
法線算出部で、前記偏光画像取得部によって取得された偏光画像に基づいて、画素毎に法線を算出することと、
認識部で、前記法線算出部で算出された法線を用いて前記被写体の認識を行うこと
を含む画像処理方法にある。

この技術の第３の側面は、認識対象の被写体が撮像されている偏光方向が異なる複数の偏光画像を取得する手順と、
前記取得された偏光画像に基づいて画素毎に法線を算出する手順と、
前記算出された法線を用いて前記被写体の認識を行う手順と
をコンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術によれば、認識対象の被写体が撮像されている偏光方向が異なる複数の偏光画像が取得されて、この取得された偏光画像に基づいて画素毎に法線が算出されて、算出された法線を用いて被写体の認識が行われる。このため、被写体の認識を精度よく容易に行うことができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像処理装置の基本構成を示す図である。 画像処理装置の基本動作を示したフローチャートである。 画像処理装置の第１の実施の形態の構成を示す図である。 偏光画像取得部で偏光画像を生成する場合の構成を例示した図である。 被写体の形状と偏光画像について説明するための図である。 輝度と偏光角との関係を例示した図である。 偏光度と天頂角の関係を示す図である。 １８０度の不定性を説明するための図である。 第１の実施の形態の動作を示すフローチャートである。 第１の実施の形態における第１の具体例の動作を示すフローチャートである。 手の輪郭の検出結果を例示した図である。 指腹領域の法線を示す図である。 指さし方向を示す図である。 視線方向を示す図である。 第１の実施の形態における第２の具体例の動作を示すフローチャートである。 顔の三次元形状および顔の向きの判別を説明するための図である。 第１の実施の形態における第３の具体例の動作を示すフローチャートである。 手の骨格を検出する場合の動作を説明するための図である。 画像処理装置の第２の実施の形態の構成を例示した図である。 学習動作を示すフローチャートである。 学習結果を用いた認識動作を示すフローチャートである。 第２の実施の形態における具体例の動作を示している。 適用対象となるユーザインタフェースを例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置の基本構成と基本動作
２．第１の実施の形態
２−１．第１の実施の形態の構成
２−２．第１の実施の形態の動作
２−３．第１の実施の形態における第１の具体例
２−４．第１の実施の形態における第２の具体例
２−５．第１の実施の形態における第３の具体例
３．第２の実施の形態
３−１．第２の実施の形態の構成
３−２．第２の実施の形態の動作
３−３．第２の実施の形態における具体例

＜１．画像処理装置の基本構成と基本動作＞
図１は、画像処理装置の基本構成を示している。画像処理装置１０は、偏光画像取得部２０と法線算出部３０、認識部４０を有している。

偏光画像取得部２０は、認識対象の被写体が撮像されている偏光方向が異なる複数の偏光画像、例えば偏光方向が３方向以上の偏光画像を取得する。偏光画像取得部２０は、偏光方向が３方向以上の偏光画像を生成する撮像部を有する構成であってもよく、外部機器や記録媒体等から偏光方向が３方向以上の偏光画像を取得する構成であってもよい。

法線算出部３０は、偏光画像取得部２０で取得された偏光画像に基づいて、認識対象の被写体の法線を算出する。法線算出部３０は、偏光画像取得部２０で取得された偏光方向が異なる複数の偏光画像をモデル式に当てはめることによって法線を算出する。また、法線算出部３０は、例えば画素毎に算出した法線に対して不定性を解消する処理を行ってもよい。

認識部４０は、法線算出部３０で算出された法線に基づき認識対象の被写体を認識する処理を行う。認識部４０は、例えば認識対象の被写体がユーザインタフェースにおける入力指示体であるとき、被写体の種類や位置，姿勢等を認識して、認識結果をユーザインタフェースにおける入力情報として出力する。

図２は、画像処理装置の基本動作を示したフローチャートである。ステップＳＴ１で画像処理装置は偏光画像を取得する。画像処理装置１０の偏光画像取得部２０は、認識対象の被写体が撮像されている偏光方向が異なる複数の偏光画像を取得してステップＳＴ２に進む。ステップＳＴ２で画像処理装置は法線を算出する。画像処理装置１０の法線算出部３０は、ステップＳＴ１で取得された偏光画像に基づいて画素毎に法線を算出してステップＳＴ３に進む。ステップＳＴ３で画像処理装置は認識結果を出力する。画像処理装置１０の認識部４０は、ステップＳＴ２で算出された法線に基づいて、認識対象の被写体についての認識処理を行い、認識結果を出力する。

＜２．第１の実施の形態＞
＜２−１．第１の実施の形態の構成＞
図３は、画像処理装置の第１の実施の形態の構成を示している。画像処理装置１１は、偏光画像取得部２０と法線算出部３１、ユーザインタフェース（ＵＩ）処理部４１を有している。

偏光画像取得部２０は、偏光方向が異なる複数の偏光画像を取得する。図４は、偏光画像取得部で偏光画像を生成する場合の構成を例示している。偏光画像取得部２０は、例えば図４の（ａ）に示すように、イメージセンサ２０１に複数の偏光方向の画素構成とされた偏光フィルタ２０２を配置して撮像を行うことで生成する。なお、図４の（ａ）は、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの画素となる偏光フィルタ２０２をイメージセンサ２０１の前面に配置した場合を例示している。また、偏光画像取得部２０は、図４の（ｂ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサ２０１の前面にレンズ２０３複数（図では４個）設けて、各レンズ２０３によって被写体の光学像をイメージセンサ２０１の撮像面にそれぞれ結像させる。また、各レンズ２０３の前面に偏光板２０４を設けて、偏光板２０４の偏光方向を異なる方向として、偏光方向が異なる複数の偏光画像を生成する。このように偏光画像取得部２０を構成すれば、１回の撮像で複数の偏光画像を取得できることから速やかに認識対象の被写体の認識処理を行える。また、図４の（ｃ）に示すように、撮像部２１０-1〜２１０-4の前に互いに偏光方向が異なる偏光板２１２-1〜２１２-4を設けた構成として、異なる複数の視点から偏光方向が異なる複数の偏光画像を生成してもよい。

なお、認識対象の被写体の動きが遅い場合や認識対象の被写体がステップ的に動作する場合には、図４の（ｄ）に示すように、撮像部２１０の前に偏光板２１１を設けた構成としてもよい。この場合、偏光板２１１を回転させて異なる複数の偏光方向でそれぞれ撮像を行い、偏光方向が異なる複数の偏光画像を取得する。

イメージセンサ２０１でカラーフィルタを使用しない場合、偏光画像取得部２０では輝度偏光画像を取得できる。ここで、図４の（ａ）の場合、偏光方向が異なる方向であって隣接している４画素の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、図４の（ｂ），（ｃ）の場合、被写体までの距離に対して各レンズ２０３や撮像部２１０-1〜２１０-4の位置間隔が無視できる程度に短ければ、偏光方向が異なる複数の偏光画像では視差を無視することができる。したがって、偏光方向が異なる偏光画像の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、視差を無視することができない場合は、偏光方向が異なる偏光画像を視差量に応じて位置合わせして、位置合わせ後の偏光画像の輝度を平均すれば無偏光の通常輝度画像と同等の画像を取得することができる。また、図４の（ｄ）の場合、画素毎に偏光方向が異なる輝度偏光画像の輝度を平均することで、無偏光である通常輝度画像と同等の画像を取得できる。

さらに、偏光画像取得部２０は、輝度偏光画像だけでなく、イメージセンサ２０１にカラーフィルタを設けることで三原色画像を同時に生成してもよく、赤外画像等を同時に生成してもよい。また、偏光画像取得部２０は、三原色画像から輝度を算出して輝度画像を生成してもよい。

法線算出部３１は、偏光画像取得部２０で取得された複数の偏光画像と補助情報例えば種々のモデルから、不定性を解消した法線を算出する。法線算出部３１は、例えば偏光処理部３０１、仮認識処理用画像生成部３０２、仮認識処理部３０３、モデルデータベース部３０４、不定性解消部３０５を有している。

偏光処理部３０１は、偏光画像から法線を算出して不定性解消部３０５へ出力する。ここで、被写体の形状と偏光画像について図５を用いて説明する。例えば図５に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＤＣは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光板ＰＬを回転して撮像を行うことで、複数の偏光画像を取得して、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υとする。

偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最大輝度Ｉmaxが観測されたときの偏光角υを方位角φとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図６は、輝度と偏光角との関係を例示している。また、この例は拡散反射のモデルを示しており、鏡面反射の場合は方位角が偏光角に比べて９０度ずれる。

式（１）では、偏光角υが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示すモデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示すモデル式に基づき最大輝度となる偏光角である方位角φを判別することができる。

また、物体表面の法線を極座標系で表現して、法線を方位角φと天頂角θとする。なお、天頂角θはｚ軸から法線に向かう角度、方位角φは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回したときに最小輝度Ｉminと最大輝度Ｉmaxが得られたとき、式（２）に基づき偏光度ρを算出できる。

偏光度ρと天頂角θの関係は、拡散反射の場合、フレネルの式から例えば図７に示す特性を有することが知られている。したがって、図７に示す特性から偏光度ρに基づき天頂角θを判別できる。なお、図７に示す特性は例示であって、被写体の屈折率等に依存して特性は変化する。例えば屈折率が大きくなるに伴い偏光度が大きくなる。

このようにして算出された法線は、１８０度の不定性を有している。図８は、１８０度の不定性を説明するための図である。図８の（ａ）に示す被写体ＯＢを撮像部ＤＣで撮像して法線を算出する場合、偏光方向の回転に応じた輝度変化は１８０度の周期を有している。したがって、例えば図８の（ｂ）に示すように被写体ＯＢの上半分の領域ＧＡでは法線方向（矢印で示す）が正しい方向となり、下半分の領域ＧＢでは法線方向が逆方向となるおそれがある。

仮認識処理用画像生成部３０２は、偏光画像取得部２０で取得された複数の偏光画像に基づき仮認識処理用画像を生成する。仮認識処理用画像生成部３０２は、例えば複数の偏光画像の平均を算出することで、偏光板や偏光フィルタを用いることなく撮像して得られた撮像画像（通常画像）と同等の仮認識処理用画像を生成する。また、仮認識処理用画像生成部３０２は、複数の偏光画像から一つの偏光方向の偏光画像を抽出して仮認識処理用画像としてもよい。また、仮認識処理用画像生成部３０２は、取得した複数の偏光画像を仮認識処理用画像としてもよい。さらに、仮認識処理用画像生成部３０２は、仮認識処理用画像として通常画像と偏光画像を用いるようにしてもよい。仮認識処理用画像生成部３０２は、仮認識処理用画像を仮認識処理部３０３へ出力する。

仮認識処理部３０３は、仮認識処理用画像生成部３０２で生成された仮認識処理用画像を用いて認識対象の被写体の仮認識を行う。仮認識処理部３０３は、仮認識処理用画像を用いて被写体認識を行い、認識対象の被写体の種類や位置，姿勢等を判別する。仮認識処理部３０３は、例えば仮認識処理用画像とモデルデータベース部３０４に予め記憶されている種々の物体のモデルの画像（通常画像や偏光画像）を用いて、認識対象の被写体に最も近似したモデルを判別する。また、仮認識処理部３０３は、仮認識処理用画像生成部３０２で生成された仮認識処理用画像が偏光画像を含む場合、偏光特性も考慮して認識対象の被写体に最も近似したモデルを判別する。仮認識処理部３０３は、判別したモデルを仮認識結果として不定性解消部３０５へ出力する。なお、仮認識処理部３０３は、モデルフィッティングに限らず他の物体認識手法を用いて、認識対象の被写体の仮認識を行ってもよい。

不定性解消部３０５は、偏光処理部３０１で算出された法線の不定性を、仮認識処理部３０３から供給された仮認識結果に基づいて解消する。仮認識結果は、上述のように認識対象の被写体の種類や位置，姿勢等を示す情報を有している。したがって、不定性解消部３０５は、法線において１８０度の位相差を有する法線方向から、仮認識結果が示すモデルに基づき法線の不定性を解消する。すなわち、不定性解消部３０５は、認識対象の被写体の形状に対応するように法線方向を特定することで法線の不定性を解消して、不定性を解消した法線をＵＩ処理部４１へ出力する。

ＵＩ処理部４１は、法線算出部３１で生成された不定性が解消された法線を用いて被写体の認識を行う。ＵＩ処理部４１は、偏光画像取得部２０で取得された偏光画像における認識対象の被写体をユーザインタフェースにおける入力指示体とする。ＵＩ処理部４１は、法線算出部３１で算出された法線に基づき被写体認識を行いユーザインタフェースにおける入力情報（以下「ＵＩ情報」という）を生成する。上述のように、法線は認識対象の被写体の三次元形状を示す情報であり、ＵＩ処理部４１は被写体認識を行い、認識対象の被写体の種類や位置，姿勢等を認識して、認識結果をＵＩ情報として出力する。

＜２−２．第１の実施の形態の動作＞
図９は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１１で偏光画像取得部２０は偏光画像を取得する。偏光画像取得部２０は、偏光板または偏光フィルタを用いて撮像を行い、偏光方向が互いに異なる複数の偏光画像を取得してステップＳＴ１２，１３に進む。

ステップＳＴ１２で法線算出部３１は法線を算出する。法線算出部３１は、偏光画像の画素毎に、偏光方向が互いに異なる複数の偏光画像の画素値を用いてモデル式へのフィッティングを行い、フィッティング後のモデル式に基づき法線を算出してステップＳＴ１５に進む。

ステップＳＴ１３で法線算出部３１は仮認識処理用画像を生成する。法線算出部３１は、例えばステップＳＴ１１で生成された偏光方向が互いに異なる複数の偏光画像の画素値を偏光画像の画素毎に平均して、平均値を仮認識処理用画像（通常画像と同等）の画素値としてステップＳＴ１４に進む。

ステップＳＴ１４で法線算出部３１は仮認識処理を行う。法線算出部３１は、例えば仮認識処理用画像と予め記憶されているモデルを用いてフィッティングを行い、認識対象の被写体の種類や位置，姿勢等を認識してステップＳＴ１５に進む。

ステップＳＴ１５で法線算出部３１は法線の不定性を解消する。法線算出部３１は、ステップＳＴ１２で算出した法線すなわち１８０度の不定性を有した法線から、ステップＳＴ１４の仮認識結果すなわち認識対象の被写体の種類や位置，姿勢等に基づき不定性を解消してステップＳＴ１６に進む。

ステップＳＴ１６でＵＩ処理部４１はＵＩ情報を生成する。ＵＩ処理部４１は不定性を解消した法線に基づき、認識対象の被写体の種類や位置，姿勢等を認識して、認識結果をＵＩ情報とする。

＜２−３．第１の実施の形態における第１の具体例＞
次に、第１の実施の形態における第１の具体例について説明する。第１の具体例では、認識対象の被写体が手であり、仮認識処理部は、仮認識処理用画像と予め登録されているモデルの画像を用いて手の指先と指腹の位置を認識する。また、不定性解消部は、仮認識処理部で仮認識された前記指先と指腹の位置に基づいて手における指領域の法線の不定性を解消して、認識部は不定性が解消されている指領域の法線に基づき指さし方向を判別する。

図１０は、第１の実施の形態における第１の具体例の動作を示すフローチャートである。ステップＳＴ２１で偏光画像取得部２０は偏光画像を取得する。偏光画像取得部２０は、偏光板または偏光フィルタを用いて指さしを行っている手の撮像を行う。また、偏光画像取得部２０は、偏光方向が互いに異なる複数の偏光画像を取得してステップＳＴ２２，２３に進む。

ステップＳＴ２２で法線算出部３１は法線を算出する。法線算出部３１は、偏光画像の画素毎に、偏光方向が互いに異なる複数の偏光画像の画素値をモデル式にフィッティングさせて、フィッティング後のモデル式に基づき法線を算出してステップＳＴ２５に進む。

ステップＳＴ２３で法線算出部３１は仮認識処理用画像を生成する。法線算出部３１は、例えばステップＳＴ２１で生成された偏光方向が互いに異なる複数の偏光画像の画素値を偏光画像の画素毎に平均して、平均値を仮認識処理用画像（通常画像と同等）の画素値としてステップＳＴ２４に進む。

ステップＳＴ２４で法線算出部３１は指先・指腹位置を検出する。法線算出部３１は、画像認識技術を用いて仮認識処理用画像から指先領域と指腹領域を検出する。法線算出部３１は、例えば文献「S.K.Kang, M.Y.Nam, and P.K.Rhee, “Color Based Hand and Finger Detection Technology for User Interaction.”International Conference on Convergence and Hybrid Information Technology, pp 229-236, 2008」に記載されているように、カラーの仮認識処理用画像から肌色の画像領域を抽出して、抽出した画像領域における周辺領域内でエッジ検出を行い手の輪郭を検出する。図１１は手の輪郭の検出結果を例示しており、手の輪郭内の画像領域が手領域ＡＲhである。

次に、法線算出部３１は、手領域から指領域を検出する。法線算出部３１は、手領域に対してモルフォロジーオープン処理を行う。モルフォロジーオープン処理では、イメージ内の小さなオブジェクトが先に除去されて、大きなオブジェクトは形状とサイズが維持される。すなわち、手領域に対してモルフォロジーオープン処理を行うと、手のひらよりも細い指の領域が先に除去されることから、モルフォロジーオープン処理前の画像と処理後の画像の差分を算出すれば指領域を検出することが可能となる。

また、指領域の検出は、他の手法を用いてもよい。例えば指の外観形状は複数の凸包から構成されていると見なして、手領域から凸包の検出を行い検出結果に基づき指領域を判別することが可能となる。凸包は、例えばＯｐｅｎＣＶにおいて用意されている凸包を取得するメソッドを用いることで容易に検出することが可能である。したがって、図１１に示すように、指領域ＡＲfを検出できる。

法線算出部３１は、検出した指領域を指先領域と指腹領域に切り分ける。法線算出部３１は、図１１に示すように、手領域ＡＲhと検出した指領域ＡＲfの差分領域を拳領域ＡＲgとする。また、法線算出部３１は、指領域ＡＲfおいて、拳領域ＡＲgの重心ＢＧから最も遠い領域を指先領域ＡＲfs、他の領域を指腹領域ＡＲftとする。

ステップＳＴ２５で法線算出部３１は法線の不定性を解消する。法線算出部３１は、指の外観形状が凸形状であると見なして、ステップＳＴ２２で算出した法線すなわち１８０度の不定性を有した法線から、指領域に対応する法線の不定性をステップＳＴ２４の検出結果に基づき解消してステップＳＴ２６に進む。なお、図１２は、指腹領域の法線を例示しており、図１２の（ａ）は不定性が解消される前の指腹領域ＡＲftの法線、図１２の（ｂ）は不定性が解消された後の指腹領域ＡＲftの法線を示している。

ステップＳＴ２６でＵＩ処理部４１は指さし方向を判別する。ＵＩ処理部４１は不定性を解消した指領域の法線に基づき、指先が向いている方向すなわち指さし方向を判別して判別結果をＵＩ情報とする。

指さし方向は、図１３に示すように指腹領域ＡＲftの法線に対して略直交する向きfsである。したがって、例えばユーザが偏光画像取得部２０の方向を向いて指さし動作を行い、この指さし動作を判別する場合、ＵＩ処理部４１は、指腹領域の法線に対して直交する方向であって、画像の奥側から手前側を向いた方向ＦＰを指さし方向とする。

指さし方向のベクトルｐを式（３）、指腹領域における法線方向のベクトルｎを式（４）とすると、式（５）に示すように、ベクトルｐとベクトルｎの内積は「０」となる。したがって、ＵＩ処理部４１は、指腹領域における複数の位置（例えばｋ個の位置）法線すなわち式（６）に示す法線Ｎについて、式（７）となるベクトルｐを式（８）の制約条件のもとで求める。

ここで関数Ｗを式（９）のように定義すると、式（７）において最小とする関数は式（１０）に示すように関数Ｃとして定義できる。すなわち、式（８）の制約条件のもとで関数Ｃが最小となるベクトルｐを求めればよい。関数Ｃが最小となるベクトルｐの算出はラグランジュの未定乗数法を用いる。ラグランジュの未定乗数法を用いる場合、式（１０）はラグランジュ乗数λを用いて式（１１）として示すことができる。したがって、式（１２）に示す固有方程式を満たすベクトルｐを求めれば、式（７）を満たすベクトルｐを算出できる。固有方程式を満たすベクトルｐは、ベクトルｐが関数Ｗの固有ベクトルのときに成立し、λの値が固有値に対応する。この時、ベクトルｐに関数Ｗの固有ベクトルを代入すると、最小とする関数の値が「Ｃ＝λ」になることから、式（７）を満たすベクトルｐは、関数Ｗの最小固有値に対応する固有ベクトルとなる。

このような処理を行えば、距離画像を用いる場合に比べて精度よく指さし方向を判別できるようになる。また、第１の具体例では、指さし方向を判別する場合を例示したが、図１４に示すように、瞳ＥＰの位置を検出して、瞳ＥＰの位置が中央からいずれの方向にどの程度移動しているかに応じて視線の方向ＦＰを判別することもできる。

＜２−４．第１の実施の形態における第２の具体例＞
次に、第１の実施の形態における第２の具体例について説明する。第２の具体例では、認識対象の被写体が顔であり、仮認識処理部は、仮認識処理用画像と予め登録されているモデルの画像を用いて顔領域の位置を認識する。また、不定性解消部は、仮認識処理部で仮認識された顔領域の位置に基づいて顔の法線の不定性を解消して、認識部は不定性が解消されている顔領域の法線に基づき顔形状または表情を判別する。

図１５は、第１の実施の形態における第２の具体例の動作を示すフローチャートである。ステップＳＴ３１で偏光画像取得部２０は偏光画像を取得する。偏光画像取得部２０は、偏光板または偏光フィルタを用いて顔の撮像を行う。また、偏光画像取得部２０は、撮像部にカラーフィルタを設けて、偏光方向が互いに異なる複数のカラー偏光画像を取得してステップＳＴ３２，３３に進む。

ステップＳＴ３２で法線算出部３１は法線を算出する。法線算出部は、偏光画像の画素毎に、偏光方向が互いに異なる複数の偏光画像の画素値をモデル式にフィッティングさせて、フィッティング後のモデル式に基づき法線を算出してステップＳＴ３５に進む。

ステップＳＴ３３で法線算出部３１は仮認識処理用画像を生成する。法線算出部３１は、例えばステップＳＴ３１で生成された偏光方向が互いに異なる複数の偏光画像の画素値を偏光画像の画素毎に平均して、平均値を仮認識処理用画像（通常画像と同等）の画素値としてステップＳＴ３４に進む。

ステップＳＴ３４で法線算出部３１は顔認識や認識した顔の特徴点を検出する。法線算出部３１は、顔認識技術を用いて仮認識処理用画像から顔の位置を検出する。さらに、法線算出部３１は、例えば文献「T.F.Cootes, C.J.Taylor, D.H.Cooper, and J.Graham:"Active Shape Models - Their Training and Application",Computer Vision and Image Understanding, Vol.16, No.1, January, pp.38-59, 1995」で開示されているActive Shape Modelを用いて、顔の特徴点を検出する。Active Shape Modelでは、画像内の認識対象の姿勢を決定づけるような特徴点を自動的に検出することができる。具体的には、まず手動で特徴点を配置した学習用画像を複数枚用意し、それらの画像から認識対象の中間的な形状を生成する。次に認識したい画像に対して、中間形状の位置を変化させることで認識対象の物体を探す。その際には、中間形状における特徴点の周囲の輝度変化を見て、テンプレートマッチングを行う。これらの検索は粗い解像度から高密な解像度までの画像ピラミッドの各解像度で繰り返される。法線算出部３１は、このような処理を行い、認識した顔の特徴点を検出してステップＳＴ３５に進む。

ステップＳＴ３５で法線算出部３１は法線の不定性を解消する。法線算出部３１は、ステップＳＴ３４で検出した顔の特徴点の位置と予め記憶されている三次元モデルの特徴点の位置関係から、顔の三次元形状および顔の向きを判別する。法線算出部３１は図１６に示すように、顔ＯＢfと三次元モデルＭＬの特徴点（例えば目や鼻、口等）の位置関係から、顔の三次元形状および顔の向きを判別する。さらに、法線算出部３１は、判別した顔の三次元形状および顔の向きに基づき、ステップＳＴ３２で算出した法線すなわち１８０度の不定性を有した法線から、顔領域に対応する法線の不定性をステップＳＴ３４の検出結果に基づき解消してステップＳＴ３６に進む。

ステップＳＴ３６でＵＩ処理部４１は顔形状や表情を判別する。ＵＩ処理部４１は不定性を解消した顔領域の法線に基づき、詳細な顔形状や表情を判別して判別結果をＵＩ情報とする。ＵＩ処理部４１は、例えば不定性を解消した顔領域の法線を積分して詳細な顔形状や詳細な顔形状から表情を判別する。なお、顔形状や表情の判別では、距離画像の情報や三次元形状のモデル等も用いてもよい。

このような処理を行えば、距離画像を用いる場合に比べて精度よく顔形状や表情を判別できるようになる。また、第２の具体例では顔認識について例示したが、既知物体の三次元モデル等を用意すれば既知物体の認識も可能である。

＜２−５．第１の実施の形態における第３の具体例＞
次に、第１の実施の形態における第３の具体例について説明する。第３の具体例では、認識対象の被写体が手であり、仮認識処理部は、仮認識処理用画像と予め登録されているモデルの画像を用いて手の領域の位置と骨格構造を認識する。また、不定性解消部は、仮認識処理部で仮認識された手の領域の位置と骨格構造に基づいて手の領域の法線の不定性を解消して、認識部は不定性が解消されている手領域の法線に基づき手形状を判別する。

図１７は、第１の実施の形態における第３の具体例の動作を示すフローチャートである。ステップＳＴ４１で偏光画像取得部２０は偏光画像を取得する。偏光画像取得部２０は、偏光板または偏光フィルタを用いて手の撮像を行う。また、偏光画像取得部２０は、撮像部にカラーフィルタを設けて、偏光方向が互いに異なる複数のカラー偏光画像を取得してステップＳＴ４２，４３に進む。

ステップＳＴ４２で法線算出部３１は法線を算出する。法線算出部３１は、偏光画像の画素毎に、偏光方向が互いに異なる複数の偏光画像の画素値をモデル式にフィッティングさせて、フィッティング後のモデル式に基づき法線を算出してステップＳＴ４５に進む。

ステップＳＴ４３で法線算出部３１は仮認識処理用画像を生成する。法線算出部３１は、例えばステップＳＴ４１で生成された偏光方向が互いに異なる複数の偏光画像の画素値を偏光画像の画素毎に平均して、平均値を仮認識処理用画像（通常画像と同等）の画素値としてステップＳＴ４４に進む。

ステップＳＴ４４で法線算出部３１は手の位置・姿勢を検出する。法線算出部３１は、ステップＳＴ２４と同様な処理を行い、拳または手のひらの領域と指先領域を検出して、拳または手のひらの領域の重心と指先を結ぶことにより手の骨格を検出する。図１８は、手の骨格を検出する場合の動作を説明するための図である。法線算出部３１は、手のひら領域ＡＲkと指領域ＡＲfを検出して、手のひら領域ＡＲkの重心と指領域ＡＲfの先端を結び破線で示すように手の骨格を検出する。

法線算出部３１は、検出した手の骨格と予め記憶されている手の姿勢毎の骨格モデルとのフィッティングを行い、フィッティング誤差が最小となる骨格モデルの姿勢を撮像された手の姿勢とする。法線算出部３１は、例えば検出した手の骨格と予め記憶されている骨格モデルの重心を一致させて、関節や指先等の位置座標の差分絶対値和ＳＡＤ（sum of absolute difference）を骨格モデル毎に算出する。法線算出部３１は、算出した差分絶対値和ＳＡＤが最も小さい姿勢を、撮影された手の姿勢とする。法線算出部３１は、このように手の位置と手の姿勢を検出してステップＳＴ４５に進む。

ステップＳＴ４５で法線算出部３１は法線の不定性を解消する。法線算出部３１は、ステップＳＴ４４で検出した手の位置や手の姿勢に基づきステップＳＴ４２で算出した法線すなわち１８０度の不定性を有した法線から、手領域に対応する法線の不定性を解消してステップＳＴ４６に進む。

ステップＳＴ４６でＵＩ処理部４１は手の形状を判別する。ＵＩ処理部４１は不定性を解消した手領域の法線に基づき、手の形状を判別して判別結果をＵＩ情報とする。ＵＩ処理部４１は、例えば不定性を解消した手領域の法線を積分して手の形状を詳細に判別する。なお、手の形状の判別では、距離画像の情報や三次元形状のモデル等も用いてもよい。

このような処理を行えば、距離画像を用いる場合に比べて精度よく手の形状を判別できるようになる。また、第３の実施例では、手の形状だけでなく指さし方向を判別して判別してもよい。この場合、ステップＳＴ４４で法線算出部３１は、ステップＳＴ２４と同様な処理によって検出した指領域と予め記憶されている指さし方向毎の指形状モデルとのフィッティングを行う。なお、フィッティングでは、ステップＳＴ２４と同様な処理によって検出した指先領域を支点として、検出した指領域（または手領域）と指形状モデルの指領域（または手領域）の重ね合わせを行う。ＵＩ処理部４１は、フィッティング誤差すなわち重ね合わせ誤差が最小となる指形状モデルの姿勢を撮像された手が示す指さし方向とする。

また、第１の実施の形態においてフローチャートを用いて示した動作は、不定性を有した法線を生成する処理と、仮認識処理用画像を生成して認識対象の被写体の仮認識を行う処理を並列に行う場合に限られない。例えば、一方の処理を行ってから他方の処理を行うようにしてもよい。

＜３．第２の実施の形態＞
ところで、上述の第１の実施の形態では、不定性が解消された法線に基づいてＵＩ情報を生成する場合について説明したが、ＵＩ情報は不定性を有する法線に基づいて生成することもできる。第２の実施の形態では、不定性を有する法線に基づいてＵＩ情報を生成する場合について説明する。

＜３−１．第２の実施の形態の構成＞
図１９は、画像処理装置の第２の実施の形態の構成を例示している。画像処理装置１２は、偏光画像取得部２０-1，２０-2と法線算出部３２-1，３２-2、ユーザインタフェース（ＵＩ）処理部４２を有している。

偏光画像取得部２０-1，２０-2は、偏光方向が異なる複数の偏光画像を取得する。偏光画像取得部２０-1，２０-2は、第１の実施の形態における偏光画像取得部２０と同様に構成されている。偏光画像取得部２０-1は、認識対象の被写体が撮像されている偏光方向が異なる複数の偏光画像を取得して法線算出部３２-1へ出力する。偏光画像取得部２０-2は、学習用被写体が撮像されている偏光方向が異なる複数の偏光画像を取得して法線算出部３２-2へ出力する。また、偏光画像取得部２０-1，２０-2は、取得した偏光画像をＵＩ処理部４２へ出力してもよい。

法線算出部３２-1（３２-2）は、偏光画像取得部２０-1（２０-2）で取得された複数の偏光画像から法線を算出する。法線算出部３２-1（３２-2）は、第１の実施の形態における法線算出部３１の偏光処理部３０１を用いた構成されている。法線算出部３２-1は、偏光画像取得部２０-1で取得された認識対象の偏光画像から、上述の偏光処理部３０１と同様な処理を行い、法線を算出してＵＩ処理部４２へ出力する。同様に、法線算出部３２-2は、偏光画像取得部２０-2で取得された学習用被写体の偏光画像から法線を算出してＵＩ処理部４２へ出力する。

ＵＩ処理部４２は、偏光画像取得部２０-1で取得された偏光画像における認識対象の被写体をユーザインタフェースにおける入力指示体とする。またＵＩ処理部４１は、法線算出部３２-1で算出された不定性が解消されていない法線に基づき被写体認識を行いユーザインタフェースにおける入力情報（以下「ＵＩ情報」という）を生成する。上述のように、法線は認識対象の被写体の三次元形状を示す情報であり、ＵＩ処理部４２は被写体認識を行い、認識対象の被写体の種類や位置，姿勢等を認識して、認識結果をＵＩ情報として出力する。また、ＵＩ処理部４２は、予め学習用被写体に応じた教師データを記憶しておき、認識対象の被写体を撮像した偏光方向が異なる複数の偏光画像に基づいて算出した生徒データと記憶されている教師データに基づいて認識対象の被写体の認識処理を行う。

ＵＩ処理部４２は、教師データ生成部４２１、教師データベース部４２２、認識処理部４２３を有している。

教師データ生成部４２１は、法線算出部３２-2で算出された法線を用いて、学習用被写体に応じた教師データを生成して教師データベース部４２２に記憶させる。また、教師データ生成部４２１は、偏光画像取得部２０-2から供給された偏光画像を用いて無偏光画像（通常画像）を生成して、無偏光画像から算出した特徴量と取得した法線を用いて教師データを生成してもよい。

教師データベース部４２２は、教師データ生成部４２１で生成された教師データを記憶する。また、教師データベース部４２２は、記憶している教師データを認識処理部４２３へ出力する。

認識処理部４２３は、法線算出部３２-1で算出された法線に基づき生徒データを生成して、生成した生徒データと教師データベース部４２２に記憶されている教師データを用いて認識処理を行い、ＵＩ情報を生成する。また、認識処理部４２３は、偏光画像取得部２０-1から供給された偏光画像を用いて無偏光画像（通常画像）を生成して、無偏光画像から算出した特徴量と取得した法線を用いて生徒データを生成してもよい。

＜３−２．第２の実施の形態の動作＞
次に、第２の実施の形態の動作について説明する。図２０は、学習動作を示すフローチャートである。ステップＳＴ５１で偏光画像取得部２０-2は学習用被写体の偏光画像を取得する。偏光画像取得部２０-2は、偏光板または偏光フィルタを用いて学習用被写体を撮像して、偏光方向が互いに異なる複数の偏光画像を取得してステップＳＴ５２に進む。

ステップＳＴ５２で法線算出部３２-2は法線を算出する。法線算出部３２-2は、偏光画像の画素毎に、偏光方向が互いに異なる複数の偏光画像の画素値をモデル式にフィッティングさせて、フィッティング後のモデル式に基づき法線を算出してステップＳＴ５４に進む。

ステップＳＴ５４でＵＩ処理部４２は教師データを生成する。ＵＩ処理部４２は、学習用被写体の偏光画像に基づいて算出した法線に基づき教師データを生成してステップＳＴ５５に進む。

ステップＳＴ５５でＵＩ処理部４２は教師データを記憶する。ＵＩ処理部４２は、ステップＳＴ５４で生成された教師データを教師データベース部４２２に記憶する。

また、ステップＳＴ５１からステップＳＴ５５の処理を学習用被写体毎に行い、ＵＩ処理部４２には、種々の物体を学習用被写体として生成された教師データが記憶される。なお、不定性を有する法線と偏光画像に基づいてＵＩ情報を生成する場合、ＵＩ処理部４２はステップＳＴ５３の処理を行い、偏光画像から無偏光画像を生成する。また、ステップＳＴ５４でＵＩ処理部４２は、学習用被写体の偏光画像に基づいて算出した法線と無偏光画像から算出した特徴量を用いて教師データを生成する。

図２１は、学習結果を用いた認識動作を示すフローチャートである。ステップＳＴ６１で偏光画像取得部２０-1は認識対象の被写体の偏光画像を取得する。偏光画像取得部２０-1は、偏光板または偏光フィルタを用いて認識対象の被写体を撮像して、偏光方向が互いに異なる複数の偏光画像を取得してステップＳＴ６２に進む。

ステップＳＴ６２で法線算出部３２-1は法線を算出する。法線算出部３２-1は、偏光画像の画素毎に、偏光方向が互いに異なる複数の偏光画像の画素値をモデル式にフィッティングさせて、フィッティング後のモデル式に基づき法線を算出してステップＳＴ６４に進む。

ステップＳＴ６４でＵＩ処理部４２は生徒データを生成する。ＵＩ処理部４２は、認識対象の偏光画像に基づいて算出した法線に基づき生徒データを生成してステップＳＴ６５に進む。

ステップＳＴ６５でＵＩ処理部４２はＵＩ情報を生成する。ＵＩ処理部４２は、ステップＳＴ６４で生成した生徒データとステップＳＴ５１乃至ステップＳＴ５５の処理を行うことで記憶されている教師データに基づき認識対象の被写体の種類や位置，姿勢等を判別して、判別結果をＵＩ情報とする。なお、不定性を有する法線と偏光画像に基づいてＵＩ情報を生成する場合、ＵＩ処理部４２はステップＳＴ６３の処理を行い、偏光画像から無偏光画像を生成する。また、ステップＳＴ６４でＵＩ処理部４２は、認識対象の偏光画像に基づいて算出した法線と無偏光画像から算出した特徴量を用いて生徒データを生成する。

＜３−３．第２の実施の形態における具体例＞
次に、第２の実施の形態における具体例について説明する。図２２は、第２の実施の形態における具体例の動作を示している。なお、具体例は不定性を有する法線に基づいてＵＩ情報を生成する場合を示している。ステップＳＴ７１で偏光画像取得部２０-2は学習用被写体の偏光画像（教師偏光画像）を取得する。例えば手をグー（Ｒｏｃｋ）の状態として、偏光画像取得部２０-2は、偏光板または偏光フィルタを用いて手の撮像を行い、偏光方向が互いに異なる複数の偏光画像を取得してステップＳＴ７２に進む。

ステップＳＴ７２で法線算出部３２-2は法線を算出する。法線算出部３２-2は、偏光画像の画素毎に、偏光方向が互いに異なる複数の偏光画像の画素値をモデル式にフィッティングさせて、フィッティング後のモデル式に基づき手をグー（Ｒｏｃｋ）の状態としたときの法線を算出してステップＳＴ７３に進む。

ステップＳＴ７３でＵＩ処理部４２は教師データを生成する。ＵＩ処理部４２は、学習用被写体の法線に基づいて教師データを生成する。例えば、ＵＩ処理部４２は、手をグー（Ｒｏｃｋ）の状態としたときの法線をヒストグラム化して、得られた法線ヒストグラムを教師データとしてステップＳＴ７４に進む。

ステップＳＴ７４でＵＩ処理部４２は教師データを記憶する。ＵＩ処理部４２は、例えば手をグー（Ｒｏｃｋ）の状態としたときの法線ヒストグラムを教師データとして教師データベース部に記憶する。

また、ステップＳＴ７１からステップＳＴ７４の処理を学習用被写体毎、例えば手をパー（Ｐａｐｅｒ）の状態やチョキ（Ｓｃｉｓｓｏｒｓ）の状態とした場合でも行い、各状態の教師データを教師データベース部４２２に記憶させる。

ステップＳＴ７５で偏光画像取得部２０-1は認識対象の偏光画像を取得する。偏光画像取得部２０-1は、偏光板または偏光フィルタを用いて例えばじゃんけんを行ったときの手を撮像して、偏光方向が互いに異なる複数の偏光画像を取得してステップＳＴ７６に進む。

ステップＳＴ７６で法線算出部３２-1は法線を算出する。法線算出部３２-1は、偏光画像の画素毎に、偏光方向が互いに異なる複数の偏光画像の画素値をモデル式にフィッティングさせて、フィッティング後のモデル式に基づき法線を算出してステップＳＴ７７に進む。

ステップＳＴ７７でＵＩ処理部４２は生徒データを生成する。ＵＩ処理部４２は、認識対象の法線に基づいて生徒データを生成する。例えば、ＵＩ処理部４２は、認識対象の手の状態についての法線をヒストグラム化して、得られた法線ヒストグラムを生徒データとしてステップＳＴ７８に進む。

ステップＳＴ７８でＵＩ処理部４２はＵＩ情報を生成する。ＵＩ処理部４２は、ステップＳＴ７７で得られた生徒データと最も類似する教師データを教師データベース部４２２から判別する。さらに、ＵＩ処理部４２は、判別した教師データに対応する手の状態を、ステップＳＴ７５で取得した偏光画像で撮像されている手の状態と判別して、判別結果をＵＩ情報として出力する。

このような処理を行えば、法線の不定性を解消する処理を行わなくともＵＩ情報を生成できるようになる。また、第１の実施の形態と同様に、距離画像を用いる場合に比べて精度よく認識処理を行うことができる。

また、第２の実施の形態では、学習用被写体から法線を生成する構成と、認識対象の被写体から法線を生成する構成を別個に設けている。したがって、学習用被写体から法線を生成する構成では、認識対象の被写体から法線を生成する構成に比べて、高精度に教師データを生成することが可能となる。したがって、判別の基準として用いる教師データを高精度なデータとして教師データベース部４２２に記憶させることで、精度のよい判別結果を得られるようになる。また、第２の実施の形態では、偏光画像取得部と法線算出部は学習用被写体から法線を生成する場合と所望の認識対象から法線を生成する場合とで共用してもよい。この場合、画像処理装置の構成が簡易となり、安価に画像処理装置を提供することが可能となる。さらに、第２の実施の形態では、ＵＩ処理部に通信部や記録媒体装着部等を設けて、外部から教師データの更新や追加等を行うことができる構成としてもよい。このように、教師データの更新や追加等を外部から通信路または記録媒体を介して可能とすれば、より多くの物体を認識対象の被写体として用いることが可能となり、汎用性を向上できる。

図２３は、本技術の適用対象となるユーザインタフェースを例示している。例えば認識対象を手として手認識を行う。手認識では手形状や指さし方向を判別できる。なお、手形状の判別では、三次元形状を精度よく取得できるので細かい指の形も取得することが可能となる。また、認識対象を顔として顔認識を行う。顔認識では個人認証、表情や視線方向を判別できる。さらに、認識対象を人として人認識を行う。人認識では体型認証やポーズ判別を行うことができる。また、物体を認識対象として物体認証を行う場合、物体認証では、既知物体の姿勢を判別できる。

このような本技術によれば、従来の距離画像から生成する法線に比べて偏光画像から被写体の三次元形状に近い法線を算出できるので、例えばカメラに向かって角度がついている被写体についても法線を安定して算出することが可能である。したがって、偏光画像から算出した法線を用いることで、認識対象の被写体を精度よく容易に認識できる。さらに、この技術をユーザインタフェースに適用すれば、距離画像から指さし方向等を認識する場合に比べてより確実に指さし方向等を認識できるので、ストレスのないユーザインタフェースを提供することが可能となる。なお、偏光画像取得部として例えば図４の（ａ）（ｂ）の構成を用いれば、単眼カメラで取得された偏光画像から法線を算出できるので、複数のカメラを用いる必要がない。したがって、ユーザインタフェースへの適用も容易である。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 認識対象の被写体が撮像されている偏光方向が異なる複数の偏光画像を取得する偏光画像取得部と、
前記偏光画像取得部で取得された偏光画像に基づいて、画素毎に法線を算出する法線算出部と、
前記法線算出部で算出された法線を用いて前記被写体の認識を行う認識部と
を備える画像処理装置。
（２） 前記認識対象の被写体はユーザインタフェースにおける入力指示体であり、
前記認識部は、前記被写体の認識結果を前記ユーザインタフェースにおける入力情報とする（１）に記載の画像処理装置。
（３） 前記法線算出部は、
前記複数の偏光画像から仮認識処理用画像を生成する仮認識処理用画像生成部と、
前記仮認識処理用画像生成部で生成された仮認識処理用画像を用いて前記被写体の仮認識を行う仮認識識処理部と、
前記複数の偏光画像から法線を算出する偏光処理部と、
前記仮認識処理部の仮認識結果に基づいて前記偏光処理部で算出された法線の不定性を解消する不定性解消部とを有し、
前記認識部は前記法線算出部で不定性が解消された法線を用いて前記被写体の認識を行う（１）または（２）に記載の画像処理装置。
（４） 前記仮認識処理部は、前記仮認識処理用画像と予め登録されているモデルの画像を用いて前記被写体に最も近似したモデルを前記被写体の仮認識結果として、
前記不定性解消部は、前記仮認識処理部で仮認識された前記モデルに基づいて前記偏光処理部で算出された法線の不定性を解消する（３）に記載の画像処理装置。
（５） 前記認識対象の被写体は手であり、
前記仮認識処理部は、前記仮認識処理用画像と予め登録されているモデルの画像を用いて前記手の指先と指腹の位置を認識して、
前記不定性解消部は、前記仮認識処理部で仮認識された前記指先と指腹の位置に基づいて前記手における指領域の法線の不定性を解消する（４）に記載の画像処理装置。
（６） 前記認識部は前記法線算出部で不定性が解消された前記指領域の法線に基づき指さし方向を判別する（５）に記載の画像処理装置。
（７） 前記認識対象の被写体は顔であり、
前記仮認識処理部は、前記仮認識処理用画像と予め登録されているモデルの画像を用いて顔領域の位置を認識して、
前記不定性解消部は、前記仮認識処理部で仮認識された前記顔領域の位置に基づいて前記顔の法線の不定性を解消する（４）に記載の画像処理装置。
（８） 前記認識部は前記法線算出部で不定性が解消された前記顔領域の法線に基づき顔形状または表情を判別する（７）に記載の画像処理装置。
（９） 前記認識対象の被写体は手であり、
前記仮認識処理部は、前記仮認識処理用画像と予め登録されているモデルの画像を用いて前記手の領域の位置と骨格構造を認識して、
前記不定性解消部は、前記仮認識処理部で仮認識された前記手の領域の位置と骨格構造に基づいて前記手の領域の法線の不定性を解消する（４）に記載の画像処理装置。
（１０） 前記認識部は前記法線算出部で不定性が解消された前記手領域の法線に基づき手形状を判別する（１０）に記載の画像処理装置。
（１１） 前記認識部は、
学習用被写体を撮像した偏光方向が異なる複数の偏光画像に基づいて算出した法線から前記学習用被写体に応じた教師データを生成する教師データ生成部と、
前記教師データ生成部によって学習用被写体毎に生成された前記教師データを記憶する教師データベース部と、
前記認識対象の被写体を撮像した偏光方向が異なる複数の偏光画像に基づいて算出した法線を用いて前記認識対象に応じて生成した生徒データと、前記教師データベース部に記憶されている教師データに基づいて、前記認識対象の被写体を認識する認識処理部とを有する（１）または（２）に記載の画像処理装置。
（１２） 偏光画像取得部は、前記認識対象および前記学習用被写体毎に前記偏光方向が異なる複数の偏光画像を取得して、
前記法線算出部は、前記偏光画像取得部で取得された偏光画像に基づいて、前記認識対象および前記学習用被写体毎に法線を算出する（１１）に記載の画像処理装置。
（１３） 前記学習用被写体を撮像した偏光方向が異なる複数の偏光画像を取得する学習用偏光画像取得部と、
前記学習用偏光画像取得部で取得された偏光画像に基づいて法線を算出する学習用法線算出部をさらに備える（１１）または（１２）に記載の画像処理装置。
（１４） 前記教師データは、前記学習用被写体についての法線の分布を示すデータであり、前記生徒データは前記認識対象の被写体について算出した法線の分布を示すデータである（１１）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 認識処理部は、前記生徒データに最も近似した教師データに対応する学習用被写体を認識結果とする（１１）乃至（１４）のいずれかに記載の画像処理装置。

この技術の画像処理装置と画像処理方法およびプログラムでは、認識対象の被写体が撮像されている偏光方向が異なる複数の偏光画像が取得されて、この取得された偏光画像に基づいて画素毎に法線が算出されて、算出された法線を用いて被写体の認識が行われる。このため、被写体の認識を精度よく容易に行うことができる。したがって、物体の種類や位置，姿勢等の認識結果に応じて動作制御や信号処理の開始，終了，変更，更新等を行うインタフェースを有した機器に適している。

１０，１１，１２・・・画像処理装置
２０，２０-1，２０-2・・・偏光画像取得部
３０，３１，３２-1，３２-2・・・法線算出部
４０・・・認識部
４１，４２・・・ユーザインタフェース（ＵＩ）処理部
２０１・・・イメージセンサ
２０２・・・偏光フィルタ
２０３・・・レンズ
２０４，２１１，２１２-1〜２１２-4・・・偏光板
２１０，２１０-1〜２１０-4・・・撮像部
３０１・・・偏光処理部
３０２・・・仮認識処理用画像生成部
３０３・・・仮認識処理部
３０４・・・モデルデータベース部
３０５・・・不定性解消部
４２１・・・教師データ生成部
４２２・・・教師データベース部
４２３・・・認識処理部

Claims (17)

1. 認識対象の被写体が撮像されている偏光方向が異なる複数の偏光画像を取得する偏光画像取得部と、
   前記偏光画像取得部で取得された偏光画像に基づいて、画素毎に法線を算出する法線算出部と、
   前記法線算出部で算出された法線を用いて前記被写体の認識を行う認識部と
   を備える画像処理装置。
2. 前記認識対象の被写体はユーザインタフェースにおける入力指示体であり、
   前記認識部は、前記被写体の認識結果を前記ユーザインタフェースにおける入力情報とする
   請求項１記載の画像処理装置。
3. 前記法線算出部は、
   前記複数の偏光画像から仮認識処理用画像を生成する仮認識処理用画像生成部と、
   前記仮認識処理用画像生成部で生成された仮認識処理用画像を用いて前記被写体の仮認識を行う仮認識識処理部と、
   前記複数の偏光画像から法線を算出する偏光処理部と、
   前記仮認識処理部の仮認識結果に基づいて前記偏光処理部で算出された法線の不定性を解消する不定性解消部とを有し、
   前記認識部は前記法線算出部で不定性が解消された法線を用いて前記被写体の認識を行う
   請求項１記載の画像処理装置。
4. 前記仮認識処理部は、前記仮認識処理用画像と予め登録されているモデルの画像を用いて前記被写体に最も近似したモデルを前記被写体の仮認識結果として、
   前記不定性解消部は、前記仮認識処理部で仮認識された前記モデルに基づいて前記偏光処理部で算出された法線の不定性を解消する
   請求項３記載の画像処理装置。
5. 前記認識対象の被写体は手であり、
   前記仮認識処理部は、前記仮認識処理用画像と予め登録されているモデルの画像を用いて前記手の指先と指腹の位置を認識して、
   前記不定性解消部は、前記仮認識処理部で仮認識された前記指先と指腹の位置に基づいて前記手における指領域の法線の不定性を解消する
   請求項４記載の画像処理装置。
6. 前記認識部は前記法線算出部で不定性が解消された前記指領域の法線に基づき指さし方向を判別する
   請求項５記載の画像処理装置。
7. 前記認識対象の被写体は顔であり、
   前記仮認識処理部は、前記仮認識処理用画像と予め登録されているモデルの画像を用いて顔領域の位置を認識して、
   前記不定性解消部は、前記仮認識処理部で仮認識された前記顔領域の位置に基づいて前記顔の法線の不定性を解消する
   請求項４記載の画像処理装置。
8. 前記認識部は前記法線算出部で不定性が解消された前記顔領域の法線に基づき顔形状または表情を判別する
   請求項７記載の画像処理装置。
9. 前記認識対象の被写体は手であり、
   前記仮認識処理部は、前記仮認識処理用画像と予め登録されているモデルの画像を用いて前記手の領域の位置と骨格構造を認識して、
   前記不定性解消部は、前記仮認識処理部で仮認識された前記手の領域の位置と骨格構造に基づいて前記手の領域の法線の不定性を解消する
   請求項４記載の画像処理装置。
10. 前記認識部は前記法線算出部で不定性が解消された前記手領域の法線に基づき手形状を判別する
    請求項９記載の画像処理装置。
11. 前記認識部は、
    学習用被写体を撮像した偏光方向が異なる複数の偏光画像に基づいて算出した法線から前記学習用被写体に応じた教師データを生成する教師データ生成部と、
    前記教師データ生成部によって学習用被写体毎に生成された前記教師データを記憶する教師データベース部と、
    前記認識対象の被写体を撮像した偏光方向が異なる複数の偏光画像に基づいて算出した法線を用いて前記認識対象に応じて生成した生徒データと、前記教師データベース部に記憶されている教師データに基づいて、前記認識対象の被写体を認識する認識処理部とを有する
    請求項１記載の画像処理装置。
12. 偏光画像取得部は、前記認識対象および前記学習用被写体毎に前記偏光方向が異なる複数の偏光画像を取得して、
    前記法線算出部は、前記偏光画像取得部で取得された偏光画像に基づいて、前記認識対象および前記学習用被写体毎に法線を算出する
    請求項１１記載の画像処理装置。
13. 前記学習用被写体を撮像した偏光方向が異なる複数の偏光画像を取得する学習用偏光画像取得部と、
    前記学習用偏光画像取得部で取得された偏光画像に基づいて法線を算出する学習用法線算出部をさらに備える
    請求項１１記載の画像処理装置。
14. 前記教師データは、前記学習用被写体の法線の分布を示すデータであり、前記生徒データは前記認識対象の被写体について算出した法線の分布を示すデータである
    請求項１１記載の画像処理装置。
15. 認識処理部は、前記生徒データに最も近似した教師データに対応する学習用被写体を認識結果とする
    請求項１１記載の画像処理装置。
16. 偏光画像取得部で、認識対象の被写体が撮像されている偏光方向が異なる複数の偏光画像を取得することと、
    法線算出部で、前記偏光画像取得部によって取得された偏光画像に基づいて、画素毎に法線を算出することと、
    認識部で、前記法線算出部で算出された法線を用いて前記被写体の認識を行うこと
    を含む画像処理方法。
17. 認識対象の被写体が撮像されている偏光方向が異なる複数の偏光画像を取得する手順と、
    前記取得された偏光画像に基づいて画素毎に法線を算出する手順と、
    前記算出された法線を用いて前記被写体の認識を行う手順と
    をコンピュータで実行させるプログラム。

Images