JP5800175B2 - 画像処理装置、画像処理方法、プログラム、及び電子機器 - Google Patents

画像処理装置、画像処理方法、プログラム、及び電子機器 Download PDF

Info

Publication number
JP5800175B2
JP5800175B2 JP2011005186A JP2011005186A JP5800175B2 JP 5800175 B2 JP5800175 B2 JP 5800175B2 JP 2011005186 A JP2011005186 A JP 2011005186A JP 2011005186 A JP2011005186 A JP 2011005186A JP 5800175 B2 JP5800175 B2 JP 5800175B2
Authority
JP
Japan
Prior art keywords
region
skin
image
unit
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011005186A
Other languages
English (en)
Other versions
JP2011182386A (ja
Inventor
諭司 三谷
諭司 三谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011005186A priority Critical patent/JP5800175B2/ja
Priority to US13/022,161 priority patent/US8781163B2/en
Publication of JP2011182386A publication Critical patent/JP2011182386A/ja
Application granted granted Critical
Publication of JP5800175B2 publication Critical patent/JP5800175B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1312—Sensors therefor direct reading, e.g. contactless acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user

Description

本開示は、画像処理装置、画像処理方法、プログラム、及び電子機器に関し、特に、例えば、ユーザを撮像して得られる撮像画像から特徴点を抽出する場合に用いて好適な画像処理装置、画像処理方法、プログラム、及び電子機器に関する。
パーソナルコンピュータ等に対し、ユーザからのコマンド等を入力する入力デバイスとして、ユーザのジェスチャ（動作）やポスチャ（姿勢）により指示されたコマンドを入力する入力技術が研究されている。
この入力技術では、例えば、ユーザの手によるジェスチャやポスチャにより指示されたコマンドを認識するために、ユーザを撮像して得られる撮像画像から、ユーザの手の形状や、ユーザの指の先端部分の位置等を正確に検出する必要がある。
ユーザの手の形状等を検出する技術としては、被写体を撮像して得られる撮像画像上から、人間の肌を表す肌領域を検出（認識）する肌認識システムを挙げることができる（例えば、非特許文献１を参照）。
この肌認識システムでは、波長λ１の光（例えば、870[nm]の近赤外線）を被写体に照射するLED(light emitting diode)、及び波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を被写体に照射するLEDが交互に発光される。
なお、波長λ１及びλ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きく、人間の肌以外のものに照射したときの反射率は殆ど変わらないものが採用される。
そして、肌認識システムでは、波長λ１の光を照射するLEDにより、波長λ１の光が被写体に照射されているときに第１の撮像画像が撮像される。
また、波長λ２の光を照射するLEDにより、波長λ２の光が被写体に照射されているときに第２の撮像画像が撮像される。
そして、第１及び第２の撮像画像に基づいて、第１又は第２の撮像画像の一方から肌領域が検出される。
すなわち、上述したように、波長λ１及びλ２の組合せとして、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きくなる組合せが採用されている。
このため、第１の撮像画像上の肌領域を構成する画素の輝度値は比較的大きな値となり、第２の撮像画像上の肌領域を構成する画素の輝度値は比較的小さな値となる。したがって、第１及び第２の撮像画像上の肌領域を構成する画素の輝度値どうしの差分絶対値は、比較的大きな値となる。
また、上述したように、波長λ１及びλ２の組合せとして、波長λ１の光を人間の肌以外のものに照射したときの反射率と、波長λ２の光を人間の肌以外のものに照射したときの反射率とは殆ど変わらない組合せが採用されている。
したがって、第１の撮像画像上の肌領域以外の領域を構成する画素の輝度値と、第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値は、殆ど同一の値となる。したがって、第１及び第２の撮像画像上の肌領域以外の領域を構成する画素の輝度値どうしの差分絶対値は、比較的小さな値となる。
よって、肌認識システムでは、例えば、差分絶対値が比較的大きな値となる領域を肌領域として検出することができる。
上述した肌認識システムでは、画像上からユーザの手の形状等を肌領域として検出することはできるものの、例えば、ユーザの中指の先端部分等の位置を表す特徴点を抽出することはしていなかった。
そこで、ユーザの中指の先端部分等の位置を抽出する際には、画像上の全領域を対象として特徴点を抽出する従来の抽出技術を用いて、画像上から特徴点を抽出することが考えられる。
鈴木康弘等著,電学論Ｃ（近赤外マルチバンドによる肌検出手法の提案）,日本,２００７年,１２７巻４号
しかしながら、この場合、画像上の全領域を対象として、特徴点の抽出が行われるため、非常に多くの時間を要してしまう。
本開示は、このような状況に鑑みてなされたものであり、より迅速に、画像上から特徴点を精度良く抽出できるようにするものである。
本開示の一側面の画像処理装置は、画像上から特徴点を抽出する画像処理装置であって、被写体に対して第１の波長の光を照射する第１の照射部と、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像部と、前記第１の撮像画像と前記第２の撮像画像に基づいて、前記被写体の肌が露出された肌領域を検出する検出部と、前記被写体が表示された表示画像上の、前記肌領域を含む抽出用領域から、前記特徴点を抽出する特徴点抽出部と、前記肌領域に基づいて、前記抽出用領域を決定するための決定用情報を生成する生成部と、前記決定用情報に基づいて、前記抽出用領域を決定する決定部とを含み、前記生成部は、前記肌領域に基づいて、前記抽出用領域を決定する際の基準を前記決定用情報として生成し、前記決定部は、前記基準に基づいて、前記表示画像上の全領域のうち、前記肌領域を含み、前記基準から、垂直正方向に所定の距離だけ離れた位置と、垂直負方向に所定の距離だけ離れた位置との間において、前記表示画像上の水平方向の全画素からなる水平ラインが複数により構成される前記抽出用領域を決定する画像処理装置である。
前記生成部には、前記肌領域に基づいて、前記表示画像上の前記肌領域を指定するための指定用情報を前記決定用情報として生成させ、前記決定部には、前記表示画像上の全領域のうち、前記指定用情報に基づき指定される前記肌領域を含む前記抽出用領域を決定させるようにすることができる。
前記決定部には、前記表示画像上の全領域のうち、所定の形状及び所定のサイズからなる前記抽出用領域を決定させるようにすることができる。
前記決定部には、前記第１又は第２の撮像画像のうち、時間的に最も直近に撮像が行なわれた撮像画像を前記表示画像とし、前記表示画像上の全領域から、前記抽出用領域を決定させるようにすることができる。
前記特徴点抽出部には、前記抽出用領域から、前記表示画像上の前記肌領域を構成する各画素を前記特徴点として抽出し、抽出した複数の前記特徴点により構成される前記肌領域を検出させるようにすることができる。
前記検出部には、前記第１及び第２の撮像画像の、対応する画素の画素値どうしの差分、比、又は差分絶対値に基づいて、前記肌領域を検出させるようにすることができる。
前記第１の波長λ１、及び前記第２の波長λ２は、
640nm ≦ λ１ ≦ 1000nm
900nm ≦ λ２ ≦ 1100nm
を満たすようにすることができる。
前記第１の照射部には、前記第１の波長λ１の不可視光線を照射させ、前記第２の照射部には、前記第２の波長λ２の不可視光線を照射させるようにすることができる。
本開示の一側面の画像処理方法は、画像上から特徴点を抽出する画像処理装置の画像処理方法であって、前記画像処理装置は、第１の照射部と、第２の照射部と、撮像部と、検出部と、特徴点抽出部とを含み、前記第１の照射部が、前記被写体に対して第１の波長の光を照射し、前記第２の照射部が、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射し、前記撮像部が、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成し、前記検出部が、前記第１の撮像画像と前記第２の撮像画像に基づいて、前記被写体の肌が露出された肌領域を検出し、前記特徴点抽出部が、前記被写体が表示された表示画像上の、前記肌領域を含む抽出用領域から、前記特徴点を抽出し、前記生成部が、前記肌領域に基づいて、前記抽出用領域を決定するための決定用情報を生成し、前記決定部が、前記決定用情報に基づいて、前記抽出用領域を決定し、さらに、前記生成部が、前記肌領域に基づいて、前記抽出用領域を決定する際の基準を前記決定用情報として生成し、前記決定部が、前記基準に基づいて、前記表示画像上の全領域のうち、前記肌領域を含み、前記基準から、垂直正方向に所定の距離だけ離れた位置と、垂直負方向に所定の距離だけ離れた位置との間において、前記表示画像上の水平方向の全画素からなる水平ラインが複数により構成される前記抽出用領域を決定するステップを含む画像処理方法である。
本開示の一側面のプログラムは、コンピュータを、第１の波長の光が照射されている被写体の撮像により得られる第１の撮像画像と、前記第１の波長よりも長波長である第２の波長の光が照射されている前記被写体の撮像により得られる第２の撮像画像に基づいて、前記被写体の肌が露出された肌領域を検出する検出部と、前記被写体が表示された表示画像上の、前記肌領域を含む抽出用領域から、前記特徴点を抽出する特徴点抽出部と、前記肌領域に基づいて、前記抽出用領域を決定するための決定用情報を生成する生成部と、前記決定用情報に基づいて、前記抽出用領域を決定する決定部として機能させ、前記生成部は、前記肌領域に基づいて、前記抽出用領域を決定する際の基準を前記決定用情報として生成し、前記決定部は、前記基準に基づいて、前記表示画像上の全領域のうち、前記肌領域を含み、前記基準から、垂直正方向に所定の距離だけ離れた位置と、垂直負方向に所定の距離だけ離れた位置との間において、前記表示画像上の水平方向の全画素からなる水平ラインが複数により構成される前記抽出用領域を決定する機能させるためのプログラムである。
本開示の一側面の電子機器は、画像上から特徴点を抽出する画像処理装置を内蔵する電子機器であって、前記画像処理装置は、被写体に対して第１の波長の光を照射する第１の照射部と、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像部と、前記第１の撮像画像と前記第２の撮像画像に基づいて、前記被写体の肌が露出された肌領域を検出する検出部と、前記被写体が表示された表示画像上の、前記肌領域を含む抽出用領域から、前記特徴点を抽出する特徴点抽出部と、前記肌領域に基づいて、前記抽出用領域を決定するための決定用情報を生成する生成部と、前記決定用情報に基づいて、前記抽出用領域を決定する決定部とを含み、前記生成部は、前記肌領域に基づいて、前記抽出用領域を決定する際の基準を前記決定用情報として生成し、前記決定部は、前記基準に基づいて、前記表示画像上の全領域のうち、前記肌領域を含み、前記基準から、垂直正方向に所定の距離だけ離れた位置と、垂直負方向に所定の距離だけ離れた位置との間において、前記表示画像上の水平方向の全画素からなる水平ラインが複数により構成される前記抽出用領域を決定する電子機器である。
本開示の一側面によれば、第１の波長の光が照射されている被写体の撮像により得られる第１の撮像画像と、第１の波長よりも長波長である第２の波長の光が照射されている被写体の撮像により得られる第２の撮像画像に基づいて、被写体の肌が露出された肌領域が検出され、被写体が表示された表示画像上の、肌領域を含む抽出用領域から、特徴点が抽出される。また、前記肌領域に基づいて、前記抽出用領域を決定するための決定用情報が生成され、前記決定用情報に基づいて、前記抽出用領域が決定される。さらに、前記肌領域に基づいて、前記抽出用領域を決定する際の基準が前記決定用情報として生成され、前記基準に基づいて、前記表示画像上の全領域のうち、前記肌領域を含み、前記基準から、垂直正方向に所定の距離だけ離れた位置と、垂直負方向に所定の距離だけ離れた位置との間において、前記表示画像上の水平方向の全画素からなる水平ラインが複数により構成される前記抽出用領域が決定される。
本開示によれば、より迅速に、画像上から特徴点を精度良く抽出することができる。
本開示を適用した情報処理システムの構成例を示すブロック図である。 人間の肌に対する分光反射特性の一例を示す図である。 画像処理装置の詳細な構成例を示すブロック図である。 ２値化肌画像生成部が行なう処理の一例を示す図である。 基準抽出部が行なう処理の一例を示す図である。 マスク画像の一例を示す図である。 特徴点抽出部が行う処理の一例を示す図である。 図３の画像処理装置を有する情報処理システムが行なう位置検出処理を説明するためのフローチャートである。 基準抽出部が行う処理の他の一例を示す図である。 マスク画像の他の一例を示す図である。 特徴点抽出部が行う処理の他の一例を示す図である。 画像処理装置の詳細な構成例を示す他のブロック図である。 マスク画像のさらに他の一例を示す図である。 図１２の画像処理装置を有する情報処理システムが行う複数位置検出処理を説明するためのフローチャートである。 特徴点抽出部が行う処理のさらに他の一例を示す図である。 コンピュータの構成例を示すブロック図である。
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（２値化肌画像から抽出された基準となる位置に基づき決定された抽出用領域から、特徴点を抽出する場合の一例）
２．第２の実施の形態（２値化肌画像上の肌領域に対応する領域をすべて含む抽出用領域から、特徴点を抽出する場合の一例）
３．変形例
第１の実施の形態＞
[情報処理システム１の構成例]
図１は、第１の実施の形態である情報処理システム１の構成例を示している。
この情報処理システム１は、ユーザの手を用いたジェスチャ（又はポスチャ）に応じて所定の処理を実行するものであり、発光装置２１、カメラ２２、及び画像処理装置２３により構成される。
すなわち、例えば、情報処理システム１に対して所定の処理を実行させるため、ユーザは、カメラ２２のレンズ面の前で自身の手を移動させる。
このとき、情報処理システム１では、例えば、ユーザの中指の先端部分が移動した軌跡を位置情報（後述する特徴点）として認識し、認識した位置情報に応じて、図示せぬ表示装置に表示させたポインタを移動させる処理等を実行する。
発光装置２１は、波長λ１の光（例えば、870[nm]の近赤外線）を照射（発光）するLED２１a1及びLED２１a2、並びに波長λ１とは異なる波長λ２の光（例えば、950[nm]の近赤外線）を照射するLED２１b1及びLED２１b2により構成される。
なお、以下の説明において、LED２１a1及びLED２１a2をそれぞれ区別する必要がない場合には、単にLED２１aというとともに、LED２１b1及びLED２１b2をそれぞれ区別する必要がない場合には、単にLED２１bという。
発光装置２１は、画像処理装置２３からの制御にしたがって、LED２１aとLED２１bとを、例えば交互に発光させる。
LED２１aとLED２１bは、波長λ１及びλ２に対する反射率が同一である被写体（例えば、反射率100[%]の鏡面等）に対して、波長λ１又はλ２のいずれの光を照射した場合にも、カメラ２２の撮像により得られる撮像画像の対応する画素どうしの輝度値が同一となるように、例えば交互に発光する。
また、LED２１aにおける波長λ１と、LED２１bにおける波長λ２の組合せは、例えば、波長λ１の光を人間の肌に照射したときの反射率が、波長λ２の光を人間の肌に照射したときの反射率よりも大きく、人間の肌以外のものに照射したときの反射率は殆ど変わらない組合せである。すなわち、この組合せは、人間の肌に対する分光反射特性に基づいて決定される。
次に、図２は、人間の肌に対する分光反射特性を示している。
なお、この分光反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
図２において、横軸は、人間の肌に照射される照射光の波長を示しており、縦軸は、人間の肌に照射された照射光の反射率を示している。
人間の肌に照射された照射光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
具体的には、例えば、図２に示されるように、人間の肌に対して、870[nm]の光を照射して得られる反射光の反射率は約63[%]であり、950[nm]の光を照射して得られる反射光の反射率は約50[%]である。
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかとなっていることが多い。
第１の実施の形態では、上述した分光反射特性において、波長λ１及びλ２の組合せとして、例えば、波長λ１を870[nm]とし、波長λ２を950[nm]とする組合せが採用されている。この組合せは、人間の肌に対する反射率の差が比較的大きくなる組合せであって、人間の肌以外の部分に対する反射率の差が比較的小さくなる組合せである。
図１に戻り、カメラ２２は、ユーザ等の被写体の撮像に用いるレンズを有しており、そのレンズの前面は、可視光を遮断する可視光カットフィルタ２２aにより覆われている。
このため、日光、或いは蛍光灯等の不可視光成分を除けば、カメラ２２は、発光装置２１によって被写体に照射される不可視光の反射光のみを受光し、その結果得られる撮像画像を、画像処理装置２３に供給することになる。
すなわち、例えば、カメラ２２は、LED２１aによって被写体に照射される不可視光である波長λ１の光の反射光のみを受光し、その結果得られる第１の撮像画像を、画像処理装置２３に供給する。
また、カメラ２２は、LED２１bによって被写体に照射される不可視光である波長λ２の光の反射光のみを受光し、その結果得られる第２の撮像画像を、画像処理装置２３に供給する。
画像処理装置２３は、発光装置２１及びカメラ２２を制御する。
また、画像処理装置２３は、カメラ２２からの第１及び第２の撮像画像に基づいて、第１及び第２の撮像画像の一方として、例えば第１の撮像画像から、所定の処理を行なうために用いる特徴点を抽出する。そして、画像処理装置２３は、抽出した特徴点に基づく所定の処理を行なう。
具体的には、例えば、画像処理装置２３は、第１の撮像画像から、ユーザの中指の先端部分を特徴点として抽出し、図示せぬ表示装置を制御して、その表示装置の画面上の、抽出した特徴点に対応する位置にポインタを移動させる処理等を実行する。
[画像処理装置２３の構成例]
次に、図３は、画像処理装置２３の構成例を示している。
この画像処理装置２３は、制御部４１、２値化肌画像生成部４２、基準抽出部４３、マスク画像生成部４４、マスク処理部４５、及び特徴点抽出部４６により構成される。
制御部４１は、発光装置２１を制御し、発光装置２１のLED２１a及びLED２１bを交互に発光させる。また、制御部４１は、カメラ２２を制御し、カメラ２２による被写体の撮像を行わせる。
さらに、制御部４１は、２値化肌画像生成部４２、基準抽出部４３、マスク画像生成部４４、マスク処理部４５、及び特徴点抽出部４６を制御する。また、制御部４１は、特徴点抽出部４６からの特徴点に基づく処理を行なう。
２値化肌画像生成部４２には、カメラ２２から第１及び第２の撮像画像が供給される。２値化肌画像生成部４２は、カメラ２２からの第１及び第２の撮像画像に基づいて、肌領域（例えば、画素値１により表される）と、肌領域以外の領域を表す非肌領域（例えば、画素値０により表される）とにより構成される２値化肌画像を生成する。
次に、図４は、２値化肌画像生成部４２が行なう処理を示している。
２値化肌画像生成部４２には、カメラ２２から、肌領域６１a及び非肌領域６１b(肌領域６１a以外の領域)により構成される第１の撮像画像６１、並びに、肌領域６２a及び非肌領域６２b(肌領域６２a以外の領域)により構成される第２の撮像画像６２が供給される。
２値化肌画像生成部４２は、カメラ２２から供給される第１の撮像画像６１、及び第２の撮像画像６２に対して、LPF(low pass filter)を用いた平滑化を行う。そして、２値化肌画像生成部４２は、平滑化後の第１の撮像画像６１、平滑化後の第２の撮像画像６２の対応する画素の輝度値どうしの差分絶対値を算出し、その差分絶対値を画素値とする差分画像６３を生成する。
２値化肌画像生成部４２は、生成した差分画像６３に対して、差分画像６３を構成する画素値のうち、所定の閾値以上の画素値を１とし、所定の閾値未満の画素値を０とする２値化を行う。
なお、差分画像６３における肌領域６３aは、肌領域６１aと肌領域６２aとが重複する領域であって、肌領域６１aと肌領域６２aとの差分絶対値を画素値とする画素により構成されているため、肌領域６３aを構成する画素の画素値は比較的大きな値となっている。
また、差分画像６３における非肌領域６３bは、非肌領域６１bと非肌領域６２bとの差分絶対値を画素値とする画素により構成されているため、非肌領域６３bを構成する画素の画素値は比較的小さな値となっている。
したがって、差分画像６３は、２値化肌画像生成部４２により行われる２値化により、肌領域６３aを構成する画素の画素値が１とされた肌領域６４a、及び非肌領域６３bを構成する画素の画素値が０とされた非肌領域６４ｂにより構成される２値化肌画像６４に変換される。すなわち、例えば、２値化肌画像生成部４２は、２値化により、画素値が１とされた領域を肌領域６４aとして検出し、画素値が０とされた領域を非肌領域６４bとして検出するようにして、検出した肌領域６４a及び非肌領域６４bにより構成される２値化肌画像６４を生成する。
そして、２値化肌画像生成部４２は、その２値化により得られる２値化肌画像６４を、基準抽出部４３に供給する。
図３に戻り、基準抽出部４３は、２値化肌画像生成部４２から供給される２値化肌画像６４から、例えば、ユーザの中指の先端部分が存在する位置を抽出する。
そして、基準抽出部４３は、抽出した位置（を表す情報）を、第１の撮像画像上の全領域のうち、特徴点を抽出する際の抽出用領域を決定するために用いる基準として、マスク画像生成部４４に供給する。
なお、基準抽出部４３は、２値化肌画像生成部４２からの２値化肌画像６４から、ユーザの中指の先端部分が存在する位置を抽出しているが、この位置は、ユーザの中指の先端部分が存在する位置を表す精度が低い大まかな位置であるため、特徴点としてではなく、基準として用いるようにしている。
すなわち、例えば、カメラ２２において、被写体の移動による、第１及び第２の撮像画像間の動き差分の影響、LED２１aやLED２１bによる照射むら、及び外光等の影響により、正確な２値化肌画像６４が得られない（本来、肌領域とされるべきところが、非肌領域となっている等）ことが生じ得る。
このため、２値化肌画像６４から、ユーザの中指の先端部分が存在する位置として、大まかな位置を抽出することはできるものの、正確な位置を抽出することは非常に困難である。
したがって、基準抽出部４３は、上述したように、２値化肌画像から抽出した位置を、特徴点ではなく基準としている。
次に、図５は、基準抽出部４３が行なう処理を示している。
図５には、X軸及びY軸により定義されるXY座標軸上に、２値化肌画像６４を配置した場合の一例を示している。
なお、図５において、２値化肌画像６４を構成する画素のうち、最も左下に存在する画素を、XY座標軸上の原点(0,0)に配置するようにしている。
基準抽出部４３は、例えば、図５に示されるように、肌領域６４a（黒色で示す）を構成する画素をそれぞれ表す複数の座標(x,y)のうち、yが最大値ymaxとなるときの座標(x,ymax)を、基準８１として抽出し、マスク画像生成部４４に供給する。
なお、基準抽出部４３は、座標(x,ymax)が複数存在する場合には、複数の座標(x,ymax)のうち、xが最大値xmaxとなるときの座標(xmax,ymax)を、基準８１として抽出し、マスク画像生成部４４に供給する。
ここで、基準抽出部４３は、複数の座標（x,y）のうちの座標(x,ymax)を、基準８１として抽出するようにしたが、基準８１の抽出方法はこれに限定されない。
図３に戻り、マスク画像生成部４４は、基準抽出部４３からの基準８１に基づいて、抽出用領域を決定する。そして、マスク画像生成部４４は、第１の撮像画像上の全領域のうち、決定した抽出用領域を指定するマスク画像を生成する。
次に、図６は、マスク画像生成部４４が生成するマスク画像の一例を示している。
マスク画像生成部４４は、例えば図６Aに示されるように、基準抽出部４３からの基準８１に基づいて、基準８１を含む楕円状の領域１０１aを、抽出用領域に決定し、決定された抽出用領域を指定するマスク画像を生成する。
また、マスク画像生成部４４は、例えば図６Bに示されるように、基準抽出部４３からの基準８１に基づいて、基準８１を含む矩形状の領域１０１bを、抽出用領域に決定し、決定した抽出用領域を指定するマスク画像を生成する。
なお、マスク画像生成部４４は、図６Aに示される楕円状の領域１０１aや、図６Bに示される矩形状の領域１０１bの他、基準８１に基づいて、三角形や五角形等の任意の大きさ及び形状を有する領域を、抽出用領域に決定するようにしてもよい。
さらに、マスク画像生成部４４は、例えば図６Cに示されるように、基準抽出部４３からの基準８１に基づいて、X軸方向（図中、水平方向）に存在する複数の水平ラインにより構成される領域１０１cを、抽出用領域に決定し、決定した抽出用領域を指定するマスク画像を生成する。
すなわち、例えば、マスク画像生成部４４は、図６Cに示されるように、基準抽出部４３からの基準８１から、Y軸の正方向に所定の距離だけ離れた位置と、Y軸の負方向に所定の距離だけ離れた位置との間に存在する複数の水平ラインにより構成される領域１０１cを、抽出用領域に決定してマスク画像を生成する。
なお、マスク画像生成部４４は、図６Cに示されるマスク画像の他、基準抽出部４３からの基準８１からY軸の正方向（又は負方向）に存在する複数の水平ラインにより構成される領域を、抽出用領域に決定してマスク画像を生成することができる。
さらに、マスク画像生成部４４は、基準抽出部４３からの基準８１が、２値化肌画像上の全領域のうち、上半分の領域から抽出されたものである場合には、上半分の領域を抽出用領域に決定し、下半分の領域から抽出されたものである場合には、下半分の領域を抽出用領域に決定するようにしてもよい。
マスク画像生成部４４は、生成したマスク画像を、マスク処理部４５に供給する。
なお、マスク画像生成部４４は、基準抽出部４３からの基準８１に基づいて、抽出用領域としての領域１０１cを決定する場合、楕円状の領域１０１aや矩形状の領域１０１b等を抽出用領域として決定する場合と比較して、より少ない計算量で、抽出用領域を決定することができる。
このため、マスク画像生成部４４は、複数の領域１０１a乃至１０１cのうち、領域１０１cを抽出用領域として指定するマスク画像を生成する場合、より迅速にマスク画像を生成することが可能となる。
したがって、以下の説明では、マスク画像生成部４４は、基準抽出部４３からの基準８１に基づいて、領域１０１cを抽出用領域として指定するマスク画像を生成するものとして説明する。
図３に戻り、マスク処理部４５には、マスク画像生成部４４から、マスク画像の他、カメラ２２から、第１又は第２の撮像画像の一方として、例えば第１の撮像画像が供給される。
マスク処理部４５は、カメラ２２から供給される第１の撮像画像上の全領域から、マスク画像生成部４４からのマスク画像に指定された抽出用領域を抽出する。
すなわち、例えば、マスク画像は、画素値１の画素により構成されるマスク領域と、画素値０の画素により構成される非マスク領域とにより構成されている。
そして、マスク処理部４５は、マスク画像生成部４４からのマスク画像と、カメラ２２からの第１の撮像画像との、対応する画素の画素値どうしを乗算することにより、マスク画像上のマスク領域に対応する、第１の撮像画像上の抽出用領域を抽出する。
マスク処理部４５は、第１の撮像画像上の全領域のうち、抽出された抽出用領域を、特徴点抽出部４６に供給する。
なお、マスク処理部４５は、第１又は第２の撮像画像のうち、最も遅くに撮像された（最新の）撮像画像上の全領域から、抽出用領域を抽出することが望ましい。
この場合、後述する特徴点抽出部４６において、ユーザのジェスチャ等による入力操作が最も反映された撮像画像から、特徴点を抽出することが可能となる。
特徴点抽出部４６は、マスク処理部４５から供給される抽出用領域、すなわち、例えば、図７に示されるような、第１の撮像画像６１上の抽出用領域１０１cから、特徴点１２１を抽出し、制御部４１に供給する。
これにより、制御部４１は、特徴点抽出部４６からの特徴点１２１に基づく所定の処理を行なう。すなわち、例えば、制御部４１は、特徴点抽出部４６からの特徴点１２１に対応する、図示せぬ表示装置の画面上の位置に、ポインタを移動させるように、その表示装置を制御する。
なお、特徴点抽出部４６では、特徴点１２１を抽出する抽出方法として、例えば、抽出用領域１０１c上の肌領域６１aと、ユーザの中指の先端部分を表す指先モデル（例えば、半円や円）との形状の比較を行う。そして、特徴点抽出部４６では、指先モデルと最も一致する、抽出用領域１０１c上の領域の位置を、特徴点として抽出する。
その他、例えば、基準抽出部４３は、抽出用領域１０１c上の肌領域６１aの輪郭の曲率（輪郭の曲がり具合）を算出し、算出した曲率に基づいて、ユーザの中指の先端部分が存在する位置を、特徴点として抽出するようにしてもよい。
[情報処理システム１が行なう位置検出処理の詳細]
次に、図８のフローチャートを参照して、図３の画像処理装置２３を有する情報処理システム１が行なう位置検出処理について説明する。
この位置検出処理は、例えば、図３の画像処理装置２３を有する情報処理システム１の電源がオンされたときから繰り返し行なわれる。
なお、この位置検出処理において、制御部４１は、情報処理システム１の電源がオンされたことに対応して、発光装置２１を制御して、LED２１a及びLED２１bを交互に発光させ、カメラ２２を制御して、撮像により得られる第１及び第２の撮像画像を、図３の画像処理装置２３に供給させる処理を繰り返し行う。
ステップＳ１において、２値化肌画像生成部４２は、カメラ２２からの第１及び第２の撮像画像に基づいて、２値化肌画像を生成し、基準抽出部４３に供給する。
ステップＳ２において、基準抽出部４３は、２値化肌画像生成部４２から供給される２値化肌画像から、基準を抽出し、マスク画像生成部４４に供給する。
ステップＳ３において、マスク画像生成部４４は、基準抽出部４３からの基準に基づいて、図６A乃至図６Cに示すような抽出用領域を決定する。そして、マスク画像生成部４４は、第１又は第２の撮像画像の一方として、例えば第１の撮像画像上の全領域から、決定した抽出用領域を指定するマスク画像を生成し、マスク処理部４５に供給する。
ステップＳ４において、マスク処理部４５は、カメラ２２から供給される、第１又は第２の撮像画像の一方として、例えば第１の撮像画像上の全領域から、マスク画像生成部４４からのマスク画像により指定された抽出用領域を抽出する。
そして、マスク処理部４５は、抽出した抽出用領域を、特徴点抽出部４６に供給する。
ステップＳ５において、特徴点抽出部４６は、マスク処理部４５からの抽出用領域から、特徴点を抽出し、制御部４１に供給する。
ステップＳ６において、制御部４１は、特徴点抽出部４６からの特徴点に基づく所定の処理を行なう。すなわち、例えば、制御部４１は、特徴点抽出部４６からの特徴点に対応する、図示せぬ表示装置の画面上の位置に、ポインタを移動させるように、その表示装置を制御する。
以上説明したように、位置検出処理では、第１及び第２の撮像画像に基づいて生成された２値化肌画像から、大まかな特徴点として、基準を抽出するようにした。そして、第１又は第２の撮像画像のうちの一方として、例えば、第１の撮像画像上の全領域のうち、基準に基づいて決定された抽出用領域から、正確な特徴点を抽出するようにした。
したがって、位置検出処理では、例えば第１の撮像画像上の全領域よりも狭い抽出用領域から、特徴点を抽出するので、第１の撮像画像上の全領域から、特徴点を抽出する場合と比較して、より迅速に特徴点を抽出することが可能となる。
また、位置検出処理では、２値化肌画像よりも、正確に特徴点を抽出することが可能な抽出用領域（第１又は第２の撮像画像のうちの一方の領域）から特徴点を抽出するようにしているので、２値化肌画像から直接に特徴点を抽出する場合と比較して、より正確な特徴点を抽出することが可能となる。
第１の実施の形態では、特徴点抽出部４６は、主に、ユーザの中指の先端部分により構成される抽出用領域１０１a乃至１０１cから、特徴点１２１を抽出する処理を行うようにしたが、抽出用領域を対象として、複数の特徴点を抽出するようにしてもよい。
なお、特徴点抽出部４６が、例えば、１個の特徴点を抽出する場合と、複数の特徴点を抽出する場合とで、マスク処理部４５により抽出され供給される抽出用領域の大きさや形状等が変更される。
次に、図９乃至図１１を参照して、抽出用領域から複数の特徴点が抽出される際に、基準抽出部４３乃至特徴点抽出部４６により行われる処理の一例を説明する。
なお、図９乃至図１１においては、１個の特徴点１２１を抽出する場合の説明に用いた図５乃至図７と区別するために、図中の符号にプライム（'）を付加するようにしている他は、図５乃至図７と同様に構成されている。
基準抽出部４３は、例えば、図９に示されるように、２値化肌画像生成部４２からの２値化肌画像６４'上の肌領域６４a'（黒色で示す）の重心を、基準８１'として抽出し、マスク画像生成部４４に供給する。
マスク画像生成部４４は、基準抽出部４３からの基準８１'に基づいて、抽出用領域を決定する。そして、マスク画像生成部４４は、第１の撮像画像上の全領域のうち、決定した抽出用領域を指定するマスク画像を生成する。
すなわち、マスク画像生成部４４は、例えば図１０Aに示されるように、基準抽出部４３からの基準８１'に基づいて、基準８１'を含む楕円状（又は円状）の領域１０１a'（例えば、基準８１'を重心とする楕円状の領域１０１a'等）を、抽出用領域に決定し、決定された抽出用領域を指定するマスク画像を生成する。
また、マスク画像生成部４４は、例えば図１０Bに示されるように、基準抽出部４３からの基準８１'に基づいて、基準８１'を含む矩形状の領域１０１b'（例えば、基準８１'を重心とする矩形状の領域１０１b'等）を、抽出用領域に決定し、決定した抽出用領域を指定するマスク画像を生成する。
なお、マスク画像生成部４４は、図１０Aに示される楕円状の領域１０１a'や、図１０Bに示される矩形状の領域１０１b'の他、基準８１'に基づいて、三角形や五角形等の任意の大きさ及び形状を有する領域を、抽出用領域に決定するようにしてもよい。
さらに、マスク画像生成部４４は、例えば図１０Cに示されるように、基準抽出部４３からの基準８１'に基づいて、X軸方向（図中、水平方向）に存在する複数の水平ラインにより構成される領域１０１c'を、抽出用領域に決定し、決定した抽出用領域を指定するマスク画像を生成する。
具体的には、例えば、マスク画像生成部４４は、図１０Cに示されるように、基準抽出部４３からの基準８１'から、Y軸の正方向に所定の距離だけ離れた位置と、Y軸の負方向に所定の距離だけ離れた位置との間に存在する複数の水平ラインにより構成される領域１０１c'を、抽出用領域に決定してマスク画像を生成する。
マスク画像生成部４４は、生成したマスク画像を、マスク処理部４５に供給する。
以下の説明では、マスク画像生成部４４は、基準抽出部４３からの基準８１'に基づいて、領域１０１c'を抽出用領域として指定するマスク画像を生成するものとして説明する。
マスク処理部４５は、カメラ２２から供給される第１の撮像画像上の全領域から、マスク画像生成部４４からのマスク画像に指定された抽出用領域１０１c'を抽出し、特徴点抽出部４６に供給する。
なお、マスク処理部４５において、比較的大きな抽出用領域１０１c'を抽出するようにした場合、ユーザが手を移動させたとしても、肌領域６１a'は、抽出用領域１０１cの範囲内に収まる可能性が高いものとなる。
したがって、例えば、マスク処理部４５は、カメラ２２の撮像により得られる複数の第１の撮像画像に対して、同一の大きさ及び形状の抽出用領域１０１c'を抽出して、特徴点抽出部４６に供給するようにしてもよい。
この場合、マスク画像生成部４４は、抽出用領域１０１c'を指定するマスク画像を、複数回に１回だけ生成してマスク処理部４５に供給するだけでよいものとなる。したがって、例えば、マスク処理部４５に供給される第１の撮像画像毎に、その第１の撮像画像に応じたマスク画像を生成してマスク処理部４５に供給する場合と比較して、２値化肌画像生成部４２乃至マスク画像生成部４４が行う処理を少なくすることができ、より迅速に特徴点を抽出することができる。
特徴点抽出部４６は、例えば、マスク処理部４５からの、図１１に示される抽出用領域１０１c'から、ユーザの右手における各指の指先（先端）を示す位置を、複数の特徴点１２１a'乃至１２１e'として抽出し、制御部４１に供給する。
ここで、マスク画像生成部４４が、基準抽出部４３からの基準８１'に基づいて、領域１０１b'を抽出用領域として指定するマスク画像を生成する場合、マスク処理部４５から特徴点抽出部４６に対して、図１１に示される抽出用領域１０１b'が供給される。
そして、特徴点抽出部４６は、例えば、マスク処理部４５からの、図１１に示される抽出用領域１０１b'から、複数の特徴点１２１a'乃至１２１e'を抽出し、制御部４１に供給するものとなる。
このように、特徴点を抽出する際の領域として、抽出用領域１０１c'よりも小さな抽出用領域１０１b'を採用した場合には、抽出用領域１０１c'を採用した場合と比較して、より迅速に複数の特徴点１２１a'乃至１２１e'を抽出できる。また、抽出用領域が小さく、抽出用領域にユーザの手以外の物体が多く存在しないため、ユーザの手における各指の指先とは異なる物体の位置を、特徴点として抽出してしまう事態を抑止することが可能となる。このことは、抽出用領域１０１a'を採用した場合についても同様のことが言える。
なお、特徴点抽出部４６は、特徴点を抽出する対象である肌領域６１a'の形状や大きさ、抽出する特徴点の個数等に応じて、より迅速に特徴点を抽出可能な抽出方法を用いるようにすることができる。
すなわち、例えば、特徴点抽出部４６は、図１１に示されるように、ユーザの右手全体を表す肌領域６１a'から、複数の特徴点１２１a'乃至１２１e'を抽出する場合、細線化による特徴点の抽出方法を用いることが望ましい。具体的には、例えば、特徴点抽出部４６は、抽出用領域１０１c'上の肌領域６１a'により表されるユーザの手を細線化（骨格化）し、細線化したユーザの手の先端を、ユーザの指先を表す特徴点として抽出する抽出方法を用いるとよい。しかし、ここでも前記したような指先モデルとの形状比較等の方法で、特徴点を抽出することもできる。
制御部４１は、特徴点抽出部４６からの、複数の特徴点１２１a'乃至１２１e'に基づいて、ユーザの動きや姿勢等を識別する。すなわち、例えば、制御部４１は、ユーザの動きとして、ユーザが右手を握ろうとしているのか、又は右手を開くようにしているか等を識別する。また、例えば、制御部４１は、ユーザの姿勢として、ユーザの右手の形状が、右手を開いたときの形状であるのか否か等を識別する。
そして、制御部４１は、ユーザの動きや姿勢等の識別結果に基づいて、所定の処理を行う。
第１の実施の形態では、基準８１に基づいて、抽出用領域１０１a乃至１０１cを決定するようにしたが、抽出用領域１０１a乃至１０１cの大きさや形状は、これに限定されない。また、基準８１として、例えばユーザの中指の指先を示す大まかな位置を用いるようにしたが、抽出用領域１０１a乃至１０１cの大きさや形状等に応じて、抽出用領域１０１a乃至１０１cを容易に抽出可能な基準８１を採用することができる。これらのことは、基準８１'及び抽出用領域１０１a'乃至１０１c'についても同様のことが言える。
さらに、第１の実施の形態によれば、基準８１'に基づいて、抽出用領域１０１a'乃至１０１c'を決定するようにしたが、抽出用領域１０１a'乃至１０１c'を決定する決定方法は、これに限定されない。
次に、図１２乃至１４を参照して、２値化肌画像６４'上の肌領域６４a'に基づいて、第１の撮像画像６１'上の肌領域６１a'を大まかに検出し、検出した肌領域６１a'をすべて含むように、抽出用領域１０１a'乃至１０１c’を決定する場合の画像処理装置２３について説明する。
＜２．第２の実施の形態＞
[画像処理装置の構成例]
図１２は、画像処理装置２３の他の構成例を示している。
なお、図１２の画像処理装置２３において、図３の画像処理装置２３と同様に構成されている部分については同一の番号を付すようにしているので、それらの説明は、以下適宜省略する。
すなわち、図１２の画像処理装置２３では、図３の基準抽出部４３及びマスク画像生成部４４に代えて、肌領域抽出部１４１及びマスク画像生成部１４２により構成されている他は、図３の場合と同様に構成される。
肌領域抽出部１４１は、２値化肌画像生成部４２から供給される２値化肌画像６４'から肌領域６４a'を抽出する。そして、肌領域抽出部１４１は、抽出した肌領域６４a'に基づいて、第１の撮像画像６１'上の、肌領域６４a'に対応する領域（大まかな肌領域６１a'）を指定するための指定用情報を生成し、マスク画像生成部１４２に供給する。
なお、以下の説明において、２値化肌画像６４'において、ユーザの肌が存在することを表す肌領域６４a'と、第１の撮像画像６１'において、ユーザの肌が露出された肌領域６１a'とを区別するために、肌領域６１a'を、肌露出領域６１a'ともいう。
マスク画像生成部１４２は、肌領域抽出部１４１からの指定用情報に基づいて、第１の撮像画像６１'上の全領域のうち、その指定用情報により指定される大まかな肌露出領域６１a'(肌領域６１a')を含む部分領域を特定し、抽出用領域に決定する。そして、マスク画像生成部１４２は、第１の撮像画像６１'上の全領域のうち、決定した抽出用領域を指定するマスク画像を生成する。
すなわち、マスク画像生成部１４２は、例えば図１３Aに示されるように、第１の撮像画像６１'において、肌露出領域６１a'を含む楕円状の領域１０１a'を、抽出用領域に決定し、決定された抽出用領域を指定するマスク画像を生成する。
また、マスク画像生成部１４２は、例えば図１３Bに示されるように、第１の撮像画像６１'において、肌露出領域６１a'を含む矩形状の領域１０１b'を、抽出用領域に決定し、決定した抽出用領域を指定するマスク画像を生成する。
なお、マスク画像生成部１４２は、図１３Aに示される楕円状の領域１０１a'や、図１３Bに示される矩形状の領域１０１b'の他、三角形や五角形等の任意の大きさ及び形状を有する領域であって、肌露出領域６１a'を含む領域を、抽出用領域に決定するようにしてもよい。
さらに、マスク画像生成部１４２は、例えば図１３Cに示されるように、第１の撮像画像６１'において、肌露出領域６１a'を含み、X軸方向（図中、水平方向）に存在する複数の水平ラインにより構成される領域１０１c'を、抽出用領域に決定し、決定した抽出用領域を指定するマスク画像を生成する。
すなわち、例えば、マスク画像生成部１４２は、図１３Cに示されるように、第１の撮像画像６１'上の、指定用情報により指定される領域の上端から、Y軸の正方向に所定の距離だけ離れた位置と、第１の撮像画像６１'上の、指定用情報により指定される領域の下端から、Y軸の負方向に所定の距離だけ離れた位置との間に存在する複数の水平ラインにより構成される領域１０１c'を、抽出用領域に決定してマスク画像を生成する。
マスク画像生成部１４２は、生成したマスク画像を、マスク処理部４５に供給する。
これにより、マスク処理部４５では、カメラ２２からの第１の撮像画像６１'から、抽出用領域１０１a'乃至１０１c'のうち、例えば抽出用領域１０１c'が抽出されて、特徴点抽出部４６に供給される。
そして、特徴点抽出部４６において、図１１に示したように、マスク処理部４５からの抽出用領域１０１c'から、肌露出領域６１a'における複数の特徴点１２１a'乃至１２１e'が抽出されて、制御部４１に供給される。
[情報処理システム１が行なう複数位置検出処理の詳細]
次に、図１４のフローチャートを参照して、図１２の画像処理装置２３を有する情報処理システム１が行う複数位置検出処理について説明する。
この複数位置検出処理は、例えば、図１２の画像処理装置２３を有する情報処理システム１の電源がオンされたときから繰り返し行われる。なお、この複数位置検出処理において、制御部４１は、情報処理システム１の電源がオンされたことに対応して、発光装置２１を制御して、LED２１a及びLED２１bを交互に発光させ、カメラ２２を制御して、撮像により得られる第１及び第２の撮像画像を、図１２の画像処理装置２３に供給させる処理を繰り返し行う。
ステップＳ２１において、２値化肌画像生成部４２は、カメラ２２からの第１及び第２の撮像画像に基づいて、２値化肌画像６４'を生成し、肌領域抽出部１４１に供給する。
ステップＳ２２において、肌領域抽出部１４１は、２値化肌画像生成部４２から供給される２値化肌画像６４'から肌領域６４a'を抽出する。そして、肌領域抽出部１４１は、例えば第１の撮像画像６１'上の全領域のうち、抽出した肌領域６４a'に対応する領域(大まかな肌露出領域６１a')を指定するための指定用情報を生成し、マスク画像生成部１４２に供給する。
ステップＳ２３において、マスク画像生成部１４２は、肌領域抽出部１４１からの指定用情報に基づいて、第１の撮像画像６１'上の全領域のうち、その指定用情報により指定される領域を含む部分領域を特定し、例えば抽出用領域１０１c'に決定する。そして、マスク画像生成部１４２は、第１の撮像画像６１'上の全領域のうち、決定した抽出用領域１０１c'を指定するマスク画像を生成し、マスク処理部４５に供給する。
ステップＳ２４において、マスク処理部４５は、カメラ２２から供給される、第１又は第２の撮像画像の一方として、例えば第１の撮像画像６１'上の全領域から、マスク画像生成部４４からのマスク画像により指定された抽出用領域１０１c'を抽出する。
そして、マスク処理部４５は、抽出した抽出用領域１０１c'を、特徴点抽出部４６に供給する。
ステップＳ２５において、特徴点抽出部４６は、マスク処理部４５からの抽出用領域１０１c'から、複数の特徴点１２１a'乃至１２１e'を抽出し、制御部４１に供給する。
ステップＳ２６において、制御部４１は、特徴点抽出部４６からの複数の特徴点１２１a'乃至１２１e'に基づく所定の処理を行なう。すなわち、例えば、制御部４１は、特徴点抽出部４６からの複数の特徴点１２１a'乃至１２１e'に基づいて、ユーザの手の形状を判別し、その判別結果に基づいて、ユーザのジェスチャ操作を認識する。そして、制御部４１は、認識したジェスチャ操作に対応する処理を行う。
以上説明したように、複数位置検出処理によれば、例えば、第１の撮像画像６１'上の肌露出領域６１a'を全て含むように、抽出用領域１０１a'乃至１０１c'を決定するようにした。そして、第１の撮像画像６１'上の全領域よりも小さな抽出用領域１０１a'乃至１０１c'の範囲内で、肌露出領域６１a'を対象として、例えば、複数の特徴点１２１a'乃至１２１e'を抽出する処理を行うようにしたので、第１の撮像画像６１'上の全領域を対象として処理を行う場合と比較して、より迅速に、肌露出領域６１a'における複数の特徴点１２１a'乃至１２１e'を抽出することが可能となる。
上述した第１及び第２の実施の形態では、特徴点抽出部４６が、マスク処理部４５からの抽出用領域から、ユーザの指先の位置等を特徴点として抽出するようにしたが、特徴点は、ユーザの指先の位置等に限定されない。
すなわち、例えば、特徴点抽出部４６は、図１５に示されるように、肌露出領域６１a'の形状を抽出するために、マスク処理部４５からの抽出用領域１０１c'から、肌露出領域６１a'を構成する各画素（の位置）を特徴点として抽出するようにしてもよい。
次に、図１５は、特徴点抽出部４６が、抽出用領域１０１c'に基づいて、第１の撮像画像６１'上の肌露出領域６１a'を構成する各画素を、特徴点として抽出する場合の一例を示している。
図１５において、抽出用領域１０１c'は、肌露出領域６１a'と、肌露出領域６１a'以外の非肌露出領域６１b'（非肌領域６１b'）により構成されている。また、非肌露出領域６１b'内に、比較的反射率の高い白いシャツや鏡等は存在しないものとする。さらに、例えば、ユーザの手は発光装置２１に最も近くにあることが多いことを考慮すると、図１５に示される抽出用領域１０１c'において、ユーザの手に相当する肌露出領域６１a'の輝度値は、発光装置２１から離れた位置にある物体に相当する非肌露出領域６１b'の輝度値と比較して、より高いものとなる。なお、非肌露出領域６１b'内に、比較的反射率の高い白いシャツや鏡等が存在する場合については後述する。
したがって、特徴点抽出部４６は、マスク処理部４５からの抽出用領域１０１c'のうち、輝度値が第１の輝度閾値以上である各画素（の位置）を、特徴点として抽出する。なお、第１の輝度閾値は、肌露出領域６１a’の輝度値の分布に基づいて決定されるが、肌露出領域６１a'の輝度値として想定される輝度値や、非肌露出領域６１b'の輝度値として想定される輝度値等に基づいて、予め決められて、特徴点抽出部４６の図示せぬメモリ等に記憶されていてもよい。
そして、特徴点抽出部４６は、抽出した複数の特徴点により構成される領域を、肌露出領域６１a'として、制御部４１に供給する。
この場合、特徴点抽出部４６は、カメラ２２の異なる撮像時刻で撮像された第１及び第２の撮像画像に基づき検出される肌領域６４a'（第１の撮像画像上の肌露出領域と、第２の撮像画像上の肌露出領域とが重複する領域６４a'）と比較して、第１の撮像画像６１'における肌露出領域６１a'の形状を、より正確に抽出することが可能となる。
すなわち、例えば、２値化肌画像生成部４２では、カメラ２２からの第１の撮像画像上の肌露出領域と、カメラ２２からの第２の撮像画像上の肌露出領域とが重複する領域を、２値化肌画像上の肌領域とする。
ここで、第１及び第２の撮像画像は、それぞれ、カメラ２２において、異なる撮像時刻の撮像により得られるものであるため、第１の撮像画像上の、肌露出領域の位置と、第２の撮像画像上の、肌露出領域の位置とが、完全に一致しないことが生じ得る。
この場合、２値化肌画像生成部４２により生成される２値化肌画像上の肌領域の形状は、第１の撮像画像上の肌露出領域の形状とは異なるものとなる。
これに対して、特徴点抽出部４６において、図１５に示されるように、マスク処理部４５からの抽出用領域１０１c'のうち、輝度値が第１の輝度閾値以上である各画素により構成される領域を、肌露出領域６１a'として抽出するようにしている。
したがって、第１及び第２の撮像画像が、異なる撮像時刻の撮像により得られるものであっても、特徴点抽出部４６において、第１の撮像画像６１'上の肌露出領域６１a'の形状を、より正確に抽出することが可能となる。
ここで、図１５において、非肌露出領域６１b'内に、比較的反射率の高い白いシャツや鏡等が存在する高輝度領域（図示せず）が含まれる場合、肌露出領域６１a'の輝度値は、非肌露出領域６１b'内の高輝度領域の輝度値と比較して、より高いものにはならないことが生じ得る。この場合、第１の輝度閾値を用いた上述の方法では、肌露出領域６１a'の画素の他、非肌露出領域６１b'内の高輝度領域の画素も、特徴点であるとして抽出されてしまうことが生じ得る。
そこで、抽出用領域１０１c'よりも小さな抽出用領域として、例えば、図１５に示される抽出用領域１０１b'を採用するようにして、抽出用領域内に、非肌露出領域６１b'内の高輝度領域が含まれないようにしてもよい。この場合、非肌露出領域６１b'内の高輝度領域の画素が、特徴点であるとして抽出される事態を防止できる。このことは、抽出用領域１０１a'を採用した場合についても同様のことが言える。
また、例えば、一般的に、肌露出領域６１a'の輝度値と、非肌露出領域６１b'内の高輝度領域の輝度値とが一致しないことを利用して、肌露出領域６１a'と高輝度領域とを区別するようにしてもよい。
すなわち、例えば、肌領域抽出部１４１は、大まかな肌露出領域６１a'を指定するための指定用情報を、マスク画像生成部１４２の他、特徴点抽出部４６に供給するようにする。特徴点抽出部４６は、肌領域抽出部１４１からの指定用情報に基づいて、マスク処理部４５からの抽出用領域１０１c'から、大まかな肌露出領域６１a'を検出する。
また、特徴点抽出部４６は、検出した大まかな肌露出領域６１a'の各輝度値の平均値を算出する。そして、特徴点抽出部４６は、抽出用領域１０１c'の各画素のうち、抽出用領域１０１c'の各輝度値と、算出した平均値との差分絶対値が第２の輝度閾値以下となる画素（の位置）を、特徴点として抽出する。
なお、第２の輝度閾値は、肌露出領域６１a’の輝度値の分布に基づいて決定されるが、検出した大まかな肌露出領域６１a'の各輝度値の平均値として想定される値や、肌露出領域６１a'の輝度値として想定される値、高輝度領域の輝度値として想定される値等に基づいて、予め決められて、特徴点抽出部４６の図示せぬメモリ等に予め記憶されていてもよい。
また、差分絶対値が第２の輝度閾値以下であるか否かに応じて、特徴点を抽出する抽出方法は、抽出用領域１０１c'の他、抽出用領域１０１a'や１０１b'について採用することができる。
＜３．変形例＞
第１の実施の形態では、特徴点抽出部４６において、特徴点として、例えば第１の撮像画像上の肌領域の先端部分（例えば、中指の指先）を特徴点１２１として抽出するようにしたが、例えば、抽出した特徴点１２１を、第１の撮像画像上の肌領域の内側にオフセットして得られる新たな特徴点（例えば、中指の腹部分に存在する位置）を、最終的な特徴点１２１とするようにしてもよい。
また、第１の実施の形態では、特徴点として、ユーザの中指の先端部分が存在する位置を抽出するようにしたが、その他、例えば、人差し指の先端部分が存在する位置等の任意の位置を抽出するように構成することができる。
さらに、第１の実施の形態では、マスク画像生成部４４は、図６Cに示されるような領域１０１cを抽出用領域に決定するようにしたが、例えば、第１及び第２の撮像画像上に存在する被写体の形状に応じて、抽出用領域を決定するようにしてもよい。
すなわち、例えば、マスク画像生成部４４は、被写体が丸い形状である場合には、図６Aに示されるように、楕円状の領域１０１aを抽出用領域に決定し、被写体が矩形の形状である場合には、図６Bに示されるように、矩形状の領域１０１bを抽出用領域に決定することができる。
この場合、マスク画像生成部４４において、被写体の形状に応じて、特徴点を抽出するために必要最小限の抽出用領域を決定することが可能となるので、特徴点抽出部４６において、決定された抽出用領域から、特徴点を抽出する処理を、より迅速に行なうことが可能となる。このことは、第２の実施の形態においても同様のことが言える。
第１の実施の形態では、基準抽出部４３は、例えば、図５に示されるように、座標(x,ymax)（座標(x,ymax)が複数存在する場合には座標(xmax,ymax)）を、そのまま基準８１として抽出するようにしたが、基準８１として抽出する情報はこれに限定されず、座標(x,ymax)が表す位置を一意に特定可能な情報であれば、どのような情報であってもよい。
また、第１の実施の形態では、２値化肌画像生成部４２は、カメラ２２からの第１の撮像画像６１及び第２の撮像画像６２に基づいて生成した差分画像６３をそのまま２値化するようにしたが、差分画像６３を構成する画素の画素値を、それぞれ、第１の撮像画像６１を構成する画素のうち、対応する画素の輝度値で正規化（除算）した上で、２値化することが可能である。なお、２値化肌画像生成部４２は、第１の撮像画像６１に代えて、第２の撮像画像６２を用いて差分画像６３を正規化した上で２値化するようにしてもよい。
その他、例えば、２値化肌画像生成部４２は、第１の撮像画像６１と第２の撮像画像６２との平均値を用いて、差分画像６３の各画素の画素値を正規化した上で２値化することができる。
すなわち、２値化肌画像生成部４２は、第１の撮像画像６１の画素値、又は第２の撮像画像６２の画素値の少なくとも一方に基づく値を用いて、差分画像６３の各画素の画素値を正規化した上で２値化することができる。
差分画像６３を正規化した場合には、正規化後の差分画像６３を２値化する際に用いる閾値を、固定値とすることができるので、より迅速に２値化を行うことが可能となる。
第１の実施の形態において、２値化肌画像生成部４２は、第１の撮像画像６１の画素値から、第２の撮像画像６２の画素値を差し引いて得られる差分の絶対値を、差分画像６３の画素値としたが、差分画像６３の画素値は、これに限定されない。
すなわち、例えば、人間の髪の毛の反射率は波長が大きくなるほど大きくなることが知られており、肌と髪の毛とをより正確に区別することを考慮すれば、差分画像６３の画素値として、差分をそのまま採用することが望ましい。
そこで、２値化肌画像生成部４２は、差分をそのまま差分画像６３の画素値とするようにしてもよい。この場合についても同様に、２値化肌画像生成部４２は、差分を画素値とする差分画像６３を正規化した上で２値化することができる。
また、例えば、２値化肌画像生成部４２は、差分画像６３に代えて、第１の撮像画像６１の画素値と、第２の撮像画像６２の画素値との比を画素値とする比画像を生成するようにして、その比画像を２値化することができる。この場合についても、比画像を２値化する際に用いる閾値を、固定値とすることができる。
第１及び第２の実施の形態では、説明を簡単にするために、第１の撮像画像は、１個の肌露出領域（肌領域）のみを含むことを前提とし、１個の肌露出領域の全て又は一部分を含む抽出用領域を対象として、特徴点を抽出する処理を行うことについて説明した。
しかしながら、第１の撮像画像が、複数の肌露出領域を含む場合にも、複数の肌露出領域のうちのいずれかを対象として処理を行うようにすることができる。
すなわち、例えば、第１の撮像画像に、複数の肌露出領域が含まれる場合には、複数の肌露出領域のうち、任意の肌露出領域を注目肌露出領域とし、注目肌露出領域を対象として処理を行うことができる。ここで、注目肌露出領域とされる任意の肌露出領域としては、例えば、複数の肌露出領域のうち、面積がi番目に大きい肌露出領域や、複数の肌露出領域のうち、肌露出領域の各輝度値の平均値（又は最小値や最大値でも可能）がj番目に大きい肌露出領域等が考えられる。
具体的には、例えば、複数の肌露出領域のうち、面積が１番目に大きい肌露出領域や、複数の肌露出領域のうち、肌露出領域の各輝度値の平均値が１番目に大きい肌露出領域等が、注目肌露出領域とされる。
これは、ユーザが、情報処理システム１に対して所定の処理を実行させる際に、自身の手を移動させる場合、一般的に、顔や胴体等と比較して、情報処理システム１のカメラ２２及び発光装置２１に近い状態で移動させることによる。
ここで、特に、例えば、肌露出領域の各輝度値の平均値に基づいて、注目肌露出領域を決定する場合には、複数の肌露出領域の中から、所望の肌露出領域を注目肌露出領域とすることができる。
すなわち、例えば、第１の撮像画像において、手と顔が重複しており、手で顔の一部分が隠れているために、手に相当する第１の肌露出領域と、顔に相当する第２の肌露出領域とが連結（結合）している場合でも、第１の肌露出領域を注目肌露出領域とすることができる。
具体的には、例えば、第１の肌露出領域と第２の肌露出領域との輝度値の平均値の差に基づいて、第１及び第２の肌露出領域が連結して構成される領域から、第１の肌露出領域を明確に区別して、注目肌露出領域とすることが可能となる。
その他、例えば、複数の肌露出領域のうち、面積の大きさを表す順位iと、平均値の大きさを表す順位jとを加算した加算結果(i+j)が、最小となるときの肌露出領域を、注目肌露出領域とするようにしてもよい。
さらに、例えば、第１の撮像画像に、複数の肌露出領域が含まれる場合には、複数の肌露出領域を、順次、注目肌露出領域に設定し、注目肌露出領域とされる複数の肌露出領域をそれぞれ対象として処理を行うようにしてもよい。
さらに、例えば、第１の撮像画像に、複数の肌露出領域が含まれる場合には、２以上の肌露出領域が含まれるように、抽出用領域を決定し、決定した抽出用領域を対象として処理を行うようにすることができる。
第１及び第２の実施の形態では、マスク処理部４５は、カメラ２２からの第１の撮像画像から、抽出用領域を抽出するようにしたが、抽出用領域を抽出する対象は、第１の撮像画像に限定されない。
すなわち、例えば、抽出用領域を抽出する対象は、被写体が表示されている表示画像であれば、どのような表示画像であってもよい。具体的には、例えば、マスク処理部４５は、カメラ２２により生成される第１又は第２の撮像画像は勿論、第１の撮像画像の画素値と、第２の撮像画像の画素値との平均値からなる平均値画像を対象として、抽出用領域を抽出するようにしてもよい。
また、第１及び第２の実施の形態では、LED２１aにより発光される第１の波長を870[nm]とし、LED２１bにより発光される第２の波長を950[nm]としたが、波長の組合せはこれに限定されない。
すなわち、波長の組合せとしては、第１の波長における反射率と、第２の波長における反射率との差分絶対値が、ユーザの肌以外のものについて得られる反射率の差分絶対値と比較して、十分に大きくなる組合せであれば、どのような組合せでもよい。
具体的には、図２から明らかなように、例えば、870[nm]と950[nm]との組合せの他、800[nm]と950[nm]との組合せ、870[nm]と1000[nm]との組合せ、800[nm]と1000[nm]との組合せ等のように、LED２１aが930[nm]未満の波長λ１の照射光を照射し、LED２１bが930[nm]以上の波長λ２の照射光を照射するように構成することが可能である。
なお、肌領域を正確に検出するためには、概ね、波長λ１の値は640nmから1000nm、波長λ１よりも長波長側の波長λ２の値は900nmから1100nmの範囲内で設定することが望ましいことが、本発明者が予め行なった実験によりわかっている。
特に、例えば、波長λ１の値を、可視光領域を除く、近赤外領域の700nmから1000nmの範囲内に設定すれば、LED２１a及びLED２１bから、赤外線等の不可視光が照射されることとなる。この場合、情報処理システム１では、情報処理システム１の操作者である被写体に眩しさを感じさせることなく、操作者のジェスチャやポスチャを認識できるようになる。
なお、LED２１aから発光される光として、可視光を用いる場合には、可視光カットフィルタ２２aに代えて、LED２１aから発光される可視光のみを通過させて、カメラ２２のレンズに入射させるフィルタが用いられる。これは、LED２１bについても同様のことがいえる。
また、第１及び第２の実施の形態において、発光装置２１は、LED２１a及びLED２１bを、それぞれ個別に発光させるようにしたが、LED２１a及びLED２１bを同時に発光させることにより、第１の撮像画像、及び第２の撮像画像を取得するように構成することが可能である。
すなわち、例えば、カメラ２２に代えて、カメラ２２と同様の機能を有する２台のカメラを近接させた状態で設けるようにし、２台のカメラのうち、一方のカメラの前面には、第１の波長の光のみを通過させるフィルタを設けるとともに、他方のカメラの前面には、第２の波長の光のみを通過させるフィルタを設けるように構成する。
この場合、LED２１a及びLED２１bを同時に発光させたとしても、一方のカメラには、第１の波長の光のみが入射されることから、一方のカメラにおいて、第１の撮像画像を得ることが可能となる。また、他方のカメラには、第２の波長の光のみが入射されることから、他方のカメラにおいて、第２の撮像画像を得ることが可能となる。
第１及び第２の実施の形態において、LED２１aの個数及びLED２１bの個数は、それぞれ、２個であるとして説明したが、それらの個数は、これに限定されない。
すなわち、例えば、LED２１aの個数、及びLED２１bの個数は、被写体に必要な光量が極力むらなく照射されるように適宜決定される。
第１及び第２の実施の形態では、情報処理システム１について説明したが、情報処理システム１を、例えばパーソナルコンピュータ等の電子機器に内蔵し、パーソナルコンピュータは、情報処理システム１により抽出される特徴点に対応する画面上の位置に、ポインタを移動させるように構成することが可能である。
また、情報処理システム１を内蔵する電子機器としては、パーソナルコンピュータの他、例えば、携帯電話機や携帯オーディオプレーヤ等の、比較的小型の機器、テレビジョン受像機や家庭用ゲーム機等の家庭用機器、車載用のオーディオ機器やカーナビゲーション等の車載用機器を採用することができる。
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
[コンピュータの構成例]
次に、図１６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１ 情報処理システム， ２１ 発光装置， ２１a，２１b LED， ２２ カメラ， ２２a 可視光カットフィルタ， ２３ 画像処理装置， ４１ 制御部， ４２ ２値化肌画像生成部， ４３ 基準抽出部， ４４ マスク画像生成部， ４５ マスク処理部， ４６ 特徴点抽出部， １４１ 肌領域抽出部， １４２ マスク画像生成部

Claims (11)

  1. 画像上から特徴点を抽出する画像処理装置において、
    被写体に対して第１の波長の光を照射する第１の照射部と、
    前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、
    前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像部と、
    前記第１の撮像画像と前記第２の撮像画像に基づいて、前記被写体の肌が露出された肌領域を検出する検出部と、
    前記被写体が表示された表示画像上の、前記肌領域を含む抽出用領域から、前記特徴点を抽出する特徴点抽出部と、
    前記肌領域に基づいて、前記抽出用領域を決定するための決定用情報を生成する生成部と、
    前記決定用情報に基づいて、前記抽出用領域を決定する決定部と
    を含み、
    前記生成部は、前記肌領域に基づいて、前記抽出用領域を決定する際の基準を前記決定用情報として生成し、
    前記決定部は、前記基準に基づいて、前記表示画像上の全領域のうち、前記肌領域を含み、前記基準から、垂直正方向に所定の距離だけ離れた位置と、垂直負方向に所定の距離だけ離れた位置との間において、前記表示画像上の水平方向の全画素からなる水平ラインが複数により構成される前記抽出用領域を決定する
    画像処理装置。
  2. 前記生成部は、前記肌領域に基づいて、前記表示画像上の前記肌領域を指定するための指定用情報を前記決定用情報として生成し、
    前記決定部は、前記表示画像上の全領域のうち、前記指定用情報に基づき指定される前記肌領域を含む前記抽出用領域を決定する
    請求項１に記載の画像処理装置。
  3. 前記決定部は、前記表示画像上の全領域のうち、所定の形状及び所定のサイズからなる前記抽出用領域を決定する
    請求項１に記載の画像処理装置。
  4. 前記決定部は、前記第１又は第２の撮像画像のうち、時間的に最も直近に撮像が行なわれた撮像画像を前記表示画像とし、前記表示画像上の全領域から、前記抽出用領域を決定する
    請求項１乃至３のいずれかに記載の画像処理装置。
  5. 前記特徴点抽出部は、前記抽出用領域から、前記表示画像上の前記肌領域を構成する各画素を前記特徴点として抽出し、抽出した複数の前記特徴点により構成される前記肌領域を検出する
    請求項１乃至４のいずれかに記載の画像処理装置。
  6. 前記検出部は、前記第１及び第２の撮像画像の、対応する画素の画素値どうしの差分、比、又は差分絶対値に基づいて、前記肌領域を検出する
    請求項１乃至５のいずれかに記載の画像処理装置。
  7. 前記第１の波長λ１、及び前記第２の波長λ２は、
    640nm ≦ λ１ ≦ 1000nm
    900nm ≦ λ２ ≦ 1100nm
    を満たす請求項１乃至６のいずれかに記載の画像処理装置。
  8. 前記第１の照射部は、前記第１の波長λ１の不可視光線を照射し、
    前記第２の照射部は、前記第２の波長λ２の不可視光線を照射する
    請求項７に記載の画像処理装置。
  9. 画像上から特徴点を抽出する画像処理装置の画像処理方法において、
    前記画像処理装置は、
    第１の照射部と、
    第２の照射部と、
    撮像部と、
    検出部と、
    特徴点抽出部と、
    生成部と、
    決定部と
    を含み、
    前記第１の照射部が、被写体に対して第１の波長の光を照射し、
    前記第２の照射部が、前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射し、
    前記撮像部が、前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成し、
    前記検出部が、前記第１の撮像画像と前記第２の撮像画像に基づいて、前記被写体の肌が露出された肌領域を検出し、
    前記特徴点抽出部が、前記被写体が表示された表示画像上の、前記肌領域を含む抽出用領域から、前記特徴点を抽出し、
    前記生成部が、前記肌領域に基づいて、前記抽出用領域を決定するための決定用情報を生成し、
    前記決定部が、前記決定用情報に基づいて、前記抽出用領域を決定し、
    さらに、前記生成部が、前記肌領域に基づいて、前記抽出用領域を決定する際の基準を前記決定用情報として生成し、
    前記決定部が、前記基準に基づいて、前記表示画像上の全領域のうち、前記肌領域を含み、前記基準から、垂直正方向に所定の距離だけ離れた位置と、垂直負方向に所定の距離だけ離れた位置との間において、前記表示画像上の水平方向の全画素からなる水平ラインが複数により構成される前記抽出用領域を決定する
    ステップを含む画像処理方法。
  10. コンピュータを、
    第１の波長の光が照射されている被写体の撮像により得られる第１の撮像画像と、前記第１の波長よりも長波長である第２の波長の光が照射されている前記被写体の撮像により得られる第２の撮像画像に基づいて、前記被写体の肌が露出された肌領域を検出する検出部と、
    前記被写体が表示された表示画像上の、前記肌領域を含む抽出用領域から、特徴点を抽出する特徴点抽出部と、
    前記肌領域に基づいて、前記抽出用領域を決定するための決定用情報を生成する生成部と、
    前記決定用情報に基づいて、前記抽出用領域を決定する決定部と
    して機能させ、
    前記生成部は、前記肌領域に基づいて、前記抽出用領域を決定する際の基準を前記決定用情報として生成し、
    前記決定部は、前記基準に基づいて、前記表示画像上の全領域のうち、前記肌領域を含み、前記基準から、垂直正方向に所定の距離だけ離れた位置と、垂直負方向に所定の距離だけ離れた位置との間において、前記表示画像上の水平方向の全画素からなる水平ラインが複数により構成される前記抽出用領域を決定する
    プログラム。
  11. 画像上から特徴点を抽出する画像処理装置を内蔵する電子機器において、
    前記画像処理装置は、
    被写体に対して第１の波長の光を照射する第１の照射部と、
    前記被写体に対して前記第１の波長よりも長波長である第２の波長の光を照射する第２の照射部と、
    前記第１の波長の光が照射されている前記被写体を撮像して第１の撮像画像を生成し、前記第２の波長の光が照射されている前記被写体を撮像して第２の撮像画像を生成する撮像部と、
    前記第１の撮像画像と前記第２の撮像画像に基づいて、前記被写体の肌が露出された肌領域を検出する検出部と、
    前記被写体が表示された表示画像上の、前記肌領域を含む抽出用領域から、前記特徴点を抽出する特徴点抽出部と、
    前記肌領域に基づいて、前記抽出用領域を決定するための決定用情報を生成する生成部と、
    前記決定用情報に基づいて、前記抽出用領域を決定する決定部と
    を含み、
    前記生成部は、前記肌領域に基づいて、前記抽出用領域を決定する際の基準を前記決定用情報として生成し、
    前記決定部は、前記基準に基づいて、前記表示画像上の全領域のうち、前記肌領域を含み、前記基準から、垂直正方向に所定の距離だけ離れた位置と、垂直負方向に所定の距離だけ離れた位置との間において、前記表示画像上の水平方向の全画素からなる水平ラインが複数により構成される前記抽出用領域を決定する
    電子機器。
JP2011005186A 2010-02-05 2011-01-13 画像処理装置、画像処理方法、プログラム、及び電子機器 Expired - Fee Related JP5800175B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011005186A JP5800175B2 (ja) 2010-02-05 2011-01-13 画像処理装置、画像処理方法、プログラム、及び電子機器
US13/022,161 US8781163B2 (en) 2010-02-05 2011-02-07 Image processing apparatus, image processing method, image processing program and electronic apparatus for extracating a characteristic point from an image

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010024056 2010-02-05
JP2010024056 2010-02-05
JP2011005186A JP5800175B2 (ja) 2010-02-05 2011-01-13 画像処理装置、画像処理方法、プログラム、及び電子機器

Publications (2)

Publication Number Publication Date
JP2011182386A JP2011182386A (ja) 2011-09-15
JP5800175B2 true JP5800175B2 (ja) 2015-10-28

Family

ID=44354254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011005186A Expired - Fee Related JP5800175B2 (ja) 2010-02-05 2011-01-13 画像処理装置、画像処理方法、プログラム、及び電子機器

Country Status (2)

Country Link
US (1) US8781163B2 (ja)
JP (1) JP5800175B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5593339B2 (ja) * 2012-02-07 2014-09-24 日本システムウエア株式会社 自動車のステアリングハンドルを用いるジェスチャー認識装置と手の認識方法及びそのプログラム
WO2013190538A1 (en) * 2012-06-20 2013-12-27 Pointgrab Ltd. Method for touchless control of a device
EP3223685A1 (en) 2014-11-27 2017-10-04 Koninklijke Philips N.V. Imaging device and method for generating an image of a patient
US11263432B2 (en) 2015-02-06 2022-03-01 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US9424458B1 (en) * 2015-02-06 2016-08-23 Hoyos Labs Ip Ltd. Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US9361507B1 (en) * 2015-02-06 2016-06-07 Hoyos Labs Ip Ltd. Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US20180289291A1 (en) * 2017-04-07 2018-10-11 Bunnie Richie Health diagnostic fingerprint scanner
JP2019003558A (ja) * 2017-06-19 2019-01-10 アイシン精機株式会社 物体検出装置
JP7310354B2 (ja) * 2019-06-25 2023-07-19 株式会社リコー 画像処理装置、画像形成装置および画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4549481B2 (ja) * 2000-03-09 2010-09-22 オリンパス株式会社 ピント合わせ装置
EP1477924B1 (en) * 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
JP4153819B2 (ja) * 2003-03-31 2008-09-24 本田技研工業株式会社 ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム
JP2006047067A (ja) * 2004-08-03 2006-02-16 Funai Electric Co Ltd 人体検出装置及び人体検出方法
US7983448B1 (en) * 2006-06-02 2011-07-19 University Of Central Florida Research Foundation, Inc. Self correcting tracking of moving objects in video
TWI398818B (zh) * 2009-06-30 2013-06-11 Univ Nat Taiwan Science Tech 手勢辨識方法與系統

Also Published As

Publication number Publication date
US8781163B2 (en) 2014-07-15
JP2011182386A (ja) 2011-09-15
US20110196240A1 (en) 2011-08-11

Similar Documents

Publication Publication Date Title
JP5800175B2 (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
JP4831267B2 (ja) 情報処理装置、情報処理方法、プログラム及び電子装置
CN107466411B (zh) 二维红外深度感测
JP6650946B2 (ja) モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法
JP4464686B2 (ja) さまざまな光線条件下におけるリアルタイムの目の検知および追跡
CN108573203B (zh) 身份认证方法和装置及存储介质
JP5777582B2 (ja) 画像中の物体の検出及び追跡
JP5514918B2 (ja) 頭部認識方法
US20110164792A1 (en) Facial recognition apparatus, method and computer-readable medium
CN112232163B (zh) 指纹采集方法及装置、指纹比对方法及装置、设备
Nikisins et al. RGB-DT based face recognition
US11495041B2 (en) Biometric identification using composite hand images
CN112232155A (zh) 非接触指纹识别的方法、装置、终端及存储介质
CN112232159A (zh) 指纹识别的方法、装置、终端及存储介质
Ebihara et al. Efficient face spoofing detection with flash
JP6346294B2 (ja) 測距光生成装置
CN112232157A (zh) 指纹区域检测方法、装置、设备、存储介质
JP2017204757A (ja) 被写体追跡装置及びそのプログラム
JP5287792B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2017167973A (ja) 撮像支援装置、方法及びプログラム
JP2011158447A (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
JP2013196364A (ja) 角膜反射検出装置、角膜反射検出プログラムおよび角膜反射検出方法
JP2017151682A (ja) 生体認証装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150812

R151 Written notification of patent or utility model registration

Ref document number: 5800175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees