JP4548542B1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP4548542B1
JP4548542B1 JP2009154921A JP2009154921A JP4548542B1 JP 4548542 B1 JP4548542 B1 JP 4548542B1 JP 2009154921 A JP2009154921 A JP 2009154921A JP 2009154921 A JP2009154921 A JP 2009154921A JP 4548542 B1 JP4548542 B1 JP 4548542B1
Authority
JP
Japan
Prior art keywords
skin
user
area
light
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009154921A
Other languages
English (en)
Other versions
JP2014064047A (ja
Inventor
信広 西条
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009154921A priority Critical patent/JP4548542B1/ja
Priority to KR1020127004619A priority patent/KR20120031309A/ko
Priority to US13/058,948 priority patent/US20110142349A1/en
Priority to CN2010800024260A priority patent/CN102138148B/zh
Priority to PCT/JP2010/003427 priority patent/WO2011001593A1/en
Priority to EP10727145A priority patent/EP2384485A1/en
Priority to KR1020117004443A priority patent/KR20120039498A/ko
Priority to EP10793932A priority patent/EP2378759A4/en
Priority to JP2011520477A priority patent/JP4831267B2/ja
Priority to TW099116526A priority patent/TW201112168A/zh
Priority to PCT/JP2010/058773 priority patent/WO2011001761A1/ja
Priority to US13/059,422 priority patent/US8107706B2/en
Application granted granted Critical
Publication of JP4548542B1 publication Critical patent/JP4548542B1/ja
Priority to US13/089,047 priority patent/US8285054B2/en
Publication of JP2014064047A publication Critical patent/JP2014064047A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

【課題】正確な手の形状等を高速に抽出する。
【解決手段】２値化部４２は、ユーザに照射された第１の波長の光の反射光を受光して得られる第１の撮像画像、及びユーザに照射された第２の波長の光の反射光を受光して得られる第２の撮像画像に基づいて、第１又は第２の撮像画像の一方の撮像画像上の、ユーザの肌を表す肌領域を抽出し、マスク画像生成部４５は、第１又は第２の撮像画像の一方の撮像画像上の領域であって、肌領域から、オブジェクトの形状を表す形状領域を抽出するために用いられる領域を表す抽出用領域を検出し、形状抽出部４６は、検出された抽出用領域に基づいて、抽出された肌領域から、形状領域を抽出する。本発明は、例えばユーザを撮像した撮像画像から、ユーザの身体の部位の形状を抽出するコンピュータに適用できる。
【選択図】図２

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関し、特に、例えば、ユーザを撮像して得られる撮像画像から、ユーザの手の形状等を抽出する場合に好適な情報処理装置、情報処理方法及びプログラムに関する。
近年、パーソナルコンピュータ等に対してデータを入力する入力デバイスとして、マウス、ペンタブレット、及びタッチパッドの他、ユーザのジェスチャ（動作）やポスチャ（姿勢）によりデータを入力するデータ入力技術が研究されている。
このデータ入力技術では、例えば、ユーザの手によるジェスチャやポスチャによりデータの入力を行うために、ユーザを撮像して得られる撮像画像から、ユーザの手の形状を正確に抽出する必要がある。
ユーザの手の形状を抽出するための抽出技術としては、画像のパターンマッチングを用いるパターンマッチング方法、ユーザの肌領域を抽出する肌領域抽出方法等が存在する。
パターンマッチング方法では、例えば、様々な形状やサイズの手を撮像して得られる複数の形状画像を予め学習しておき、撮像画像と最も類似する形状画像（例えば、対応する画素の画素値どうしの差の総和が最小となる形状画像）に表示された手の形状を、ユーザの手の形状として抽出する。
しかしながら、このパターンマッチング方法では、形状画像の撮像時とは異なる条件（例えば、撮像方向、照明の度合い、背景、及び撮像時の被写体の大きさ等）により、撮像画像が撮像された場合、ユーザの手の形状を正確に抽出することができないことが生じ得る。
特に、手の形状を抽出する場合において、撮像画像内の手の形状と、形状画像内の手の形状とが大きく異なるときや、撮像画像内の手が顔等と重なった状態となっているとき等には、例えば顔の形状を抽出する場合等と比較して、正確に抽出することが困難である。
また、リアルタイムに、手の形状を抽出することが求められる場合には、パターンマッチングに必要な計算量が膨大となってしまうため、支障をきたすことが多い。
次に、肌領域抽出方法では、人間の肌の色を表す肌色情報を用いて、撮像画像内の、ユーザの肌を表す肌領域が抽出される。
しかしながら、肌色情報を用いる肌領域抽出方法では、肌の色とそれに近い色との分離が難しい。また、人種によって肌の色は異なるため、すべての人種に対して肌領域を適切に抽出することができない。
そこで、昨今、波長に対する肌の反射率変化が、人種に拘らず、同様であることを用いて、撮像画像内の肌領域を抽出する分光反射率特性を使った抽出技術が提案されている（例えば、非特許文献１を参照）。
鈴木康弘等著,電学論Ｃ（近赤外マルチバンドによる肌検出手法の提案）,日本,２００７年,１２７巻４号
しかしながら、上述した従来の分光反射率特性を使った抽出技術では、例えば、撮像画像内に、肌領域として、被写体の顔と手とが存在する場合、顔と手との両方の形状を肌領域として抽出してしまい、手の形状のみを肌領域として抽出することが困難である。
本発明は、このような状況に鑑みてなされたものであり、一連の処理に要する演算量の増加を抑えつつ、ユーザを撮像して得られる撮像画像から、ユーザの正確な手の形状等を高速に抽出できるようにするものである。
本発明の一側面の情報処理装置は、ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置であって、第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を前記ユーザに照射する照射手段と、前記ユーザに照射された前記第１の波長の光の反射光を受光して得られる第１の画像、及び前記ユーザに照射された前記第２の波長の光の反射光を受光して得られる第２の画像を取得する取得手段と、前記第１及び第２の画像に基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段とを含み、前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出する情報処理装置である。
前記形状領域抽出手段では、前記表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記肌領域から前記形状領域を抽出するための抽出用領域を検出し、検出した前記抽出用領域に基づいて、前記肌領域上の前記形状領域を抽出するようにすることができる。
前記形状領域抽出手段では、前記表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記抽出用領域を抽出するためのマスク閾値を決定し、決定した前記マスク閾値を用いて前記抽出用領域を検出するようにすることができる。
前記形状領域抽出手段では、前記マスク閾値として、下限を表す下限閾値、及び上限を表す上限閾値を決定し、決定した前記下限閾値及び前記上限閾値を用いて前記抽出用領域を検出するようにすることができる。
前記肌領域抽出手段では、前記第１及び第２の画像の、対応する画素の輝度値どうしの差分に基づいて、前記肌領域を抽出するようにすることができる。
前記第１及び第２の波長以外の波長の光を遮断し、前記第１及び第２の波長の光のみを通過させる遮断手段と、前記遮断手段を通過した前記第１の波長の光を受光して、前記第１の画像を、前記遮断手段を通過した前記第２の波長の光を受光して、前記第２の画像を、それぞれ生成する生成手段とをさらに設けることができ、前記取得手段では、前記生成手段により生成された前記第１及び第２の画像を取得するようにすることができる。
前記照射手段では、人間の肌に対して、前記第１の波長の光を照射して得られる反射光の反射率と、前記第２の波長の光を照射して得られる反射光の反射率との差分絶対値が、所定の閾値以上となる場合の前記第１及び第２の波長の光を照射するようにすることができる。
前記照射手段では、940[nm]以上の前記第１の波長の光を照射し、940[nm]未満の前記第２の波長の光を照射するようにすることができる。
本発明の一側面の情報処理方法は、ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置の情報処理方法であって、前記情報処理装置は、照射手段と、取得手段と、肌領域抽出手段と、形状領域抽出手段とを含み、前記照射手段が、第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を前記ユーザに照射し、前記取得手段が、前記ユーザに照射された前記第１の波長の光の反射光を受光して得られる第１の画像、及び前記ユーザに照射された前記第２の波長の光の反射光を受光して得られる第２の画像を取得し、前記肌領域抽出手段が、前記第１及び第２の画像に基づいて、前記ユーザの肌を表す肌領域を抽出し、前記形状領域抽出手段が、前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出するステップを含み、前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出する情報処理方法である。
本発明の一側面のプログラムは、ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置であって、第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を前記ユーザに照射する照射手段を含む前記情報処理装置を制御するコンピュータを、前記ユーザに照射された前記第１の波長の光の反射光を受光して得られる第１の画像、及び前記ユーザに照射された前記第２の波長の光の反射光を受光して得られる第２の画像を取得する取得手段と、前記第１及び第２の画像に基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段として機能させ、前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出するプログラムである。
本発明の一側面によれば、第１の波長の光、及び第１の波長とは異なる第２の波長の光がユーザに照射され、ユーザに照射された第１の波長の光の反射光を受光して得られる第１の画像、及びユーザに照射された第２の波長の光の反射光を受光して得られる第２の画像が取得され、取得された第１及び第２の画像に基づいて、ユーザの肌を表す肌領域が抽出され、抽出された肌領域上のオブジェクトの形状を表す形状領域が抽出される。
本発明によれば、一連の処理に要する演算量の増加を抑えつつ、ユーザの正確な手の形状等を高速に抽出できる。
情報処理システムの構成例を示すブロック図である。 情報処理装置の構成例を示すブロック図である。 人間の肌の反射特性の一例を示す図である。 第１及び第２の撮像画像の一例を示す図である。 ２値化部で生成される２値化肌画像の一例を示す図である。 肌抽出部で抽出される肌画像の一例を示す図である。 肌画像のヒストグラムの一例を示す図である。 マスク画像生成部で生成されるマスク画像の一例を示す図である。 形状抽出部により生成される抽出画像の一例を示す図である。 形状抽出処理を説明するためのフローチャートである。 FFT閾値決定処理に用いる第１の撮像画像を示す図である。 FFT閾値決定処理を説明するためのフローチャートである。 カメラの相対感度特性を示す図である。 LEDの配置方法を示す図である。 コンピュータの構成例を示すブロック図である。
以下、発明を実施するための形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 本実施の形態（ユーザの手の形状を抽出する例）
２． 変形例
＜１．本実施の形態＞
[情報処理システム１の構成例]
図１は、本実施の形態である情報処理システム１の構成例を示している。
この情報処理システム１は、ユーザの手を用いたジェスチャ（又はポスチャ）に応じて所定の処理を実行するものであり、情報処理装置２１、カメラ２２、及び発光装置２３により構成される。
情報処理システム１に対して所定の処理を実行させるため、ユーザは、（カメラ２２のレンズ面の前で）自身の手の形状を変化させる。
このとき、情報処理システム１では、ユーザの手の形状を認識し、その認識結果に対応して所定の処理を実行する。
なお、本実施の形態では、ユーザは、カメラ２２のレンズ面の前で手の形状を変化させるものとし、ユーザは、自身の手を、顔や胸等よりもカメラ２２のレンズ面に近い位置に出してジェスチャ（又はポスチャ）を行うものとする。
情報処理装置２１は、カメラ２２及び発光装置２３を制御する。また、情報処理装置２１は、カメラ２２の撮像により得られる撮像画像に基づいて、ユーザの手の形状を認識し、その認識結果に対応して所定の処理を実行する。
カメラ２２は、ユーザ等の被写体の撮像に用いるレンズを有しており、そのレンズの前面は、可視光を遮断する可視光カットフィルタ２２aにより覆われている。
このため、日光、或いは蛍光灯の赤外成分を除けば、カメラ２２は、発光装置２３によって被写体に照射される不可視光の反射光のみを受光し、その結果得られる撮像画像を、情報処理装置２１に供給することになる。
すなわち、例えば、カメラ２２は、発光装置２３によって被写体に照射される不可視光である第１の波長の光（例えば、870[nm]の近赤外線）の反射光のみを受光し、その結果得られる第１の撮像画像を、情報処理装置２１に供給する。
また、カメラ２２は、発光装置２３によって被写体に照射される不可視光であって、第１の波長とは異なる第２の波長の光（例えば、950[nm]の近赤外線）の反射光のみを受光し、その結果得られる第２の撮像画像を、情報処理装置２１に供給する。
発光装置２３は、第１の波長の光を発光するLED(light emitting diode)２３a1及び２３a2、並びに、第２の波長の光を発光するLED２３b1及び２３b2により構成される。
なお、以下において、LED２３a1及び２３a2を区別する必要がない場合には、LED２３a1及び２３a2を単にLED２３aという。また、LED２３b1及び２３b2を区別する必要がない場合には、LED２３b1及び２３b2を単にLED２３bという。
LED２３aとLED２３bとは、情報処理装置２１の制御にしたがって交互に発光する。
また、第１の波長の光の反射光、及び第２の波長の光の反射光それぞれにおいて、カメラ２２により受光される反射光の強度（光量）が同じになるように、LED２３aとLED２３bの出力は調整されている。
さらに、LED２３aとLED２３bとは、図１に示すように、交互に碁盤の目状に配置されており、LED２３a及び２３bの前面には、LED２３a及び２３bにより発光される光を均一に拡散させる拡散板２３cが設けられている。これにより、被写体には、第１又は第２の波長の光がむらなく照射される。
なお、発光装置２３は、LED２３aやLED２３bから発光される光が、少なくともユーザの手に確実に照射される位置に配置される。本実施の形態では、ユーザは、カメラ２２のレンズ面の前で手の形状を変化させることから、発光装置２３は、例えば、カメラ２２と近接された状態で配置される。
[情報処理装置２１の構成例]
図２は、情報処理装置２１の構成例を示している。
情報処理装置２１は、制御部４１、２値化部４２、肌抽出部４３、閾値決定部４４、マスク画像生成部４５、及び形状抽出部４６により構成される。
制御部４１は、発光装置２３を制御し、LED２３aとLED２３bとを交互に発光させる。
２値化部４２には、カメラ２２から、第１の撮像画像及び第２の撮像画像が供給される。２値化部４２は、カメラ２２から供給される第１及び第２の撮像画像に基づいて、第１の撮像画像から、ユーザの肌を表す肌領域と、肌領域以外の領域とを抽出（検出）する。
そして、２値化部４２は、抽出した肌領域を構成する画素の画素値と、肌領域以外の領域を構成する画素の画素値とがそれぞれ異なる値（例えば、０と１）に２値化された２値化肌画像を生成し、肌抽出部４３及び形状抽出部４６に供給する。
肌抽出部４３及びマスク画像生成部４５には、カメラ２２から第１の撮像画像が供給される。
肌抽出部４３は、２値化部４２から供給される２値化肌画像に基づいて、カメラ２２からの第１の撮像画像から、２値化肌画像内の肌領域に対応する領域（ユーザの肌部分が表示された領域）を抽出する。
そして、肌抽出部４３は、抽出した領域を含む肌画像を生成し、閾値決定部４４に供給する。なお、肌抽出部４３は、抽出した領域を肌画像として、閾値決定部４４に供給するようにしてもよい。
閾値決定部４４は、肌抽出部４３からの肌画像に基づいて、肌画像（を構成する画素の輝度値）のヒストグラムを作成する。そして、閾値決定部４４は、作成した肌画像のヒストグラムに基づいて、後述するマスク画像を生成するために用いられるマスク閾値を決定し、マスク画像生成部４５に供給する。
マスク画像生成部４５は、閾値決定部４４からのマスク閾値に基づいて、カメラ２２から供給される第１の撮像画像からマスク画像を生成し、形状抽出部４６に供給する。
なお、マスク画像とは、第１の撮像画像内の領域のうち、マスク閾値により特定される輝度値の範囲に含まれる輝度値の画素により構成されるマスク領域と、それ以外の領域である非マスク領域とに２値化された画像をいう。
形状抽出部４６は、マスク画像生成部４５からのマスク画像に基づいて、２値化部４２からの２値化肌画像から、マスク画像内のマスク領域に対応する領域として、例えばユーザの手の形状を表す形状領域を抽出する。
そして、形状抽出部４６は、抽出した形状領域に基づいて、手の形状を認識し、その認識結果に応じた処理を行い、その処理結果を後段に出力する。
なお、２値化部４２は、第１の撮像画像から、肌領域と、肌領域以外の領域を抽出するようにしたが、第２の撮像画像から、肌領域と、肌領域以外の領域を抽出するようにしてもよい。この場合、肌抽出部４３及びマスク画像生成部４５には、第１の撮像画像に代えて、カメラ２２から、第２の撮像画像が供給される。
そして、肌抽出部４３は、第２の撮像画像から肌画像を生成し、マスク画像生成部４５は、第２の撮像画像からマスク画像を生成することとなる。
[２値化肌画像の生成]
次に、図３乃至図５を参照して、２値化部４２が、２値化肌画像を生成する処理の詳細を説明する。
なお、図３及び図４では、カメラ２２の撮像により得られる第１の撮像画像、及び第２の撮像画像について説明する。また、図５では、第１の撮像画像、及び第２の撮像画像に基づいて、２値化部４２により生成される２値化肌画像について説明する。
図３は、波長の異なる照射光に対する人間の肌の反射特性を示している。
なお、この反射特性は、人間の肌の色の違い（人種の違い）や状態（日焼け等）等に拘らず、一般性があるものである。
図３において、横軸は、人間の肌に照射する光の波長を示しており、縦軸は、人間の肌に照射された光の反射率を示している。
人間の肌に照射された光の反射率は、800[nm]付近をピークとして、900[nm]付近から急激に減少し、1000[nm]付近を極小値として再び上昇することが知られている。
具体的には、例えば、図３に示されるように、人間の肌に対して、870[nm]の光を照射して得られる反射光の反射率は63[%]であり、950[nm]の光を照射して得られる反射光の反射率は50[%]である。
これは、人間の肌について特有のものであり、人間の肌以外の物体（例えば、頭髪や衣服等）では、800乃至1000[nm]付近において、反射率の変化は緩やかとなっていることが多い。
次に、図４を参照して、カメラ２２の撮像により得られる第１及び第２の撮像画像を説明する。
図４は、ユーザに照射される870[nm]の光の反射光を受光して得られる第１の撮像画像、及びユーザに照射される950[nm]の光の反射光を受光して得られる第２の撮像画像それぞれの一例を示している。
図４Aには、ユーザの肌領域として、ユーザの顔６１及び手６２が表示されており、ユーザの肌領域以外の領域として、ユーザが着用しているシャツ６３、及び背景６４が表示された第１の撮像画像が示されている。
また、図４Bには、ユーザの肌領域として、ユーザの顔８１及び手８２が表示されており、ユーザの肌領域以外の領域として、ユーザが着用しているシャツ８３、及び背景８４が表示された第２の撮像画像が示されている。
ここで、図３において上述したように、ユーザの肌部分における反射特性では、波長が870[nm]の光の反射率は、波長が950[nm]の光の反射率よりも大きくなっている。
したがって、870[nm]の光をユーザに照射する場合、カメラ２２のレンズには、ユーザの肌部分に照射された光の反射光として、950[nm]の光を照射する場合の反射光の明るさよりも明るい光が入射される。
このため、第１の撮像画像内の、ユーザの肌領域（顔６１及び手６２）を構成する画素の輝度値は、それぞれ、第２の撮像画像内の、ユーザの肌領域（顔８１及び手８２）を構成する画素の輝度値よりも大きな値となる。
したがって、第１の撮像画像内の、ユーザの肌領域を構成する画素の輝度値から、第２の撮像画像内の、対応するユーザの肌領域を構成する画素の輝度値それぞれを差し引いて得られる差分は、正の値となる。
これに対して、ユーザの肌部分以外の部分における反射特性では、波長が870[nm]の光の反射率は、波長が950[nm]の光の反射率と変わらないか、それよりも小さくなっていることが多い。
したがって、870[nm]の光をユーザに照射する場合、カメラ２２のレンズには、ユーザの肌部分以外の部分に照射された光の反射光として、950[nm]の光を照射する場合の反射光の明るさと同じ明るさの光か、それよりも暗い光が入射される。
このため、第１の撮像画像内の、ユーザの肌領域以外の領域（シャツ６３及び背景６４）を構成する画素の輝度値は、それぞれ、第２の撮像画像内の、ユーザの肌領域以外の領域（シャツ８３及び背景８４）を構成する画素の輝度値と同じ値か、その値よりも小さい値となる。
したがって、第１の撮像画像内の、ユーザの肌部分以外の部分を構成する画素の輝度値から、第２の撮像画像内の、対応するユーザの肌部分の部分を構成する画素の輝度値それぞれを差し引いて得られる差分は、値０以下の値（正でない値）となる。
このため、２値化部４２は、第１の撮像画像と第２の撮像画像との、対応する画素の輝度値どうしの差分を算出し、算出した差分に基づいて、ユーザの肌領域と、ユーザの肌領域以外の領域とを抽出する。そして、２値化部４２は、抽出したユーザの肌領域を値１とし、抽出したユーザの肌領域以外の領域を値０とした２値化肌画像を生成する。
すなわち、例えば、２値化部４２は、算出した差分が正である場合、対応する画素をユーザの肌領域を構成する画素として抽出し、算出した差分が正でない場合、対応する画素をユーザの肌領域以外の領域を構成する画素として抽出する。
そして、２値化部４２は、ユーザの肌領域を構成する画素として抽出した画素の値を１に設定し、ユーザの肌領域以外の領域を構成する画素として抽出した画素の値を０に設定することにより、２値化肌画像を生成し、肌抽出部４３及び形状抽出部４６に供給する。
なお、ユーザの肌部分以外の部分における反射率によっては、肌部分以外の部分において算出された差分が、肌部分において算出された差分よりは小さいものの、正の値となることが生じ得る。したがって、差分が正であっても、所定の閾値未満である場合には、ユーザの肌部分以外の部分であるとして、値０を設定するように構成することが望ましい。
また、２値化部４２は、第１の撮像画像と第２の撮像画像との、対応する画素の輝度値どうしの差分絶対値を算出し、算出した差分絶対値が所定の閾値以上であるか否かに基づいて、ユーザの肌部分（肌領域）と、それ以外の部分（肌領域以外の領域）とを抽出して、２値化肌画像を生成するようにしてもよい。
これは、反射特性により、ユーザの肌部分に対応する差分絶対値は比較的大きな値となり、ユーザの肌部分以外の部分に対応する差分絶対値は比較的小さな値となることを利用している。
次に、図５は、２値化部４２により生成される２値化肌画像の一例を示している。
図５に示す２値化肌画像において、黒色で示す部分は、値１で表される肌領域を示している。この肌領域は、ユーザの顔の肌部分を示す顔領域１０１、及びユーザの手の肌部分を示す手領域１０２により構成されている。
なお、図面の都合上、図５に示す顔領域１０１には、顔の肌部分の他、眉毛や目、髪の毛等も記載しているが、実際には、顔領域１０１は、顔の肌部分のみにより構成される。
さらに、図５に示す２値化肌画像において、白色で示す部分は、値０で表される、肌領域以外の領域を示している。
２値化部４２は、生成した２値化肌画像を、肌抽出部４３及び形状抽出部４６に供給する。
肌抽出部４３は、２値化部４２からの２値化肌画像に基づいて、カメラ２２から供給される第１の撮像画像から、２値化肌画像内の顔領域１０１及び手領域１０２に対応する領域（顔６１と手６２とが表示された領域）を抽出する。そして、肌抽出部４３は、抽出した領域を含む肌画像を生成する。
[肌画像の生成]
次に、図６を参照して、肌抽出部４３が、２値化部４２からの２値化肌画像に基づいて、第１の撮像画像から肌画像を生成する処理を説明する。
図６は、肌抽出部４３により抽出される肌画像の一例を示している。図６に示す肌画像には、ユーザの顔６１及び手６２が表示されている。
なお、図面の都合上、図６に示す肌画像には、ユーザの顔６１として、顔の肌部分の他、眉毛や目、髪の毛等も記載しているが、実際には、図６に示す顔６１は、顔の肌部分のみを表している。
肌抽出部４３は、２値化部４２からの２値化肌画像と、カメラ２２からの第１の撮像画像との対応する画素の輝度値どうしを、それぞれ乗算する。
そして、肌抽出部４３は、第１の撮像画像を構成する画素のうち、その乗算結果が０でない画素により構成される領域（顔６１と手６２とが表示された領域）を抽出し、抽出した領域を含む肌画像を生成する。
これにより、第１の撮像画像内の領域のうち、２値化肌画像の顔領域１０１に対応する領域に含まれる顔６１、及び２値化肌画像の手領域１０２に対応する領域に含まれる手６２については、そのまま抽出され、２値化肌画像の肌領域以外の領域に対応する領域（図６において白色で示す）については、その輝度値が値２５５とされて、第１の撮像画像から、図６に示すような肌画像が生成される。
肌抽出部４３は、生成した肌画像を、閾値決定部４４に供給する。
閾値決定部４４は、肌抽出部４３からの肌画像に基づいて、マスク画像を生成するために用いられるマスク閾値を決定する。
[マスク閾値の決定]
次に、図７を参照して、閾値決定部４４がマスク閾値を決定する処理の詳細を説明する。
図７は、肌画像のヒストグラムの一例を示している。
図７において、横軸は、肌画像を構成する画素の輝度値を示している。また、縦軸は、横軸の輝度値に対応する画素の画素数を示している。
なお、図７のヒストグラムにおいて、本来ならば、図６の肌画像において、白色部分で表された領域を構成する画素の輝度値２５５についての画素数も表示されるが、輝度値２５５についての画素数は、マスク閾値を決定するために用いられないため、図示を省略している。
閾値決定部４４は、肌抽出部４３からの肌画像を構成する画素の輝度値について、図７に示されたようなヒストグラムを作成する。
図７のヒストグラムでは、輝度値０から輝度値５４までの間と、輝度値５５から輝度値１１０までの間に、多くの画素数が偏って表示されている。
ところで、上述したように、カメラ２２から近い位置に手が存在し、カメラ２２から遠い位置に顔や胸等が存在することを前提としている。
また、例えば、発光装置２３のLED２３a及びLED２３bは、カメラ２２に近接した状態で発光するため、カメラ２２（発光装置２３）から近い位置に存在するユーザの部位（いまの場合、手）ほど輝度値が大きくなり、カメラ２２から遠い位置に存在するユーザの部位（いまの場合、顔等）ほど輝度値が小さくなる。
したがって、カメラ２２から近い位置に存在する手の肌部分を構成する画素の輝度値は、カメラ２２から遠い位置に存在する顔の肌部分を構成する画素の輝度値よりも大きな値となる。
このため、輝度値０から輝度値５４まで輝度値は、顔６１（の領域）を構成する画素の輝度値であり、輝度値５５から輝度値１１０まで輝度値は、手６２を構成する画素の輝度値である。
閾値決定部４４は、画素数が極小となるときの輝度値（この例では輝度値５５）を下限閾値Th_Lに決定するとともに、最大の輝度値（この例では輝度値１１０）を上限閾値Th_Hに決定する。
そして、閾値決定部４４は、決定した下限閾値Th_L及び上限閾値Th_Hを、マスク閾値として、マスク画像生成部４５に供給する。
マスク画像生成部４５は、閾値決定部４４からのマスク閾値（下限閾値Th_L及び上限閾値Th_H）に基づいて、カメラ２２からの第１の撮像画像から、マスク領域と非マスク領域とを検出し、検出したマスク領域と非マスク領域とが、それぞれ異なる値に２値化されたマスク画像を生成する。
[マスク画像の生成]
次に、図８を参照して、マスク画像生成部４５が、閾値決定部４４からのマスク閾値に基づいて、マスク画像を生成する処理の詳細を説明する。
図８はマスク画像の一例を示している。図８に示すマスク画像において、黒色で示されるマスク領域１２１は、対応する第１の撮像画像内の領域において、輝度値が下限閾値Th_L以上であって、上限閾値Th_H以下である領域を示している。
また、図８に示すマスク画像において、白色で示される非マスク領域は、対応する第１の撮像画像内の領域において、下限閾値Th_L未満であるか、又は、上限閾値Th_Hよりも大きいである領域を示している。
マスク画像生成部４５は、カメラ２２からの第１の撮像画像を構成する画素の輝度値が、下限閾値Th_L以上であって、上限閾値Th_H以下である場合には、その輝度値の画素をマスク領域に含まれる画素として検出し、その輝度値を値１に変換する。
また、マスク画像生成部４５は、カメラ２２からの第１の撮像画像を構成する画素の輝度値が、下限閾値Th_L未満であるか、又は、上限閾値Th_Hよりも大きいである場合には、その輝度値の画素を非マスク領域に含まれる画素として検出し、その輝度値を値０に変換する。
これにより、マスク画像生成部４５は、値１を有する画素により構成されるマスク領域１２１（黒色で示す）と、値０を有する画素により構成される非マスク領域（白色で示す）とにより構成されるマスク画像を生成し、形状抽出部４６に供給する。
形状抽出部４６は、マスク画像生成部４５からのマスク画像に基づいて、２値化部４２からの２値化肌画像内の顔領域１０１及び手領域１０２から、マスク画像内のマスク領域１２１に対応する領域として、例えばユーザの手の形状を表す形状領域を抽出する。
[手の形状の抽出]
次に、図９を参照して、形状抽出部４６が、２値化肌画像から、ユーザの手の形状等を抽出する処理の詳細を説明する。
図９は、形状抽出部４６により抽出される形状領域を含む抽出画像の表示例を示している。
図９に示す抽出画像において、形状領域１４１は、ユーザの手の形状を表している。
形状抽出部４６は、マスク画像生成部４５からのマスク画像を構成する画素の値と、対応する、２値化部４２からの２値化肌画像を構成する画素の値とを、それぞれ乗算する。
そして、形状抽出部４６は、その乗算結果が０でない２値化肌画像内の領域、すなわち、２値化肌画像内の顔領域１０１及び手領域１０２（図５）のうち、マスク画像内のマスク領域１２１（図８）と重なる部分を、形状領域１４１として抽出する。
また、形状抽出部４６は、抽出した形状領域１４１に基づいて、ユーザの手の形状を認識し、その認識結果に応じた処理を行う。
なお、図８に示されたマスク画像内のマスク領域１２１には、ユーザの手の他、ユーザが着用しているシャツが含まれている。
しかしながら、２値化肌画像内の顔領域１０１及び手領域１０２には、ユーザが着用しているシャツは含まれないため、形状抽出部４６では、シャツの形状を表す領域を抽出することなく、手の形状のみを表す形状領域１４１を正確に抽出することができる。
[形状抽出処理の動作説明]
次に、情報処理システム１が、ユーザの手の形状等を抽出する形状抽出処理の詳細を説明する。
図１０は、形状抽出処理を説明するためのフローチャートである。なお、この形状抽出処理は、情報処理システム１の電源がオンされたときから繰り返し実行される。
以下、ユーザが、カメラ２２の前に存在するときに行われた形状抽出処理について説明する。
ステップＳ１において、制御部４１は、発光装置２３のLED２３aを制御し、第１の波長の光の発光を開始させる。なお、制御部４１は、LED２３bが発光している場合には、LED２３bの発光を停止した上で、LED２３aの発光を開始させる。
ステップＳ２において、カメラ２２は、第１の波長の光が照射されているユーザを撮像し、その結果得られる第１の撮像画像を、情報処理装置２１に供給する。
ステップＳ３において、制御部４１は、発光装置２３のLED２３aを制御し、第１の波長の光の発光を停止させ、発光装置２３のLED２３bを制御し、第２の波長の光の発光を開始させる。
ステップＳ４において、カメラ２２は、第２の波長の光が照射されているユーザを撮像し、その結果得られる第２の撮像画像を、情報処理装置２１に供給する。
ステップＳ５において、２値化部４２は、カメラ２２から供給される第１の撮像画像と第２の撮像画像との対応する画素の輝度値どうしの差分に基づいて、図５に示したような２値化肌画像を生成し、肌抽出部４３及び形状抽出部４６に供給する。
ステップＳ６において、肌抽出部４３は、２値化部４２から供給される２値化肌画像に基づいて、カメラ２２からの第１の撮像画像から、２値化肌画像内の肌領域に対応する領域（ユーザの肌部分が表示された領域）を抽出する。
そして、肌抽出部４３は、抽出した領域を含む肌画像を生成し、閾値決定部４４に供給する。
ステップＳ７において、閾値決定部４４は、肌抽出部４３からの肌画像を構成する画素の輝度値に基づいて、図７に示したような肌画像のヒストグラムを作成する。
ステップＳ８において、閾値決定部４４は、作成した肌画像のヒストグラムに基づいて、画素数が極小となるときの輝度値を下限閾値Th_Lに決定するとともに、最大の輝度値を上限閾値Th_Hに決定する。
そして、閾値決定部４４は、決定した下限閾値Th_L及び上限閾値Th_Hを、マスク閾値として、マスク画像生成部４５に供給する。
ステップＳ９において、マスク画像生成部４５は、閾値決定部４４からのマスク閾値（下限閾値Th_L及び上限閾値Th_H）に基づいて、カメラ２２からの第１の撮像画像を２値化して、図８に示したようなマスク画像を生成し、形状抽出部４６に供給する。
ステップＳ１０において、形状抽出部４６は、マスク画像生成部４５からのマスク画像に基づいて、２値化部４２からの２値化肌画像から、マスク画像内のマスク領域に対応する領域として、例えばユーザの手の形状を表す抽出領域を抽出する。
そして、形状抽出部４６は、抽出した抽出領域により手の形状を認識し、その認識結果に応じた処理を行い、その処理結果を後段に出力する。
以上で形状抽出処理は終了される。
以上説明したように、形状抽出処理では、マスク閾値に基づいて、１台のカメラ２２により撮像された第１の撮像画像からマスク画像を生成し、生成したマスク画像に基づいて、２値化肌画像から、ユーザの手の形状を抽出するようにした。
したがって、例えば、複数のカメラにより撮像された複数の撮像画像に基づいて、カメラとユーザの手等との距離を表す距離画像を生成し、その距離画像をマスク画像として用いて、ユーザの手の形状を抽出する場合と比較して、マスク画像を生成するために要する計算量を少なくすることができるとともに、より少ない部品数で、ユーザの手の形状等を抽出することが可能となる。
また、形状抽出処理では、カメラ２２からユーザの顔までの距離と、カメラ２２から手までの距離の違いに基づいて、肌部分として、顔の肌部分が含まれずに、手の肌部分のみが含まれるマスク領域１２１と、非マスク領域からなるマスク画像を生成するようにした。
このため、２値化肌画像において、抽出すべき手を含む手領域１０２と、手以外の肌部分である顔を含む顔領域１０１が重なっている場合でも、マスク領域１２１には、肌部分として、顔の肌部分は含まれずに手の肌部分のみが含まれるため、２値化肌画像から、手領域１０２のみを抽出することができる。
よって、正確に、ユーザの手の形状を抽出することが可能となる。
さらに、形状抽出処理では、LED２３a及びLED２３bから、人間には見ることができない不可視な近赤外線（の光）を発光させるようにした。
したがって、ユーザは、LED２３a及びLED２３bから発光される光を視認することができないため、LED２３a及びLED２３bから発光される光が眩しいことにより、ユーザに不愉快な思いをさせることがない。
また、情報処理システム１の発光装置２３において、LED２３a及びLED２３bの前面に拡散板２３cを設けるようにした。
このため、LED２３a及び２３bにより発光される不可視光が均一に拡散されるため、光量によるむらのない均一な光が被写体に照射される。
これにより、被写体に照射される不可視光の反射光が、光量によるむらのない均一な光としてカメラ２２により受光されるため、カメラ２２において、光量によるむらのない第１及び第２３の撮像画像を得ることができる。
したがって、情報処理システム１では、手の形状等を抽出するために、光量によるむらのない第１及び第２の撮像画像を用いるため、例えば、光量によるむらのある第１及び第２の撮像画像を用いる場合と比較して、より正確に手の形状等を抽出することが可能となる。
なお、情報処理システム１では、ユーザが手の形状を変化させる毎に、変化後の手の形状を認識することができるように、例えば、形状抽出処理を開始したときから80[ms]程度で手の形状を抽出できるように構成することが望ましい。
＜２．変形例＞
上述した形状抽出処理では、形状抽出処理が行われる毎に、ステップＳ６乃至ステップＳ８の処理により、肌画像を抽出し、抽出した肌画像のヒストグラムに基づいて、マスク閾値（下限閾値Th_L及び上限閾値Th_H）を決定するようにしたが、これに限定されない。
すなわち、例えば、形状抽出処理では、形状抽出処理が行われた場合に、以前のステップＳ６乃至ステップＳ８において決定したマスク閾値をそのまま用いるようにしてもよい。
この場合、ステップＳ６乃至ステップＳ８による処理を省略することができるため、形状抽出処理による手の形状等の抽出を迅速に行うことが可能となる。
また、形状抽出処理を行う前に、ステップＳ６乃至ステップＳ８による処理と同様の処理を行うことにより、予めマスク閾値を決定するようにしておいても、形状抽出処理において、ステップＳ６乃至ステップＳ８による処理を省略することが可能となる。
なお、形状抽出処理を行う前に、予めマスク閾値を決定する処理として、その他、例えば、ユーザの手領域を構成する画素の輝度値の平均値に基づいて、マスク閾値を決定することが可能である。
[マスク閾値の決定方法]
次に、図１１を参照して、閾値決定部４４が、ユーザの手領域を構成する画素の輝度値の平均値に基づいて、マスク閾値を決定するFFT（fast fourier transform、高速フーリエ変換）閾値決定処理を説明する。
図１１は、870[nm]の光が照射されているユーザを撮像して得られる第１の撮像画像の一例を示している。
なお、FFT閾値決定処理を行う場合、閾値決定部４４には、手を振っているユーザをカメラ２２により撮像して得られる、複数の第１の撮像画像が、カメラ２２から供給される。
閾値決定部４４は、複数の第１の撮像画像に対して、FFT処理を行い、一定の周波数で動いている、第１の撮像画像内の手領域を検出する。
そして、閾値決定部４４は、検出した手領域の一部である矩形領域１６１を構成する画素の輝度値の平均値ave_Lを算出する。
また、閾値決定部４４は、平均値ave_Lから調整値aを差し引いて得られる値ave_L-aを、下限閾値Th_Lに決定し、平均値ave_Lから調整値bを加算して得られる値ave_L+bを、上限閾値Th_Hに決定する。
なお、調整値a及びｂは、平均値ave_Lを調整して、下限閾値Th_L及び上限閾値Th_Hを決定するために用いられる値である。
この調整値a及びｂは、LED２３aや２３bから発光される光の強度（光量）、カメラ２２からユーザまでの距離、及びカメラ２２に用いられるCCD(charge coupled device image sensor)による光の感度に応じて算出される変数であるが、実際には、実験的に算出されることが多い。
[FFT閾値決定処理による動作説明]
次に、閾値決定部４４が、ユーザの手領域を構成する画素の輝度値の平均値に基づいて、マスク閾値を決定するFFT閾値決定処理を説明する。
図１２は、FFT閾値決定処理を説明するためのフローチャートである。このFFT閾値決定処理は、例えば、情報処理システムの電源をオンしたときであって、形状抽出処理が行われる前に開始される。
ステップＳ３１において、制御部４１は、発光装置２３のLED２３aを制御し、第１の波長の光の発光を開始させる。
ステップＳ３２において、制御部４１は、情報処理装置２１に設けられた図示せぬディスプレイやスピーカ等を制御して、ユーザに手を振る動作の開始を指示する。
ステップＳ３３において、カメラ２２は、手を振る動作を行っているユーザを撮像し、その結果得られる複数の第１の撮像画像を、情報処理装置２１の閾値決定部４４に供給する。
ステップＳ３４において、閾値決定部４４は、複数の第１の撮像画像に対して、FFT処理を行い、一定の周波数で動いている、第１の撮像画像内の手領域を検出する。
ステップＳ３５において、閾値決定部４４は、検出した手領域の一部である矩形領域１６１を構成する画素の輝度値の平均値ave_Lを算出する。
ステップＳ３６、閾値決定部４４は、平均値ave_Lから調整値aを差し引いて得られる値ave_L-aを、下限閾値Th_Lに決定し、平均値ave_Lから調整値bを加算して得られる値ave_L+bを、上限閾値Th_Hに決定する。
以上でFFT閾値決定処理は終了される。FFT閾値決定処理では、上述したように、形状抽出処理が行われる前に、マスク閾値を決定するようにしたので、形状抽出処理において、ステップＳ６乃至ステップＳ８の処理を省略でき、より迅速に手の形状等を抽出することが可能となる。
なお、FFT閾値決定処理では、複数の第１の撮像画像に対して、FFT処理を行うことにより、第１の撮像画像内の手領域を検出し、その手領域内の画素を構成する輝度値の平均値に基づいてマスク閾値（下限閾値Th_L及び上限閾値Th_H）を決定するようにしたが、これに限定されない。
すなわち、例えば、FFT閾値決定処理では、手を振っているユーザをカメラ２２により撮像して得られる、複数の第２の撮像画像に対して、FFT処理を行うことにより、第２の撮像画像内の手領域を検出し、その手領域内の画素を構成する輝度値の平均値に基づいてマスク閾値を決定するようにしてもよい。
本実施の形態において、２値化部４２は、第１の撮像画像から、ユーザの肌領域、及びユーザの肌領域以外の領域を抽出し、抽出した肌領域、及び肌領域以外の領域により構成される２値化肌画像を、肌抽出部４３及び形状抽出部４６に供給するようにしたが、これに限定されない。
すなわち、例えば、２値化部４２は、第１の撮像画像から、ユーザの肌領域を抽出し、少なくとも、抽出した肌領域を含む２値化肌画像を、肌抽出部４３及び形状抽出部４６に供給するようにしてもよい。
この場合、肌抽出部４３は、カメラ２２からの第１の撮像画像から、２値化部４２からの２値化肌画像に含まれる肌領域に対応する領域を抽出する。また、形状抽出部４６は、２値化部４２からの２値化肌画像に含まれる肌領域から、形状領域を抽出する。
本実施の形態において、マスク画像生成部４５は、例えば第１の撮像画像から、マスク領域及び非マスク領域を検出し、検出したマスク領域及び非マスク領域により構成されるマスク画像を生成するようにしたが、これに限定されない。
すなわち、例えば、マスク画像生成部４５は、２値化肌画像から形状領域を抽出するための抽出用領域として、マスク領域のみを検出し、少なくとも、検出したマスク領域を含むマスク画像を生成するようにしてもよい。この場合、形状抽出部４６では、２値化部４２からの２値化肌画像内の肌領域のうち、マスク画像内のマスク領域に対応する領域が、形状領域として抽出される。
また、例えば、マスク画像生成部４５は、抽出用領域として、非マスク領域のみを検出し、少なくとも、検出した非マスク領域を含むマスク画像を生成するようにしてもよい。この場合、形状抽出部４６では、２値化部４２からの２値化肌画像内の肌領域のうち、マスク画像内の非マスク領域以外の領域に対応する領域が、形状領域として抽出される。
[カメラ２２、LED２３a、及びLED２３bの性能]
次に、図１３及び図１４を参照して、本出願人が、実際に形状抽出処理及びFFT閾値決定処理を行ったときの、情報処理システム１を構成するカメラ２２や発光装置２３の性能を説明する。
本出願人は、カメラ２２として、ソニー株式会社により製造されたビデオカメラを用いた。そのカメラ２２は、型番がXC-EI50であり、撮像素子として、1/2IT方式のCCDを用いている。
また、有効画素数は横×縦が768×494画素であり、レンズマウントとしてCマウント、走査方式として、525本のラインをインタレースにより走査する方式を採用している。
さらに、感度はF11(400[lx])であり、最低被写体深度は0.1[lx]である。また、カメラ２２の撮像により得られる撮像画像のS/N（signal to noise）比は60[dB]である。
さらに、カメラ２２において、カメラ２２に予め設けられたシャッタボタン（ノーマルシャッタ）によるシャッタ速度は、1/100乃至1/10000[sec]であり、カメラ２２の外部に接続されたレリーズスイッチ（外部トリガシャッタ）によるシャッタ速度は、1/4乃至1/10000[sec]である。
また、カメラ２２の外形寸法は、幅×高さ×奥行きが29×29×32[mm]であり、カメラ２２の重量は約50[g]である。さらに、カメラ２２の耐振動性は、70[G]である。
また、カメラ２２は、400[nm]の可視光領域から、1000[nm]の近赤外領域までの帯域の範囲内の感度を有する。
図１３は、カメラ２２の相対感度特性の一例を示している。
なお、図１３において、横軸は、カメラ２２のレンズに入射される波長を示しており、縦軸は、波長に対応する相対感度を示している。
また、本出願人は、発光装置２３として、図１４に示されるように、８個のLED２３a、及び８個のLED２３bを、互いに碁盤の目状に配置したものを用いた。
本出願人により実際に用いられたLED２３aとしては、870[nm]の光を発光するものを用いるとともに、LED２３bとしては、950[nm]の光を発光するものを用いた。
さらに、LED２３a及びLED２３bとして、直流順電流（絶対最大定格）が100[mA]であって、順電圧が1.6[V]であるものを用いた。
本出願人は、上述した性能のカメラ２２や、図１４に示されたように配置されたLED２３a及びLED２３bを用いて、形状抽出処理やFFT閾値決定処理を実際に行い、上述した顕著な作用効果を確認することができた。
本実施の形態では、マスク画像生成部４５は、閾値決定部４４からのマスク閾値に基づいて、カメラ２２からの第１の撮像画像から、マスク画像を生成するようにしたが、マスク画像の生成方法はこれに限定されない。
すなわち、例えば、マスク画像生成部４５は、それぞれ異なる方向を撮像する複数のカメラにより得られる撮像画像に基づいて、カメラからユーザまでの距離を表す距離画像を生成するステレオ処理を行い、その結果得られる距離画像をマスク画像として採用することが可能である。
この場合、形状抽出部４６は、マスク画像生成部４５から供給される距離画像内の、カメラから手までの距離を表す領域と、２値化部４２から供給される２値化肌画像内の顔領域１０１及び手領域１０２とが重なり合う部分を、ユーザの手の形状を表す形状領域１４１として抽出する。
また、マスク画像として、距離画像を生成する方法としては、ステレオ処理の他、赤外線等を照射したときから、ユーザに反射して戻ってくるまでの時間に基づいてユーザまでの距離を算出するレーザレンジファインダ等を用いて、ユーザの距離画像を生成することが可能である。
さらに、本実施の形態では、LED２３aにより発光される第１の波長を870[nm]とし、LED２３bにより発光される第２の波長を950[nm]としたが、波長の組合せはこれに限定されない。
すなわち、波長の組合せとしては、第１の波長における反射率と、第２の波長における反射率との差分絶対値が、ユーザの肌以外のものについて得られる反射率の差分絶対値と比較して、充分に大きくなる組合せであれば、どのような組合せでもよい。具体的には、図３から明らかなように、例えば、870[nm]と950[nm]との組合せの他、800[nm]と950[nm]との組合せ、870[nm]と1000[nm]との組合せ、800[nm]と1000[nm]との組合せ等が可能である。
なお、LED２３aから発光される光として、可視光を用いる場合には、可視光カットフィルタ２２aに代えて、LED２３aから発光される可視光のみを通過させて、カメラ２２のレンズに入射させるフィルタが用いられる。これは、LED２３bについても同様のことがいえる。
また、本実施の形態において、形状抽出処理では、LED２３a及びLED２３bを、それぞれ個別に発光させるようにしたが、LED２３a及びLED２３bを同時に発光させることにより、第１の撮像画像、及び第２の撮像画像を取得するように構成することが可能である。
すなわち、例えば、カメラ２２に代えて、カメラ２２と同様の機能を有する２台のカメラを近接させた状態で設けるようにし、２台のカメラのうち、一方のカメラの前面には、第１の波長の光のみを通過させるフィルタを設けるとともに、他方のカメラの前面には、第２の波長の光のみを通過させるフィルタを設けるように構成する。
この場合、LED２３a及びLED２３bを同時に発光させたとしても、一方のカメラには、第１の波長の光のみが入射されることから、一方のカメラにおいて、第１の撮像画像を得ることが可能となる。また、他方のカメラには、第２の波長の光のみが入射されることから、他方のカメラにおいて、第２の撮像画像を得ることが可能となる。
本実施の形態において、LED２３aの個数及びLED２３bの個数は、それぞれ、２個であるとして説明したが、それらの個数は、これに限定されない。
また、本実施の形態において、情報処理装置２１に所定の処理を実行させるために、ユーザの身体の部位を表すオブジェクトとして、手（の形状）を変化させるようにしたが、オブジェクトは手の他、例えばユーザの足等を採用することが可能である。
ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
[コンピュータの構成例]
次に、図１５は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した本実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１ 情報処理システム， ２１ 情報処理装置， ２２ カメラ， ２３ 発光装置， ４１ 制御部， ４２ ２値化部， ４３ 肌抽出部， ４４ 閾値決定部， ４５ マスク画像生成部， ４６ 形状抽出部

Claims (10)

  1. ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置において、
    第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を前記ユーザに照射する照射手段と、
    前記ユーザに照射された前記第１の波長の光の反射光を受光して得られる第１の画像、及び前記ユーザに照射された前記第２の波長の光の反射光を受光して得られる第２の画像を取得する取得手段と、
    前記第１及び第２の画像に基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、
    前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段と
    を含み、
    前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出する
    情報処理装置。
  2. 前記形状領域抽出手段は、
    前記表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記肌領域から前記形状領域を抽出するための抽出用領域を検出し、
    検出した前記抽出用領域に基づいて、前記肌領域上の前記形状領域を抽出する
    請求項１に記載の情報処理装置。
  3. 前記形状領域抽出手段は、
    前記表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記抽出用領域を抽出するためのマスク閾値を決定し、
    決定した前記マスク閾値を用いて前記抽出用領域を検出する
    請求項２に記載の情報処理装置。
  4. 前記形状領域抽出手段は、
    前記マスク閾値として、下限を表す下限閾値、及び上限を表す上限閾値を決定し、
    決定した前記下限閾値及び前記上限閾値を用いて前記抽出用領域を検出する
    請求項３に記載の情報処理装置。
  5. 前記肌領域抽出手段は、前記第１及び第２の画像の、対応する画素の輝度値どうしの差分に基づいて、前記肌領域を抽出する
    請求項１に記載の情報処理装置。
  6. 前記第１及び第２の波長以外の波長の光を遮断し、前記第１及び第２の波長の光のみを通過させる遮断手段と、
    前記遮断手段を通過した前記第１の波長の光を受光して、前記第１の画像を、前記遮断手段を通過した前記第２の波長の光を受光して、前記第２の画像を、それぞれ生成する生成手段と
    をさらに含み、
    前記取得手段は、前記生成手段により生成された前記第１及び第２の画像を取得する
    請求項１に記載の情報処理装置。
  7. 前記照射手段は、人間の肌に対して、前記第１の波長の光を照射して得られる反射光の反射率と、前記第２の波長の光を照射して得られる反射光の反射率との差分絶対値が、所定の閾値以上となる場合の前記第１及び第２の波長の光を照射する
    請求項１に記載の情報処理装置。
  8. 前記照射手段は、940[nm]以上の前記第１の波長の光を照射し、940[nm]未満の前記第２の波長の光を照射する
    請求項１に記載の情報処理装置。
  9. ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置の情報処理方法において、
    前記情報処理装置は、
    照射手段と、
    取得手段と、
    肌領域抽出手段と、
    形状領域抽出手段と
    を含み、
    前記照射手段が、第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を前記ユーザに照射し、
    前記取得手段が、前記ユーザに照射された前記第１の波長の光の反射光を受光して得られる第１の画像、及び前記ユーザに照射された前記第２の波長の光の反射光を受光して得られる第２の画像を取得し、
    前記肌領域抽出手段が、前記第１及び第２の画像に基づいて、前記ユーザの肌を表す肌領域を抽出し、
    前記形状領域抽出手段が、前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する
    ステップを含み、
    前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出する
    情報処理方法。
  10. ユーザの身体の所定の肌の部位を表すオブジェクトの形状を、前記ユーザを撮像して得られる撮像画像から抽出する情報処理装置であって、
    第１の波長の光、及び前記第１の波長とは異なる第２の波長の光を前記ユーザに照射する照射手段を含む前記情報処理装置を制御するコンピュータを、
    前記ユーザに照射された前記第１の波長の光の反射光を受光して得られる第１の画像、及び前記ユーザに照射された前記第２の波長の光の反射光を受光して得られる第２の画像を取得する取得手段と、
    前記第１及び第２の画像に基づいて、前記ユーザの肌を表す肌領域を抽出する肌領域抽出手段と、
    前記肌領域上の前記オブジェクトの形状を表す形状領域を抽出する形状領域抽出手段と
    して機能させ、
    前記形状領域抽出手段は、前記オブジェクトと、前記肌領域上の前記形状領域以外の領域に対応する前記ユーザの部位とが表示された表示画像上の前記肌領域に対応する領域を構成する画素の輝度値の分布に基づいて、前記形状領域を抽出する
    プログラム。
JP2009154921A 2009-06-30 2009-06-30 情報処理装置、情報処理方法及びプログラム Expired - Fee Related JP4548542B1 (ja)

Priority Applications (13)

Application Number Priority Date Filing Date Title
JP2009154921A JP4548542B1 (ja) 2009-06-30 2009-06-30 情報処理装置、情報処理方法及びプログラム
US13/058,948 US20110142349A1 (en) 2009-06-30 2010-05-21 Information processing apparatus and information processing method
CN2010800024260A CN102138148B (zh) 2009-06-30 2010-05-21 使用多频带近红外照明进行皮肤检测
PCT/JP2010/003427 WO2011001593A1 (en) 2009-06-30 2010-05-21 Skin detection using multi-band near-infrared illumination
EP10727145A EP2384485A1 (en) 2009-06-30 2010-05-21 Skin detection using multi-band near-infrared illumination
KR1020127004619A KR20120031309A (ko) 2009-06-30 2010-05-21 정보 처리 장치 및 정보 처리 방법
KR1020117004443A KR20120039498A (ko) 2009-06-30 2010-05-24 정보 처리 장치, 정보 처리 방법, 프로그램 및 전자 장치
EP10793932A EP2378759A4 (en) 2009-06-30 2010-05-24 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING, PROGRAM AND ELECTRONIC DEVICE
JP2011520477A JP4831267B2 (ja) 2009-06-30 2010-05-24 情報処理装置、情報処理方法、プログラム及び電子装置
TW099116526A TW201112168A (en) 2009-06-30 2010-05-24 Information processing apparatus and information processing method
PCT/JP2010/058773 WO2011001761A1 (ja) 2009-06-30 2010-05-24 情報処理装置、情報処理方法、プログラム及び電子装置
US13/059,422 US8107706B2 (en) 2009-06-30 2010-05-24 Information processing apparatus, information processing method, program, and electronic apparatus
US13/089,047 US8285054B2 (en) 2009-06-30 2011-04-18 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009154921A JP4548542B1 (ja) 2009-06-30 2009-06-30 情報処理装置、情報処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010108794A Division JP5287792B2 (ja) 2010-05-10 2010-05-10 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP4548542B1 true JP4548542B1 (ja) 2010-09-22
JP2014064047A JP2014064047A (ja) 2014-04-10

Family

ID=42457840

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009154921A Expired - Fee Related JP4548542B1 (ja) 2009-06-30 2009-06-30 情報処理装置、情報処理方法及びプログラム
JP2011520477A Expired - Fee Related JP4831267B2 (ja) 2009-06-30 2010-05-24 情報処理装置、情報処理方法、プログラム及び電子装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011520477A Expired - Fee Related JP4831267B2 (ja) 2009-06-30 2010-05-24 情報処理装置、情報処理方法、プログラム及び電子装置

Country Status (7)

Country Link
US (3) US20110142349A1 (ja)
EP (2) EP2384485A1 (ja)
JP (2) JP4548542B1 (ja)
KR (2) KR20120031309A (ja)
CN (1) CN102138148B (ja)
TW (1) TW201112168A (ja)
WO (2) WO2011001593A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012222825A (ja) * 2011-04-13 2012-11-12 Axis Ab 照明装置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4910923B2 (ja) * 2007-07-20 2012-04-04 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
JP2011039812A (ja) * 2009-08-12 2011-02-24 Sony Corp 画像処理装置及び電子機器
US9754155B2 (en) * 2009-12-18 2017-09-05 Tandent Vision Science, Inc. Method and system for generating intrinsic images using a single reflectance technique
KR20130022410A (ko) * 2010-05-28 2013-03-06 퀄컴 인코포레이티드 동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성
JP2012063824A (ja) * 2010-09-14 2012-03-29 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP2013084228A (ja) * 2011-10-12 2013-05-09 Sony Corp 情報処理装置、情報処理方法、プログラム、及び電子機器
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
TWI479430B (zh) * 2012-10-08 2015-04-01 Pixart Imaging Inc 以自然影像進行的手勢辨識方法
CN103777741B (zh) * 2012-10-19 2017-08-01 原相科技股份有限公司 基于物件追踪的手势辨识方法及系统
EP2929486A4 (en) * 2012-12-10 2016-11-23 Invisage Technologies Inc RECORDING SCENES AND EVENTS IN SPACE AND TIME
JP5971108B2 (ja) 2012-12-18 2016-08-17 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN103268499B (zh) * 2013-01-23 2016-06-29 北京交通大学 基于多光谱成像的人体皮肤检测方法
US20140240477A1 (en) * 2013-02-26 2014-08-28 Qualcomm Incorporated Multi-spectral imaging system for shadow detection and attenuation
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
US20160357265A1 (en) * 2014-02-10 2016-12-08 Apple Inc. Motion gesture input detected using optical sensors
US10097780B2 (en) 2014-06-05 2018-10-09 Invisage Technologies, Inc. Sensors and systems for the capture of scenes and events in space and time
US9692968B2 (en) 2014-07-31 2017-06-27 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
JP6493680B2 (ja) * 2014-10-09 2019-04-03 パナソニックＩｐマネジメント株式会社 非接触血圧測定装置、及び、非接触血圧測定方法
WO2016185916A1 (ja) * 2015-05-20 2016-11-24 コニカミノルタ株式会社 ウェアラブル電子機器、ウェアラブル電子機器のジェスチャー検知方法およびウェアラブル電子機器のジェスチャー検知プログラム
US10354383B2 (en) * 2016-12-30 2019-07-16 Skinio, Llc Skin abnormality monitoring systems and methods
JP6501806B2 (ja) 2017-01-05 2019-04-17 キヤノン株式会社 情報処理装置、操作検出方法、及びコンピュータプログラム
CN111339822B (zh) * 2017-07-17 2023-06-30 Oppo广东移动通信有限公司 活体检测方法及相关产品
JP2019032395A (ja) * 2017-08-07 2019-02-28 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
CN108416333B (zh) * 2018-03-30 2020-01-17 百度在线网络技术（北京）有限公司 图像处理的方法和装置
CN109124587A (zh) * 2018-08-14 2019-01-04 上海常仁信息科技有限公司 一种基于机器人的皮肤检测系统和方法
CN109145803B (zh) * 2018-08-14 2022-07-22 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
US20220172387A1 (en) * 2019-03-26 2022-06-02 Sony Group Corporation Image processing apparatus, image processing method, and image processing program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150572A (ja) * 1996-09-18 1998-06-02 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP2003248829A (ja) * 2002-02-26 2003-09-05 Univ Chuo 周期性を有する動きの検出方法および装置
JP2005250708A (ja) * 2004-03-03 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> 道具動作認識装置および道具動作認識方法
JP2006242909A (ja) * 2005-03-07 2006-09-14 Toyota Central Res & Dev Lab Inc 対象物の部位判別装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5031049A (en) * 1984-05-25 1991-07-09 Canon Kabushiki Kaisha Automatic object image follow-up device
US5418574A (en) * 1992-10-12 1995-05-23 Matsushita Electric Industrial Co., Ltd. Video signal correction apparatus which detects leading and trailing edges to define boundaries between colors and corrects for bleeding
JPH06304142A (ja) * 1993-04-22 1994-11-01 Canon Inc 視線検出装置
US5983120A (en) * 1995-10-23 1999-11-09 Cytometrics, Inc. Method and apparatus for reflected imaging analysis
US5771033A (en) * 1996-05-24 1998-06-23 Microsoft Corporation Method and system for dissolving an image displayed on a computer screen
US6292576B1 (en) * 2000-02-29 2001-09-18 Digital Persona, Inc. Method and apparatus for distinguishing a human finger from a reproduction of a fingerprint
EP2098977B1 (en) * 2002-05-09 2012-11-21 Sony Corporation Method of detecting biological pattern, biological pattern detector, method of biological certificate and biological certificate apparatus
CA2563459A1 (en) * 2003-04-18 2004-11-04 Medispectra, Inc. Systems for identifying, displaying, marking, and treating suspect regions of tissue
JP4479194B2 (ja) * 2003-08-29 2010-06-09 富士ゼロックス株式会社 動作識別装置、及び対象物の姿勢識別装置
US7379562B2 (en) * 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US7427981B2 (en) * 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
JP4537143B2 (ja) * 2004-07-30 2010-09-01 キヤノン株式会社 画像処理装置及びその方法、撮像装置、プログラム
US7469060B2 (en) * 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
US20070140553A1 (en) * 2005-12-19 2007-06-21 Olympus Corporation Dental colorimetry apparatus
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
JP2008182360A (ja) * 2007-01-23 2008-08-07 Funai Electric Co Ltd 皮膚領域検出撮像装置
US20080304736A1 (en) * 2007-02-20 2008-12-11 Masahiro Nakagawa Method of estimating a visual evaluation value of skin beauty
JP4853414B2 (ja) * 2007-07-18 2012-01-11 ソニー株式会社 撮像装置、画像処理装置およびプログラム
JP5156365B2 (ja) 2007-12-27 2013-03-06 ライオン株式会社 プラスチックボトル
US8174611B2 (en) * 2009-03-26 2012-05-08 Texas Instruments Incorporated Digital image segmentation using flash

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150572A (ja) * 1996-09-18 1998-06-02 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体
JP2003216955A (ja) * 2002-01-23 2003-07-31 Sharp Corp ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体
JP2003248829A (ja) * 2002-02-26 2003-09-05 Univ Chuo 周期性を有する動きの検出方法および装置
JP2005250708A (ja) * 2004-03-03 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> 道具動作認識装置および道具動作認識方法
JP2006242909A (ja) * 2005-03-07 2006-09-14 Toyota Central Res & Dev Lab Inc 対象物の部位判別装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012222825A (ja) * 2011-04-13 2012-11-12 Axis Ab 照明装置

Also Published As

Publication number Publication date
EP2384485A1 (en) 2011-11-09
KR20120031309A (ko) 2012-04-02
JP4831267B2 (ja) 2011-12-07
CN102138148A (zh) 2011-07-27
EP2378759A4 (en) 2012-11-07
US20110194774A1 (en) 2011-08-11
US20110142349A1 (en) 2011-06-16
KR20120039498A (ko) 2012-04-25
US20110216941A1 (en) 2011-09-08
WO2011001593A1 (en) 2011-01-06
TW201112168A (en) 2011-04-01
JP2014064047A (ja) 2014-04-10
US8285054B2 (en) 2012-10-09
US8107706B2 (en) 2012-01-31
CN102138148B (zh) 2013-07-24
JPWO2011001761A1 (ja) 2012-12-13
EP2378759A1 (en) 2011-10-19
WO2011001761A1 (ja) 2011-01-06

Similar Documents

Publication Publication Date Title
JP4548542B1 (ja) 情報処理装置、情報処理方法及びプログラム
US20210334526A1 (en) Living body detection device, living body detection method, and recording medium
JP5733032B2 (ja) 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体
US9152850B2 (en) Authentication apparatus, authentication method, and program
JP4747065B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP5800175B2 (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
US20110298909A1 (en) Image processing apparatus, image processing method, program and electronic apparatus
JP2011130419A (ja) 情報処理装置、情報処理方法、プログラム、及び電子機器
WO2019163066A1 (ja) なりすまし検知装置、なりすまし検知方法、及びコンピュータ読み取り可能な記録媒体
JP5573209B2 (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
JP5287792B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2010026858A (ja) 認証用画像撮像装置
KR101146017B1 (ko) 정보 처리 장치 및 정보 처리 방법
JP2022075288A (ja) 撮影装置、認証装置及び生体撮影方法
JP2011158447A (ja) 画像処理装置、画像処理方法、プログラム、及び電子機器
JP2022028850A (ja) なりすまし検知装置、なりすまし検知方法、及びプログラム
JP2022168280A (ja) 情報処理装置
JP2012000147A (ja) 画像処理装置、画像処理方法、プログラム、及び電子装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100628

R151 Written notification of patent or utility model registration

Ref document number: 4548542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees