JP7480708B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7480708B2
JP7480708B2 JP2020555969A JP2020555969A JP7480708B2 JP 7480708 B2 JP7480708 B2 JP 7480708B2 JP 2020555969 A JP2020555969 A JP 2020555969A JP 2020555969 A JP2020555969 A JP 2020555969A JP 7480708 B2 JP7480708 B2 JP 7480708B2
Authority
JP
Japan
Prior art keywords
multispectral image
information processing
wavelength
feature
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020555969A
Other languages
English (en)
Other versions
JPWO2020095739A1 (ja
Inventor
厚史 伊藤
丈士 上森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020095739A1 publication Critical patent/JPWO2020095739A1/ja
Application granted granted Critical
Publication of JP7480708B2 publication Critical patent/JP7480708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Input (AREA)

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
画像処理技術の発展に伴い、デジタルカメラ（換言すると、イメージセンサ）等の撮像部により撮像された画像を解析することで、当該画像中に撮像された被写体を認識したり、当該撮像部の周囲の環境を認識する等のような、撮像画像を利用した認識技術が各種提案されている。また、近年では、上記のような画像解析の技術（例えば、認識技術）を応用することで、所定の被写体の撮像結果に応じた画像を、ユーザの識別や認証に利用可能とする技術も各種提案されている。例えば、特許文献１には、ユーザの手の甲が撮像された画像を解析することで静脈パターンを抽出し、当該静脈パターンを当該ユーザの認証に利用する技術の一例が開示されている。
特許第５３７７５８０号公報
一方で、撮像画像の解析結果に基づき抽出される情報（例えば、所定の対象の識別に利用される情報）は、被写体の状態や撮像環境（即ち、画像の撮像時の周囲の環境）の変化等のような外的要因（外乱）の影響により、その時々で少なくとも一部に変化が生じる場合がある。換言すると、その時々の状況に応じて、撮像画像から抽出される被写体の情報の同一性を担保することが困難となる場合がある。これにより、例えば、撮像画像から抽出された被写体の情報に基づき所定の対象を識別するような状況下において、撮像画像中に上記外的要因の影響が顕在化することで当該対象の識別の精度や確度が低下し、ひいては当該対象の識別が困難となる場合も想定され得る。
そこで、本開示では、撮像時の状況の変化に関わらず、撮像画像から被写体に固有の情報をより好適な態様で抽出可能とする技術を提案する。
本開示によれば、複数の波長帯域に分光された光による被写体の撮像結果に応じたマルチスペクトル画像を取得する取得部と、前記マルチスペクトル画像に対して、複数の色素の吸光スペクトルの特性に応じた係数に基づく演算処理を施すことで特徴量を抽出する抽出部と、を備え、前記複数の色素は、少なくとも一部に１以上の肌色素を含み、前記抽出部は、前記マルチスペクトル画像に対して、前記演算処理として、重み付け処理を施すことで、前記特徴量を抽出し、前記演算処理は、前記マルチスペクトル画像に対する、前記複数の色素のうち少なくとも一部の色素の吸光スペクトル特性に応じた吸光度の時間方向における変化量に応じた前記係数に基づく重み付け処理を含み、前記吸光度の時間方向における変化量は、現在の前記マルチスペクトル画像と、過去の前記マルチスペクトル画像とを用いて算出される動きベクトルに基づき抽出され、前記重み付け処理は、前記複数の色素の吸光スペクトルのうち、第１の波長における第１のヘモグロビンの吸光係数と第２の波長における第２のヘモグロビンの吸光係数の比率から決定される重み付け係数に基づいて行われる、情報処理装置が提供される。
また、本開示によれば、コンピュータが、複数の波長帯域に分光された光による被写体の撮像結果に応じたマルチスペクトル画像を取得することと、前記マルチスペクトル画像に対して、複数の色素の吸光スペクトルの特性に応じた係数に基づく演算処理を施すことで特徴量を抽出することと、を含み、前記複数の色素は、少なくとも一部に１以上の肌色素を含み、前記特徴量を抽出することでは、前記マルチスペクトル画像に対して、前記演算処理として、重み付け処理を施すことで、前記特徴量を抽出し、前記演算処理は、前記マルチスペクトル画像に対する、前記複数の色素のうち少なくとも一部の色素の吸光スペクトル特性に応じた吸光度の時間方向における変化量に応じた前記係数に基づく重み付け処理を含み、前記吸光度の時間方向における変化量は、現在の前記マルチスペクトル画像と、過去の前記マルチスペクトル画像とを用いて算出される動きベクトルに基づき抽出され、前記重み付け処理は、前記複数の色素の吸光スペクトルのうち、第１の波長における第１のヘモグロビンの吸光係数と第２の波長における第２のヘモグロビンの吸光係数の比率から決定される重み付け係数に基づいて行われる、情報処理方法が提供される。
また、本開示によれば、コンピュータに、複数の波長帯域に分光された光による被写体の撮像結果に応じたマルチスペクトル画像を取得することと、前記マルチスペクトル画像に対して、複数の色素の吸光スペクトルの特性に応じた係数に基づく演算処理を施すことで特徴量を抽出することと、を実行させ、前記複数の色素は、少なくとも一部に１以上の肌色素を含み、前記特徴量を抽出することでは、前記マルチスペクトル画像に対して、前記演算処理として、重み付け処理を施すことで、前記特徴量を抽出し、前記演算処理は、前記マルチスペクトル画像に対する、前記複数の色素のうち少なくとも一部の色素の吸光スペクトル特性に応じた吸光度の時間方向における変化量に応じた前記係数に基づく重み付け処理を含み、前記吸光度の時間方向における変化量は、現在の前記マルチスペクトル画像と、過去の前記マルチスペクトル画像とを用いて算出される動きベクトルに基づき抽出され、前記重み付け処理は、前記複数の色素の吸光スペクトルのうち、第１の波長における第１のヘモグロビンの吸光係数と第２の波長における第２のヘモグロビンの吸光係数の比率から決定される重み付け係数に基づいて行われる、プログラムが提供される。
本開示の一実施形態に係る技術が適用される装置の概略的な構成の一例について説明するための説明図である。 本開示の第１の実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 肌領域の検出結果の一例について示した図である。 肌色素の吸光係数スペクトル特性の一例について示した図である。 同実施形態に係る特徴量の算出に係る機能構成の一例を示したブロック図である。 第１の候補特徴量の抽出結果の一例を示した図である。 第３の候補特徴量の抽出結果の一例を示した図である。 同実施形態に係る情報処理装置の機能構成の他の一例について示したブロック図である。 第１の候補特徴量と第４の候補特徴量とを利用する場合の一例について概要を示した図である。 本開示の第２の実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 同実施形態の実施例に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 同実施形態の実施例に係る情報処理システムによる特徴量の抽出に係る処理の一例を示したフローチャートである。 本開示の第３の実施形態に係る装置の概略的な構成の一例について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．概略構成
２．技術的課題
３．技術的特徴
３．１．基本思想
３．２．第１の実施形態
３．２．１．機能構成
３．２．２．処理
３．２．３．特徴量の具体例
３．３．第２の実施形態
３．３．１．機能構成
３．３．２．特徴量の詳細
３．３．３．実施例
３．４．第３の実施形態
３．４．１．概略構成
３．４．２．機能構成
３．４．３．光源からの照射光の制御例
４．ハードウェア構成
５．むすび
＜＜１．概略構成＞＞
まず、図１を参照して、本開示の一実施形態に係る技術が適用される装置の概略的な構成の一例について説明する。図１は、本開示の一実施形態に係る技術が適用される装置の概略的な構成の一例について説明するための説明図であり、所定の投影面に対して映像を投影することで情報を提示する表示装置の構成の一例について示している。
図１に示すように、表示装置１００は、センサボックス１２０と、表示情報を提示するための出力部１３０と、表示装置１００の各種動作を制御する制御部が設けられた本体１１０とを含む。
表示装置１００は、例えば、テーブル１４０等の上方に、当該テーブル１４０の天面側を向くように設置される。表示装置１００は、テーブル１４０の天面を投影面として、出力部１３０に表示情報を投影させることで、ユーザに対して当該表示情報を提示し、投影された表示情報に対する、表示装置１００を使用するユーザからの操作を受け付ける。なお、参照符号Ｍ１６０は、出力部１３０により情報（即ち、表示情報）が投影される領域（即ち、投影面）を示している。
また、センサボックス１２０には、所謂センサのように、各種情報を検知する検知部１２１が設けられている。検知部１２１は、表示装置１００を使用するユーザの操作内容や、テーブル１４０に置かれている物体の形状や模様などを認識する。例えば、図１に示す例では、検知部１２１は、テーブル１４０の上方から当該テーブル１４０の天面上に向けて検知範囲が形成されるように設置される。すなわち、検知部１２１は、情報が表示される対象となるテーブル１４０とは離隔して設けられる。
具体的な一例として、検知部１２１は、所謂測距センサにより構成され得る。また、他の一例として、検知部１２１は、例えば１つの撮像光学系（例えば、一連のレンズ群）でテーブル１４０を撮像するカメラや、複数の撮像光学系（例えば、２つの撮像光学系）でテーブル１４０を撮像して奥行き方向の情報を記録することが可能なステレオカメラにより構成されてもよい。なお、本説明では、検知部１２１は、所謂ステレオカメラとして構成されているものとして説明する。
検知部１２１としてステレオカメラが用いられる場合には、そのステレオカメラには、例えば可視光カメラや赤外線カメラ等が適用され得る。検知部１２１としてステレオカメラが用いられることで、検知部１２１は、深度情報を取得することが可能となる。検知部１２１が、深度情報を取得することで、表示装置１００は、例えばテーブル１４０の上に置かれた手や物体等の実オブジェクトを検出することが可能となる。また検知部１２１が、深度情報を取得することで、表示装置１００は、テーブル１４０へのユーザの手のような操作体の接触及び近接や、テーブル１４０からの操作体の離脱を検出することが可能となる。
このような構成により、表示装置１００は、テーブル１４０の天面上の領域Ｍ１６０に投影された表示情報に対して、ユーザが手等の操作体による操作を認識し、当該操作の内容に応じて各種機能を実行することが可能となる。
また、センサボックス１２０は、テーブル１４０の天面上の領域Ｍ１６０の画像を撮像するための撮像部１２３が設けられている。図１に示す表示装置１００は、当該撮像部１２３により撮像された画像に対して画像解析を施すことで、画像中に撮像された被写体を認識し、当該認識結果を利用して各種処理を実行する。具体的な一例として、表示装置１００は、撮像部１２３の撮像結果に応じた画像中から、被写体として撮像されたユーザの手Ｕ１を抽出し、当該手Ｕ１の画像に基づき、当該ユーザの識別や認証を行ってもよい。なお、上記画像の解析や、当該画像の解析結果に基づく各種処理の実行については、例えば、本体１１０に設けられた制御部により制御されてもよい。また、撮像部１２３が、検知部１２１の役割を担ってもよい。即ち、撮像部１２３の撮像結果に応じた画像の解析結果に応じて、ユーザの手等の操作体による操作が認識されてもよい。この場合には、検知部１２１が別途設けられていなくてもよい。
なお、上述した表示装置１００の構成はあくまで一例であり、上述した各機能を実現することが可能であれば、表示装置１００の構成は必ずしも図１に示す例には限定されない。具体的な一例として、センサボックス１２０や出力部１３０の動作を制御する制御部が、表示装置１００とは異なる他の装置に設けられていてもよい。この場合には、当該制御部は、ネットワークを介した表示装置１００（例えば、本体１１０）との通信に基づき、センサボックス１２０や出力部１３０の動作を制御してもよい。また、センサボックス１２０、出力部１３０、及び本体１１０が一体的に構成されていなくてもよい。具体的な一例として、センサボックス１２０と出力部１３０とのうちのいずれかが、本体１１０とネットワークを介して接続された他の装置に設けられていてもよい。即ち、図１に示す表示装置１００が、ネットワークを介して接続された複数の装置が連携して動作するシステムとして構成されていてもよい。
以上、図１を参照して、本開示の一実施形態に係る技術が適用される装置の概略的な構成の一例について説明した。
＜＜２．技術的課題＞＞
続いて、本開示の一実施形態に係る情報処理装置（または情報処理システム）の技術的課題について以下に説明する。具体的には、撮像画像の解析結果を利用したユーザの識別及び認証の一例について概要を説明したうえで、撮像画像からユーザの識別や認証に利用可能な当該ユーザに固有の情報を抽出する場合の技術的課題について概要を説明する。
デジタルカメラ（換言すると、イメージセンサ）等の撮像部による撮像画像を利用してユーザの識別や認証を行う技術の一例として、所謂静脈認証と称される技術が挙げられる。例えば、特許第５３７７５８０号公報には、静脈認証に関する技術の一例が開示されている。静脈認証では、例えば、赤外線帯域の光を利用したユーザの手の甲の撮像結果に応じた画像（例えば、赤外線画像）に対して画像解析を施すことで、静脈の線のカーブや分岐等のような静脈パターンの特徴的な部分が特徴量として抽出され、当該特徴量に基づきユーザの識別や認証が行われる。このような特性から、静脈認証は、認証の精度、認証に利用する情報の偽造のしにくさ、及び認証に利用する情報の経年変化に対する耐性の面で優れている。
一方で、静脈認証を行うためには、静脈パターンを比較的高い解像度でセンシング可能であることが要求される傾向にある。換言すると、静脈認証は、撮像画像の解像度の不足に伴い、ユーザの認識や認証に係る精度や確度が低下し、ひいては当該認識や当該認証が困難となる場合もある。そのため、例えば、図１に示す表示装置１００のように、テーブル１４０のような比較的広い領域を認証に利用する情報（例えば、ユーザの手等）の検出対象としているような状況下では、当該領域の広さに比例して、撮像部としてより高解像度のデバイスが必要となる。また、静脈認証は、ユーザの手（ひいては静脈パターン）の姿勢の変化の影響も受けやすい傾向にあり、例えば、撮像部に対する手の傾きが比較的大きいと、ユーザの認識や認証に係る精度や確度が低下する場合がある。そのため、図１に示す表示装置１００において静脈認証を利用したユーザの識別や認証の実現を想定した場合には、ユーザの識別や認証に際し、静脈パターンが検出可能となるように手を所定の姿勢に保持する等のような煩雑な操作が必要となる状況も想定され得る。
また、他の一例として、所定の部位を利用した一連の動作（例えば、手を利用したグー、チョキ、パー等の動作）をユーザに行わせ、当該動作の撮像結果を、あらかじめ撮像した当該ユーザによる当該動作の撮像結果と照合することで、当該ユーザの識別や認証を行う技術が挙げられる。同技術の一例については、例えば、特開２００２－１５０２９６号公報に開示されている。しかしながら、当該技術を利用する場合においても、上述した一連の動作を実行する等のような煩雑な操作が必要となる。
また、他の一例として、ユーザの毛髪を対象として近赤外吸収スペクトルを測定し、当該測定の結果に応じたスペクトルデータに対して所定の統計的処理を施すことで得られる指標を利用して、ユーザの識別や認証を行う技術が挙げられる。同技術の一例については、例えば、特開２００５－３００２４１号公報に開示されている。しかしながら、図１に示す例のように、ユーザの手等のように２次元的な広がりを有する領域を情報抽出の対象とする場合には、空間的に反射スペクトルが揺らぎ、抽出される情報の同一性の担保が困難となる場合がある。具体的には、ユーザの手のうち、識別や認証に利用する部分にずれが生じると、異なる情報が抽出される場合もある。このような特性から、情報の抽出対象となる領域のずれが生じないように、例えば、手を所定の姿勢に一定時間保持する等のような操作が必要となり、ユーザの負担となる物理的制約が比較的大きくなることが予想される。
上述したように、撮像画像の解析結果に基づき抽出される情報（例えば、所定の対象の識別に利用される情報）は、被写体の状態や撮像環境（即ち、画像の撮像時の周囲の環境）の変化等のような外的要因（外乱）の影響により、その時々で少なくとも一部に変化が生じる場合がある。即ち、同じ対象を被写体とした互いに異なる複数の撮像画像間においても、当該複数の撮像画像それぞれから抽出される当該被写体の情報（例えば、被写体に固有の特徴に関する情報）の同一性が、その時々の状況に応じて必ずしも担保されるとは限らない場合がある。このような場合には、例えば、上述した各例のように撮像画像から抽出された被写体の情報に基づき所定の対象（例えば、ユーザ）の識別を行うような状況下において、撮像画像中に上記外的要因の影響が顕在化することで当該対象の識別の精度や確度が低下し、ひいては当該対象の識別が困難となる場合も想定され得る。換言すると、その時々の状況に応じて、撮像画像から抽出される被写体の情報の同一性を担保することが困難となる場合がある。
以上のような状況を鑑み、本開示の一実施形態に係る情報処理装置（または情報処理システム）では、手等のようなユーザの部位を被写体とした撮像画像を利用した当該ユーザの識別や認証を、より簡便な操作により実現可能とする技術を提案する。換言すると、本開示では、撮像時の状況の変化に関わらず、撮像画像から被写体に固有の情報をより好適な態様で抽出可能とする技術を提案する。
＜＜３．技術的特徴＞＞
続いて、本開示の一実施形態に係る情報処理システムの技術的特徴について説明する。なお、以降では、説明をよりわかりやすくするために、ユーザの所定の部位（例えば、ユーザの手）を被写体とした撮像画像に基づき、当該ユーザの識別や認証を行う場合に着目して、本実施形態に係る情報処理システムの技術的特徴について説明する。具体的には、ユーザの肌を被写体とした撮像画像から、当該肌に関する情報（以下、「肌情報」とも称する）のうち当該ユーザに固有の情報を特徴量として抽出し、当該特徴量をユーザの識別や認証に利用する場合に着目して、本実施形態に係る情報処理システムの技術的特徴について説明する。
＜３．１．基本思想＞
まず、肌情報の特性の一例について概要を説明したうえで、本開示の一実施形態に係る情報処理システムが、撮像画像から肌情報をユーザに固有の情報として抽出し、当該ユーザの識別や認証に利用可能とする技術の基本思想について概要を説明する。
例えば、以下に示す文献１において提案されている肌の光学モデルによると、正常な皮膚において、入射光の約５％の表面反射と、約１０％の表皮での乱反射と、を除けば、皮膚の色は、真皮での散乱と、表皮でのメラニンと表皮直下血管網の血液とにおける光の吸収と、により決定されることがわかっている。
・文献１：R. R. Anderson, J. A. Parrish, “The optics of Human Skin”, The Journal of Investigative Dermatology, Vol.77, pp. 13－19, 1981.
また、以下に示す文献２では、光学デバイスを用いた、年齢、性別、及びスキンタイプが異なる１４９名の顔の肌の表面下散乱反射特性の測定の結果が開示されている。この測定の結果によれば、肌の表面化散乱における光の吸収と散乱のスペクトル特性が、個人（即ち、年齢、性別、及びスキンタイプ）によって異なることがわかっている。
・文献２：T. Weyrich, W. Matusik, H. Pfister, B. Bickel, C. Donner, C. Tu, J. McAndless, J. Lee, A. Ngan, H. W. Jensen, and M. Gross, “Analysis of human faces using a measurement－based skin reflectance model,” ACM Trans. on Graphics （Proc. SIGGRAPH 2006）, vol. 25, no. 3, pp. 1013－1024, 2006.
また、以下に示す文献３では、スキンタイプが異なる１８名の肌の光学スペクトル特性を測定し、測定値から酸化ヘモグロビン、還元ヘモグロビン、メラニン等の肌の色素濃度を推定する方法について述べられている。当該文献においても、肌の光学スペクトル特性（または色素濃度）が個人で異なることが述べられている。
・文献３：Sheng－Hao Tseng, Paulo Bargo, Anthony Durkin, and Nikiforos Kollias, “Chromophore concentrations, absorption and scattering properties of human skin in－vivo,” Opt. Express 17, 14599－14617 （2009）
また、以下に示す文献４では、手の平の近赤外線画像による静脈認証において、還元ヘモグロビンの、波長７６０ｎｍにおける光の吸収特性を利用する例が開示されている。当該波長においては、光の散乱及び反射が少ないため、例えば、当該波長の光を利用して静脈パターンの画像を取得することで、当該波長の光を吸収する領域（即ち、還元ヘモグロビンが分布する領域）において光の強度が抑制された２次元画像（即ち、インテンシティが下がった２次元画像）を得ることが可能となる。
・文献４：Masaki Watanabe, “Palm vein authentication,” Advances in Biometrics pp 75－88, 2008
以上の内容を鑑みると、真皮での光の散乱と、表皮中のメラニンと表皮直下血管網の血液とにおける光の吸収と、により主に肌の色が決定され、この肌の表面下における光の吸収及び散乱のスペクトル特性は個人を識別するユニークな特徴量となり得ると考えられる。
そこで、本開示では、ユーザの肌の色素（例えば、メラニンやヘモグロビン）のスペクトル特性（特に、吸光スペクトルの特性）を利用し、該肌の撮像画像からユーザの識別や認証に利用可能な、当該ユーザに固有の情報（特徴量）を抽出可能とする技術を提案する。
具体的には、本開示の一実施形態に係る情報処理システムは、所謂マルチスペクトルカメラ等のように、複数の波長帯域に分光された光による被写体の画像（所謂マルチスペクトル画像）を撮像可能な撮像装置（以下、「スペクトル測定装置」とも称する）を利用して、ユーザの肌のスペクトル特性が反映された特徴量を、当該ユーザに固有の情報（即ち、ユーザの識別や認証に利用可能な情報）として抽出する。より具体的には、スペクトラル装置により肌の領域が撮像されたマルチスペクトル画像（以下、「２次元スペクトルデータ」とも称する）に対して、メラニン、ヘモグロビン等の肌の色を構成する色素の吸光スペクトル特性に応じた解析処理を施すことで、より精度の高いユーザの識別や認証を実現可能な当該ユーザに固有の情報（特徴量）を抽出する。
例えば、ヘモグロビンは血中に存在するため、肌の領域中のある一部の位置に注目した場合においても、当該ヘモグロビンの濃度は時々刻々と変化するため、肌の色もその時々で変化することとなる。このような場合には、例えば、既知のヘモグロビンの吸光スペクトル特性を利用することで、スペクトル測定装置により取得された肌の２次元スペクトルデータに対して当該ヘモグロビンの影響を抑制する（例えば、キャンセルする）処理を施すことで特徴量を抽出してもよい。このような特徴量を、例えば、機械学習の入力データとして、当該特徴量とユーザとの間の関係を認識機に学習させ、当該認識機を肌の撮像画像を利用したユーザの識別や認証に利用することで、ヘモグロビンの濃度の時間変動にロバストでより精度の高い個人認識を実現することも可能となる。
また、メラニンは日焼けなどにより濃度が増加し、結果的に肌の色が変化する場合がある。このような場合には、既知のメラニンの吸光スペクトル特性を利用することで、スペクトル測定装置により取得された肌の２次元スペクトルデータに対して当該メラニンの影響を抑制する（例えば、キャンセルする）処理を施すことで特徴量を抽出してもよい。このような特徴量を、例えば、機械学習の入力データとして、当該特徴量とユーザとの間の関係を認識機に学習させ、当該認識機を肌の撮像画像を利用したユーザの識別や認証に利用することで、日焼けによる肌の色の変動にロバストでより精度の高い個人認識を実現することも可能となる。
また、本開示に係る技術に依れば、上述したような特性から、必ずしも手等の部位の形状が観測可能である必要がなく、肌の一部のみが観測可能な状況下においても個人を識別することが可能となる。
以上、本開示の一実施形態に係る情報処理システムが、撮像画像から肌情報をユーザに固有の情報として抽出し、当該ユーザの識別や認証に利用可能とする技術の基本思想について概要を説明した。
＜３．２．第１の実施形態＞
続いて、本開示の第１の実施形態として、マルチスペクトル画像を撮像可能な撮像部（スペクトル測定装置）による肌の撮像画像からユーザに固有の情報（特徴量）を抽出し、当該ユーザの識別や認証を行う情報処理システムの一例について説明する。
＜３．２．１．機能構成＞
まず、図２を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図２は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。
図２に示すように、本実施形態に係る情報処理システム１は、撮像部１２３と、情報処理装置２００と、データベース２９１とを含む。
撮像部１２３は、被写体のマルチスペクトル画像（換言すると、２次元スペクトルデータ）を撮像可能に構成されている。例えば、撮像部１２３は、マルチスペクトルカメラとして構成され得る。また、撮像部１２３は、図１に示す表示装置１００において、センサボックス１２０に設けられた撮像部１２３に相当し得る。撮像部１２３は、被写体（例えば、ユーザの所定の部位）の撮像結果に応じたマルチスペクトル画像を情報処理装置２００に出力する。
情報処理装置２００は、対象領域検出部２０１と、特徴量抽出部２０３と、認識処理部２０５とを含む。情報処理装置２００は、例えば、図１に示す表示装置１００において、本体１１０の少なくとも一部として構成され得る。
対象領域検出部２０１は、撮像部１２３から被写体の撮像結果に応じたマルチスペクトル画像を取得し、当該マルチスペクトル画像に対して所定の解析処理（例えば、画像解析）を施すことで、当該マルチスペクトル画像から所定の条件を満たす領域を対象領域として検出（抽出）する。具体的な一例として、対象領域検出部２０１は、マルチスペクトル画像に対して画像解析を施すことで、当該マルチスペクトル画像からユーザの肌に相当する領域（以下、「肌領域」とも称する）を検出する。なお、マルチスペクトル画像中から肌領域を検出（抽出）することが可能であればその方法については特に限定されず、既存の手法が利用されてもよい。具体的な一例として、分光データをＨＳＶ色空間に変換し、当該変換結果に対して閾値処理を施すことで肌の色を示す領域が検出されてもよい。また、カメラの位置や姿勢が固定されているような条件下では、背景差分情報を用いた肌領域の検出が行われてもよい。
また、以下に示す文献５には、肌領域をより正確に抽出する手法の一例が開示されている。同手法では、分光カメラにより、８７０ｎｍを中心波長とする帯域と、９７０ｎｍを中心波長とする帯域と、のそれぞれについてデータを取得し、これらの差分により肌領域の抽出が行われる。また、同文献では、さらに１０５０ｎｍを中心波長とする帯域についてもデータを取得し、８７０ｎｍのデータと９７０ｎｍのデータとの差分と、９７０ｎｍのデータと１０５０ｎｍのデータとの差分と、の積集合に基づき、より精緻に肌領域の抽出を行う手法についても開示されている。
・文献５：Kanazawa et al “Human Skin Detection by Visible and Near－Infrared Imaging,” MVA2011 IAPR Conference on Machine Vision Applications, June 13－15, 2011
例えば、図４は、肌領域の検出結果の一例について示した図である。具体的には、図４に示す例では、ユーザの手を被写体として撮像したマルチスペクトル画像を対象として、肌領域を検出した場合の一例について示している。図４において、Ｒｋ（ｘ）は、マルチスペクトル画像として情報を取得する波長帯域（チャネル）を「ｋ」とした場合に、マルチスペクトル画像中の位置「ｘ」における画素値（即ち、チャネルｋの分光成分の検出結果）を示している。
以上のようにして、対象領域検出部２０１は、取得したマルチスペクトル画像から所定の条件を満たす対象領域（例えば、肌領域）を検出し、当該対象領域に関する情報を特徴量抽出部２０３に出力する。
特徴量抽出部２０３は、撮像部１２３による撮像結果に応じたマルチスペクトル画像から検出された対象領域（例えば、肌領域）に関する情報を、対象領域検出部２０１から取得する。特徴量抽出部２０３は、上記マルチスペクトル画像から検出された対象領域に対して、所定の色素のスペクトル特性に応じた解析処理を施すことで特徴量を抽出する。具体的な一例として、特徴量抽出部２０３は、上記マルチスペクトル画像から検出された肌領域（即ち、対象領域）に対して、メラニンやヘモグロビン等のような肌色素の吸収スペクトルの特性に応じた解析処理を施すことで、特徴量を抽出してもよい。なお、肌領域を対象とした肌色素の吸収スペクトルの特性に応じた解析処理により抽出される特徴量の具体例については、当該特徴量の抽出方法の詳細（即ち、解析処理の詳細）とあわせて別途後述する。
以上のようにして、特徴量抽出部２０３は、上記マルチスペクトル画像から検出された対象領域から特徴量を抽出し、当該特徴量に関する情報を認識処理部２０５に出力する。
認識処理部２０５は、特徴量抽出部２０３から特徴量に関する情報を取得し、当該特徴量に基づき所定の対象の認識、識別、及び認証等に係る処理を実行する。具体的な一例として、認識処理部２０５は、肌領域から抽出された特徴量に基づき、ユーザの識別や認証を行ってもよい。
また、認識処理部２０５は、上記特徴量に基づく所定の対象の認識、識別、及び認証等に係る処理の実行に、当該特徴量を入力とした機械学習により学習が行われた認識機が利用されてもよい。この場合には、認識処理部２０５は、特徴量抽出部２０３から取得した特徴量を、所定の記憶領域（例えば、データベース２９１）にあらかじめ記憶されたデータ（即ち、従前に取得された特徴量に基づくデータ）と照合することで、所定の対象の認識、識別、及び認証等を行ってもよい。具体的な一例として、認識処理部２０５は、特徴量抽出部２０３から取得した特徴量を、上記記憶領域にあらかじめユーザごとに記憶されたデータ（即ち、機械学習による学習結果に応じたデータ）と照合することで、上記マルチスペクトル画像に撮像された肌がどのユーザの肌であるかを特定してもよい。これにより、認識処理部２０５は、取得した特徴量に基づき、ユーザの識別や認証を行うことが可能となる。
そして、認識処理部２０５は、取得した特徴量に基づく所定の対象の認識、識別、及び認証等に係る処理の結果に応じた情報を、所定の出力先に出力する。具体的な一例として、認識処理部２０５は、肌領域から抽出された特徴量に基づくユーザの識別や認証の結果に応じて、当該ユーザに関する情報（例えば、ユーザＩＤ）を所定の出力先に出力してもよい。
データベース２９１は、各種データを読み出し可能に一時的または恒久的に記憶する。具体的な一例として、データベース２９１は、従前に取得された上記特徴量を入力データとした機械学習の結果に応じたデータ（換言すると、新たに取得された上記特徴量と照合されるデータ）が記憶されていてもよい。
なお、上述した構成はあくまで一例であり、必ずしも情報処理システム１の構成を図２に示す例に限定するものではない。具体的な一例として、撮像部１２３及びデータベース２９１の少なくともいずれかと、情報処理装置２００と、が一体的に構成されていてもよい。また、他の一例として、情報処理装置２００の一部の機能が、当該情報処理装置２００の外部に設けられていてもよい。具体的な一例として、認識処理部２０５に相当する部分が、情報処理装置２００の外部に設けられていてもよい。また、情報処理装置２００の少なくとも一部の機能が、複数の装置が連携して動作することで実現されてもよい。なお、情報処理装置２００のうち、特徴量の抽出の対象となるマルチスペクトル画像（例えば、撮像部１２３の撮像結果に応じたマルチスペクトル画像）を取得する部分が、「取得部」の一例に相当する。
以上、図２を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明した。
＜３．２．２．処理＞
続いて、図３を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について説明する。図３は、本実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。なお、以降では、マルチスペクトルカメラとして構成された撮像部による肌のマルチスペクトル画像の撮像結果に基づき、当該肌に固有の特徴量を抽出し、当該特徴量に基づきユーザを識別する場合の例について説明する。
図３に示すように、情報処理装置２００は、撮像部１２３から被写体の撮像結果に応じたマルチスペクトル画像を取得する（Ｓ１０１）。情報処理装置２００（対象領域検出部２０１）は、取得したマルチスペクトル画像に対して画像解析を施すことで、当該マルチスペクトル画像から肌領域を検出する（Ｓ１０３）。
次いで、情報処理装置２００（特徴量抽出部２０３）は、上記マルチスペクトル画像から検出された肌領域に対して、所定の肌色素（例えば、メラニンやヘモグロビン）のスペクトル特性に応じた解析処理を施すことで特徴量を抽出する（Ｓ１０５）。なお、当該特徴量の詳細については、抽出方法とあわせて別途後述する。
次いで、情報処理装置２００（認識処理部２０５）は、上記マルチスペクトル画像から抽出した特徴量を、所定の記憶領域（例えば、データベース２９１）にあらかじめ記憶されたデータと照合することで、ユーザの識別や認証を行う（Ｓ１０７）。そして、情報処理装置２００（認識処理部２０５）は、ユーザの識別や認証の結果に応じて、当該ユーザに関する情報（例えば、ユーザＩＤ等）を所定の出力先に出力する（Ｓ１０９）。
以上、図３を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について説明した。
＜３．２．３．特徴量の具体例＞
続いて、本開示の一実施形態に係る情報処理システムが被写体の撮像結果に応じたマルチスペクトル画像から抽出する特徴量の具体的な一例について以下に説明する。なお、本説明では、特に、ユーザの肌を被写体とした撮像画像から、肌色素の吸収スペクトルの特性に応じて抽出される特徴量の一例について、抽出方法の詳細とあわせて説明する。
（第１の候補特徴量）
まず、第１の候補特徴量として、マルチスペクトル画像中に顕在化した一部の肌色素の影響を抑制することで抽出される、被写体（即ち、撮像された肌）に特徴的な情報の一例について、その抽出方法とあわせて説明する。
例えば、以下に示す文献６には、可視光領域において、肌の表面下においては、酸化ヘモグロビン、還元ヘモグロビン、及びメラニンが、光を吸収する主な色素であり、これらの色素による肌の吸光度はBeer－Lambertの法則を用いてモデル化可能であることが開示されている。なお、以降の説明では、説明をわかりやすくするために、酸化ヘモグロビンと還元ヘモグロビンを１つのヘモグロビンとして扱う場合がある。即ち、単に「ヘモグロビン」と記載した場合には、特に説明が無い限りは、酸化ヘモグロビンと還元ヘモグロビンとの双方が含まれ得るものとする。
文献６：ERIK HAGGBLAD, “IN VIVO DIFFUSE REFLECTANCE SPECTROSCOPY OF HUMAN TISSUE FROM POINT MEASUREMENTS TO IMAGIN”, 2008
Beer－Lambertの法則より、メラニンとヘモグロビンによる、波長λ、空間位置ｘにおける吸光度は、以下に（式１）として示す関係式で表すことが可能である。
Figure 0007480708000001
上記（式１）において、Ｃ＿Ｍ（ｘ）及びＣ＿Ｈ（ｘ）は、それぞれメラニン及びヘモグロビンの空間位置ｘにおける濃度を示している。また、Ａ＿Ｍ（λ）及びＡ＿Ｈ（λ）は、それぞれメラニン及びヘモグロビンの波長λにおける吸光係数を示している。なお、メラニン及びヘモグロビンそれぞれの吸光係数の特性については、例えば、前述した文献３に開示されている。また、Ｏ（ｘ，λ）は、メラニン及びヘモグロビン以外の他の色素による吸光を及び散乱による影響を考慮したオフセット項を示している。
また、スペクトル測定装置（例えば、マルチスペクトルカメラ）により取得される測定値（例えば、マルチスペクトル画像の画素値）をＰ（ｘ，λ）とすると、見かけ上の吸光度は以下に（式２）として示す関係式で表される。
Figure 0007480708000002
よって、（式１）及び（式２）に基づき、スペクトルの測定値とメラニン及びヘモグロビンの色素濃度との間の関係は、以下に（式３）として示す関係式で表される。
Figure 0007480708000003
上記（式３）から、メラニン及びヘモグロビンの空間上での濃度の分布（Ｃ＿Ｍ（ｘ）及びＣ＿Ｈ（ｘ））の違いによって、個人差（即ち、個々人における肌の色のムラの違い）が生じることがわかる。しかしながら、ヘモグロビンは血中に存在するため、濃度分布が時々刻々と変化し、肌の撮像画像から個人の認識や識別に利用可能な固有の情報を抽出する場合にはノイズとなり得る。
そこで、既知である肌色素の吸光係数スペクトルの特性を利用し、マルチスペクトル画像として取得した複数のスペクトルバンドデータを入力とした演算処理により、当該肌色素の影響を抑制する（理想的には、取り除く）方法の一例について、特に、ヘモグロビンの影響を取り除く場合に着目して以下に説明する。例えば、図５は、肌色素の吸光係数スペクトル特性の一例について示した図である。図５において、横軸は波長（ｎｍ）を示している。また、縦軸は、吸光係数（ｘ１０５Ｍ－１ｃｍ－１）を示している。また、図５では、メラニン（Melanin）、酸化ヘモグロビン（Oxy－hemoglobin）、及び還元ヘモグロビン（Deoxy－hemoglobin）のそれぞれについて吸光係数スペクトルの特性が示されている。
図５において、波長λ１におけるヘモグロビンの吸光係数Ａ＿Ｈ（λ１）と、波長λ２におけるヘモグロビンの吸光係数Ａ＿Ｈ（λ２）と、の比率を１：１／Ｘとする。このとき、波長λ１における測定吸光度－ｌｏｇ１０（Ｐ（ｘ，λ１））から、波長λ２における測定吸光度－ｌｏｇ１０（Ｐ（ｘ，λ２））をＸ倍したものを減算することを考えると、以下に示す計算式で表される。即ち、以下に示す計算式は、上記比率に応じた重み付け係数Ｘに基づく、波長λ１及びλ２間におけるヘモグロビンの吸光係数の重み付け演算（重み付け処理）に相当する。また、波長λ１及びλ２のうち、一方が「第１の波長」の一例に相当し、他方が「第２の波長」の一例に相当する。
Figure 0007480708000004
そのため、特徴量Ｆ１は、例えば、以下に（式４）として示す関係式で表される。
Figure 0007480708000005
また、図６は、本開示の一実施形態に係る特徴量の算出に係る機能構成の一例を示したブロック図であり、上述した特徴量Ｆ１を抽出する場合における、図２に示す情報処理装置２００における特徴量抽出部２０３のより詳細な構成の一例を示した図である。図６に示すように、特徴量抽出部２０３は、ブロック分割部２０３１と、重み付け演算部２０３３とを含む。
ブロック分割部２０３１は、マルチスペクトル画像からの肌領域の検出結果に応じたデータ（以降では、「肌領域マップ」とも称する）を取得する。また、ブロック分割部２０３１は、マルチスペクトル画像として取得した複数のスペクトルバンドデータのうち、波長λ１に対応するスペクトルバンドデータ（画像）と、波長λ２に対応するスペクトルバンドデータ（画像）と、を取得する。ブロック分割部２０３１は、肌領域マップに基づき、波長λ１及びλ２に対応するスペクトルバンドデータそれぞれのうち肌領域に対応する部分を、所定サイズのブロックに分割する。
そして、ブロック分割部２０３１は、波長λ１及びλ２に対応するスペクトルバンドデータそれぞれから分割された各ブロックのデータを、重み付け演算部２０３３に出力する。具体的な一例として、１ブロックのサイズを８×８（単位はピクセル）とした場合には、波長λ１及び波長λ２のそれぞれについて、８×８のデータが肌領域の分割個数分だけ、重み付け演算部２０３３に出力されることとなる。なお、上述した１ブロックのサイズはあくまで一例であり、必ずしも上述した例には限定されない。
重み付け演算部２０３３は、波長λ１及びλ２に対応するスペクトルバンドデータそれぞれから分割された各ブロックのデータを、ブロック分割部２０３１から取得する。重み付け演算部２０３３は、ブロックごとに、波長λ１に対応するデータと、波長λ２に対応するデータと、を入力として、対応するピクセルごとに上記（式４）に基づく重み付け演算（重み付け処理）を行う。これにより、８×８のピクセルそれぞれについて特徴量Ｆ１の算出結果がマッピングされた特徴量データが生成される。以上のようにして、重み付け演算部２０３３は、肌領域が分割されたブロックそれぞれについて特徴量データを生成し、当該特徴量データを後段（例えば、図２に示す認識処理部２０５）に出力する。即ち、上述した例の場合には、８×８の特徴量データが、肌領域の分割個数分だけ出力されることとなる。
以上のように、既知であるヘモグロビンの吸光係数スペクトルの特性を利用し、マルチスペクトル画像として取得した複数のスペクトルバンドデータを入力とした演算処理により、ノイズとして成り得るヘモグロビンの影響を取り除くことが可能となる。即ち、識別器にとってはノイズとなり得る肌色素の影響がキャンセルされるため、識別や認証に係る精度や確度をより向上させる効果が期待できる。
例えば、図７は、第１の候補特徴量の抽出結果の一例を示した図であり、ユーザの手を被写体とした場合における、上述した（式４）に基づく特徴量の抽出結果の一例を示している。具体的には、図５に示す例では、λ１＝５１０ｎｍ、λ２＝５７０ｎｍとするとき、重み付け係数Ｘ≒２である場合を想定している。図６は、このような条件下で、ヘモグロビンの影響を配した肌領域の各部における特徴量Ｆ１の算出結果を対応する空間位置に応じて２次元的に配列したデータ（以降では、「特徴量マップ」とも称する）の一例を示している。図７に示す特徴量マップは、主にメラニンの影響が支配的となっており、定性的には肌の「しみ」や「あかみ」等の特徴が表れたマップとなっている。
同様に、既知であるメラニンの吸光係数スペクトルの特性を利用し、マルチスペクトル画像として取得した複数のスペクトルバンドデータを入力とした演算処理により、メラニンの影響を取り除くことも可能である。具体的には、メラニンの分布は肌の日焼けの度合いに応じて変化し、肌の撮像画像から個人の認識や識別に利用可能な固有の情報を抽出する場合には、ノイズとなる場合もある。このような場合においても、例えば、上述した演算処理によりメラニンの影響を排することで、識別器にとってはノイズとなり得る、比や系に伴う肌の色の変化の影響がキャンセルされるため、識別や認証に係る精度や確度をより向上させる効果が期待できる。
以上、第１の候補特徴量として、マルチスペクトル画像中に顕在化した一部の肌色素の影響を抑制することで抽出される、被写体（即ち、撮像された肌）に特徴的な情報の一例について、その抽出方法とあわせて説明した。
（第２の候補特徴量）
続いて、第２の候補特徴量について、その抽出方法とあわせて説明する。上述した第１の候補特徴量では、肌のマルチスペクトル画像（２次元スペクトルデータ）のうち、一部の波長帯域におけるスペクトルバンドデータと、別の波長帯域におけるスペクトルバンドデータと、を入力とした重み付け演算（重み付け処理）に基づき、１つの色素の影響を抑制していた。これに対して、第２の候補特徴量は、２以上の色素の影響を抑制（キャンセル）することで抽出される。具体的には、第２の候補特徴量は、マルチスペクトル画像（２次元スペクトルデータ）のうち、Ｎ＋１以上の波長帯域のスペクトルバンドデータを利用することで、Ｎ種類の色素の影響を抑制することで抽出される。より具体的な一例として、３つ以上の波長帯域のスペクトルバンドデータを利用することで、２種類の色素の影響を抑制することが可能となる。
例えば、ヘモグロビンを酸化ヘモグロビンと還元ヘモグロビンとに分けて考えた場合においても、３つ以上の波長帯域のスペクトルバンドデータを利用することで、メラニン、酸化ヘモグロビン、及び還元ヘモグロビンのうち一部の色素の影響のみを特徴量として抽出することが可能である。具体的な一例として、メラニンに注目した第２の候補特徴量は、３つ以上の波長帯域のスペクトルバンドデータを利用して、メラニンの項を残し、酸化ヘモグロビン及び還元ヘモグロビンそれぞれの項を消去することで抽出することが可能である。また、同様の思想に基づき、酸化ヘモグロビンに注目した第２の候補特徴量や、還元ヘモグロビンに注目した第２の候補特徴量を抽出することも可能である。
具体的には、Beer－Lambertの法則より、波長λ、空間位置ｘにおける吸光度は、以下に（式５）として示す関係式で表される。
Figure 0007480708000006
上記（式５）において、Ｃ＿Ｍ（ｘ）、Ｃ＿Ｈｏ（ｘ）、及びＣ＿Ｈｒ（ｘ）は、それぞれメラニン、酸化ヘモグロビン、及び還元ヘモグロビンの空間位置ｘにおける濃度を示している。また、Ａ＿Ｍ（λ）、Ａ＿Ｈｏ（λ）、及びＡ＿Ｈｒ（λ）はそれぞれメラニン、酸化ヘモグロビン、及び還元ヘモグロビンの波長λにおける吸光係数を表わしている。なお、メラニン、酸化ヘモグロビン、及び還元ヘモグロビンそれぞれの吸光係数の特性については、例えば、前述した文献３に開示されている。また、Ｏ（ｘ，λ）は、メラニン、酸化ヘモグロビン、及び還元ヘモグロビン以外の他の色素による吸光を及び散乱による影響を考慮したオフセット項を示している。
また、上記（式５）を、前述した（式２）と組み合わることで、スペクトルの測定値とメラニン、酸化ヘモグロビン、及び還元ヘモグロビンの色素濃度との間の関係は、以下に（式６）として示す関係式で表される。
Figure 0007480708000007
上記（式６）から、メラニン、酸化ヘモグロビン、及び還元ヘモグロビンの空間上での濃度の分布（Ｃ＿Ｍ（ｘ）、Ｃ＿Ｈｏ（ｘ）及びＣ＿Ｈｒ（ｘ））の違いによって、個人差（即ち、個々人における肌の色のムラの違い）が生じることがわかる。
また、マルチスペクトル画像として取得した複数のスペクトルバンドデータのうち３つ以上のバンドデータと、上記（式６）と、に基づき、メラニン、酸化ヘモグロビン、及び還元ヘモグロビンのうち一部の色素の影響を抑制する（理想的には、取り除く）ための計算式を導出する。例えば、波長λ１、λ２、及びλ３のスペクトルバンドデータを利用することで、以下に示す計算式が導出される。
Figure 0007480708000008
上述した計算式と、メラニン、酸化ヘモグロビン、及び還元ヘモグロビンのうち一部の色素の既知である吸光スペクトル特性（例えば、図５参照）と、を利用することで、当該一部の色素の影響が抑制された（理想的には、取り除かれた）特徴量マップを抽出することが可能となる。
具体的な一例として、Ａ＿Ｈｏ（λ１）、Ａ＿Ｈｏ（λ２）、及びＡ＿Ｈｏ（λ３）間の比率と、Ａ＿Ｈｒ（λ１）、Ａ＿Ｈｒ（λ２）、及びＡ＿Ｈｒ（λ３）間の比率とを、図５に示す酸化ヘモグロビン及び還元ヘモグロビンの既知の吸光スペクトル特性に基づき導出する。そして、上記比率の導出結果に応じた重み付け係数に基づく、波長λ１、λ２、及びλ３間における酸化ヘモグロビン及び還元ヘモグロビンそれぞれの吸光係数の重み付け演算（重み付け処理）により、酸化ヘモグロビン及び還元ヘモグロビンの影響が抑制された（理想的には、取り除かれた）、メラニンの特徴量マップを抽出することが可能となる。
また、上記と同様の思想に基づき、メラニン及び還元ヘモグロビンの影響が抑制された酸化ヘモグロビンの特徴量マップや、メラニン及び酸化ヘモグロビンの影響が抑制された還元ヘモグロビンの特徴量マップを抽出することも可能である。また、メラニン、酸化ヘモグロビン、及び還元ヘモグロビンに注目する場合には、例えば、λ１、λ２、及びλ３として、４７０ｎｍ、５３０ｎｍ、及び５６０ｎｍのそれぞれ（もしくはその近傍）にピークを有するスペクトルバンドを利用するとよい。
以上、第２の候補特徴量として、２以上の色素の影響を抑制（キャンセル）することで抽出される、被写体（即ち、撮像された肌）に特徴的な情報の一例について、その抽出方法とあわせて説明した。
（第３の候補特徴量）
続いて、第３の候補特徴量として、前述した第２の候補特徴量のように、複数の色素のうち一部の色素に着目した、被写体（即ち、撮像された肌）に特徴的な情報の他の一例について、特にその抽出方法に着目して説明する。
第２の候補特徴量において、メラニン、酸化ヘモグロビン、及び還元ヘモグロビンのうち、還元ヘモグロビンの影響をのみを残した特徴量マップ（即ち、メラニン及び酸化ヘモグロビンの影響を抑制した特徴量マップ）を抽出可能であることを説明した。第３の候補特徴量は、この第２の候補特徴量に類似した特徴量として、当該第２の候補特徴量の抽出方法よりもシンプルな方法により抽出することが可能である。
具体的には、前述した文献４に開示されているように、還元ヘモグロビンは、近赤外線帯域（特に、波長７６０ｎｍ近傍の波長帯域）において吸光度が高く、光の散乱や反射が少ないという特性（スペクトル特性）を有する。このような特性を利用して、例えば、マルチスペクトル画像として取得した複数のスペクトルバンドデータのうち、７６０ｎｍ近傍のスペクトルバンドデータを利用することで、第３の候補特徴量として、還元ヘモグロビンの特徴量を抽出することが可能である。例えば、還元ヘモグロビンに注目した場合の第３の候補特徴量Ｆ３は、以下に（式７）として示す関係式に基づき抽出することが可能である。
Figure 0007480708000009
例えば、図８は、第３の候補特徴量の抽出結果の一例を示した図であり、ユーザの手を被写体とした場合における、上述した（式７）に基づく特徴量の抽出結果の一例を示している。
なお、上記では、還元ヘモグロビンに着目した場合について説明したが、他の色素についても同様の思想に基づく手法を利用することで第３の候補特徴量を抽出することが可能となる場合がある。具体的意は、対象となる色素が特徴的なスペクトル特性を示す波長帯域のデータ、即ち、吸光度が高く、光の散乱や反射が少ない波長帯域のスペクトルバンドデータを利用することで、当該色素に注目した第３の候補特徴量を抽出することが可能となり得る。
以上、第３の候補特徴量として、前述した第２の候補特徴量のように、複数の色素のうち一部の色素に着目した、被写体（即ち、撮像された肌）に特徴的な情報の他の一例について、特にその抽出方法に着目して説明した。
（第４の候補特徴量）
続いて、第４の候補特徴量について説明する。前述した第１の候補特徴量～第３の候補特徴量は、ある空間位置に注目して特徴量を抽出したものである。これに対して、第４の候補特徴量は、空間方向の吸光度の変化量に着目して抽出される特徴量であり、光源の変動に対してより高いロバスト性を有するという特性を有している。そこで、以下に第４の後方特徴量について、特にその抽出方法に着目して説明する。
カメラ（換言すると、イメージセンサ）等の撮像部により観察されるスペクトルデータＲは、一般的には、光源から照射される光の分光分布Ｅ、被写体の分光反射率Ｓ、及びカメラ（マルチスペクトルカメラ）の分光感度特性Ｑによって決定される。具体的には、上記スペクトルデータＲは、以下に（式８）として示す関係式で表される。
Figure 0007480708000010
上記（式８）において、σはスケーリングファクタを表している。また、λは光の波長を表し、ｋは撮像部による画像の撮像に係るカラーチャネル数を表している。
上記（式８）を参照するとわかるように、光源から照射される光の分光分布Ｅに揺らぎがあると、被写体が同一の分光反射率Ｓを有していたとしても、撮像部により観測される値が変化する場合がある。即ち、当該観測結果に応じたスペクトルデータＲとして異なるデータが取得される場合がある。第４の候補特徴量は、このように光源から照射される光の分光分布Ｅに揺らぎがあるような状況下においても、抽出結果の同一性をより好適な態様で担保することが可能となる。
以下に、第４の候補特徴量の抽出方法についてより詳しく説明する。波長λに着目した場合の、空間位置ｘ１における吸光度と、当該空間位置ｘ１とは異なる空間位置ｘ２における吸光度と、の間の空間的変化量は、上述した（式３）に基づき以下に示す関係式で表される。
Figure 0007480708000011
このとき、各座標ｘにおける特徴量を１点の基準点ｘｃからの差分として表すと、第４の候補特徴量Ｆ４は、以下に（式９）として示す関係式で表される。
Figure 0007480708000012
ここで、図９を参照して、本実施形態に係る情報処理装置の機能構成の一例について説明する。図９は、本実施形態に係る情報処理装置の機能構成の他の一例について示したブロック図である。なお、以降の説明では、図９に示す情報処理システムについては、図２を参照して説明した情報処理システム１と区別するために、「情報処理システム１ａ」と称する場合がある。また、これらを特に区別しない場合には、単に「情報処理システム１」と称する場合がある。
図９に示すように、情報処理システム１ａは、撮像部１２３と、情報処理装置２１０と、データベース２９１とを含む。また、情報処理装置２１０は、対象領域検出部２０１と、基準画素設定部２１１と、特徴量抽出部２１３と、認識処理部２０５とを含む。なお、撮像部１２３、データベース２９１、対象領域検出部２０１、及び認識処理部２０５については、図２に示す撮像部１２３、データベース２９１、対象領域検出部２０１、及び認識処理部２０５と実質的に同様のため詳細な説明は省略する。
基準画素設定部２１１は、撮像部１２３による撮像結果に応じたマルチスペクトル画像から検出された対象領域（例えば、肌領域）のうち一部のピクセルを基準点ｘｃとして設定する。そして、基準画素設定部２１１は、基準点ｘｃが設定された当該対象領域に関する情報を、特徴量抽出部２１３に出力する。
特徴量抽出部２１３は、基準画素設定部２１１から基準点ｘｃが設定された対象領域に関する情報を取得し、当該対象領域に対して、所定の色素のスペクトル特性に応じた解析処理を施すことで特徴量を抽出する。具体的には、特徴量抽出部２１３は、上記対象領域の各部分について、前述した（式９）に基づき、基準点ｗｃからの差分として特徴量を抽出する。以上のようにして、特徴量抽出部２１３は、上記マルチスペクトル画像から特徴量を抽出し、当該特徴量に関する情報（例えば、特徴量マップ等）を認識処理部２０５に出力する。なお、以降の処理については、図２を参照して説明した情報処理システム１と同様のため、詳細な説明は省略する。
以上、図９を参照して、本実施形態に係る情報処理装置の機能構成の一例について説明した。
なお、第４の候補特徴量については、前述した第１の候補特徴量～第３の候補特徴量のそれぞれと組み合わせて利用することも可能である。具体的な一例として、空間方向における吸光度の変化量（第４の候補特徴量）を抽出した後に、互いに異なる複数のスペクトルバンドデータを入力した演算処理に基づき、所定の色素の影響を抑制した特徴量（例えば、第１の候補特徴量）の抽出が行われてもよい。例えば、図１０は、第１の候補特徴量と第４の候補特徴量とを利用する場合の一例について概要を示した図である。また、上述した（式４）及び（式９）から以下に示す関係式が導出される。
Figure 0007480708000013
上記関係式において、Ａ＿Ｈ（λ１）＝Ｘ＊Ａ＿Ｈ（λ２）の条件を満たす重み付け係数Ｘを選択することで、以下に（式１０）として示す関係式が導出される。
Figure 0007480708000014
以上のようにして特徴量を抽出することで、例えば、ヘモグロビンの影響を抑制する（理想的には、排除する）ことが可能となり、さらにマルチスペクトル画像の撮像時における光源から照射される光の分光分布の揺らぎに依存しない特徴量を抽出することが可能となる。即ち、以上のような特徴量を利用して個人の識別を行うことで、ヘモグロビンの影響に伴う特徴量の時間変動と、光源から照射される光の分光分布の時間変動と、のそれぞれに対してより高いロバスト性を有する個人認識を実現することが可能となる。
以上、第４の候補特徴量として、空間方向の吸光度の変化量に着目して抽出される特徴量の一例について、特にその抽出方法に着目して説明した。
＜３．３．第２の実施形態＞
続いて、本開示の第２の実施形態について説明する。第２の実施形態に係る情報処理システムは、過去に取得された画像（マルチスペクトル画像）と現在の画像との間の相関に基づき、当該画像中の領域の動きベクトルを算出することで、時間方向での吸光スペクトル特性の変化量を抽出して特徴量として利用する。なお、以降の説明では、当該特徴量を、前述した他の特徴量と区別するために便宜上「第５の候補特徴量」とも称する。
＜３．３．１．機能構成＞
まず、図１１を参照して、本開示の第２の実施形態に係る情報処理システムの機能構成の一例について説明する。図１１は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。なお、以降の説明では、図１１に示す情報処理システムについては、前述した他の実施形態に係る情報処理システムと区別するために、「情報処理システム１ｂ」と称する場合がある。また、これらを特に区別しない場合には、単に「情報処理システム１」と称する場合がある。
図１１に示すように、情報処理システム１ｂは、撮像部１２３と、情報処理装置２２０と、データベース２９１と、過去画像記憶部２９３とを含む。また、情報処理装置２２０は、対象領域検出部２０１と、基準画素設定部２１１と、動領域追跡部２２１と、特徴量抽出部２２３と、認識処理部２０５とを含む。なお、撮像部１２３、データベース２９１、対象領域検出部２０１、基準画素設定部２１１、及び認識処理部２０５については、図９に示す撮像部１２３、データベース２９１、対象領域検出部２０１、基準画素設定部２１１、及び認識処理部２０５と実質的に同様のため詳細な説明は省略する。
動領域追跡部２２１は、過去に取得された画像（マルチスペクトル画像）と、撮像部１２３による撮像結果に応じた現在の画像（マルチスペクトル画像）と、の間で画像中の領域ごとに相関を算出する。動領域追跡部２２１は、当該相関の算出結果に基づき、過去に取得された画像中の領域と最も相関の高い領域を現在の画像から探索することで、当該領域の動きのベクトルが２次元的にマッピングされたデータ（以下、「動きベクトルマップ」とも称する）を生成する。そして、動領域追跡部２２１は、生成した動きベクトルマップを、特徴量抽出部２２３に出力する。
特徴量抽出部２２３は、肌領域の検出結果に応じた肌領域マップが分割されたブロックごとに動きベクトルを算出し、当該動きベクトルの算出結果に基づき特徴量（第５の候補特徴量）を抽出する。例えば、特徴量抽出部２２３は、一般的なオプティカルフロー（optical flow）を、上記動きベクトルとして算出してもよい。なお、当該動きベクトルは、特に、ブロック間のスペクトル変化に対して頑健であることが望ましく、例えば、空間エッジを抽出してからの処理や評価指標に対して、ＮＣＣ（Normalized Cross Correlation）やＺＮＣＣ（Zero means Normalized Cross Correlation）が適用されるとよい。なお、対応するブロック間のスペクトルの変化（換言すると、あるブロックについての互いに異なる時刻間におけるスペクトルの変化）を算出することは、時間方向での吸光スペクトル特性の変化量の算出と同義である。具体的には、特徴量抽出部２２３は、動領域追跡部２２１により生成された動きベクトルマップに基づき、異なるタイミングで取得された画像間において対応するブロック（例えば、肌領域中のある一部に対応するブロック）を特定するとよい。即ち、特徴量抽出部２２３は、上記動きベクトルマップに基づき、互いに異なるタイミングで取得された画像間において対応するブロックを特定する。そして、特徴量抽出部２２３は、当該画像間において対応するブロック間の吸光スペクトル特性を比較することで、時間方向での吸光スペクトル特性の変化量を特徴量（第５の候補特徴量）として抽出すればよい。なお、当該特徴量の算出方法のより詳細については別途後述する。以上のようにして、特徴量抽出部２１３は、マルチスペクトル画像から特徴量を抽出し、当該特徴量に関する情報（例えば、特徴量マップ等）を認識処理部２０５に出力する。なお、以降の処理については、図２を参照して説明した情報処理システム１と同様のため、詳細な説明は省略する。
以上、図１１を参照して、本開示の第２の実施形態に係る情報処理システムの機能構成の一例について説明した。
＜３．３．２．特徴量の詳細＞
続いて、第５の候補特徴量について、抽出方法とあわせて詳細を以下に説明する。
例えば、前述した（式３）に対して時間変数ｔを取り入れると以下に（式１１）として示す関係式で表される。
Figure 0007480708000015
なお、上記（式１１）では、酸化ヘモグロビンと還元ヘモグロビンとを分けて考えている。具体的には、上記（式１１）において、Ｃ＿ＯＨ及びＡ＿ＯＨは、それぞれ酸化ヘモグロビンの濃度及び吸光係数を示している。また、Ｃ＿ＤＯＨ及びＡ＿ＤＯＨは、それぞれ還元ヘモグロビンの濃度及び吸光係数を示している。
波長λ、空間位置ｘについての、時刻ｔ１における吸光度と、時刻ｔ２における吸光度と、の間の変化量は、以下に示す関係式で表される。
Figure 0007480708000016
ここで、空間位置ｘにおいて短時間ではヘモグロビン以外の濃度はほぼ変動しないものと仮定すると、以下の関係式が成り立つものとみなすことが可能である。
Figure 0007480708000017
これにより、以下に示す関係式が成り立つ。
Figure 0007480708000018
このとき、例えば、図５に示す肌色素の吸光係数スペクトル特性に基づき、５７０ｎｍ近傍の波長λでは、以下に示す関係が成り立つものとみなすことが可能である。
Figure 0007480708000019
これにより、第５の候補特徴量Ｆ５は、以下に（式１２）として示す関係式で表される。
Figure 0007480708000020
以上のようにして算出される、酸化ヘモグロビンの濃度と、還元ヘモグロビンの濃度と、の時間的変動差に応じた特徴量（第５の候補特徴量）が、例えば、個人の識別や認証に利用されてもよい。
また、ヘモグロビンの時間変動については、当該ヘモグロビンの吸光度が高い領域（即ち、マルチスペクトル画像中の領域）では、より検出がしやすくなる。そのため、例えば、マルチスペクトル画像として取得されるスペクトルバンドデータとして、４２５ｎｍ近傍の周波数を中心周波数とする波長帯域のデータが追加されることで、特徴的な部分がより強調された特徴量を得ることも可能となる。即ち、上記（式１２）において、波長λ＝４２５ｎｍとして第５の候補特徴量Ｆ５を算出することで、特徴的な部分がより強調された特徴量を得ることも可能となる。
＜３．３．３．実施例＞
続いて、本実施形態に係る情報処理システムの実施例について説明する。本実施例では、ユーザの肌が被写体として撮像されたマルチスペクトル画像から抽出される第１、第３、及び第５の候補特徴量に対して、第４の候補特徴量を組み合わせ、これらの特徴量を利用してユーザの識別や認証を行う場合の処理の一例について説明する。例えば、図１２は、本実施形態の実施例に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。
本実施例では、撮像部１２３は、マルチスペクトル画像として、中心波長がそれぞれ４２５ｎｍ、５１０ｎｍ、５７０ｎｍ、７６０ｎｍ、８７０ｎｍ、及び９７０ｎｍと略等しい６つの波長帯域に対応するスペクトルバンドデータを取得可能に構成されている。このような構成の基で、本実施例に係る情報処理装置２２０は、上記撮像部１２３から被写体の撮像結果に応じたマルチスペクトル画像を取得する（Ｓ２０１）。
次いで、情報処理装置２２０（対象領域検出部２０１）は、取得したマルチスペクトル画像に対して画像解析を施すことで、当該マルチスペクトル画像から肌領域を検出する（Ｓ２０３）。
具体的な一例として、情報処理装置２２０は、４２５ｎｍ、５１０ｎｍ、及び５７０ｎｍの波長それぞれに対応するスペクトルバンドデータを利用したＨＳＶ変換により、マルチスペクトル画像に撮像された肌色の領域を抽出する。当該抽出の結果を便宜上、第１の抽出結果とも称する。また、情報処理装置２２０は、８７０ｎｍ及び９７０ｎｍそれぞれのスペクトルバンドデータの差分に基づき、当該マルチスペクトル画像に撮像された肌色の領域を抽出する。当該抽出の結果を便宜上、第２の抽出結果とも称する。そして、情報処理装置２２０は、上記第１の抽出結果と上記第２の抽出結果とをマージすることで、上記マルチスペクトル画像から肌領域を検出する。具体的な一例として、情報処理装置２２０は、上記第１の抽出結果と上記第２の抽出結果との積集合により特定されるマルチスペクトル画像中の領域を肌領域として検出してもよい。
次いで、情報処理装置２２０（動領域追跡部２２１）は、肌領域が分割されたブロックの動きベクトルを抽出する（Ｓ２０５）。そして、情報処理装置２２０（特徴量抽出部２２３）は、上記マルチスペクトル画像から検出された肌領域に対して、所定の肌色素（例えば、メラニンやヘモグロビン）のスペクトル特性に応じた解析処理を施すことで特徴量を抽出する（Ｓ２０７）。
ここで、図１３を参照して、マルチスペクトル画像から検出された肌領域から、所定の肌色素のスペクトル特性に応じて特徴量を抽出する処理の一例について説明する。図１３は、本実施形態の実施例に係る情報処理システムによる特徴量の抽出に係る処理の一例を示したフローチャートである。
図１３に示すように、情報処理装置２２０は、マルチスペクトル画像から検出された肌領域中の一部のピクセルを基準点として設定する。そして、情報処理装置２２０は、当該肌領域から、４２５ｎｍ、５１０ｎｍ、５７０ｎｍ、７６０ｎｍ、８７０ｎｍ、及び９７０ｎｍの波長それぞれについて第４の候補特徴量を抽出し、当該抽出結果に基づき特徴量マップＦ４を生成する。具体的には、情報処理装置２２０は、肌領域の各部分について、前述した（式９）に基づき、基準点ｗｃからの差分として第４の候補特徴量を抽出し、当該抽出結果に基づき特徴量マップＦ４を生成する（Ｓ２２１）。
次いで、情報処理装置２２０は、５１０ｎｍ及び５７０ｎｍの波長それぞれについて生成した特徴量マップＦ４を、前述した（式４）に基づき更新する（Ｓ２２３）。即ち、当該更新後の特徴量マップＦ４は、メラニンの影響が支配的な第１の候補特徴量に相当する。なお、以降の説明では、当該更新後の特徴量マップＦ４を、便宜上「特徴量マップＦ１４」とも称する。
また、情報処理装置２２０は、７６０ｎｍの波長について生成した特徴量マップＦ４を、前述した（式７）に基づき更新する（Ｓ２２５）。即ち、当該更新後の特徴量マップＦ４は、還元ヘモグロビンの影響に着目した第３の候補特徴量に相当する。なお、なお、以降の説明では、当該更新後の特徴量マップＦ４を、便宜上「特徴量マップＦ３４」とも称する。
また、情報処理装置２２０は、４２５ｎｍの波長について生成した特徴量マップＦ４を、前述した（式１２）に基づき更新する（Ｓ２２５）。即ち、当該更新後の特徴量マップＦ４は、ヘモグロビン濃度の時間的変動に着目した第５の候補特徴量に相当する。なお、なお、以降の説明では、当該更新後の特徴量マップＦ４を、便宜上「特徴量マップＦ５４」とも称する。
次いで、図１２に示すように、情報処理装置２２０（認識処理部２０５）は、上述した各特徴量（即ち、特徴量マップＦ１４、Ｆ３４、及びＦ５４）を、所定の記憶領域（例えば、データベース２９１）にあらかじめ記憶されたデータと照合することで、ユーザの識別や認証を行う（Ｓ２０９）。具体的な一例として、抽出された上記各特徴量が、機械学習に基づき当該各特徴量とユーザとの間の関係を学習した認識機に入力されることで、ユーザの識別や認証が行われてもよい。そして、情報処理装置２２０（認識処理部２０５）は、ユーザの識別や認証の結果に応じて、当該ユーザに関する情報（例えば、ユーザＩＤ等）を所定の出力先に出力する（Ｓ２１１）。
以上、実施例として、ユーザの肌が被写体として撮像されたマルチスペクトル画像から抽出される第１、第３、及び第５の候補特徴量に対して、第４の候補特徴量を組み合わせ、これらの特徴量を利用してユーザの識別や認証を行う場合の処理の一例について説明した。
＜３．４．第３の実施形態＞
続いて、本開示の第３の実施形態について説明する。第３の実施形態に係る情報処理システムは、マルチスペクトル画像の撮像対象となる撮像領域（実空間の領域）に対して照射する光の波長を選択的に切り替えることで、当該マルチスペクトル画像からの特徴量の抽出をより好適な態様で実現可能とする。
＜３．４．１．概略構成＞
まず、図１４を参照して、本開示の第３の実施形態に係る技術が適用される装置の概略的な構成の一例について説明する。図１４は、本実施形態に係る装置の概略的な構成の一例について説明するための説明図であり、所定の投影面に対して映像を投影することで情報を提示する表示装置の構成の一例について示している。なお、図１４において、図１と同様の符号は、図１に示す例と同様の対象を示すものとする。
図１４を図１と比較するとわかるように、図１４に示す表示装置１００は、光源１７０を備える点で、図１に示す表示装置１００と異なる。そのため、本項では、主に光源１７０の構成と、当該光源１７０の制御に係る部分と、に着目して説明し、その他の部分（即ち、図１に示す表示装置１００と実質的に同様の部分）については詳細な説明は省略する。
光源１７０は、所謂アクティブ光源として構成されている。具体的には、光源１７０は、マルチスペクトル画像の撮像対象となる領域Ｍ１６０に対して光を照射可能に構成された光源であり、照射する光の波長帯域を、当該領域Ｍ１６０の部分ごと（換言すると、領域Ｍ１６０が分割された部分領域ごと）に制御可能に構成されている。このような構成により、例えば、領域Ｍ１６０のうち、ユーザの手Ｕ１が位置する部分領域Ｍ１６１ａと、当該部分領域Ｍ１６１ａ以外の領域のうち表示情報が投影される部分領域Ｍ１６１ｂと、のそれぞれに対して互いに異なる波長帯域の光を照射することも可能となる。具体的な一例として、光源１７０は、ユーザの手Ｕ１が存在する部分領域Ｍ１６１ａ（即ち、肌領域の検出対象となる部分領域）に対して、肌色素のスペクトル特性に応じた特徴量がより検出しやすくなるような波長帯域の光が照射されるように制御されてもよい。また、光源１７０は、表示情報が投影される部分領域Ｍ１６１ｂに対して、当該表示情報の視認性がより向上するような波長帯域の光が照射されるように制御されてもよい。
なお、光源１７０の動作を制御する制御部に相当する構成については、例えば、本体１１０に設けられていてもよい。また、領域Ｍ１６０に対して映像を投影する出力部１３０が、光源１７０としての役割を担ってもよい。この場合には、出力部１３０は、領域Ｍ１６０に対して投影する映像を、当該領域Ｍ１６０が分割された部分領域ごとに制御することで、部分領域ごとに照射される光の波長帯域を制御してもよい。
以上、図１４を参照して、本開示の第３の実施形態に係る技術が適用される装置の概略的な構成の一例について説明した。
＜３．４．２．機能構成＞
続いて、図１５を参照して、本開示の第３の実施形態に係る情報処理システムの機能構成の一例について説明する。図１５は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。なお、以降の説明では、図１５に示す情報処理システムについては、前述した他の実施形態に係る情報処理システムと区別するために、「情報処理システム１ｃ」と称する場合がある。また、これらを特に区別しない場合には、単に「情報処理システム１」と称する場合がある。
図１５に示すように、情報処理システム１ｃは、撮像部１２３と、情報処理装置２３０と、データベース２９１と、光源１７０とを含む。また、情報処理装置２３０は、対象領域検出部２０１と、基準画素設定部２１１と、特徴量抽出部２１３と、認識処理部２０５とを含む。なお、撮像部１２３、データベース２９１、対象領域検出部２０１、基準画素設定部２１１、特徴量抽出部２１３、及び認識処理部２０５については、図９に示す撮像部１２３、データベース２９１、対象領域検出部２０１、基準画素設定部２１１、特徴量抽出部２１３、及び認識処理部２０５と実質的に同様のため詳細な説明は省略する。また、光源１７０は、図１４に示す光源１７０に相当する。
光源制御部２３１は、光源１７０の動作を制御することで、当該光源１７０から照射される光の波長帯域を制御する。このとき、光源制御部２３１は、光源１７０から光が照射される領域中の部分領域ごとに、照射される光の波長帯域を制御してもよい。具体的な一例として、光源制御部２３１は、対象領域検出部２０１から対象領域（例えば、肌領域）の検出結果に関する情報を取得し、当該対象領域に対して照射される光の波長帯域を、当該対象領域から特徴量がより抽出しやすくなるように光源１７０の動作を制御してもよい。より具体的には、光源制御部２３１は、当該対象領域に対して照射される光の波長帯域を、当該対象領域からの特徴量の抽出に利用する色素のスペクトル特性に応じて制御してもよい。
なお、図１５に示す例は、図９に示す情報処理システム１ａに対して、光源１７０及び光源制御部２３１を追加した構成となっているが、必ずしも本実施形態に係る情報処理システムの機能構成を限定するものではない。例えば、図２や図１１に示す情報処理システムに対して、図１５に示す例と同様に光源１７０及び光源制御部２３１が追加されることで、本実施形態に係る情報処理システム１が構成されてもよい。
以上、図１５を参照して、本開示の第３の実施形態に係る情報処理システムの機能構成の一例について説明した。
＜３．４．３．光源からの照射光の制御例＞
続いて、光源１７０から照射される光の制御の一例についてより詳細に説明する。
マルチスペクトルカメラで得られる分光データ（換言すると、マルチスペクトル画像）は、（式８）に基づき説明したように、光源から照射される光の分光分布Ｅ、被写体の分光反射率Ｓ、及び当該マルチスペクトルカメラの分光感度特性Ｑの乗算に基づき決定される。そのため、マルチスペクトル画像から所定の色素のスペクトル特性に応じた特徴量の抽出に際し、より有用な波長に対応する分光データを得るためには、光源から照射される光の分光分布Ｅにも当該波長の成分が含まれていることが望ましい。
具体的な一例として、特徴量の抽出に有用な情報（特徴）が波長λｉ近傍に存在し、かつマルチスペクトルカメラの波長λｉにおける分光感度Ｑｋ（λｉ）についても十分であるものとする。一方で、光源の波長λｉにおける分光分布Ｅ（λｉ）＝０である場合には、マルチスペクトルカメラから得られる分光データＲｋには、波長λｉにおける分光成分が含まれないこととなる。
よって、特徴量の抽出に有用な波長が既知の場合には、照射される光の分光分布Ｅに当該波長の成分が含まれる光源が使用されることが望ましい。一方で、特徴量の抽出に有用な波長が特定されていない場合には、照射される光の分光分布Ｅに想定され得る全ての波長帯域の成分（理想的には全ての波長帯域の成分）が含まれる光源が使用されるとよい。
以上、光源１７０から照射される光の制御の一例についてより詳細に説明した。
＜＜４．ハードウェア構成＞＞
続いて、図１６を参照しながら、本開示の一実施形態に係る情報処理システムにおいて、各種処理を実行する情報処理装置（例えば、図２に示す情報処理装置２００）のハードウェア構成の一例について、詳細に説明する。図１６は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
本実施形態に係る情報処理システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ（読み出し専用メモリ；Read Only Memory）９０３と、ＲＡＭ（Radom Access Memory）９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図２に示す対象領域検出部２０１、特徴量抽出部２０３、及び認識処理部２０５は、ＣＰＵ９０１による実現され得る。
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、液晶ディスプレイ装置、有機ＥＬ（Electro Luminescent）ディスプレイ装置、ＣＲＴ（Cathode Ray Tube）ディスプレイ装置、プラズマディスプレイ装置、及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。なお、図２に示すデータベース２９１は、ＲＡＭ９０３、ストレージ装置９１９、及びリムーバブル記録媒体９２７の少なくともいずれかにより実現され得る。また、当該データベース２９１は、ＲＡＭ９０３、ストレージ装置９１９、及びリムーバブル記録媒体９２７のうちの２以上が組み合わされることで実現されてもよい。
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本開示の実施形態に係る情報処理システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１６では図示しないが、情報処理システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
＜＜５．むすび＞＞
以上、説明したように、本開示の一実施形態に係る情報処理システムにおいて、情報処理装置は、マルチスペクトル画像を取得する取得部と、当該マルチスペクトル画像から特徴量を抽出する抽出部とを含む。具体的には、取得部は、複数の波長帯域に分光された光による被写体の撮像結果に応じたマルチスペクトル画像を取得する。また、抽出部は、当該マルチスペクトル画像に対して、１以上の色素の吸光スペクトルの特性に応じた重み付け係数に基づき演算処理（例えば、重み付け処理）を施すことで特徴量を抽出する。
以上のような構成により、例えば、所定の被写体に含まれる複数の色素のうち一部の色素（例えば、状況に応じて顕在化する影響が変化しやすい色素）の影響を抑制し、状況の変化により高いロバスト性を有する当該被写体に固有の情報を特徴量として抽出することが可能となる。換言すると、上記のような構成に基づき被写体に固有の情報を特徴量として抽出することで、その時々の状況の変化に関わらず、当該特徴量の同一性を担保可能となる作用効果を期待することが可能となる。即ち、本開示の一実施形態に係る情報処理システムに依れば、画像（マルチスペクトル画像）の撮像時の状況の変化に関わらず、撮像画像から被写体に固有の情報をより好適な態様で抽出することが可能となる。
また、上述のような特徴量を、例えば、所定の対象（例えば、ユーザ）の識別や認証に利用することで、その時々の状況の変化に対してより高いロバスト性を有し、かつより精度の高い識別や認証を実現することも可能となる。
特に、本開示に係る技術を、ユーザの少なくとも一部の部位を利用した個人の識別や認証に利用することで、手等のように形状変化が起こりやすい部位を対象とした場合においても、煩雑な操作を伴わずに、より精度の高い個人の識別や認証を実現することが可能となる。また、日焼け等によりその時々で状態（特に、色等のような外見の状態）が変化するような場合においても、本開示に係る技術を利用することで、当該状態の変化に対してより高いロバスト性を有する個人の識別や認証を実現することが可能となる。また、本開示に係る技術を利用することで、煩雑な操作を伴わず速やかにユーザの識別や認証を行うことが可能となるため、例えば、当該識別や認証の結果に応じた情報をより短い遅延で提示することが可能となる（換言すると、タイムリーな当該情報の提示が可能となる）。また、本開示に係る技術を利用することで、例えば、対象となる部位の一部が他の物体等により遮蔽され、当該部位のうち一部しか肌が露出していないような状況下においても、安定的かつ高精度に、個人の識別や認証を行うことも可能となる。
なお、上記では、主にユーザの肌を被写体とした撮像画像（マルチスペクトル画像）から、肌色素のスペクトル特性に応じて特徴量を抽出する例に着目して説明したが、必ずしも本開示に係る技術の適用対象を限定するものではない。即ち、撮像画像中に影響が顕在化する色素の種類と、当該色素のスペクトル特性と、が既知であれば、本開示に係る技術を適用することで、当該撮像画像の被写体に固有の情報を特徴量として抽出することが可能となり得る。また、上記では、抽出された特徴量を、所定の対象（例えば、ユーザ）の識別や認証に利用する例に着目して説明したが、当該特徴量の用途についても特に限定はされず、例えば、所定の対象の劣化の度合いの判定等に利用することも可能である。
具体的な一例として、自動車、船舶、及び航空機等においては、多層コーティングや特殊塗料等により多層膜が形成される。このような多層膜の状態の解析（例えば、劣化の度合いの解析）に、本開示に係る技術に基づき抽出された特徴量を利用することも可能である。また、当該多層膜を被写体とした撮像画像から、本開示に係る技術に基づき抽出された特徴量を、当該多層膜を有する固体（例えば、自動車、船舶、及び航空機等）の識別に利用することも可能である。
また、医薬品においても、錠剤コーティングやジェルカプセル等が多層膜として形成されている場合があり、このような場合における当該多層膜の解析や、医薬品の固体の識別に、本開示に係る技術に基づき抽出された特徴量を利用することも可能である。
また、電子部品等に適用される機能性フィルム（即ち、絶縁、接着、粘着、防腐、位相差、偏光、ＡＲ等）は、人間の３錯体による検知では透明に見えるもの（即ち、視認が困難なもの）が多い。このような場合においても、当該機能性フィルを被写体とした撮像画像から、本開示に係る技術に基づき抽出される特徴量を利用することで、当該機能性フィルムの状態の把握や、当該機能性フィルムの個体識別等を行うことも可能となる。また、は導体パッケージにおける、酸化膜、窒化膜、レジスト（Resist）、ＤＬＣ（Diamond－Like Carbon）コーティング、有機膜、封止剤、防錆剤、及び防曇剤等の状態からの固体の情報の取得にも、本開示に係る技術を応用することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の波長帯域に分光された光による被写体の撮像結果に応じたマルチスペクトル画像を取得する取得部と、
前記マルチスペクトル画像に対して、１以上の色素の吸光スペクトルの特性に応じた係数に基づく演算処理を施すことで特徴量を抽出する抽出部と、
を備える、情報処理装置。
（２）
前記１以上の色素は、少なくとも一部に１以上の肌色素を含む、前記（１）に記載の情報処理装置。
（３）
前記抽出部は、前記マルチスペクトル画像に対して、前記演算処理として、少なくともメラニンの吸光スペクトルの特性に応じた重み付け処理を施すことで、前記特徴量を抽出する、前記（２）に記載の情報処理装置。
（４）
前記抽出部は、前記マルチスペクトル画像に対して、少なくとも、前記メラニンと、ヘモグロビンと、のそれぞれの吸光スペクトルの特性に応じた前記重み付け処理を施すことで、前記特徴量を抽出する、前記（３）に記載の情報処理装置。
（５）
前記抽出部は、前記ヘモグロビンとして、酸化ヘモグロビンと還元ヘモグロビンとを区別して、前記マルチスペクトル画像に対して前記重み付け処理を施すことで、前記特徴量を抽出する、前記（４）に記載の情報処理装置。
（６）
前記複数の波長帯域は、中心波長がそれぞれ４２５ｎｍ、５１０ｎｍ、５７０ｎｍ、７６０ｎｍ、８７０ｎｍ、及び９７０ｎｍと略等しい６つの波長帯域を含む、前記（５）に記載の情報処理装置。
（７）
前記抽出部は、前記１以上の色素の吸光スペクトルの特性に応じた前記係数に基づき、前記マルチスペクトル画像に顕在化した、当該１以上の色素のうち少なくとも一部の色素の影響を抑制することで前記特徴量を算出する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
前記演算処理は、前記マルチスペクトル画像中の少なくとも一部の領域に対応する空間位置における、前記１以上の色素のうち少なくとも一部の色素の吸光スペクトルの特性に応じた、第１の波長における吸光度と、当該第１の波長とは異なる第２の波長における吸光度と、に基づく重み付け処理であり、
前記抽出部は、前記重み付け処理により、当該領域に顕在化した当該色素の影響を抑制することで、前記特徴量を抽出する、
前記（７）に記載の情報処理装置。
（９）
Ｎを１以上の整数とした場合に、
前記演算処理は、前記マルチスペクトル画像中の少なくとも一部の領域に対応する空間位置における、Ｎ種類の色素それぞれの吸光スペクトルの特性に応じた、Ｎ以上の互いに異なる波長それぞれにおける吸光度に基づく重み付け処理であり、
前記抽出部は、前記重み付け処理により、当該領域に顕在化した前記Ｎ種類の色素のうちの一部の色素の影響を抑制することで、前記特徴量を抽出する、
前記（７）に記載の情報処理装置。
（１０）
前記演算処理は、前記マルチスペクトル画像中の少なくとも一部の領域に対応する空間方向における、前記１以上の色素のうち少なくとも一部の色素の吸光スペクトルの特性に応じた吸光度の変化量に基づく重み付け処理であり、
前記抽出部は、前記重み付け処理により、当該領域に顕在化した当該一部の色素による影響を抽出することで、前記特徴量を抽出する、
前記（７）に記載の情報処理装置。
（１１）
前記抽出部は、前記マルチスペクトル画像中の少なくとも一部の領域に対応する空間位置における、前記１以上の色素のうちの少なくとも一部の色素の吸光スペクトルの特性に応じた波長における吸光度に基づく前記演算処理により、当該領域に顕在化した当該一部の色素による影響を抽出することで、前記特徴量を抽出する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（１２）
前記演算処理は、前記マルチスペクトル画像に対する、前記１以上の色素のうち少なくとも一部の色素の吸光スペクトル特性に応じた吸光度の時間方向における変化量に応じた前記係数に基づく重み付け処理であり、
前記抽出部は、前記重み付け処理により、前記特徴量を抽出する、
前記（１）～（６）のいずれか一項に記載の情報処理装置。
（１３）
前記抽出部は、前記マルチスペクトル画像中の少なくとも一部の領域に対応する前記特徴量を、当該領域の部分ごとの前記特徴量が２次元的に配列されたデータとして抽出する、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記抽出部は、前記領域中の一部を基準点として規定し、当該領域中の各部分に対応する前記特徴量を、当該基準点における前記特徴量との差分として設定することで、当該領域に対応する前記特徴量を抽出する、前記（１３）に記載の情報処理装置。
（１５）
前記マルチスペクトル画像から抽出された前記特徴量と、事前に個人データとして登録された前記特徴量と、に基づき個人を識別する識別部を備える、前記（１）～（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記マルチスペクトル画像から肌領域を検出する検出部と、
前記マルチスペクトル画像の撮像範囲に対応する実空間内の領域が分割された部分領域ごとに、当該部分領域に対して光源から照射される光の波長帯域を制御する制御部と、
備え、
前記制御部は、検出された前記肌領域に対応する前記部分領域に対して、前記１以上の色素のうち少なくとも一部の色素の吸光スペクトルの特性に応じた波長帯域の光が照射されるように制御する、
前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
コンピュータが、
複数の波長帯域に分光された光による被写体の撮像結果に応じたマルチスペクトル画像を取得することと、
前記マルチスペクトル画像に対して、１以上の色素の吸光スペクトルの特性に応じた係数に基づく演算処理を施すことで特徴量を抽出することと、
を含む、情報処理方法。
（１８）
コンピュータに、
複数の波長帯域に分光された光による被写体の撮像結果に応じたマルチスペクトル画像を取得することと、
前記マルチスペクトル画像に対して、１以上の色素の吸光スペクトルの特性に応じた係数に基づく演算処理を施すことで特徴量を抽出することと、
を実行させる、プログラム。
１ 情報処理システム
１００ 表示装置
１１０ 本体
１２０ センサボックス
１２１ 検知部
１２３ 撮像部
１３０ 出力部
１７０ 光源
２００、２１０、２２０、２３０ 情報処理装置
２０１ 対象領域検出部
２０３ 特徴量抽出部
２０３１ ブロック分割部
２０３３ 演算部
２０５ 認識処理部
２１１ 基準画素設定部
２１３ 特徴量抽出部
２２１ 動領域追跡部
２２３ 特徴量抽出部
２３１ 光源制御部
２９１ データベース
２９３ 過去画像記憶部

Claims (15)

  1. 複数の波長帯域に分光された光による被写体の撮像結果に応じたマルチスペクトル画像を取得する取得部と、
    前記マルチスペクトル画像に対して、複数の色素の吸光スペクトルの特性に応じた係数に基づく演算処理を施すことで特徴量を抽出する抽出部と、を備え、
    前記複数の色素は、少なくとも一部に１以上の肌色素を含み、
    前記抽出部は、前記マルチスペクトル画像に対して、前記演算処理として、重み付け処理を施すことで、前記特徴量を抽出し、
    前記演算処理は、前記マルチスペクトル画像に対する、前記複数の色素のうち少なくとも一部の色素の吸光スペクトル特性に応じた吸光度の時間方向における変化量に応じた前記係数に基づく重み付け処理を含み、
    前記吸光度の時間方向における変化量は、現在の前記マルチスペクトル画像と、過去の前記マルチスペクトル画像とを用いて算出される動きベクトルに基づき抽出され、
    前記重み付け処理は、前記複数の色素の吸光スペクトルのうち、第１の波長における第１のヘモグロビンの吸光係数と第２の波長における第２のヘモグロビンの吸光係数の比率から決定される重み付け係数に基づいて行われる、
    情報処理装置。
  2. 前記抽出部は、前記マルチスペクトル画像に対して、少なくとも、メラニンと、ヘモグロビンと、のそれぞれの吸光スペクトルの特性に応じた前記重み付け処理を施すことで、前記特徴量を抽出する、請求項１に記載の情報処理装置。
  3. 前記抽出部は、前記ヘモグロビンとして、酸化ヘモグロビンと還元ヘモグロビンとを区別して、前記マルチスペクトル画像に対して前記重み付け処理を施すことで、前記特徴量を抽出する、請求項２に記載の情報処理装置。
  4. 前記複数の波長帯域は、中心波長がそれぞれ４２５ｎｍ、５１０ｎｍ、５７０ｎｍ、７６０ｎｍ、８７０ｎｍ、及び９７０ｎｍである６つの波長帯域を含む、請求項３に記載の情報処理装置。
  5. 前記抽出部は、前記複数の色素の吸光スペクトルの特性に応じた前記係数に基づき、前記マルチスペクトル画像に顕在化した、当該複数の色素のうち少なくとも一部の色素の影響を抑制することで前記特徴量を算出する、請求項１に記載の情報処理装置。
  6. 前記演算処理は、前記マルチスペクトル画像中の少なくとも一部の領域に対応する空間位置における、前記複数の色素のうち少なくとも一部の色素の吸光スペクトルの特性に応じた、第１の波長における吸光度と、当該第１の波長とは異なる第２の波長における吸光度と、に基づく重み付け処理であり、
    前記抽出部は、前記重み付け処理により、当該領域に顕在化した当該色素の影響を抑制することで、前記特徴量を抽出する、
    請求項５に記載の情報処理装置。
  7. Ｎを１以上の整数とした場合に、
    前記演算処理は、前記マルチスペクトル画像中の少なくとも一部の領域に対応する空間位置における、Ｎ種類の色素それぞれの吸光スペクトルの特性に応じた、Ｎ以上の互いに異なる波長それぞれにおける吸光度に基づく重み付け処理であり、
    前記抽出部は、前記重み付け処理により、当該領域に顕在化した前記Ｎ種類の色素のうちの一部の色素の影響を抑制することで、前記特徴量を抽出する、
    請求項５に記載の情報処理装置。
  8. 前記演算処理は、前記マルチスペクトル画像中の少なくとも一部の領域に対応する空間方向における、前記複数の色素のうち少なくとも一部の色素の吸光スペクトルの特性に応じた吸光度の変化量に基づく重み付け処理であり、
    前記抽出部は、前記重み付け処理により、当該領域に顕在化した当該一部の色素による影響を抽出することで、前記特徴量を抽出する、
    請求項５に記載の情報処理装置。
  9. 前記抽出部は、前記マルチスペクトル画像中の少なくとも一部の領域に対応する空間位置における、前記複数の色素のうちの少なくとも一部の色素の吸光スペクトルの特性に応じた波長における吸光度に基づく前記演算処理により、当該領域に顕在化した当該一部の色素による影響を抽出することで、前記特徴量を抽出する、請求項１に記載の情報処理装置。
  10. 前記抽出部は、前記マルチスペクトル画像中の少なくとも一部の領域に対応する前記特徴量を、当該領域の部分ごとの前記特徴量が２次元的に配列されたデータとして抽出する、請求項１に記載の情報処理装置。
  11. 前記抽出部は、前記領域中の一部を基準点として規定し、当該領域中の各部分に対応する前記特徴量を、当該基準点における前記特徴量との差分として設定することで、当該領域に対応する前記特徴量を抽出する、請求項１０に記載の情報処理装置。
  12. 前記マルチスペクトル画像から抽出された前記特徴量と、事前に個人データとして登録された前記特徴量と、に基づき個人を識別する識別部を備える、請求項１に記載の情報処理装置。
  13. 前記マルチスペクトル画像から肌領域を検出する検出部と、
    前記マルチスペクトル画像の撮像範囲に対応する実空間内の領域が分割された部分領域ごとに、当該部分領域に対して光源から照射される光の波長帯域を制御する制御部と、
    を備え、
    前記制御部は、検出された前記肌領域に対応する前記部分領域に対して、前記複数の色素のうち少なくとも一部の色素の吸光スペクトルの特性に応じた波長帯域の光が照射されるように制御する、
    請求項１に記載の情報処理装置。
  14. コンピュータが、
    複数の波長帯域に分光された光による被写体の撮像結果に応じたマルチスペクトル画像を取得することと、
    前記マルチスペクトル画像に対して、複数の色素の吸光スペクトルの特性に応じた係数に基づく演算処理を施すことで特徴量を抽出することと、を含み、
    前記複数の色素は、少なくとも一部に１以上の肌色素を含み、
    前記特徴量を抽出することでは、前記マルチスペクトル画像に対して、前記演算処理として、重み付け処理を施すことで、前記特徴量を抽出し、
    前記演算処理は、前記マルチスペクトル画像に対する、前記複数の色素のうち少なくとも一部の色素の吸光スペクトル特性に応じた吸光度の時間方向における変化量に応じた前記係数に基づく重み付け処理を含み、
    前記吸光度の時間方向における変化量は、現在の前記マルチスペクトル画像と、過去の前記マルチスペクトル画像とを用いて算出される動きベクトルに基づき抽出され、
    前記重み付け処理は、前記複数の色素の吸光スペクトルのうち、第１の波長における第１のヘモグロビンの吸光係数と第２の波長における第２のヘモグロビンの吸光係数の比率から決定される重み付け係数に基づいて行われる、
    情報処理方法。
  15. コンピュータに、
    複数の波長帯域に分光された光による被写体の撮像結果に応じたマルチスペクトル画像を取得することと、
    前記マルチスペクトル画像に対して、複数の色素の吸光スペクトルの特性に応じた係数に基づく演算処理を施すことで特徴量を抽出することと、を実行させ、
    前記複数の色素は、少なくとも一部に１以上の肌色素を含み、
    前記特徴量を抽出することでは、前記マルチスペクトル画像に対して、前記演算処理として、重み付け処理を施すことで、前記特徴量を抽出し、
    前記演算処理は、前記マルチスペクトル画像に対する、前記複数の色素のうち少なくとも一部の色素の吸光スペクトル特性に応じた吸光度の時間方向における変化量に応じた前記係数に基づく重み付け処理を含み、
    前記吸光度の時間方向における変化量は、現在の前記マルチスペクトル画像と、過去の前記マルチスペクトル画像とを用いて算出される動きベクトルに基づき抽出され、
    前記重み付け処理は、前記複数の色素の吸光スペクトルのうち、第１の波長における第１のヘモグロビンの吸光係数と第２の波長における第２のヘモグロビンの吸光係数の比率から決定される重み付け係数に基づいて行われる、
    プログラム。
JP2020555969A 2018-11-06 2019-10-28 情報処理装置、情報処理方法、及びプログラム Active JP7480708B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018209248 2018-11-06
JP2018209248 2018-11-06
PCT/JP2019/042091 WO2020095739A1 (ja) 2018-11-06 2019-10-28 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020095739A1 JPWO2020095739A1 (ja) 2021-10-07
JP7480708B2 true JP7480708B2 (ja) 2024-05-10

Family

ID=70611305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020555969A Active JP7480708B2 (ja) 2018-11-06 2019-10-28 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US11914692B2 (ja)
JP (1) JP7480708B2 (ja)
CN (1) CN113167722A (ja)
WO (1) WO2020095739A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3667617A1 (en) * 2018-12-14 2020-06-17 Koninklijke Philips N.V. Imaging system and imaging method
US11874906B1 (en) * 2020-01-15 2024-01-16 Robert William Kocher Skin personal identification (Skin-PIN)
CN113888540B (zh) * 2021-12-06 2022-03-18 深圳市海谱纳米光学科技有限公司 一种用于人脸皮肤成分图像的分离方法和系统
CN116842436B (zh) * 2023-06-07 2024-01-16 中国医学科学院北京协和医院 一种多光谱组合的皮肤基底细胞癌识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012228503A (ja) 2011-04-15 2012-11-22 Fujifilm Corp 内視鏡システムおよびその駆動方法
JP2013043017A (ja) 2011-08-25 2013-03-04 Shiseido Co Ltd 皮膚評価装置、皮膚評価方法、及び皮膚評価プログラム
JP2014233344A (ja) 2013-05-31 2014-12-15 Hoya株式会社 光学フィルタ素子、波長可変光バンドパスフィルタモジュール、波長可変光源装置及び分光内視鏡装置
JP2017000742A (ja) 2015-06-04 2017-01-05 パナソニックＩｐマネジメント株式会社 人体検出装置
JP2018008039A (ja) 2016-06-30 2018-01-18 パナソニックＩｐマネジメント株式会社 生体情報検出装置
JP2018023756A (ja) 2016-08-09 2018-02-15 花王株式会社 肌状態の評価方法
JP2018089369A (ja) 2016-12-01 2018-06-14 パナソニックＩｐマネジメント株式会社 生体情報検出装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3562847B2 (ja) * 1994-11-15 2004-09-08 謙 石原 ヘモグロビン濃度測定装置
US5706821A (en) * 1994-12-30 1998-01-13 Hamamatsu Photonics K.K. Spectroscopic method for quantitatively determining the change of concentration of a light or other radiation absorbing compound in a medium which is interrogated through an intervening medium
ATE429171T1 (de) * 1999-09-30 2009-05-15 Diagnoptics Holding B V Verfahren und gerät zur bestimmung der autofluoreszenz von hautgewebe
JP2002150296A (ja) 2000-11-10 2002-05-24 Hitachi Zosen Corp 認証方法および認証装置
JP2005300241A (ja) 2004-04-08 2005-10-27 Pola Chem Ind Inc 毛髪による個人識別／認証の鑑別法
JP4375202B2 (ja) * 2004-11-05 2009-12-02 株式会社島津製作所 Ｃｏｄ測定方法及び装置。
JP2008215820A (ja) * 2007-02-28 2008-09-18 Tokyo Institute Of Technology スペクトルを用いた解析方法
JP5029150B2 (ja) * 2007-06-06 2012-09-19 ソニー株式会社 生体情報取得装置および生体情報取得方法
CN102058393B (zh) 2010-10-30 2012-10-31 华中科技大学 基于反射光谱测量的皮肤生理参数与光学特性参数的测量方法
US9317761B2 (en) 2010-12-09 2016-04-19 Nanyang Technological University Method and an apparatus for determining vein patterns from a colour image
JP5377580B2 (ja) 2011-06-23 2013-12-25 株式会社 テクスピアー 手の甲の認証端末及び手の甲の認証方法
JP6323227B2 (ja) * 2013-12-16 2018-05-16 ソニー株式会社 画像解析装置、画像解析方法、およびプログラム、並びに照明装置
US9659205B2 (en) * 2014-06-09 2017-05-23 Lawrence Livermore National Security, Llc Multimodal imaging system and method for non-contact identification of multiple biometric traits
JP6356524B2 (ja) 2014-07-29 2018-07-11 京セラ株式会社 測定装置及び測定方法
WO2016184666A1 (en) * 2015-05-15 2016-11-24 Sony Corporation Image processing system and method
JP6668764B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
US11266331B2 (en) * 2016-05-16 2022-03-08 Sony Corporation Optical apparatus and information processing method
US10931859B2 (en) * 2016-05-23 2021-02-23 InSyte Systems Light emitter and sensors for detecting biologic characteristics
CN110573066A (zh) * 2017-03-02 2019-12-13 光谱Md公司 用于多光谱截肢部位分析的机器学习系统和技术
US10719692B2 (en) * 2017-09-09 2020-07-21 Apple Inc. Vein matching for difficult biometric authentication cases
JP6969018B2 (ja) * 2018-10-30 2021-11-24 シャープ株式会社 係数決定装置、色素濃度計算装置、係数決定方法、および情報処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012228503A (ja) 2011-04-15 2012-11-22 Fujifilm Corp 内視鏡システムおよびその駆動方法
JP2013043017A (ja) 2011-08-25 2013-03-04 Shiseido Co Ltd 皮膚評価装置、皮膚評価方法、及び皮膚評価プログラム
JP2014233344A (ja) 2013-05-31 2014-12-15 Hoya株式会社 光学フィルタ素子、波長可変光バンドパスフィルタモジュール、波長可変光源装置及び分光内視鏡装置
JP2017000742A (ja) 2015-06-04 2017-01-05 パナソニックＩｐマネジメント株式会社 人体検出装置
JP2018008039A (ja) 2016-06-30 2018-01-18 パナソニックＩｐマネジメント株式会社 生体情報検出装置
JP2018023756A (ja) 2016-08-09 2018-02-15 花王株式会社 肌状態の評価方法
JP2018089369A (ja) 2016-12-01 2018-06-14 パナソニックＩｐマネジメント株式会社 生体情報検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大野 隼人ほか，"マルチバンド画像による分光特性推定とその応用"，電気学会論文誌Ｃ（電子・情報・システム部門誌），日本，電気学会，2005年08月01日，第125巻, 第5号，pp.792－799

Also Published As

Publication number Publication date
US11914692B2 (en) 2024-02-27
JPWO2020095739A1 (ja) 2021-10-07
WO2020095739A1 (ja) 2020-05-14
CN113167722A (zh) 2021-07-23
US20210256280A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
JP7480708B2 (ja) 情報処理装置、情報処理方法、及びプログラム
AU2016210680B2 (en) Automated determination of arteriovenous ratio in images of blood vessels
JP5292821B2 (ja) 静脈画像取得装置および静脈画像取得方法
Nowara et al. Ppgsecure: Biometric presentation attack detection using photopletysmograms
Jillela et al. Segmenting iris images in the visible spectrum with applications in mobile biometrics
KR102561723B1 (ko) 모바일 디바이스를 사용하여 캡처된 화상을 사용하여 지문 기반 사용자 인증을 수행하기 위한 시스템 및 방법
Schuckers et al. On techniques for angle compensation in nonideal iris recognition
Raghavendra et al. Novel image fusion scheme based on dependency measure for robust multispectral palmprint recognition
JP5024067B2 (ja) 顔認証システム、方法及びプログラム
CN109977858B (zh) 一种基于图像分析的心率检测方法及装置
Boutros et al. Iris and periocular biometrics for head mounted displays: Segmentation, recognition, and synthetic data generation
US20160162673A1 (en) Technologies for learning body part geometry for use in biometric authentication
JP6320277B2 (ja) 生体認証装置
Fouad et al. Optimizing remote photoplethysmography using adaptive skin segmentation for real-time heart rate monitoring
US10650225B2 (en) Image processing apparatus which determines category to which object in image belongs, method therefor, and object discrimination apparatus
Kotwal et al. Multispectral deep embeddings as a countermeasure to custom silicone mask presentation attacks
Olade et al. A review of multimodal facial biometric authentication methods in mobile devices and their application in head mounted displays
Crisan et al. Low cost, high quality vein pattern recognition device with liveness Detection. Workflow and implementations
WO2013094392A1 (ja) 測定装置、測定方法、プログラムおよび記録媒体
Wang et al. Accurate face alignment and adaptive patch selection for heart rate estimation from videos under realistic scenarios
Sandhiya et al. Extraction of dorsal palm basilic and cephalic hand vein features for human authentication system
JP6817782B2 (ja) 脈拍検出装置及び脈拍検出方法
KR102450422B1 (ko) 다파장을 이용하여 피부 분석 정보를 획득하는 방법 및 장치
KR102495889B1 (ko) 반자동 라벨링에 따라 학습된 딥러닝 기반 주름 검출 모델을 이용하여 얼굴 주름을 검출하기 위한 방법 및 장치
JP2021058361A (ja) 生体情報取得装置およびプログラム

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20201223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240408

R150 Certificate of patent or registration of utility model

Ref document number: 7480708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150