JP7384157B2 - 情報処理装置、ウエアラブル機器、情報処理方法及びプログラム - Google Patents

情報処理装置、ウエアラブル機器、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7384157B2
JP7384157B2 JP2020525337A JP2020525337A JP7384157B2 JP 7384157 B2 JP7384157 B2 JP 7384157B2 JP 2020525337 A JP2020525337 A JP 2020525337A JP 2020525337 A JP2020525337 A JP 2020525337A JP 7384157 B2 JP7384157 B2 JP 7384157B2
Authority
JP
Japan
Prior art keywords
image
fingerprint
feature
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020525337A
Other languages
English (en)
Other versions
JPWO2019244497A1 (ja
Inventor
紘一 作本
清士 吉川
直人 坪井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019244497A1 publication Critical patent/JPWO2019244497A1/ja
Application granted granted Critical
Publication of JP7384157B2 publication Critical patent/JP7384157B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/02—Detectors of external physical values, e.g. temperature
    • G04G21/025—Detectors of external physical values, e.g. temperature for measuring physiological data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182—Filtering of noise external to the device and not generated by digitiser components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G06V40/1353—Extracting features related to minutiae or pores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1172—Identification of persons based on the shapes or appearances of their bodies or parts thereof using fingerprinting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本開示は、情報処理装置、ウエアラブル機器、情報処理方法及びプログラムに関する。
従来から、指紋等の生体情報を使用して認証を行う装置が知られている（例えば、下記特許文献１を参照のこと。）。
特許第５７１２７４６号公報
このような分野では、正確な認証を行うために、適切な情報を用いることが望まれる。
本開示は、正確な認証を行うための適切な情報を取得する情報処理装置、ウエアラブル機器、情報処理方法及びプログラムを提供することを目的の一つとする。
本開示は、例えば、
センサ部を介して得られる生体情報を含む画像を生体情報の向きに沿って外側に拡張し、生体情報の模様を推定した推定画像を生成する推定画像生成部と、
推定画像から所定サイズの画像を切り出し、切り出した画像について、各画素が有する輝度値の分布に基づいて、推定の結果の確からしさを示す確信度マップを生成する確信度マップ生成部と、
確信度マップを参照し、一定以上の確信度であると判定された推定画像の領域から特徴点を検出する特徴点検出部と、
特徴点検出部により検出された特徴点を特徴付ける特徴量を抽出する特徴量抽出部と
を有する情報処理装置である。
本開示は、例えば、
指紋が接触されるディスプレイと、
指紋を含む指紋画像を取得するセンサ部と、
少なくとも指紋画像の取得時に発光する発光部と、
センサ部を介して得られる指紋画像を指紋の向きに沿って外側に拡張し、指紋の模様を推定した隆線推定画像を生成する隆線推定画像生成部と、
隆線推定画像から所定サイズの画像を切り出し、切り出した画像について、各画素が有する輝度値の分布に基づいて、推定の結果の確からしさを示す確信度マップを生成する確信度マップ生成部と、
確信度マップを参照し、一定以上の確信度であると判定された隆線推定画像の領域から特徴点を検出する特徴点検出部と、
特徴点検出部により検出された特徴点を特徴付ける特徴量を抽出する特徴量抽出部と
を有するウエアラブル機器である。
本開示は、例えば、
推定画像生成部が、センサ部を介して得られる生体情報を含む画像を生体情報の向きに沿って外側に拡張し、生体情報の模様を推定した推定画像を生成し、
確信度マップ生成部が、推定画像から所定サイズの画像を切り出し、切り出した画像について、各画素が有する輝度値の分布に基づいて、推定の結果の確からしさを示す確信度マップを生成し、
特徴点検出部が、確信度マップを参照し、一定以上の確信度であると判定された推定画像の領域から特徴点を検出し、
特徴量抽出部が、特徴点検出部により検出された特徴点を特徴付ける特徴量を抽出する
情報処理方法である。
本開示は、例えば、
推定画像生成部が、センサ部を介して得られる生体情報を含む画像を生体情報の向きに沿って外側に拡張し、生体情報の模様を推定した推定画像を生成し、
確信度マップ生成部が、推定画像から所定サイズの画像を切り出し、切り出した画像について、各画素が有する輝度値の分布に基づいて、推定の結果の確からしさを示す確信度マップを生成し、
特徴点検出部が、確信度マップを参照し、一定以上の確信度であると判定された推定画像の領域から特徴点を検出し、
特徴量抽出部が、特徴点検出部により検出された特徴点を特徴付ける特徴量を抽出する
情報処理方法をコンピュータに実行させるプログラムである。
本開示の少なくとも一つの実施の形態によれば、正確な認証を行うための適切な情報を取得することができる。ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
図１は、実施の形態に係るリストバンド型電子機器の外観例を示す図である。 図２は、実施の形態に係るリストバンド型電子機器の内部構造例を示す図である。 図３は、リストバンド型電子機器の内部構造のより具体的な例を示す図である。 図４は、実施の形態に係るリストバンド型電子機器の回路構成例を示すブロック図である。 図５は、実施の形態に係る制御部の機能例を説明するための機能ブロック図である。 図６は、指紋の特徴点を説明するための図である。 図７は、実施の形態に係る前処理部の機能例を説明するための機能ブロック図である。 図８Ａ～図８Ｄは、実施の形態に係るノイズ除去部による処理を説明するための図である。 図９Ａ及び図９Ｂは、指紋の流れの方向及び主要周波数を検出する処理の一例を説明する際に参照される図である。 図１０Ａ及び図１０Ｂは、撮影範囲の外側まで指紋線を推定する処理を説明するための図である。 図１１は、確信度マップの一例を示す図である。 図１２は、確信度の一例を説明するための図である。 図１３Ａ及び図１３Ｂは、確信度マップ付きの隆線推定画像を生成する処理を説明するための図である。 図１４Ａ及び図１４Ｂは、実施の形態に係る登録処理を説明するための図である。 図１５Ａ及び図１５Ｂは、実施の形態に係るマッチング処理を説明するための図である。 図１６は、動作モードの遷移の一例を説明するための状態遷移図である。 図１７Ａ及び図１７Ｂは、トリガーＰの一例を説明するための図である。 図１８は、トリガーＰの他の例を説明するための図である。 図１９Ａ及び図１９Ｂは、リストバンド型電子機器で規定される軸方向の一例を説明するための図である。 図２０Ａ～図２０Ｃは、トリガーＰの他の例を説明するための図である。 図２１Ａ及び図２１Ｂは、トリガーＰの他の例を説明する際に参照される図である。 図２２Ａ～図２２Ｄは、トリガーＱの一例を説明するための図である。 図２３は、トリガーＱの一例を説明するための図である。 図２４Ａ～図２４Ｄは、トリガーＱの他の例を説明する際に参照される図である。 図２５は、第２の実施の形態に係る処理の流れを示すフローチャートである。 図２６は、第２の実施の形態に係る処理の流れを示すフローチャートである。 図２７は、変形例を説明するための図である。
以下、本開示の実施の形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜第１の実施の形態＞
＜第２の実施の形態＞
＜変形例＞
以下に説明する実施の形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施の形態等に限定されるものではない。
＜第１の実施の形態＞
［リストバンド型電子機器について］
（リストバンド型電子機器の外観例）
第１の実施の形態について説明する。第１の実施の形態は、本開示を情報処理装置の一例、より具体的にはウエアラブル機器の一例であるリストバンド型電子機器に適用した例である。図１は、第１の実施の形態に係るリストバンド型電子機器（リストバンド型電子機器１）の外観例を示している。
図１に示すように、リストバンド型電子機器１は、例えば、腕時計のように用いられる。より詳細には、リストバンド型電子機器１は、ユーザの手首ＷＲに巻き付けられるバンド部２と、本体部３とを有している。本体部３は、ディスプレイ４を有している。詳細は後述するが、実施の形態に係るリストバンド型電子機器１では、ディスプレイ４に指先を接触させることにより、指先の指紋情報を用いた生体認証を行うことが可能とされている。
（リストバンド型電子機器の内部の構造例）
図２は、リストバンド型電子機器１の本体部３内部の構造例を説明するための部分断面図である。リストバンド型電子機器１の本体部３は、例えば、上述したディスプレイ４、導光板５、発光部６、タッチセンサ部７、センサ部の一例である撮像素子８及びレンズ部９を有している。
概略的には、図２に示すように、指先Ｆによる接触操作がディスプレイ４に対してなされ、接触の有無がタッチセンサ部７により検出される。リストバンド型電子機器１の本体部３は、操作方向から見て手前側から奥側に向かって、導光板５、ディスプレイ４、レンズ部９及び撮像素子８が順次、積層された構造を有している。なお、ディスプレイ４に対する接触は、ディスプレイ４に対する直接的な接触だけでなく、他の部材（例えば、導光板５）を介した間接的な接触を含んでいても良い。また、ディスプレイ４に対する接触には、例えば指先Ｆがディスプレイ４に触れることだけでなく、指紋画像が得られる程度に指先Ｆをディスプレイ４に近接させることを含んでいても良い。
以下、各構成について説明する。ディスプレイ４は、液晶ＬＣＤ(Liquid Crystal Display)、ＯＬＥＤ（Organic Light Emitting Diode）等から構成されている。導光板５は、例えば、発光部６からの光を指先Ｆが接触される位置である領域ＡＲに導光する光透過性部材である。導光板５は、透明のものに限らず、撮像素子８による指先Ｆの指紋の撮影が可能な程度、光を透過するものであれば良い。
発光部６は、ＬＥＤ(Light Emitting Diode)等から構成されており、導光板５の周囲の少なくとも一部に設けられている。なお、領域ＡＲは、撮像素子８に対応する位置、具体的には、少なくとも撮像素子８による撮影の範囲に対応する位置を含む領域である。発光部６は、例えば、指紋を撮影する際に点灯することで、撮影に必要とされる光を提供する。
タッチセンサ部７は、ディスプレイ４に対する指先Ｆの接触を検出するセンサである。タッチセンサ部７としては、例えば、静電容量方式のタッチセンサが適用される。タッチセンサ部７として抵抗膜方式等、他の方式のタッチセンサが適用されても良い。なお、図２では、領域ＡＲの下部付近の位置にタッチセンサ部７が局所的に設けられているが、ディスプレイ４の下側の略全面にわたってタッチセンサ部７が設けられていても良い。
撮像素子８は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等により構成されている。撮像素子８は、レンズ部９を介して入射する被写体光（ディスプレイ４に接触したものからの反射光）を光電変換して電荷量に変換する。撮像素子８を介して得られる画像信号に対して後段における種々の処理が行われる。レンズ部９は、撮像素子８の数十～数百画素に１つの間隔で設けられるレンズ（マイクロレンズ）により構成されるものである。
図３は、リストバンド型電子機器１の内部構造のより具体的な例を示す図である。以下に説明する例は、ディスプレイ４が、透明有機ＥＬ素子や量子ドット発光素子等の透明発光素子を複数個有する透明パネル部として説明する。
図３に示すように、ディスプレイ４は、有効領域４Ａと、外枠部４Ｂとを有している。ディスプレイ４は、複数の透明発光素子の発光によって、有効領域４Ａに画像を表示する表示パネルとしての機能を有している。なお、透明発光素子は、例えば、有効領域４Ａ内にマトリクス状に配置されている。また、ディスプレイ４は、例えば発光素子用の複数の配線間の静電容量の値に基づいて指等の物体によるタッチ状態を検出するタッチセンサとしての機能を有している。図３に示すように、ディスプレイ４の上面（操作側）にはカバーガラス５０が設けられ、ディスプレイ４の一部の領域の下に、撮像素子８を含む撮像部６０が配置されている。
撮像部６０は、ディスプレイ４の一部の領域の下に配置されている。撮像部６０は、ディスプレイ４における一部の領域に接触または近接した物体をディスプレイ４を介して撮像する機能を有している。撮像部６０によって撮像する物体は、例えば生体の一部であってもよい。撮像部６０は、生体の一部を撮像することによって得られた生体の一部の撮像画像に基づいて、生体の一部の生体認証を行う生体認証デバイスの機能を有していてもよい。撮像部６０における生体認証デバイスとしての機能によって、例えば指紋センサを構成することができる。
撮像部６０は、図３に示すように、マイクロレンズアレイモジュール６１と、撮像部外枠６２と、上述した撮像素子８と、基板６３とを有している。マイクロレンズアレイモジュール６１は、上側から見てディスプレイ４の有効領域４Ａ内に配置されている。撮像素子８は、基板６３上に配置されている。
マイクロレンズアレイモジュール６１は、撮像素子８とディスプレイ４の有効領域４Ａとの間に配置されている。マイクロレンズアレイモジュール６１は、上側から順に、カバーガラス兼導光板６５と、マイクロレンズアレイ６６と、導光板６７とを有している。
マイクロレンズアレイ６６は、マトリクス状に配置された複数のマイクロレンズを有している。マイクロレンズアレイ６６は、複数のマイクロレンズのそれぞれによって指等の物体からの物体光を撮像素子８に向けて集光する。
カバーガラス兼導光板６５は、マイクロレンズアレイ６６の表面を保護する役割を持つ。また、カバーガラス兼導光板６５は、ディスプレイ４の有効領域４Ａを透過した物体光を、複数のマイクロレンズのそれぞれに導く役割を持つ。カバーガラス兼導光板６５は、複数のマイクロレンズのそれぞれに対応する位置に設けられた複数の導光路を有している。
導光板６７は、図３に示すように、複数の導光路６８を有している。複数の導光路６８は、複数のマイクロレンズのそれぞれに対応する位置に設けられ、複数のマイクロレンズのそれぞれによって集光された光を撮像素子８に導くようになっている。
（リストバンド型電子機器の回路構成例）
図４は、リストバンド型電子機器１の回路構成例等を示すブロック図である。リストバンド型電子機器１は、上述したディスプレイ４、タッチセンサ部７及び撮像素子８等の他に、例えば、制御部１１、無線通信部１２、無線通信部１２に接続されるアンテナ１３、ＮＦＣ（Near Field Communication）通信部１４、ＮＦＣ通信部１４に接続されるアンテナ１５、位置センサ部１６、位置センサ部１６に接続されるアンテナ１７、メモリ部１８、バイブレータ１９、モーションセンサ２０、音声処理部２１、マイクロホン２２及びスピーカ２３を有している。
制御部１１は、例えばＣＰＵ（Central Processing Unit）から構成されており、リストバンド型電子機器１の各部を制御する。例えば、制御部１１は、撮像素子８により撮影される指先Ｆの指紋画像に種々の画像処理を施すと共に、生体情報の一つである指紋の画像（指紋画像）に基づく指紋認証を行う。
無線通信部１２は、例えばBluetooth（登録商標）の規格に基づいて他の端末と近距離無線通信を行う。無線通信部１２は、例えばBluetooth（登録商標）の規格に対応して、変調／復調処理やエラー訂正処理等を行う。
ＮＦＣ通信部１４は、ＮＦＣの規格に基づいて、近接したリーダー／ライタと無線通信を行う。なお、図示は省略しているが、リストバンド型電子機器１の各部に対しては、リチウムイオン二次電池等のバッテリから電力が供給される。当該バッテリが、ＮＦＣの規格に基づいてワイヤレス充電されるようにしても良い。
位置センサ部１６は、例えば、ＧＮＳＳ(Global Navigation Satellite System)と称されるシステムを利用して、現在位置の測位を行う測位部である。これらの無線通信部１２、ＮＦＣ通信部１４、位置センサ部１６で得られたデータは、制御部１１に供給される。そして、制御部１１は、供給されたデータに基づく制御を実行する。
メモリ部１８は、制御部１１が実行するプログラムが格納されるＲＯＭ(Read Only Memory)や制御部１１がプログラムを実行する際のワークメモリとして使用されるＲＡＭ（Random Access Memory）やデータ記憶用の不揮発性メモリ等を総称したものである。なお、メモリ部１８には、指紋認証用に用いられる正規ユーザの指紋の特徴量（以下、登録済特徴量と適宜、称する）が記憶される。この登録済特徴量は、例えば、リストバンド型電子機器１を初めて使用する際に初期登録される。
バイブレータ１９は、例えば、リストバンド型電子機器１の本体部３を振動させる部材である。バイブレータ１９による本体部３の振動で、電話の着信や電子メールの受信等が通知される。
モーションセンサ２０は、リストバンド型電子機器１を装着したユーザの動きを検出する。モーションセンサ２０としては、加速度センサ、ジャイロセンサ、電子コンパス、気圧センサ、血圧や脈拍等を検出するバイオセンサなどが使用される。また、リストバンド型電子機器１をユーザが装着したか否かを検出するための圧力センサ等がバンド部２や本体部３の裏側（手首に向く側）に設けられていても良い。
音声処理部２１には、マイクロホン２２とスピーカ２３とが接続され、音声処理部２１が、無線通信部１２での無線通信で接続された相手と通話の処理を行う。また、音声処理部２１は、音声入力操作のための処理を行うこともできる。
ディスプレイ４、タッチセンサ部７等については既に説明してあるので、重複した説明を省略する。
以上、リストバンド型電子機器１の構成例について説明した。勿論、リストバンド型電子機器１は、上述した構成例に限定されるものではなく、上述したリストバンド型電子機器１の構成の一部が無い構成でも良いし、他の構成が追加された構成でも良い。
［制御部について］
図５は、制御部１１が有する機能の一例を説明するための機能ブロック図である。制御部１１は、前処理部１１ａ、特徴点検出部１１ｂ、特徴量抽出部１１ｃ及びマッチング処理部１１ｄを有している。
前処理部１１ａは、入力される指紋画像に対して種々の補正処理を行う。前処理部１１ａにより行われる処理の詳細については、後述する。
特徴点検出部１１ｂは、公知の方法を適用することにより指紋を含む画像から指紋の特徴点を検出する。指紋の特徴点とは、例えば、図６に示すような、指紋の指紋線に描かれる模様の中の終点や分岐点、後述する指紋線の交差点や孤立点であり、指紋を照合する際に必要な特徴的な箇所である。なお、指紋線とは、本実施の形態では、指紋の隆線として説明するが、指紋の隆線及び谷線の少なくとも一方であれば良い。
特徴量抽出部１１ｃは、特徴点検出部１１ｂにより検出された個々の特徴点を特徴付ける特徴量を抽出する。特徴量としては、特徴点の位置、特徴線の向き（例えば、隆線で規定される所定方向に対する相対的な向き（ベクトル）等である。本実施の形態では、特徴量抽出部１１ｃは、特徴点を含む周辺画像に基づいて、当該特徴点の特徴量を抽出する。周辺画像は、例えば、特徴点を中心として、３ｍｍ×３ｍｍの大きさで切り出し、角度で正規化された画像が適用されるが、これに限定されるものではない。ただし、角度で正規化した上で特徴量を抽出することの効果として、登録時と照合時で撮影された指の向きが異なっていても、特徴点の角度を正規化することにより、抽出される特徴量が変化しにくくなる効果、つまり指を置く角度に対するロバスト性が向上する効果、が得られることに注意されたい。係る周辺画像を使用することにより、特徴点の周辺の情報を特徴量に含むことが可能となる。例えば、特徴点の周辺に汗腺が存在する場合には、当該特徴点に対する汗腺の相対的な位置を、当該特徴点の特徴量とすることができる。このように、本実施の形態では、特徴点の位置、特徴点の向き及び汗腺の位置の少なくとも一つを特徴量として使用する。特に１０００ｐｐｉ以上の高解像度画像を利用した際には、少ない特徴点（例えば１点ないし２点）数でも十分に個人を識別することが可能になるため、本開示に係る実施の形態は指の広い範囲の指紋撮影が必ずしも必要とされない、小面積での指紋照合に適した手法とも言える。
マッチング処理部１１ｄは、特徴量抽出部１１ｃにより抽出された特徴量と、予め登録されている登録済特徴量とを照合するマッチング処理を行い、マッチング処理の結果である照合スコアを出力する。照合スコアが閾値以上であれば、指紋認証が成立、即ち、正規ユーザと判定される。反対に、照合スコアが閾値より小さい場合には、指紋認証が不成立となる。マッチング処理の結果が、表示、音、振動等によりユーザに報知されても良い。マッチング処理の結果、認証が成立した場合には、リストバンド型電子機器１の所定の機能の利用が許可される等、アプリケーションに応じた利用が可能となる。なお、本実施の形態では、登録済特徴量はメモリ部１８に記憶されているものとして説明するが、クラウド上のサーバ装置等、外部装置に記憶されていても良く、指紋認証を行う際に外部装置から登録済特徴量がダウンロードされても良い。係る構成の場合、セキュリティを向上させる観点から、マッチング処理が終了した後に、登録済特徴量がリストバンド型電子機器１から自動的に消去されるようにしても良い。
［前処理部について］
次に、前処理部１１ａについて説明する。図７は、前処理部１１ａの機能の一例を説明するための機能ブロック図である。前処理部１１ａは、補正処理に含まれる機能を実行する構成として、例えば、ノイズ除去部１０１、画像生成部としての隆線推定画像生成部１０２及び確信度マップ生成部１０３を有している。
（ノイズ除去部について）
ノイズ除去部１０１は、指紋画像に含まれるノイズを除去する。図８Ａ～図８Ｄは、ノイズ除去部１０１により行われるノイズ除去処理を説明するための図である。図８Ａの右側の画像は指紋画像ＩＭ１Ａを示しており、指紋画像ＩＭ１Ａには、ゴミＮＡが写り込んでいる。ノイズ除去部１０１は、例えば、隣接画素間の輝度値の変化が所定以上である領域をゴミと判別し、ゴミＮＡの周辺画素を用いた補間処理等を行うことによりゴミＮＡを除去する。指紋画像ＩＭ１ＡからゴミＮＡが除去された画像を用いて、図８Ａの右側に示すような隆線推定画像ＩＭ２Ａが隆線推定画像生成部１０２により生成される。なお、ゴミ等のノイズを除去する処理としては、他の公知の処理を適用することができる。以下に説明するゴミ以外のノイズを除去する処理でも同様である。
また、ノイズ除去部１０１は、例えば、ゴミ以外のノイズである固定パターンノイズを除去する。図８Ｂの左側の画像は指紋画像ＩＭ１Ｂを示しており、指紋画像ＩＭ１Ｂには、例えば、縦線の縞模様の固定パターンノイズＮＢが写り込んでいる。係る固定パターンノイズＮＢとしては、例えば、ディスプレイ４の構造、より具体的には、ディスプレイ４自体が有する模様を挙げることができる。
本実施の形態に係るリストバンド型電子機器１の構造の場合、操作方向を基準として、ディスプレイ４の奥側に撮像素子８が配置されている。このため、撮像素子８を介して得られる画像にディスプレイ４が有する模様が固定パターンノイズＮＢとして、指紋画像に写り込む虞がある。しかしながら、ノイズ除去部１０１は、このような固定パターンノイズＮＢを除去し、ノイズＮＢの箇所を補間するようにしているので、本実施の形態に係るリストバンド型電子機器１の構造の場合であっても、指紋認証の精度が低下してしまうことを防止することができる。指紋画像ＩＭ１Ｂから固定パターンノイズＮＢが除去された画像を用いて、図８Ｂの右側に示すような隆線推定画像ＩＭ２Ｂが隆線推定画像生成部１０２により生成される。
また、ノイズ除去部１０１は、ゴミ以外のノイズである撮像素子の境界を除去する。例えば、撮像素子８が、複数のサブセンサ部として４個の撮像素子を有し、当該４個の撮像素子を組み合わせた構成を有する場合を想定する。仕様上、あるサイズの撮像素子８が要求される場合に、既存サイズの撮像素子を組み合わせることで要求されるサイズの撮像素子８を形成することができるのであれば、新たなサイズの撮像素子８を別途、製造するより、製造コスト等の面で有利である。
しかしながら、複数の撮像素子を組み合わせた構造を撮像素子８が有する場合、図８Ｃの左側に示すように、複数の撮像素子間の境界が指紋画像ＩＭ１ＣにノイズＮＣとして写り込む。ノイズ除去部１０１は、このようなノイズＮＣを除去し、ノイズＮＣの箇所を補間するようにしているので、本実施の形態に係るリストバンド型電子機器１の構造の場合であっても、指紋認証の精度が低下してしまうことを防止することができる。指紋画像ＩＭ１ＣからノイズＮＣが除去された画像を用いて、図８Ｃの右側に示すような隆線推定画像ＩＭ２Ｃが隆線推定画像生成部１０２により生成される。
また、ノイズ除去部１０１は、撮像素子８を介して得られる画像に、指紋とは全く異なるものがノイズとして写り込んでいる場合は、それを除去する。例えば、図８Ｄの左側に示すように、指紋と異なるもの（図示の例では、迷路状の模様を有するもの）がノイズＮＤとして画像ＩＭ１Ｄに写り込んでいる。ノイズ除去部１０１は、例えば、隆線に対応する曲線模様を全く含まないものについては指紋以外のものであると判別し、その模様を除去する。図８Ｄの右側には除去後の画像ＩＭ２Ｄが示されている。係る処理は、例えば、指紋認証を行う際に、ユーザの服等がディスプレイ４に触れたとき等に有用である。なお、画像ＩＭ２Ｄには指紋は写っていないため、画像ＩＭ２Ｄの場合は、指紋認証に係る処理が行われないようにしても良い。
以上のように、ノイズ除去部１０１による補正処理が行われることにより、ノイズの影響によって指紋認証の精度が低下してしまうことを防止することができる。また、指紋認証の精度が低下してしまうことにより発生する認証の失敗によるフィードバックがユーザに対して行われてしまうことを防止することができる。
（隆線推定画像生成部について）
次に、隆線推定画像生成部１０２について説明する。隆線推定画像生成部１０２は、ノイズ除去部１０１による処理が施された画像に基づいて、指紋線に基づく模様を推定した隆線推定画像を生成する。隆線推定画像の生成方法としては、公知の方法を適用することができる。本実施の形態に係る隆線推定画像の生成方法の例について説明する。
例１として、隆線推定画像生成部１０２は、ノイズ除去部１０１による処理が施された画像にＦＦＴ(Fast Fourier Transform)を利用し、指紋の指紋線の平均的な周期（例えば、０．４ｍｍ周期）の周波数前後のバンドパスフィルタを適用することにより、隆線推定画像を生成する。
他の例である例２として、隆線推定画像生成部１０２は、周辺１ｍｍ角分の領域毎にＦＦＴを利用してその領域で支配的な周波数（以下、主要周波数と適宜、称する）と波の角度（指紋の流れ方向）とを抽出し、その周波数と角度に合わせたＧａｂｏｒフィルタを適用するにより隆線推定画像を生成する。上述した２つの例によれば、主な隆線／谷線が強調され、小さなノイズの影響を小さくすることができる。
例２において、指紋の流れ方向と主要周波数とを検出する方法の例について、図９を参照して説明する。図９Ａにおける左側に示す画像ＩＭ８は、ある指紋画像ＩＭ８を示している。また、図９Ａにおける右側には、画像ＩＭ８に対してＦＦＴを適用することにより得られる周波数スペクトルが示されている。当該周波数スペクトルに重畳されている放射状のラインのうち一のラインは、後述する積分値が最も大きい成分を示している。また、図９Ｂは、積分値が最も大きくなる成分の方向（主方向）の周波数プロファイルを示している。
第１のステップとして、周波数スペクトルの１６方向についてプロファイルを抽出し、その積分値が最も大きい方向を決定する。これが主な波の方向成分になる。続く、第２のステップとして、主方向の周波数プロファイルからピーク値を検出し、そのピーク値に対応する周波数を主要周波数とする。このようにして、指紋の流れ方向と主要周波数を検出することができる。
なお、本実施の形態に係る隆線推定画像生成部１０２は、撮影された領域の外側まで所定範囲、拡張して、指紋の模様を推定するようにしている。例えば、図１０Ａに示す指紋画像ＩＭ９Ａに基づいて、図１０Ｂに示すように、指紋画像ＩＭ９Ａより所定サイズ大きい範囲まで拡大した隆線推定画像ＩＭ９Ｂを生成する。例えば、元のサイズ（指紋画像ＩＭ９Ａのサイズ）により得られた指紋線を、当該指紋線の流れ（向き）に沿って延長する。係る処理により、所定の指紋線と当該指紋線とは別の指紋線が合わさる位置、換言すれば、上述した指紋の特徴点の一つである指紋線の分岐点や交差点を得ることができる場合がある。以上の処理により、例えば、撮像素子８のサイズが小さく、当該撮像素子８により得られる画像の領域に限界がある場合でも、より多くの特徴点を得ることが可能となり、指紋認証の精度を向上させることができる。
（確信度マップ生成部について）
次に、確信度マップ生成部１０３について説明する。確信度マップ生成部１０３は、指紋に対応する模様を推定した画像である隆線推定画像の領域のうち、推定の結果の確からしさを示す確信度マップを生成する。
図１１は、確信度マップの一例である確信度マップＭＡ１０を示している。図１１に示す確信度マップＭＡ１０では、画像の領域が白及び黒の領域にそれぞれ分割されている。本例では、白の領域が、確信度が高い領域、即ち、指紋線の模様が正確に得られているとされる領域である。一方、黒の領域が、確信度が低い領域である。確信度に対する所定の閾値が設定され、確信度が閾値以上であれば確信度が高い領域として設定され、確信度が閾値より小さければ確信度が低い領域として設定される。
ここで、確信度に関する一例について説明する。例えば、画像から所定サイズの画像（例えば、１ｍｍ×１ｍｍの矩形画像）を切り出す。そして、切り出した画像について、各画素が有する輝度値の分布を示す輝度分布を作成する。
図１２は、輝度分布の一例を示している。輝度の頻度分布Pi（i=0,・・・,255）を下から積分した積分値が１０％に達する輝度値、すなわち
Σ0 BV1Pi=0.1
となる輝度値、つまり１０パーセンタイルの輝度値をＢＶ１とし、輝度の頻度分布Piを上から積分した積分値が１０％に達する輝度値、すなわち
ΣBV2 255Pi=0.1
となる輝度値、つまり９０パーセンタイルの輝度値をＢＶ２とする。輝度値ＢＶ１と輝度値ＢＶ２との差分値Ｄが、確信度として設定される。なお、切り出した画像の輝度値の分散が確信度とされても良い。
なお、上述した隆線推定画像生成部１０２の機能と確信度マップ生成部１０３の機能とを一つの機能ブロックとして構成し、当該機能ブロックが確信度付き隆線推定画像を生成するようにしても良い。
図１３を参照して、確信度付き隆線推定画像の生成方法の一例について説明する。図１３Ａに示すように、入力指紋画像ｘに対して、関数ｈ及び関数ｆ'による演算を行うことにより隆線推定画像ｆ（ｘ）を得る（但し、ｆ（ｘ）＝ｆ'（ｈ（ｘ）））。
また、入力指紋画像ｘに対して、関数ｈ及び関数ｇ'による演算を行うことにより確信度マップであるＣｅｒｔａｉｎｔｙ画像ｇ（ｘ）を得る（但し、ｇ（ｘ）＝ｇ'（ｈ（ｘ）））。Ｃｅｒｔａｉｎｔｙ画像ｇ（ｘ）において、白の領域が誤差α以下で認識できる見込みの領域であり、黒の領域が誤差α以下に抑えられない領域である。
ここで、入力指紋画像ｘに対して正確な隆線画像を、正解隆線画像ｙとする。正解隆線画像ｙと隆線推定画像ｆ（ｘ）との推定誤差を推定誤差ｄｙとする。
処理の目的の一つは、ｘからｙに近い画像ｆ（ｘ）を推定することである。また、他の目的は、正しく推定できる見込みの領域を認識する、換言すれば、推定誤差をα以下にできる見込みの領域であるか否かを判別することである。
ここで、制御部１１は、図１３Ｂに示すロス関数を最小化する関数ｆ、ｇを同時に学習する（但し、０≦ｇ（ｘ）≦１）。図１３Ｂに示すロス関数における括弧で摘示した箇所が推定誤差ｄｙiとなる。
ここでは「ｇi（ｘ）・ｄｙi＋（１－ｇi（ｘ））・α」を最小化するため、谷線推定の誤差がｄｙi＜αとなる見込みの画素については、Ｃｅｒｔａｉｎｔｙ ｇi（ｘ）を大きくする力が働く。
一方、谷線推定の誤差がｄｙi＞αとなる見込みの画素については、Ｃｅｒｔａｉｎｔｙ ｇi（ｘ）を小さくする力が働く。結果として、「ｇi（ｘ）・ｄｙi＋（１－ｇi（ｘ））・α」を最小化することにより、Ｃｅｒｔａｉｎｔｙ ｇi（ｘ）は谷線推定の誤差がｄｙi＜αとなる見込みの大きさを示すよう最適化される。
［処理の流れについて］
（登録処理について）
次に、リストバンド型電子機器１で行われる処理の流れについて説明する。始めに、図１４を参照して、指紋の特徴点に対応する特徴量を登録する登録処理について説明する。図１４Ａは、登録処理の流れを示した図である。また、図１４Ｂは、各処理で得られる画像等を各処理に対応付けて示した図である。
ステップＳＴ１１では、画像入力処理が行われる。例えば、ディスプレイ４に指先が接触され、撮像素子８を介して指紋画像が取得される。指紋認証を取得する際に、発光部６が発光する。そして、処理がステップＳＴ１２に進む。
ステップＳＴ１２では、前処理部１１ａによる前処理が行われる。具体的には、ノイズ除去部１０１により、指紋画像からノイズが除去される。また、ノイズが除去された指紋画像に基づいて、隆線推定画像生成部１０２が、隆線推定画像を生成する。また、確信度マップ生成部１０３が、確信度マップを生成する。なお、図１４Ｂでは、確信度マップの図示は省略している。そして、処理がステップＳＴ１３に進む。
ステップＳＴ１３では、特徴点検出部１１ｂが、隆線推定画像に基づいて、指紋の特徴点を検出する。本実施の形態では、特徴点検出部１１ｂは、確信度マップを参照し、一定以上の確信度であると判定された領域内から特徴点を検出する。図１４Ｂでは、３個の特徴点（円が付された箇所の中心）が検出された例が示されている。そして、処理がステップＳＴ１４に進む。
ステップＳＴ１４では、特徴量抽出部１１ｃが、各特徴点を特徴付ける特徴量を抽出する。上述したように、特徴量抽出部１１ｃは、各特徴点を中心とする所定サイズの画像を切り出し、切り出した画像に基づいて特徴量を抽出する。そして、処理がステップＳＴ１５に進む。
ステップＳＴ１５は、制御部１１が、ステップＳＴ１４における処理で抽出された各特徴点の特徴量を登録するテンプレート登録処理を行う。各特徴点の特徴量は、例えば、メモリ部２８に記憶される。メモリ部２８に記憶された特徴量が、登録済特徴量として、次に説明するマッチング処理で使用される。
（マッチング処理について）
次に、図１５を参照して、マッチング処理について説明する。図１５Ａは、マッチング処理の流れを示した図である。図１５Ｂは、各処理で取得される特徴量の例や、処理内容を説明する際に参照される図を各処理に対応付けて示した図である。
ステップＳＴ２１では、ディスプレイ４に指先が置かれ、指紋画像が取得される。そして、特徴量が抽出される特徴量抽出処理が行われる。なお、ステップＳＴ２１における特徴量抽出処理は、上述したステップＳＴ１１～ＳＴ１４までを含む処理である。ステップＳＴ２１の処理により指紋認証を行うための照合用の特徴量が取得される。図１５Ｂでは、５個の特徴点に対応する特徴量が示されている。そして、処理がステップＳＴ２２に進む。
ステップＳＴ２２では、制御部１１がメモリ部２８から登録済特徴量を読み出す。図１５Ｂでは、登録済特徴量の一例が示されている。そして、処理がステップＳＴ２３に進む。
ステップＳＴ２３では、マッチング処理部１１ｄが、ステップＳＴ２１の処理で取得された特徴量と、ステップＳＴ２２で読み出された登録済特徴量とを照合するマッチング処理を行う。
マッチング処理の一例について説明する。マッチング処理部１１ｄは、照合用の特徴量と、登録済特徴量との類似度スコアを内積演算によって求め、その結果に基づいて、図１５Ｂに示す類似度スコア行列を生成する。類似度スコア行列における「Ａ」は登録済の特徴点を示し、「Ｂ」は照合用の特徴点を表している。但し、（ｉ，ｊ）成分はＡｉとＢｉ の類似度スコアである。
マッチング処理部１１ｄは、類似度スコア行列に基づいて、照合スコアを算出する。照合スコアが閾値以上であれば指紋認証が成立する。照合スコアが閾値より小さい場合には、指紋認証は成立しない。なお、例えば、類似度スコア行列における最大値が照合スコアとして設定される。類似度スコア行列における平均値が照合スコアとして設定されても良い。類似度スコア行列における各列の最大値の平均値が照合スコアとして設定されても良い。
以上説明した第１の実施形態によれば、特徴点の周辺画像に基づいて特徴量を抽出するようにしているので、特徴点そのものの情報以外の情報を当該特徴点の特徴量とすることができる。そのような特徴量を用いたマッチング処理を行うことにより、多様な情報に基づくマッチング処理が行えるようになるため、指紋認証の精度を向上させることが可能となる。
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。なお、第１の実施の形態で説明した事項（例えば、リストバンド型電子機器１の構成や機能）については、特に断らない限り、第２の実施の形態に対しても適用することができる。
第１の実施の形態でも説明したように、リストバンド型電子機器１では、撮像素子８を使用して指紋認証を行うようにしている。一般に、撮像素子（より具体的な例としてはＣＯＭＳセンサ）を用いたセンシングでは、他の方式（例えば、静電容量方式）によるセンシングに比べて、消費電力が大きくなるという問題がある。必要とされる電力に応じた容量のバッテリを用いれば良いものの、ウエアラブル機器の場合には、搭載できるバッテリの大きさにも制約があり、バッテリの容量にも限界が生じる。従って、不要な電力の消費を極力抑制することが望まれる。また、ウエアラブル機器の場合には、配設されるボタン等の入力デバイスの数や大きさにも制約が生じる。従って、不要な電力の消費を極力抑制するための制御は、ボタン等の物理的なデバイスに対する操作をトリガーとしないで実行されることが望まれる。係る観点を考慮しつつ、第２の実施の形態について詳細に説明する。
［状態遷移について］
図１６は、リストバンド型電子機器１の状態遷移を示す図である。リストバンド型電子機器１は、指紋認証に係る動作モードとして、例えば、３つのモード間を遷移可能とされている。３つのモードは、モード０、モード１及びモード２である。消費電力の観点からみれば、モード０が最も消費電力が小さく、また、モード２が最も消費電力が大きい。モード１の消費電力は、モード０の消費電力よりは大きくモード２の消費電力よりは小さい。なお、モード０が第３のモードの一例に対応し、モード１、２がそれぞれ第１、第２のモードの一例に対応する。
［各モードにおける動作について］
次に、各モードにおける動作の一例について説明する。なお、各モードにおいて、以下に説明する動作内容の全てが行われる必要は無く、少なくとも一つの動作が行われれば良い。
（動作内容の概要）
モード０は、休止状態であり、発光部６がオフされると共に、撮像素子８を動作させない、即ち、撮像素子８を使用した指紋のセンシングを行わないモードである。
モード１は、待機状態であり、発光部６がオンされると共に、撮像素子８を使用した指紋のセンシングを行うモードである。なお、モード１におけるセンシングとは、ディスプレイ４に接触しているものが指紋であるか否かを判別できる程度のセンシングで良い。より具体的には、指紋（例えば、指紋の特徴点）が含まれるか否か判断できる程度の画像を取得するセンシングで良い。
モード２は、認証状態であり、発光部６がオンされると共に、指紋の特徴量が取得され、取得された特徴量と登録済特徴量とを照合するマッチング処理が行われるモードである。また、モード２では、モード１の設定とは異なる設定に基づいて、撮像素子８を介して画像が取得される。
モード１で、例えば、画像から指紋の特徴点が検出され、ディスプレイ４に接触された物体が指先であると判定された場合に、より消費電力が大きいモード２に動作モードが遷移する。係るモード遷移により、ディスプレイ４に服等の指先以外が接触した場合であっても、消費電力が大きいマッチング処理等が不必要に行われることを防止することができる。従って、例えば、バッテリの容量の低下を抑制することができる。
（各モードにおける動作の具体例）
各モードにおける動作の具体例について説明する。なお、モード０では、指紋認証に係る処理が行われないモードである。従って、以下の説明では、モード１及びモード２の動作の具体例について説明する。
第１の例として、例えば、制御部１１により発光部６の明るさを制御する照明制御が行われる。当該照明制御に応じて、各モードにおける動作がなされる。例えば、モード１では、指紋の特徴点が得られれば良いので、発光部６の明るさ（輝度）が小さめとなるように設定される。一方で、モード２では、マッチング処理を行う必要があるため、特徴点の周辺画像から汗腺の位置等の特徴量を取得する必要がある。従って、高精細な画像が得られるように、発光部６の明るさをモード１より大きくする。なお、指先からの反射光は、指状態や指の押し当て具合によって光量が変化するため、さらに、画像の輝度を元に発光部６の発光強度を適応的に調整しても良い。
第２の例として、例えば、制御部１１が撮像素子８中のアクティブとなる画素を制御することにより、解像度を変更する解像度制御が行われる。当該解像度制御に応じて、各モードにおける動作がなされる。例えば、モード１では、低解像度が設定され、低解像度でのセンシングがなされる。低解像度とは、例えば、指紋の特徴点が検出可能となる３００～５００ｐｐｉ(pixel per inch)程度の解像度を意味する。モード２では、高解像度が設定され、高解像度でのセンシングがなされる。高解像度とは、例えば、汗腺など、指紋線よりさらに細かい特徴が撮影可能となる１０００ｐｐｉ程度以上の解像度を意味する。
第３の例として、例えば、制御部１１が撮像素子８中のアクティブとなる画素の領域を制御することにより、撮像範囲であるセンシング領域を制御するセンシング領域制御が行われる。モード１では、撮像素子８の一部分（例えば、中央付近のみ）が使用されたセンシングが行われる。モード２では、撮像素子８の全体が使用されたセンシングが行われる。
上述した例における制御を組み合わせた制御が行われても良い。例えば、モード１では撮像素子８全体で低解像度でのセンシングを行い指紋の特徴点を検出する。モード２ではその検出された特徴点付近の領域のみを高解像度でセンシングするようにしても良い。
［モード間の遷移について］
次にモード間の遷移について説明する。動作モードは、所定のトリガーや時間経過、処理の結果等に応じて遷移する。図１６に示すように、モード０からモード１へは、トリガーＰに基づいて遷移する。また、モード１からモード２へは、トリガーＱに基づいて遷移する。
動作モードがモード１における処理、より具体的には画像に基づく判別処理において、ディスプレイ４に接触したものが指紋でない場合には、動作モードがモード１からモード０に遷移する。また、動作モードがモード１である状態が所定時間継続した場合には、動作モードがモード１からモード０に遷移する（タイムアウト）。
動作モードがモード２である状態が所定時間継続した場合には、動作モードがモード２からモード１に遷移する（タイムアウト）。また、動作モードがモード２におけるマッチング処理が終了し、指紋認証の結果が得られた場合には、動作モードがモード２からモード０に遷移する。
なお、モード０からモード２へ動作モードが直接、遷移可能とされても良い。例えば、トリガーＲに基づいて、動作モードがモード０からモード２へ遷移可能とされても良い。トリガーＲとしては、指紋認証を行うことを指示する操作入力が挙げられる。この場合は、予め指紋認証を行うことが明確であるので、動作モードがモード０からモード２に直接、遷移するようにしても良い。
［トリガーの具体例］
次に、トリガーの具体例について説明する。トリガーＲの具体例については既に説明しているため、重複した説明を省略する。
（トリガーＰの具体例）
トリガーＰとしては、リストバンド型電子機器１の使用開始が検出されたタイミングを挙げられる。リストバンド型電子機器１の使用が開始されたタイミングで、所定のアプリケーションを実行するために指紋認証が行われる可能性が高いことが想定される。従って、動作モードがモード０からモード１に遷移する。
トリガーＰのより具体的な例としては、図１７Ａ及び図１７Ｂに示すように、加速度センサの波形（加速度センサの出力）又は加速度センサの出力変化が閾値以上か閾値以下になった場合が挙げられる。この場合には、リストバンド型電子機器１が使用される可能性が高いので、動作モードがモード０からモード１に遷移する。なお、加速度センサは、モーションセンサ２０の一つとして適用することができる。
トリガーＰの具体的な他の例としては、図１８に示すように、３軸加速度の合成ベクトルの方向（重力方向）に、閾値以上の変化があった場合を挙げることができる。なお、リストバンド型電子機器１のモーションセンサ２０には、例えば、各軸に対応するセンサ出力が定義されている。リストバンド型電子機器１に対応する各軸の例が、図１９Ａ及び図１９Ｂに記載されている。３軸加速度を３次元ベクトルで表現し、その方向に変化があれば、手の向きが変わったと判定される。係る場合も、リストバンド型電子機器１に対して、指紋認証を含む何らかのアクションが行われる可能性が高いことから、動作モードがモード０からモード１に遷移する。
トリガーＰの具体的な他の例について、図２０を参照する。図２０Ａに示すように、加速度センサの出力に閾値以上の変化が生じた箇所を含むように、所定区間が設定される。設定された所定区間に対応する加速度センサの出力が、図２０Ｂに模式的に示す認識器に入力される。認識器は、加速度センサの出力に対して関数ｆを適用することにより、所定のジェスチャが発生したか否かを判定するものである。認識器による処理の結果、図２０Ｃに示すように、認識器の判定結果が得られる。当該判定結果である、定義されたジェスチャらしさを示すスコアｆ（ｘ）が閾値以上である場合を、トリガーＰとする。リストバンド型電子機器１を装着した状態でのジェスチャが検出された場合には、リストバンド型電子機器１に対して、指紋認証を含む何らかのアクションが行われる可能性が高い。従って、動作モードがモード０からモード１に遷移する。
トリガーＰは、ディスプレイ４に対する指先の接触や、ディスプレイ４に接触した指先の移動が検出された場合でも良い。指先でなく、何からの物体の接触や、当該物体の移動が検出された場合がトリガーＰとして設定されても良い。図２１Ａ及び図２１Ｂは、ディスプレイ４に対する撮像素子８及びタッチセンサ部７のそれぞれの位置を模式的に示した図である。物体の接触や移動を検出するタッチセンサ部７は、図２１Ａ及び図２１Ｂに示すように、例えば、撮像素子８の近傍に配置される。
以上、トリガーＰの具体例について説明したが、これに限定されるものではなく、トリガーＰとして、種々の条件を設定することができる。上述した例を組み合わせた条件がトリガーＰとされても良い。
（トリガーＱの具体例）
次に、トリガーＱの具体例について説明する。トリガーＱは、例えば、撮像素子８を介して取得された画像に指紋が含まれることを条件とするトリガーである。
図２２Ａ～図２２Ｄに示すように、指紋の指紋線（ここでは隆線及び谷線）の周期として考えられる周期を設定する。図２２Ａは０．６ｍｍ周期の例を示し、図２２Ｂは０．３ｍｍ周期の例を示し、図２２Ｃは０．１５ｍｍ周期の例を示し、図２２Ｄは０．０７５ｍｍ周期の例を示している。撮像素子８を介して得られる画像から、各周期に対応する周波数成分を抽出する。そして、各周波数成分に対して、図２３に示すような例えば、３２通り（１１．２５度刻み）の角度パターンに対するレスポンスを計算し、その平均値を得る。上述した４つの周波数成分のうちの少なくとも一つに対応する平均値が閾値以上である場合には、画像に写っているものが指紋である可能性が高い。従って、４つの周波数成分のうちの少なくとも一つに対応する平均値が閾値以上であるという条件がトリガーＱとして設定される。
また、指紋の特徴点が閾値以上の個数、検出されたという条件がトリガーＱとして設定されても良い。指紋の特徴点としては、図２４Ａに示す指紋線の終端点、図２４Ｂに示す指紋線の分岐点のほか、図２４Ｃに示す指紋線の交差点や図２４Ｄに示す指紋線が点状に孤立している孤立点が含まれても良い。
以上、トリガーＱの具体例について説明したが、これに限定されるものではなく、トリガーＱとして、種々の条件を設定することができる。
［処理の流れ］
次に、図２５及び図２６のフローチャートを参照して、第２の実施の形態に係る処理の流れについて説明する。なお、特に断らない限り、図２５及び図２６に示す処理は、例えば、制御部１１による制御に応じて実行される。
なお、図２５及び図２６のフローチャートにおける、丸印が付されたＡ、Ｂ及びＣは処理の連続性を示している。また、処理の開始時における動作モードがモード０であるものとして説明する。
図２５におけるステップＳＴ３１では、例えば、モーションセンサ２０の出力に基づいて、加速度データが取得される。そして、処理がステップＳＴ３２に進む。
ステップＳＴ３２では、ステップＳＴ３１で得られた加速度データを使用して、制御部１１が、トリガーＰが成立するか否かを認識する処理を行う。なお、上述したように、トリガーＰが成立したか否かは加速度データ以外のデータを使用して判断されても良い。そして、処理がステップＳＴ３３に進む。
ステップＳＴ３３では、ステップＳＴ３２における処理の結果に基づいて、トリガーＰが成立するか否かが判断される。ここで、トリガーＰが成立しない場合は、処理がステップＳＴ３１に戻る。トリガーＰが成立する場合には、処理がステップＳＴ３４に進む。
トリガーＰが成立することから動作モードがモード０からモード１に遷移する。そして、ステップＳＴ３４では、第１経過時間が０に設定される（初期化される）。第１経過時間は、全体の処理が所定時間内に終了したか否か、換言すれば、処理がタイムアウトしたか否かを判断するための時間である。そして、処理がステップＳＴ３５に進む。
ステップＳＴ３５では、第２経過時間が０に設定される（初期化される）。第２経過時間は、モード１の処理が所定時間内に終了したか否か、換言すれば、処理がタイムアウトしたか否かを判断するための時間である。そして、処理がステップＳＴ３６に進む。
ステップＳＴ３６では、発光部６がモード１に対応する明るさでもってオンする。そして、処理がステップＳＴ３７に進む。
ステップＳＴ３７では、モード１に対応する設定に応じたセンシングが開始される。そして、処理がステップＳＴ３８に進む。
ステップＳＴ３８では、ステップＳＴ３７のセンシングの結果、撮像素子８を介して画像が取得される。そして、処理がステップＳＴ３９に進む。ステップＳＴ３９では、トリガーＱを認識する処理が行われる。そして、処理がステップＳＴ４０に進む。
図２６におけるステップＳＴ４０では、制御部１１が、ステップＳＴ３９の処理の結果、トリガーＱが成立するか否かが判断される。ここで、トリガーＱが成立しない場合は、処理がステップＳＴ４１に進む。
ステップＳＴ４１では、第２経過時間が所定の閾値ｔｈ１より大きいか否かが判断される。ｔｈ１は、例えば、１０秒程度に設定される。ここで、第２経過時間が所定の閾値ｔｈ１より大きい場合には、モード１における処理がタイムアウトし、処理がステップＳＴ３１に戻る。第２経過時間が所定の閾値ｔｈ１以下の場合には、モード１における処理が繰り返される。即ち、処理がステップＳＴ３８に戻り、再度、画像が取得され、ステップＳＴ３８以降の処理が行われる。
ステップＳＴ４０における判定処理において、トリガーＱが成立する場合には、動作モードがモード１からモード２に遷移した後、処理がステップＳＴ４２に進む。ステップＳＴ４２では、第３経過時間が０に設定される（初期化される）。第３経過時間は、モード２の処理が所定時間内に終了したか否か、換言すれば、処理がタイムアウトしたか否を判断するための時間である。そして、処理がステップＳＴ４３に進む。
ステップＳＴ４３では、モード２に応じた撮影領域、照明（発光部６）、解像度の少なくとも一つに関する設定がなされ、当該設定による画像の撮影が行われ、指紋画像が取得される。さらに、指紋画像の特徴点を特徴付ける特徴量が抽出される。そして、処理がステップＳＴ４４に進む。
ステップＳＴ４４では、得られた特徴量と登録済特徴量とを照合するマッチング処理が行われる。そして、処理がステップＳＴ４５に進む。
ステップＳＴ４５では、品質として十分であるか否かが判断される。例えば、検出された特徴点の個数が閾値以上である場合には、品質が十分であると判断される。また、マッチング処理の結果、特徴量の比較に基づいて類似とされた特徴点の数がある閾値ｔｈＡと閾値ｔｈＢとの間（但し閾値ｔｈＡ＞ｔｈＢ）であれば品質が十分でないと判定されても良い。係る場合は、特徴量の比較に基づいて類似とされた特徴点の数が閾値ｔｈＡ以上（この場合は指紋認証成立）、若しくは、特徴量の比較に基づいて類似とされた特徴点の数が閾値ｔｈＢ以下（この場合は指紋認証不成立）の場合は、指紋認証の結果を判断する上での品質としては十分であると判断される。ステップＳＴ４５において、品質が十分でないと判定された場合は、処理がステップＳＴ４６に進む。
ステップＳＴ４６では、第３経過時間が閾値ｔｈ２より大きいか否かが判断される。閾値ｔｈ２は、例えば、１０秒程度に設定される。第３経過時間が閾値ｔｈ２以下である場合には、処理がステップＳＴ４７に進む。
第３経過時間が閾値ｔｈ２以下でありタイムアウトまでの時間が経過していないことから、モード２の処理が継続される。即ち、ステップＳＴ４７では、再度、撮像素子８を介して画像が取得され、ステップＳＴ４４以降の処理が行われる。
第３経過時間が閾値ｔｈ２より大きい場合には、処理がステップＳＴ４８に進む。ステップＳＴ４８では、第１経過時間が閾値ｔｈ３より大きいか否かが判断される。判断の結果、第１経過時間が閾値ｔｈ３以下の場合は、処理全体がタイムアウトする時間が経過していないので処理がステップＳＴ３８に戻り、モード１に係る処理が再度、行われる。判断の結果、第１経過時間が閾値ｔｈ３より大きい場合は、処理全体がタイムアウトする時間が経過しているので処理が最初の処理であるステップＳＴ３１に戻る。
以上説明したように、第２の実施の形態によれば、撮像素子８を使用して指紋をセンシングする場合であっても、リストバンド型電子機器１の動作モードを適切に設定することにより制御部１１や撮像素子８で消費される電力を抑制することができる。また、入力デバイスに対する操作を行うことなくモード遷移が可能となる。
［第２の実施の変形例］
上述した第２の実施の形態では、モード１では、指紋に関するマッチング処理を行わない例について説明したが、これに限定されるものではない。例えば、モード１において、低解像度の画像を使用したマッチング処理が行われても良い。例えば、指紋認証が成立した場合に決済が可能となるアプリケーションを想定する。決済額が例えば１０００円以下の少額の場合にはそれほど高いセキュリティは要求されない。従って、モード１に係る処理が行われ、低解像度の画像を使用したマッチング処理が行われる。これに対して、決済額が１０００円を超える高額の場合には高いセキュリティが要求される。従って、モード２に係る処理が行われ、高解像度の画像を使用したマッチング処理が行われる。このように、モード１からモード２に切り替わるための条件であるトリガーＱがアプリケーションの内容に応じた条件であっても良い。
モード１からモード２に切り替わるための条件であるトリガーＱの内容が動的に切り替わるようにしても良い。例えば、制御部１１がリストバンド型電子機器１のバッテリ残容量を取得する。バッテリの残容量、具体的には、ＳｏＣ(State of Charge)が例えば３０％以下になった場合に、トリガーＱの内容を切り替え、トリガーＱの内容を厳しくする（モード１からモード２に動作モードが遷移しづらくする。）。例えば、トリガーＱの内容を、上述した個々のトリガーＱの例を組み合わせたものに設定する。係る処理により、バッテリの残容量が小さい場合であっても、モード１からモード２に動作モードが誤って遷移してしまうことを極力、防止することができる。従って、モード２に係る処理で電力が大きく消費されることによりバッテリの残容量が低下し、リストバンド型電子機器１の動作が停止してしまうことを防止することができる。
また、第２の実施の形態において、図２７に示すように、モード０、１に係る処理を実行するための制御部（第２制御部１１Ａ）が設けられる構成であっても良い。そして、トリガーＱが成立した段階で第２制御部１１Ａが上位のホストである制御部１１に通知処理を行い、モード２に係るマッチング処理等の処理は、制御部１１が行うようにしても良い。上位のホストである制御部１１は、リストバンド型電子機器１の種々の処理を制御するため消費電力が大きくなることから、撮像素子８を介して画像が得られた場合（換言すれば、ディスプレイ４に何かが接触した場合）に、制御部１１を起動すると全体としての消費電力が大きくなる虞がある。従って、モード０及びモード１を実行する下位の制御部である第２制御部１１Ａを設けることが好ましい。
＜変形例＞
以上、本開示の複数の実施の形態について具体的に説明したが、本開示の内容は上述した実施の形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
上述した実施の形態において、マッチング処理の結果、指紋認証が成立するための閾値がアプリケーションの内容に応じて変更されても良い。例えば、高額の決済が可能とするための指紋認証が行われる場合、画像品質に関する基準を高くしたり、照合スコアに対する閾値を大きく変更するようにしても良い。
上述した実施の形態に係るリストバンド型電子機器１の構成は適宜、変更できる。例えば、導光板５や発光部６がない構成でも良い。係る構成の場合、例えば、ディスプレイ４（具体例としてはＯＬＥＤ）の光を用いた撮影が行われる。
上述した実施の形態において、生体情報は指紋に限定されるものではなく、手のひらの血管、網膜の毛細血管等であっても良く、これらを組み合わせたものであっても良い。なお、指紋は、指先全体の指紋線による模様である必要はなく、その一部が含まれていれば良い。他の生体情報についても同様である。
本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施の形態で説明した機能を行うプログラムをダウンロード可能とし、実施の形態で説明した機能を有しない装置が当該プログラムをダウンロードしてインストールすることにより、当該装置において実施の形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施の形態、変形例で説明した事項は、適宜組み合わせることが可能である。
本開示は、以下の構成も採ることができる。
（１）
センサ部を介して得られる生体情報を含む画像から、特徴点を検出する特徴点検出部と、
前記特徴点を含む周辺画像に基づいて、前記特徴点を特徴付ける特徴量を抽出する特徴量抽出部と
を有する情報処理装置。
（２）
前記生体情報を含む画像に対して補正処理を行う前処理部を有する
（１）に記載の情報処理装置。
（３）
前記前処理部は、前記画像に含まれるノイズを除去するノイズ除去部を含む
（２）に記載の情報処理装置。
（４）
前記ノイズには、前記生体情報以外の物体に対応するノイズが含まれる
（３）に記載の情報処理装置。
（５）
ディスプレイを有し、
操作方向を基準にして、前記ディスプレイが手前側に、前記センサ部が奥側に配置されており、
前記ノイズには、前記ディスプレイの構造に起因するノイズが含まれる
（３）又は（４）に記載の情報処理装置。
（６）
前記センサ部は、複数のサブセンサ部を有し、
前記ノイズには、前記サブセンサ部の境界が含まれる
（３）から（５）までの何れかに記載の情報処理装置。
（７）
前記前処理部は、前記生体情報を含む画像として、前記生体情報に対応する模様を推定した画像を生成する画像生成部を含む
（２）から（６）までの何れかに記載の情報処理装置。
（８）
前記生体情報に対応する模様は、指紋の指紋線に基づく模様である
（７）に記載の情報処理装置。
（９）
前記前処理部は、前記推定の結果の確からしさを示す確信度マップを生成する確信度マップ生成部を含む
（７）又は（８）に記載の情報処理装置。
（１０）
前記確信度マップ生成部により生成された確信度マップに基づいて、前記画像において確信度が閾値以上となる領域が判別され、
前記特徴点検出部は、前記領域に存在する特徴点を検出する
（９）に記載の情報処理装置。
（１１）
前記特徴量と、予め登録されている登録済特徴量とを使用したマッチング処理を行うマッチング処理部を有する
（１）から（１０）までの何れかに記載の情報処理装置。
（１２）
前記特徴量が記憶部に記憶される
（１）から（１１）までの何れかに記載の情報処理装置。
（１３）
前記生体情報は、指紋である
（１）から（１４）までの何れかに記載の情報処理装置。
（１４）
前記特徴点は、指紋の指紋線の終点、分岐点、交差点及び孤立点の少なくとも一つである
（１３）に記載の情報処理装置。
（１５）
前記特徴量は、特徴点の周囲に汗腺が存在する場合には特徴点に対する当該汗腺の相対的な位置を含む
（１３）又は（１４）に記載の情報処理装置。
（１６）
前記マッチング処理の結果を判断するための閾値が変更可能とされる
（１１）に記載の情報処理装置。
（１７）
指紋が接触されるディスプレイと、
指紋を含む画像を取得するセンサ部と、
少なくとも前記画像の取得時に発光する発光部と、
前記センサ部を介して得られる指紋画像から、特徴点を検出する特徴点検出部と、
前記特徴点を含む周辺画像に基づいて、前記特徴点を特徴付ける特徴量を抽出する特徴量抽出部と
を有するウエアラブル機器。
（１８）
特徴点検出部が、センサ部を介して得られる生体情報を含む画像から、特徴点を検出し、
特徴量抽出部が、前記特徴点を含む周辺画像に基づいて、前記特徴点を特徴付ける特徴量を抽出する
情報処理方法。
（１９）
特徴点検出部が、センサ部を介して得られる生体情報を含む画像から、特徴点を検出し、
特徴量抽出部が、前記特徴点を含む周辺画像に基づいて、前記特徴点を特徴付ける特徴量を抽出する
情報処理方法をコンピュータに実行させるプログラム。
１・・・ウエアラブル機器、４・・・ディスプレイ、６・・・発光部、８・・・撮像素子、１１・・・制御部、１１Ａ・・・第２制御部、１１ａ・・・前処理部、１１ｃ・・・特徴量抽出部、１１ｄ・・・マッチング処理部、１０１・・・ノイズ除去部、１０２・・・隆線推定画像生成部、１０３・・・確信度マップ生成部

Claims (15)

  1. センサ部を介して得られる生体情報を含む画像を前記生体情報の向きに沿って外側に拡張し、前記生体情報の模様を推定した推定画像を生成する推定画像生成部と、
    前記推定画像から所定サイズの画像を切り出し、切り出した前記画像について、各画素が有する輝度値の分布に基づいて、前記推定の結果の確からしさを示す確信度マップを生成する確信度マップ生成部と、
    前記確信度マップを参照し、一定以上の確信度であると判定された前記推定画像の領域から特徴点を検出する特徴点検出部と、
    前記特徴点検出部により検出された特徴点を特徴付ける特徴量を抽出する特徴量抽出部と
    を有する情報処理装置。
  2. 前記生体情報を含む画像に対して補正処理を行う前処理部を有する
    請求項１に記載の情報処理装置。
  3. 前記前処理部は、前記画像に含まれるノイズを除去するノイズ除去部を含む
    請求項２に記載の情報処理装置。
  4. 前記ノイズには、前記生体情報以外の物体に対応するノイズが含まれる
    請求項３に記載の情報処理装置。
  5. ディスプレイを有し、
    操作方向を基準にして、前記ディスプレイが手前側に、前記センサ部が奥側に配置されており、
    前記ノイズには、前記ディスプレイの構造に起因するノイズが含まれる
    請求項３に記載の情報処理装置。
  6. 前記センサ部は、複数のサブセンサ部を有し、
    前記ノイズには、前記サブセンサ部の境界が含まれる
    請求項３に記載の情報処理装置。
  7. 前記特徴量と、予め登録されている登録済特徴量とを使用したマッチング処理を行うマッチング処理部を有する
    請求項１に記載の情報処理装置。
  8. 前記特徴量が記憶部に記憶される
    請求項１に記載の情報処理装置。
  9. 前記生体情報は、指紋である
    請求項１に記載の情報処理装置。
  10. 前記特徴点は、前記指紋の指紋線の終点、分岐点、交差点及び孤立点の少なくとも一つである
    請求項９に記載の情報処理装置。
  11. 前記特徴量は、前記特徴点の周囲に汗腺が存在する場合には前記特徴点に対する当該汗腺の相対的な位置を含む
    請求項９に記載の情報処理装置。
  12. 前記マッチング処理の結果を判断するための閾値が変更可能とされる
    請求項７に記載の情報処理装置。
  13. 指紋が接触されるディスプレイと、
    指紋を含む指紋画像を取得するセンサ部と、
    少なくとも前記指紋画像の取得時に発光する発光部と、
    前記センサ部を介して得られる前記指紋画像を前記指紋の向きに沿って外側に拡張し、前記指紋の模様を推定した隆線推定画像を生成する隆線推定画像生成部と、
    前記隆線推定画像から所定サイズの画像を切り出し、切り出した前記画像について、各画素が有する輝度値の分布に基づいて、前記推定の結果の確からしさを示す確信度マップを生成する確信度マップ生成部と、
    前記確信度マップを参照し、一定以上の確信度であると判定された前記隆線推定画像の領域から特徴点を検出する特徴点検出部と、
    前記特徴点検出部により検出された特徴点を特徴付ける特徴量を抽出する特徴量抽出部と
    を有するウエアラブル機器。
  14. 推定画像生成部が、センサ部を介して得られる生体情報を含む画像を前記生体情報の向きに沿って外側に拡張し、前記生体情報の模様を推定した推定画像を生成し、
    確信度マップ生成部が、前記推定画像から所定サイズの画像を切り出し、切り出した前記画像について、各画素が有する輝度値の分布に基づいて、前記推定の結果の確からしさを示す確信度マップを生成し、
    特徴点検出部が、前記確信度マップを参照し、一定以上の確信度であると判定された前記推定画像の領域から特徴点を検出し、
    特徴量抽出部が、前記特徴点検出部により検出された特徴点を特徴付ける特徴量を抽出する
    情報処理方法。
  15. 推定画像生成部が、センサ部を介して得られる生体情報を含む画像を前記生体情報の向きに沿って外側に拡張し、前記生体情報の模様を推定した推定画像を生成し、
    確信度マップ生成部が、前記推定画像から所定サイズの画像を切り出し、切り出した前記画像について、各画素が有する輝度値の分布に基づいて、前記推定の結果の確からしさを示す確信度マップを生成し、
    特徴点検出部が、前記確信度マップを参照し、一定以上の確信度であると判定された前記推定画像の領域から特徴点を検出し、
    特徴量抽出部が、前記特徴点検出部により検出された特徴点を特徴付ける特徴量を抽出する
    情報処理方法をコンピュータに実行させるプログラム。
JP2020525337A 2018-06-19 2019-05-09 情報処理装置、ウエアラブル機器、情報処理方法及びプログラム Active JP7384157B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018115760 2018-06-19
JP2018115760 2018-06-19
PCT/JP2019/018528 WO2019244497A1 (ja) 2018-06-19 2019-05-09 情報処理装置、ウエアラブル機器、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019244497A1 JPWO2019244497A1 (ja) 2021-08-05
JP7384157B2 true JP7384157B2 (ja) 2023-11-21

Family

ID=68983707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020525337A Active JP7384157B2 (ja) 2018-06-19 2019-05-09 情報処理装置、ウエアラブル機器、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US11610430B2 (ja)
EP (1) EP3813015A4 (ja)
JP (1) JP7384157B2 (ja)
CN (1) CN112262409A (ja)
WO (1) WO2019244497A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3102600B1 (fr) * 2019-10-24 2021-10-08 Idemia Identity & Security France Procédé de segmentation d’une image d’entrée représentant au moins une empreinte biométrique au moyen d’un réseau de neurones à convolution

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044856A (ja) 2001-07-30 2003-02-14 Dds:Kk 指紋照合装置、指紋照合方法及び指紋照合プログラム
JP2004164170A (ja) 2002-11-12 2004-06-10 Fujitsu Ltd 生体特徴データ取得装置
JP2009110452A (ja) 2007-10-31 2009-05-21 Hitachi Ltd 撮像装置、撮像装置の製造方法及び撮像装置を搭載した装置
JP2012248047A (ja) 2011-05-30 2012-12-13 Seiko Epson Corp 生体識別装置、及び、生体識別方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2238211B1 (ja) 1973-07-19 1976-09-17 Paudras Francis
WO2001055966A1 (fr) 2000-01-28 2001-08-02 Chuo Hatsujo Kabushiki Kaisha Procede d'evaluation d'une image d'empreinte digitale et dispositif d'appariement d'empreintes digitales
JP3597148B2 (ja) * 2001-06-15 2004-12-02 Ｎｅｃソフト株式会社 指紋特徴抽出装置、指紋特徴抽出方法及び指紋抽出プログラム
JP2003248815A (ja) * 2002-02-26 2003-09-05 Casio Comput Co Ltd 顔画像の正規化方法及び装置、顔画像における目の位置の検出方法及び装置、並びにプログラム
EP2053536B1 (en) * 2002-09-17 2012-06-20 Fujitsu Ltd. Biometric Information Obtaining Apparatus and Biometric Information Verification Apparatus
JP2007094840A (ja) * 2005-09-29 2007-04-12 Fujifilm Corp 画像処理装置、及び画像処理方法
US20120020535A1 (en) * 2010-07-22 2012-01-26 Igentx Unique, repeatable, and compact biometric identifier
JP5712746B2 (ja) 2011-04-06 2015-05-07 セイコーエプソン株式会社 センシング装置および電子機器
JP5662890B2 (ja) * 2011-07-12 2015-02-04 一般財団法人電力中央研究所 画像処理方法、画像処理装置及び画像処理プログラム、並びに、画像処理による放射線量推定方法
JP5699845B2 (ja) * 2011-07-29 2015-04-15 富士通株式会社 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム
CN103458502B (zh) * 2013-08-27 2016-04-20 西北工业大学 基于位置指纹的定位误差估计方法
US9448755B2 (en) * 2013-12-28 2016-09-20 Intel Corporation Wearable electronic device having heterogeneous display screens
KR102257287B1 (ko) * 2014-08-07 2021-05-27 삼성전자주식회사 지문 및 심전도 신호를 이용한 사용자 인증 방법 및 장치
JP6375775B2 (ja) * 2014-08-19 2018-08-22 日本電気株式会社 特徴点入力支援装置、特徴点入力支援方法及びプログラム
US10410033B2 (en) * 2015-06-18 2019-09-10 Shenzhen GOODIX Technology Co., Ltd. Under-LCD screen optical sensor module for on-screen fingerprint sensing
JP6569734B2 (ja) * 2015-08-28 2019-09-04 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
CN106503609B (zh) * 2015-09-08 2019-07-16 腾讯科技（深圳）有限公司 指纹纹线点的识别方法及装置
KR20170096499A (ko) * 2016-02-16 2017-08-24 엘지전자 주식회사 이동단말기 및 그 제어방법
CN106339678A (zh) * 2016-08-23 2017-01-18 上海交通大学 基于多种特征点的指纹图像表示方法
TWI575399B (zh) * 2016-10-07 2017-03-21 晨星半導體股份有限公司 指紋感測器及其指紋辨識方法
JP6770237B2 (ja) * 2017-03-09 2020-10-14 富士通株式会社 生体認証装置、生体認証方法、及び生体認証プログラム
CN107392082B (zh) * 2017-04-06 2020-08-11 杭州景联文科技有限公司 一种基于深度学习的小面积指纹比对方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044856A (ja) 2001-07-30 2003-02-14 Dds:Kk 指紋照合装置、指紋照合方法及び指紋照合プログラム
JP2004164170A (ja) 2002-11-12 2004-06-10 Fujitsu Ltd 生体特徴データ取得装置
JP2009110452A (ja) 2007-10-31 2009-05-21 Hitachi Ltd 撮像装置、撮像装置の製造方法及び撮像装置を搭載した装置
JP2012248047A (ja) 2011-05-30 2012-12-13 Seiko Epson Corp 生体識別装置、及び、生体識別方法

Also Published As

Publication number Publication date
US11610430B2 (en) 2023-03-21
CN112262409A (zh) 2021-01-22
JPWO2019244497A1 (ja) 2021-08-05
EP3813015A4 (en) 2021-08-18
US20210209333A1 (en) 2021-07-08
WO2019244497A1 (ja) 2019-12-26
EP3813015A1 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
WO2018121428A1 (zh) 一种活体检测方法、装置及存储介质
US10860850B2 (en) Method of recognition based on iris recognition and electronic device supporting the same
US9750420B1 (en) Facial feature selection for heart rate detection
KR100947990B1 (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
US9971927B2 (en) Fingerprint sensors
CN105260105B (zh) 基于指纹传感器的显示屏唤醒方法、装置及移动终端
KR100847136B1 (ko) 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치
WO2019080580A1 (zh) 3d人脸身份认证方法与装置
WO2019080578A1 (zh) 3d人脸身份认证方法与装置
WO2017113794A1 (zh) 手势动作识别方法、控制方法和装置以及腕式设备
US20200210004A1 (en) Method, electronic device, and storage medium for fingerprint recognition
US9785863B2 (en) Fingerprint authentication
US20190278970A1 (en) Detection device, information processing device, and information processing method
US11335090B2 (en) Electronic device and method for providing function by using corneal image in electronic device
KR20200004724A (ko) 생체 센서를 이용하여 획득된 생체 정보를 포함하는 이미지의 상태에 기반하여, 생체 정보와 관련된 인증을 수행 하는 방법 및 이를 구현한 전자 장치
CN112889049A (zh) 电子装置及其控制方法
WO2019244496A1 (ja) 情報処理装置、ウエアラブル機器、情報処理方法及びプログラム
CN111708998A (zh) 一种人脸解锁方法及电子设备
JP7384157B2 (ja) 情報処理装置、ウエアラブル機器、情報処理方法及びプログラム
CN106933341B (zh) 一种在图像中确定手指所处区域的方法、装置及腕式设备
KR102526951B1 (ko) 전자 장치에서 생체 정보 측정 방법 및 장치
KR20190088679A (ko) 지문 입력의 압력 레벨에 기반하여 지문 처리 방식을 결정하는 전자 장치 및 방법
KR20220130804A (ko) 지문 생체 검출 방법, 기기 및 저장 매체
WO2018185992A1 (ja) 生体認証装置、及び方法
US11460928B2 (en) Electronic device for recognizing gesture of user from sensor signal of user and method for recognizing gesture using the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R151 Written notification of patent or utility model registration

Ref document number: 7384157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151