JP6648751B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP6648751B2 JP6648751B2 JP2017500286A JP2017500286A JP6648751B2 JP 6648751 B2 JP6648751 B2 JP 6648751B2 JP 2017500286 A JP2017500286 A JP 2017500286A JP 2017500286 A JP2017500286 A JP 2017500286A JP 6648751 B2 JP6648751 B2 JP 6648751B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- sight
- line
- gaze
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
- G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/20—Individual registration on entry or exit involving the use of a pass
- G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
- G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
- G07C9/257—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Collating Specific Patterns (AREA)
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、ユーザの視線の変化の検出結果を用いてユーザを認証する技術が提案されている。例えば、特許文献１には、表示パネルに表示される複数の画像に対するユーザの注視位置や注視点の移動からなる動作パターンを特定し、そして、特定した動作パターンと、事前に登録されている判定パターンとの一致度に基づいてユーザを認証する技術が開示されている。
しかしながら、特許文献１に記載の技術では、認証の安全性が低い。例えば、上記の技術では、表示パネルに表示可能な画像数が制約されるので、判定パターンの登録可能な数が制約される。このため、ユーザの認証時に、例えば第三者にユーザの視線の動きを盗み見されることにより、判定パターンが第三者に特定される恐れがある。
そこで、本開示では、視線の移動を用いた安全性の高い認証を実現することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部と、を備える、情報処理装置が提供される。
また、本開示によれば、撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定することと、特定された視線の移動に基づいて前記ユーザを認証することと、を備える、情報処理方法が提供される。
また、本開示によれば、コンピュータを、撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部、として機能させるための、プログラムが提供される。
以上説明したように本開示によれば、視線の移動を用いた安全性の高い認証を実現することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて眼球画像２０ａおよび眼球画像２０ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、眼球画像２０ａおよび眼球画像２０ｂを特に区別する必要が無い場合には、単に眼球画像２０と称する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
４．ハードウェア構成
５．変形例
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
４．ハードウェア構成
５．変形例
＜＜１．第１の実施形態＞＞
＜１−１．情報処理装置１０‐１の基本構成＞
［１−１−１．基本構成］
まず、第１の実施形態について説明する。最初に、第１の実施形態による情報処理装置１０‐１の基本構成について、図１を参照して説明する。
＜１−１．情報処理装置１０‐１の基本構成＞
［１−１−１．基本構成］
まず、第１の実施形態について説明する。最初に、第１の実施形態による情報処理装置１０‐１の基本構成について、図１を参照して説明する。
図１は、情報処理装置１０‐１の外観を示した説明図である。図１に示したように、情報処理装置１０‐１は、例えば、ユーザが頭部に装着して利用可能な眼鏡型の装置である。また、情報処理装置１０‐１は、図１に示したように、第１撮像部１２０、第２撮像部１２２、および表示画面を表示する表示部１２４を有する。
第１撮像部１２０は、情報処理装置１０‐１の内側に向けられた撮像部である。この第１撮像部１２０は、ユーザが情報処理装置１０‐１を装着した状態において、ユーザの片方の眼球の画像を例えば動画像として撮像することが可能である。また、第２撮像部１２２は、情報処理装置１０‐１の外側に向けられた撮像部である。この第２撮像部１２２は、ユーザの前方の光景の画像を例えば動画像として撮像することが可能である。
また、表示部１２４は、例えばシースルーディスプレイとして構成される。これにより、ユーザは、情報処理装置１０‐１を頭部に装着した状態において、表示部１２４に表示される表示画面を視認しながら、ディスプレイを介してユーザの前方の光景を見ることが可能である。
なお、図１では、第１撮像部１２０、第２撮像部１２２、および表示部１２４が、図１における右側のレンズに設けられる例を示しているが、かかる例に限定されず、左側のレンズに設けられてもよい。
［１−１−２．課題の整理］
以上、第１の実施形態による情報処理装置１０‐１の基本構成について説明した。ところで、従来、表示画面に表示された複数の画像に対するユーザの視線の変化の検出結果を用いてユーザを認証する技術が提案されている。しかしながら、公知の技術では、認証の安全性が低い。例えば、上記の技術では、表示画面に表示可能な画像数が制約されるので、判定パターンの登録可能な数が制約される。このため、ユーザの認証時に、例えば第三者にユーザの視線の動きを盗み見されることにより、判定パターンが第三者に特定される恐れがある。
以上、第１の実施形態による情報処理装置１０‐１の基本構成について説明した。ところで、従来、表示画面に表示された複数の画像に対するユーザの視線の変化の検出結果を用いてユーザを認証する技術が提案されている。しかしながら、公知の技術では、認証の安全性が低い。例えば、上記の技術では、表示画面に表示可能な画像数が制約されるので、判定パターンの登録可能な数が制約される。このため、ユーザの認証時に、例えば第三者にユーザの視線の動きを盗み見されることにより、判定パターンが第三者に特定される恐れがある。
ところで、例えば手や足など、ユーザが見ることが可能なユーザの身体の部分は非常に多い。そこで、ユーザの身体に対する視線の移動のパターンを用いてユーザを認証することを想定すると、視線パターンの登録可能な数が非常に大きいので、仮に第三者にユーザの視線の動きを盗み見されたとしても、視線パターンが第三者に特定されるリスクが非常に小さい。
そこで、上記事情を一着眼点にして、第１の実施形態による情報処理装置１０‐１を創作するに至った。第１の実施形態による情報処理装置１０‐１は、ユーザの身体に対する視線パターンを用いることにより、安全性の高い認証を実現することが可能である。
＜１−２．構成＞
次に、情報処理装置１０‐１の構成について詳細に説明する。図２は、情報処理装置１０‐１の構成を示した機能ブロック図である。図２に示したように、情報処理装置１０‐１は、制御部１００‐１、第１撮像部１２０、第２撮像部１２２、表示部１２４、通信部１２６、および記憶部１２８を有する。
次に、情報処理装置１０‐１の構成について詳細に説明する。図２は、情報処理装置１０‐１の構成を示した機能ブロック図である。図２に示したように、情報処理装置１０‐１は、制御部１００‐１、第１撮像部１２０、第２撮像部１２２、表示部１２４、通信部１２６、および記憶部１２８を有する。
［１−２−１．制御部１００‐１］
制御部１００‐１は、情報処理装置１０‐１に内蔵される、後述するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５４などのハードウェアを用いて、情報処理装置１０‐１の動作を全般的に制御する。また、図２に示したように、制御部１００‐１は、視線検出部１０２、視線移動特定部１０４、視線パターン比較部１０６、ユーザ認証部１０８、および、表示制御部１１０を有する。
制御部１００‐１は、情報処理装置１０‐１に内蔵される、後述するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１５４などのハードウェアを用いて、情報処理装置１０‐１の動作を全般的に制御する。また、図２に示したように、制御部１００‐１は、視線検出部１０２、視線移動特定部１０４、視線パターン比較部１０６、ユーザ認証部１０８、および、表示制御部１１０を有する。
［１−２−２．視線検出部１０２］
視線検出部１０２は、第１撮像部１２０により撮像されたユーザの眼球の画像に基づいて、ユーザの視線方向を検出する。例えば、視線検出部１０２は、まず、第１撮像部１２０により撮像されたユーザの眼球の画像に含まれる眼球の黒目の位置を特定し、そして、特定した位置に基づいて、ユーザの視線方向を検出する。より具体的には、視線検出部１０２は、例えば記憶部１２８に記憶されている、視線方向ごとの眼球の画像の学習データと、第１撮像部１２０により撮像された眼球の画像とをパターンマッチングすることにより、ユーザの視線方向を特定する。
視線検出部１０２は、第１撮像部１２０により撮像されたユーザの眼球の画像に基づいて、ユーザの視線方向を検出する。例えば、視線検出部１０２は、まず、第１撮像部１２０により撮像されたユーザの眼球の画像に含まれる眼球の黒目の位置を特定し、そして、特定した位置に基づいて、ユーザの視線方向を検出する。より具体的には、視線検出部１０２は、例えば記憶部１２８に記憶されている、視線方向ごとの眼球の画像の学習データと、第１撮像部１２０により撮像された眼球の画像とをパターンマッチングすることにより、ユーザの視線方向を特定する。
ここで、図３を参照して、上記の機能についてより詳細に説明する。図３は、第１撮像部１２０により撮像された眼球の画像の例（眼球画像２０）を示した説明図である。例えば、視線検出部１０２は、図３に示した眼球画像２０ａおよび学習データに基づいて、眼球画像２０ａにおけるユーザの視線方向を「左」と特定する。同様に、視線検出部１０２は、図３に示した眼球画像２０ｂにおけるユーザの視線方向を「右下」と特定する。
［１−２−３．視線移動特定部１０４］
（１−２−３−１．特定例１）
視線移動特定部１０４は、視線検出部１０２により検出されたユーザの視線方向、および、第２撮像部１２２により撮像されたユーザの身体の画像に基づいて、ユーザの身体に対するユーザの視線の移動を特定する。例えば、視線移動特定部１０４は、まず、ユーザの目の位置から、視線検出部１０２により検出されたユーザの視線方向へ伸ばした半直線とユーザの身体の部位との交点（以下、目視位置とも称する）を算出することにより、ユーザが見ている部位を特定する。そして、視線移動特定部１０４は、特定した部位に対するユーザの視線動作を特定する。
（１−２−３−１．特定例１）
視線移動特定部１０４は、視線検出部１０２により検出されたユーザの視線方向、および、第２撮像部１２２により撮像されたユーザの身体の画像に基づいて、ユーザの身体に対するユーザの視線の移動を特定する。例えば、視線移動特定部１０４は、まず、ユーザの目の位置から、視線検出部１０２により検出されたユーザの視線方向へ伸ばした半直線とユーザの身体の部位との交点（以下、目視位置とも称する）を算出することにより、ユーザが見ている部位を特定する。そして、視線移動特定部１０４は、特定した部位に対するユーザの視線動作を特定する。
ここで、ユーザの視線動作は、例えば、ユーザの身体の部位に対する注視または視線のトレースを含む。なお、視線のトレースとは、ユーザが視線で描く軌跡であり、例えば直線、曲線、または円などの様々な形状である。
例えば、ユーザが所定の時間以上同じ位置を見ていることが検出された場合には、視線移動特定部１０４は、該当の位置をユーザが注視していると特定する。また、ユーザが見ている始点から所定の時間未満に目視位置が連続的に移動したことが検出された場合には、視線移動特定部１０４は、該当の部位に対してユーザが始点からトレースしていることを特定する。
ここで、図４および図５を参照して、上記の機能についてより詳細に説明する。図４は、第２撮像部１２２により撮像されたユーザの右手の画像の例（右手画像２２）を示した説明図である。なお、図４では、ユーザが小指の先端２２０ａを注視していることを前提としている。
例えば、視線移動特定部１０４は、視線検出部１０２により検出されたユーザの視線方向に基づいて目視位置を算出することにより、ユーザが見ている部位が小指の先端２２０ａであることを特定する。そして、ユーザが所定の時間以上同じ位置を見ていることが検出された場合には、視線移動特定部１０４は、小指の先端２２０ａをユーザが注視していると特定する。
また、図５は、図４に示した姿勢において、ユーザによりなされた一連の視線動作を示した説明図である。具体的には、図５では、破線の矢印で示したように、ユーザが、まず、小指の先端２２０ａを注視し、次に、掌の生命線を視線でトレースし、そして、中指の先端から根元までを視線でトレースした例を示している。
例えば、ユーザが小指の先端２２０ａから生命線の下端へ視線方向を不連続に移動させ、かつ、移動後の点から所定の時間未満に生命線に沿って目視位置を連続的に移動させたことが検出された場合には、視線移動特定部１０４は、ユーザが生命線をトレースしていることを特定する。さらに、生命線の上端から中指の先端へ視線方向を不連続に移動させ、かつ、移動後の点から所定の時間未満に目視位置を連続的に移動させたことが検出された場合には、中指に対してユーザがトレースしていることを特定する。
（１−２−３−２．特定例２）
また、視線移動特定部１０４は、ユーザにより複数の視線動作が行われた場合には、視線動作の順番と対応づけて、個々の視線動作を特定する。例えば、図５に示した例では、視線移動特定部１０４は、小指の先端２２０ａの注視を一番目の視線動作として特定し、生命線の下端から上端までのトレースを二番目の視線動作として特定し、そして、中指の先端から根元までのトレースを三番目の視線動作として特定する。
また、視線移動特定部１０４は、ユーザにより複数の視線動作が行われた場合には、視線動作の順番と対応づけて、個々の視線動作を特定する。例えば、図５に示した例では、視線移動特定部１０４は、小指の先端２２０ａの注視を一番目の視線動作として特定し、生命線の下端から上端までのトレースを二番目の視線動作として特定し、そして、中指の先端から根元までのトレースを三番目の視線動作として特定する。
（１−２−３−３．特定例３）
なお、変形例として、視線移動特定部１０４は、ユーザの身体の姿勢の変化に連動した、身体に対するユーザの視線動作を特定することも可能である。例えば、視線移動特定部１０４は、ユーザの身体の姿勢が変化する度に、変化後の姿勢に対するユーザの視線動作を特定する。なお、姿勢の変化とは、例えばジェスチャーであってもよい。
なお、変形例として、視線移動特定部１０４は、ユーザの身体の姿勢の変化に連動した、身体に対するユーザの視線動作を特定することも可能である。例えば、視線移動特定部１０４は、ユーザの身体の姿勢が変化する度に、変化後の姿勢に対するユーザの視線動作を特定する。なお、姿勢の変化とは、例えばジェスチャーであってもよい。
ここで、図６を参照して、上記の機能についてより詳細に説明する。図６は、第２撮像部１２２により撮像されたユーザの右手のジェスチャーの画像の例（ジェスチャー画像２４）を示した説明図である。なお、図６では、ジェスチャー画像２４ａ、ジェスチャー画像２４ｂ、ジェスチャー画像２４ｃの順番で撮像されたこと、つまり、ユーザが右手の形状をグー、チョキ、パーの順番で変化させた例を示している。
例えば、視線移動特定部１０４は、まず、ジェスチャー画像２４ａに基づいて、右手の形状がグーであることを特定する。そして、視線移動特定部１０４は、右手の形状がグーであるときにユーザが親指の先端２４０ａを注視していることを特定する。
また、視線移動特定部１０４は、ジェスチャー画像２４ｂに基づいて、右手の形状がグーからチョキに変化されたことを特定する。そして、視線移動特定部１０４は、右手の形状がチョキであるときにユーザが人差し指の先端２４０ｂを注視していることを特定する。同様に、視線移動特定部１０４は、ジェスチャー画像２４ｃに基づいて、右手の形状がチョキからパーに変化されたことを特定し、そして、右手の形状がパーであるときにユーザが小指の先端２４０ｃを注視していることを特定する。
この特定例によれば、ユーザによるジェスチャーと組み合わせた個々の視線動作を特定することができる。
［１−２−４．視線パターン比較部１０６］
視線パターン比較部１０６は、ユーザと対応づけてユーザ情報ＤＢ１３０に登録されている視線パターンと、視線移動特定部１０４により特定されたユーザの視線の移動に基づいた視線パターンとを比較する。より具体的には、視線パターン比較部１０６は、まず、視線の移動順ごとの、視線移動特定部１０４により特定されたユーザの身体の部位の各々に対する視線動作の配列を視線パターンとして特定する。そして、視線パターン比較部１０６は、特定した視線パターンと、ユーザ情報ＤＢ１３０に登録されている視線パターンとを比較し、一致度を判定する。
視線パターン比較部１０６は、ユーザと対応づけてユーザ情報ＤＢ１３０に登録されている視線パターンと、視線移動特定部１０４により特定されたユーザの視線の移動に基づいた視線パターンとを比較する。より具体的には、視線パターン比較部１０６は、まず、視線の移動順ごとの、視線移動特定部１０４により特定されたユーザの身体の部位の各々に対する視線動作の配列を視線パターンとして特定する。そして、視線パターン比較部１０６は、特定した視線パターンと、ユーザ情報ＤＢ１３０に登録されている視線パターンとを比較し、一致度を判定する。
例えば、図５に示した例では、視線パターン比較部１０６は、３つの視線動作の配列、つまり、小指の先端の注視、生命線の下端から上端までのトレース、および中指の先端から根元までのトレースという配列をユーザの視線パターンとして特定する。そして、視線パターン比較部１０６は、当該ユーザと対応づけてユーザ情報ＤＢ１３０に登録されている視線パターンに含まれる各視線動作と、視線移動特定部１０４により特定された視線パターンに含まれる各視線動作とを視線の移動順ごとにそれぞれ比較することにより、視線パターンの一致度を判定する。
（１−２−４−１．ユーザ情報ＤＢ１３０）
ユーザ情報ＤＢ１３０は、ユーザに対応づけて視線パターンが記録されるデータベースである。ここで、図７を参照して、ユーザ情報ＤＢ１３０の構成例について説明する。
ユーザ情報ＤＢ１３０は、ユーザに対応づけて視線パターンが記録されるデータベースである。ここで、図７を参照して、ユーザ情報ＤＢ１３０の構成例について説明する。
図７に示したように、ユーザ情報ＤＢ１３０では、例えば、ユーザＩＤ１３００、対象部位・姿勢１３０２、および視線パターン１３０４が対応づけられる。また、視線パターン１３０４は、例えば１番目の視線動作１３０６ａ、２番目の視線動作１３０６ｂなど、各順番の視線動作１３０６を含む。
ここで、ユーザＩＤ１３００には、各ユーザに対して予め発行されたユーザＩＤが記録される。また、対象部位・姿勢１３０２には、該当のユーザＩＤのユーザと対応づけて視線パターンが登録されている部位および部位の姿勢が記録される。また、視線パターン１３０４には、該当のユーザＩＤのユーザおよび該当の部位に対応づけて登録されている視線パターンが記録される。また、各順番の視線動作１３０６には、登録されている視線パターンに含まれる各順番の視線動作の内容が記録される。
例えば、図７に示した１レコード目は、ユーザＩＤが「０００１」であるユーザに関する、右手を開いた状態における右手に対する視線パターンの登録例を示している。そして、この視線パターンに含まれる一番目の視線動作は「小指の先端の注視」であり、二番目の視線動作は「生命線の下端から上端までのトレース」であり、そして、三番目の視線動作は「中指の先端から根元までのトレース」であることを示している。
［１−２−５．ユーザ認証部１０８］
ユーザ認証部１０８は、視線パターン比較部１０６による比較の結果に基づいてユーザを認証する。より具体的には、ユーザ認証部１０８は、視線パターン比較部１０６により判定された一致度が所定の閾値以上である場合にはユーザが正当なユーザであると判定し、また、判定された一致度が所定の閾値未満である場合にはユーザが正当なユーザではないと判定する。
ユーザ認証部１０８は、視線パターン比較部１０６による比較の結果に基づいてユーザを認証する。より具体的には、ユーザ認証部１０８は、視線パターン比較部１０６により判定された一致度が所定の閾値以上である場合にはユーザが正当なユーザであると判定し、また、判定された一致度が所定の閾値未満である場合にはユーザが正当なユーザではないと判定する。
また、ユーザ認証部１０８は、認証の結果を他の装置へ、後述する通信部１２６に送信させることも可能である。
［１−２−６．表示制御部１１０］
表示制御部１１０は、視線移動特定部１０４により視線の移動が特定される度に、特定された視線の移動を示す表示を、後述する表示部１２４に逐次表示させる。例えば、図５に示した例では、表示制御部１１０は、視線移動特定部１０４により小指の先端２２０ａをユーザが注視していることが確認された場合には、注視位置を示す表示を小指の先端２２０ａにおいて表示部１２４に重畳表示させる。同様に、表示制御部１１０は、視線移動特定部１０４により生命線の下端を始点としてユーザがトレースしていることが確認される度に、新たに確認された部分の線を（例えばトレース２２０ｂに示したように）表示部１２４に追加して重畳表示させる。
表示制御部１１０は、視線移動特定部１０４により視線の移動が特定される度に、特定された視線の移動を示す表示を、後述する表示部１２４に逐次表示させる。例えば、図５に示した例では、表示制御部１１０は、視線移動特定部１０４により小指の先端２２０ａをユーザが注視していることが確認された場合には、注視位置を示す表示を小指の先端２２０ａにおいて表示部１２４に重畳表示させる。同様に、表示制御部１１０は、視線移動特定部１０４により生命線の下端を始点としてユーザがトレースしていることが確認される度に、新たに確認された部分の線を（例えばトレース２２０ｂに示したように）表示部１２４に追加して重畳表示させる。
この表示例によれば、ユーザは、認証時において、情報処理装置１０‐１により認識された視線動作を逐次確認しながら視線を移動させることができる。このため、ユーザは、身体に対する視線動作をより容易に行うことができる。
［１−２−７．第１撮像部１２０］
第１撮像部１２０は、本開示における第１の撮像部の一例である。第１撮像部１２０は、ユーザの眼球の画像を撮像する。
第１撮像部１２０は、本開示における第１の撮像部の一例である。第１撮像部１２０は、ユーザの眼球の画像を撮像する。
［１−２−８．第２撮像部１２２］
第２撮像部１２２は、本開示における第２の撮像部の一例である。第２撮像部１２２は、ユーザの視線方向に位置するユーザの身体の画像を撮像する。
第２撮像部１２２は、本開示における第２の撮像部の一例である。第２撮像部１２２は、ユーザの視線方向に位置するユーザの身体の画像を撮像する。
［１−２−９．表示部１２４］
表示部１２４は、表示制御部１１０の制御に従って、各種の表示画面を表示する。
表示部１２４は、表示制御部１１０の制御に従って、各種の表示画面を表示する。
［１−２−１０．通信部１２６］
通信部１２６は、例えば無線通信により、情報処理装置１０‐１と通信可能な他の装置（図示省略）との間で情報の送受信を行う。例えば、通信部１２６は、情報処理装置１０‐１を装着するユーザのユーザＩＤを他の装置から受信する。
通信部１２６は、例えば無線通信により、情報処理装置１０‐１と通信可能な他の装置（図示省略）との間で情報の送受信を行う。例えば、通信部１２６は、情報処理装置１０‐１を装着するユーザのユーザＩＤを他の装置から受信する。
［１−２−１１．記憶部１２８］
記憶部１２８は、例えば、ユーザ情報ＤＢ１３０やユーザＩＤなどの各種のデータやソフトウェアを記憶することが可能である。
記憶部１２８は、例えば、ユーザ情報ＤＢ１３０やユーザＩＤなどの各種のデータやソフトウェアを記憶することが可能である。
なお、第１の実施形態による情報処理装置１０‐１の構成は、上述した構成に限定されない。例えば、ユーザ情報ＤＢ１３０は、記憶部１２８に記憶される代わりに、情報処理装置１０‐１と通信可能な他の装置に記憶されることも可能である。また、情報処理装置１０‐１は、ユーザが例えばユーザＩＤなどの各種の情報を情報処理装置１０‐１に対して入力するための入力部をさらに含んでもよい。なお、入力部は、例えば、視線による入力、つまり、視線検出部１０２により検出される視線方向に基づいた入力を受け付けることが可能であってもよい。
＜１−３．適用例＞
以上、第１の実施形態による構成について説明した。続いて、第１の実施形態の適用例について、図８および図９を参照して説明する。なお、本適用例では、左腕および左手に対する視線の移動によりユーザ認証を行う場面を前提とする。
以上、第１の実施形態による構成について説明した。続いて、第１の実施形態の適用例について、図８および図９を参照して説明する。なお、本適用例では、左腕および左手に対する視線の移動によりユーザ認証を行う場面を前提とする。
図８は、第２撮像部１２２により撮像された、ユーザの左腕の前腕および左手の画像（左腕画像２６）である。また、図９は、図８に示した姿勢において、ユーザによりなされた一連の視線動作を示した説明図である。具体的には、図９では、破線の矢印で示したように、ユーザが、まず、左腕のひじ２６２ａを注視し、次に、人差し指の第２関節２６２ｂを注視し、そして、前腕に含まれるホクロ２６２ｃを注視した例を示している。
例えば、まず、視線移動特定部１０４は、視線検出部１０２により検出されたユーザの視線方向、および、第２撮像部１２２により撮像されたユーザの身体の画像に基づいて、左腕のひじ２６２ａの注視を一番目の視線動作として特定する。
そして、左腕のひじ２６２ａから人差し指の第２関節２６２ｂへ視線方向が不連続に移動され、かつ、移動後の場所をユーザが所定の時間以上見ていることが検出された場合には、視線移動特定部１０４は、人差し指の第２関節２６２ｂの注視を二番目の視線動作として特定する。さらに、人差し指の第２関節２６２ｂから前腕のホクロ２６２ｃへ視線方向が不連続に移動され、かつ、移動後の場所をユーザが所定の時間以上見ていることが検出された場合には、視線移動特定部１０４は、前腕のホクロ２６２ｃの注視を三番目の視線動作として特定する。
そして、視線パターン比較部１０６は、視線移動特定部１０４により特定された各順番の視線動作の配列をユーザの視線パターンとして特定する。そして、視線パターン比較部１０６は、当該ユーザと対応づけてユーザ情報ＤＢ１３０に登録されている視線パターンに含まれる各視線動作と、特定した視線パターンに含まれる各視線動作とを視線の移動順ごとにそれぞれ比較することにより、視線パターンの一致度を判定する。
そして、ユーザ認証部１０８は、視線パターン比較部１０６により判定された一致度が所定の閾値以上である場合にはユーザが正当なユーザであると判定する。また、ユーザ認証部１０８は、判定された一致度が所定の閾値未満である場合にはユーザが正当なユーザではないと判定する。
＜１−４．動作＞
以上、第１の実施形態の適用例について説明した。続いて、第１の実施形態による動作について、図１０〜図１１を参照して説明する。
以上、第１の実施形態の適用例について説明した。続いて、第１の実施形態による動作について、図１０〜図１１を参照して説明する。
図１０は、第１の実施形態による動作の一部を示したフローチャートである。図１０に示したように、まず、情報処理装置１０‐１の通信部１２６は、他の装置からユーザＩＤを受信する（Ｓ１０１）。なお、変形例として、記憶部１２８にユーザＩＤが予め記憶されている場合には、制御部１００‐１は、記憶部１２８からユーザＩＤを抽出してもよい。
続いて、視線移動特定部１０４は、Ｓ１０１で取得されたユーザＩＤと対応づけてユーザ情報ＤＢ１３０に登録されている視線パターンをユーザ情報ＤＢ１３０から抽出する（Ｓ１０３）。
続いて、視線移動特定部１０４は、視線動作の順番を示す変数ｉに「１」を設定する（Ｓ１０５）。そして、視線移動特定部１０４は、視線動作の総数を示す定数Ｎに、Ｓ１０３で抽出された視線パターンに含まれる視線動作の数を設定する（Ｓ１０７）。
続いて、視線移動特定部１０４は、ｉの値がＮ以下であるか否かを判定する（Ｓ１０９）。ｉがＮ以下である場合には（Ｓ１０９：Ｙｅｓ）、視線移動特定部１０４は、視線検出部１０２によりユーザの視線方向の変化が検出されたか否かを判定する（Ｓ１１１）。ユーザの視線方向の変化が未検出である場合には（Ｓ１１１：Ｎｏ）、視線移動特定部１０４は、Ｓ１１１の動作を繰り返す。
一方、ユーザの視線方向の変化が検出された場合には（Ｓ１１１：Ｙｅｓ）、視線移動特定部１０４は、検出された移動後の視線方向に基づいて、ユーザが見ている身体の部位を特定する（Ｓ１１３）。
続いて、視線移動特定部１０４は、Ｓ１１３で特定した身体の部位に対するユーザの視線動作を特定する（Ｓ１１５）。
続いて、視線移動特定部１０４は、Ｓ１１５で特定した視線動作をｉ番目の視線動作として記憶部１２８に記録する（Ｓ１１７）。
続いて、視線移動特定部１０４は、ｉに「１」を加算する（Ｓ１１９）。その後、視線移動特定部１０４は、再びＳ１０９の動作を繰り返す。
ここで、図１１を参照して、Ｓ１０９においてｉの値がＮより大きいと判定された場合（Ｓ１０９：Ｎｏ）の動作について説明する。
図１１に示したように、視線パターン比較部１０６は、Ｓ１１７で記憶部１２８に記録された各順番の視線動作の配列を視線パターンとして特定する（Ｓ１２１）。
続いて、視線パターン比較部１０６は、Ｓ１２１で特定された視線パターンと、Ｓ１０３で抽出された視線パターンとを比較し、一致度を判定する（Ｓ１２３）。判定された一致度が所定の閾値以上である場合には（Ｓ１２３：Ｙｅｓ）、ユーザ認証部１０８は、ユーザが正当なユーザであると判定する（Ｓ１２５）。一方、判定された一致度が所定の閾値未満である場合には（Ｓ１２３：Ｎｏ）、ユーザ認証部１０８は、ユーザが正当なユーザではないと判定する（Ｓ１２７）。
＜１−５．効果＞
以上、例えば図２、図１０、図１１などを参照して説明したように、第１の実施形態による情報処理装置１０‐１は、第１撮像部１２０により撮像されたユーザの眼球の画像、および、第２撮像部１２２により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体に対するユーザの視線の移動を特定し、そして、特定された視線の移動に基づいてユーザを認証する。
以上、例えば図２、図１０、図１１などを参照して説明したように、第１の実施形態による情報処理装置１０‐１は、第１撮像部１２０により撮像されたユーザの眼球の画像、および、第２撮像部１２２により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体に対するユーザの視線の移動を特定し、そして、特定された視線の移動に基づいてユーザを認証する。
例えば手や足など、ユーザが見ることが可能な身体の部分に対する視線パターンの登録可能な数は非常に大きいので、情報処理装置１０‐１は、視線の移動を用いた安全性の高い認証を実現することできる。例えば、ユーザの認証時に、仮に第三者がユーザの視線の動きを盗み見したとしても、第三者が視線パターンを完全に特定することは難しい。従って、視線パターンが他人に盗まれにくいので、安全性が高く、堅牢なユーザ認証が可能になる。
また、ユーザは、非常に多くの身体の部位の中から視線動作の対象の部位を自由に選択することができる。また、ユーザは、希望に応じて視線パターンを任意に変更することも可能である。
＜＜２．第２の実施形態＞＞
以上、第１の実施形態について説明した。次に、第２の実施形態について説明する。まず、第２の実施形態を創作するに至った背景について説明する。
以上、第１の実施形態について説明した。次に、第２の実施形態について説明する。まず、第２の実施形態を創作するに至った背景について説明する。
例えば腕や指の長さ、または、ホクロ、皺、血管パターンの位置や形状などといった身体的特徴は個人特有のものである。このため、ユーザ本人にとっては身体的特徴は容易に識別可能であったり、忘れにくいのに対して、他人にとっては識別し辛く、かつ、記憶し辛い。
そこで、身体的特徴を用いた視線の移動のパターンによりユーザを認証することを想定すると、ユーザの認証時に、仮に第三者にユーザの視線の動きを盗み見されたとしても、視線パターンが第三者に特定されるリスクが非常に小さい。そして、視線パターンが、他人にさらに盗まれにくい。
後述するように、第２の実施形態によれば、身体的特徴を用いた視線パターンを用いることにより、さらに安全性の高い認証を実現することが可能である。
＜２−１．基本構成＞
第２の実施形態による情報処理装置１０‐２の基本構成は、図１に示した第１の実施形態と同様である。
第２の実施形態による情報処理装置１０‐２の基本構成は、図１に示した第１の実施形態と同様である。
＜２−２．構成＞
次に、情報処理装置１０‐２の構成について詳細に説明する。図１２は、第２の実施形態による情報処理装置１０‐２の構成を示した機能ブロック図である。図１２に示したように、情報処理装置１０‐２は、第１の実施形態による情報処理装置１０‐１と比較して、制御部１００‐１の代わりに、制御部１００‐２を有する。なお、以下では、第１の実施形態と重複する機能については説明を省略する。
次に、情報処理装置１０‐２の構成について詳細に説明する。図１２は、第２の実施形態による情報処理装置１０‐２の構成を示した機能ブロック図である。図１２に示したように、情報処理装置１０‐２は、第１の実施形態による情報処理装置１０‐１と比較して、制御部１００‐１の代わりに、制御部１００‐２を有する。なお、以下では、第１の実施形態と重複する機能については説明を省略する。
［２−２−１．制御部１００‐２］
制御部１００‐２は、制御部１００‐１と比較して、身体的特徴検出部１１２をさらに有する。
制御部１００‐２は、制御部１００‐１と比較して、身体的特徴検出部１１２をさらに有する。
［２−２−２．身体的特徴検出部１１２］
身体的特徴検出部１１２は、第２撮像部１２２により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体の一部に関する身体的特徴を検出する。
身体的特徴検出部１１２は、第２撮像部１２２により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体の一部に関する身体的特徴を検出する。
（２−２−２−１．身体までの距離の特定）
例えば、身体的特徴検出部１１２は、まず、視線検出部１０２により検出された視線方向に基づいて、ユーザの目の位置からユーザが見ている身体の部位までの距離を特定する。より具体的には、身体的特徴検出部１１２は、例えば、情報処理装置１０‐２が有する距離センサー（図示省略）による計測結果や、第２撮像部１２２による撮像画像に基づいて、ユーザが見ている部位までの距離を特定する。または、例えば所定の専用装置の中で予め登録しておいた姿勢をユーザにとらせるなど、予め登録しておいた立ち位置にユーザが位置する場合には、身体的特徴検出部１１２は、予め計測しておいた距離（固定距離）をユーザが見ている部位までの距離として特定する。
例えば、身体的特徴検出部１１２は、まず、視線検出部１０２により検出された視線方向に基づいて、ユーザの目の位置からユーザが見ている身体の部位までの距離を特定する。より具体的には、身体的特徴検出部１１２は、例えば、情報処理装置１０‐２が有する距離センサー（図示省略）による計測結果や、第２撮像部１２２による撮像画像に基づいて、ユーザが見ている部位までの距離を特定する。または、例えば所定の専用装置の中で予め登録しておいた姿勢をユーザにとらせるなど、予め登録しておいた立ち位置にユーザが位置する場合には、身体的特徴検出部１１２は、予め計測しておいた距離（固定距離）をユーザが見ている部位までの距離として特定する。
（２−２−２−２．身体的特徴の検出）
次に、身体的特徴検出部１１２は、第２撮像部１２２により撮像されたユーザの身体の部位の画像、および特定した当該身体の部位までの距離に基づいて、当該部位の相対的な長さや、相対的な位置を検出する。より具体的には、まず、身体的特徴検出部１１２は、第２撮像部１２２により撮像されたユーザの身体の部位の画像に基づいて、当該部位の仮の長さや、特定の場所を起点とした当該部位における他の場所の仮の位置を算出する。そして、身体的特徴検出部１１２は、特定した当該身体の部位までの距離と、視線パターンの登録時におけるユーザの目の位置から当該身体の部位までの距離との比に基づいて、算出した仮の長さや、仮の位置を正規化することにより、当該部位の相対的な長さや、当該他の場所の相対的な位置を算出する。
次に、身体的特徴検出部１１２は、第２撮像部１２２により撮像されたユーザの身体の部位の画像、および特定した当該身体の部位までの距離に基づいて、当該部位の相対的な長さや、相対的な位置を検出する。より具体的には、まず、身体的特徴検出部１１２は、第２撮像部１２２により撮像されたユーザの身体の部位の画像に基づいて、当該部位の仮の長さや、特定の場所を起点とした当該部位における他の場所の仮の位置を算出する。そして、身体的特徴検出部１１２は、特定した当該身体の部位までの距離と、視線パターンの登録時におけるユーザの目の位置から当該身体の部位までの距離との比に基づいて、算出した仮の長さや、仮の位置を正規化することにより、当該部位の相対的な長さや、当該他の場所の相対的な位置を算出する。
また、身体的特徴検出部１１２は、当該部位に含まれる例えばホクロ、皺、または血管パターンなどの形状、相対的な長さ、または特定の場所を起点とした相対的な位置を検出する。なお、上記の特定の場所は、例えばユーザが当該部位において最初に見た場所に定められてもよい。
ここで、図４を参照して、上記の機能についてより詳細に説明する。例えば、身体的特徴検出部１１２は、図４に示した右手画像２２に基づいて、まず、ユーザの目の位置から右手までの距離を特定する。そして、身体的特徴検出部１１２は、右手画像２２、および特定した距離に基づいて、右手の掌線や右手の各指に関する特徴を検出する。より具体的には、身体的特徴検出部１１２は、例えば感情線、頭脳線、生命線などの各掌線の形状、相対的な長さ、または特定の場所を起点とした相対的な位置を検出する。また、身体的特徴検出部１１２は、各指の相対的な長さや、特定の場所を起点とした各指の相対的な位置を検出する。
［２−２−３．視線移動特定部１０４］
第２の実施形態による視線移動特定部１０４は、視線検出部１０２により検出されたユーザの視線方向、第２撮像部１２２により撮像されたユーザの身体の画像、および身体的特徴検出部１１２により検出された身体的特徴に基づいて、ユーザの身体に対するユーザの視線の移動を特定する。例えば、図５に示した例では、視線移動特定部１０４は、身体的特徴検出部１１２により検出された各掌線に関する特徴に基づいて、掌においてユーザが視線でトレースした線（つまり生命線）の相対的な位置、相対的な長さ、または形状などを含む情報を二番目の視線動作として特定する。また、視線移動特定部１０４は、身体的特徴検出部１１２により検出された中指に関する特徴に基づいて、中指においてユーザが視線でトレースした線（つまり中指の先端から根元まで）の相対的な位置、および相対的な長さを含む情報を三番目の視線動作として特定する。
第２の実施形態による視線移動特定部１０４は、視線検出部１０２により検出されたユーザの視線方向、第２撮像部１２２により撮像されたユーザの身体の画像、および身体的特徴検出部１１２により検出された身体的特徴に基づいて、ユーザの身体に対するユーザの視線の移動を特定する。例えば、図５に示した例では、視線移動特定部１０４は、身体的特徴検出部１１２により検出された各掌線に関する特徴に基づいて、掌においてユーザが視線でトレースした線（つまり生命線）の相対的な位置、相対的な長さ、または形状などを含む情報を二番目の視線動作として特定する。また、視線移動特定部１０４は、身体的特徴検出部１１２により検出された中指に関する特徴に基づいて、中指においてユーザが視線でトレースした線（つまり中指の先端から根元まで）の相対的な位置、および相対的な長さを含む情報を三番目の視線動作として特定する。
また、図６に示した例では、視線移動特定部１０４は、身体的特徴検出部１１２により検出された右手の身体的特徴に基づいて、右手の各形状ごとに、特定の場所を起点とした、ユーザが注視した場所２４０の相対的な位置を含む情報を各順番の視線動作として特定する。なお、この例において、上記の特定の場所は、一番目の視線動作における注視位置（つまり、右手の形状がグーであるときの親指の先端２４０ａ）であってもよい。これにより、視線移動特定部１０４は、例えば右手の形状がチョキであるときのユーザの注視位置を、右手の形状がグーであるときのユーザの注視位置を起点とした相対的な位置として特定することになる。
なお、情報処理装置１０‐２に含まれるその他の構成要素の機能については、第１の実施形態と概略同様である。
＜２−３．適用例＞
以上、第２の実施形態による構成について説明した。続いて、第２の実施形態の適用例について、図８および図９を参照して説明する。
以上、第２の実施形態による構成について説明した。続いて、第２の実施形態の適用例について、図８および図９を参照して説明する。
図８に示した例では、まず、身体的特徴検出部１１２は、視線検出部１０２により検出された視線方向に基づいて、ユーザの目の位置から（ユーザが見ている）左腕または左手までの距離を特定する。
次に、身体的特徴検出部１１２は、図８に示した左腕画像２６、および特定した左腕または左手までの距離に基づいて、左腕または左手に関する身体的特徴を検出する。例えば、身体的特徴検出部１１２は、前腕に含まれるホクロの位置を特定する。
次に、視線移動特定部１０４は、視線検出部１０２により検出されたユーザの視線方向、および身体的特徴検出部１１２により検出された身体的特徴に基づいて、ユーザが最初に注視している部位（つまり、左腕のひじ２６２ａ）の、特定の場所を起点とした相対的な位置を特定し、そして特定した位置を含む情報を一番目の視線動作として特定する。
そして、視線移動特定部１０４は、左腕のひじ２６２ａから人差し指の第２関節２６２ｂへ視線方向が不連続に移動され、かつ、移動後の場所をユーザが所定の時間以上見ていることが検出された場合には、視線移動特定部１０４は、ユーザが現在見ている部位（つまり、人差し指の第２関節２６２ｂ）の、特定の場所を起点とした相対的な位置を特定し、そして、特定した位置を含む情報を二番目の視線動作として特定する。
なお、視線移動特定部１０４は、例えば一番目の視線動作における注視位置（左腕のひじ２６２ａ）を起点とした人差し指の第２関節２６２ｂまでの相対的な距離、およびホクロの位置を起点とした人差し指の第２関節２６２ｂまで相対的な距離に基づいて、人差し指の第２関節２６２ｂの相対的な位置を特定してもよい。
さらに、人差し指の第２関節２６２ｂから前腕のホクロ２６２ｃへ視線方向が不連続に移動され、かつ、移動後の場所をユーザが所定の時間以上見ていることが検出された場合には、視線移動特定部１０４は、前腕のホクロ２６２ｃの相対的な位置を含む情報を三番目の視線動作として特定する。
そして、視線パターン比較部１０６は、視線移動特定部１０４により特定された各順番の視線動作の配列をユーザの視線パターンとして特定する。そして、視線パターン比較部１０６は、当該ユーザと対応づけてユーザ情報ＤＢ１３０に登録されている視線パターンに含まれる各視線動作と、特定した視線パターンに含まれる各視線動作とを視線の移動順ごとにそれぞれ比較することにより、視線パターンの一致度を判定する。
そして、ユーザ認証部１０８は、視線パターン比較部１０６により判定された一致度が所定の閾値以上である場合にはユーザが正当なユーザであると判定する。また、ユーザ認証部１０８は、判定された一致度が所定の閾値未満である場合にはユーザが正当なユーザではないと判定する。
＜２−４．動作＞
以上、第２の実施形態による構成について説明した。続いて、第２の実施形態による動作について説明する。なお、第２の実施形態による動作は、図１０〜図１１に示した第１の実施形態と概略と同様である。以下では、第１の実施形態と内容が異なるステップについてのみ説明を行う。
以上、第２の実施形態による構成について説明した。続いて、第２の実施形態による動作について説明する。なお、第２の実施形態による動作は、図１０〜図１１に示した第１の実施形態と概略と同様である。以下では、第１の実施形態と内容が異なるステップについてのみ説明を行う。
Ｓ１１３では、まず、身体的特徴検出部１１２は、視線検出部１０２により検出された移動後の視線方向、および第２撮像部１２２により撮像されたユーザの身体の画像に基づいて、ユーザが見ている身体の部位に関する身体的特徴を検出する。
また、Ｓ１１５では、視線移動特定部１０４は、視線検出部１０２により検出されるユーザの視線方向、およびＳ１１３で検出された身体的特徴に基づいて、Ｓ１１３で特定した身体の部位に対するユーザの視線動作を特定する。
＜２−５．効果＞
以上、例えば図１２などを参照して説明したように、第２の実施形態による情報処理装置１０‐２は、第２撮像部１２２により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体の一部に関する身体的特徴を検出し、第１撮像部１２０により撮像されたユーザの眼球画像および検出された身体的特徴に基づいてユーザの身体に対するユーザの視線の移動を特定し、そして、特定された視線の移動に基づいてユーザを認証する。
以上、例えば図１２などを参照して説明したように、第２の実施形態による情報処理装置１０‐２は、第２撮像部１２２により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体の一部に関する身体的特徴を検出し、第１撮像部１２０により撮像されたユーザの眼球画像および検出された身体的特徴に基づいてユーザの身体に対するユーザの視線の移動を特定し、そして、特定された視線の移動に基づいてユーザを認証する。
このため、情報処理装置１０‐２は、身体的特徴を用いた視線パターンを用いることにより、さらに安全性の高い認証を実現することが可能である。例えば、ユーザの認証時に、仮に第三者にユーザの視線の動きを盗み見されたとしても、身体的特徴は個人特有のものであり、第三者にとっては識別し辛いので、第三者が視線パターンを完全に特定することは極めて難しい。従って、身体的特徴を用いた視線パターンは他人にさらに盗まれにくいので、安全性がさらに高く、堅牢なユーザ認証が可能になる。
また、例えば指紋認証のような、身体的特徴のみを利用したユーザ認証の場合には、認証情報を変更することが難しいので、仮に認証情報が漏えいした場合に影響が大きくなってしまう。一方、第２の実施形態による認証方法では、視線パターンを容易に変更することが可能であるので、仮に視線パターンが漏えいしたとしても、被害を小さく抑えることができるという利点がある。
＜＜３．第３の実施形態＞＞
以上、第２の実施形態について説明した。次に、第３の実施形態について説明する。
以上、第２の実施形態について説明した。次に、第３の実施形態について説明する。
上述したように、第１の実施形態による情報処理装置１０‐１、および第２の実施形態による情報処理装置１０‐２は、二種類の撮像部、すなわち、ユーザの眼球画像を撮像する第１撮像部１２０と、ユーザの身体の画像を撮像する第２撮像部１２２とを有することを前提とした。
後述するように、第３の実施形態によれば、一種類の撮像部だけを有する装置により、身体に対するユーザの視線の移動を特定し、ユーザを認証することが可能である。
＜３−１．基本構成＞
まず、第３の実施形態による情報処理装置３０の基本構成について、図１３を参照して説明する。
まず、第３の実施形態による情報処理装置３０の基本構成について、図１３を参照して説明する。
図１３は、情報処理装置３０の外観を示した説明図である。図１３に示したように、情報処理装置３０は、例えば、ユーザ２の眼球、および例えば腕などのユーザ２の身体の一部を撮像可能な撮像部３２０を有する。この情報処理装置３０は、例えば、家の玄関などに設置されてもよい。さらに、情報処理装置３０は、玄関のドアを開錠させることを目的としたユーザ認証を行う認証システムの一部として構成されてもよい。
＜３−２．構成＞
次に、情報処理装置３０の構成について詳細に説明する。図１４は、第３の実施形態による情報処理装置３０の構成を示した機能ブロック図である。図１４に示したように、情報処理装置３０は、制御部３００、撮像部３２０、出力部３２２、通信部３２４、および記憶部３２６を有する。なお、以下では、第２の実施形態と重複する機能については説明を省略する。
次に、情報処理装置３０の構成について詳細に説明する。図１４は、第３の実施形態による情報処理装置３０の構成を示した機能ブロック図である。図１４に示したように、情報処理装置３０は、制御部３００、撮像部３２０、出力部３２２、通信部３２４、および記憶部３２６を有する。なお、以下では、第２の実施形態と重複する機能については説明を省略する。
［３−２−１．制御部３００］
制御部３００は、情報処理装置３０の動作を全般的に制御する。また、図１４に示したように、制御部３００は、視線検出部３０２、視線移動特定部３０４、視線パターン比較部３０６、ユーザ認証部３０８、出力制御部３１０、および、身体的特徴検出部３１２を有する。
制御部３００は、情報処理装置３０の動作を全般的に制御する。また、図１４に示したように、制御部３００は、視線検出部３０２、視線移動特定部３０４、視線パターン比較部３０６、ユーザ認証部３０８、出力制御部３１０、および、身体的特徴検出部３１２を有する。
［３−２−２．視線検出部３０２］
視線検出部３０２は、後述する撮像部３２０により撮像されたユーザの眼球の画像に基づいて、ユーザの視線方向を検出する。なお、具体的な機能については、第２の実施形態による視線検出部１０２と概略同様である。
視線検出部３０２は、後述する撮像部３２０により撮像されたユーザの眼球の画像に基づいて、ユーザの視線方向を検出する。なお、具体的な機能については、第２の実施形態による視線検出部１０２と概略同様である。
［３−２−３．身体的特徴検出部３１２］
身体的特徴検出部３１２は、撮像部３２０により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体の一部に関する身体的特徴を検出する。なお、具体的な機能については、第２の実施形態による身体的特徴検出部１１２と概略同様である。
身体的特徴検出部３１２は、撮像部３２０により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体の一部に関する身体的特徴を検出する。なお、具体的な機能については、第２の実施形態による身体的特徴検出部１１２と概略同様である。
［３−２−４．視線移動特定部３０４］
視線移動特定部３０４は、視線検出部１０２により検出されたユーザの視線方向、撮像部３２０により撮像されたユーザの身体の画像、および身体的特徴検出部３１２により検出された身体的特徴に基づいて、ユーザの身体に対するユーザの視線の移動を特定する。なお、具体的な機能については、第２の実施形態による視線移動特定部１０４と概略同様である。
視線移動特定部３０４は、視線検出部１０２により検出されたユーザの視線方向、撮像部３２０により撮像されたユーザの身体の画像、および身体的特徴検出部３１２により検出された身体的特徴に基づいて、ユーザの身体に対するユーザの視線の移動を特定する。なお、具体的な機能については、第２の実施形態による視線移動特定部１０４と概略同様である。
［３−２−５．出力制御部３１０］
出力制御部３１０は、ユーザ認証部３０８による認証結果を、後述する出力部３２２に出力させる。例えば、出力制御部３１０は、認証結果を知らせる音を出力部３２２に出力させる。
出力制御部３１０は、ユーザ認証部３０８による認証結果を、後述する出力部３２２に出力させる。例えば、出力制御部３１０は、認証結果を知らせる音を出力部３２２に出力させる。
［３−２−６．撮像部３２０］
撮像部３２０は、ユーザの眼球の画像、およびユーザの視線方向に位置するユーザの身体の画像を例えば同時に撮像する。
撮像部３２０は、ユーザの眼球の画像、およびユーザの視線方向に位置するユーザの身体の画像を例えば同時に撮像する。
［３−２−７．出力部３２２］
出力部３２２は、出力制御部３１０の制御に従って、音または映像を出力する。
出力部３２２は、出力制御部３１０の制御に従って、音または映像を出力する。
なお、視線パターン比較部３０６、ユーザ認証部３０８、通信部３２４、および記憶部３２６は、第２の実施形態による視線パターン比較部１０６、ユーザ認証部１０８、通信部１２６、または記憶部１２８とそれぞれ同様である。
以上、第３の実施形態による情報処理装置３０の構成について説明したが、上述した構成に限定されない。例えば、情報処理装置３０は、出力制御部３１０、出力部３２２、または通信部３２４のうち１以上を有しなくてもよい。
＜３−３．動作＞
第３の実施形態による動作は、２−４節で述べた第２の実施形態による動作と概略同様である。
第３の実施形態による動作は、２−４節で述べた第２の実施形態による動作と概略同様である。
＜３−４．効果＞
以上、例えば図１３および図１４を参照して説明したように、第３の実施形態による情報処理装置３０は、撮像部３２０により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体の一部に関する身体的特徴を検出し、撮像部３２０により撮像されたユーザの眼球の画像、および検出された身体的特徴に基づいて、ユーザの身体に対するユーザの視線の移動を特定し、そして、特定された視線の移動に基づいてユーザを認証する。このため、第２の実施形態と概略同様の機能を実現するので、第２の実施形態と同様の効果が得られる。
以上、例えば図１３および図１４を参照して説明したように、第３の実施形態による情報処理装置３０は、撮像部３２０により撮像された、ユーザの視線方向に位置するユーザの身体の画像に基づいて、ユーザの身体の一部に関する身体的特徴を検出し、撮像部３２０により撮像されたユーザの眼球の画像、および検出された身体的特徴に基づいて、ユーザの身体に対するユーザの視線の移動を特定し、そして、特定された視線の移動に基づいてユーザを認証する。このため、第２の実施形態と概略同様の機能を実現するので、第２の実施形態と同様の効果が得られる。
＜＜４．ハードウェア構成＞＞
次に、情報処理装置１０‐１、情報処理装置１０‐２、および情報処理装置３０のハードウェア構成について、図１５を参照して説明する。図１５に示したように、情報処理装置１０‐１（または、情報処理装置１０‐２、情報処理装置３０）は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２、ＲＡＭ１５４、内部バス１５６、インターフェース１５８、出力装置１６０、カメラ１６２、ストレージ装置１６４、および通信装置１６６を備える。
次に、情報処理装置１０‐１、情報処理装置１０‐２、および情報処理装置３０のハードウェア構成について、図１５を参照して説明する。図１５に示したように、情報処理装置１０‐１（または、情報処理装置１０‐２、情報処理装置３０）は、ＣＰＵ１５０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１５２、ＲＡＭ１５４、内部バス１５６、インターフェース１５８、出力装置１６０、カメラ１６２、ストレージ装置１６４、および通信装置１６６を備える。
＜４−１．ＣＰＵ１５０＞
ＣＰＵ１５０は、演算処理装置および制御装置として機能する。このＣＰＵ１５０は、制御部１００‐１（または、制御部１００‐２、制御部３００）の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
ＣＰＵ１５０は、演算処理装置および制御装置として機能する。このＣＰＵ１５０は、制御部１００‐１（または、制御部１００‐２、制御部３００）の機能を実現する。なお、ＣＰＵ１５０は、マイクロプロセッサなどのプロセッサにより構成される。
＜４−２．ＲＯＭ１５２＞
ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
＜４−３．ＲＡＭ１５４＞
ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
＜４−４．内部バス１５６＞
内部バス１５６は、ＣＰＵバスなどから構成される。この内部バス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４を相互に接続する。
内部バス１５６は、ＣＰＵバスなどから構成される。この内部バス１５６は、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４を相互に接続する。
＜４−５．インターフェース１５８＞
インターフェース１５８は、出力装置１６０、カメラ１６２、ストレージ装置１６４、および通信装置１６６を、内部バス１５６と接続する。例えばストレージ装置１６４は、このインターフェース１５８および内部バス１５６を介して、ＣＰＵ１５０との間でデータをやり取りする。
インターフェース１５８は、出力装置１６０、カメラ１６２、ストレージ装置１６４、および通信装置１６６を、内部バス１５６と接続する。例えばストレージ装置１６４は、このインターフェース１５８および内部バス１５６を介して、ＣＰＵ１５０との間でデータをやり取りする。
＜４−６．出力装置１６０＞
出力装置１６０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。この表示装置は、ＣＰＵ１５０により生成された画像などを表示する。
出力装置１６０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。この表示装置は、ＣＰＵ１５０により生成された画像などを表示する。
さらに、出力装置１６０は、スピーカーなどの音声出力装置を含む。この音声出力装置は、音声データ等を音に変換して出力する。この出力装置１６０は、表示部１２４または出力部３２２として機能する。
＜４−７．カメラ１６２＞
カメラ１６２は、外部の映像を、レンズを通して例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子に結像させ、静止画像又は動画像を撮影する機能を有する。このカメラ１６２は、第１撮像部１２０、第２撮像部１２２、または撮像部３２０として機能する。
カメラ１６２は、外部の映像を、レンズを通して例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子に結像させ、静止画像又は動画像を撮影する機能を有する。このカメラ１６２は、第１撮像部１２０、第２撮像部１２２、または撮像部３２０として機能する。
＜４−８．ストレージ装置１６４＞
ストレージ装置１６４は、記憶部１２８または記憶部３２６として機能する、データ格納用の装置である。ストレージ装置１６４は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
ストレージ装置１６４は、記憶部１２８または記憶部３２６として機能する、データ格納用の装置である。ストレージ装置１６４は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。
＜４−９．通信装置１６６＞
通信装置１６６は、例えば公衆網やインターネットなどの通信網に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６６は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６６は、通信部１２６または通信部３２４として機能する。
通信装置１６６は、例えば公衆網やインターネットなどの通信網に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６６は、無線ＬＡＮ対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。この通信装置１６６は、通信部１２６または通信部３２４として機能する。
＜＜５．変形例＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
＜５−１．変形例１＞
例えば、上述した各実施形態では、ユーザＩＤが受信または入力された場合、すなわちユーザが特定されていることを前提としてユーザの認証を行う例について説明したが、かかる例に限定されない。例えば、情報処理装置３０（または、情報処理装置１０‐１、情報処理装置１０‐２）は、ユーザ情報ＤＢ１３０に記録されている全てのユーザの視線パターンに基づいて、撮影対象の人物がいずれのユーザであるかを識別することも可能である。
例えば、上述した各実施形態では、ユーザＩＤが受信または入力された場合、すなわちユーザが特定されていることを前提としてユーザの認証を行う例について説明したが、かかる例に限定されない。例えば、情報処理装置３０（または、情報処理装置１０‐１、情報処理装置１０‐２）は、ユーザ情報ＤＢ１３０に記録されている全てのユーザの視線パターンに基づいて、撮影対象の人物がいずれのユーザであるかを識別することも可能である。
具体的には、情報処理装置３０は、まず、視線移動特定部３０４により特定されたユーザの視線の移動に基づいた視線パターンと、ユーザ情報ＤＢ１３０に登録されている、特定のグループに属する各ユーザ（または全てのユーザ）の視線パターンとをそれぞれ比較する。そして、情報処理装置３０は、判定された一致度が一番高いユーザを対象人物と特定することが可能である。
この変形例によれば、例えば家族全員が一つのグループとして予め登録されている場合において、情報処理装置３０は、ユーザＩＤが入力されなくても、撮影対象の人物が家族のうちの誰であるかを特定することが可能となる。
＜５−２．変形例２＞
また、各実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した情報処理装置１０‐１、情報処理装置１０‐２、または情報処理装置３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
また、各実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した情報処理装置１０‐１、情報処理装置１０‐２、または情報処理装置３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、
特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部と、
を備える、情報処理装置。
（２）
前記情報処理装置は、前記ユーザと対応づけてデータベースに登録されている視線パターンと、前記視線移動特定部により特定された前記ユーザの視線の移動に基づいた視線パターンとを比較する視線パターン比較部をさらに備え、
前記ユーザ認証部は、前記視線パターン比較部による比較結果に基づいて、前記ユーザを認証する、前記（１）に記載の情報処理装置。
（３）
前記ユーザ認証部は、前記視線パターン比較部により判定された視線パターンの一致度が所定の閾値以上である場合に、前記ユーザが正当なユーザであると判断する、前記（２）に記載の情報処理装置。
（４）
前記情報処理装置は、前記ユーザの身体の画像に基づいて、前記ユーザの身体の一部に関する身体的特徴を検出する身体的特徴検出部をさらに備え、
前記視線移動特定部は、前記ユーザの目の画像、および検出された身体的特徴に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する、前記（２）または（３）に記載の情報処理装置。
（５）
前記視線パターンは、前記ユーザの身体の１以上の部位に対する視線動作のパターンである、前記（２）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記データベースに登録されている視線パターンは、視線の移動の順序と対応づけられた前記ユーザの身体の１以上の部位の各々に対する視線動作のパターンである、前記（５）に記載の情報処理装置。
（７）
前記データベースに登録されている視線パターンは、前記ユーザの身体の姿勢の変化の順序と対応づけられた前記ユーザの身体の１以上の部位の各々に対する視線動作のパターンである、前記（５）に記載の情報処理装置。
（８）
前記視線動作は、前記ユーザの身体の部位に対する注視または視線のトレースを含む、前記（５）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記身体的特徴は、ホクロ、皺、または血管パターンの位置または形状を含む、前記（４）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記情報処理装置は、前記視線移動特定部により視線の移動が特定される度に、特定された視線の移動を示す表示を表示部に逐次表示させる表示制御部をさらに備える、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記情報処理装置は、前記表示部をさらに備える、前記（１０）に記載の情報処理装置。
（１２）
前記撮像部は、前記ユーザの目の画像を撮像する第１の撮像部と、前記ユーザの視線方向に位置する前記ユーザの身体の画像を撮像する第２の撮像部とを含む、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記情報処理装置は、眼鏡型の装置である、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定することと、
特定された視線の移動に基づいて前記ユーザを認証することと、
を備える、情報処理方法。
（１５）
コンピュータを、
撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、
特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部、
として機能させるための、プログラム。
（１）
撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、
特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部と、
を備える、情報処理装置。
（２）
前記情報処理装置は、前記ユーザと対応づけてデータベースに登録されている視線パターンと、前記視線移動特定部により特定された前記ユーザの視線の移動に基づいた視線パターンとを比較する視線パターン比較部をさらに備え、
前記ユーザ認証部は、前記視線パターン比較部による比較結果に基づいて、前記ユーザを認証する、前記（１）に記載の情報処理装置。
（３）
前記ユーザ認証部は、前記視線パターン比較部により判定された視線パターンの一致度が所定の閾値以上である場合に、前記ユーザが正当なユーザであると判断する、前記（２）に記載の情報処理装置。
（４）
前記情報処理装置は、前記ユーザの身体の画像に基づいて、前記ユーザの身体の一部に関する身体的特徴を検出する身体的特徴検出部をさらに備え、
前記視線移動特定部は、前記ユーザの目の画像、および検出された身体的特徴に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する、前記（２）または（３）に記載の情報処理装置。
（５）
前記視線パターンは、前記ユーザの身体の１以上の部位に対する視線動作のパターンである、前記（２）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記データベースに登録されている視線パターンは、視線の移動の順序と対応づけられた前記ユーザの身体の１以上の部位の各々に対する視線動作のパターンである、前記（５）に記載の情報処理装置。
（７）
前記データベースに登録されている視線パターンは、前記ユーザの身体の姿勢の変化の順序と対応づけられた前記ユーザの身体の１以上の部位の各々に対する視線動作のパターンである、前記（５）に記載の情報処理装置。
（８）
前記視線動作は、前記ユーザの身体の部位に対する注視または視線のトレースを含む、前記（５）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記身体的特徴は、ホクロ、皺、または血管パターンの位置または形状を含む、前記（４）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記情報処理装置は、前記視線移動特定部により視線の移動が特定される度に、特定された視線の移動を示す表示を表示部に逐次表示させる表示制御部をさらに備える、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記情報処理装置は、前記表示部をさらに備える、前記（１０）に記載の情報処理装置。
（１２）
前記撮像部は、前記ユーザの目の画像を撮像する第１の撮像部と、前記ユーザの視線方向に位置する前記ユーザの身体の画像を撮像する第２の撮像部とを含む、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記情報処理装置は、眼鏡型の装置である、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定することと、
特定された視線の移動に基づいて前記ユーザを認証することと、
を備える、情報処理方法。
（１５）
コンピュータを、
撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、
特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部、
として機能させるための、プログラム。
１０‐１、１０‐２、３０ 情報処理装置
１００‐１、１００‐２、３００ 制御部
１０２、３０２ 視線検出部
１０４、３０４ 視線移動特定部
１０６、３０６ 視線パターン比較部
１０８、３０８ ユーザ認証部
１１０ 表示制御部
１１２、３１２ 身体的特徴検出部
１２０ 第１撮像部
１２２ 第２撮像部
１２４ 表示部
１２６、３２４ 通信部
１２８、３２６ 記憶部
１３０ ユーザ情報ＤＢ
３１０ 出力制御部
３２０ 撮像部
３２２ 出力部
１００‐１、１００‐２、３００ 制御部
１０２、３０２ 視線検出部
１０４、３０４ 視線移動特定部
１０６、３０６ 視線パターン比較部
１０８、３０８ ユーザ認証部
１１０ 表示制御部
１１２、３１２ 身体的特徴検出部
１２０ 第１撮像部
１２２ 第２撮像部
１２４ 表示部
１２６、３２４ 通信部
１２８、３２６ 記憶部
１３０ ユーザ情報ＤＢ
３１０ 出力制御部
３２０ 撮像部
３２２ 出力部
Claims (15)
- 撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、
特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部と、
を備える、情報処理装置。 - 前記情報処理装置は、前記ユーザと対応づけてデータベースに登録されている視線パターンと、前記視線移動特定部により特定された前記ユーザの視線の移動に基づいた視線パターンとを比較する視線パターン比較部をさらに備え、
前記ユーザ認証部は、前記視線パターン比較部による比較結果に基づいて、前記ユーザを認証する、請求項１に記載の情報処理装置。 - 前記ユーザ認証部は、前記視線パターン比較部により判定された視線パターンの一致度が所定の閾値以上である場合に、前記ユーザが正当なユーザであると判断する、請求項２に記載の情報処理装置。
- 前記情報処理装置は、前記ユーザの身体の画像に基づいて、前記ユーザの身体の一部に関する身体的特徴を検出する身体的特徴検出部をさらに備え、
前記視線移動特定部は、前記ユーザの目の画像、および検出された身体的特徴に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する、請求項２または３に記載の情報処理装置。 - 前記視線パターンは、前記ユーザの身体の１以上の部位に対する視線動作のパターンである、請求項２〜４のいずれか一項に記載の情報処理装置。
- 前記データベースに登録されている視線パターンは、視線の移動の順序と対応づけられた前記ユーザの身体の１以上の部位の各々に対する視線動作のパターンである、請求項５に記載の情報処理装置。
- 前記データベースに登録されている視線パターンは、前記ユーザの身体の姿勢の変化の順序と対応づけられた前記ユーザの身体の１以上の部位の各々に対する視線動作のパターンである、請求項５に記載の情報処理装置。
- 前記視線動作は、前記ユーザの身体の部位に対する注視または視線のトレースを含む、請求項５〜７のいずれか一項に記載の情報処理装置。
- 前記身体的特徴は、ホクロ、皺、または血管パターンの位置または形状を含む、請求項４〜８のいずれか一項に記載の情報処理装置。
- 前記情報処理装置は、前記視線移動特定部により視線の移動が特定される度に、特定された視線の移動を示す表示を表示部に逐次表示させる表示制御部をさらに備える、請求項１〜９のいずれか一項に記載の情報処理装置。
- 前記情報処理装置は、前記表示部をさらに備える、請求項１０に記載の情報処理装置。
- 前記撮像部は、前記ユーザの目の画像を撮像する第１の撮像部と、前記ユーザの視線方向に位置する前記ユーザの身体の画像を撮像する第２の撮像部とを含む、請求項１〜１１のいずれか一項に記載の情報処理装置。
- 前記情報処理装置は、眼鏡型の装置である、請求項１〜１２のいずれか一項に記載の情報処理装置。
- 撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定することと、
特定された視線の移動に基づいて前記ユーザを認証することと、
を備える、情報処理方法。 - コンピュータを、
撮像部により撮像された、ユーザの目の画像および前記ユーザの視線方向に位置する前記ユーザの身体の画像に基づいて、前記ユーザの身体に対する前記ユーザの視線の移動を特定する視線移動特定部と、
特定された視線の移動に基づいて前記ユーザを認証するユーザ認証部、
として機能させるための、プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015031637 | 2015-02-20 | ||
| JP2015031637 | 2015-02-20 | ||
| PCT/JP2015/082623 WO2016132617A1 (ja) | 2015-02-20 | 2015-11-19 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2016132617A1 JPWO2016132617A1 (ja) | 2017-11-24 |
| JP6648751B2 true JP6648751B2 (ja) | 2020-02-14 |
Family
ID=56688895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017500286A Active JP6648751B2 (ja) | 2015-02-20 | 2015-11-19 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10180717B2 (ja) |
| EP (1) | EP3261055A4 (ja) |
| JP (1) | JP6648751B2 (ja) |
| CN (1) | CN107209936B (ja) |
| WO (1) | WO2016132617A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10732708B1 (en) * | 2017-11-21 | 2020-08-04 | Amazon Technologies, Inc. | Disambiguation of virtual reality information using multi-modal data including speech |
| US10521946B1 (en) | 2017-11-21 | 2019-12-31 | Amazon Technologies, Inc. | Processing speech to drive animations on avatars |
| US11232645B1 (en) | 2017-11-21 | 2022-01-25 | Amazon Technologies, Inc. | Virtual spaces as a platform |
| JP7327368B2 (ja) * | 2020-12-02 | 2023-08-16 | 横河電機株式会社 | 装置、方法およびプログラム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6353422B1 (en) * | 2000-03-31 | 2002-03-05 | Stephen G. Perlman | Virtual display system and method |
| US8965460B1 (en) * | 2004-01-30 | 2015-02-24 | Ip Holdings, Inc. | Image and augmented reality based networks using mobile devices and intelligent electronic glasses |
| JP4765575B2 (ja) | 2005-11-18 | 2011-09-07 | 富士通株式会社 | 個人認証方法、個人認証プログラムおよび個人認証装置 |
| EP2539759A1 (en) * | 2010-02-28 | 2013-01-02 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
| US9229227B2 (en) * | 2010-02-28 | 2016-01-05 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
| CN102812416B (zh) * | 2010-06-17 | 2015-10-07 | 松下电器（美国）知识产权公司 | 指示输入装置、指示输入方法、程序、记录介质以及集成电路 |
| US20120257035A1 (en) | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Systems and methods for providing feedback by tracking user gaze and gestures |
| US8235529B1 (en) * | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
| CN102547123B (zh) * | 2012-01-05 | 2014-02-26 | 天津师范大学 | 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法 |
| JP2014092940A (ja) * | 2012-11-02 | 2014-05-19 | Sony Corp | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
| US9092600B2 (en) * | 2012-11-05 | 2015-07-28 | Microsoft Technology Licensing, Llc | User authentication on augmented reality display device |
| CN104077517A (zh) * | 2014-06-30 | 2014-10-01 | 惠州Tcl移动通信有限公司 | 一种基于虹膜识别的移动终端用户模式启动方法及系统 |
-
2015
- 2015-11-19 EP EP15882718.8A patent/EP3261055A4/en active Pending
- 2015-11-19 WO PCT/JP2015/082623 patent/WO2016132617A1/ja active Application Filing
- 2015-11-19 JP JP2017500286A patent/JP6648751B2/ja active Active
- 2015-11-19 US US15/529,128 patent/US10180717B2/en active Active
- 2015-11-19 CN CN201580075931.0A patent/CN107209936B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107209936B (zh) | 2021-08-27 |
| CN107209936A (zh) | 2017-09-26 |
| EP3261055A4 (en) | 2018-10-24 |
| US10180717B2 (en) | 2019-01-15 |
| JPWO2016132617A1 (ja) | 2017-11-24 |
| EP3261055A1 (en) | 2017-12-27 |
| WO2016132617A1 (ja) | 2016-08-25 |
| US20170262055A1 (en) | 2017-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6722272B2 (ja) | 凝視情報を使用するユーザの識別および／または認証 | |
| JP6762380B2 (ja) | 身分認証方法および装置 | |
| Li et al. | Whose move is it anyway? Authenticating smart wearable devices using unique head movement patterns | |
| González-Ortega et al. | A Kinect-based system for cognitive rehabilitation exercises monitoring | |
| US10678897B2 (en) | Identification, authentication, and/or guiding of a user using gaze information | |
| Aung et al. | The automatic detection of chronic pain-related expression: requirements, challenges and the multimodal EmoPain dataset | |
| JP6648751B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US20080104415A1 (en) | Multivariate Dynamic Biometrics System | |
| KR101950797B1 (ko) | 다중 생체 데이터를 이용한 비접촉식 다중 생체 인식 방법 및 다중 생체 인식 장치 | |
| TW202013254A (zh) | 基於眼動追蹤的密碼驗證方法及相關裝置 | |
| KR20120060978A (ko) | 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법 | |
| KR101745774B1 (ko) | 안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템 | |
| JP6674683B2 (ja) | 認証処理装置及び認証処理方法 | |
| CN109634407A (zh) | 一种基于多模人机传感信息同步采集与融合的控制方法 | |
| CN106778172A (zh) | 一种身份认证方法 | |
| Heravian et al. | Implementation of eye tracking in an IoT-based smart home for spinal cord injury patients | |
| JP2012529331A (ja) | 生体認証のためのシステム及び方法 | |
| CN112527103A (zh) | 显示设备的遥控方法、装置、设备及计算机可读存储介质 | |
| CN113836970A (zh) | 身份验证方法、装置、存储介质和电子设备 | |
| Alrawili et al. | Comprehensive survey: Biometric user authentication application, evaluation, and discussion | |
| KR20160045371A (ko) | 생체 정보를 이용한 사용자 인증 방법 | |
| KR102558210B1 (ko) | 생체 인식 기술을 활용한 사용자 식별, 인증 및 암호화 장치 및 그의 동작 방법 | |
| Alrawili et al. | COMPREHENSIVE SURVEY: BIOMETRIC USER AUTHENTICATION APPLICATION, EVALUATION, AND | |
| KR20230018860A (ko) | 신체비율을 이용하여 운전자 인증을 수행하는 장치 | |
| Rahman | Photoplethysmographic Sensor-Based Non-intrusive and Secure Smart Sensing and Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181002 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181002 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191230 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6648751 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |