JP5964190B2 - 端末装置 - Google Patents

端末装置 Download PDF

Info

Publication number
JP5964190B2
JP5964190B2 JP2012214573A JP2012214573A JP5964190B2 JP 5964190 B2 JP5964190 B2 JP 5964190B2 JP 2012214573 A JP2012214573 A JP 2012214573A JP 2012214573 A JP2012214573 A JP 2012214573A JP 5964190 B2 JP5964190 B2 JP 5964190B2
Authority
JP
Japan
Prior art keywords
user
image
face image
terminal device
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012214573A
Other languages
English (en)
Other versions
JP2014071476A (ja
Inventor
昌義 中尾
昌義 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2012214573A priority Critical patent/JP5964190B2/ja
Priority to PCT/JP2013/076017 priority patent/WO2014050949A1/ja
Publication of JP2014071476A publication Critical patent/JP2014071476A/ja
Priority to US14/671,736 priority patent/US9801068B2/en
Application granted granted Critical
Publication of JP5964190B2 publication Critical patent/JP5964190B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08—Access security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Description

本発明は、端末装置に関し、たとえば、携帯電話などの携帯型の端末装置に関する。
従来から、顔認識によってロックを解除する装置が知られている。
たとえば、特許文献１（特開２０１０−２５７０６０号公報）の認証システムでは、携帯電話機（１ａ）は、ユーザの顔画像に関する認証用情報を予め記憶する記憶部（１４）と、自機の所定の状態を検知する筐体状態監視部（１１）と、アプリケーション監視部（１２）と、所定の状態が検知されたことを契機として、ユーザに通知することなくユーザの顔画像を取得する取得部（１３）とを備える。この携帯電話機（１ａ）は、さらに、取得された顔画像と記憶部（１４）に記憶されている認証用情報とを照合し、両者が一致するか否かを判定する判定部（１５）と、判定部（１５）による判定前は所定のアプリケーションのロックを解除しており、顔画像と認証用情報とが一致すると判定された場合にはその解除状態を維持し、そうでない場合には所定の機能をロックする機能制御部（１６）とを備える。
特開２０１０−２５７０６０号公報
しかしながら、ロック解除後に、Ｅメールアプリケーションやブラウザアプリケーションを起動したい場合には、タッチパネルでアプリケーションを選択するなどの操作が必要であった。そのため、ユーザは、ロック解除後、すぐに所望のアプリケーションを操作することができなかった。
それゆえに、顔認識によるロック解除後、ユーザに煩雑な操作をさせることなく、ユーザの所望のアプリケーションを起動することができる端末装置が求められている。
本発明のある局面の端末装置は、表示部と、ユーザの顔画像と正規ユーザの顔画像である登録画像とを照合し、かつユーザの顔画像からユーザの視線を検出する画像処理部と、ユーザの顔画像と登録画像の照合が視線以外で一致した場合に、ユーザの認証が成功したものと判断し、ユーザの視線方向に応じたアプリケーションを起動、または予め定められた画面を表示部に表示する制御部とを備える。
好ましくは、制御部は、ユーザの顔画像と登録画像の照合が視線以外で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除する。
好ましくは、表示部は、１以上の選択項目を表示する、制御部は、ユーザの視線方向に表示された選択項目で選択されるアプリケーションを起動する。
好ましくは、制御部は、ユーザの視線方向に選択項目がない場合には、予め定められた画面を表示部に表示する。
好ましくは、予め定められた画面は、待ち受け画面である。
好ましくは、表示部は、１以上の選択項目を表示する。端末装置は、正規ユーザの顔画像である登録画像を１個保持する記憶部を備える。画像処理部は、ユーザの顔画像と１個の登録画像とを両目以外で照合し、かつユーザの顔画像からユーザの視線を検出する。制御部は、ユーザの顔画像と１個の登録画像との照合が両目以外で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除し、制御部は、検出したユーザの視線に応じたアプリケーションを起動する。
好ましくは、選択項目は複数個ある。端末装置は、各々が、対応する選択項目にユーザが視線を向けたときの正規ユーザの顔画像である登録画像を複数個保持する記憶部を備える。画像処理部は、ユーザの顔画像と、複数個の登録画像とを照合する。制御部は、ユーザの顔画像と１つの登録画像の照合が一致した場合に、登録画像に対応する選択項目で選択されるアプリケーションを起動する。
好ましくは、制御部は、ユーザの顔画像と１つの登録画像との照合が両目以外で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除する。制御部は、ユーザの顔画像と１つの登録画像の照合が両目も含めて一致した場合に、登録画像に対応する選択項目で選択されるアプリケーションを起動する。
本発明の端末装置によれば、顔認識によるロック解除後、ユーザに煩雑な操作をさせることなく、ユーザの所望のアプリケーションを起動することができる。
実施の形態の端末装置の構成を表わす図である。 ユーザの顔画像の例を表わす図である ユーザの視線によるアプリケーションの起動の例を表わす図である。 第１の実施形態の端末装置によるロック解除兼アプリ起動動作の手順を表わすフローチャートである。 第１の実施形態の変形例の端末装置によるロック解除兼アプリ起動動作の手順を表わすフローチャートである。 第２の実施形態の端末装置によるロック解除兼アプリ起動動作の手順を表わすフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。
［第１の実施形態］
図１は、実施の形態の端末装置の構成を表わす図である。
図１を参照して、この端末装置１は、携帯電話などの携帯型の端末装置であって、アンテナ９と、無線通信部１１と、カメラ７と、操作入力部５と、登録画像記憶部３と、画像処理部２と、制御部４と、表示部６と、タイマ８を備える。
無線通信部１１は、アンテナ９を通じて、無線基地局との間でデータ、制御信号などを送受信する。
カメラ７は、ユーザの顔画像を撮影する。
操作入力部５は、タッチパネルで構成され、ユーザからの操作入力を受け付ける。
表示部６は、液晶ディスプレイであって、アプリケーションを選択するための１以上の選択項目を表示する。
登録画像記憶部３は、正規ユーザの顔画像である登録画像を１つ記憶する。
タイマ８は、制限時間内にユーザの認証が成功するかを管理するために設けられる。
画像処理部２は、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像とを視線を表わす両目以外で照合する。
図２は、ユーザの顔画像の例を表わす図である。ユーザの顔画像において、両目の領域１０ａ，１０ｂは、視線を表わす瞳孔や反射光を受ける領域が含まれるので、両目の領域を除いて、登録画像と一致するか否かが照合される。
画像処理部２は、照合が一致した場合に、ユーザの顔画像からユーザの視線を検出する。
制御部４は、ユーザの顔画像と登録画像の照合が視線を表わす両目以外で一致した場合に、ユーザの認証が成功したと判断して、操作入力部５からのユーザの操作入力の受付を拒否するロック状態を解除する。
制御部４は、ユーザの認証が成功した場合に、検出されたユーザの視線方向に応じたアプリケーションを起動、または予め定められた画面を表示部６に表示する。より具体的には、制御部４は、検出されたユーザの視線方向に表示された選択項目に対応するアプリケーションを起動する。制御部４は、検出されたユーザの視線方向に選択項目がない場合には、予め定められた画面（たとえば、待ち受け画面）を表示部６に表示する。
図３は、ユーザの視線によるアプリケーションの起動の例を表わす図である。
ユーザの認証の成功後、ユーザの視線方向に、サーチを実行するアプリケーションの選択項目が表示されているので、サーチが実行される。
図４は、第１の実施形態の端末装置によるロック解除兼アプリ起動動作の手順を表わすフローチャートである。
図４を参照して、ユーザが電源ボタンを押下げた場合に（ステップＳ１０１でＹＥＳ）、制御部４は、タイマ８を起動する（ステップＳ１０２）。ここで、電源ボタンの押下を契機としたのは、ユーザが端末装置を使用しようとするとき、まずは電源ボタンを押下して、消灯している表示部６を点灯させると考えられるからである。よって、端末装置によっては、電源ボタンに限らず、他のハードキーの押下を契機にタイマ８が起動されてよい。また、アラームや着信などのイベントや割り込み処理を契機に表示部６を点灯させ、タイマ８を起動してもよい。その場合、タイマ８は、イベントや割り込み処理が完了するまでタイムオーバしないものであってもよい。
画像処理部２は、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像（つまり、正規ユーザの顔画像）とが視線を表わす両目以外で一致するか否かを照合する（ステップＳ１０３）。
制御部４は、照合結果が一致した場合には（ステップＳ１０４でＹＥＳ）、ユーザ認証が成功したものと判断して、ユーザの操作入力の受付けを拒否するロックを解除する（ステップＳ１０５）。
さらに、画像処理部２は、カメラ７で撮影されたユーザの顔画像からユーザの視線方向を検出する（ステップＳ１０６）。
制御部４は、ユーザの視線方向に表示部６に表示されたアプリケーションの選択項目が存在する場合には（ステップＳ１０７でＹＥＳ）、ユーザの視線方向の選択項目で選択されるアプリケーションを起動する（ステップＳ１０８）。
制御部４は、ユーザの視線方向に表示部６に表示されたアプリケーションの選択項目が存在しない場合には（ステップＳ１０７でＮＯ）、待ち受け画面を表示する（ステップＳ１０９）。
一方、タイマ８が起動された（ステップＳ１０２）後、照合結果が一致せず（ステップＳ１０４でＮＯ）、タイマ８がタイムオーバした場合には（ステップＳ１１０でＹＥＳ）、制御部４は、ユーザ認証が成功しない旨を表示部６に表示し、電源をオフにする（ステップＳ１１１）。なお、ユーザ認証が成功しない旨は、表示されなくてもよい。
以上のように、本実施の形態によれば、顔認識によるロック解除後、ユーザの視線方向に表示されたアプリケーションを起動するので、ユーザに煩雑な操作させることなく、ユーザの所望のアプリケーションを起動することができる。
なお、図４のフローチャートに示すロック解除兼アプリ起動動作の手順においては、制御部４は、ステップＳ１０４において照合結果が一致した場合に、ユーザ認証が成功したものと判断して、ユーザの操作入力の受付けを拒否するロックを解除する（ステップＳ１０５）。これに代えて、ステップＳ１０４において照合結果が一致した場合に、ユーザの視線方向を検出し（ステップＳ１０６）、その後、その照合結果に基づいてロックを解除してもよい。
すなわち、制御部４は、ユーザの視線方向を検出し、ユーザの視線方向に表示部６に表示されたアプリケーションの選択項目が存在する場合に、ロックを解除するとともに、ユーザの視線方向の選択項目で選択されるアプリケーションを起動してもよい。一方、ユーザの視線方向に表示部６に表示されたアプリケーションの選択項目が存在しない場合には、制御部４は、ロック解除とともに、待ち受け画面を表示してもよい。
また、図４のフローチャートでは、タイマ８が起動された（ステップＳ１０２）後、照合結果が一致せず（ステップＳ１０４でＮＯ）、タイマ８がタイムオーバした場合には（ステップＳ１１０でＹＥＳ）、電源をオフにする（ステップＳ１１１）。しかし、ユーザの設定によっては、例えば、眼鏡をかける又は顔に怪我をする等して顔認識がうまくいかない場合に備えて、別の方法でロックを解除できるようにしてもよい。別の方法とは、例えば、画面をタップして、暗証番号を入力する画面を表示させ、パスワードを入力する方法である。
図５は、上記別の方法を考慮したときの、第１の実施形態の端末装置によるロック解除兼アプリ起動動作の手順を表わすフローチャートである。
図５に示すように、照合結果が一致しない場合（ステップＳ１０４でＮＯ）、画面がタップされたか否かを検出する。画面がタップされた場合（ステップＳ３０１でＹＥＳ）、制御部４は、暗証番号を入力する入力ボックスを表示部６に表示する。入力ボックスに暗証番号が入力されると（ステップＳ３０２でＹＥＳ）、ロックを解除し、待ち受け画面を表示する。
画面がタップされず（ステップＳ３０１でＮＯ）、タイマ８がタイムオーバした場合には（ステップＳ１１０でＹＥＳ）、制御部４は、ユーザ認証が成功しない旨を表示部６に表示し、電源をオフにする（ステップＳ１１１）。
なお、図５に示す例では、暗証番号を入力するための画面を表示させる操作をタップ操作としたが、これに限らず、フリック操作若しくはダブルタップ操作等の他の操作であってもよい。また、ユーザが、顔認証に限らず、暗証番号入力によるロック解除も可能とする設定とした場合、タイマ８による時間管理をしない設定としてもよい。
［第２の実施形態］
第２の実施形態では、正規ユーザの視線ごとに登録画像を用意しておき、これらの登録画像と、撮影されたユーザの顔画像と照合することによって、ユーザの認証と視線の検出とを行なう。
登録画像記憶部３は、複数個の登録画像を記憶する。各登録画像は、対応する選択項目にユーザが視線を向けたときの正規ユーザの顔画像である。
画像処理部２は、カメラ７で撮影されたユーザの顔画像と、複数個の登録画像とを照合する。
制御部４は、ユーザの顔画像と、１つの特定または任意の登録画像との照合が両目以外で一致した場合に、ユーザの認証が成功したと判断して、操作入力部５からのユーザの操作入力の受付を拒否するロック状態を解除する。
制御部４は、ユーザの認証が成功した場合に、ユーザの顔画像とある１つの登録画像の照合が両目も含めて一致した場合に、その登録画像に対応する選択項目で選択されるアプリケーションを起動する。制御部４は、ユーザの認証が成功した場合に、ユーザの顔画像と両目も含めた照合が一致するような登録画像が登録画像記憶部３に存在しない場合に、予め定められた画面、（たとえば、待ち受け画面）を表示部６に表示する。
図６は、第２の実施形態の端末装置によるロック解除兼アプリ起動動作の手順を表わすフローチャートである。
図６を参照して、ユーザが電源ボタンを押下げた場合に（ステップＳ１０１でＹＥＳ）、制御部４は、タイマ８を起動する（ステップＳ１０２）。
画像処理部２は、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像＃１（つまり、正規ユーザの複数の顔画像のうちの１つ）とが視線を表わす両目以外で一致するか否かを照合する（ステップＳ２０３）。
制御部４は、照合結果が一致した場合には（ステップＳ１０４でＹＥＳ）、ユーザ認証が成功したものと判断して、ユーザの操作入力の受付けを拒否するロックを解除する（ステップＳ１０５）。
さらに、画像処理部２は、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像＃１〜＃Ｎのいずれかが両目を含めて一致するか否かを照合する（ステップＳ２０６）。
制御部４は、ユーザの顔画像が、登録画像＃１〜＃Ｎのうちのいずれかと一致する場合には（ステップＳ２０７でＹＥＳ）、一致した登録画像に対応する選択項目で選択されるアプリケーシを起動する（ステップＳ２０８）。
制御部４は、ユーザの顔画像が、登録画像＃１〜＃Ｎのいずれとも一致しない場合には（ステップＳ２０７でＮＯ）、待ち受け画面を表示する（ステップＳ１０９）。
一方、タイマ８が起動された（ステップＳ１０２）後、照合結果が一致せず（ステップＳ１０４でＮＯ）、タイマ８がタイムオーバした場合には（ステップＳ１１０でＹＥＳ）、制御部４は、ユーザ認証が成功しない旨を表示部６に表示し、電源をオフにする（ステップＳ１１１）。
以上のように、本実施の形態によれば、第１の実施形態と同様に、顔認識によるロック解除後、ユーザの視線方向に表示されたアプリケーションを起動するので、ユーザに煩雑な操作させることなく、ユーザの所望のアプリケーションを起動することができる。
なお、図６のフローチャートに示すロック解除兼アプリ起動動作の手順においては、制御部４は、ステップＳ１０４において照合結果が一致した場合に、ユーザ認証が成功したものと判断して、ユーザの操作入力の受付けを拒否するロックを解除する（ステップＳ１０５）。これに代えて、ステップＳ１０４において照合結果が一致した場合に、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像＃１〜＃Ｎのいずれかが両目を含めて一致するか否かを照合し（ステップＳ２０６）、その後、その照合結果に基づいてロックを解除してもよい。
また、本実施形態によれば、画像処理部２が、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像＃１（つまり、正規ユーザの複数の顔画像のうちの１つ）とが視線を表わす両目以外で一致するか否かを照合した（ステップＳ１０４）後、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像＃１〜＃Ｎのいずれかが両目を含めて一致するか否かを照合する（ステップＳ２０６）。これに代えて、カメラ７で撮影されたユーザの顔画像と、登録画像記憶部３に記憶された登録画像＃１〜＃Ｎのいずれかが両目を含めて一致するか否かを一度に照合し、ロックの解除とともに、アプリケーションの起動又は待ち受け画面の表示を行ってもよい。
（変形例）
本発明は、上記の実施形態に限定されるものではない。たとえば、以下のような変形例も含まれる。
（１）待ち受け画面
本発明の実施形態では、ユーザの視線方向にアプリケーションの選択項目がない場合には、待ち受け画面を表示することとしたが、これに限定されるものではない。たとえば、ユーザの視線方向にアプリケーションの選択項目がなく、かつ表示画面の中央の場合に、待ち受け画面を表示することとしてもよい。
（２）端末装置
本発明は、携帯型の端末装置にのみ適用されるものではない。たとえば、入出室管理のために、扉の側に配置された端末装置に顔を向けてユーザ認証を行なうとともに、視線で空調や照明をオンにしたり、パソコンの電源をオンにしたりするようなアプリケーションを選択するようなことにも適用できる。また、アプリケーション以外にも、ＬＥＤのライトをつける、又は防犯ブザーを鳴らすなど、アプリケーション以外の何らかの機能を起動させることも可能である。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
１ 端末装置、２ 画像処理部、３ 登録画像記憶部、４ 制御部、５ 操作入力部、６ 表示部、７ カメラ、８ タイマ、９ アンテナ、１１ 無線通信部。

Claims (8)

  1. 表示部と、
    ユーザの顔画像と正規ユーザの顔画像である登録画像とを照合し、かつユーザの顔画像からユーザの視線を検出する画像処理部と、
    前記ユーザの顔画像と前記登録画像の照合が視線以外で一致した場合に、ユーザの認証が成功したものと判断し、前記ユーザの視線方向に応じたアプリケーションを起動、または予め定められた画面を前記表示部に表示する制御部とを備えた、端末装置。
  2. 前記制御部は、前記ユーザの顔画像と前記登録画像の照合が視線以外で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除する、請求項１記載の端末装置。
  3. 前記表示部は、１以上の選択項目を表示し、
    前記制御部は、前記ユーザの視線方向に表示された選択項目で選択されるアプリケーションを起動する、請求項２記載の端末装置。
  4. 前記制御部は、前記ユーザの視線方向に前記選択項目がない場合には、前記予め定められた画面を前記表示部に表示する、請求項３記載の端末装置。
  5. 前記予め定められた画面は、待ち受け画面である、請求項４記載の端末装置。
  6. 前記表示部は、１以上の選択項目を表示し、
    前記端末装置は、
    正規ユーザの顔画像である登録画像を１個保持する記憶部をさらに備え、
    前記画像処理部は、前記ユーザの顔画像と前記１個の登録画像とを両目以外で照合し、かつ前記ユーザの顔画像からユーザの視線を検出し、
    前記制御部は、前記ユーザの顔画像と前記１個の登録画像との照合が両目以外で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除し、
    前記制御部は、検出したユーザの視線に応じたアプリケーションを起動する、請求項２記載の端末装置。
  7. 前記選択項目は複数個あり、
    前記端末装置は、
    各々が、対応する選択項目にユーザが視線を向けたときの正規ユーザの顔画像である登録画像を複数個保持する記憶部をさらに備え、
    前記画像処理部は、前記ユーザの顔画像と、前記複数個の登録画像とを照合し、
    前記制御部は、前記ユーザの顔画像と１つの前記登録画像の照合が一致した場合に、前記登録画像に対応する選択項目で選択されるアプリケーションを起動する、請求項２記載の端末装置。
  8. 前記制御部は、前記ユーザの顔画像と１つの前記登録画像との照合が両目以外で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除し、
    前記制御部は、前記ユーザの顔画像と１つの前記登録画像の照合が両目も含めて一致した場合に、前記登録画像に対応する選択項目で選択されるアプリケーションを起動する、請求項７記載の端末装置。
JP2012214573A 2012-09-27 2012-09-27 端末装置 Active JP5964190B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012214573A JP5964190B2 (ja) 2012-09-27 2012-09-27 端末装置
PCT/JP2013/076017 WO2014050949A1 (ja) 2012-09-27 2013-09-26 端末装置
US14/671,736 US9801068B2 (en) 2012-09-27 2015-03-27 Terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012214573A JP5964190B2 (ja) 2012-09-27 2012-09-27 端末装置

Publications (2)

Publication Number Publication Date
JP2014071476A JP2014071476A (ja) 2014-04-21
JP5964190B2 true JP5964190B2 (ja) 2016-08-03

Family

ID=50388344

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012214573A Active JP5964190B2 (ja) 2012-09-27 2012-09-27 端末装置

Country Status (3)

Country Link
US (1) US9801068B2 (ja)
JP (1) JP5964190B2 (ja)
WO (1) WO2014050949A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288939A (zh) * 2020-12-15 2021-01-29 成都智元汇信息技术股份有限公司 一种基于人脸预采集的闸机人脸识别方法、系统、终端及存储介质

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101572768B1 (ko) 2007-09-24 2015-11-27 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US9324067B2 (en) 2014-05-29 2016-04-26 Apple Inc. User interface for payments
CN106462675B (zh) 2014-06-12 2019-09-03 麦克赛尔株式会社 信息处理装置、应用软件启动系统和应用软件启动方法
JP6067766B2 (ja) * 2015-03-18 2017-01-25 Kddi株式会社 携帯端末、認証方法及びプログラム
CN105631275B (zh) * 2015-04-15 2018-12-25 宇龙计算机通信科技(深圳)有限公司 信息显示方法、信息显示装置和终端
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
CN108401070B (zh) * 2016-08-31 2021-04-23 安溪钟泰专利技术转移有限公司 一种手机及解绑提醒方法
US9842330B1 (en) 2016-09-06 2017-12-12 Apple Inc. User interfaces for stored-value accounts
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
JP6322271B2 (ja) * 2016-12-21 2018-05-09 Kddi株式会社 携帯端末、認証方法及びプログラム
KR20230144661A (ko) 2017-05-16 2023-10-16 애플 인크. 이모지 레코딩 및 전송
DK179867B1 (en) 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
EP3757728A1 (en) * 2017-05-16 2020-12-30 Apple Inc. Image data for enhanced user interactions
JP6450803B2 (ja) * 2017-05-25 2019-01-09 マクセル株式会社 情報処理装置、アプリケーションソフトウェア起動システム及びアプリケーションソフトウェア起動方法
EP4155988A1 (en) 2017-09-09 2023-03-29 Apple Inc. Implementation of biometric authentication for performing a respective function
CN109829281A (zh) * 2017-09-09 2019-05-31 苹果公司 生物识别认证的实现
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
JP2018136973A (ja) * 2018-04-06 2018-08-30 Kddi株式会社 携帯端末、認証方法及びプログラム
DK201870380A1 (en) 2018-05-07 2020-01-29 Apple Inc. DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
JP7073937B2 (ja) * 2018-06-25 2022-05-24 京セラドキュメントソリューションズ株式会社 パスワード認証装置
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
CN111023486A (zh) * 2018-10-09 2020-04-17 珠海格力电器股份有限公司 一种控制方法及空调线控器
CN109741503A (zh) * 2019-01-14 2019-05-10 深圳市豪力士智能科技有限公司 基于人脸识别的智能门锁及其控制方法
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
CN111310249B (zh) * 2020-01-19 2022-01-28 维沃移动通信有限公司 信息显示方法及电子设备
US20230196829A1 (en) * 2020-03-30 2023-06-22 Nec Corporation Authentication management device, authentication management method, and recording medium
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
JP7347477B2 (ja) 2021-08-23 2023-09-20 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
WO2023075412A1 (ko) * 2021-10-26 2023-05-04 삼성전자 주식회사 전자 장치 및 전자 장치에서 생체 인식을 이용한 사용자 인터페이스 방법

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960002841B1 (ko) * 1993-03-03 1996-02-26 엘지전자주식회사 리모콘 위치 검출 장치
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US20030059124A1 (en) * 1999-04-16 2003-03-27 Viisage Technology, Inc. Real-time facial recognition and verification system
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
AUPS140502A0 (en) * 2002-03-27 2002-05-09 Seeing Machines Pty Ltd Method for automatic detection of facial features
US7978184B2 (en) * 2002-11-08 2011-07-12 American Greetings Corporation Interactive window display
JP4296008B2 (ja) * 2003-03-04 2009-07-15 日本信号株式会社 個人認証システム
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
JP4057501B2 (ja) * 2003-10-03 2008-03-05 東芝ソシオシステムズ株式会社 認証システム及びコンピュータ読み取り可能な記憶媒体
EP1691670B1 (en) * 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
US20060209013A1 (en) * 2005-03-17 2006-09-21 Mr. Dirk Fengels Method of controlling a machine connected to a display by line of vision
JP2006293909A (ja) * 2005-04-14 2006-10-26 Denso Corp 運転者の視線方向検出装置
US20060262140A1 (en) * 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
US20070071288A1 (en) * 2005-09-29 2007-03-29 Quen-Zong Wu Facial features based human face recognition method
JP2007156768A (ja) * 2005-12-05 2007-06-21 Oki Electric Ind Co Ltd 個人認証装置，個人認証情報登録装置，個人認証方法，個人認証情報登録方法，およびコンピュータプログラム
US7643659B2 (en) * 2005-12-31 2010-01-05 Arcsoft, Inc. Facial feature detection on mobile devices
US7953253B2 (en) * 2005-12-31 2011-05-31 Arcsoft, Inc. Face detection on mobile devices
KR101309176B1 (ko) * 2006-01-18 2013-09-23 삼성전자주식회사 증강 현실 장치 및 방법
JP4862447B2 (ja) * 2006-03-23 2012-01-25 沖電気工業株式会社 顔認識システム
JPWO2007119818A1 (ja) * 2006-04-14 2009-08-27 日本電気株式会社 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
WO2008126323A1 (ja) * 2007-03-30 2008-10-23 Pioneer Corporation 遠隔制御システム及び遠隔制御システムの制御方法
US8676273B1 (en) * 2007-08-24 2014-03-18 Iwao Fujisaki Communication device
US8639214B1 (en) * 2007-10-26 2014-01-28 Iwao Fujisaki Communication device
JP5160293B2 (ja) * 2008-04-23 2013-03-13 ソニーモバイルコミュニケーションズ， エービー 携帯端末、その表示制御方法および表示制御プログラム
US8312660B1 (en) * 2008-05-09 2012-11-20 Iwao Fujisaki Firearm
US8644565B2 (en) * 2008-07-23 2014-02-04 Indiana University Research And Technology Corp. System and method for non-cooperative iris image acquisition
US8230075B1 (en) * 2008-11-15 2012-07-24 Adobe Systems Incorporated Method and device for identifying devices which can be targeted for the purpose of establishing a communication session
US20100287500A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
KR20100064177A (ko) * 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
JP5244580B2 (ja) * 2008-12-25 2013-07-24 京セラドキュメントソリューションズ株式会社 電子機器
US8290208B2 (en) * 2009-01-12 2012-10-16 Eastman Kodak Company Enhanced safety during laser projection
JP2010257060A (ja) 2009-04-22 2010-11-11 Ntt Docomo Inc 認証システム及び認証方法
US8872910B1 (en) * 2009-06-04 2014-10-28 Masoud Vaziri Method and apparatus for a compact and high resolution eye-view recorder
GB0915136D0 (en) * 2009-08-28 2009-10-07 Cambridge Entpr Ltd Visual perimeter measurement system and method
KR101695809B1 (ko) * 2009-10-09 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
KR101657565B1 (ko) * 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
US9069760B2 (en) * 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
EP2431895B1 (en) * 2010-09-16 2017-07-26 LG Electronics Inc. Transparent display device and method for providing information using the same
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US8606430B2 (en) * 2010-10-08 2013-12-10 GM Global Technology Operations LLC External presentation of information on full glass display
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
US9529424B2 (en) * 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US8550903B2 (en) * 2010-11-15 2013-10-08 Bally Gaming, Inc. System and method for bonus gaming using a mobile device
EP2500814B1 (en) * 2011-03-13 2019-05-08 LG Electronics Inc. Transparent display apparatus and method for operating the same
CN103890695B (zh) * 2011-08-11 2017-10-13 视力移动技术有限公司 基于手势的接口系统和方法
US9245193B2 (en) * 2011-08-19 2016-01-26 Qualcomm Incorporated Dynamic selection of surfaces in real world for projection of information thereon
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
WO2013058728A1 (en) * 2011-10-17 2013-04-25 Nuance Communications, Inc. Speech signal enhancement using visual information
US9524436B2 (en) * 2011-12-06 2016-12-20 Microsoft Technology Licensing, Llc Augmented reality camera registration
CN104011766B (zh) * 2011-12-20 2017-08-11 惠普发展公司，有限责任合伙企业 基于用户位置的图像数据变换
GB2511973A (en) * 2011-12-27 2014-09-17 Hewlett Packard Development Co User interface device
US9595137B2 (en) * 2012-04-26 2017-03-14 Intel Corporation Augmented reality computing device, apparatus and system
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288939A (zh) * 2020-12-15 2021-01-29 成都智元汇信息技术股份有限公司 一种基于人脸预采集的闸机人脸识别方法、系统、终端及存储介质

Also Published As

Publication number Publication date
US9801068B2 (en) 2017-10-24
WO2014050949A1 (ja) 2014-04-03
US20150208244A1 (en) 2015-07-23
JP2014071476A (ja) 2014-04-21

Similar Documents

Publication Publication Date Title
JP5964190B2 (ja) 端末装置
US11461446B2 (en) Information processing device, application software start-up system, and application software start-up method
US11093731B2 (en) Analysis of reflections of projected light in varying colors, brightness, patterns, and sequences for liveness detection in biometric systems
CN110807178B (zh) 一种车辆授权管理方法、装置、终端及服务器
US9286482B1 (en) Privacy control based on user recognition
US20170053149A1 (en) Method and apparatus for fingerprint identification
US9183683B2 (en) Method and system for access to secure resources
KR20200062284A (ko) 차량 및 차량 도어 잠금 해제 제어 방법, 장치 및 차량 도어 잠금 해제 시스템
US20130067566A1 (en) Device to perform authentication according to surrounding information and method for performing authentication
US20210014222A1 (en) System and apparatus for biometric identification of a unique user and authorization of the unique user
KR101944965B1 (ko) 얼굴인식 및 생체인증 보안카드를 이용한 사용자 인증 시스템 및 방법
US20140118520A1 (en) Seamless authorized access to an electronic device
US11367312B2 (en) Face authentication apparatus
US20190357048A1 (en) Authentication management method, information processing apparatus, wearable device, and computer program
CN108550210B (zh) 控制车辆解除锁定状态的方法和装置
WO2007029710A1 (ja) 携帯処理装置
JP2006259925A (ja) 被写体認証装置、携帯電話、被写体認証方法、及び被写体認証プログラム
US20150143538A1 (en) Portable Eye-Controlled Device, Verification Device and Method, Computer Readable Recording Medium and Computer Program Product
WO2020093612A1 (zh) 一种基于智能手环的打卡方法、系统及计算机设备
CN108319836A (zh) 基于指纹识别执行处理的方法和装置
KR101576557B1 (ko) 모바일 단말기용 지문인식 해킹방지 장치 및 지문 해킹방지용 표면부재와 그 지문해킹 방지방법
CN106066763B (zh) 终端解锁方法及装置
JP2013161261A (ja) 情報処理端末、その認証制御方法、及び認証制御プログラム
US20170124857A1 (en) Wearable control device, control system and method for controlling controlled appliance
CN106126986A (zh) 加锁数据分区的解锁处理方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160629

R150 Certificate of patent or registration of utility model

Ref document number: 5964190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150