WO2014050949A1 - 端末装置 - Google Patents

端末装置 Download PDF

Info

Publication number
WO2014050949A1
WO2014050949A1 PCT/JP2013/076017 JP2013076017W WO2014050949A1 WO 2014050949 A1 WO2014050949 A1 WO 2014050949A1 JP 2013076017 W JP2013076017 W JP 2013076017W WO 2014050949 A1 WO2014050949 A1 WO 2014050949A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
image
terminal
sight
line
Prior art date
Application number
PCT/JP2013/076017
Other languages
English (en)
French (fr)
Inventor
昌義 中尾
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012214573A priority Critical patent/JP5964190B2/ja
Priority to JP2012-214573 priority
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Publication of WO2014050949A1 publication Critical patent/WO2014050949A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements, e.g. access security or fraud detection; Authentication, e.g. verifying user identity or authorisation; Protecting privacy or anonymity ; Protecting confidentiality; Key management; Integrity; Mobile application security; Using identity modules; Secure pairing of devices; Context aware security; Lawful interception
    • H04W12/08Access security
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object or an image, setting a parameter value or selecting a range
    • G06F3/04842Selection of a displayed object
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00228Detection; Localisation; Normalisation
    • G06K9/00255Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00288Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00597Acquiring or recognising eyes, e.g. iris verification
    • G06K9/00604Acquisition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for supporting authentication of entities communicating through a packet data network
    • H04L63/0861Network architectures or network communication protocols for network security for supporting authentication of entities communicating through a packet data network using biometrical features, e.g. fingerprint, retina-scan
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/12Network-specific arrangements or communication protocols supporting networked applications adapted for proprietary or special purpose networking environments, e.g. medical networks, sensor networks, networks in a car or remote metering networks
    • H04L67/125Network-specific arrangements or communication protocols supporting networked applications adapted for proprietary or special purpose networking environments, e.g. medical networks, sensor networks, networks in a car or remote metering networks involving the control of end-device applications over a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00228Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00268Feature extraction; Face representation
    • G06K9/00281Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/2054Selective acquisition/locating/processing of specific regions, e.g. highlighted text, fiducial marks, predetermined fields, document type identification
    • G06K9/2081Selective acquisition/locating/processing of specific regions, e.g. highlighted text, fiducial marks, predetermined fields, document type identification based on user interaction

Abstract

 画像処理部(2)は、ユーザの顔画像と正規ユーザの顔画像である登録画像とを照合し、かつユーザの顔画像からユーザの視線を検出する。制御部(4)は、ユーザの顔画像と登録画像の照合が視線以外で一致した場合に、ユーザの認証が成功したものと判断し、ユーザの視線方向に応じたアプリケーションを起動、または予め定められた画面を表示部(6)に表示する。

Description

端末装置

 本発明は、端末装置に関し、たとえば、携帯電話などの携帯型の端末装置に関する。

 従来から、顔認識によってロックを解除する装置が知られている。
 たとえば、ある認証システムでは、携帯電話機は、ユーザの顔画像に関する認証用情報を予め記憶する記憶部と、自機の所定の状態を検知する筐体状態監視部と、アプリケーション監視部と、所定の状態が検知されたことを契機として、ユーザに通知することなくユーザの顔画像を取得する取得部とを備える。この携帯電話機は、さらに、取得された顔画像と記憶部に記憶されている認証用情報とを照合し、両者が一致するか否かを判定する判定部と、判定部による判定前は所定のアプリケーションのロックを解除しており、顔画像と認証用情報とが一致すると判定された場合にはその解除状態を維持し、そうでない場合には所定の機能をロックする機能制御部とを備える。

 しかしながら、ロック解除後に、Eメールアプリケーションやブラウザアプリケーションを起動したい場合には、タッチパネルでアプリケーションを選択するなどの操作が必要であった。そのため、ユーザは、ロック解除後、すぐに所望のアプリケーションを操作することができなかった。

 それゆえに、顔認識によるロック解除後、ユーザに煩雑な操作をさせることなく、ユーザの所望のアプリケーションを起動することができる端末装置が求められている。

 本発明のある局面の端末装置は、表示部と、ユーザの顔画像と正規ユーザの顔画像である登録画像とを照合し、かつユーザの顔画像からユーザの視線を検出する画像処理部と、ユーザの顔画像と登録画像の照合が視線以外の部分で一致した場合に、ユーザの認証が成功したものと判断し、ユーザの視線方向に応じたアプリケーションを起動、または予め定められた画面を表示部に表示する制御部とを備える。

 本発明の一態様による端末装置によれば、顔認識によるロック解除後、ユーザに煩雑な操作をさせることなく、ユーザの所望のアプリケーションを起動することができる。

実施の形態の端末装置の構成を表わす図である。 ユーザの顔画像の例を表わす図である ユーザの視線によるアプリケーションの起動の例を表わす図である。 第1の実施形態の端末装置によるロック解除兼アプリケーション起動動作の手順を表わすフローチャートである。 第1の実施形態の変形例の端末装置によるロック解除兼アプリケーション起動動作の手順を表わすフローチャートである。 第2の実施形態の端末装置によるロック解除兼アプリケーション起動動作の手順を表わすフローチャートである。

 以下、本発明の実施形態について、図面を用いて説明する。
 [第1の実施形態]
 図1は、実施の形態の端末装置の構成を表わす図である。

 図1を参照して、この端末装置1は、携帯電話などの携帯型の端末装置である。端末装置1は、アンテナ9と、無線通信部11と、カメラ7と、操作入力部5と、登録画像記憶部3と、画像処理部2と、制御部4と、表示部6と、タイマ8を備える。

 無線通信部11は、アンテナ9を通じて、無線基地局との間でデータ、制御信号などを送受信する。

 カメラ7は、ユーザの顔画像を撮影する。
 操作入力部5は、タッチパネルで構成され、ユーザからの操作入力を受け付ける。

 表示部6は、液晶ディスプレイであって、アプリケーションを選択するための1以上の選択項目を表示する。

 登録画像記憶部3は、正規ユーザの顔画像である登録画像を1つ記憶する。
 タイマ8は、制限時間内にユーザの認証が成功するかを管理するために設けられる。

 画像処理部2は、カメラ7で撮影されたユーザの顔画像と、登録画像記憶部3に記憶された登録画像とを視線を表わす両目以外の部分で照合する。

 図2は、ユーザの顔画像の例を表わす図である。ユーザの顔画像において、両目の領域10a,10bは、視線を表わす瞳孔や反射光を受ける領域が含まれるので、両目の領域を除いて、登録画像と一致するか否かが照合される。

 画像処理部2は、照合が一致した場合に、ユーザの顔画像からユーザの視線を検出する。

 制御部4は、ユーザの顔画像と登録画像の照合が視線を表わす両目以外の部分で一致した場合に、ユーザの認証が成功したと判断して、操作入力部5からのユーザの操作入力の受付を拒否するロック状態を解除する。

 制御部4は、ユーザの認証が成功した場合に、検出されたユーザの視線方向に応じたアプリケーションを起動する、または予め定められた画面を表示部6に表示する。より具体的には、制御部4は、検出されたユーザの視線方向に表示された選択項目で選択されるアプリケーションを起動する。制御部4は、検出されたユーザの視線方向に選択項目がない場合には、予め定められた画面(たとえば、待ち受け画面)を表示部6に表示する。

 図3は、ユーザの視線によるアプリケーションの起動の例を表わす図である。
 ユーザの認証の成功後、ユーザの視線方向に、サーチを実行するアプリケーションの選択項目が表示されているので、サーチが実行される。

 図4は、第1の実施形態の端末装置によるロック解除兼アプリケーション起動動作の手順を表わすフローチャートである。

 図4を参照して、ユーザが電源ボタンを押下げた場合に(ステップS101でYES)、制御部4は、タイマ8を起動する(ステップS102)。ここで、電源ボタンの押下を契機としたのは、ユーザが端末装置を使用しようとするとき、まずは電源ボタンを押下して、消灯している表示部6を点灯させると考えられるからである。よって、端末装置によっては、電源ボタンに限らず、他のハードキーの押下を契機にタイマ8が起動されてもよい。また、アラームや着信などのイベントや割り込み処理を契機に表示部6を点灯させ、タイマ8を起動してもよい。その場合、タイマ8は、イベントや割り込み処理が完了するまでタイムオーバしないものであってもよい。

 画像処理部2は、カメラ7で撮影されたユーザの顔画像と、登録画像記憶部3に記憶された登録画像(つまり、正規ユーザの顔画像)とが視線を表わす両目以外の部分で一致するか否かを照合する(ステップS103)。

 制御部4は、照合結果が一致した場合には(ステップS104でYES)、ユーザ認証が成功したものと判断して、ユーザの操作入力の受付けを拒否するロックを解除する(ステップS105)。

 さらに、画像処理部2は、カメラ7で撮影されたユーザの顔画像からユーザの視線方向を検出する(ステップS106)。

 制御部4は、ユーザの視線方向に表示部6に表示されたアプリケーションの選択項目が存在する場合には(ステップS107でYES)、ユーザの視線方向の選択項目で選択されるアプリケーションを起動する(ステップS108)。

 制御部4は、ユーザの視線方向に表示部6に表示されたアプリケーションの選択項目が存在しない場合には(ステップS107でNO)、待ち受け画面を表示する(ステップS109)。

 一方、タイマ8が起動された(ステップS102)後、照合結果が一致せず(ステップS104でNO)、タイマ8がタイムオーバした場合には(ステップS110でYES)、制御部4は、ユーザ認証が成功しない旨を表示部6に表示し、電源をオフにする(ステップS111)。なお、ユーザ認証が成功しない旨は、表示されなくてもよい。

 以上のように、本実施の形態によれば、顔認識によるロック解除後、ユーザの視線方向に表示されたアプリケーションを起動するので、ユーザに煩雑な操作をさせることなく、ユーザの所望のアプリケーションを起動することができる。

 なお、図4のフローチャートに示すロック解除兼アプリケーション起動動作の手順において、制御部4は、ステップS104において照合結果が一致した場合に、ユーザ認証が成功したものと判断して、ユーザの操作入力の受付けを拒否するロックを解除する(ステップS105)。これに代えて、ステップS104において、制御部4は、照合結果が一致した場合に、ユーザの視線方向を検出し(ステップS106)、その後、その照合結果に基づいてロックを解除してもよい。

 すなわち、制御部4は、ユーザの視線方向を検出し、ユーザの視線方向に表示部6に表示されたアプリケーションの選択項目が存在する場合に、ロックを解除するとともに、ユーザの視線方向の選択項目で選択されるアプリケーションを起動してもよい。一方、ユーザの視線方向に表示部6に表示されたアプリケーションの選択項目が存在しない場合には、制御部4は、ロック解除とともに、待ち受け画面を表示してもよい。

 また、図4のフローチャートでは、タイマ8が起動された(ステップS102)後、照合結果が一致せず(ステップS104でNO)、タイマ8がタイムオーバした場合には(ステップS110でYES)、制御部4は、電源をオフにする(ステップS111)。しかし、例えば、ユーザが眼鏡をかける又は顔に怪我をする等して顔認識がうまくいかない場合に備えて、ユーザの設定によって、別の方法でロックを解除できるようにしてもよい。別の方法とは、例えば、制御部4が、画面をタップして、暗証番号を入力する画面を表示し、ユーザにパスワードを入力させる方法である。

 図5は、上記別の方法を考慮したときの、第1の実施形態の端末装置によるロック解除兼アプリ起動動作の手順を表わすフローチャートである。

 図5に示すように、照合結果が一致しない場合(ステップS104でNO)、制御部4が、画面がタップされたか否かを検出する。画面がタップされた場合(ステップS301でYES)、制御部4は、暗証番号を入力する入力ボックスを表示部6に表示する。制御部4は、入力ボックスに暗証番号が入力されると(ステップS302でYES)、ロックを解除し、待ち受け画面を表示する。

 画面がタップされず(ステップS301でNO)、タイマ8がタイムオーバした場合には(ステップS110でYES)、制御部4は、ユーザ認証が成功しない旨を表示部6に
表示し、電源をオフにする(ステップS111)。

 なお、図5に示す例では、暗証番号を入力するための画面を表示させる操作をタップ操作としたが、これに限らず、フリック操作若しくはダブルタップ操作等の他の操作であってもよい。また、ユーザが、顔認証に限らず、暗証番号入力によるロック解除も可能とする設定とした場合、タイマ8による時間管理をしない設定としてもよい。

 [第2の実施形態]
 第2の実施形態では、正規ユーザの視線ごとに登録画像を用意しておき、これらの登録画像と、撮影されたユーザの顔画像と照合することによって、ユーザの認証と視線の検出とを行なう。

 登録画像記憶部3は、複数個の登録画像を記憶する。各登録画像は、対応する選択項目にユーザが視線を向けたときの正規ユーザの顔画像である。

 画像処理部2は、カメラ7で撮影されたユーザの顔画像と、複数個の登録画像とを照合する。

 制御部4は、ユーザの顔画像と、1つの特定の登録画像または任意の登録画像との照合が両目以外の部分で一致した場合に、ユーザの認証が成功したと判断して、操作入力部5からのユーザの操作入力の受付を拒否するロック状態を解除する。

 制御部4は、ユーザの認証が成功した場合に、ユーザの顔画像とある1つの登録画像の照合が両目も含めて一致した場合に、その登録画像に対応する選択項目で選択されるアプリケーションを起動する。制御部4は、ユーザの認証が成功した場合に、ユーザの顔画像と両目も含めた照合が一致するような登録画像が登録画像記憶部3に存在しない場合に、予め定められた画面、(たとえば、待ち受け画面)を表示部6に表示する。

 図6は、第2の実施形態の端末装置によるロック解除兼アプリケーション起動動作の手順を表わすフローチャートである。

 図6を参照して、ユーザが電源ボタンを押下げた場合に(ステップS101でYES)、制御部4は、タイマ8を起動する(ステップS102)。

 画像処理部2は、カメラ7で撮影されたユーザの顔画像と、登録画像記憶部3に記憶された登録画像#1(つまり、正規ユーザの複数の顔画像のうちの1つ)とが視線を表わす両目以外の部分で一致するか否かを照合する(ステップS203)。

 制御部4は、照合結果が一致した場合には(ステップS104でYES)、ユーザ認証が成功したものと判断して、ユーザの操作入力の受付けを拒否するロックを解除する(ステップS105)。

 さらに、画像処理部2は、カメラ7で撮影されたユーザの顔画像と、登録画像記憶部3に記憶された登録画像#1~#Nのいずれかが両目を含めて一致するか否かを照合する(ステップS206)。

 制御部4は、ユーザの顔画像が、登録画像#1~#Nのうちのいずれかと一致する場合には(ステップS207でYES)、一致した登録画像に対応する選択項目で選択されるアプリケーションを起動する(ステップS208)。

 制御部4は、ユーザの顔画像が、登録画像#1~#Nのいずれとも一致しない場合には(ステップS207でNO)、待ち受け画面を表示する(ステップS109)。

 一方、タイマ8が起動された(ステップS102)後、照合結果が一致せず(ステップS104でNO)、タイマ8がタイムオーバした場合には(ステップS110でYES)、制御部4は、ユーザ認証が成功しない旨を表示部6に表示し、電源をオフにする(ステップS111)。

 以上のように、本実施の形態によれば、第1の実施形態と同様に、顔認識によるロック解除後、ユーザの視線方向に表示されたアプリケーションを起動するので、ユーザに煩雑な操作させることなく、ユーザの所望のアプリケーションを起動することができる。

 なお、図6のフローチャートに示すロック解除兼アプリケーション起動動作の手順においては、制御部4は、ステップS104において照合結果が一致した場合に、ユーザ認証が成功したものと判断して、ユーザの操作入力の受付けを拒否するロックを解除する(ステップS105)。これに代えて、ステップS104において照合結果が一致した場合に、制御部4は、カメラ7で撮影されたユーザの顔画像と、登録画像記憶部3に記憶された登録画像#1~#Nのいずれかが両目を含めて一致するか否かを照合し(ステップS206)、その後、その照合結果に基づいてロックを解除してもよい。

 また、本実施の形態によれば、画像処理部2が、カメラ7で撮影されたユーザの顔画像と、登録画像記憶部3に記憶された登録画像#1(つまり、正規ユーザの複数の顔画像のうちの1つ)とが視線を表わす両目以外の部分で一致するか否かを照合した(ステップS104)後、カメラ7で撮影されたユーザの顔画像と、登録画像記憶部3に記憶された登録画像#1~#Nのいずれかが両目を含めて一致するか否かを照合する(ステップS206)。これに代えて、画像処理部2が、カメラ7で撮影されたユーザの顔画像と、登録画像記憶部3に記憶された登録画像#1~#Nのいずれかが両目を含めて一致するか否かを一度に照合し、制御部4が、ロックの解除とともに、アプリケーションの起動又は待ち受け画面の表示を行ってもよい。

 (変形例)
 本発明は、上記の実施形態に限定されるものではない。たとえば、以下のような変形例も含まれる。

 (1)待ち受け画面
 本発明の実施形態では、ユーザの視線方向にアプリケーションの選択項目がない場合には、待ち受け画面を表示することとしたが、これに限定されるものではない。たとえば、ユーザの視線方向にアプリケーションの選択項目がなく、かつユーザの視線方向が表示画面の中央の場合に、待ち受け画面を表示することとしてもよい。

 (2)端末装置
 本発明は、携帯型の端末装置にのみ適用されるものではない。たとえば、入出室管理のために、扉の側に配置された端末装置に顔を向けてユーザ認証を行なうとともに、視線で空調や照明をオンにしたり、パソコンの電源をオンにしたりするようなアプリケーションを選択するようなことにも適用できる。また、アプリケーション以外にも、LEDのライトをつける、又は防犯ブザーを鳴らすなど、アプリケーション以外の何らかの機能を起動させることも可能である。

 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

 1 端末装置、2 画像処理部、3 登録画像記憶部、4 制御部、5 操作入力部、6 表示部、7 カメラ、8 タイマ、9 アンテナ、11 無線通信部。

Claims (8)

  1.  表示部と、
     ユーザの顔画像と正規ユーザの顔画像である登録画像とを照合し、かつユーザの顔画像からユーザの視線を検出する画像処理部と、
     前記ユーザの顔画像と前記登録画像の照合が視線以外で一致した場合に、ユーザの認証が成功したものと判断し、前記ユーザの視線方向に応じたアプリケーションを起動、または予め定められた画面を前記表示部に表示する制御部とを備えた、端末装置。
  2.  前記制御部は、前記ユーザの顔画像と前記登録画像の照合が視線以外の部分で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除する、請求項1記載の端末装置。
  3.  前記表示部は、1個以上の選択項目を表示し、
     前記制御部は、前記ユーザの視線方向に表示された選択項目で選択されるアプリケーションを起動する、請求項2記載の端末装置。
  4.  前記制御部は、前記ユーザの視線方向に前記選択項目がない場合には、前記予め定められた画面を前記表示部に表示する、請求項3記載の端末装置。
  5.  前記予め定められた画面は、待ち受け画面である、請求項4記載の端末装置。
  6.  前記表示部は、1個以上の選択項目を表示し、
     前記端末装置は、
     正規ユーザの顔画像である登録画像を1個保持する記憶部をさらに備え、
     前記画像処理部は、前記ユーザの顔画像と前記1個の登録画像とを両目以外の部分で照合し、かつ前記ユーザの顔画像からユーザの視線を検出し、
     前記制御部は、前記ユーザの顔画像と前記1個の登録画像との照合が両目以外の部分で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除し、
     前記制御部は、検出したユーザの視線に応じたアプリケーションを起動する、請求項2記載の端末装置。
  7.  前記選択項目は複数個あり、
     前記端末装置は、
     各々が、対応する選択項目にユーザが視線を向けたときの正規ユーザの顔画像である登録画像を複数個保持する記憶部をさらに備え、
     前記画像処理部は、前記ユーザの顔画像と、前記複数個の登録画像とを照合し、
     前記制御部は、前記ユーザの顔画像と1つの前記登録画像の照合が一致した場合に、前記登録画像に対応する選択項目で選択されるアプリケーションを起動する、請求項3記載の端末装置。
  8.  前記制御部は、前記ユーザの顔画像と1つの前記登録画像との照合が両目以外の部分で一致した場合に、ユーザの操作入力の受付を拒否するロック状態を解除し、
     前記制御部は、前記ユーザの顔画像と1つの前記登録画像の照合が両目も含めて一致した場合に、前記登録画像に対応する選択項目で選択されるアプリケーションを起動する、請求項7記載の端末装置。
PCT/JP2013/076017 2012-09-27 2013-09-26 端末装置 WO2014050949A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012214573A JP5964190B2 (ja) 2012-09-27 2012-09-27 端末装置
JP2012-214573 2012-09-27

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/671,736 US9801068B2 (en) 2012-09-27 2015-03-27 Terminal device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/671,736 Continuation US9801068B2 (en) 2012-09-27 2015-03-27 Terminal device

Publications (1)

Publication Number Publication Date
WO2014050949A1 true WO2014050949A1 (ja) 2014-04-03

Family

ID=50388344

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/076017 WO2014050949A1 (ja) 2012-09-27 2013-09-26 端末装置

Country Status (3)

Country Link
US (1) US9801068B2 (ja)
JP (1) JP5964190B2 (ja)
WO (1) WO2014050949A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016165161A1 (zh) * 2015-04-15 2016-10-20 宇龙计算机通信科技(深圳)有限公司 信息显示方法、信息显示装置和终端

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
US10423769B2 (en) 2014-06-12 2019-09-24 Maxell, Ltd. Information processing device, application software start-up system, and application software start-up method
JP6067766B2 (ja) * 2015-03-18 2017-01-25 Kddi株式会社 携帯端末、認証方法及びプログラム
DK179186B1 (da) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
CN107231629B (zh) * 2016-08-31 2018-02-06 上海净邻网络科技有限公司 移动互联网应用的账户与手机号码解绑提醒系统和方法
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
JP6322271B2 (ja) * 2016-12-21 2018-05-09 Kddi株式会社 携帯端末、認証方法及びプログラム
AU2018270420A1 (en) * 2017-05-16 2019-12-05 Apple Inc. Image data for enhanced user interactions
JP2020520030A (ja) 2017-05-16 2020-07-02 アップル インコーポレイテッドApple Inc. 絵文字の記録及び送信
DK179867B1 (da) 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
JP6450803B2 (ja) * 2017-05-25 2019-01-09 マクセル株式会社 情報処理装置、アプリケーションソフトウェア起動システム及びアプリケーションソフトウェア起動方法
EP3598341A1 (en) * 2017-09-09 2020-01-22 Apple Inc. Implementation of biometric authentication using a viewfinder
KR102143148B1 (ko) 2017-09-09 2020-08-10 애플 인크. 생체측정 인증의 구현
KR20200136504A (ko) 2017-09-09 2020-12-07 애플 인크. 생체측정 인증의 구현
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
JP2020003853A (ja) * 2018-06-25 2020-01-09 京セラドキュメントソリューションズ株式会社 パスワード認証装置
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
CN111023486A (zh) * 2018-10-09 2020-04-17 珠海格力电器股份有限公司 一种控制方法及空调线控器
CN109741503A (zh) * 2019-01-14 2019-05-10 深圳市豪力士智能科技有限公司 基于人脸识别的智能门锁及其控制方法
US20200302517A1 (en) 2019-03-24 2020-09-24 Apple Inc. User interfaces for managing an account
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
JP2004265353A (ja) * 2003-03-04 2004-09-24 Nippon Signal Co Ltd:The 個人認証システム
JP2007156768A (ja) * 2005-12-05 2007-06-21 Oki Electric Ind Co Ltd 個人認証装置,個人認証情報登録装置,個人認証方法,個人認証情報登録方法,およびコンピュータプログラム
WO2007119818A1 (ja) * 2006-04-14 2007-10-25 Nec Corporation 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
JP4057501B2 (ja) * 2003-10-03 2008-03-05 東芝ソシオシステムズ株式会社 認証システム及びコンピュータ読み取り可能な記憶媒体

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960002841B1 (ko) * 1993-03-03 1996-02-26 엘지전자주식회사 리모콘 위치 검출 장치
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US20030059124A1 (en) * 1999-04-16 2003-03-27 Viisage Technology, Inc. Real-time facial recognition and verification system
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
AUPS140502A0 (en) * 2002-03-27 2002-05-09 Seeing Machines Pty Ltd Method for automatic detection of facial features
US7978184B2 (en) * 2002-11-08 2011-07-12 American Greetings Corporation Interactive window display
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
WO2005046465A1 (en) * 2003-11-14 2005-05-26 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
US20060209013A1 (en) * 2005-03-17 2006-09-21 Mr. Dirk Fengels Method of controlling a machine connected to a display by line of vision
JP2006293909A (ja) * 2005-04-14 2006-10-26 Denso Corp 運転者の視線方向検出装置
US20060262140A1 (en) * 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
US20070071288A1 (en) * 2005-09-29 2007-03-29 Quen-Zong Wu Facial features based human face recognition method
US7953253B2 (en) * 2005-12-31 2011-05-31 Arcsoft, Inc. Face detection on mobile devices
US7643659B2 (en) * 2005-12-31 2010-01-05 Arcsoft, Inc. Facial feature detection on mobile devices
KR101309176B1 (ko) * 2006-01-18 2013-09-23 삼성전자주식회사 증강 현실 장치 및 방법
JP4862447B2 (ja) * 2006-03-23 2012-01-25 沖電気工業株式会社 顔認識システム
US8269663B2 (en) * 2007-03-30 2012-09-18 Pioneer Corporation Remote control system and method of controlling the remote control system
US8676273B1 (en) * 2007-08-24 2014-03-18 Iwao Fujisaki Communication device
US8639214B1 (en) * 2007-10-26 2014-01-28 Iwao Fujisaki Communication device
JP5160293B2 (ja) * 2008-04-23 2013-03-13 ソニーモバイルコミュニケーションズ, エービー 携帯端末、その表示制御方法および表示制御プログラム
US8312660B1 (en) * 2008-05-09 2012-11-20 Iwao Fujisaki Firearm
WO2010011785A1 (en) * 2008-07-23 2010-01-28 Indiana University Research & Technology Corporation System and method for a non-cooperative iris image acquisition system
US8230075B1 (en) * 2008-11-15 2012-07-24 Adobe Systems Incorporated Method and device for identifying devices which can be targeted for the purpose of establishing a communication session
US20100287500A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
KR20100064177A (ko) * 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
JP5244580B2 (ja) * 2008-12-25 2013-07-24 京セラドキュメントソリューションズ株式会社 電子機器
US8290208B2 (en) * 2009-01-12 2012-10-16 Eastman Kodak Company Enhanced safety during laser projection
JP2010257060A (ja) 2009-04-22 2010-11-11 Ntt Docomo Inc 認証システム及び認証方法
US8872910B1 (en) * 2009-06-04 2014-10-28 Masoud Vaziri Method and apparatus for a compact and high resolution eye-view recorder
GB0915136D0 (en) * 2009-08-28 2009-10-07 Cambridge Entpr Ltd Visual perimeter measurement system and method
KR101695809B1 (ko) * 2009-10-09 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
KR101657565B1 (ko) * 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
US9069760B2 (en) * 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
EP2431895B1 (en) * 2010-09-16 2017-07-26 LG Electronics Inc. Transparent display device and method for providing information using the same
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US8606430B2 (en) * 2010-10-08 2013-12-10 GM Global Technology Operations LLC External presentation of information on full glass display
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
US9529424B2 (en) * 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US8550903B2 (en) * 2010-11-15 2013-10-08 Bally Gaming, Inc. System and method for bonus gaming using a mobile device
EP2500814B1 (en) * 2011-03-13 2019-05-08 LG Electronics Inc. Transparent display apparatus and method for operating the same
CN103890695B (zh) * 2011-08-11 2017-10-13 视力移动技术有限公司 基于手势的接口系统和方法
US9245193B2 (en) * 2011-08-19 2016-01-26 Qualcomm Incorporated Dynamic selection of surfaces in real world for projection of information thereon
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
WO2013058728A1 (en) * 2011-10-17 2013-04-25 Nuance Communications, Inc. Speech signal enhancement using visual information
US9524436B2 (en) * 2011-12-06 2016-12-20 Microsoft Technology Licensing, Llc Augmented reality camera registration
US9691125B2 (en) * 2011-12-20 2017-06-27 Hewlett-Packard Development Company L.P. Transformation of image data based on user position
CN104040461A (zh) * 2011-12-27 2014-09-10 惠普发展公司,有限责任合伙企业 用户界面设备
CN104204994B (zh) * 2012-04-26 2018-06-05 英特尔公司 增强现实计算装置、设备和系统
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260773A (ja) * 1997-03-19 1998-09-29 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法及びその装置
JP2004265353A (ja) * 2003-03-04 2004-09-24 Nippon Signal Co Ltd:The 個人認証システム
JP4057501B2 (ja) * 2003-10-03 2008-03-05 東芝ソシオシステムズ株式会社 認証システム及びコンピュータ読み取り可能な記憶媒体
JP2007156768A (ja) * 2005-12-05 2007-06-21 Oki Electric Ind Co Ltd 個人認証装置,個人認証情報登録装置,個人認証方法,個人認証情報登録方法,およびコンピュータプログラム
WO2007119818A1 (ja) * 2006-04-14 2007-10-25 Nec Corporation 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016165161A1 (zh) * 2015-04-15 2016-10-20 宇龙计算机通信科技(深圳)有限公司 信息显示方法、信息显示装置和终端

Also Published As

Publication number Publication date
JP5964190B2 (ja) 2016-08-03
JP2014071476A (ja) 2014-04-21
US20150208244A1 (en) 2015-07-23
US9801068B2 (en) 2017-10-24

Similar Documents

Publication Publication Date Title
US10600269B2 (en) Electronic access control system
US9426432B2 (en) Remote interactive identity verification of lodging guests
KR101782070B1 (ko) 스마트 장치, 단말 및 서버를 제어하기 위한 방법
EP3073708B1 (en) A method and a terminal for controlling a smart home device
US10503925B1 (en) System and method for concealing sensitive data on a computing device
US10187364B2 (en) Wearable user device for use in a user authentication system
CN104866750B (zh) 应用启动方法和装置
CN105144670B (zh) 启用无线联网的个人标识系统
RU2663828C2 (ru) Способ и устройство для предупреждения
US9032510B2 (en) Gesture- and expression-based authentication
KR101554068B1 (ko) 사용자 인증 디바이스 및 사용자 인증 방법
US8447273B1 (en) Hand-held user-aware security device
US8723643B2 (en) Method and computer program product of switching locked state of electronic device
TWI543012B (zh) 一種移動終端的身份驗證方法和移動終端
US20170372298A1 (en) Method and apparatus for activating virtual card
CN104850771B (zh) 一种身份确认方法及相关设备
EP3086296B1 (en) Mobile terminal
KR100961286B1 (ko) 휴대 정보 단말 장치
US20150113616A1 (en) Mobile device-based authentication with enhanced security measures
US10062224B2 (en) Dual access level security system and method
KR101820734B1 (ko) 모바일 단말기를 위한 동적 잠금 해제 방법 및 장치
JP4086740B2 (ja) 端末利用者監視システム
US10818118B2 (en) Remote application for controlling access
CN103838992B (zh) 一种指纹识别方法及终端
US20160119787A1 (en) Mobile terminal and control method for the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13842358

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13842358

Country of ref document: EP

Kind code of ref document: A1