WO2016013249A1 - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- WO2016013249A1 WO2016013249A1 PCT/JP2015/057740 JP2015057740W WO2016013249A1 WO 2016013249 A1 WO2016013249 A1 WO 2016013249A1 JP 2015057740 W JP2015057740 W JP 2015057740W WO 2016013249 A1 WO2016013249 A1 WO 2016013249A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- face
- user
- unit
- identification data
- registered user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
- G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
Definitions
- the captured image display unit 128 displays the captured image acquired by the image acquisition unit 106 in a part of the small window area 202 of the user selection screen.
- This display image is a live image of the camera 7, and a message “Looking for registered face” is displayed near the small window area 202.
- This message is displayed during the face authentication process by the face authentication unit 132. Therefore, when the face authentication process ends, the message display is turned off. That is, in the state shown in FIG. 5A, while the user selection screen is displayed, in the background, the face data reading unit 130 reads the face identification data of all registered users from the registered user information holding unit 180, It is confirmed by the face authentication unit 132 whether a user who registered the face image exists in the captured image.
- the process determining unit 124 determines the login process 1 as a login process to be executed, and the login processing unit 134 Process 1 is executed so that the user D who has not registered the face image can log in smoothly.
- the face authentication unit 132 sets a face area indicating a position in the captured image of the face of the user A (online ID: HANAKO) and a face area indicating a position in the captured image of the face of the user B (online ID: SACHIKO). Then, the login processing unit 134 displays the face frame 210 for the registered user based on the position coordinates of each face area and the information specifying the captured registered user.
- the login processing unit 134 logs in the user A to the information processing apparatus 10 by recognizing that the input device 6 that is lit in blue is detected in the area designated by the position designation image 212a displayed for the user A. Let The login processing unit 134 stores login information, that is, information for identifying the user A (user account), information for identifying the input device 6a used by the user A (game controller ID), and a captured image in the login user storage unit 136. Is stored in association with information (blue light emission information) for identifying the input device 6a included in.
- FIG. 7B shows a login screen in which the user puts a face in the face frame.
- a state in which the user A moves his / her face and body so that the face enters the face frame 222a displayed on the output device 4 is shown.
- the face authentication unit 132 monitors whether or not a person's face is in the face frame 222, and when a face is included, the face identification data read from the registered user information holding unit 180 by the face data reading unit 130. Is used to determine whether the face in the face frame 222 belongs to the registered user.
- the information processing apparatus 10 is a stationary game apparatus, and the distance between the camera 7 and the user is usually about several meters away. For this reason, when a registered user logs in by face authentication, the registered user's face may not face the camera 7 in many cases. Even in such a case, the face authentication unit 132 may capture an image. It is preferable that it can be determined that the user included in the image is a registered user. That is, even if the face of the registered user included in the captured image is slightly tilted or the face orientation is deviated from the optical axis direction of the camera 7, the face authentication unit 132 can perform face authentication processing immediately in this state. It is preferable.
- the face data generation unit 150 generates face identification data when the user's face is rotated and registers the data in the registered user information holding unit 180, and the face authentication unit 132 determines that the registered user's face is the camera 7.
- the face authentication process can be suitably executed not only when the camera faces the camera 7 but also when the face is tilted with respect to the camera 7 or the face is deviated from the optical axis direction of the camera 7. .
- the user can log in to the information processing apparatus 10 promptly without having to face the camera 7 at the time of login by the login processes 2 and 3.
- the guidance display unit 154 displays a face registration start screen on the output device 4.
- the registration processing unit 156 identifies and holds the user account of the user.
- the registration processing unit 156 later stores the face identification data in the registered user information holding unit 180, the registration processing unit 156 registers the face identification data in association with the user account. If the user creates a new user account and the camera 7 is connected to the information processing apparatus 10 at that time, the guidance display unit 154 may display the face registration start screen on the output apparatus 4. .
- the input reception unit 104 receives the determination operation, and the captured image display unit 128 displays the captured image acquired by the image acquisition unit 106 on the output device 4.
- the live image captured by the camera 7 is displayed on the output device 4, and the user in front of the output device 4 is displayed on the output device 4.
- the user sees the guidance screen shown in FIG. 11 and knows that three types of face rotation operations will be performed.
- the input reception unit 104 receives the determination operation.
- FIG. 13 shows a flowchart of face image re-registration processing 1.
- the face data reading unit 130 reads the face identification data of all registered users from the registered user information holding unit 180 (S10).
- S10 registered user information holding unit 180
- the damage determination unit 142 can detect not only a state where the face identification data is completely damaged, but also a state where the reliability of the face identification data is expected to be reduced. Further, even when the face data reading unit 130 cannot open or read the user's face identification data file, the damage determination unit 142 may determine whether the face identification data is damaged.
- the registration processing unit 156 may add a code such as a checksum to the face file when generating the face file of the face identification data. Thereby, the damage determination unit 142 can easily determine whether or not the face identification data is damaged by referring to the checksum of the face file read by the face data reading unit 130.
- the registration processing unit 156 may add a time stamp indicating the generation date and time to the face identification data when generating the face identification data. Thereby, the damage determination unit 142 compares the generation date and time indicated by the time stamp with the current date and time, and if the generation date and time is in the future than the current date and time, it can determine that the face identification data is damaged. .
- the damage determination unit 142 determines whether or not each user's face identification data is damaged when the face data reading unit 130 reads the face identification data. As described above, the damage determination unit 142 determines that damage has occurred even when it is determined that the reliability of the face identification data is lowered for some reason.
- the face data reading unit 130 creates a face authentication list for the face authentication unit 132 to use for face recognition (S14). At this time, the determination result by the damage determination unit 142 is also inserted into the list.
- information of four users A, B, C, and D is registered in the registered user information holding unit 180 as registered users.
- the initial data is data that has a score with a remarkably low degree of coincidence with the face image by the face recognition process.
- FIG. 14 shows an example of the face authentication list.
- the face authentication list 260 includes authentication data for all the users A to D, and is created according to the reading status of the face file by the face data reading unit 130.
- the item “face data” is data used as a comparison target in the face recognition process by the face authentication unit 132
- the item “damage determination” indicates a damage determination result by the damage determination unit 142.
- the item “presence / absence of face registration” indicates whether or not the user has performed face registration processing.
- the users A, B, and C are the users who registered the face images. Therefore, the information indicating that the users A, B, and C have registered the face images is the information that the user D registered the face images. Is included in each field of “registration / non-registration of face”.
- the presence / absence of face registration may be expressed by a flag value.
- the damage determination unit 142 determines that the face identification data of the user C has been damaged, information indicating that there is damage is input in the “damage determination” field of the user C. .
- the damage determination unit 142 determines that the face identification data of the users A, B, and D is normal, information indicating no damage is input in the “damage determination” fields of the users A, B, and D. Is done. The presence or absence of breakage may be expressed by a flag value.
- the face data reading unit 130 inputs initial data or link information to the initial data in the item “face data” of the user C.
- the face authentication unit 132 operates to compare the face identification data of all registered users with the captured face image data. However, when the face identification data of the user C is damaged, The face data reading unit 130 registers the comparable initial data in the face authentication list 260 as the user C face identification data.
- the face data deletion unit 146 does not delete the damaged face file from the registered user information holding unit 180. Even when the user operates the cancel button during the face registration process and the face data re-registration process 1 is not completed, the face data deletion unit 146 deletes the damaged face file from the registered user information holding unit 180. Do not delete. Therefore, if the re-registration process 1 is not executed, the damaged face file of the user C remains in the registered user information holding unit 180.
- the face data deletion unit 146 can also delete the user C's face identification data. However, if the user C cancels the face data re-registration process 1 and does not re-register the face image, the damaged face identification data is left in the registered user information holding unit 180. However, there is an advantage that the notification unit 144 can present the notification screen shown in FIG. Therefore, the face data deletion unit 146 deletes the damaged face file when the re-registration process 1 is completed and the face identification data is re-registered. The timing of this deletion is the same in the re-registration process 2 below.
- Face image re-registration process 2 In the face image re-registration process 2, before the login processing unit 134 logs in the registered user, the notification unit 144 identifies that the face identification data is damaged, and identifies the user whose face identification data is damaged. Notification with information to be performed. The corresponding user C can recognize that the face image registration process is necessary again by seeing the damage notification of his / her face identification data on the login screen.
- the notification unit 144 If the user selection reception unit 148 does not accept the selection operation of the damage notification message 270 at the timing when the notification unit 144 first notifies the damage notification message 270, the notification unit 144 notifies the next damage notification message 270.
- the timing may be after a predetermined period has elapsed (for example, after one week has elapsed).
- the notification unit 144 may notify the breakage notification message 270 on the login screen displayed after a predetermined period of time, instead of notifying the damage notification message 270 every time the login screen is displayed.
- the face authentication unit 132 derives the degree of coincidence between the feature amount data of the face image included in the captured image and the face identification data read from the registered user information holding unit 180, and the degree of coincidence is 90 points. If so, the face authentication unit 132 determines that the imaged user is a registered user. At this time, when there are a plurality of items whose degree of coincidence exceeds 90 points, the face authentication unit 132 determines that the imaged user is a registered user of face identification data from which the highest score is derived.
- the face authentication unit 132 determines the brother's face identification data as follows: It may happen that the younger brother is authenticated as an older brother by evaluating the younger brother's face image with a high degree of coincidence. If the younger brother's face identification data is registered at this time, the younger brother's face image shows a higher degree of coincidence with the younger brother's face identification data. Can be properly determined to be a younger brother. In this way, in order to reduce the possibility of misidentification by the face authentication unit 132, all registered users register face images, and the face authentication unit 132 uses the face identification data of each user and the captured face image. It is important to be able to derive the degree of agreement with.
- the face data processing unit 140 may prompt a face data registration process when the following conditions are satisfied. If the camera 7 is connected to the information processing apparatus 10, after the user creates a new user account, the user is automatically provided with a face registration start screen (see FIG. 8A). The If the user operates the cancel button (return button) on the start screen for face registration, or operates the cancel button during face registration, face data is not registered. If the condition is satisfied, face data registration processing is recommended.
- the notification unit 144 For a face image unregistered user who satisfies condition 1 and condition 2, the notification unit 144 generates a notification screen that prompts the user to register the face image.
- FIG. 18 shows an example of a notification screen prompting registration of a face image.
- the notification unit 144 notifies the user of a message that prompts the user to register the face image.
- the notification unit 144 provides the user D with the login after the user D logs in. Present a notification screen.
- the face data generation unit 150 executes the face registration process described with reference to FIGS.
- the face registration process is not executed.
- Information indicating that the user D skips the face registration process on the notification screen is registered in the registered user information holding unit 180.
- the operation of the skip button on the notification screen means that although the user D is erroneously recognized as another user, he still does not want to register the face data. Even if D satisfies Condition 1 and Condition 2, the notification screen is not presented to the user D with reference to the information indicating that the face registration process has been skipped on the notification screen.
- Condition 3 The login screen for face authentication was not presented to the logged-in user (has not been recognized) or the login screen for face authentication was presented. That you logged in as a user (that was misrecognized) Condition 3 means that the user who has registered the face image has not been recognized by the login processing unit 134 as the person himself or has been recognized as another person.
- the notification unit 144 For a registered user of a face image that satisfies condition 3, the notification unit 144 generates a notification screen that prompts additional registration of the face image.
- FIG. 19 shows an example of a notification screen that prompts additional registration of a face image.
- the notification unit 144 notifies the user of a message that prompts the user to additionally register a facial image.
- the registration processing unit 156 updates the face identification data so far, and regenerates the face identification data with a higher degree of matching with the current face image.
- the user B registers the face image, but when the user B is a user who satisfies the condition 3, the notification unit 144 displays a notification screen for the user B after the user B logs in. Present.
- the face data generation unit 150 executes the face registration process described with reference to FIGS.
- the face registration process is not executed.
- Information indicating that the user B skips the face registration process on the notification screen is registered in the registered user information holding unit 180.
- the operation of the skip button on the notification screen means that the user B is not recognized as the person himself or is mistakenly recognized as another user, but still does not want to register additional facial data.
- the notification unit 144 refers to the information indicating that the face registration process has been skipped on the notification screen, and does not present the notification screen to the user B.
- DESCRIPTION OF SYMBOLS 1 ... Information processing system, 6 ... Input device, 7 ... Camera, 10 ... Information processing device, 85 ... Light emission part, 100 ... Processing part, 102 ... Communication part, 104: input receiving unit 106: image acquiring unit 108: microphone 120: login control unit 122: emission color determining unit 124: process determining unit 126 Selection image display unit 128... Captured image display unit 130... Face data reading unit 132 132 face authentication unit 134... Login processing unit 136. ... face data processing unit, 142 ... damage determination unit, 144 ... notification unit, 146 ... face data deletion unit, 148 ... user selection reception unit, 150 ... face data generation unit, 152 ... face frame display section, 154 ... guidance display section, 15 ... registration processing unit, 180 ... registered user information holding unit.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
[上面部の構成]
図2(a)は、入力装置上面の外観構成を示す。ユーザは左手で左側把持部78bを把持し、右手で右側把持部78aを把持して、入力装置6を操作する。入力装置6の筐体上面には、入力部である方向キー71、アナログスティック77a、77bと、4種の操作ボタン76が設けられている。4種のボタン72~75には、それぞれを区別するために、異なる色で異なる図形が記されている。すなわち、○ボタン72には赤色の丸、×ボタン73には青色のバツ、□ボタン74には紫色の四角形、△ボタン75には緑色の三角形が記されている。筐体上面上において、方向キー71と操作ボタン76の間の平坦な領域には、タッチパッド79が設けられる。タッチパッド79は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。
図2(b)は、入力装置奥側側面の外観構成を示す。入力装置6の筐体奥側側面の上側には、タッチパッド79が筐体上面から延設されており、筐体奥側側面の下側には、横長の発光部85が設けられる。発光部85は、赤(R)、緑(G)、青(B)のLEDを有し、情報処理装置10から送信される発光色情報にしたがって点灯する。図1に示すように、2台の入力装置6a、6bが使用されている場合、情報処理装置10は、ユーザA、Bが各入力装置6を区別できるように、入力装置6a、6bの発光部85の点灯色を異なる色、それぞれ青、赤と定めてよい。これにより各ユーザは、自分が使用している入力装置6を発光部85の点灯色によって認識できるため、入力装置6を取り違える可能性が低減される。
ログイン処理1は、情報処理装置10が出力装置4にユーザ選択画面を表示し、ユーザがユーザ選択画面において、入力装置6を利用して自分のアイコンを選択し、ログイン用パスコードを入力することで、情報処理装置10がユーザ認証を行い、ユーザをログインさせる処理である。ログイン処理1は、ユーザ選択画面を利用した従来型のログイン処理である。
<ログイン処理2>
ログイン処理2は、情報処理装置10がカメラ7の撮像画像を利用してユーザの顔認証を行い、検出された顔画像が登録ユーザの顔であることを判定した場合に、その登録ユーザに対して、ディスプレイに映し出されているカメラ画像内で入力装置6を動かすべき位置を指定し、ユーザが入力装置6を指定領域に動かすことによってユーザ認証を行い、ユーザをログインさせる処理である。
<ログイン処理3>
ログイン処理3は、情報処理装置10がカメラ7の撮像画像を利用してユーザの顔認証を行い、検出された顔画像が登録ユーザの顔であることを判定した場合に、その登録ユーザに対して、ディスプレイに映し出されているカメラ画像内で顔を動かすべき位置を指定し、ユーザが顔を指定領域に動かすことによってユーザ認証を行い、ユーザをログインさせる処理である。
ログイン処理1は、ユーザが入力装置6からログイン要求を情報処理装置10に送信した場合であって、ユーザの顔画像が情報処理装置10に登録されていない場合に実行され、一方でログイン処理2は、ユーザが入力装置6からログイン要求を情報処理装置10に送信した場合であって、ユーザの顔画像が情報処理装置10に登録されている場合に実行される。ログイン処理1と2とを比較すると、ログイン処理2の方が、ユーザ選択画面で自分を選択する必要がないため、ユーザにとって簡易なログイン操作であると言える。
ゲームをプレイする際、ユーザが入力装置6を操作することが一般的であるが、近年では、ユーザの動きをゲームキャラクタの動きに反映するゲームも登場している。ユーザのジェスチャーを利用したゲームでは、そもそもユーザが入力装置6を用いないため、ユーザが情報処理装置10のOSにログインする際にも、入力装置6を用いずにユーザ認証が行われることが好ましい。
そのため、ログイン処理3は、ユーザが入力装置6からログイン要求を情報処理装置10に送信するのではなく、たとえば情報処理装置10が電源オフの状態で、ユーザがメイン電源ボタン20を押下したときに実行されるようにする。なおログイン処理3において、カメラ画像中で登録ユーザの顔画像が検出できない場合には、入力装置6を利用したログイン処理1に移行し、ユーザは入力装置6を操作して選択画面から自分のアイコンを選択する。
<ログイン処理1>
ユーザが入力装置6の所定のボタン(たとえば機能ボタン80)を押下すると、その押下情報が情報処理装置10に送信される。情報処理装置10において、通信部102が押下情報を接続要求として受け付けて、入力装置6と通信部102とを接続する。なお情報処理装置10のメイン電源がオフとなっている場合には、機能ボタン80の押下情報により情報処理装置10のメイン電源がオンとなった後、通信部102が入力装置6と接続する。また機能ボタン80の押下情報は入力受付部104に伝達され、入力受付部104は、この押下情報を、ユーザからのログイン要求として受け付け、処理部100に伝える。
<ログイン処理2>
上記したように、ユーザが入力装置6を操作してログイン要求を生成した場合、顔認証部132が、撮像画像中に、顔画像を登録したユーザが存在しないことを判定すると、ログイン処理1が実行される。一方で、ユーザが入力装置6を操作してログイン要求を生成した場合に、顔認証部132が、撮像画像中に、まだログインしていない顔画像を登録したユーザが存在することを判定すると、処理決定部124が、ログイン処理2を、実行するべきログイン処理として決定する。
続いて、ログイン処理3について説明する。ログイン処理3では、ユーザは入力装置6を使用せずにログインする。
ユーザが情報処理装置10のメイン電源ボタン20を押下すると、情報処理装置10のメイン電源がオンとなり、入力受付部104がメイン電源の押下情報を、ユーザからのログイン要求として受け付ける。
ログイン処理3において、この顔認証処理は、第1段階の顔認証と位置づけられる。
まず1つめは、ロール(roll)回転動作であり、これは前後を軸にした回転動作である。ロール回転動作では、ユーザは顔をカメラ7に向けたまま、首を所定角度の範囲内で左右に少なくとも1往復するように傾ける。
2つめは、ヨー(yaw)回転動作であり、これは上下を軸にした回転動作である。ヨー回転動作では、ユーザは首を所定角度の範囲内で左右に少なくとも1往復するように振る。
3つめは、ピッチ(pitch)回転動作であり、これは左右を軸にした回転動作である。ロール回転動作では、ユーザは首を所定角度の範囲内で上下に少なくとも1往復するように振る。
顔画像の再登録処理1では、ログイン制御部120が、顔認証を行わないログイン処理1により、顔データが破損した登録ユーザをログインさせた後に、顔データ処理部140が、当該ユーザに、再度の顔登録処理を行わせるようにする。
既述したように、ログイン前のユーザが入力装置6の機能ボタン80を押下し、または、ログイン前のユーザが情報処理装置10が電源オフの状態で、ユーザがメイン電源ボタン20を押下すると、顔データ読出部130が、登録ユーザ情報保持部180から、全ての登録ユーザの顔識別用データを読み出す(S10)。なお、以下においては、これからユーザCが情報処理装置10にログインしようとしており、このユーザCの顔識別用データが破損している場合について説明する。
顔データ読出部130は、顔識別用データを読み出すと、顔認証部132が顔認識に使用するための顔認証用リストを作成する(S14)。このときリストには、破損判定部142による判定結果も挿入される。
本実施例の情報処理装置10においては、4人のユーザA、B、C、Dの情報が登録ユーザとして登録ユーザ情報保持部180に登録されている。ここでユーザA、B、Cは、顔画像を登録しており、しかしながらユーザCの顔識別用データが破損しているものとする。またユーザDは、顔画像を登録しておらず、したがってユーザDの顔識別用データとしては初期データが利用される。既述したように初期データは、顔認識処理により、顔画像との一致度が著しく低いスコアとなるデータである。
顔画像の再登録処理2では、ログイン処理部134が登録ユーザをログインさせる前に、通知部144が、顔識別用データが破損していることを、その顔識別用データが破損したユーザを特定する情報とともに通知する。該当するユーザCは、ログイン画面において自身の顔識別用データの破損通知を見ることで、再度の顔画像登録処理が必要なことを認識できるようになる。
(条件2)顔認証によるログイン(つまりログイン処理2、3)をキャンセルしたこと(誤認識されたこと)
条件2は、顔画像を登録していないユーザ(たとえばユーザD)がログイン処理部134により、顔画像を登録しているユーザと誤認識された結果、ログイン処理2ないし3が起動してしまい、ユーザDが、その顔認証ログイン処理をキャンセルしたことを意味する。
図18は、顔画像の登録を促す通知画面の一例を示す。通知部144は、条件1および条件2を満たす、顔画像の未登録ユーザが存在する場合に、そのユーザに対して、顔画像の登録を促すメッセージを通知する。実施例では、ユーザDが、顔画像を登録していないが、ユーザDが、条件1および条件2を満たすユーザである場合に、通知部144は、ユーザDのログイン後に、ユーザDに対して通知画面を提示する。
条件3は、顔画像を登録しているユーザがログイン処理部134により、本人と認識されなかったこと、または、別人と認識されたことを意味する。
図19は、顔画像の追加登録を促す通知画面の一例を示す。通知部144は、条件3を満たす、顔画像の登録ユーザが存在する場合に、そのユーザに対して、顔画像の追加登録を促すメッセージを通知する。顔画像が追加登録されると、登録処理部156は、これまでの顔識別用データを更新し、現在の顔画像と、より一致度を高めた顔識別用データを再生成する。実施例では、ユーザBが、顔画像を登録しているが、ユーザBが、条件3を満たすユーザである場合に、通知部144は、ユーザBのログイン後に、ユーザBに対して通知画面を提示する。
Claims (8)
- 撮像装置から撮像画像を取得する画像取得部と、
登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、
前記登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する顔認証部と、
登録ユーザをログインさせるログイン処理部と、を備えた情報処理装置であって、
前記登録ユーザ情報保持部に保持された顔識別用データが破損しているか否かを判定する破損判定部と、
顔識別用データが破損していることが判定された場合に、顔識別用データが破損していることを通知する通知部と、をさらに備えることを特徴とする情報処理装置。 - 前記ログイン処理部は、登録ユーザが顔識別用データを前記登録ユーザ情報保持部に登録している場合には、前記顔認証部による顔画像の検出結果を用いて登録ユーザのログイン処理を行い、一方で、登録ユーザが顔識別用データを前記登録ユーザ情報保持部に登録していない場合には、前記顔認証部による顔画像の検出結果を用いずに登録ユーザのログイン処理を行うことを特徴とする請求項1に記載の情報処理装置。
- 前記破損判定部が、前記ログイン処理部がログインさせた登録ユーザの顔識別用データの破損を判定すると、前記通知部が、顔識別用データが破損していることを、ログインした登録ユーザに通知することを特徴とする請求項1または2に記載の情報処理装置。
- 前記破損判定部が、顔識別用データの破損を判定すると、前記ログイン処理部が登録ユーザをログインさせる前に、前記通知部が、顔識別用データが破損していることを、顔識別用データが破損したユーザを特定する情報とともに通知することを特徴とする請求項1または2に記載の情報処理装置。
- 前記通知部による通知の後、顔識別用データの登録処理を行う顔データ生成部をさらに備えることを特徴とする請求項1から4のいずれかに記載の情報処理装置。
- 前記顔データ生成部が、生成した顔識別用データを前記登録ユーザ情報保持部に登録する際に、破損した顔識別用データを前記登録ユーザ情報保持部から削除するデータ削除部をさらに備えることを特徴とする請求項5に記載の情報処理装置。
- コンピュータに、
撮像装置から撮像画像を取得する機能と、
登録ユーザ情報保持部に保持された登録ユーザの顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する機能と、
登録ユーザをログインさせる機能と、
登録ユーザ情報保持部に保持された顔識別用データが破損しているか否かを判定する機能と、
顔識別用データが破損していることが判定された場合に、顔識別用データが破損していることを通知する機能と、
を実現させるためのプログラム。 - 請求項7に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016535811A JP6092485B2 (ja) | 2014-07-24 | 2015-03-16 | 情報処理装置 |
| US15/325,231 US10248846B2 (en) | 2014-07-24 | 2015-03-16 | Information processing device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014151129 | 2014-07-24 | ||
| JP2014-151129 | 2014-07-24 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016013249A1 true WO2016013249A1 (ja) | 2016-01-28 |
Family
ID=55162788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/057740 Ceased WO2016013249A1 (ja) | 2014-07-24 | 2015-03-16 | 情報処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10248846B2 (ja) |
| JP (1) | JP6092485B2 (ja) |
| WO (1) | WO2016013249A1 (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020009109A (ja) * | 2018-07-06 | 2020-01-16 | フリュー株式会社 | 管理サーバ、携帯端末、管理サーバの制御方法、携帯端末の制御方法、制御プログラム、および記録媒体 |
| JP2020022044A (ja) * | 2018-07-31 | 2020-02-06 | 株式会社メルカリ | プログラム、情報処理方法、情報処理装置 |
| JP2020022072A (ja) * | 2018-07-31 | 2020-02-06 | 株式会社メルカリ | プログラム、情報処理方法、情報処理装置 |
| JP2020022045A (ja) * | 2018-07-31 | 2020-02-06 | 株式会社メルカリ | プログラム、情報処理方法、情報処理装置 |
| CN113160162A (zh) * | 2021-04-14 | 2021-07-23 | 深圳远荣智能制造股份有限公司 | 应用于工件的孔识别方法、孔识别装置和孔处理设备 |
| JP2022163168A (ja) * | 2020-08-25 | 2022-10-25 | ネイバー コーポレーション | ユーザ認証方法、システム及びプログラム |
| JP2023040764A (ja) * | 2021-09-10 | 2023-03-23 | フリュー株式会社 | 撮影装置、情報処理装置、情報処理方法、およびプログラム |
| JP2023182613A (ja) * | 2017-09-09 | 2023-12-26 | アップル インコーポレイテッド | 生体認証の実施 |
| JPWO2024079893A1 (ja) * | 2022-10-14 | 2024-04-18 | ||
| US12210603B2 (en) | 2021-03-04 | 2025-01-28 | Apple Inc. | User interface for enrolling a biometric feature |
| US12314527B2 (en) | 2013-09-09 | 2025-05-27 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs |
| US12406490B2 (en) | 2008-01-03 | 2025-09-02 | Apple Inc. | Personal computing device control using face detection and recognition |
| US12462005B2 (en) | 2017-09-09 | 2025-11-04 | Apple Inc. | Implementation of biometric authentication |
| US12619701B2 (en) | 2024-09-26 | 2026-05-05 | Apple Inc. | User interfaces for authenticating to perform secure operations |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20250099420A (ko) | 2007-09-24 | 2025-07-01 | 애플 인크. | 전자 장치 내의 내장형 인증 시스템들 |
| US8638385B2 (en) | 2011-06-05 | 2014-01-28 | Apple Inc. | Device, method, and graphical user interface for accessing an application in a locked device |
| US9002322B2 (en) | 2011-09-29 | 2015-04-07 | Apple Inc. | Authentication with secondary approver |
| US9324067B2 (en) | 2014-05-29 | 2016-04-26 | Apple Inc. | User interface for payments |
| US20160224973A1 (en) | 2015-02-01 | 2016-08-04 | Apple Inc. | User interface for payments |
| JP6573193B2 (ja) * | 2015-07-03 | 2019-09-11 | パナソニックIpマネジメント株式会社 | 判定装置、判定方法、および判定プログラム |
| DK179186B1 (en) | 2016-05-19 | 2018-01-15 | Apple Inc | REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION |
| CN114693289A (zh) | 2016-06-11 | 2022-07-01 | 苹果公司 | 用于交易的用户界面 |
| US10621581B2 (en) | 2016-06-11 | 2020-04-14 | Apple Inc. | User interface for transactions |
| DK201670622A1 (en) | 2016-06-12 | 2018-02-12 | Apple Inc | User interfaces for transactions |
| US9842330B1 (en) | 2016-09-06 | 2017-12-12 | Apple Inc. | User interfaces for stored-value accounts |
| DK179471B1 (en) | 2016-09-23 | 2018-11-26 | Apple Inc. | IMAGE DATA FOR ENHANCED USER INTERACTIONS |
| US10496808B2 (en) | 2016-10-25 | 2019-12-03 | Apple Inc. | User interface for managing access to credentials for use in an operation |
| KR102389678B1 (ko) | 2017-09-09 | 2022-04-21 | 애플 인크. | 생체측정 인증의 구현 |
| CN107657160B (zh) * | 2017-09-12 | 2020-01-31 | Oppo广东移动通信有限公司 | 面部信息采集方法及相关产品 |
| US11170085B2 (en) | 2018-06-03 | 2021-11-09 | Apple Inc. | Implementation of biometric authentication |
| CN109118616A (zh) * | 2018-07-09 | 2019-01-01 | 深圳市商汤科技有限公司 | 门禁控制方法及门禁控制装置 |
| US10860096B2 (en) | 2018-09-28 | 2020-12-08 | Apple Inc. | Device control using gaze information |
| US11100349B2 (en) | 2018-09-28 | 2021-08-24 | Apple Inc. | Audio assisted enrollment |
| US11769121B2 (en) * | 2020-03-27 | 2023-09-26 | Aristocrat Technologies, Inc. | Gaming service automation machine with celebration services |
| US11816194B2 (en) | 2020-06-21 | 2023-11-14 | Apple Inc. | User interfaces for managing secure operations |
| US11367306B1 (en) * | 2020-06-23 | 2022-06-21 | Amazon Technologies, Inc. | System to determine user engagement with autonomous mobile device |
| USD1006884S1 (en) | 2020-09-25 | 2023-12-05 | Aristocrat Technologies, Inc. | Gaming services robot |
| EP4264460B1 (en) | 2021-01-25 | 2025-12-24 | Apple Inc. | Implementation of biometric authentication |
| US12216754B2 (en) | 2021-05-10 | 2025-02-04 | Apple Inc. | User interfaces for authenticating to perform secure operations |
| US12118548B2 (en) | 2022-01-25 | 2024-10-15 | Apple Inc. | Managing information on a computer system |
| CN119493509A (zh) | 2022-01-25 | 2025-02-21 | 苹果公司 | 管理计算机系统上的信息 |
| USD1114011S1 (en) | 2022-09-30 | 2026-02-17 | Aristocrat Technologies, Inc. | Mobile kiosk service robot |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004240632A (ja) * | 2003-02-05 | 2004-08-26 | Fuji Photo Film Co Ltd | Icカード |
| JP2005129043A (ja) * | 2003-10-02 | 2005-05-19 | Fuji Photo Film Co Ltd | 画像処理方法および装置ならびにプログラム |
| JP2005242677A (ja) * | 2004-02-26 | 2005-09-08 | Ntt Comware Corp | 複合認証システムおよびその方法ならびにプログラム |
| JP2007226327A (ja) * | 2006-02-21 | 2007-09-06 | Oki Electric Ind Co Ltd | 個人識別装置,個人識別方法 |
| JP2010067008A (ja) * | 2008-09-10 | 2010-03-25 | Oki Electric Ind Co Ltd | 撮像管理システム、撮像管理方法、認証システム及び認証方法 |
| WO2010140191A1 (ja) * | 2009-06-02 | 2010-12-09 | 株式会社新興機材 | 情報通信ネットワーク |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09147110A (ja) | 1995-11-21 | 1997-06-06 | Fujitsu Denso Ltd | 指紋照合方法 |
| JP3425092B2 (ja) | 1998-11-04 | 2003-07-07 | 株式会社エヌ・ティ・ティ・データ | パターン認識方式 |
| JP2002032755A (ja) | 2000-07-19 | 2002-01-31 | Nippon Telegr & Teleph Corp <Ntt> | 本人認証システム、本人認証装置、および、本人認証方法 |
| US20100208950A1 (en) | 2009-02-17 | 2010-08-19 | Silvester Kelan C | Biometric identification data protection |
| JP2010208950A (ja) | 2009-03-06 | 2010-09-24 | Nippon Zettoc Co Ltd | 化粧料およびその製造方法 |
| US8368555B2 (en) * | 2009-11-19 | 2013-02-05 | Silver Spring Networks, Inc. | Utility network interface device configured to detect and report abnormal operating condition |
| US8572707B2 (en) * | 2011-08-18 | 2013-10-29 | Teletech Holdings, Inc. | Multiple authentication mechanisms for accessing service center supporting a variety of products |
| RU2543950C2 (ru) * | 2011-12-28 | 2015-03-10 | Кэнон Кабусики Кайся | Устройство формирования изображения и способ управления указанным устройством |
| JP2013161104A (ja) | 2012-02-01 | 2013-08-19 | Hitachi Media Electoronics Co Ltd | 生体認証システム、生体認証装置、および、生体認証方法 |
| KR101341243B1 (ko) * | 2012-04-04 | 2013-12-12 | (주) 넥스트칩 | 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법 |
| JP6036335B2 (ja) * | 2013-01-24 | 2016-11-30 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| US9098914B2 (en) * | 2013-03-11 | 2015-08-04 | Gates Corporation | Enhanced analysis for image-based serpentine belt wear evaluation |
-
2015
- 2015-03-16 US US15/325,231 patent/US10248846B2/en active Active
- 2015-03-16 JP JP2016535811A patent/JP6092485B2/ja active Active
- 2015-03-16 WO PCT/JP2015/057740 patent/WO2016013249A1/ja not_active Ceased
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004240632A (ja) * | 2003-02-05 | 2004-08-26 | Fuji Photo Film Co Ltd | Icカード |
| JP2005129043A (ja) * | 2003-10-02 | 2005-05-19 | Fuji Photo Film Co Ltd | 画像処理方法および装置ならびにプログラム |
| JP2005242677A (ja) * | 2004-02-26 | 2005-09-08 | Ntt Comware Corp | 複合認証システムおよびその方法ならびにプログラム |
| JP2007226327A (ja) * | 2006-02-21 | 2007-09-06 | Oki Electric Ind Co Ltd | 個人識別装置,個人識別方法 |
| JP2010067008A (ja) * | 2008-09-10 | 2010-03-25 | Oki Electric Ind Co Ltd | 撮像管理システム、撮像管理方法、認証システム及び認証方法 |
| WO2010140191A1 (ja) * | 2009-06-02 | 2010-12-09 | 株式会社新興機材 | 情報通信ネットワーク |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12406490B2 (en) | 2008-01-03 | 2025-09-02 | Apple Inc. | Personal computing device control using face detection and recognition |
| US12314527B2 (en) | 2013-09-09 | 2025-05-27 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs |
| JP7660635B2 (ja) | 2017-09-09 | 2025-04-11 | アップル インコーポレイテッド | 生体認証の実施 |
| US12462005B2 (en) | 2017-09-09 | 2025-11-04 | Apple Inc. | Implementation of biometric authentication |
| JP2023182613A (ja) * | 2017-09-09 | 2023-12-26 | アップル インコーポレイテッド | 生体認証の実施 |
| JP7185130B2 (ja) | 2018-07-06 | 2022-12-07 | フリュー株式会社 | 管理サーバ、携帯端末、管理サーバの制御方法、携帯端末の制御方法、制御プログラム、および記録媒体 |
| JP2020009109A (ja) * | 2018-07-06 | 2020-01-16 | フリュー株式会社 | 管理サーバ、携帯端末、管理サーバの制御方法、携帯端末の制御方法、制御プログラム、および記録媒体 |
| JP2020022044A (ja) * | 2018-07-31 | 2020-02-06 | 株式会社メルカリ | プログラム、情報処理方法、情報処理装置 |
| JP2020022072A (ja) * | 2018-07-31 | 2020-02-06 | 株式会社メルカリ | プログラム、情報処理方法、情報処理装置 |
| JP2020022045A (ja) * | 2018-07-31 | 2020-02-06 | 株式会社メルカリ | プログラム、情報処理方法、情報処理装置 |
| JP7402940B2 (ja) | 2020-08-25 | 2023-12-21 | ネイバー コーポレーション | ユーザ認証方法、システム及びプログラム |
| JP2022163168A (ja) * | 2020-08-25 | 2022-10-25 | ネイバー コーポレーション | ユーザ認証方法、システム及びプログラム |
| US12210603B2 (en) | 2021-03-04 | 2025-01-28 | Apple Inc. | User interface for enrolling a biometric feature |
| CN113160162A (zh) * | 2021-04-14 | 2021-07-23 | 深圳远荣智能制造股份有限公司 | 应用于工件的孔识别方法、孔识别装置和孔处理设备 |
| JP2023040764A (ja) * | 2021-09-10 | 2023-03-23 | フリュー株式会社 | 撮影装置、情報処理装置、情報処理方法、およびプログラム |
| JP7832437B2 (ja) | 2021-09-10 | 2026-03-18 | フリュー株式会社 | 撮影装置、情報処理方法、およびプログラム |
| JPWO2024079893A1 (ja) * | 2022-10-14 | 2024-04-18 | ||
| US12619304B2 (en) | 2024-09-09 | 2026-05-05 | Apple Inc. | Device control using gaze information |
| US12619701B2 (en) | 2024-09-26 | 2026-05-05 | Apple Inc. | User interfaces for authenticating to perform secure operations |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2016013249A1 (ja) | 2017-04-27 |
| US20170169287A1 (en) | 2017-06-15 |
| US10248846B2 (en) | 2019-04-02 |
| JP6092485B2 (ja) | 2017-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6092485B2 (ja) | 情報処理装置 | |
| JP6324939B2 (ja) | 情報処理装置およびログイン制御方法 | |
| JP6000805B2 (ja) | 情報処理装置 | |
| JP5920894B2 (ja) | 情報処理装置および顔識別用データの登録方法 | |
| JP6000929B2 (ja) | 情報処理装置 | |
| KR102285102B1 (ko) | 생체 인식 신원, 피드백 및 사용자 상호 작용 상태의 관련 디스플레이 | |
| US9922184B2 (en) | Information processing apparatus | |
| JP5968834B2 (ja) | 情報処理装置 | |
| US9639683B2 (en) | Information processing device | |
| JP6001132B2 (ja) | 情報処理装置 | |
| JP6396171B2 (ja) | 情報処理装置 | |
| US20200147483A1 (en) | Interactive gaming system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15824368 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2016535811 Country of ref document: JP Kind code of ref document: A |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 15325231 Country of ref document: US |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15824368 Country of ref document: EP Kind code of ref document: A1 |