JP6789170B2 - Display device, authentication method, and authentication program - Google Patents

Display device, authentication method, and authentication program Download PDF

Info

Publication number
JP6789170B2
JP6789170B2 JP2017084596A JP2017084596A JP6789170B2 JP 6789170 B2 JP6789170 B2 JP 6789170B2 JP 2017084596 A JP2017084596 A JP 2017084596A JP 2017084596 A JP2017084596 A JP 2017084596A JP 6789170 B2 JP6789170 B2 JP 6789170B2
Authority
JP
Japan
Prior art keywords
authentication
user
line
sight
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017084596A
Other languages
Japanese (ja)
Other versions
JP2018181256A (en
Inventor
裕介 佐藤
裕介 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mixi Inc
Original Assignee
Mixi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mixi Inc filed Critical Mixi Inc
Priority to JP2017084596A priority Critical patent/JP6789170B2/en
Publication of JP2018181256A publication Critical patent/JP2018181256A/en
Application granted granted Critical
Publication of JP6789170B2 publication Critical patent/JP6789170B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、頭部装着ディスプレイ装置、認証方法、及び認証プログラムに関するものである。 The present invention relates to a head-mounted display device, an authentication method, and an authentication program.

情報処理装置を起動する際やコンピュータネットワーク等にアクセスする際に、ユーザ認証が行われる場合がある。このユーザ認証が成功した場合にのみ、情報処理装置の使用やコンピュータネットワークへのアクセスが可能となる。 User authentication may be performed when starting an information processing device or accessing a computer network or the like. Only when this user authentication is successful can the information processing device be used and the computer network can be accessed.

ユーザ認証としては、例えば、キーボードを介したパスワードの入力が求められる。しかしながら、キーボードを用いることによるパスワードの漏えい等を防止するために、よりセキュリティ性の高いユーザ認証も開発されている。 For user authentication, for example, input of a password via a keyboard is required. However, in order to prevent password leakage due to the use of a keyboard, user authentication with higher security has also been developed.

セキュリティ性の高いユーザ認証として、特許文献１には、画面上に表示される画像を注視するユーザの視線を検知し、前記視線に基づいてユーザが注視した画像を検知し、検知した画像を認証情報としてユーザ認証を行うディスプレイシステムが開示されている。 As highly secure user authentication, Patent Document 1 detects the line of sight of the user who gazes at the image displayed on the screen, detects the image gazed by the user based on the line of sight, and authenticates the detected image. A display system that authenticates a user is disclosed as information.

特開２００５−１４９３２６号公報Japanese Unexamined Patent Publication No. 2005-149326

近年では、ユーザの頭部にディスプレイを装着する頭部装着ディスプレイ装置（Head Mount Display：ＨＭＤ）が普及し始めている。頭部装着ディスプレイ装置では、特許文献１に記載のようなユーザの視線を検知したユーザ認証が用いられることが想定されるものの、よりセキュリィティ性の高い認証が求められる。 In recent years, a head-mounted display device (HMD) that mounts a display on a user's head has begun to spread. In the head-mounted display device, it is assumed that user authentication that detects the line of sight of the user as described in Patent Document 1 is used, but authentication with higher security is required.

本発明は、このような事情に鑑みてなされたものであって、よりセキュリィティ性の高い認証を行える、頭部装着ディスプレイ装置、認証方法、及び認証プログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a head-mounted display device, an authentication method, and an authentication program capable of performing authentication with higher security.

上記課題を解決するために、本発明の頭部装着ディスプレイ装置、認証方法、及び認証プログラムは以下の手段を採用する。 In order to solve the above problems, the head-mounted display device, the authentication method, and the authentication program of the present invention employ the following means.

上記課題を解決するため、本発明の一態様である「頭部装着ディスプレイ装置」は、ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着される頭部装着ディスプレイ装置であって、前記ユーザの顔の向きを検知する顔向き検知手段と、前記ユーザの視線を検知する視線検知手段と、前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる画像表示制御手段と、認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う認証手段と、を備える。 In order to solve the above problems, the "head-mounted display device" according to one aspect of the present invention is a head-mounted display device in which a display is mounted on the user's head so that the user can see it. An object to be displayed in the image display area of the display according to the face orientation detecting means for detecting the orientation of the user's face, the line-of-sight detecting means for detecting the line of sight of the user, and the detection result by the face orientation detecting means. The image display control means for changing the above and the authentication object used for authentication are displayed in the image display area according to the operation of the user, and the line-of-sight detection means indicates that the user has aligned the line of sight with the authentication object. It is provided with an authentication means that authenticates when it is detected.

上記課題を解決するため、本発明の一態様である「認証方法」は、ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着され、前記ユーザの顔の向きを検知する顔向き検知手段、及び前記ユーザの視線を検知する視線検知手段を備える頭部装着ディスプレイ装置の認証方法であって、前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる第１工程と、認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う第２工程と、を有する。 In order to solve the above problem, in the "authentication method" which is one aspect of the present invention, a display is attached to the head of the user so that the user can see it, and the orientation of the user's face is detected. An authentication method for a head-mounted display device including a detection means and a line-of-sight detection means for detecting the line of sight of the user, and an object to be displayed in an image display area of the display according to a detection result by the face-facing detection means. The first step of changing the above and the authentication object used for authentication are displayed in the image display area according to the operation of the user, and the line-of-sight detection means detects that the user has aligned the line of sight with the authentication object. It has a second step of performing certification in the case of such a case.

上記課題を解決するため、本発明の一態様である「認証プログラム」は、ユーザが視認可能なように、前記ユーザの頭部にディスプレイが装着され、前記ユーザの顔の向きを検知する顔向き検知手段、及び前記ユーザの視線を検知する視線検知手段を備える頭部装着ディスプレイ装置が有するコンピュータを、前記顔向き検知手段による検知結果に応じて、前記ディスプレイの画像表示領域に表示するオブジェクトを変化させる画像表示制御手段と、認証に用いる認証用オブジェクトが前記ユーザの動作に応じて前記画像表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う認証手段と、して機能させる。 In order to solve the above problems, the "authentication program", which is one aspect of the present invention, has a face orientation in which a display is attached to the user's head so that the user can see it, and the orientation of the user's face is detected. The object to be displayed in the image display area of the display is changed according to the detection result by the face orientation detecting means of the computer included in the detection means and the head-mounted display device provided with the line-of-sight detecting means for detecting the line of sight of the user. The image display control means to be used and the authentication object used for authentication are displayed in the image display area according to the operation of the user, and the line-of-sight detection means detects that the user has aligned the line of sight with the authentication object. It functions as an authentication means that authenticates in some cases.

上記「頭部装着ディスプレイ装置」には、以下に例示するように、種々の技術的限定を加えてもよい。また、同趣旨の技術的限定を、「認証方法」が実行する処理ステップや「認証プログラム」の機能に加えてもよい。 Various technical limitations may be added to the above-mentioned "head-mounted display device" as illustrated below. Further, technical limitation to the same effect may be added to the processing steps executed by the "authentication method" and the functions of the "authentication program".

前記認証用オブジェクトは、認証開始時には前記画像表示領域に表示されず、前記ユーザの動作によって前記画像表示領域に表示される。 The authentication object is not displayed in the image display area at the start of authentication, but is displayed in the image display area by the action of the user.

前記画像表示領域には、認証用表示領域が設定され、前記認証手段は、前記認証用オブジェクトが前記ユーザの動作に応じて前記認証用表示領域に表示され、前記ユーザが視線を前記認証用オブジェクトに合わせたことを前記視線検知手段が検知した場合に認証を行う。 An authentication display area is set in the image display area, and in the authentication means, the authentication object is displayed in the authentication display area according to the operation of the user, and the user looks at the authentication object. Authentication is performed when the line-of-sight detection means detects that the condition is adjusted to.

前記ユーザの動作は、前記ユーザが顔の向きを変えること、又は前記認証用オブジェクトをユーザが移動させることである。 The action of the user is that the user turns his / her face or the user moves the authentication object.

前記認証手段は、前記視線検知手段による検知結果及び前記顔向き検知手段による検知結果に基づいて認証を行う。 The authentication means authenticates based on the detection result by the line-of-sight detection means and the detection result by the face orientation detection means.

実在する予め登録された識別体が前記ディスプレイに表示された場合に、前記認証用オブジェクトが前記ディスプレイに表示される。 When an existing pre-registered discriminator is displayed on the display, the authentication object is displayed on the display.

前記認証用オブジェクトは、前記ディスプレイに表示される実在する識別体である。 The authentication object is an existing discriminator displayed on the display.

前記認証手段は、前記認証用オブジェクトに所定時間以上、視線を向けたことが検知された場合にユーザが認証操作を開始し、前記認証用オブジェクトから所定時間以上、視線を逸らしたことが検知された場合にユーザが認証操作を終了したとする。 The authentication means detects that the user starts an authentication operation when it is detected that the line of sight is directed to the authentication object for a predetermined time or longer, and the line of sight is deviated from the authentication object for a predetermined time or longer. If the user finishes the authentication operation.

前記認証手段は、所定時間内で所定回数以上のユーザの瞬きが検知された場合に、認証操作の開始又は終了とする。 The authentication means starts or ends the authentication operation when the user blinks more than a predetermined number of times within a predetermined time.

前記認証手段は、ユーザが頭部を所定動作させたことが検知された場合に、認証操作の開始又は終了とする。 The authentication means starts or ends the authentication operation when it is detected that the user has moved the head in a predetermined manner.

本発明によれば、頭部装着ディスプレイを用いたよりセキュリィティ性の高い認証を行える、という効果を有する。 According to the present invention, there is an effect that more secure authentication can be performed using a head-mounted display.

本発明の第１実施形態に係るディスプレイシステムの構成図である。It is a block diagram of the display system which concerns on 1st Embodiment of this invention. 本発明の第１実施形態に係るＨＭＤによる画像表示領域を示す模式図である。It is a schematic diagram which shows the image display area by HMD which concerns on 1st Embodiment of this invention. 本発明の第１実施形態に係るＨＭＤの電気的構成を示す機能ブロック図である。It is a functional block diagram which shows the electrical structure of the HMD which concerns on 1st Embodiment of this invention. 本発明の第１実施形態に係るＨＭＤを用いたユーザ認証を示す模式図である。It is a schematic diagram which shows the user authentication using the HMD which concerns on 1st Embodiment of this invention. 本発明の第１実施形態に係る認証用表示領域を示す模式図である。It is a schematic diagram which shows the display area for authentication which concerns on 1st Embodiment of this invention. 本発明の第１実施形態に係るユーザ認証処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the user authentication processing which concerns on 1st Embodiment of this invention. 本発明の第２実施形態に係るＨＭＤを用いたユーザ認証を示す模式図である。It is a schematic diagram which shows the user authentication using the HMD which concerns on 2nd Embodiment of this invention. 本発明の第３実施形態に係るＨＭＤを用いたユーザ認証を示す模式図である。It is a schematic diagram which shows the user authentication using the HMD which concerns on 3rd Embodiment of this invention. 本発明の第３実施形態に係るＨＭＤの電気的構成を示す機能ブロック図である。It is a functional block diagram which shows the electrical structure of the HMD which concerns on 3rd Embodiment of this invention. 本発明の第３実施形態に係るユーザ認証処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the user authentication processing which concerns on 3rd Embodiment of this invention.

以下に、本発明に係る頭部装着ディスプレイ装置、認証方法、及び認証プログラムの一実施形態について、図面を参照して説明する。 Hereinafter, an embodiment of a head-mounted display device, an authentication method, and an authentication program according to the present invention will be described with reference to the drawings.

［１．第１実施形態］
以下、本発明の第１実施形態について説明する。 [1. First Embodiment]
Hereinafter, the first embodiment of the present invention will be described.

［１−１．ディスプレイシステムの構成］
図１は、本実施形態に係るディスプレイシステム１０の構成図である。 [1-1. Display system configuration]
FIG. 1 is a configuration diagram of a display system 10 according to the present embodiment.

ディスプレイシステム１０は、頭部装着ディスプレイ装置（Head Mount Display、以下「ＨＭＤ」という。）１２及びサーバ１４を備える。 The display system 10 includes a head-mounted display device (Head Mount Display, hereinafter referred to as “HMD”) 12 and a server 14.

ＨＭＤ１２は、ユーザが視認可能なようにユーザの頭部にＬＣＤ（Liquid Crystal Display）等のディスプレイ１６が備えられる。ディスプレイ１６は、一例として、伸縮性のあるバンド１８によってユーザの頭部に固定される。 The HMD 12 is provided with a display 16 such as an LCD (Liquid Crystal Display) on the user's head so that the user can see it. As an example, the display 16 is fixed to the user's head by an elastic band 18.

図１に示されるＨＭＤ１２の外形は一例であり、両眼の前方にディスプレイ１６が位置するが、これに限らず、メガネ型のようにメガネのレンズに画像を投影させるものでもよい。また、両眼で画像を視認させるものではなく、片眼で画像を視認させるものでもよい。また、ＨＭＤ１２は、ユーザが装着しても外界を視認できる透過型、外界を視認できない非透過型の何れであってもよい。また、ＨＭＤ１２がディスプレイ１６に表示させる画像は、仮想現実（ＶＲ : Virtual Reality）であってもよいし、拡張現実（ＡＲ : Augmented Reality）の何れであってもよい。なお、本実施形態に係るＨＭＤ１２ではディスプレイ１６にはＶＲが表示される。 The outer shape of the HMD 12 shown in FIG. 1 is an example, and the display 16 is located in front of both eyes. However, the present invention is not limited to this, and an image may be projected onto a lens of glasses such as a glasses type. Further, the image may be visually recognized by one eye instead of being visually recognized by both eyes. Further, the HMD 12 may be either a transparent type in which the outside world can be visually recognized even when worn by the user, or a non-transparent type in which the outside world cannot be visually recognized. Further, the image displayed on the display 16 by the HMD 12 may be either virtual reality (VR: Virtual Reality) or augmented reality (AR: Augmented Reality). In the HMD 12 according to the present embodiment, VR is displayed on the display 16.

ＨＭＤ１２とサーバ１４は、通信回線２０を介して情報の送受信が可能とされている。なお、ＨＭＤ１２は通信回線２０に直接アクセスするための通信機能を有していてもよいし、例えば、携帯電話端末等の他の情報処理装置を介して通信回線２０にアクセスしてもよい。 The HMD 12 and the server 14 are capable of transmitting and receiving information via the communication line 20. The HMD 12 may have a communication function for directly accessing the communication line 20, or may access the communication line 20 via another information processing device such as a mobile phone terminal, for example.

サーバ１４は、ＨＭＤ１２で実行されるプログラム等の各種情報を記憶しており、必要に応じてＨＭＤ１２との間で情報の送受信を行う。 The server 14 stores various information such as a program executed by the HMD 12, and sends and receives information to and from the HMD 12 as needed.

ＨＭＤ１２は、図２に示されるように、ユーザの視界を覆うようにディスプレイ１６に画像表示領域２２が設けられる。画像表示領域２２には、各種画像（オブジェクトともいう。）が表示される。なお、本実施形態に係る画像表示領域２２は、ＨＭＤ１２を装着したユーザの視野範囲にほぼ一致する。 As shown in FIG. 2, the HMD 12 is provided with an image display area 22 on the display 16 so as to cover the user's field of view. Various images (also referred to as objects) are displayed in the image display area 22. The image display area 22 according to the present embodiment substantially matches the visual field range of the user wearing the HMD 12.

本実施形態に係るＨＭＤ１２は、ユーザがＨＭＤ１２を起動させる場合にユーザ認証を行い、ユーザ認証に成功した場合にユーザの操作を可能とする。画像表示領域２２には、ユーザ認証に用いるオブジェクトである認証用オブジェクト２４が表示される。そして、ＨＭＤ１２に設けられた視線検知部３２（図３参照）によって、ユーザが視線を認証用オブジェクト２４に合わせたことを検知した場合にユーザ認証が行われる。 The HMD 12 according to the present embodiment performs user authentication when the user activates the HMD 12, and enables the user to operate when the user authentication is successful. In the image display area 22, an authentication object 24, which is an object used for user authentication, is displayed. Then, when the line-of-sight detection unit 32 (see FIG. 3) provided in the HMD 12 detects that the user has aligned the line of sight with the authentication object 24, user authentication is performed.

本実施形態に係る認証用オブジェクト２４は、一例として、少なくとも一つ以上を視認して認証成功とされる複数の要素（以下「認証要素」という。）２６で形成される。また、本実施形態に係るユーザ認証は、複数の認証要素２６を予め定められた順番で視認した場合に認証成功とするが、これに限らず、複数の認証要素２６を視認する順番は定められていなくてもよいし、認証要素２６を視認し続ける時間を認証成功の条件としてもよい。なお、認証用オブジェクト２４は、複数の認証要素２６で形成されずに、一つの画像であってもよい。 As an example, the authentication object 24 according to the present embodiment is formed of a plurality of elements (hereinafter, referred to as “authentication elements”) 26 that visually recognize at least one or more and make authentication successful. Further, the user authentication according to the present embodiment is considered to be successful when the plurality of authentication elements 26 are visually recognized in a predetermined order, but the authentication is not limited to this, and the order in which the plurality of authentication elements 26 are visually recognized is determined. It may not be necessary, or the time for continuing to visually recognize the authentication element 26 may be a condition for successful authentication. The authentication object 24 may be a single image without being formed by a plurality of authentication elements 26.

［１−２．ＨＭＤの機能ブロック図］
図３は、本実施形態に係るＨＭＤ１２の電気的構成を示す機能ブロック図である。 [1-2. HMD functional block diagram]
FIG. 3 is a functional block diagram showing an electrical configuration of the HMD 12 according to the present embodiment.

ＨＭＤ１２は、ディスプレイ１６の他に、顔向き検知部３０、視線検知部３２、主制御部３４、記憶部３６、及び通信部３８を備える。 In addition to the display 16, the HMD 12 includes a face orientation detection unit 30, a line-of-sight detection unit 32, a main control unit 34, a storage unit 36, and a communication unit 38.

顔向き検知部３０は、例えば加速度センサーやジャイロセンサ等を備え、ＨＭＤ１２を装着したユーザの顔の向きを検知する。 The face orientation detection unit 30 includes, for example, an acceleration sensor, a gyro sensor, or the like, and detects the orientation of the face of the user wearing the HMD 12.

視線検知部３２は、例えばユーザの眼を撮像するカメラを備え、ユーザの眼を撮像した結果に基づいて、ユーザの視線を検知する。 The line-of-sight detection unit 32 includes, for example, a camera that captures the user's eyes, and detects the user's line of sight based on the result of capturing the user's eyes.

主制御部３４は、例えば、ＣＰＵ（Central Processing Unit）、マイクロプロセッサ、ＤＳＰ（Digital Signal Processor）等であり、ＨＭＤ１２全体の動作を制御する。 The main control unit 34 is, for example, a CPU (Central Processing Unit), a microprocessor, a DSP (Digital Signal Processor), or the like, and controls the operation of the entire HMD 12.

記憶部３６は、例えば、ＲＡＭ（Random Access Memory）やＤＲＡＭ（Dynamic Random Access Memory）、又はフラッシュメモリ等で構成されており、主制御部３４による各種プログラムに基づく処理の実行時のワークエリアや、画像等の各種データ及び主制御部３４の処理に利用されるプログラム等を保存する。 The storage unit 36 is composed of, for example, a RAM (Random Access Memory), a DRAM (Dynamic Random Access Memory), a flash memory, or the like, and includes a work area at the time of execution of processing based on various programs by the main control unit 34. Various data such as images and programs used for processing of the main control unit 34 are stored.

通信部３８は、通信回線２０に接続する機能を有し、例えばＮＩＣ（Network Interface Controller）であり、携帯電話網等の通信網に接続する。なお、通信部３８は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Local Area Network）に接続する機能、無線ＷＡＮ（Wide Area Network）に接続する機能、例えばBluetooth（登録商標）等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。 The communication unit 38 has a function of connecting to the communication line 20, for example, a NIC (Network Interface Controller), and connects to a communication network such as a mobile phone network. The communication unit 38 has a function of connecting to a wireless LAN (Local Area Network) and a function of connecting to a wireless WAN (Wide Area Network) instead of or together with the NIC, for example, a short-distance such as Bluetooth (registered trademark). It may have a function that enables wireless communication, infrared communication, and the like.

これらディスプレイ１６、顔向き検知部３０、視線検知部３２、主制御部３４、記憶部３６、及び通信部３８は、システムバスを介して相互に電気的に接続されている。従って、主制御部３４は、ディスプレイ１６に対する画像の表示、顔向き検知部３０や視線検知部３２の検知結果を用いた各種処理、記憶部３６へのアクセス、及び通信部３８を介した各種通信網や他の端末へのアクセス等を行える。なお、上記構成の他に、ＨＭＤ１２には音を出力するためのスピーカやイヤホンジャック、他の情報処理装置との間でデータの送受信を行うためのＵＳＢ（Universal Serial Bus）コネクタ等が備えられる。 The display 16, the face orientation detection unit 30, the line-of-sight detection unit 32, the main control unit 34, the storage unit 36, and the communication unit 38 are electrically connected to each other via a system bus. Therefore, the main control unit 34 displays an image on the display 16, various processes using the detection results of the face orientation detection unit 30 and the line-of-sight detection unit 32, access to the storage unit 36, and various communications via the communication unit 38. You can access the network and other terminals. In addition to the above configuration, the HMD 12 is provided with a speaker and earphone jack for outputting sound, a USB (Universal Serial Bus) connector for transmitting and receiving data to and from other information processing devices, and the like.

また、ＨＭＤ１２は、有線又は無線によってコントローラと接続可能とされ、コントローラを用いたユーザ操作が可能とされている。 Further, the HMD 12 can be connected to the controller by wire or wirelessly, and user operation using the controller is possible.

主制御部３４は、画像表示制御部４０及び認証処理部４２を備える。主制御部３４が備える各部は、記憶部３６に記憶されているプログラムによって実現される。 The main control unit 34 includes an image display control unit 40 and an authentication processing unit 42. Each unit included in the main control unit 34 is realized by a program stored in the storage unit 36.

画像表示制御部４０は、画像表示領域２２に表示させる画像（オブジェクト）を示すデータをディスプレイ１６へ出力する。また、画像表示制御部４０は、顔向き検知部３０による検知結果に応じて、画像表示領域２２に表示するオブジェクトを変化させる。 The image display control unit 40 outputs data indicating an image (object) to be displayed in the image display area 22 to the display 16. Further, the image display control unit 40 changes the object to be displayed in the image display area 22 according to the detection result by the face orientation detection unit 30.

認証処理部４２は、ユーザ認証に関する処理を実行する。 The authentication processing unit 42 executes a process related to user authentication.

［１−３．第１実施形態に係るユーザ認証］
本実施形態に係るユーザ認証について説明する。 [1-3. User authentication according to the first embodiment]
The user authentication according to this embodiment will be described.

本実施形態に係るユーザ認証は、認証用オブジェクト２４がユーザの動作に応じて画像表示領域２２に表示され、ユーザが視線を認証用オブジェクト２４に合わせたことを視線検知部３２が検知した場合に認証を行う。 In the user authentication according to the present embodiment, when the authentication object 24 is displayed in the image display area 22 according to the user's operation and the line-of-sight detection unit 32 detects that the user has aligned the line of sight with the authentication object 24. Authenticate.

図４は、本実施形態に係るユーザ認証を示す模式図であり、ＨＭＤ１２によって表示される画像空間４４を模式的に示したものである。本実施形態に係るＨＭＤ１２は、仮想現実（ＶＲ）を表示するため、図４に示される画像空間４４はＶＲ空間である。図４において一点鎖線で囲まれた領域は、ＨＭＤ１２を装着したユーザが頭部を動かすことで、視認可能な画像空間４４の全体である。一方、実線で囲まれた領域は、画像表示領域２２に表示される画像空間４４であり、ＨＭＤ１２を装着したユーザが実際に視認している範囲である。 FIG. 4 is a schematic diagram showing user authentication according to the present embodiment, and schematically shows an image space 44 displayed by the HMD 12. Since the HMD 12 according to the present embodiment displays virtual reality (VR), the image space 44 shown in FIG. 4 is a VR space. The area surrounded by the alternate long and short dash line in FIG. 4 is the entire image space 44 that can be visually recognized by the user wearing the HMD 12 by moving his / her head. On the other hand, the area surrounded by the solid line is the image space 44 displayed in the image display area 22, which is the range actually viewed by the user wearing the HMD 12.

図４（Ａ）に示されるように認証用オブジェクト２４は、画像空間４４に存在しているものの、ユーザ認証開始時には画像表示領域２２に表示されない。このため、ユーザは、顔の向きを変える動作を行うことで、図４（Ｂ）に示されるように、画像空間４４に存在している認証用オブジェクト２４を画像表示領域２２に表示させる。 As shown in FIG. 4A, the authentication object 24 exists in the image space 44, but is not displayed in the image display area 22 at the start of user authentication. Therefore, by performing the operation of changing the direction of the face, the user causes the authentication object 24 existing in the image space 44 to be displayed in the image display area 22 as shown in FIG. 4 (B).

さらに、本実施形態に係るユーザ認証では、画像表示領域２２に認証用表示領域２２Ａが設定される。画像表示領域２２は、図５に示されるように、疑似的に認証用表示領域２２Ａ及び非認証用表示領域２２Ｂに分割される。そして、認証用オブジェクト２４が、認証用表示領域２２Ａに表示された場合にユーザ認証が行われる。 Further, in the user authentication according to the present embodiment, the authentication display area 22A is set in the image display area 22. As shown in FIG. 5, the image display area 22 is artificially divided into an authentication display area 22A and a non-authentication display area 22B. Then, when the authentication object 24 is displayed in the authentication display area 22A, user authentication is performed.

認証用オブジェクト２４が画像表示領域２２に表示された場合、認証用表示領域２２Ａに認証用オブジェクト２４を表示させるようにユーザに促す表示を行ってもよい。例えば、ＨＭＤ１２は、認証用オブジェクト２４を認証用表示領域２２Ａ内へ入れることをユーザに促すように、認証用表示領域２２Ａの点滅、文字や矢印の表示、又は音声によるアナウンスを行う。 When the authentication object 24 is displayed in the image display area 22, the user may be prompted to display the authentication object 24 in the authentication display area 22A. For example, the HMD 12 blinks the authentication display area 22A, displays characters and arrows, or makes an announcement by voice so as to prompt the user to put the authentication object 24 into the authentication display area 22A.

また、図５に示される認証用表示領域２２Ａの分割は一例であり、他の分割であってもよい。また、画像表示領域２２には、非認証用表示領域２２Ｂが設けられず、認証用表示領域２２Ａを画像表示領域２２の全体としてもよい。 Further, the division of the authentication display area 22A shown in FIG. 5 is an example, and may be another division. Further, the image display area 22 is not provided with the non-authentication display area 22B, and the authentication display area 22A may be the entire image display area 22.

そして、ＨＭＤ１２は、視線検知部３２による視線検知の結果が、登録されている認証用視線情報と一致しているか否かによって認証の成否を判定する。認証用視線情報は、これを登録するためにユーザが認証用オブジェクト２４を視認することで生成され、記憶部３６に予め記憶されている。 Then, the HMD 12 determines the success or failure of the authentication depending on whether or not the result of the line-of-sight detection by the line-of-sight detection unit 32 matches the registered line-of-sight information for authentication. The authentication line-of-sight information is generated when the user visually recognizes the authentication object 24 in order to register it, and is stored in advance in the storage unit 36.

［１−４．認証操作の開始又は終了の判定］
次に、ユーザによる認証操作の開始又は終了について説明する。 [1-4. Judgment of start or end of authentication operation]
Next, the start or end of the authentication operation by the user will be described.

認証処理部４２は、例えば、ユーザがＨＭＤ１２に接続されているコントローラに対する所定操作を行った場合を認証操作の開始とし、ユーザが再びコントローラに対して所定操作を行った場合を認証操作の終了とする。なお、コントローラに対する所定操作とは、例えば、所定のボタンをクリックすることである。 For example, the authentication processing unit 42 sets the start of the authentication operation when the user performs a predetermined operation on the controller connected to the HMD 12, and ends the authentication operation when the user performs the predetermined operation on the controller again. To do. The predetermined operation on the controller is, for example, clicking a predetermined button.

そして、視線検知部３２は、ユーザによる認証操作の開始を認証処理部４２が受け付けた後に、ユーザの視線検知を開始する。また、視線検知部３２は、ユーザによる認証操作の終了を認証処理部４２が受け付けた後に、ユーザの視線検知を終了する。その後、認証処理部４２は、視線検知部３２による視線の検知結果に基づいてユーザ認証の成否を判定する。 Then, the line-of-sight detection unit 32 starts the user's line-of-sight detection after the authentication processing unit 42 accepts the start of the authentication operation by the user. Further, the line-of-sight detection unit 32 ends the user's line-of-sight detection after the authentication processing unit 42 accepts the end of the authentication operation by the user. After that, the authentication processing unit 42 determines the success or failure of the user authentication based on the line-of-sight detection result by the line-of-sight detection unit 32.

なお、ユーザによる認証操作の開始又は終了は、コントローラに対する所定操作に限らず、視線検知部３２又は顔向き検知部３０による検知結果に基づいて判定されてもよい。 The start or end of the authentication operation by the user is not limited to the predetermined operation on the controller, and may be determined based on the detection result by the line-of-sight detection unit 32 or the face orientation detection unit 30.

例えば、認証処理部４２は、認証用オブジェクト２４に所定時間以上、ユーザが視線を向けたことが視線検知部３２によって検知された場合にユーザによる認証操作の開始とする。そして、認証処理部４２は、認証用オブジェクト２４から所定時間以上、視線を逸らしたことが視線検知部３２によって検知された場合にユーザによる認証操作の終了とする。なお、所定時間は、ユーザが無意識で視線を向けたり、逸らしたりする時間ではなく、ユーザが意図して行ったと判定可能な時間で有り、例えば数秒である。 For example, the authentication processing unit 42 starts the authentication operation by the user when the line-of-sight detection unit 32 detects that the user has turned his / her line of sight to the authentication object 24 for a predetermined time or longer. Then, the authentication processing unit 42 terminates the authentication operation by the user when the line-of-sight detection unit 32 detects that the line of sight has been deviated from the authentication object 24 for a predetermined time or longer. It should be noted that the predetermined time is not a time during which the user unconsciously directs or diverts his / her line of sight, but a time during which it can be determined that the user has intentionally performed the operation, for example, several seconds.

また、認証処理部４２は、視線検知部３２によって所定時間内で所定回数以上のユーザの瞬きが検知された場合に、認証操作の開始又は終了とする。所定時間内で所定回数以上とは、ユーザが無意識に行う瞬きではなく、ユーザが意図して行った瞬きであると判定可能な回数であり、例えば、１秒以内に３回以上の瞬き等である。 Further, the authentication processing unit 42 starts or ends the authentication operation when the line-of-sight detection unit 32 detects a user's blink more than a predetermined number of times within a predetermined time. The predetermined number of blinks or more within a predetermined time is not the blinking that the user unconsciously makes, but the number of times that it can be determined that the blinking is intentionally made by the user. For example, three or more blinks within one second or the like. is there.

また、認証処理部４２は、ユーザが頭部を所定動作させたことを顔向き検知部３０が検知した場合に、認証操作の開始又は終了とする。所定動作とは、例えば所定時間内で所定方向へ所定回数等、ユーザが無意識に行う動作ではなく、ユーザが意図して行った動作であると判定可能な回数であり、例えば、頭部を1秒間に右側へ２回傾ける等である。 Further, the authentication processing unit 42 starts or ends the authentication operation when the face orientation detection unit 30 detects that the user has moved the head in a predetermined manner. The predetermined operation is not an operation unconsciously performed by the user, for example, a predetermined number of times in a predetermined direction within a predetermined time, but is a number of times that can be determined to be an operation intended by the user. For example, the head is set to 1. Tilt to the right twice per second, etc.

また、認証処理部４２は、ディスプレイ１６に表示された所定のオブジェクトに所定時間以上、ユーザが視線を向けたことが視線検知部３２によって検知された場合にユーザによる認証操作の開始とし、再び所定のオブジェクトに所定時間以上、ユーザが視線を向けたことが視線検知部３２によって検知された場合にユーザによる認証操作の終了としてもよい。 Further, when the line-of-sight detection unit 32 detects that the user has turned his / her line of sight to the predetermined object displayed on the display 16 for a predetermined time or longer, the authentication processing unit 42 starts the authentication operation by the user and determines again. When the line-of-sight detection unit 32 detects that the user has turned his / her line of sight to the object for a predetermined time or longer, the authentication operation by the user may be terminated.

なお、何れの認証操作の開始又は終了の判定も、認証用表示領域２２Ａに認証用オブジェクト２４が表示されている場合に行われる。また、ＨＭＤ１２は、ユーザによる認証操作の開始又は終了を示す動作を受け付けた場合には、その旨を示す報知（以下「認証開始報知」又は「認証終了報知」という。）を行う。認証開始報知又は認証終了報知は、ディスプレイ１６への所定画像の表示や所定音声の出力等である。 The start or end of any authentication operation is determined when the authentication object 24 is displayed in the authentication display area 22A. Further, when the HMD 12 receives an operation indicating the start or end of the authentication operation by the user, the HMD 12 performs a notification indicating that fact (hereinafter referred to as "authentication start notification" or "authentication end notification"). The authentication start notification or the authentication end notification is a display of a predetermined image on the display 16, an output of a predetermined voice, or the like.

認証開始報知が行われることによって、ユーザは、認証操作を行えることを認識する。また、認証終了報知が行われることによって、ユーザは、自身が行った認証操作をＨＭＤ１２が受け付けたことを認識できる。 By performing the authentication start notification, the user recognizes that the authentication operation can be performed. Further, by performing the authentication end notification, the user can recognize that the HMD 12 has accepted the authentication operation performed by the user.

このように、本実施形態に係るＨＭＤ１２は、ユーザが所定動作を行うことで認証操作の開始又は終了を受け付ける。これにより、ユーザは自身のタイミングでユーザ認証を行うことができ、ユーザ認証で行われる視線の誤検知が防がれる。 As described above, the HMD 12 according to the present embodiment accepts the start or end of the authentication operation when the user performs a predetermined operation. As a result, the user can authenticate the user at his / her own timing, and false detection of the line of sight performed by the user authentication can be prevented.

［１−５．本実施形態に係るユーザ認証処理］
図６は、主制御部３４によって実行されるユーザ認証処理の流れを示すフローチャートであり、ユーザ認証処理を実行するためのプログラムは記憶部３６の所定領域に予め記憶されている。なお、本実施形態に係るユーザ認証処理は、一例として、ユーザがＨＭＤ１２を起動させる場合に実行される。 [1-5. User authentication process according to this embodiment]
FIG. 6 is a flowchart showing the flow of the user authentication process executed by the main control unit 34, and the program for executing the user authentication process is stored in advance in a predetermined area of the storage unit 36. The user authentication process according to the present embodiment is executed when the user activates the HMD 12 as an example.

まず、ステップ１００では、認証用オブジェクト２４が認証用表示領域２２Ａに表示されているか否かを判定し、肯定判定の場合はステップ１０２へ移行する。なお、ＨＭＤ１２の起動時には、認証用オブジェクト２４は認証用表示領域２２Ａに表示されていない。このため、ユーザは、頭部を動かす等して、認証用オブジェクト２４を認証用表示領域２２Ａに表示させる。 First, in step 100, it is determined whether or not the authentication object 24 is displayed in the authentication display area 22A, and in the case of an affirmative determination, the process proceeds to step 102. When the HMD 12 is started, the authentication object 24 is not displayed in the authentication display area 22A. Therefore, the user causes the authentication object 24 to be displayed in the authentication display area 22A by moving the head or the like.

ステップ１０２では、認証操作を開始することを示す所定動作をユーザが行ったか否かを認証処理部４２が判定し、肯定判定の場合はステップ１０４へ移行する。なお、肯定判定の場合、認証処理部４２は認証開始報知を行う。 In step 102, the authentication processing unit 42 determines whether or not the user has performed a predetermined operation indicating that the authentication operation is started, and in the case of an affirmative determination, the process proceeds to step 104. In the case of an affirmative determination, the authentication processing unit 42 notifies the start of authentication.

ステップ１０４では、視線検知部３２がユーザ認証のための視線検知を行う。 In step 104, the line-of-sight detection unit 32 performs line-of-sight detection for user authentication.

次のステップ１０６では、認証操作を終了することを示す所定動作をユーザが行ったか否かを認証処理部４２が判定し、肯定判定の場合はステップ１０８へ移行し、否定判定の場合はステップ１０４へ戻る。なお、肯定判定の場合、認証処理部４２は認証終了報知を行う。 In the next step 106, the authentication processing unit 42 determines whether or not the user has performed a predetermined operation indicating that the authentication operation is terminated. If the determination is positive, the process proceeds to step 108, and if the determination is negative, step 104 Return to. In the case of an affirmative determination, the authentication processing unit 42 notifies the end of authentication.

ステップ１０８では、視線検知の結果に基づいて認証を認証処理部４２が実行し、その後ユーザ認証処理を終了する。具体的には、認証用オブジェクト２４に対する視線検知の結果が、登録されている認証用視線情報と一致するか否かにより、認証の成否が判定される。認証に成功した場合、ユーザは、ＨＭＤ１２の操作が可能となる。一方、ユーザ認証に失敗した場合には、ステップ１００に戻り、ユーザ認証処理が再度行われる。 In step 108, the authentication processing unit 42 executes the authentication based on the result of the line-of-sight detection, and then ends the user authentication process. Specifically, the success or failure of the authentication is determined by whether or not the result of the line-of-sight detection for the authentication object 24 matches the registered line-of-sight information for authentication. If the authentication is successful, the user can operate the HMD 12. On the other hand, if the user authentication fails, the process returns to step 100 and the user authentication process is performed again.

以上説明したように、本実施形態に係るＨＭＤ１２は、ユーザの顔の向きを検知する顔向き検知部３０、及びユーザの視線を検知する視線検知部３２を備え、顔向き検知部３０による検知結果に応じて、ディスプレイ１６の画像表示領域２２に表示するオブジェクトを変化させる。そして、ＨＭＤ１２は、認証用オブジェクト２４をユーザの動作に応じて画像表示領域に表示させ、ユーザが視線を認証用オブジェクト２４に合わせたことを視線検知部３２が検知した場合にユーザ認証を行う。 As described above, the HMD 12 according to the present embodiment includes a face orientation detection unit 30 that detects the orientation of the user's face and a line-of-sight detection unit 32 that detects the user's line of sight, and the detection result by the face orientation detection unit 30. The object to be displayed in the image display area 22 of the display 16 is changed accordingly. Then, the HMD 12 displays the authentication object 24 in the image display area according to the user's operation, and performs user authentication when the line-of-sight detection unit 32 detects that the user has aligned the line of sight with the authentication object 24.

このように、本実施形態に係るＨＭＤ１２は、ユーザが自身の頭部を動かすことで認証用オブジェクト２４を探し出し、認証用オブジェクト２４をディスプレイ１６に表示させる。そして、ＨＭＤ１２は、表示させた認証用オブジェクト２４に合わせたユーザの視線を検知することで、ユーザ認証を行うので、よりセキュリィティ性の高い認証を行える。 In this way, the HMD 12 according to the present embodiment searches for the authentication object 24 by the user moving his / her head, and displays the authentication object 24 on the display 16. Then, since the HMD 12 performs the user authentication by detecting the line of sight of the user according to the displayed authentication object 24, the authentication with higher security can be performed.

また、認証用オブジェクト２４は、疑似的にユーザによって移動可能とされてもよい。この形態の場合、例えば、認証用オブジェクト２４が非認証用表示領域２２Ｂに表示されている場合に、疑似的にユーザが手で認証用オブジェクト２４を掴み、認証用オブジェクト２４を認証用表示領域２２Ａに移動させる。認証用オブジェクト２４を掴む操作は、ＨＭＤ１２に接続されているコントローラを介して行われてもよい。 Further, the authentication object 24 may be made movable by the user in a pseudo manner. In the case of this form, for example, when the authentication object 24 is displayed in the non-authentication display area 22B, the user artificially grasps the authentication object 24 by hand and sets the authentication object 24 in the authentication display area 22A. Move to. The operation of grabbing the authentication object 24 may be performed via the controller connected to the HMD 12.

また、複数の認証用オブジェクト２４が画像空間４４に存在していてもよい。この形態の場合、複数の認証用オブジェクト２４のうち、一つのみがユーザ認証に用いるものとして予め登録されている。ユーザは、頭部を動かすことで、登録されている一つの認証用オブジェクト２４を見つけ出し、ディスプレイ１６に表示させることでユーザ認証を行う。 Further, a plurality of authentication objects 24 may exist in the image space 44. In the case of this form, only one of the plurality of authentication objects 24 is registered in advance as being used for user authentication. By moving the head, the user finds one registered authentication object 24 and displays it on the display 16 to perform user authentication.

また、認証用オブジェクト２４は移動してもよい。この形態の場合、例えば、複数の認証用オブジェクト２４が移動しながら、ディスプレイ１６に表示される。ユーザは、頭部を動かすことで、登録されている一つの認証用オブジェクト２４を見つけ出し、ディスプレイ１６に表示させることでユーザ認証を行う。 Further, the authentication object 24 may be moved. In the case of this form, for example, a plurality of authentication objects 24 are displayed on the display 16 while moving. By moving the head, the user finds one registered authentication object 24 and displays it on the display 16 to perform user authentication.

［２．第２実施形態］
以下、本発明の第２実施形態について説明する。 [2. Second Embodiment]
Hereinafter, a second embodiment of the present invention will be described.

［２−１．第２実施形態に係るＨＭＤの構成］ [2-1. Configuration of HMD according to the second embodiment]

本第２実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成は、図１から図３に示す第１実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成と同様であるので説明を省略する。 Since the configurations of the display system 10 and the HMD 12 according to the second embodiment are the same as the configurations of the display system 10 and the HMD 12 according to the first embodiment shown in FIGS. 1 to 3, the description thereof will be omitted.

［２−２．第２実施形態に係るユーザ認証］
本実施形態に係る認証処理部４２は、視線検知部３２による視線検知の結果及び顔向き検知部３０による顔向き検知の結果に基づいてユーザ認証を行う。すなわち、ユーザ認証を成功とする条件は、ユーザが認証用オブジェクト２４を視認することと共に、顔の向きを予め登録された向きとすることである。 [2-2. User authentication according to the second embodiment]
The authentication processing unit 42 according to the present embodiment performs user authentication based on the result of the line-of-sight detection by the line-of-sight detection unit 32 and the result of the face orientation detection by the face orientation detection unit 30. That is, the condition for successful user authentication is that the user visually recognizes the authentication object 24 and the orientation of the face is set to the pre-registered orientation.

予め登録された向きとは、例えば、上、下、右、左である。図７の例では、顔向き検知部３０によって検知された顔の方向と視線検知部３２によって検知された視線の方向とが逆向きになった場合に認証成功とする。 The pre-registered orientations are, for example, up, down, right, left. In the example of FIG. 7, authentication is successful when the direction of the face detected by the face orientation detection unit 30 and the direction of the line of sight detected by the line-of-sight detection unit 32 are opposite to each other.

これにより、本実施形態に係るＨＭＤ１２は、よりセキュリティ性の高いユーザ認証が可能となる。 As a result, the HMD 12 according to the present embodiment can perform user authentication with higher security.

［３．第３実施形態］
以下、本発明の第３実施形態について説明する。 [3. Third Embodiment]
Hereinafter, a third embodiment of the present invention will be described.

［３−１．第３実施形態に係るＨＭＤの構成］ [3-1. Configuration of HMD according to the third embodiment]

本実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成は、図１及び図２に示す第１実施形態に係るディスプレイシステム１０及びＨＭＤ１２の構成と同様であるので説明を省略する。 Since the configurations of the display system 10 and the HMD 12 according to the present embodiment are the same as the configurations of the display system 10 and the HMD 12 according to the first embodiment shown in FIGS. 1 and 2, the description thereof will be omitted.

本実施形態に係るＨＭＤ１２がディスプレイ１６に表示させる画像は、ＡＲである。このため、詳細を後述するカメラ５６がＨＭＤ１２の前面に備えられ、ＨＭＤ１２を装着したユーザの周囲（以下「実空間」という。）を撮像した画像（以下「実空間画像」という）を取得する。ディスプレイ１６には実空間画像と共にオブジェクトが表示されることで、ＡＲが実現される。 The image displayed on the display 16 by the HMD 12 according to the present embodiment is AR. Therefore, a camera 56, which will be described in detail later, is provided on the front surface of the HMD 12 to acquire an image (hereinafter referred to as a “real space image”) of the surroundings of the user wearing the HMD 12 (hereinafter referred to as “real space”). AR is realized by displaying an object on the display 16 together with a real space image.

［３−２．第３実施形態に係るユーザ認証］
本実施形態に係るＨＭＤ１２は、図８に示されるように、予め登録されている識別体（以下「登録識別体」という。）５０がディスプレイ１６に表示された場合に、認証用オブジェクト２４をディスプレイ１６に表示する。登録識別体５０は、例えば実在する物体等であり、登録識別体５０を特定するための形状や色等の特徴部分が記憶部３６に記憶されている。登録識別体５０の特徴部分は、登録識別体５０を登録する場合に取得した実空間画像に対して画像解析を行うことで抽出される。 [3-2. User authentication according to the third embodiment]
As shown in FIG. 8, the HMD 12 according to the present embodiment displays the authentication object 24 when the pre-registered identification body (hereinafter referred to as “registered identification body”) 50 is displayed on the display 16. Display on 16. The registered identification body 50 is, for example, an existing object or the like, and characteristic portions such as a shape and a color for identifying the registered identification body 50 are stored in the storage unit 36. The characteristic portion of the registered identification body 50 is extracted by performing image analysis on the real space image acquired when the registration identification body 50 is registered.

図８の例では、登録識別体５０は、机５２に載置されたモニタ５４であり、このモニタ５４がディスプレイ１６に表示された場合に、認証用オブジェクト２４がディスプレイ１６に表示される。換言すると、認証用オブジェクト２４の初期位置が実空間において予め定められている。すなわち、登録識別体５０が認証用表示領域２２Ａに表示されるまで、認証用オブジェクト２４は画像空間内には存在しない。このため、登録識別体５０がディスプレイ１６に表示されていない場合、ユーザは、頭部を動かすことによって登録識別体５０をディスプレイ１６に表示させる。 In the example of FIG. 8, the registration identification body 50 is a monitor 54 mounted on the desk 52, and when the monitor 54 is displayed on the display 16, the authentication object 24 is displayed on the display 16. In other words, the initial position of the authentication object 24 is predetermined in the real space. That is, the authentication object 24 does not exist in the image space until the registered identification body 50 is displayed in the authentication display area 22A. Therefore, when the registered identification body 50 is not displayed on the display 16, the user causes the registered identification body 50 to be displayed on the display 16 by moving the head.

なお、図８に示される登録識別体５０は、一例であり、時計や窓等、他の物体であってもよいが、実空間において位置が変化しない物体が好ましい。また、図８の例では、認証用オブジェクト２４が登録識別体５０に重ね合わされて表示されるが、必ずしも重ね合わされる必要はない。 The registered identification body 50 shown in FIG. 8 is an example, and may be another object such as a clock or a window, but an object whose position does not change in the real space is preferable. Further, in the example of FIG. 8, the authentication object 24 is displayed superimposed on the registered identification body 50, but it does not necessarily have to be superimposed.

認証用オブジェクト２４がディスプレイ１６に表示された場合、ユーザは、認証用表示領域２２Ａに認証用オブジェクト２４が表示されるように頭部を動かす。ユーザは、認証用オブジェクト２４を認証用表示領域２２Ａに表示させた後、視線を認証用オブジェクト２４に合わせることでユーザ認証を行う。 When the authentication object 24 is displayed on the display 16, the user moves his / her head so that the authentication object 24 is displayed in the authentication display area 22A. After displaying the authentication object 24 in the authentication display area 22A, the user authenticates the user by aligning the line of sight with the authentication object 24.

なお、認証用オブジェクト２４がディスプレイ１６に表示された後に、ユーザが頭部を動かすことで、登録識別体５０がディスプレイ１６に表示されなくなった場合、ＨＭＤ１２は、表示されていた認証用オブジェクト２４を非表示としてもよいし、そのまま認証用オブジェクト２４を表示し続け、ユーザ認証を可能としてもよい。 If the user moves the head after the authentication object 24 is displayed on the display 16 and the registered identification body 50 is no longer displayed on the display 16, the HMD 12 displays the displayed authentication object 24. It may be hidden, or the authentication object 24 may be continuously displayed as it is to enable user authentication.

図９は、本実施形態に係るＨＭＤ１２の電気的構成を示す機能ブロック図である。なお、図９における図３と同一の構成部分については図３と同一の符号を付して、その説明を省略する。 FIG. 9 is a functional block diagram showing an electrical configuration of the HMD 12 according to the present embodiment. The same components as those in FIG. 9 in FIG. 9 are designated by the same reference numerals as those in FIG. 3, and the description thereof will be omitted.

カメラ５６は、ＨＭＤ１２の前面に備えられ、ユーザの周囲を撮像した実空間画像を取得する。 The camera 56 is provided on the front surface of the HMD 12 and acquires a real space image of the surroundings of the user.

画像表示制御部４０は、カメラ５６によって取得された実空間画像をリアルタイムでディスプレイ１６に表示させると共に、実在しない画像（オブジェクト）を実空間画像に重ね合わせてディスプレイ１６に表示させる。 The image display control unit 40 displays the real space image acquired by the camera 56 on the display 16 in real time, and superimposes a non-existent image (object) on the real space image to display it on the display 16.

カメラ画像解析部５８は、実空間画像に対して画像解析等を行う等することで、カメラ５６によって撮像された物体を特定する。すなわち、実空間画像は、ディスプレイ１６に表示されながら画像解析が行われる。 The camera image analysis unit 58 identifies an object captured by the camera 56 by performing image analysis or the like on a real space image. That is, the real space image is image-analyzed while being displayed on the display 16.

認証処理部４２は、カメラ画像解析部５８によって特定された物体と登録識別体５０とが一致するか否かを画像マッチング等により判定する。すなわち、認証処理部４２は、実空間画像に登録識別体５０とマッチングした物体が含まれている場合に、ディスプレイ１６に登録識別体５０が表示されていると判定し、認証用オブジェクト２４をディスプレイ１６に表示させる。 The authentication processing unit 42 determines whether or not the object specified by the camera image analysis unit 58 and the registered discriminator 50 match or not by image matching or the like. That is, when the real space image contains an object that matches the registered identification body 50, the authentication processing unit 42 determines that the registered identification body 50 is displayed on the display 16 and displays the authentication object 24. Display on 16.

図１０は、本実施形態に係るユーザ認証処理の流れを示すフローチャートである。なお、図１０における図６と同一のステップについては図６と同一の符号を付して、その説明を一部又は全部省略する。 FIG. 10 is a flowchart showing the flow of the user authentication process according to the present embodiment. The same steps as those in FIG. 6 in FIG. 10 are designated by the same reference numerals as those in FIG. 6, and some or all of the description thereof will be omitted.

まず、ステップ２００では、登録識別体５０がディスプレイ１６に表示されたか否か、換言すると、カメラ５６によって登録識別体が撮像されたか否かを認証処理部４２が判定し、肯定判定の場合はステップ２０２へ移行する。なお、ＨＭＤ１２が透過型であり、本ステップ２００で肯定判定となる場合は、実在する登録識別体５０がカメラ５６の撮像範囲の所定領域（例えば中央領域）で撮像され、ディスプレイ１６を透過した登録識別体５０をユーザが直接視認している状態である。すなわち、ＨＭＤ１２が透過型の場合は、カメラ５６が撮像した画像はディスプレイ１６に表示されなくてもよい。 First, in step 200, the authentication processing unit 42 determines whether or not the registered identification body 50 is displayed on the display 16, in other words, whether or not the registered identification body is imaged by the camera 56, and in the case of an affirmative determination, step 2. Move to 202. If the HMD 12 is a transmissive type and a positive determination is made in this step 200, the existing registration discriminator 50 is imaged in a predetermined region (for example, the central region) of the imaging range of the camera 56, and the registration is transmitted through the display 16. This is a state in which the user directly visually recognizes the identification body 50. That is, when the HMD 12 is a transmissive type, the image captured by the camera 56 does not have to be displayed on the display 16.

ステップ２０２では、認証用オブジェクト２４を認証処理部４２がディスプレイ１６に表示させてステップ１００へ移行する。 In step 202, the authentication processing unit 42 displays the authentication object 24 on the display 16 and proceeds to step 100.

ステップ１００からステップ１０８では、第１実施形態に係るユーザ認証処理と同様の処理を行う。ユーザ認証に失敗した場合には、ステップ２００に戻り、ユーザ認証処理が再度行われる。 In steps 100 to 108, the same process as the user authentication process according to the first embodiment is performed. If the user authentication fails, the process returns to step 200 and the user authentication process is performed again.

以上説明したように、本実施形態に係るＨＭＤ１２は、ディスプレイ１６に実空間画像と共にオブジェクトを表示することで、ＡＲを実現するものであり、登録識別体５０がディスプレイ１６に表示された場合に、認証用オブジェクト２４をディスプレイ１６に表示する。 As described above, the HMD 12 according to the present embodiment realizes AR by displaying an object together with a real space image on the display 16, and when the registered identification body 50 is displayed on the display 16. The authentication object 24 is displayed on the display 16.

これにより、本実施形態に係るＨＭＤ１２は、よりセキュリティ性の高いユーザ認証が可能となる。 As a result, the HMD 12 according to the present embodiment can perform user authentication with higher security.

なお、登録識別体５０は、予め複数が登録されており、ユーザ認証毎や所定日数毎等にユーザ認証に用いられる登録識別体５０が変更されてもよい。ユーザ認証に用いる登録識別体５０が変化する場合には、予め登録されているユーザのメールアドレス等に、変更された登録識別体５０に関する情報が通知される。 A plurality of registered identification bodies 50 are registered in advance, and the registration identification body 50 used for user authentication may be changed every user authentication, every predetermined number of days, or the like. When the registered identification body 50 used for user authentication changes, the information about the changed registration identification body 50 is notified to the e-mail address or the like of the user registered in advance.

また、登録識別体５０は、モニタ５４等の物体に限らず、例えばバーコードやＱＲコード（登録商標）等の識別コードや予め定められた画像等であってもよい。これら識別コードや画像は、紙等に印刷されたものであってもよいし、パソコンのモニタや携帯情報端末等に表示されたものであってもよい。 Further, the registered identification body 50 is not limited to an object such as a monitor 54, and may be, for example, an identification code such as a barcode or a QR code (registered trademark), a predetermined image, or the like. These identification codes and images may be printed on paper or the like, or may be displayed on a monitor of a personal computer, a personal digital assistant, or the like.

また、登録識別体５０は、実在する物体ではなく、ディスプレイ１６に表示される仮想の物体でもよい。この形態の場合、ユーザは、ＶＲ空間内で登録識別体５０まで移動し、ディスプレイ１６に表示させたり、ＶＲ空間内で登録識別体５０を把持してディスプレイ１６に表示させる。 Further, the registered identification body 50 may be a virtual object displayed on the display 16 instead of an existing object. In the case of this form, the user moves to the registered identification body 50 in the VR space and displays it on the display 16, or grasps the registered identification body 50 in the VR space and displays it on the display 16.

また、実在又は仮想の登録識別体５０そのものが認証用オブジェクト２４であってもよい。この場合、登録識別体５０が認証用表示領域２２Ａに表示された場合に、ユーザ認証が行われる。また、ＨＭＤ１２が透過型の場合は、実在する登録識別体５０がカメラ５６の撮像範囲の所定領域（例えば中央領域）で撮像された場合に、ユーザ認証が行われてもよい。 Further, the real or virtual registered identification body 50 itself may be the authentication object 24. In this case, user authentication is performed when the registered identification body 50 is displayed in the authentication display area 22A. Further, when the HMD 12 is a transmissive type, user authentication may be performed when an existing registered identification body 50 is imaged in a predetermined area (for example, a central area) of the image pickup range of the camera 56.

［４．他の実施形態］
以上、本発明を、上記各実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記各実施形態に多様な変更又は改良を加えることができ、変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記各実施形態を適宜組み合わせてもよい。 [4. Other embodiments]
Although the present invention has been described above using each of the above embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. Various changes or improvements can be made to each of the above embodiments without departing from the gist of the invention, and the modified or improved forms are also included in the technical scope of the present invention. In addition, each of the above embodiments may be combined as appropriate.

例えば、上記各実施形態では、ＨＭＤ１２が認証処理部４２を備える形態について説明したが、本発明は、これに限定されるものではなく、サーバ１４が認証処理部４２を備える形態としてもよい。この形態の場合、ＨＭＤ１２がユーザ認証のために検知した検知結果がサーバ１４へ送信され、サーバ１４は、受信した検知結果に基づいてユーザ認証を行い、認証結果をＨＭＤ１２へ送信する。 For example, in each of the above embodiments, the mode in which the HMD 12 includes the authentication processing unit 42 has been described, but the present invention is not limited to this, and the server 14 may include the authentication processing unit 42. In the case of this form, the detection result detected by the HMD 12 for user authentication is transmitted to the server 14, the server 14 performs user authentication based on the received detection result, and transmits the authentication result to the HMD 12.

また、上記各実施形態では、本発明に係る認証をＨＭＤ１２の起動時に行われるユーザ認証に適用する形態について説明したが、本発明は、これに限定されるものではなく、例えば、ＨＭＤ１２で実行されるソフトウェアの起動時に行われるユーザ認証に適用されてもよい。また、ＨＭＤ１２で実行されるゲーム内における認証に適用されてもよい。ゲームの認証に適用される形態では、ＨＭＤ１２は、認証用オブジェクト２４に視線が合わされたことを検知した場合に認証を行い、認証に成功した場合に予め定められたイベントが発生する等してもよい。 Further, in each of the above embodiments, the embodiment in which the authentication according to the present invention is applied to the user authentication performed at the time of starting the HMD 12 has been described, but the present invention is not limited to this, and is executed by, for example, the HMD 12. It may be applied to user authentication performed at the time of starting the software. It may also be applied to in-game authentication performed by HMD 12. In the form applied to the authentication of the game, the HMD 12 authenticates when it detects that the line of sight is aligned with the authentication object 24, and even if a predetermined event occurs when the authentication is successful. Good.

また、第１実施形態及び第２実施形態では、ＨＭＤ１２がＶＲを表示する形態について説明したが、本発明は、これに限定されるものではなく、ＨＭＤ１２がＡＲを表示する形態としてもよい。 Further, in the first embodiment and the second embodiment, the mode in which the HMD 12 displays VR has been described, but the present invention is not limited to this, and the HMD 12 may display AR.

また、上記各実施形態で説明したユーザ認証処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。 Further, the flow of the user authentication process described in each of the above embodiments is also an example, and unnecessary steps can be deleted, new steps can be added, or the process order can be changed within a range not deviating from the gist of the present invention. You may.

１２ ＨＭＤ（頭部装着ディスプレイ装置）
１６ ディスプレイ
２２ 画像表示領域
２２Ａ 認証用表示領域
２４ 認証用オブジェクト
３０ 顔向き検知部（顔向き検知手段）
３２ 視線検知部（視線検知手段）
４０ 画像表示制御部（画像表示制御手段）
４２ 認証処理部（認証手段） 12 HMD (Head-mounted display device)
16 Display 22 Image display area 22A Authentication display area 24 Authentication object 30 Face orientation detection unit (face orientation detection means)
32 Line-of-sight detection unit (line-of-sight detection means)
40 Image display control unit (image display control means)
42 Authentication processing unit (authentication means)

Claims (6)

ユーザが頭部に装着するディスプレイ装置であって、
前記ユーザの視線を検知する視線検知手段と、
ユーザ認証に用いる認証用オブジェクトの初期位置として前記認証用オブジェクトをディスプレイの認証用領域の外に表示する画像表示制御手段と、
前記認証用オブジェクトが前記認証用領域の外にある場合に、ユーザ認証操作を不可とし、
前記ユーザの操作により前記認証用オブジェクトが前記認証用領域に移動された場合に、前記ユーザ認証操作を可能とし、
前記ユーザ認証操作が可能な場合に、前記ユーザの視線に基づいた前記ユーザ認証を実行する認証手段と、
を備えるディスプレイ装置。 A display device worn by the user on the head
The line-of-sight detection means for detecting the user's line of sight,
An image display control means for displaying the authentication object outside the authentication area of the display as an initial position of the authentication object used for user authentication.
When the authentication object is outside the authentication area, the user authentication operation is disabled.
When the authentication object is moved to the authentication area by the user's operation, the user authentication operation is enabled.
An authentication means that executes the user authentication based on the line of sight of the user when the user authentication operation is possible, and
Display device. 前記ユーザの顔の向きを検知する顔向き検知手段を備え、
前記画像表示制御手段は、検知された前記ユーザの顔の向きに応じて、前記ディスプレイの画像表示領域を移動させ、前記認証用オブジェクトを移動させる制御を行う、
請求項１に記載のディスプレイ装置。 A face orientation detecting means for detecting the orientation of the user's face is provided.
The image display control means controls to move the image display area of the display and move the authentication object according to the detected face orientation of the user.
The display device according to claim 1. 前記画像表示制御手段は、前記ディスプレイの画像表示領域を認証領域とし、前記画像表示領域外を非認証領域とする
請求項１又は２に記載のディスプレイ装置。 The display device according to claim 1 or 2, wherein the image display control means has an image display area of the display as an authentication area and an area outside the image display area as a non-authentication area. 前記画像表示制御手段は、前記ディスプレイの前記画像表示領域に含まれる複数の領域のうち、少なくとも一部の領域を非認証領域とする
請求項２に記載のディスプレイ装置。 The image display control means sets at least a part of the plurality of areas included in the image display area of the display as an unauthenticated area.
The display device according to claim 2 . ユーザが頭部に装着するディスプレイ装置におけるユーザの認証方法であって、
前記ディスプレイ装置が、
視線検知手段と、画像表示制御手段と、認証手段とを備え、
前記視線検知手段が、前記ユーザの視線を検知するステップと、
前記画像表示制御手段が、ユーザ認証に用いる認証用オブジェクトの初期位置として前記認証用オブジェクトをディスプレイの認証用領域の外に表示するステップと、
前記認証手段が、
前記認証用オブジェクトが前記認証用領域の外にある場合に、ユーザ認証操作を不可とし、
前記ユーザの操作により前記認証用オブジェクトが前記認証用領域に移動された場合に、前記ユーザ認証操作を可能とし、
前記ユーザ認証操作が可能な場合に、前記ユーザの視線に基づいた前記ユーザ認証を実行するステップと、
を有する認証方法。 A method of authenticating a user in a display device worn by the user on the head.
The display device
It is provided with a line-of-sight detection means, an image display control means, and an authentication means.
The visual axis detecting means, the steps of detecting the line of sight of the user,
The image display control means displaying said authentication object as initial position of the authentication object used for user authentication to the outside of the authentication region of the displays,
The authentication means
If the previous SL authentication object is outside of the authentication area, and disable the user authentication operation,
When the authentication object is moved to the authentication area by the user's operation, the user authentication operation is enabled.
When the user authentication operation is possible, the step of executing the user authentication based on the line of sight of the user, and
Authentication method with. ユーザが頭部に装着するディスプレイ装置が有するコンピュータに実行される認証プログラムであって、
前記ユーザの視線を検知する視線検知手段と、
ユーザ認証に用いる認証用オブジェクトの初期位置として前記認証用オブジェクトをディスプレイの認証用領域の外に表示する画像表示制御手段と、
前記認証用オブジェクトが前記認証用領域の外にある場合に、ユーザ認証操作を不可とし、
前記ユーザの操作により前記認証用オブジェクトが前記認証用領域に移動された場合に、前記ユーザ認証操作を可能とし、
前記ユーザ認証操作が可能な場合に、前記ユーザの視線に基づいた前記ユーザ認証を実行する認証手段と、を前記コンピュータに実行させる認証プログラム。 An authentication program executed on a computer of a display device worn by a user on the head.
The line-of-sight detection means for detecting the user's line of sight,
An image display control means for displaying the authentication object outside the authentication area of the display as an initial position of the authentication object used for user authentication.
When the authentication object is outside the authentication area, the user authentication operation is disabled.
When the authentication object is moved to the authentication area by the user's operation, the user authentication operation is enabled.
An authentication program that causes the computer to execute an authentication means that executes the user authentication based on the line of sight of the user when the user authentication operation is possible.
JP2017084596A 2017-04-21 2017-04-21 Display device, authentication method, and authentication program Active JP6789170B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017084596A JP6789170B2 (en) 2017-04-21 2017-04-21 Display device, authentication method, and authentication program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017084596A JP6789170B2 (en) 2017-04-21 2017-04-21 Display device, authentication method, and authentication program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020182102A Division JP7045633B2 (en) 2020-10-30 2020-10-30 Head-mounted display device, authentication method, and authentication program

Publications (2)

Publication Number Publication Date
JP2018181256A JP2018181256A (en) 2018-11-15
JP6789170B2 true JP6789170B2 (en) 2020-11-25

Family

ID=64275695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017084596A Active JP6789170B2 (en) 2017-04-21 2017-04-21 Display device, authentication method, and authentication program

Country Status (1)

Country Link
JP (1) JP6789170B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885231B (en) * 2019-02-27 2021-07-02 北京市商汤科技开发有限公司 Display method and device, electronic equipment and storage medium
CN111967293A (en) * 2020-06-22 2020-11-20 云知声智能科技股份有限公司 Face authentication method and system combining voiceprint recognition and attention detection
KR102472956B1 (en) * 2020-08-25 2022-12-01 네이버 주식회사 Method and ststem for user authentication
JP7158781B1 (en) 2021-11-29 2022-10-24 クラスター株式会社 Terminal device, server, virtual reality space providing system, program, and virtual reality space providing method
WO2024029720A1 (en) * 2022-08-03 2024-02-08 삼성전자주식회사 Device and method for authenticating user in augmented reality

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061647A1 (en) * 2012-11-02 2017-03-02 Thad Eugene Starner Biometric Based Authentication for Head-Mountable Displays
JP2014092941A (en) * 2012-11-02 2014-05-19 Sony Corp Information processor and information processing method and computer program
JP2014092940A (en) * 2012-11-02 2014-05-19 Sony Corp Image display device and image display method and computer program
JP6211808B2 (en) * 2013-06-05 2017-10-11 富士機械製造株式会社 Substrate production support system
JP6272688B2 (en) * 2013-12-18 2018-01-31 マイクロソフト テクノロジー ライセンシング，エルエルシー User authentication on display devices
JP6701631B2 (en) * 2015-06-22 2020-05-27 セイコーエプソン株式会社 Display device, display device control method, display system, and program
JP6300705B2 (en) * 2014-11-19 2018-03-28 キヤノン株式会社 Authentication management method by device cooperation, information processing device, wearable device, computer program
JP2017049738A (en) * 2015-09-01 2017-03-09 株式会社コロプラ Program for controlling head-mounted display system

Also Published As

Publication number Publication date
JP2018181256A (en) 2018-11-15

Similar Documents

Publication Publication Date Title
JP6789170B2 (en) Display device, authentication method, and authentication program
KR102422372B1 (en) Authentication method and device using biometric information and context information
KR102223278B1 (en) Glass type terminal and control method thereof
KR101688168B1 (en) Mobile terminal and method for controlling the same
US8659433B2 (en) Locking mechanism based on unnatural movement of head-mounted display
US20140126782A1 (en) Image display apparatus, image display method, and computer program
WO2016013269A1 (en) Image display device, image display method, and computer program
US20140282911A1 (en) System and Method for Providing Secure Data for Display Using Augmented Reality
US11062015B2 (en) Authentication management method, information processing apparatus, wearable device, and computer program
WO2015194017A1 (en) Wearable device and authentication method
WO2020036821A1 (en) Identification method and apparatus and computer-readable storage medium
JP2017009777A (en) Display device, control method of display device, display system and program
WO2016117061A1 (en) Wearable terminal and information processing system using same
US20230308873A1 (en) Systems and methods for user authenticated devices
JP7045633B2 (en) Head-mounted display device, authentication method, and authentication program
WO2023230291A2 (en) Devices, methods, and graphical user interfaces for user authentication and device management
WO2023164268A1 (en) Devices, methods, and graphical user interfaces for authorizing a secure operation
CN118202347A (en) Face recognition and/or authentication system with monitoring and/or control camera cycling
US20220114248A1 (en) Device access using a head-mounted device
JP2022163813A (en) Wearable information terminal, control method for the same, and program
CN105528536B (en) Electronic equipment and information processing method
JP6403975B2 (en) Confidential information input system and program
JP6778150B2 (en) Head-mounted display device, authentication method, and authentication program
WO2015093221A1 (en) Electronic device and program
WO2023144929A1 (en) Authentication system, authentication device, authentication method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201102

R150 Certificate of patent or registration of utility model

Ref document number: 6789170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250