KR102193636B1 - User authentication on display device - Google Patents

User authentication on display device Download PDF

Info

Publication number
KR102193636B1
KR102193636B1 KR1020130158797A KR20130158797A KR102193636B1 KR 102193636 B1 KR102193636 B1 KR 102193636B1 KR 1020130158797 A KR1020130158797 A KR 1020130158797A KR 20130158797 A KR20130158797 A KR 20130158797A KR 102193636 B1 KR102193636 B1 KR 102193636B1
Authority
KR
South Korea
Prior art keywords
user
display
augmented reality
authentication
sensor
Prior art date
Application number
KR1020130158797A
Other languages
Korean (ko)
Other versions
KR20150071592A (en
Inventor
마이크 스카브제
제이슨 스코트
조나단 스티드
이안 맥클린타이어
아론 크라우스
다니엘 맥컬로치
스티븐 라타
케빈 제이스너
브라이언 마운트
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority to KR1020130158797A priority Critical patent/KR102193636B1/en
Publication of KR20150071592A publication Critical patent/KR20150071592A/en
Priority claimed from KR1020200173166A external-priority patent/KR102312900B1/en
Application granted granted Critical
Publication of KR102193636B1 publication Critical patent/KR102193636B1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type, eyeglass details G02C

Abstract

디스플레이 장치의 사용자를 인증하는 것과 관련된 실시예가 개시된다. 가령, 일 실시예는 디스플레이 장치 상에 하나 이상의 가상 이미지를 디스플레이하는 것을 포함하되, 하나 이상의 가상 이미지는 증강 현실 피처들의 세트를 포함하고 있다. 일 실시예의 방법은 또한 디스플레이 장치의 센서로부터 수신되는 데이터를 통해 상기 사용자의 하나 이상의 움직임을 식별하는 것과, 사용자 인증을 상기 증강 현실 피처들의 사전정의된 순서에 링크시키는 사용자를 위한 사전정의된 인증 정보의 세트와 상기 사용자의 상기 식별된 움직임을 비교하는 것을 포함한다. 만약 사용자가 사전정의된 순서의 증강 현실 피처들을 선택했음을 상기 식별된 움직임이 나타내면, 상기 사용자는 인증되고, 만약 상기 사용자가 사전정의된 순서의 증강 현실 피처들을 선택하지 않았음을 상기 식별된 움직임이 나타내면, 상기 사용자는 인증되지 않는다.An embodiment related to authenticating a user of a display device is disclosed. For example, one embodiment includes displaying one or more virtual images on a display device, wherein the one or more virtual images include a set of augmented reality features. The method of an embodiment further includes identifying one or more movements of the user via data received from a sensor of a display device, and predefined authentication information for a user linking user authentication to a predefined order of the augmented reality features. And comparing the identified movement of the user with the set of. If the identified movement indicates that the user has selected augmented reality features in a predefined order, the user is authenticated, and the identified movement indicates that the user has not selected augmented reality features in a predefined order. If indicated, the user is not authenticated.

Figure R1020130158797
Figure R1020130158797

Description

디스플레이 장치 상의 사용자 인증{USER AUTHENTICATION ON DISPLAY DEVICE}User authentication on display device {USER AUTHENTICATION ON DISPLAY DEVICE}

장치, 특정 프로그램, 애플리케이션, 데이터, 웹 사이트 등과 같은 제한된 피처(feature)에 액세스하기 위해, 사용자가 제한된 피처에 액세스하기 위한 허가를 가지는 것을 인증하도록 컴퓨팅 장치 사용자에게 패스워드를 입력하게 할 수 있다. 이러한 패스워드는 사용자가 키패드 상에 입력할 수 있는 일련의 문자 및/또는 숫자를 빈번하게 포함한다. 또한, 인증은 지문 스캔, 망막 스캔과 같은 바이오메트릭 데이터를 통해 수행될 수 있다.
In order to access restricted features such as devices, specific programs, applications, data, web sites, and the like, the computing device user may be prompted to enter a password to authenticate that the user has permission to access the restricted features. Such passwords frequently contain a series of letters and/or numbers that the user can enter on the keypad. In addition, authentication may be performed through biometric data such as fingerprint scan and retina scan.

디스플레이 장치의 사용자를 인증하는 실시예가 개시된다. 예컨대, 개시된 실시예는 디스플레이 장치 상에 하나 이상의 가상 이미지를 디스플레이하는 단계를 포함하는 방법을 제공하며, 여기서 상기 하나 이상의 가상 이미지는 증강 현실 피처(augmented reality features)의 세트를 포함한다. 상기 방법은 디스플레이 장치의 센서로부터 수신된 데이터를 통해 사용자의 하나 이상의 움직임을 식별하는 단계와, 증강 현실 피처의 사전 정의된 순서에 사용자 인증을 링크시키는 사용자에 대한 인증 정보의 사전 정의된 세트와 사용자의 상기 식별된 움직임을 비교하는 단계를 더 포함한다. 사용자가 사전 정의된 순서로 증강 현실 피처를 선택했음을 상기 식별된 움직임이 나타내면 사용자는 인증되고, 또한 사용자가 사전 정의된 순서로 증강 현실 피처를 선택하지 않았음을 상기 식별된 움직임이 나타내면 사용자는 인증되지 않는다. An embodiment of authenticating a user of a display device is disclosed. For example, disclosed embodiments provide a method comprising displaying one or more virtual images on a display device, wherein the one or more virtual images comprise a set of augmented reality features. The method comprises the steps of identifying one or more movements of a user through data received from a sensor of a display device, and a user and a predefined set of authentication information for a user linking user authentication to a predefined order of augmented reality features. And comparing the identified motions of. If the identified movement indicates that the user has selected augmented reality features in a predefined order, the user is authenticated, and if the identified movement indicates that the user has not selected augmented reality features in a predefined order, the user is authenticated It doesn't work.

본 요약부는 상세한 설명에서 이후에 추가로 설명되는 개념에 대한 선택을 단순화된 형태로 도입하도록 제공된다. 본 요약부는 청구대상의 주된 사항 또는 핵심 사항을 식별하기 위한 것도 아니며 청구대상의 범위를 제한하는 데 사용되는 것도 아니다. 또한, 청구대상은 본 명세서의 임의의 부분에 공지된 모든 또는 임의의 단점을 해소하는 구현예에 한정되지 않는다.
This summary is provided to introduce in a simplified form a selection of concepts that are further described later in the detailed description. This summary is not intended to identify the main or key points of the claimed subject matter, nor is it used to limit the scope of the subject matter. Further, the subject matter is not limited to implementations which obviate all or any disadvantages known in any part of this specification.

도 1은 본 발명에 따른 디스플레이의 실시예에 관한 예시적인 사용자 환경의 개략도를 나타낸다.
도 2는 증강 현실 피처의 세트에 대한 2개의 예시적인 실시예를 개략적으로 나타낸다.
도 3은 디스플레이 장치의 예시적인 실시예를 개략적으로 나타낸다.
도 4는 도 3의 디스플레이 장치의 블록도이다.
도 5는 본 발명의 실시예에 따라 사용자를 인증하는 방법을 나타내는 흐름도이다.
도 6은 본 발명의 다른 실시예에 따라 사용자를 인증하는 방법을 나타내는 흐름도이다.
도 7은 예시적인 컴퓨팅 시스템을 개략적으로 나타낸다.
1 shows a schematic diagram of an exemplary user environment for an embodiment of a display according to the present invention.
2 schematically shows two exemplary embodiments for a set of augmented reality features.
3 schematically shows an exemplary embodiment of a display device.
4 is a block diagram of the display device of FIG. 3.
5 is a flowchart illustrating a method of authenticating a user according to an embodiment of the present invention.
6 is a flowchart illustrating a method of authenticating a user according to another embodiment of the present invention.
7 schematically shows an exemplary computing system.

사용자에게 배경 화면의 증강 현실 뷰를 제시하는 데 두부 장착형 디스플레이(Head-mounted display; HMD) 장치가 사용될 수 있다. 또한, HMD 장치는 사용자가 다양한 프로그램, 데이터, 및 다른 리소스들에 액세스하도록 할 수 있다. 제한된 리소스에 사용자 액세스를 부여하거나 혹은 사용자가 HMD 장치를 사용하기 위한 허가를 갖는 것을 보장하기 위해, HMD 장치에 의해 디스플레이되는 증강 현실 이미지들에 응답하여 HMD 장치의 하나 이상의 입력 메카니즘을 통해 수신되는 입력에 의해 사용자가 인증될 수 있다. A head-mounted display (HMD) device may be used to present an augmented reality view of the background screen to the user. In addition, the HMD device may allow a user to access various programs, data, and other resources. Input received through one or more input mechanisms of the HMD device in response to augmented reality images displayed by the HMD device to grant user access to limited resources or to ensure that the user has permission to use the HMD device. The user can be authenticated by

이들 실시예를 상세하게 논의하기 전에, 비제한의 사용자 시나리오를 도 1을 참조하여 설명한다. 보다 구체적으로, 도 1은 두부 장착형의 디스플레이 장치(104)의 실시예에 관한 사용자 환경의 예시적인 실시예를 도시하고, 여기서 환경(100)은 거실의 형태를 취한다. 사용자(106)는 두부 장착형의 디스플레이 장치(104)를 통해 거실을 보고 있다. 또한 도 1은 디스플레이 장치(104)를 통해 볼 수 있는 환경의 일부를 포함하는 사용자 시야(102)를 나타내고, 그에 따라 환경의 일부는 디스플레이 장치(104)를 통해 디스플레이되는 이미지들로 증강될 수 있다. 일부 실시예에서, 사용자 시야(102)는 실질적으로 사용자의 실제 가시 범위와 동일한 공간에 걸쳐 있을 수 있고, 이와 달리 다른 실시예에서는 사용자 시야(102)는 사용자의 실제 가시 범위의 보다 적은 부분을 차지할 수 있다. Before discussing these embodiments in detail, a non-limiting user scenario is described with reference to FIG. 1. More specifically, FIG. 1 shows an exemplary embodiment of a user environment related to an embodiment of a head mounted display device 104, wherein the environment 100 takes the form of a living room. The user 106 is viewing the living room through the head mounted display device 104. In addition, FIG. 1 shows a user's field of view 102 including a part of the environment viewable through the display device 104, and thus a part of the environment can be augmented with images displayed through the display device 104. . In some embodiments, the user field of view 102 may substantially span the same space as the user's actual field of view, whereas in other embodiments, the user field of view 102 may occupy a smaller portion of the user's actual field of view. I can.

이하에서 보다 상세히 설명되는 바와 같이, 디스플레이 장치(104)는 사용자가 환경을 네비게이팅함에 따라 사용자 인증 환경(100)을 나타내는 이미지 데이터(예컨대, 컬러/그레이스케일 이미지, 깊이 이미지/포인트 클라우드 데이터, 등)을 획득하도록 구성된 하나 이상의 외향(outwardly facing) 이미지 센서(예컨대, 2차원 카메라 및/또는 깊이 카메라)를 포함할 수 있다. 이러한 이미지 데이터는 환경의 레이아웃(예컨대, 3차원 표면 맵, 등) 및 책장(108), 문(110), 창문(112), 및 소파(114)와 같이 환경에 포함된 객체에 관한 정보를 획득하는 데 사용될 수 있다. As described in more detail below, the display device 104 provides image data representing the user authentication environment 100 as the user navigates the environment (e.g., color/grayscale image, depth image/point cloud data, etc.). ), configured to acquire one or more outwardly facing image sensors (eg, two-dimensional cameras and/or depth cameras). This image data acquires information about the layout of the environment (eg, a three-dimensional surface map, etc.) and objects included in the environment such as the bookcase 108, the door 110, the window 112, and the sofa 114. Can be used to

디스플레이 장치(104)는 사용자 시야(102) 내의 실제 객체 위에 하나 이상의 가상 이미지를 겹쳐 놓을 수 있다. 도 1에 도시된 예시적인 가상 객체는 그릇(116), 달(118), 및 개(120)를 포함한다. 가상 객체는 객체가 사용자 시야(102) 내에서 사용자(106)에 대한 상이한 깊이로 나타나도록 3차원으로 디스플레이될 수 있다. 디스플레이 장치(104)에 의해 디스플레이되는 가상 객체는 사용자(106)에게만 보여질 수 있고, 사용자(106)가 움직임에 따라 움직일 수 있고, 또는 사용자(106)의 움직임에 상관없이 세트 위치 내에서 유지될 수 있다. The display device 104 may superimpose one or more virtual images on an actual object within the user's field of view 102. Example virtual objects shown in FIG. 1 include a bowl 116, a moon 118, and a dog 120. The virtual object may be displayed in three dimensions such that the object appears at different depths to the user 106 within the user's field of view 102. The virtual object displayed by the display device 104 may be visible only to the user 106, and may move according to the user 106's movement, or to be maintained within the set position regardless of the movement of the user 106. I can.

본 명세서에서 개시된 실시예에 의하면, 잠재적으로 사용 환경(100)에 관한 정보와 조합하여 디스플레이 장치(104)를 통해 디스플레이되는 증강 현실 이미지는 디스플레이 장치(104) 상의 인증된 사용자(106)에게 사용될 수 있다. 예컨대, 사용자(106)가 사전 정의된 순서로 선택할 수 있는 증강 현실 피처의 세트를 제공하도록 상기한 가상 객체가 사용자(106)에게 디스플레이될 수 있다. 사용자(106)가 사전 정의된 순서로 증강된 피처를 선택하면, 사용자는 인증될 수 있고, 이에 따라 사용자가 제한된 리소스에 액세스할 수 있게 된다. 증강 현실 피처는 가상 객체 피처, 3차원 홀로그램, 2차원 홀로그램, 사운드, 가상 이동, 진동을 포함하지만 이에 제한되지 않는 임의의 적절한 피처를 포함할 수 있고, 또한 사용자의 시야 내의 실제 객체 피처를 포함할 수도 있다. 예컨대, 도 1의 예에서 사용자(106)에게 디스플레이되는 증강 현실 피처는 책장(108)의 실제 선반 상에 있는 것처럼 디스플레이되는 가상 그릇(116), 가상 달(118), 및 사용자에게 보여질 수 있는 두부(122) 및 꼬리(124)를 갖는 가상 개(120)를 포함한다. According to the embodiments disclosed herein, the augmented reality image displayed through the display device 104 in combination with information about the potentially use environment 100 can be used by the authenticated user 106 on the display device 104. have. For example, the virtual object described above may be displayed to the user 106 to provide a set of augmented reality features that the user 106 can select in a predefined order. If the user 106 selects the augmented features in a predefined order, the user can be authenticated, thereby allowing the user to access limited resources. The augmented reality feature may include any suitable feature including, but not limited to, virtual object features, three-dimensional holograms, two-dimensional holograms, sound, virtual movement, vibration, and may also include real object features within the user's field of view. May be. For example, the augmented reality feature displayed to the user 106 in the example of FIG. 1 is a virtual bowl 116, a virtual moon 118 displayed as if on an actual shelf of the bookcase 108, and the user can see It includes a virtual dog 120 having a head 122 and a tail 124.

사용자(106)는 디스플레이 장치(104)에 의해 검출 가능한 임의의 적절한 방식으로 증강 현실 피처를 선택할 수 있다. 예컨대, 사용자(106)는 선택된 증강 현실 피처를 응시함으로써 증강 현실 피처를 선택할 수 있으며, 여기서 응시 방향은 하나 이상의 시선 추적 센서에 의해 검출될 수 있다. 다른 예에서는, 사용자(106)가 관성 모션 센서 및 이미지 센서에 의해 검출되는 것과 같이 자신의 두부, 손, 몸 전체 등을 증강 현실 피처로 또는 그를 향해 움직임으로써 증강 현실 피처를 선택할 수 있다. 또한 사용자는 하나 이상의 마이크로폰에 의해 검출되는 음성 명령을 내릴 수도 있다. 디스플레이 장치(104)의 센서를 통한 사용자 입력 명령의 검출에 관한 추가적인 상세는 도 3 및 도 4와 관련해서 이후에 논의할 것이다. User 106 can select augmented reality features in any suitable manner detectable by display device 104. For example, the user 106 may select an augmented reality feature by gazing at the selected augmented reality feature, where the gaze direction may be detected by one or more gaze tracking sensors. In another example, the user 106 may select an augmented reality feature by moving his or her head, hand, whole body, etc. to or toward the augmented reality feature, as detected by an inertial motion sensor and an image sensor. The user can also issue voice commands that are detected by one or more microphones. Additional details regarding the detection of a user input command through a sensor of the display device 104 will be discussed later in connection with FIGS. 3 and 4.

증강 현실 피처의 선택은 그 증강 현실 피처와 연관된 움직임 또는 명령을 수행하는 사용자(106)에 기초하여 검출 및 결정될 수 있다. 움직임은 단순히 증강 현실 피처를 향한 사용자의 움직임 또는 증강 현실 피처에서의 사용자의 시선(looking)을 포함할 수 있다. 또한, 일부 실시예에서, 움직임은 사전 정의된 시간 동안에 증강 현실 피처에서의 사용자의 시선, 특정한 움직임을 수행하면서 또는 특정한 오디오 명령을 내리는 동안에 증강 현실 피처에서의 사용자의 시선, 및/또는 증강 현실 피처의 선택을 나타내는 다른 적절한 메카니즘을 포함할 수도 있다. 추가적으로, 일부 실시예에서는, 특정한 지리적 위치, 특정한 위치에서의 HMD 장치의 특정한 방향에 특정한 입력이 링크될 수 있다. The selection of an augmented reality feature may be detected and determined based on a user 106 performing a movement or command associated with the augmented reality feature. Movement may simply include a user's movement toward an augmented reality feature or a user's looking at an augmented reality feature. Further, in some embodiments, the movement is the user's gaze at the augmented reality feature for a predefined time period, the user’s gaze at the augmented reality feature while performing a specific movement or issuing a specific audio command, and/or the augmented reality feature. Other suitable mechanisms may be included to indicate the choice of. Additionally, in some embodiments, specific inputs may be linked to specific geographic locations, specific directions of the HMD device at specific locations.

사용자에 의해 증강 현실 피처가 선택되는 사전 정의된 순서는 임의의 적절한 순서로 결정될 수 있다. 예컨대, 초기의 인증 패스코드 셋업 세션에서, 사용자가 피처의 아이덴티티, 및 피처가 인증 프로세스에서 선택되는 순서를 결정할 수 있다. 다른 예에서, 디스플레이 장치(104)는 증강 현실 피처가 선택되는 순서 및 그의 아이덴티티를 결정할 수 있고, 또한 증강 현실 피처를 선택하기 위한 순서를 사용자에게 통지할 수 있다. The predefined order in which the augmented reality features are selected by the user may be determined in any suitable order. For example, in an initial authentication passcode setup session, the user may determine the identity of the features and the order in which the features are selected in the authentication process. In another example, the display device 104 may determine the order in which the augmented reality features are selected and their identity, and may also notify the user of the order for selecting the augmented reality features.

도 1에 도시된 예에서, 사용자(106)는 먼저 가상 그릇(116)을 선택하고, 그 다음에 가상 달(118), 그 다음에 개(120)의 두부(122)를 선택한다. 사용자가 사전 정의된 순서로 올바른 증강 현실 피처를 선택했으면, 사용자의 움직임(눈 및 몸의 움직임을 포함함) 및 잠재적으로 다른 정보(예컨대, 음성 명령, 위치, 및/또는 사용자의 방향)가 디스플레이 장치의 센서를 통해 검출될 수 있고, 증강 현실 피처가 선택되는 특정한 순서에 사용자 인증을 링크시키는 사용자 인증 정보와 비교될 수 있다. In the example shown in Fig. 1, the user 106 first selects the virtual bowl 116, then the virtual moon 118, and then the head 122 of the dog 120. Once the user has selected the correct augmented reality features in a predefined order, the user's movements (including eye and body movements) and potentially other information (e.g., voice commands, location, and/or user's orientation) are displayed. It may be detected through a sensor in the device and compared with user authentication information that links the user authentication in a specific order in which augmented reality features are selected.

일부 실시예에서, 증강 현실 피처는 동일 또는 유사한 방식의 각 인증 세션에서 사용자에게 디스플레이될 수 있다. 다른 실시예에서는, 증강 현실 피처가 사용자 인증 세션 간에 상이하게 사용자에게 디스플레이될 수 있다. 예컨대, 일부 실시예에서, 선택된 피처를 포함하는 증강 현실 피처의 상이한 전체 세트가 상이한 사용자 인증 세션에서 디스플레이될 수 있다. 다른 실시예에서는, 증강 현실 피처의 동일 세트가 상이한 위치는 아니지만 상이한 인증 세션에서 디스플레이될 수 있다. 다른 경우에, 상이한 인증 세션 동안에 상이한 방식으로 증강 현실 피처를 디스플레이하는 것은 외부 관찰자가 사용자에 의해 수행되는 인증 동작의 패턴을 관찰하는 것을 방지하도록 도울 수 있으므로, 선택되는 일련의 증강 현실 피처에 대한 기밀성을 보호하는 것을 도울 수 있다. In some embodiments, augmented reality features may be displayed to the user in each authentication session in the same or similar manner. In other embodiments, augmented reality features may be displayed to the user differently between user authentication sessions. For example, in some embodiments, a different full set of augmented reality features including the selected feature may be displayed in different user authentication sessions. In other embodiments, the same set of augmented reality features may be displayed in different authentication sessions, but not in different locations. In other cases, displaying augmented reality features in different ways during different authentication sessions can help prevent external observers from observing patterns of authentication actions performed by the user, and thus confidentiality for the selected set of augmented reality features. Can help protect you.

또한, 사용자에게 디스플레이되는 증강 현실 피처의 개수 및/또는 외관은 사용자 위치 또는 다른 파라미터에 따라 변할 수 있다. 예컨대, 사용자가 자신의 집 또는 다른 사적인 위치에서 (예를 들어 GPS 데이터, 이미지 데이터, 및/또는 다른 디스플레이 장치 센서 데이터를 통해) 인증되고 있다고 판정되면, 보다 단순한 패스코드 이미지(예컨대, 보다 적은 수의 전체 증강 현실 피처를 가짐)가 디스플레이될 수 있고, 및/또는 보다 공공의 위치에 사용자가 있을 때의 신뢰성 레벨보다 낮은 신뢰성 레벨인, 사용자 입력이 인증 데이터와 매칭되는지에 관한 신뢰성 레벨이 인증을 위해 허가될 수 있다. In addition, the number and/or appearance of augmented reality features displayed to the user may vary according to the user location or other parameters. For example, if it is determined that the user is being authenticated (e.g. via GPS data, image data, and/or other display device sensor data) at his home or other private location, then a simpler passcode image (e.g., fewer Has the full augmented reality feature), and/or the reliability level regarding whether the user input matches the authentication data, which is a reliability level lower than that when the user is in a more public location. May be permitted to do so.

도 2는 두 개의 구별된 인증 세션 중에 디스플레이될 수 있는 증강 현실 피처들의 두 가지 세트의 예시적 실시예를 도시한다. 위에서 설명된 것처럼, 증강 현실 피처들은 디스플레이 장치를 통해 사용자(도 2에서 도시안됨)에게 디스플레이된다. 시간 라인(202)은 구별된 인증 세션의 상대적 타이밍을 나타내기 위해 또한 도시된다. 2 shows an exemplary embodiment of two sets of augmented reality features that can be displayed during two distinct authentication sessions. As described above, augmented reality features are displayed to a user (not shown in FIG. 2) via a display device. The time line 202 is also shown to indicate the relative timing of the distinct authentication sessions.

시간 t1에서, 증강 현실 피처들의 제 1 세트(210)가 사용자에게 디스플레이된다. 증강 현실 피처들의 제 1 세트(210)는 사용자 시야(200) 내의 다양한 위치에서 스크린에서 천천히 떨어질 때 표시되는 문자의 세트를 포함한다. 도 2에 도시된 것처럼, 사용자는 워드 FIRKIN이 되도록 사전 정의된 순서로 문자의 세트를 선택한다. 인증 정보가 사용자 패스워드가 FIRKIN임을 나타내면, 사용자는 인증된다. At time t1, the first set of augmented reality features 210 is displayed to the user. The first set of augmented reality features 210 includes a set of characters that are displayed when slowly falling off the screen at various locations within the user's field of view 200. As shown in Fig. 2, the user selects a set of characters in a predefined order to be the word FIRKIN. If the authentication information indicates that the user password is FIRKIN, the user is authenticated.

다음에, 시간 t2에서, 증강 현실 피처들의 제 2 세트(220)가 사용자 시야(200)를 통해 사용자에게 디스플레이되는 제 2 인증 세션이 개시된다. 증강 현실 피처들의 제 2 세트(220)에서, 문자들 및/또는 문자들의 위치는 증강 현실 피처들의 제 1 세트(210)에서와 다를 수 있지만, 피처들의 제 1 세트(210)와 다른 동작 세트를 통해 여전히 워드 FIRKIN의 선택이 가능하다. 사용자는 양쪽 인증 세션에서 문자의 동일한 조합을 선택하지만, 외부 관찰자에게 사용자의 움직임은 다른 것으로 보일 것이다. Next, at time t2, a second authentication session is initiated in which the second set of augmented reality features 220 are displayed to the user via the user's field of view 200. In the second set of augmented reality features 220, the positions of the characters and/or characters may be different than in the first set of augmented reality features 210, but with a different set of actions than the first set of features 210. It is still possible to select the word FIRKIN. The user selects the same combination of characters in both authentication sessions, but the movement of the user will appear different to an outside observer.

전술된 것처럼, 사용자 인증 프로세스는, 디스플레이 장치를 포함하지만 반드시 이에 제한되지는 않는 임의의 적합한 컴퓨팅 장치에 의해 수행될 수 있다. 본 발명에 따른 디스플레이 장치는, 도 1의 두부 장착 디스플레이 장치(104)와 같은 HMD 장치를 포함하지만 이에 제한되지는 않는 임의의 적합한 형태를 취할 수 있다. 도 3은 디스플레이 시스템(300)의 예시적 실시예를 도시하고, 도 4는 디스플레이 시스템(300)의 블록도를 도시한다. As described above, the user authentication process can be performed by any suitable computing device, including but not necessarily limited to a display device. The display device according to the present invention may take any suitable form, including, but not limited to, an HMD device such as the head mounted display device 104 of FIG. 1. 3 shows an exemplary embodiment of the display system 300 and FIG. 4 shows a block diagram of the display system 300.

디스플레이 시스템(300)은 디스플레이 서브시스템(304)의 일부를 형성하는 하나 이상의 렌즈(302)를 포함하므로, 이미지들은 렌즈(302) 상으로 투영되거나 렌즈(302)에 통합된 이미지 생성 요소(예컨대, 투명 OLED 디스플레이)에 의해 생성될 수 있다. 디스플레이 시스템(300)은 사용자가 보고 있는 배경 장면 및/또는 물리적 공간의 이미지를 획득하도록 구성된 하나 이상의 외향 이미지 센서(306)를 더 포함하며, 사용자로부터의 음성 명령과 같은 사운드를 검출하도록 구성된 하나 이상의 마이크로폰(308)를 포함할 수 있다. 외향 이미지 센서(306)는 하나 이상의 깊이 센서 및/또는 하나 이상의 이차원 이미지 센서를 포함할 수 있다.The display system 300 includes one or more lenses 302 that form part of the display subsystem 304, so that images are projected onto the lens 302 or incorporated into the lens 302 (e.g., Transparent OLED display). The display system 300 further includes one or more outward image sensors 306 configured to acquire an image of a background scene and/or a physical space that the user is viewing, and one or more configured to detect sound, such as a voice command from the user. It may include a microphone 308. The outward image sensor 306 may include one or more depth sensors and/or one or more two-dimensional image sensors.

디스플레이 시스템(300)은 전술된 것처럼 사용자의 각 눈의 시선의 방향을 검출하도록 구성된 시선 검출 서브시스템(310)을 더 포함할 수 있다. 시선 검출 서브시스템(310)은 임의의 적합한 방식으로 사용자의 각 눈의 시선 방향을 판정하도록 구성될 수 있다. 예컨대, 도시된 실시예에서, 시선 검출 서브시스템(310)은, 광의 글린트(glint)가 사용자의 각 안구로부터 반사되게 하도록 구성된 하나 이상의 글린트(glint) 소스(312) 및 사용자의 각 안구의 이미지를 캡처하도록 구성된 내부 대면 센서와 같은 하나 이상의 이미지 센서(314)를 포함한다. 이미지 센서(들)(314)를 통해 수집된 이미지 데이터로부터 판정되는 사용자 안구로부터의 글린트의 변화는 시선의 방향을 판정하는데에 사용될 수 있다. 또한, 사용자의 눈으로부터 투영된 시선이 외부 디스플레이를 교차하는 위치는 사용자가 응시하고 있는 객체(예컨대, 디스플레이된 가상 객체 또는 실제 배경 객체)을 판정하는데에 사용될 수 있다. 시선 검출 서브시스템(310)은 적합한 개수 및 배열의 광 소스 및 이미지 센서를 가질 수 있다. The display system 300 may further include a gaze detection subsystem 310 configured to detect the direction of the gaze of each eye of the user as described above. The gaze detection subsystem 310 may be configured to determine the gaze direction of each eye of the user in any suitable manner. For example, in the illustrated embodiment, the gaze detection subsystem 310 includes one or more glint sources 312 configured to cause a glint of light to be reflected from each eye of the user and each eye of the user. And one or more image sensors 314, such as an internal facing sensor configured to capture an image. The change in glint from the user's eye as determined from image data collected through the image sensor(s) 314 may be used to determine the direction of the gaze. In addition, the position at which the line of sight projected from the user's eyes intersects the external display may be used to determine the object that the user is staring at (eg, a displayed virtual object or an actual background object). The line of sight detection subsystem 310 may have any suitable number and arrangement of light sources and image sensors.

디스플레이 시스템(300)은 부가적인 센서들을 더 포함할 수 있다. 예컨대, 디스플레이 시스템(300)은 디스플레이 시스템(300)의 위치가 판정될 수 있도록 하는 글로벌 포지셔닝 (GPS) 서브시스템(316)을 포함할 수 있다. 이것은 디스플레이 시스템(300)의 사용자로 하여금 다른 위치에서 상이한 패스워드를 사용하는 것을 허용할 수 있으며, 이에 따라 원하는 보안 레벨이 장치 위치에 따라 변하는 것이 허용될 수 있다. Display system 300 may further include additional sensors. For example, display system 300 may include a global positioning (GPS) subsystem 316 that enables a location of display system 300 to be determined. This may allow a user of the display system 300 to use different passwords at different locations, thus allowing the desired level of security to vary depending on the device location.

디스플레이 시스템(300)은 사용자가 디스플레이 시스템(300)을 착용하고 있을 경우 사용자의 머리의 움직임을 검출하는 하나 이상의 움직임 센서(318)를 더 포함할 수 있다. 외향 이미지 센서(들)(306)로부터의 이미지들 내의 흐림(blur)에 대한 보정을 돕는 이미지 안정화뿐만 아니라, 시선 검출을 위해, 잠재적으로 시선 추적 글린트 데이터 및 외향 이미지 데이터와 함께, 움직임 데이터가 사용될 수 있다. 움직임 데이터의 사용은 외향 이미지 센서(들)(306)로부터의 이미지 데이터가 해상될 수 없을 때조차도 시선 위치의 변화가 추적될 수 있도록 한다. 마찬가지로, 마이크로폰(들)(308) 및 시선 검출 서브시스템(310) 뿐만 아니라 움직임 센서(318) 또한 사용자 입력 장치로서 사용될 수 있으므로 사용자는 구두 명령을 통해서 뿐만 아니라 눈, 목 및/또는 머리의 제스처를 통해 디스플레이 시스템(300)과 상호작용할 수 있다. 도 3 및 도 4에 도시된 센서들은 예시를 위해 도시된 것이지 임의 방식으로 제한할 의도가 아니며, 임의의 다른 적합한 센서들 및/또는 센서들의 조합이 사용될 수 있음이 이해될 것이다. The display system 300 may further include one or more motion sensors 318 that detect movement of the user's head when the user is wearing the display system 300. For image stabilization, which aids in correction for blur in images from the outward image sensor(s) 306, as well as for gaze detection, motion data, along with potentially gaze tracking glint data and outward image data, are Can be used. The use of motion data allows changes in gaze position to be tracked even when image data from outward image sensor(s) 306 cannot be resolved. Likewise, the microphone(s) 308 and gaze detection subsystem 310 as well as the motion sensor 318 can also be used as a user input device so that the user can make eye, neck and/or head gestures as well as through verbal commands. Through this, it is possible to interact with the display system 300. It will be appreciated that the sensors shown in FIGS. 3 and 4 are shown for purposes of illustration and are not intended to be limiting in any way, and any other suitable sensors and/or combination of sensors may be used.

디스플레이 시스템(300)은 로직 서브시스템(322) 및 센서들과 통신하는 데이터 보유 서브시스템(324)(스토리지 시스템으로도 언급됨)을 갖는 제어기(320), 시선 검출 서브시스템(310), 디스플레이 서브시스템(304)을 더 포함한다. 데이터 보유 서브시스템(324)은, 여러 작업 중에서도, 예컨대, 센서로부터 입력을 수신하여 해석하고, 사용자의 움직임을 식별하고, 사용자가 사전 정의된 순서로 증강 현실 피처들을 선택했는지를 판정하기 위해 식별된 움직임과 인증 정보를 비교하고, 사용자를 인증하는, 로직 서브시스템(322)에 의해 실행될 수 있는 저장된 명령어를 포함한다. The display system 300 includes a controller 320 having a logic subsystem 322 and a data retention subsystem 324 (also referred to as a storage system) in communication with sensors, a gaze detection subsystem 310, and a display sub-system. It further includes a system 304. The data retention subsystem 324 may, among other tasks, receive and interpret input from sensors, identify user movements, and determine whether the user has selected augmented reality features in a predefined order. It includes stored instructions that can be executed by logic subsystem 322 to compare motion and authentication information, and to authenticate the user.

도시된 디스플레이 장치(104, 300)는 예시를 위해 설명된 것이며 따라서 제한할 의도가 아님이 인식될 것이다. 디스플레이 장치는 본 발명의 범위를 벗어 나지 않고, 도시된 것과 다른 추가적인 및/또는 대안적인 센서, 카메라, 마이크로폰, 입력 장치, 출력 장치 등등을 포함할 수 있음이 이해되어야 한다. 또한, 디스플레이 장치 및 그것의 다양한 센서들 및 하위 구성요소들의 물리적 구성은 본 발명의 범위를 벗어나지 않고 다양한 다른 형태를 취할 수 있다. It will be appreciated that the illustrated display devices 104 and 300 have been described for purposes of illustration and are therefore not intended to be limiting. It should be understood that the display device may include additional and/or alternative sensors, cameras, microphones, input devices, output devices, etc. other than those shown without departing from the scope of the present invention. In addition, the physical configuration of the display device and its various sensors and sub-elements may take various other forms without departing from the scope of the present invention.

도 5는 전술된 두부 장착 디스플레이 장치(104)와 같은 디스플레이 장치의 사용자를 인증하는 방법(500)의 실시예를 도시하는 흐름도이다. 간단하게 말하자면, 방법(500)은 사용자를 인증하기 위해 인증 세션 중에 사용자에게 하나 이상의 가상 이미지 또는 다른 증강 현실 피처들을 제시한다. 일단 인증되면, 사용자에게는 하나 이상의 제한된 장치, 프로그램, 애플리케이션 등등에 대해 액세스가 허용될 수 있다. 인증 세션은, 사용자가 디스플레이 장치의 전원을 켜는 것, 프로그램이나 애플리케이션을 시작하기 위한 허락을 요청하는 것, 웹 사이트를 보기 위한 허락을 요청하는 것 등등과 같은, 임의의 적합한 입력을 통해 개시될 수 있다. 5 is a flowchart illustrating an embodiment of a method 500 of authenticating a user of a display device such as the head mounted display device 104 described above. Simply put, method 500 presents one or more virtual images or other augmented reality features to a user during an authentication session to authenticate the user. Once authenticated, a user may be allowed access to one or more restricted devices, programs, applications, and the like. The authentication session can be initiated through any suitable input, such as a user turning on the display device, requesting permission to start a program or application, requesting permission to view a website, and so on. have.

502에서, 방법(500)은 증강 현실 피처들의 세트를 포함하는 하나 이상의 가상 이미지를 디스플레이하는 것을 포함한다. 증강 현실 피처들의 세트는 가상 이미지 및/또는 실제 객체의 임의의 적합한 피처들을 포함할 수 있다. 예컨대, 증강 현실 피처들은 사용자에 의해 선택된 특정 3D 또는 가상 객체, (특정 이미지의 반대편에 있는) 특정 객체 또는 사람을 도시하는 이미지, 및/또는 특정 속성을 갖는 3D 실제 또는 가상 객체를 포함할 수 있다. 또한, 피처들은 사운드 또는 다른 증강 현실 환경 측면들을 포함할 수도 있다. 증강 현실 피처들은 임의의 적합한 방식으로 제시될 수 있다. 예컨대, 증강 현실 피처들은 사전 정의된 순서, 랜덤한 순서, 상이한 인증 세션들 사이에서의 알고리즘적으로 변경된 순서, 등등으로 디스플레이될 수 있다. At 502, method 500 includes displaying one or more virtual images including a set of augmented reality features. The set of augmented reality features may comprise a virtual image and/or any suitable features of a real object. For example, augmented reality features may include a specific 3D or virtual object selected by the user, an image depicting a specific object or person (opposite to a specific image), and/or a 3D real or virtual object with specific properties. . Additionally, features may include sound or other aspects of the augmented reality environment. Augmented reality features can be presented in any suitable manner. For example, augmented reality features may be displayed in a predefined order, a random order, an algorithmically altered order between different authentication sessions, and the like.

504에서, 방법(500)은 센서로부터 수신된 데이터를 통해 사용자의 하나 이상의 움직임을 식별하는 것을 포함한다. 센서 데이터는, 관성 모션 센서(506) 및/또는 시선 추적 센서 시스템(508)을 포함하지만 한정되지는 않는 임의의 적합한 센서로부터 수신될 수 있다. 또한, 사용자의 움직임을 식별하기 위해 디스플레이 장치 외부의 센서들이 사용될 수도 있다. 예컨대, 사용자는 (태블릿과 같은) 외부 장치의 스크린에 그림을 그릴 수 있고, 그 태플릿은 사용자의 손의 움직임을 검출하여 그 움직임을 해당 디스플레이 장치에 전달할 수 있다. 다른 예로, 원격 서비스, 예컨대, 웹 서버를 통해 액세스 가능한 서비스가 입력 장치로서 사용될 수 있다. 예컨대, 디스플레이 장치는 웹 서비스의 상태를 질의할 수 있고, 웹 서비스가 도달될 수 없거나 "허가되지 않음" 메시지를 반환할 경우, 사용자는 인증되지 않을 수 있다. 식별된 움직임은 사용자에 의해 선택된 증강 현실 피처들의 식별 및 순서를 판정하는 데에 사용될 수 있다. 또한, 사용자가 증강 현실 피처들을 선택하는 움직임을 입력할 때, 식별된 움직임이 증강 현실 피처와 연관된 움직임과 일치하면, 방법(509)은 사용자가 증강 현실 피처를 선택했다는 표식을 출력하는 것을 포함할 수 있다. At 504, the method 500 includes identifying one or more movements of the user via data received from the sensor. Sensor data may be received from any suitable sensor, including but not limited to, inertial motion sensor 506 and/or eye tracking sensor system 508. In addition, sensors outside the display device may be used to identify the user's movement. For example, a user may draw a picture on a screen of an external device (such as a tablet), and the tablet may detect the movement of the user's hand and transmit the movement to the corresponding display device. As another example, a remote service, such as a service accessible through a web server, may be used as the input device. For example, the display device may query the status of the web service, and if the web service cannot be reached or returns a "not allowed" message, the user may not be authenticated. The identified movement can be used to determine the identification and order of the augmented reality features selected by the user. Further, when the user inputs a motion to select augmented reality features, if the identified motion matches the motion associated with the augmented reality feature, the method 509 may include outputting an indication that the user has selected the augmented reality feature. I can.

510에서, 방법(500)은 사용자 인증을 증강 현실 피처들의 사전 정의된 순서와 연결시키는 인증 정보와 식별된 움직임을 비교한다. 인증 정보는 디스플레이 장치 상에 국소적으로 저장되거나, 원격으로 저장되거나, 원격 서비스를 통해 액세스 가능할 수도 있다. At 510, method 500 compares the identified motion with authentication information that associates user authentication with a predefined order of augmented reality features. The authentication information may be stored locally on the display device, stored remotely, or accessible through a remote service.

512에서, 방법(500)은 사용자가 증강 현실 피처들을 사전 정의된 순서로 선택했는지 판정하는 것을 포함한다. 전술된 것처럼, 사용자의 식별된 움직임은 사용자에 의해 선택된 증강 현실 피처들의 순서의 식별을 판단하는 데에 사용될 수 있다. 몇몇 실시예에서는, 514에 표시된 것처럼, 사용자가 실제로 증강 현실 피처들을 사전 정의된 순서로 선택했다는 신뢰성 레벨에 기초하여 식별된 움직임에 신뢰성 스코어를 할당할 수 있다. 신뢰성 스코어는 식별된 움직임이 예상된 움직임과 일치하는 확실성을 반영할 수 있고, 움직임을 검출하는 센서의 성능을 포함하지만 이에 한정되지 않는 다양한 다른 인자들의 함수가 될 수 있다. At 512, method 500 includes determining whether the user has selected augmented reality features in a predefined order. As described above, the user's identified movement can be used to determine the identification of the sequence of augmented reality features selected by the user. In some embodiments, as indicated at 514, a reliability score may be assigned to the identified movement based on a confidence level that the user has actually selected augmented reality features in a predefined order. The reliability score may reflect the certainty that the identified movement matches the expected movement, and may be a function of various other factors including, but not limited to, the ability of the sensor to detect movement.

사용자를 인증할 것인지 여부를 판정하기 위해 신뢰성 스코어는 임계치 신뢰성 스코어 값과 비교될 수 있다. 신뢰성 스코어가 임계치보다 높고 516에 표시된 것처럼 증강 현실 피처들이 올바른 순서로 선택되었다면, 디스플레이 장치는 518에 표시된 것처럼 사용자를 인증할 수 있다. 임계치는 변하지 않는 고정된 값이 될 수도 있고, 아니면 사용자 위치 및/또는 바이오메트릭 시그니처(biometric signatures)와 같이, 인증 세션의 조건에 따라 변할 수도 있다. 한편, 증강 현실 피처들이 사전 정의된 순서로 선택되지 않았다면(또는 신뢰성 스코어가 임계치를 충족시키지 않아 피처들이 사전 정의된 순서로 선택되지 않은 것으로 간주될 수 있다면), 방법(500)은 520에서 사용자를 인증하지 않는 것을 포함한다. The reliability score may be compared to a threshold reliability score value to determine whether to authenticate the user. If the reliability score is higher than the threshold and the augmented reality features are selected in the correct order as indicated at 516, the display device may authenticate the user as indicated at 518. The threshold may be a fixed value that does not change, or may change depending on the conditions of the authentication session, such as user location and/or biometric signatures. On the other hand, if the augmented reality features are not selected in a predefined order (or if the reliability score does not meet the threshold, it can be considered that the features are not selected in the predefined order), the method 500 returns the user at 520. Includes non-authentication.

도 5와 관련되어 위에 설명된 예에서, 인증은 단일 입력 메커니즘에 기초한다. 실시예에서, 다수의 입력 메커니즘은 사용자를 인증하기 위해 사용될 것이고, 사용자를 인증하는 데 사용되는 신뢰성 스코어 임계치는 얼마나 많은 입력 메커니즘이 사용되었는지에 따라 달라질 수 있다. 예를 들어, 복수의 입력 메커니즘이 사용되는 곳에서보다 단일 입력 메커니즘이 사용되는 곳에서 더 높은 신뢰성 스코어 임계치가 적용될 수 있다.In the example described above in connection with FIG. 5, authentication is based on a single input mechanism. In an embodiment, multiple input mechanisms will be used to authenticate the user, and the reliability score threshold used to authenticate the user may vary depending on how many input mechanisms are used. For example, a higher reliability score threshold may be applied where a single input mechanism is used than where multiple input mechanisms are used.

도 6은 사용자 가변가능 개수의 인증 입력에 기초하여 사용자를 인증하기 위한 방법(600)의 실시예를 설명하는 흐름도를 도시한다. 여기서 사용된 바와 같이, 용어 인증 입력은, 사용자를 인증하기 위해 증강 현실 특징에 사용자 움직임을 링크시키는 인증 정보와 비교될 수 있는 디스플레이 장치의 임의의 센서에 의해 검출된 임의의 사용자 입력을 나타낼 수 있다. 인증 입력의 예들은 시선 움직임(eye movement)을 통한 가상 오브젝트의 선택, 신체 움직임을 통한 가상 오브젝트의 선택, 음성 명령 및 특정 오리엔테이션 또는 위치를 추정하는 것에 한정되지 않고 이러한 것들을 포함한다. 6 shows a flow diagram illustrating an embodiment of a method 600 for authenticating a user based on a variable number of user authentication inputs. As used herein, the term authentication input may refer to any user input detected by any sensor of the display device that can be compared with authentication information linking user movement to an augmented reality feature to authenticate the user. . Examples of authentication inputs include, but are not limited to, selection of a virtual object through eye movement, selection of a virtual object through body movement, voice commands, and estimating a specific orientation or position.

단계 602에서, 방법(600)은 인증 입력의 세트를 수신하는 단계를 포함한다. 단계 604에 표시된 바와 같이 인증 입력의 세트는 사용자를 위해 인식된 복수의 인증 입력으로부터 선택될 수 있고, 여기서, 복수의 인식된 입력은 상이한 센서들을 통해 형성된 입력에 대응한다. 조금 더 구체적인 예로서, 복수의 인식된 입력은 시선 추적 입력, 두부 추적 입력, 팔동작 입력, 및/또는 사용자 생체 정보(예컨대, 사용자의 동공간 거리(interpupil distance: IPD), 걸음걸이, 키 등)를 포함할 수 있고, 수신된 세트는 두부 움직임 입력 데이터가 뒤를 잇는 시선 추적 입력 데이터를 포함한다. At step 602, method 600 includes receiving a set of authentication inputs. As indicated in step 604, the set of authentication inputs may be selected from a plurality of recognized authentication inputs for the user, where the plurality of recognized inputs correspond to inputs made through different sensors. As a more specific example, the plurality of recognized inputs include eye tracking input, head tracking input, arm motion input, and/or user biometric information (e.g., user's interpupil distance (IPD), gait, key, etc.). ), and the received set includes gaze tracking input data followed by head motion input data.

몇몇 실시예에서, 하나 이상의 인증 입력은 물리적 위치(예컨대, GPS 및/또는 이미지 데이터를 통해 검출되는 것처럼) 및/또는 구체적 오리엔테이션(예컨대, 디스플레이 장치를 통해 보여질 수 있는 배경에서 사전결정된 위치에서 잘 알려진 물리적 오브젝트(예컨대, 포스터)의 존재에 의해 검출되는 것처럼)와 연관되어 사용자가 물리적 위치 및/또는 오리엔테이션에 있을 때에만 인증 입력이 성공적으로 수행될 수 있다. 다른 예는 표시된 증강 현실 이미지에 응답하지 않는 사용자 제작 입력을 포함한다. 예를 들어, 사용자는 시선 추적 및/또는 초기 움직임 및 외향 이미지 센서에 의해 검출된 구체적인 패턴을 그의 또는 그녀의 시선 또는 손을 사용하여 그릴 수 있고, 및/또는 음성 명령을 입력할 수 있다. 다른 예로서, 다른 사용자의 존재는 검출될 수 있고, 사용자 인증은 검출된 다른 사용자의 수, 신원 및/또는 다른 특성에 기초할 수 있다. 이러한 입력 모드는 예들의 목적을 위해 제공될 수 있고 임의의 방식에 제한되도록 의도되지 않는다. In some embodiments, one or more authentication inputs may be performed well at a physical location (e.g., as detected through GPS and/or image data) and/or a specific orientation (e.g., at a predetermined location in the background that can be viewed through a display device). Authentication input can be successfully performed only when the user is in a physical location and/or orientation in association with a known physical object (eg, as detected by the presence of a poster). Another example includes user-generated input that does not respond to the displayed augmented reality image. For example, the user may draw gaze tracking and/or a specific pattern detected by the initial movement and outward image sensor using his or her gaze or hand, and/or input a voice command. As another example, the presence of other users may be detected, and user authentication may be based on the number, identity, and/or other characteristics of the other users detected. This input mode may be provided for purposes of examples and is not intended to be limited in any way.

이어서, 단계 608에서, 방법(600)은 각 인증 입력이 대응하는 사전정의된 인증 입력에 매칭되는지 판정하는 단계를 포함한다. 또한 단계 610에 표시된 바와 같이, 신뢰성 스코어는 각각의 수신된 인증 정보에 할당될 수 있고, 여기서, 신뢰성 스코어는 수신된 인증 입력이 사전정의된 인증 입력에 매칭하는 신뢰 레벨을 반영한다. Subsequently, at step 608, method 600 includes determining whether each authentication input matches a corresponding predefined authentication input. Also, as indicated in step 610, a reliability score may be assigned to each received authentication information, where the reliability score reflects a confidence level at which the received authentication input matches a predefined authentication input.

단계 612에서, 신뢰성 스코어는 임계치와 비교된다. 예를 들어, 몇몇 실시예에서, 각 인증 입력에 대한 신뢰성 스코어는 결합될 수 있고 전체적으로 임계치와 비교될 수 있다. 다른 실시예에서, 각 신뢰성 스코어는 대응하는 임계치와 개별적으로 비교될 수 있다. 어떠한 경우에도, 신뢰성 스코어가 임계치에 대비하여 사전결정된 상태(예컨대, 동일하거나 더 큰)를 만족할 때 사용자는 인증될 수 있다. In step 612, the reliability score is compared to a threshold. For example, in some embodiments, the reliability score for each authentication input may be combined and compared to a threshold as a whole. In another embodiment, each reliability score may be individually compared to a corresponding threshold. In any case, the user can be authenticated when the reliability score satisfies a predetermined condition (eg, equal or greater) against a threshold.

몇몇 실시예에서, 상대적으로 큰 수의 인증 입력을 사용함으로써, 더 적은 수의 입력에 대한 임계치 점수와 비교하여 모든 입력에 대한 신뢰성 스코어가 사전결정된 상태를 만족하지 않는 경우조차 사용자는 인증될 수 있다. 하나의 비제한적인 예로서, 3개의 인증 입력은 사용자에 의해 입력되고 적어도 2개의 신뢰성 스코어가 개별 신뢰성 스코어 임계치를 넘을 때, 사용자는 인증될 수 있다. 반대로, 만약 더 적은 수의 인증 입력을 통해 인증된다면, 사용자는 모든 임계치를 초과해야 할 것이다. 비슷하게, 결합된 신뢰성 스코어 임계치는 비슷한 효과를 달성하기 위해 사용된 입력 모드의 개수에 따라 변할 것이다. 각 예는 본 개시에 따른 신뢰성 스코어 임계치에서의 변화의 예를 제한하지 않는 것으로 고려될 수 있다. In some embodiments, by using a relatively large number of authentication inputs, the user can be authenticated even if the reliability score for all inputs does not satisfy a predetermined state compared to the threshold score for a smaller number of inputs. . As one non-limiting example, when three authentication inputs are entered by the user and at least two reliability scores exceed an individual reliability score threshold, the user may be authenticated. Conversely, if authenticated through fewer authentication inputs, the user will have to exceed all thresholds. Similarly, the combined reliability score threshold will vary with the number of input modes used to achieve a similar effect. Each example may be considered as not limiting the example of a change in the reliability score threshold according to the present disclosure.

따라서, 단계 614에 표시된 바와 같이, 방법(600)은 디스플레이 장치에 의해 수신된 인증 입력의 개수가 증가할 때 신뢰성 스코어 임계치를 감소시키는 단계를 포함할 수 있다. 비슷하게, 방법(600)은 또한 인증 입력의 수가 감소할 때 임계치를 증가시키는 단계를 포함할 수 있다. 위에 설명된 방식을 포함하되 제한되지 않는 임의의 적합한 방식으로 신뢰성 스코어 임계치가 변화될 수 있다는 것은 이해될 것이다. Thus, as indicated at step 614, method 600 may include reducing a reliability score threshold as the number of authentication inputs received by the display device increases. Similarly, method 600 may also include increasing the threshold when the number of authentication inputs decreases. It will be appreciated that the reliability score threshold may be varied in any suitable manner, including, but not limited to, the manner described above.

도 5와 관련되어 위에 설명된 바와 같이, 단계 616에서 표시된 바와 같이, 몇몇 실시예들에서 사용자를 인증하기 위한 임계치는 사용자 위치 또는 다른 파라미터에 기초하여 변할 것이다. 예를 들어, 제1, 더 큰 수의 인증 입력은 제1, 더 적은 보안 위치에서 사용되고, 제2, 더 적은 수의 인증 입력은 제2, 더 많은 보안 위치에서 사용될 것이다. 다른 예에서, 인증 입력의 수들은 두 위치에서 동일할 것이지만, 더 적은 보안 위치에 대한 임계치가 더 많은 보안 위치보다 더 높을 것이다. 또한, 위치를 제외한 다른 파라미터들은 접근되는 정보의 유형 등과 같은 사용자 지정된 보안을 임계치가 포함하도록 영향을 끼칠 것이다. As described above in connection with FIG. 5, as indicated in step 616, in some embodiments the threshold for authenticating the user will vary based on the user location or other parameter. For example, a first, greater number of authentication inputs will be used in a first, fewer secure locations, and a second, fewer number of authentication inputs will be used in second, more secure locations. In another example, the number of authentication inputs will be the same at both locations, but the threshold for fewer secure locations will be higher than for more secure locations. Additionally, parameters other than location will influence the threshold to include user-specified security, such as the type of information being accessed.

단계 618에서, 신뢰성 스코어가 임계치보다 큰지 판정된다. 만약 신뢰성 스코어가 임계치보다 크다면, 사용자는 단계 620에서 인증된다. 반면, 만약 신뢰성 스코어가 임계치보다 크지 않다면, 사용자는 단계 622에서 인증되지 않는다. In step 618, it is determined whether the reliability score is greater than a threshold. If the reliability score is greater than the threshold, the user is authenticated in step 620. On the other hand, if the reliability score is not greater than the threshold, the user is not authenticated in step 622.

따라서, 이곳에 기술된 실시예들은, 개시된 디스플레이 장치의 특정 특징을 사용하는 다양한 입력을 통한 사용자 인증을 제공한다. 개시된 입력들은 비한정 예들이고 다른 입력들이 가능하다는 것은 이해될 것이다. 예를 들어, 사용자 인증 입력은 또한 블링크(blink) 검출, 오브젝트 인식(예를 들어, 포스터, 빌딩, 예술품 등과 같은 구체적 오브젝트의 인식), 망막 스캔, 지문 검출, 및/또는 다른 적합한 입력 메커니즘을 사용하여 입력될 수 있다. Accordingly, embodiments described herein provide user authentication through various inputs using specific features of the disclosed display device. It will be appreciated that the disclosed inputs are examples of non-limiting and other inputs are possible. For example, user authentication input may also use blink detection, object recognition (e.g., recognition of specific objects such as posters, buildings, artwork, etc.), retina scan, fingerprint detection, and/or other suitable input mechanisms. Can be entered.

또한, 이와 같은 입력의 조합 또한 인식을 위해 사용될 수 있다. 예를 들어, 사용자는 디스플레이 장치 상에 그의 또는 그녀의 손가락을 이용하여 특정한 리듬을 태핑하는 동안 구체적 오브젝트(실제 또는 가상)을 볼 수 있어, 이미지는 외향 이미지 센서에 의해 검출되고 태핑은 내부 움직임 센서를 통해 검출된다. 다른 예로서, 사용자의 동공간 거리(IPD)는 디스플레이 장치에 의해 생체 데이터로서 측정될 수 있다. 사용자를 인증하기 위해 이것은 망막 스캔, 사전결정된 동작의 세트, 및/또는 다른 입력과 결합될 수 있다. In addition, combinations of these inputs can also be used for recognition. For example, a user can see a specific object (real or virtual) while tapping a specific rhythm using his or her finger on the display device, so that the image is detected by the outward image sensor and the tapping is the internal motion sensor. Is detected through. As another example, the user's pupillary distance (IPD) may be measured as biometric data by a display device. This can be combined with a retina scan, a predetermined set of actions, and/or other inputs to authenticate the user.

다른 예에서, 나머지가 특정 카테고리와 연관되는 반면 인증을 위해 사용되는 하나 이상의 입력은 사용자가 인증될 때마다 변할 수 있다. 일 예에서, 이러한 입력을 포함하는 사용자 패스코드는, "만화스타일을 갖는(cartoony)", "가벼운", "아이와 관련된", "점핑하는 오브젝트" 및 "마음을 달래주는 음악의 방향"과 같은, 그러나 한정되지 않은 예의 카테고리의 정의를 포함한다. 인증이 되기 위해서, 사용자는 오브젝트를 선택하거나, 그렇지 않으면 인증되기 위해 선택된 카테고리의 정의(예컨대, 만화스타일을 갖는, 가벼운, 아이와 관련된, 오르거나 내려가는 것, 그의 또는 그녀의 두부를 음악이 들려오는 방향을 향해 움직이는 것)를 만족하는 입력을 수행한다. 구체적인 종류의 입력(선택된 오브젝트, 사용자가 향하는 방향 등)은 각 입력을 이용하여 변할 수 있는 반면, 카테고리는 사용자에 의해 변하지 않을 때까지 동일하게 유지된다. In another example, one or more inputs used for authentication may change each time the user is authenticated while the rest are associated with a particular category. In one example, a user passcode containing such an input may include "cartoony", "lightweight", "child-related", "jumping object", and "the direction of soothing music". , But not limited to include definitions of categories of examples. In order to be authenticated, the user selects an object, or otherwise defines the category selected to be authenticated (e.g., comic-style, light, child-related, ascending or descending, the direction in which the music is heard on his or her head). It performs an input that satisfies (moving toward). The specific type of input (selected object, direction the user is facing, etc.) can be changed using each input, while the category remains the same until it is not changed by the user.

몇몇 실시예에서, 인증 입력은 개별 사용자에게 구체적이다. 다른 실시예에서, 동일한 세트의 인증 입력은 복수의 사용자에 의해 사용될 수 있다. 예를 들어, 사용자의 가족의 구성원들은 사용자의 인증 입력을 입력하도록 인증될 수 있고, 디스플레이 장치는 각 가족 구성원으로부터의 입력을 인식하도록 구성될 수 있다. 또한, 상이한 승인은 이미지 데이터, 음성 데이터 등으로부터 판정된 가족 구성원 신원에 근거하여 각각의 가족 구성원에게 적용될 수 있다. 다른 예에서, 사용자는 복수의 사람들에 의해 만들어진 입력을 통해 인증될 수 있다. 예를 들어, 만약 인증이 비밀 정보로의 접근을 허가하는데 사용된다면, 정보를 감시하는 다른 신뢰가 가는 사람으로부터의 확인은 사용자를 인증하기 위해 사용자의 인증 입력과 함께 사용될 수 있다. In some embodiments, the authentication input is specific to an individual user. In another embodiment, the same set of authentication inputs may be used by multiple users. For example, members of the user's family may be authenticated to input the user's authentication input, and the display device may be configured to recognize an input from each family member. Further, different authorizations may be applied to each family member based on the family member identity determined from image data, voice data, and the like. In another example, a user may be authenticated through input made by multiple people. For example, if authentication is used to grant access to confidential information, a confirmation from another trusted person monitoring the information can be used with the user's authentication input to authenticate the user.

몇몇 실시예에서 위에 설명된 방법 및 프로세스는 하나 이상의 컴퓨팅 장치의 컴퓨팅 시스템에 관련될 수 있다. 특히, 이와 같은 방법 및 프로세스는 컴퓨터-애플리케이션 프로그램 또는 서비스, 애플리케이션-프로그래밍 인터페이스(API), 라이브러리, 및/또는 다른 컴퓨터-프로그램 제품으로서 구현될 수 있다. In some embodiments, the methods and processes described above may relate to a computing system of one or more computing devices. In particular, such methods and processes may be implemented as computer-application programs or services, application-programming interfaces (APIs), libraries, and/or other computer-program products.

도 7은 위에 설명된 방법 및 프로세스를 실행할 수 있는 컴퓨팅 시스템(700)의 비한정 실시예를 개략적으로 도시한다. 디스플레이 장치(104)는 컴퓨팅 시스템(700)의 하나의 비한정 예가 될 수 있다. 컴퓨팅 시스템(700)은 단순화된 형태로 도시된다. 가상적으로 임의의 컴퓨터 구조가 이 개시의 범위를 벗어남 없이 사용될 수 있다는 것은 이해될 것이다. 다른 실시예에서, 컴퓨팅 시스템(700)은 디스플레이 장치, 착용가능 컴퓨팅 장치, 메인프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 홈-엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 오락 장치, 모바일 컴퓨팅 장치, 모바일 통신 장치(예컨대, 스마트폰)의 형태를 취할 수 있다. 7 schematically depicts a non-limiting embodiment of a computing system 700 capable of executing the methods and processes described above. The display device 104 may be one non-limiting example of the computing system 700. Computing system 700 is shown in a simplified form. It will be appreciated that virtually any computer architecture may be used without departing from the scope of this disclosure. In other embodiments, computing system 700 includes a display device, a wearable computing device, a mainframe computer, a server computer, a desktop computer, a laptop computer, a tablet computer, a home-entertainment computer, a network computing device, an entertainment device, a mobile computing device. , May take the form of a mobile communication device (eg, a smartphone).

컴퓨팅 시스템(700)은 로직 서브시스템(702) 및 스토리지 서브시스템(704)을 포함한다. 컴퓨팅 시스템(700)은 디스플레이 서브시스템(706), 입력 서브시스템(708), 통신 서브시스템(710), 및/또는 도 7에 도시되지 않은 다른 구성요소를 선택적으로 포함할 수 있다. Computing system 700 includes a logic subsystem 702 and a storage subsystem 704. Computing system 700 may optionally include a display subsystem 706, an input subsystem 708, a communication subsystem 710, and/or other components not shown in FIG. 7.

로직 서브시스템(702)은 명령어를 실행하도록 구성된 하나 이상의 물리적 장치를 포함한다. 예를 들어, 로직 서브시스템은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 구성요소, 데이터 구조 또는 다른 로직적인 구성의 일부인 명령어를 실행하도록 구성될 수 있다. 이와 같은 명령어는 작업을 수행하거나, 데이터 타입을 구현하거나, 하나 이상의 구성요소의 상태를 변형시키거나 그렇지 않으면 희망하는 결과에 도착하게끔 구현될 수 있다. Logic subsystem 702 includes one or more physical devices configured to execute instructions. For example, a logic subsystem may be configured to execute instructions that are part of one or more applications, services, programs, routines, libraries, objects, components, data structures, or other logical constructs. Such instructions can be implemented to perform tasks, implement data types, modify the state of one or more components, or otherwise arrive at a desired result.

로직 서브시스템은 소프트웨어 명령어를 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 추가로 또는 대안으로, 로직 서브시스템은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템의 프로세서는 싱글 코어 또는 멀티 코어가 될 수 있고, 여기서 실행되는 프로그램은 순차, 병렬 또는 분포된 프로세싱을 위해 구성될 수 있다. 로직 서브시스템은, 원격으로 위치되고/또는 협력 프로세싱을 위해 구성될 수 있는, 둘 이상의 장치 사이에서 분포되는 개별 컴포넌트를 선택적으로 포함할 수 있다. 로직 서브시스템의 양상은 클라우드 컴퓨팅 구성에서 구성된 원격으로 액세스 가능한, 네트워크화된 컴퓨팅 장치에 의해 가상화되고 실행될 수 있다.The logic subsystem may include one or more processors configured to execute software instructions. Additionally or alternatively, the logic subsystem may include one or more hardware or firmware logic machines configured to execute hardware or firmware instructions. The processors of the logic subsystem can be single-core or multi-core, in which programs executed can be configured for sequential, parallel or distributed processing. The logic subsystem may optionally include individual components distributed between two or more devices that may be remotely located and/or configured for cooperative processing. Aspects of the logic subsystem can be virtualized and executed by a remotely accessible, networked computing device configured in a cloud computing configuration.

스토리지 서브시스템(704)은 본원에서 설명된 방법 및 프로세스들을 구현하는 로직 서브시스템에 의해 실행가능한 데이터 및/또는 명령어들을 보유하도록 구성된 하나 이상의 물리적, 비일시적, 장치를 포함한다. 이러한 방법 및 프로세스들이 구현될 때, 스토리지 서브시스템(704)의 상태는 예를 들어, 상이한 데이터를 보유하도록 변환될 수 있다.Storage subsystem 704 includes one or more physical, non-transitory, devices configured to hold data and/or instructions executable by a logic subsystem implementing the methods and processes described herein. When these methods and processes are implemented, the state of the storage subsystem 704 may be transformed to hold different data, for example.

스토리지 서브시스템(704)은 탈착가능한 매체 및/또는 내장 장치를 포함할 수 있다. 스토리지 서브시스템(704)은 광학 메모리 장치(예를 들어, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리 장치(예를 들어, RAM, EPROM, EEPROM 등) 및/또는 자기 메모리 장치(예를 들어, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등) 등을 포함할 수 있다. 스토리지 서브시스템(704)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차적 액세스, 위치 어드레스가능, 파일 어드레스가능, 및/또는 콘텐츠 어드레스가능 장치를 포함할 수 있다.Storage subsystem 704 may include removable media and/or embedded devices. The storage subsystem 704 includes an optical memory device (e.g., CD, DVD, HD-DVD, Blu-ray disk, etc.), a semiconductor memory device (e.g., RAM, EPROM, EEPROM, etc.), and/or a magnetic memory device. (For example, a hard disk drive, a floppy disk drive, a tape drive, MRAM, etc.), and the like. The storage subsystem 704 may include volatile, nonvolatile, dynamic, static, read/write, read only, random access, sequential access, location addressable, file addressable, and/or content addressable devices.

스토리지 서브시스템(704)은 하나 이상의 물리적, 비일시적 장치를 포함할 수 있음이 이해될 것이다. 하지만, 일부 실시예에서, 본원에서 설명된 명령어들의 양상은 유한한 지속기간 동안 물리적 장치에 의해 보유되지 않는 순수 신호(예를 들어, 전자자기 신호, 광학 신호 등)에 의해 일시적 방식으로 전파될 수 있다. 또한, 본 개시에 속하는 데이터 및/또는 정보의 다른 형식은 순수 신호에 의해 전파될 수 있다.It will be appreciated that the storage subsystem 704 may include one or more physical and non-transitory devices. However, in some embodiments, aspects of the instructions described herein may be propagated in a transient manner by a pure signal (e.g., an electromagnetic signal, an optical signal, etc.) that is not held by the physical device for a finite duration. have. Further, other forms of data and/or information pertaining to this disclosure may be propagated by pure signals.

일부 실시예에서, 로직 서브시스템(702) 및 스토리지 서브시스템(704)의 양상은 본원에서 기능적으로 설명되어 실시될 수 있는 하나 이상의 하드웨어 로직 컴포넌트로 함께 집적될 수 있다. 이러한 하드웨어 로직 컴포넌트는 예를 들어, 필드 프로그램가능 게이트 어레이(FPGA), 프로그램 및 애플리케이션 특정 집적 회로(PASIC/ASIC), 프로그램 및 애플리케이션 특정 표준 제품(PSSP/ASSP), 시스템 온 칩(SOC) 시스템, 및 복합 프로그램가능 로직 장치(CPLD)를 포함할 수 있다.In some embodiments, aspects of logic subsystem 702 and storage subsystem 704 may be integrated together into one or more hardware logic components that may be functionally described and implemented herein. These hardware logic components include, for example, Field Programmable Gate Array (FPGA), Program and Application Specific Integrated Circuits (PASIC/ASIC), Program and Application Specific Standard Products (PSSP/ASSP), System on Chip (SOC) Systems, And a complex programmable logic device (CPLD).

"프로그램"이라는 용어는 특정 기능을 수행하도록 구현된 컴퓨팅 시스템(700)의 양상을 설명하는데 사용될 수 있다. 일부 경우에, 프로그램은 스토리지 서브시스템(704)에 의해 보유되는 명령어들을 실행하는 로직 서브시스템(702)을 통해 예시화될 수 있다. 상이한 프로그램들은 동일한 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수 등으로부터 예시화될 수 있음이 이해될 것이다. 유사하게, 동일한 프로그램은 상이한 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 함수 등에 의해 예시화될 수 있다. "프로그램"이라는 용어는 실행가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 기록 중 개별 또는 그룹을 포함할 수 있다.The term “program” may be used to describe aspects of computing system 700 implemented to perform certain functions. In some cases, the program may be exemplified through the logic subsystem 702 executing instructions held by the storage subsystem 704. It will be appreciated that different programs may be exemplified from the same application, service, code block, object, library, routine, API, function, and the like. Similarly, the same program may be exemplified by different applications, services, code blocks, objects, routines, APIs, functions, and the like. The term "program" may include individual or group of executable files, data files, libraries, drivers, scripts, and database records.

본원에서 사용된 바와 같은 "서비스"는 다수의 사용자 세션을 통해 실행가능한 애플리케이션 프로그램임이 이해될 것이다. 서비스는 하나 이상의 시스템 컴포넌트, 프로그램, 및/또는 다른 서비스에 대해 사용가능할 수 있다. 일부 구현에서, 서비스는 하나 이상의 서버 컴퓨팅 장치 상에서 실행할 수 있다.It will be appreciated that a “service” as used herein is an application program executable over multiple user sessions. Services may be available for one or more system components, programs, and/or other services. In some implementations, a service can run on one or more server computing devices.

디스플레이 서브시스템(706)은, 포함될 때, 스토리지 서브시스템(704)에 의해 보유되는 데이터의 시각적 표현을 표현하는데 사용될 수 있다. 이 시각적 표현은 그래픽 사용자 인터페이스(GUI)의 형식을 취할 수 있다. 본원에서 설명된 바와 같은 방법 및 프로세스들은 스토리지 서브시스템에 의해 보유된 데이터를 변경하여서, 스토리지 서브시스템의 상태를 변환하고, 유사하게 디스플레이 서브시스템(706)의 상태는 기초 데이터에서의 변화를 시각적으로 표현하도록 변환될 수 있다. 디스플레이 서브시스템(706)은 임의의 타입의 기술을 시각적으로 활용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 이러한 디스플레이 장치는 공유된 인클로저에서 로직 서브시스템(702) 및/또는 스토리지 서브시스템(704)과 통합될 수 있고, 또는 이러한 디스플레이 장치는 주변 디스플레이 장치가 될 수 있다.The display subsystem 706, when included, may be used to present a visual representation of the data held by the storage subsystem 704. This visual representation can take the form of a graphical user interface (GUI). The methods and processes as described herein change the data held by the storage subsystem, thus transforming the state of the storage subsystem, and similarly the state of the display subsystem 706 visually reflects changes in the underlying data. Can be transformed to represent. The display subsystem 706 may include one or more display devices that visually utilize any type of technology. Such a display device may be integrated with the logic subsystem 702 and/or the storage subsystem 704 in a shared enclosure, or such a display device may be a peripheral display device.

입력 서브시스템(708)은, 포함될 때, 키보드, 마우스, 터치 스크린, 또는 게임 컨트롤러와 같은 하나 이상의 사용자 입력 장치를 포함하거나 인터페이스로 접속할 수 있다. 일부 실시예에서, 입력 서브시스템은 선택된 고유 사용자 입력(NUI) 구성품을 포함하거나 인터페이스로 접속할 수 있다. 이러한 구성품은 집적되거나 주변적인 것이 될 수 있고, 입력 액션의 변환 및/프로세싱은 온 보드(on-board) 또는 오프 보드(off-board)로 처리될 수 있다. 예시의 NUI 구성품은 대화 및/또는 음성 인식을 위한 마이크로폰, 머신 시각 및/또는 동작 인식을 위한 적외선, 색상, 입체, 및/또는 깊이 카메라, 움직임 검출 및/또는 목적 인식을 위한 두부 추적기, 시선 추적기, 가속도계, 및/또는 자이로스코프뿐만 아니라, 두뇌 활동에 액세스하기 위한 자계 센싱 구성품을 포함할 수 있다.The input subsystem 708, when included, may include or interface with one or more user input devices such as a keyboard, mouse, touch screen, or game controller. In some embodiments, the input subsystem may include or interface with selected native user input (NUI) components. These components can be integrated or peripheral, and the conversion and/processing of input actions can be handled on-board or off-board. Exemplary NUI components are microphones for dialogue and/or speech recognition, infrared, color, stereoscopic, and/or depth cameras for machine vision and/or motion recognition, head trackers for motion detection and/or purpose recognition, gaze trackers. , Accelerometer, and/or gyroscope, as well as magnetic field sensing components for accessing brain activity.

통신 서브시스템(710)은, 포함될 때, 컴퓨팅 시스템(700)과 하나 이상의 다른 컴퓨팅 장치를 통신적으로 연결하도록 구성될 수 있다. 통신 서브시스템(710)은 하나 이상의 상이한 통신 프로토콜과 호환가능한 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적인 예시로서, 통신 서브시스템은 무선 전화 네트워크 또는 유선 또는 무선의 근거리 또는 광역 네트워크를 통한 통신을 위해 구성될 수 있다. 일부 실시예에서, 통신 서브시스템은 컴퓨팅 시스템(700)이 인터넷과 같은 네트워크를 통해 다른 장치로/부터 메시지를 전송 및/또는 수신하게 할 수 있다.The communication subsystem 710, when included, may be configured to communicatively couple the computing system 700 and one or more other computing devices. The communication subsystem 710 may include wired and/or wireless communication devices compatible with one or more different communication protocols. As a non-limiting example, the communication subsystem may be configured for communication over a wireless telephone network or a wired or wireless local or wide area network. In some embodiments, the communications subsystem may enable computing system 700 to send and/or receive messages to/from other devices over a network, such as the Internet.

본원에서 설명된 구성 및/또는 접근방식은 다양한 변형이 가능하기 때문에, 사실상 예시적인 것이고, 이들 특정 실시예 또는 예시는 제한적인 의미로서 고려되는 것이 아님이 이해될 것이다. 본원에서 설명된 특정 루틴 또는 방법은 임의의 다수의 프로세싱 전략 중 하나 이상을 나타낼 수 있다. 그렇기 때문에, 도시되고/또는 설명된 다양한 동작이 도시되고/또는 설명된 순서로, 다른 순서로, 병렬로, 또는 생략되어 수행될 수 있다. 유사하게 상술된 프로세스들의 순서는 변경될 수 있다.It will be appreciated that the configurations and/or approaches described herein are illustrative in nature and, as various variations are possible, and these specific embodiments or examples are not to be considered in a limiting sense. Certain routines or methods described herein may represent one or more of any of a number of processing strategies. As such, various operations shown and/or described may be performed in the order shown and/or described, in a different order, in parallel, or omitted. Similarly, the order of the processes described above can be changed.

본 개시의 청구대상은 다양한 프로세스, 시스템 및 구성의 모든 신규의 진보적인 조합 및 서브조합, 및 다른 특징, 기능, 동작 및/ 특성뿐만 아니라 이들의 임의의 모든 등가물을 포함한다.The subject matter of this disclosure includes all novel and progressive combinations and subcombinations of various processes, systems and configurations, and other features, functions, operations and/characteristics, as well as any and all equivalents thereof.

Claims (20)

디스플레이 장치 - 상기 디스플레이 장치는 두부 장착형(head-mounted) 디스플레이 장치임 - 를 포함하는 컴퓨팅 시스템의 사용자를 인증하는 방법에 있어서,
상기 디스플레이 장치 상에 하나 이상의 가상 이미지를 디스플레이하는 단계― 증강 현실 피처들의 세트는 상기 사용자의 시계(field of view) 내의 상기 하나 이상의 가상 이미지 및 하나 이상의 실제 객체를 포함함 ―;
상기 컴퓨팅 시스템의 센서로부터 수신되는 데이터를 통해 상기 사용자의 하나 이상의 움직임을 식별하는 단계;
상기 증강 현실 피처들의 사전정의된 순서에 사용자 인증을 링크시키는 상기 사용자를 위한 사전정의된 인증 정보 세트와 상기 사용자의 상기 식별된 움직임을 비교하는 단계;
상기 사용자가 상기 사전정의된 순서로 상기 증강 현실 피처들을 선택했음을 상기 식별된 움직임이 나타내면, 상기 사용자를 인증하는 단계; 및
상기 사용자가 상기 사전정의된 순서로 상기 증강 현실 피처들을 선택하지 않았음을 상기 식별된 움직임이 나타내면, 상기 사용자를 인증하지 않는 단계
를 포함하는 컴퓨팅 시스템 사용자 인증 방법.
A method for authenticating a user of a computing system comprising a display device, the display device being a head-mounted display device,
Displaying one or more virtual images on the display device, wherein the set of augmented reality features includes the one or more virtual images and one or more real objects within the field of view of the user;
Identifying one or more movements of the user through data received from sensors of the computing system;
Comparing the identified movement of the user with a predefined set of authentication information for the user linking user authentication to a predefined order of the augmented reality features;
Authenticating the user when the identified movement indicates that the user has selected the augmented reality features in the predefined order; And
If the identified movement indicates that the user has not selected the augmented reality features in the predefined order, not authenticating the user
Computing system user authentication method comprising a.
제 1 항에 있어서,
상기 센서는 관성 모션 센서를 포함하며, 상기 데이터는 관성 모션 데이터를 포함하는 것인 컴퓨팅 시스템 사용자 인증 방법.
The method of claim 1,
Wherein the sensor comprises an inertial motion sensor, and the data comprises inertial motion data.
제 1 항에 있어서,
상기 센서는 시선 추적(eye tracking) 센서 시스템을 포함하며, 상기 데이터는 시선 움직임 데이터를 포함하는 것인 컴퓨팅 시스템 사용자 인증 방법.
The method of claim 1,
Wherein the sensor comprises an eye tracking sensor system, wherein the data comprises eye movement data.
제 1 항에 있어서,
상기 증강 현실 피처들의 상기 사전정의된 순서는 사용자에 의해 선택되는 것인 컴퓨팅 시스템 사용자 인증 방법.
The method of claim 1,
Wherein the predefined order of the augmented reality features is selected by a user.
제 1 항에 있어서,
상기 하나 이상의 가상 이미지는 상기 사용자가 인증될 때마다 유사한 위치에 디스플레이되는 것인 컴퓨팅 시스템 사용자 인증 방법.
The method of claim 1,
Wherein the one or more virtual images are displayed at a similar location each time the user is authenticated.
제 1 항에 있어서,
상기 하나 이상의 가상 이미지는 상이한 인증 세션에서 상이한 위치에 디스플레이되는 것인 컴퓨팅 시스템 사용자 인증 방법.
The method of claim 1,
Wherein the one or more virtual images are displayed at different locations in different authentication sessions.
제 1 항에 있어서,
상기 사용자의 식별된 움직임이 증강 현실 피처와 관련된 움직임과 매칭될 때 상기 사용자가 상기 증강 현실 피처를 선택했다는 표시를 출력하는 단계
를 더 포함하는 컴퓨팅 시스템 사용자 인증 방법.
The method of claim 1,
Outputting an indication that the user has selected the augmented reality feature when the identified movement of the user matches the movement associated with the augmented reality feature
Computing system user authentication method further comprising.
제 1 항에 있어서,
상기 사용자가 상기 사전정의된 순서로 상기 증강 현실 피처들을 선택했다는 신뢰성의 레벨을 반영하는 신뢰성 스코어를 결정하는 단계
를 더 포함하는 컴퓨팅 시스템 사용자 인증 방법.
The method of claim 1,
Determining a reliability score reflecting the level of reliability that the user has selected the augmented reality features in the predefined order
Computing system user authentication method further comprising.
제 8 항에 있어서,
상기 신뢰성 스코어가 임계치보다 크면, 상기 사용자를 인증하는 단계; 및
상기 신뢰성 스코어가 상기 임계치보다 작으면, 상기 사용자를 인증하지 않는 단계
를 더 포함하는 컴퓨팅 시스템 사용자 인증 방법.
The method of claim 8,
If the reliability score is greater than a threshold, authenticating the user; And
If the reliability score is less than the threshold, not authenticating the user
Computing system user authentication method further comprising.
제 9 항에 있어서,
상기 임계치는 상기 사용자의 위치에 기반하는 것인 컴퓨팅 시스템 사용자 인증 방법.
The method of claim 9,
Wherein the threshold is based on the location of the user.
제 9 항에 있어서,
상기 임계치는 증강 현실 피처들의 개수에 기반하여 변하는 것인 컴퓨팅 시스템 사용자 인증 방법.
The method of claim 9,
Wherein the threshold varies based on the number of augmented reality features.
두부 장착형(head-mounted) 디스플레이 장치의 사용자를 인증하는 방법에 있어서,
상기 두부 장착형 디스플레이 장치 상에 하나 이상의 가상 이미지를 디스플레이하는 단계― 증강 현실 피처들의 세트는 상기 사용자의 시계 내의 상기 하나 이상의 가상 이미지 및 하나 이상의 실제 객체를 포함함 ―;
상기 두부 장착형 디스플레이 장치의 센서를 통해 상기 사용자의 하나 이상의 움직임을 식별하는 단계;
상기 증강 현실 피처들의 사전정의된 순서와 관련되는 사전정의된 예상 움직임들의 세트와 상기 사용자의 상기 식별된 움직임을 비교하는 단계;
상기 식별된 움직임에 신뢰성 스코어를 할당하는 단계- 상기 신뢰성 스코어는 상기 식별된 움직임과 상기 예상 움직임들의 세트 사이의 차이에 기반하여 상기 사용자가 상기 증강 현실 피처들을 상기 사전정의된 순서로 선택했다는 신뢰성의 레벨을 반영함-;
상기 신뢰성 스코어가 임계치보다 크면, 상기 사용자를 인증하는 단계; 및
상기 신뢰성 스코어가 임계치보다 크지 않으면, 상기 사용자를 인증하지 않는 단계
를 포함하는 두부 장착형 디스플레이 장치 사용자 인증 방법.
In the method for authenticating a user of a head-mounted display device,
Displaying one or more virtual images on the head mounted display device, wherein the set of augmented reality features includes the one or more virtual images and one or more real objects within the user's field of view;
Identifying one or more movements of the user through a sensor of the head mounted display device;
Comparing the identified movement of the user with a set of predefined expected movements associated with the predefined order of augmented reality features;
Assigning a reliability score to the identified motion-the reliability score is of the reliability that the user has selected the augmented reality features in the predefined order based on the difference between the identified motion and the set of expected motions. Reflects the level -;
If the reliability score is greater than a threshold, authenticating the user; And
If the reliability score is not greater than a threshold, not authenticating the user
Head-mounted display device user authentication method comprising a.
제 12 항에 있어서,
상기 센서는 관성 모션 센서 및 시선 추적 센서 중 하나 이상을 포함하고, 상이한 인증 세션들 동안에 상기 가상 이미지의 위치가 변하면 상기 예상 움직임들이 변하는 것인 두부 장착형 디스플레이 장치 사용자 인증 방법.
The method of claim 12,
The sensor includes at least one of an inertial motion sensor and a gaze tracking sensor, wherein the expected movements change when the position of the virtual image changes during different authentication sessions.
제 12 항에 있어서,
상기 임계치는 상기 사용자의 위치에 기반하고,
상기 방법은 상이한 위치에서 상이한 임계치를 적용하는 단계를 더 포함하는 두부 장착형 디스플레이 장치 사용자 인증 방법.
The method of claim 12,
The threshold is based on the location of the user,
The method further comprises applying different threshold values at different locations.
제 10 항에 있어서,
상기 임계치는, 상기 사용자의 하나 이상의 움직임을 식별하기 위한 상기 센서의 결정된 능력(ability)에 기반하는 것인 컴퓨팅 시스템 사용자 인증 방법.
The method of claim 10,
Wherein the threshold is based on the determined ability of the sensor to identify one or more movements of the user.
컴퓨팅 시스템에 있어서,
디스플레이 장치 - 상기 디스플레이 장치는 두부 장착형(head-mounted) 디스플레이 장치임 - ;
프로세서; 및
명령어들을 저장한 저장 장치
를 포함하고,
상기 명령어들은,
상기 디스플레이 장치 상에 하나 이상의 가상 이미지를 디스플레이하도록― 증강 현실 피처들의 세트는 시계 내의 상기 하나 이상의 가상 이미지 및 하나 이상의 실제 객체를 포함함 ―;
상기 컴퓨팅 시스템의 센서로부터 수신되는 데이터를 통해 사용자의 하나 이상의 움직임을 식별하도록;
상기 증강 현실 피처들의 사전정의된 순서에 사용자 인증을 링크시키는 상기 사용자를 위한 사전정의된 인증 정보 세트와 상기 사용자의 상기 식별된 움직임을 비교하도록;
상기 사용자가 상기 사전정의된 순서로 상기 증강 현실 피처들을 선택했음을 상기 식별된 움직임이 나타내면, 상기 사용자를 인증하도록; 그리고
상기 사용자가 상기 사전정의된 순서로 상기 증강 현실 피처들을 선택하지 않았음을 상기 식별된 움직임이 나타내면, 상기 사용자를 인증하지 않도록
상기 프로세서에 의해 실행가능한 것인 컴퓨팅 시스템.
In the computing system,
Display device-The display device is a head-mounted display device -;
Processor; And
Storage device that stores instructions
Including,
The above commands are:
To display one or more virtual images on the display device, the set of augmented reality features including the one or more virtual images and one or more real objects within the field of view;
Identify one or more movements of the user through data received from sensors of the computing system;
Comparing the identified movement of the user with a predefined set of authentication information for the user linking user authentication to a predefined order of augmented reality features;
Authenticate the user if the identified movement indicates that the user has selected the augmented reality features in the predefined order; And
If the identified movement indicates that the user has not selected the augmented reality features in the predefined order, not to authenticate the user
A computing system executable by the processor.
제 16 항에 있어서,
상기 센서는 관성 모션 센서를 포함하며, 상기 데이터는 관성 모션 데이터를 포함하는 것인 컴퓨팅 시스템.
The method of claim 16,
Wherein the sensor comprises an inertial motion sensor, and the data comprises inertial motion data.
제 16 항에 있어서,
상기 센서는 시선 추적 센서 시스템을 포함하며, 상기 데이터는 시선 움직임 데이터를 포함하는 것인 컴퓨팅 시스템.
The method of claim 16,
Wherein the sensor includes a gaze tracking sensor system, and the data includes gaze movement data.
제 16 항에 있어서,
상기 명령어들은, 상기 하나 이상의 가상 이미지를 상기 사용자가 인증될 때마다 유사한 위치에 디스플레이하도록 실행가능한 것인 컴퓨팅 시스템.
The method of claim 16,
Wherein the instructions are executable to display the one or more virtual images in a similar location each time the user is authenticated.
제 16 항에 있어서,
상기 명령어들은, 상기 하나 이상의 가상 이미지를 상이한 인증 세션에서 상이한 위치에 디스플레이하도록 실행가능한 것인 컴퓨팅 시스템.
The method of claim 16,
The instructions are executable to display the one or more virtual images in different locations in different authentication sessions.
KR1020130158797A 2013-12-18 2013-12-18 User authentication on display device KR102193636B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130158797A KR102193636B1 (en) 2013-12-18 2013-12-18 User authentication on display device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130158797A KR102193636B1 (en) 2013-12-18 2013-12-18 User authentication on display device
KR1020200173166A KR102312900B1 (en) 2013-12-18 2020-12-11 User authentication on display device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200173166A Division KR102312900B1 (en) 2013-12-18 2020-12-11 User authentication on display device

Publications (2)

Publication Number Publication Date
KR20150071592A KR20150071592A (en) 2015-06-26
KR102193636B1 true KR102193636B1 (en) 2020-12-21

Family

ID=53517839

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130158797A KR102193636B1 (en) 2013-12-18 2013-12-18 User authentication on display device

Country Status (1)

Country Link
KR (1) KR102193636B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512540B (en) * 2015-11-25 2018-07-06 广东欧珀移动通信有限公司 A kind of method and device of singlehanded unlock mobile terminal

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099160A (en) * 2004-09-28 2006-04-13 Sony Corp Password setting device and password authentication device
US20100199347A1 (en) * 2005-07-01 2010-08-05 Time Warner, Inc. Method and Apparatus for Authenticating Usage of an Application
US20110221670A1 (en) * 2010-02-28 2011-09-15 Osterhout Group, Inc. Method and apparatus for visual biometric data capture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099160A (en) * 2004-09-28 2006-04-13 Sony Corp Password setting device and password authentication device
US20100199347A1 (en) * 2005-07-01 2010-08-05 Time Warner, Inc. Method and Apparatus for Authenticating Usage of an Application
US20110221670A1 (en) * 2010-02-28 2011-09-15 Osterhout Group, Inc. Method and apparatus for visual biometric data capture

Also Published As

Publication number Publication date
KR20150071592A (en) 2015-06-26

Similar Documents

Publication Publication Date Title
US9977882B2 (en) Multi-input user authentication on display device
US9836889B2 (en) Executable virtual objects associated with real objects
EP2887253A1 (en) User authentication via graphical augmented reality password
US10510190B2 (en) Mixed reality interactions
US11127210B2 (en) Touch and social cues as inputs into a computer
US10331945B2 (en) Fair, secured, and efficient completely automated public Turing test to tell computers and humans apart (CAPTCHA)
US9030495B2 (en) Augmented reality help
US10613642B2 (en) Gesture parameter tuning
CN103761460B (en) Method for authenticating users of display equipment
KR20140034252A (en) Total field of view classification for head-mounted display
US10741175B2 (en) Systems and methods for natural language understanding using sensor input
JP2017502387A (en) Access tracking and restriction
JP6272688B2 (en) User authentication on display devices
KR102193636B1 (en) User authentication on display device
KR102312900B1 (en) User authentication on display device
US11250124B2 (en) Artificial reality system having hardware mutex with process authentication
US20220155857A1 (en) Location-based entity selection using gaze tracking
US20220182836A1 (en) Leveraging cloud anchors in authentication
WO2022125239A1 (en) Determining user intent based on attention values

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant