KR102312900B1 - User authentication on display device - Google Patents

User authentication on display device Download PDF

Info

Publication number
KR102312900B1
KR102312900B1 KR1020200173166A KR20200173166A KR102312900B1 KR 102312900 B1 KR102312900 B1 KR 102312900B1 KR 1020200173166 A KR1020200173166 A KR 1020200173166A KR 20200173166 A KR20200173166 A KR 20200173166A KR 102312900 B1 KR102312900 B1 KR 102312900B1
Authority
KR
South Korea
Prior art keywords
user
computing system
display device
gaze
sensor
Prior art date
Application number
KR1020200173166A
Other languages
Korean (ko)
Other versions
KR20200143317A (en
Inventor
마이크 스카브제
제이슨 스코트
조나단 스티드
이안 맥클린타이어
아론 크라우스
다니엘 맥컬로치
스티븐 라타
케빈 제이스너
브라이언 마운트
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020130158797A priority Critical patent/KR102193636B1/en
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority to KR1020200173166A priority patent/KR102312900B1/en
Publication of KR20200143317A publication Critical patent/KR20200143317A/en
Application granted granted Critical
Publication of KR102312900B1 publication Critical patent/KR102312900B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type, eyeglass details G02C

Abstract

디스플레이 장치의 사용자를 인증하는 것과 관련된 실시예가 개시된다. 가령, 일 실시예는 디스플레이 장치 상에 하나 이상의 가상 이미지를 디스플레이하는 것을 포함하되, 하나 이상의 가상 이미지는 증강 현실 피처들의 세트를 포함하고 있다. 일 실시예의 방법은 또한 디스플레이 장치의 센서로부터 수신되는 데이터를 통해 상기 사용자의 하나 이상의 움직임을 식별하는 것과, 사용자 인증을 상기 증강 현실 피처들의 사전정의된 순서에 링크시키는 사용자를 위한 사전정의된 인증 정보의 세트와 상기 사용자의 상기 식별된 움직임을 비교하는 것을 포함한다. 만약 사용자가 사전정의된 순서의 증강 현실 피처들을 선택했음을 상기 식별된 움직임이 나타내면, 상기 사용자는 인증되고, 만약 상기 사용자가 사전정의된 순서의 증강 현실 피처들을 선택하지 않았음을 상기 식별된 움직임이 나타내면, 상기 사용자는 인증되지 않는다.An embodiment related to authenticating a user of a display device is disclosed. For example, one embodiment includes displaying one or more virtual images on a display device, wherein the one or more virtual images include a set of augmented reality features. The method of an embodiment also includes identifying one or more movements of the user via data received from a sensor of the display device and predefined authentication information for the user linking user authentication to a predefined sequence of augmented reality features. comparing the identified movement of the user with a set of If the identified movement indicates that the user has selected a predefined order of augmented reality features, the user is authenticated, and if the identified movement indicates that the user did not select a predefined order of augmented reality features If indicated, the user is not authenticated.

Figure R1020200173166
Figure R1020200173166

Description

디스플레이 장치 상의 사용자 인증{USER AUTHENTICATION ON DISPLAY DEVICE}USER AUTHENTICATION ON DISPLAY DEVICE

장치, 특정 프로그램, 애플리케이션, 데이터, 웹 사이트 등과 같은 제한된 피처(feature)에 액세스하기 위해, 사용자가 제한된 피처에 액세스하기 위한 허가를 가지는 것을 인증하도록 컴퓨팅 장치 사용자에게 패스워드를 입력하게 할 수 있다. 이러한 패스워드는 사용자가 키패드 상에 입력할 수 있는 일련의 문자 및/또는 숫자를 빈번하게 포함한다. 또한, 인증은 지문 스캔, 망막 스캔과 같은 바이오메트릭 데이터를 통해 수행될 수 있다. To access restricted features, such as devices, certain programs, applications, data, websites, and the like, the computing device user may be prompted to enter a password to authenticate that the user has permission to access the restricted features. Such passwords frequently include a series of letters and/or numbers that a user may enter on a keypad. In addition, authentication may be performed through biometric data such as a fingerprint scan or retina scan.

디스플레이 장치의 사용자를 인증하는 실시예가 개시된다. 예컨대, 개시된 실시예는 디스플레이 장치 상에 하나 이상의 가상 이미지를 디스플레이하는 단계를 포함하는 방법을 제공하며, 여기서 상기 하나 이상의 가상 이미지는 증강 현실 피처(augmented reality features)의 세트를 포함한다. 상기 방법은 디스플레이 장치의 센서로부터 수신된 데이터를 통해 사용자의 하나 이상의 움직임을 식별하는 단계와, 증강 현실 피처의 사전 정의된 순서에 사용자 인증을 링크시키는 사용자에 대한 인증 정보의 사전 정의된 세트와 사용자의 상기 식별된 움직임을 비교하는 단계를 더 포함한다. 사용자가 사전 정의된 순서로 증강 현실 피처를 선택했음을 상기 식별된 움직임이 나타내면 사용자는 인증되고, 또한 사용자가 사전 정의된 순서로 증강 현실 피처를 선택하지 않았음을 상기 식별된 움직임이 나타내면 사용자는 인증되지 않는다. An embodiment for authenticating a user of a display device is disclosed. For example, disclosed embodiments provide a method comprising displaying one or more virtual images on a display device, wherein the one or more virtual images include a set of augmented reality features. The method includes identifying one or more movements of a user via data received from a sensor of a display device, the user and a predefined set of authentication information for the user linking the user authentication to a predefined sequence of augmented reality features. and comparing the identified movement of The user is authenticated if the identified movement indicates that the user has selected augmented reality features in a predefined order, and the user is authenticated if the identified movement indicates that the user did not select augmented reality features in a predefined order doesn't happen

본 요약부는 상세한 설명에서 이후에 추가로 설명되는 개념에 대한 선택을 단순화된 형태로 도입하도록 제공된다. 본 요약부는 청구대상의 주된 사항 또는 핵심 사항을 식별하기 위한 것도 아니며 청구대상의 범위를 제한하는 데 사용되는 것도 아니다. 또한, 청구대상은 본 명세서의 임의의 부분에 공지된 모든 또는 임의의 단점을 해소하는 구현예에 한정되지 않는다. This Summary is provided to introduce a selection of concepts in a simplified form that are further described later in the Detailed Description. This Summary is not intended to identify key points or key points of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter. Furthermore, the claimed subject matter is not limited to implementations which solve all or any disadvantages known in any part of this specification.

도 1은 본 발명에 따른 디스플레이의 실시예에 관한 예시적인 사용자 환경의 개략도를 나타낸다.
도 2는 증강 현실 피처의 세트에 대한 2개의 예시적인 실시예를 개략적으로 나타낸다.
도 3은 디스플레이 장치의 예시적인 실시예를 개략적으로 나타낸다.
도 4는 도 3의 디스플레이 장치의 블록도이다.
도 5는 본 발명의 실시예에 따라 사용자를 인증하는 방법을 나타내는 흐름도이다.
도 6은 본 발명의 다른 실시예에 따라 사용자를 인증하는 방법을 나타내는 흐름도이다.
도 7은 예시적인 컴퓨팅 시스템을 개략적으로 나타낸다.
1 shows a schematic diagram of an exemplary user environment for an embodiment of a display in accordance with the present invention.
2 schematically depicts two exemplary embodiments of a set of augmented reality features.
3 schematically shows an exemplary embodiment of a display device.
4 is a block diagram of the display device of FIG. 3 .
5 is a flowchart illustrating a method of authenticating a user according to an embodiment of the present invention.
6 is a flowchart illustrating a method of authenticating a user according to another embodiment of the present invention.
7 schematically illustrates an exemplary computing system.

사용자에게 배경 화면의 증강 현실 뷰를 제시하는 데 두부 장착형 디스플레이(Head-mounted display; HMD) 장치가 사용될 수 있다. 또한, HMD 장치는 사용자가 다양한 프로그램, 데이터, 및 다른 리소스들에 액세스하도록 할 수 있다. 제한된 리소스에 사용자 액세스를 부여하거나 혹은 사용자가 HMD 장치를 사용하기 위한 허가를 갖는 것을 보장하기 위해, HMD 장치에 의해 디스플레이되는 증강 현실 이미지들에 응답하여 HMD 장치의 하나 이상의 입력 메카니즘을 통해 수신되는 입력에 의해 사용자가 인증될 수 있다. A head-mounted display (HMD) device may be used to present an augmented reality view of a background screen to a user. In addition, HMD devices may allow users to access various programs, data, and other resources. Input received via one or more input mechanisms of the HMD device in response to augmented reality images displayed by the HMD device to grant the user access to limited resources or to ensure that the user has permission to use the HMD device. can be authenticated by the user.

이들 실시예를 상세하게 논의하기 전에, 비제한의 사용자 시나리오를 도 1을 참조하여 설명한다. 보다 구체적으로, 도 1은 두부 장착형의 디스플레이 장치(104)의 실시예에 관한 사용자 환경의 예시적인 실시예를 도시하고, 여기서 환경(100)은 거실의 형태를 취한다. 사용자(106)는 두부 장착형의 디스플레이 장치(104)를 통해 거실을 보고 있다. 또한 도 1은 디스플레이 장치(104)를 통해 볼 수 있는 환경의 일부를 포함하는 사용자 시야(102)를 나타내고, 그에 따라 환경의 일부는 디스플레이 장치(104)를 통해 디스플레이되는 이미지들로 증강될 수 있다. 일부 실시예에서, 사용자 시야(102)는 실질적으로 사용자의 실제 가시 범위와 동일한 공간에 걸쳐 있을 수 있고, 이와 달리 다른 실시예에서는 사용자 시야(102)는 사용자의 실제 가시 범위의 보다 적은 부분을 차지할 수 있다. Before discussing these embodiments in detail, a non-limiting user scenario is described with reference to FIG. 1 . More specifically, FIG. 1 depicts an exemplary embodiment of a user environment related to an embodiment of a head mounted display device 104 , wherein the environment 100 takes the form of a living room. The user 106 is looking at the living room through the head mounted display device 104 . 1 also illustrates a user's field of view 102 comprising a portion of the environment viewed through the display device 104 , such that the portion of the environment may be augmented with images displayed through the display device 104 . . In some embodiments, the user's field of view 102 may span substantially the same space as the user's actual field of view, while in other embodiments the user field of view 102 may occupy a smaller portion of the user's actual field of view. can

이하에서 보다 상세히 설명되는 바와 같이, 디스플레이 장치(104)는 사용자가 환경을 네비게이팅함에 따라 사용자 인증 환경(100)을 나타내는 이미지 데이터(예컨대, 컬러/그레이스케일 이미지, 깊이 이미지/포인트 클라우드 데이터, 등)을 획득하도록 구성된 하나 이상의 외향(outwardly facing) 이미지 센서(예컨대, 2차원 카메라 및/또는 깊이 카메라)를 포함할 수 있다. 이러한 이미지 데이터는 환경의 레이아웃(예컨대, 3차원 표면 맵, 등) 및 책장(108), 문(110), 창문(112), 및 소파(114)와 같이 환경에 포함된 객체에 관한 정보를 획득하는 데 사용될 수 있다. As described in more detail below, the display device 104 provides image data (eg, color/grayscale images, depth images/point cloud data, etc.) representing the user authentication environment 100 as the user navigates the environment. ) one or more outwardly facing image sensors (eg, a two-dimensional camera and/or a depth camera) configured to obtain This image data obtains information about the layout of the environment (eg, a three-dimensional surface map, etc.) and objects included in the environment, such as the bookshelf 108 , the door 110 , the window 112 , and the sofa 114 . can be used to

디스플레이 장치(104)는 사용자 시야(102) 내의 실제 객체 위에 하나 이상의 가상 이미지를 겹쳐 놓을 수 있다. 도 1에 도시된 예시적인 가상 객체는 그릇(116), 달(118), 및 개(120)를 포함한다. 가상 객체는 객체가 사용자 시야(102) 내에서 사용자(106)에 대한 상이한 깊이로 나타나도록 3차원으로 디스플레이될 수 있다. 디스플레이 장치(104)에 의해 디스플레이되는 가상 객체는 사용자(106)에게만 보여질 수 있고, 사용자(106)가 움직임에 따라 움직일 수 있고, 또는 사용자(106)의 움직임에 상관없이 세트 위치 내에서 유지될 수 있다. The display device 104 may superimpose one or more virtual images over real objects within the user's field of view 102 . The example virtual objects shown in FIG. 1 include a bowl 116 , a moon 118 , and a dog 120 . The virtual object may be displayed in three dimensions such that the object appears at different depths to the user 106 within the user's field of view 102 . The virtual object displayed by the display device 104 may only be visible to the user 106 , may move as the user 106 moves, or remain within the set position regardless of the user 106 movement. can

본 명세서에서 개시된 실시예에 의하면, 잠재적으로 사용 환경(100)에 관한 정보와 조합하여 디스플레이 장치(104)를 통해 디스플레이되는 증강 현실 이미지는 디스플레이 장치(104) 상의 인증된 사용자(106)에게 사용될 수 있다. 예컨대, 사용자(106)가 사전 정의된 순서로 선택할 수 있는 증강 현실 피처의 세트를 제공하도록 상기한 가상 객체가 사용자(106)에게 디스플레이될 수 있다. 사용자(106)가 사전 정의된 순서로 증강된 피처를 선택하면, 사용자는 인증될 수 있고, 이에 따라 사용자가 제한된 리소스에 액세스할 수 있게 된다. 증강 현실 피처는 가상 객체 피처, 3차원 홀로그램, 2차원 홀로그램, 사운드, 가상 이동, 진동을 포함하지만 이에 제한되지 않는 임의의 적절한 피처를 포함할 수 있고, 또한 사용자의 시야 내의 실제 객체 피처를 포함할 수도 있다. 예컨대, 도 1의 예에서 사용자(106)에게 디스플레이되는 증강 현실 피처는 책장(108)의 실제 선반 상에 있는 것처럼 디스플레이되는 가상 그릇(116), 가상 달(118), 및 사용자에게 보여질 수 있는 두부(122) 및 꼬리(124)를 갖는 가상 개(120)를 포함한다. In accordance with embodiments disclosed herein, augmented reality images displayed via display device 104, potentially in combination with information regarding usage environment 100, can be used by authenticated users 106 on display device 104. have. For example, the virtual object described above may be displayed to the user 106 to provide a set of augmented reality features that the user 106 may select in a predefined order. When the user 106 selects augmented features in a predefined order, the user can be authenticated, thereby giving the user access to limited resources. Augmented reality features may include any suitable features including, but not limited to, virtual object features, three-dimensional holograms, two-dimensional holograms, sounds, virtual movements, vibrations, and may also include real object features within the user's field of view. may be For example, the augmented reality features displayed to the user 106 in the example of FIG. 1 include a virtual bowl 116 displayed as if it were on an actual shelf of a bookshelf 108 , a virtual moon 118 , and a virtual moon 118 that could be shown to the user. a virtual dog 120 having a head 122 and a tail 124 .

사용자(106)는 디스플레이 장치(104)에 의해 검출 가능한 임의의 적절한 방식으로 증강 현실 피처를 선택할 수 있다. 예컨대, 사용자(106)는 선택된 증강 현실 피처를 응시함으로써 증강 현실 피처를 선택할 수 있으며, 여기서 응시 방향은 하나 이상의 시선 추적 센서에 의해 검출될 수 있다. 다른 예에서는, 사용자(106)가 관성 모션 센서 및 이미지 센서에 의해 검출되는 것과 같이 자신의 두부, 손, 몸 전체 등을 증강 현실 피처로 또는 그를 향해 움직임으로써 증강 현실 피처를 선택할 수 있다. 또한 사용자는 하나 이상의 마이크로폰에 의해 검출되는 음성 명령을 내릴 수도 있다. 디스플레이 장치(104)의 센서를 통한 사용자 입력 명령의 검출에 관한 추가적인 상세는 도 3 및 도 4와 관련해서 이후에 논의할 것이다. The user 106 may select the augmented reality feature in any suitable manner detectable by the display device 104 . For example, the user 106 may select an augmented reality feature by gazing at the selected augmented reality feature, where the gaze direction may be detected by one or more eye tracking sensors. In another example, the user 106 may select an augmented reality feature by moving his/her head, hands, whole body, etc. to or towards the augmented reality feature, as detected by an inertial motion sensor and image sensor. The user may also issue a voice command that is detected by one or more microphones. Additional details regarding detection of a user input command via a sensor of the display device 104 will be discussed later with respect to FIGS. 3 and 4 .

증강 현실 피처의 선택은 그 증강 현실 피처와 연관된 움직임 또는 명령을 수행하는 사용자(106)에 기초하여 검출 및 결정될 수 있다. 움직임은 단순히 증강 현실 피처를 향한 사용자의 움직임 또는 증강 현실 피처에서의 사용자의 시선(looking)을 포함할 수 있다. 또한, 일부 실시예에서, 움직임은 사전 정의된 시간 동안에 증강 현실 피처에서의 사용자의 시선, 특정한 움직임을 수행하면서 또는 특정한 오디오 명령을 내리는 동안에 증강 현실 피처에서의 사용자의 시선, 및/또는 증강 현실 피처의 선택을 나타내는 다른 적절한 메카니즘을 포함할 수도 있다. 추가적으로, 일부 실시예에서는, 특정한 지리적 위치, 특정한 위치에서의 HMD 장치의 특정한 방향에 특정한 입력이 링크될 수 있다. The selection of the augmented reality feature may be detected and determined based on the user 106 performing a movement or command associated with the augmented reality feature. The movement may simply include the user's movement towards the augmented reality feature or the user's looking at the augmented reality feature. Further, in some embodiments, the movement is the user's gaze at the augmented reality feature for a predefined time period, the user's gaze at the augmented reality feature while performing a specific movement or issuing specific audio commands, and/or the augmented reality feature It may include other suitable mechanisms to indicate the selection of Additionally, in some embodiments, specific inputs may be linked to specific geographic locations, specific orientations of the HMD device at specific locations.

사용자에 의해 증강 현실 피처가 선택되는 사전 정의된 순서는 임의의 적절한 순서로 결정될 수 있다. 예컨대, 초기의 인증 패스코드 셋업 세션에서, 사용자가 피처의 아이덴티티, 및 피처가 인증 프로세스에서 선택되는 순서를 결정할 수 있다. 다른 예에서, 디스플레이 장치(104)는 증강 현실 피처가 선택되는 순서 및 그의 아이덴티티를 결정할 수 있고, 또한 증강 현실 피처를 선택하기 위한 순서를 사용자에게 통지할 수 있다. The predefined order in which augmented reality features are selected by the user may be determined in any suitable order. For example, in an initial authentication passcode setup session, the user may determine the identity of the features and the order in which the features are selected in the authentication process. In another example, the display device 104 may determine the order in which the augmented reality features are selected and their identity, and may also notify the user of the order for selecting the augmented reality features.

도 1에 도시된 예에서, 사용자(106)는 먼저 가상 그릇(116)을 선택하고, 그 다음에 가상 달(118), 그 다음에 개(120)의 두부(122)를 선택한다. 사용자가 사전 정의된 순서로 올바른 증강 현실 피처를 선택했으면, 사용자의 움직임(눈 및 몸의 움직임을 포함함) 및 잠재적으로 다른 정보(예컨대, 음성 명령, 위치, 및/또는 사용자의 방향)가 디스플레이 장치의 센서를 통해 검출될 수 있고, 증강 현실 피처가 선택되는 특정한 순서에 사용자 인증을 링크시키는 사용자 인증 정보와 비교될 수 있다. In the example shown in FIG. 1 , the user 106 first selects the virtual vessel 116 , then the virtual moon 118 , and then the head 122 of the dog 120 . Once the user has selected the correct augmented reality features in a predefined order, the user's movements (including eye and body movements) and potentially other information (eg, voice commands, location, and/or the user's direction) are displayed It may be detected via a sensor in the device and compared to user authentication information linking the user authentication to the specific order in which the augmented reality features are selected.

일부 실시예에서, 증강 현실 피처는 동일 또는 유사한 방식의 각 인증 세션에서 사용자에게 디스플레이될 수 있다. 다른 실시예에서는, 증강 현실 피처가 사용자 인증 세션 간에 상이하게 사용자에게 디스플레이될 수 있다. 예컨대, 일부 실시예에서, 선택된 피처를 포함하는 증강 현실 피처의 상이한 전체 세트가 상이한 사용자 인증 세션에서 디스플레이될 수 있다. 다른 실시예에서는, 증강 현실 피처의 동일 세트가 상이한 위치는 아니지만 상이한 인증 세션에서 디스플레이될 수 있다. 다른 경우에, 상이한 인증 세션 동안에 상이한 방식으로 증강 현실 피처를 디스플레이하는 것은 외부 관찰자가 사용자에 의해 수행되는 인증 동작의 패턴을 관찰하는 것을 방지하도록 도울 수 있으므로, 선택되는 일련의 증강 현실 피처에 대한 기밀성을 보호하는 것을 도울 수 있다. In some embodiments, augmented reality features may be displayed to the user in each authentication session in the same or similar manner. In other embodiments, augmented reality features may be displayed to the user differently between user authentication sessions. For example, in some embodiments, different full sets of augmented reality features including selected features may be displayed in different user authentication sessions. In other embodiments, the same set of augmented reality features may be displayed in different authentication sessions, but not in different locations. In other cases, displaying augmented reality features in different ways during different authentication sessions may help prevent an external observer from observing a pattern of authentication actions performed by the user, thus providing confidentiality to the selected set of augmented reality features. can help protect

또한, 사용자에게 디스플레이되는 증강 현실 피처의 개수 및/또는 외관은 사용자 위치 또는 다른 파라미터에 따라 변할 수 있다. 예컨대, 사용자가 자신의 집 또는 다른 사적인 위치에서 (예를 들어 GPS 데이터, 이미지 데이터, 및/또는 다른 디스플레이 장치 센서 데이터를 통해) 인증되고 있다고 판정되면, 보다 단순한 패스코드 이미지(예컨대, 보다 적은 수의 전체 증강 현실 피처를 가짐)가 디스플레이될 수 있고, 및/또는 보다 공공의 위치에 사용자가 있을 때의 신뢰성 레벨보다 낮은 신뢰성 레벨인, 사용자 입력이 인증 데이터와 매칭되는지에 관한 신뢰성 레벨이 인증을 위해 허가될 수 있다. Further, the number and/or appearance of augmented reality features displayed to the user may vary depending on the user location or other parameters. For example, if it is determined that the user is being authenticated (eg, via GPS data, image data, and/or other display device sensor data) at their home or other private location, a simpler passcode image (eg, fewer may be displayed, and/or a level of trust regarding whether user input matches the authentication data, which is a lower level of trust than the level of trust when the user is in a more public location, may be permitted for

도 2는 두 개의 구별된 인증 세션 중에 디스플레이될 수 있는 증강 현실 피처들의 두 가지 세트의 예시적 실시예를 도시한다. 위에서 설명된 것처럼, 증강 현실 피처들은 디스플레이 장치를 통해 사용자(도 2에서 도시안됨)에게 디스플레이된다. 시간 라인(202)은 구별된 인증 세션의 상대적 타이밍을 나타내기 위해 또한 도시된다. 2 depicts an exemplary embodiment of two sets of augmented reality features that may be displayed during two distinct authentication sessions. As described above, augmented reality features are displayed to a user (not shown in FIG. 2 ) via a display device. Time line 202 is also shown to indicate the relative timing of distinct authentication sessions.

시간 t1에서, 증강 현실 피처들의 제 1 세트(210)가 사용자에게 디스플레이된다. 증강 현실 피처들의 제 1 세트(210)는 사용자 시야(200) 내의 다양한 위치에서 스크린에서 천천히 떨어질 때 표시되는 문자의 세트를 포함한다. 도 2에 도시된 것처럼, 사용자는 워드 FIRKIN이 되도록 사전 정의된 순서로 문자의 세트를 선택한다. 인증 정보가 사용자 패스워드가 FIRKIN임을 나타내면, 사용자는 인증된다. At time t1 , the first set 210 of augmented reality features is displayed to the user. A first set of augmented reality features 210 includes a set of characters displayed as they slowly fall off the screen at various locations within the user's field of view 200 . As shown in Figure 2, the user selects a set of characters in a predefined order to be the word FIRKIN. If the authentication information indicates that the user password is FIRKIN, the user is authenticated.

다음에, 시간 t2에서, 증강 현실 피처들의 제 2 세트(220)가 사용자 시야(200)를 통해 사용자에게 디스플레이되는 제 2 인증 세션이 개시된다. 증강 현실 피처들의 제 2 세트(220)에서, 문자들 및/또는 문자들의 위치는 증강 현실 피처들의 제 1 세트(210)에서와 다를 수 있지만, 피처들의 제 1 세트(210)와 다른 동작 세트를 통해 여전히 워드 FIRKIN의 선택이 가능하다. 사용자는 양쪽 인증 세션에서 문자의 동일한 조합을 선택하지만, 외부 관찰자에게 사용자의 움직임은 다른 것으로 보일 것이다. Next, at time t2 , a second authentication session is initiated in which a second set of augmented reality features 220 are displayed to the user via the user's field of view 200 . In the second set of augmented reality features 220 , the characters and/or the positions of the characters may be different than in the first set 210 of augmented reality features, but with a different set of actions than the first set of features 210 . It is still possible to select the word FIRKIN through The user selects the same combination of characters in both authentication sessions, but the user's movements will appear different to an outside observer.

전술된 것처럼, 사용자 인증 프로세스는, 디스플레이 장치를 포함하지만 반드시 이에 제한되지는 않는 임의의 적합한 컴퓨팅 장치에 의해 수행될 수 있다. 본 발명에 따른 디스플레이 장치는, 도 1의 두부 장착 디스플레이 장치(104)와 같은 HMD 장치를 포함하지만 이에 제한되지는 않는 임의의 적합한 형태를 취할 수 있다. 도 3은 디스플레이 시스템(300)의 예시적 실시예를 도시하고, 도 4는 디스플레이 시스템(300)의 블록도를 도시한다. As noted above, the user authentication process may be performed by any suitable computing device, including, but not necessarily limited to, a display device. A display device in accordance with the present invention may take any suitable form, including, but not limited to, an HMD device such as the head mounted display device 104 of FIG. 1 . 3 shows an exemplary embodiment of a display system 300 , and FIG. 4 shows a block diagram of the display system 300 .

디스플레이 시스템(300)은 디스플레이 서브시스템(304)의 일부를 형성하는 하나 이상의 렌즈(302)를 포함하므로, 이미지들은 렌즈(302) 상으로 투영되거나 렌즈(302)에 통합된 이미지 생성 요소(예컨대, 투명 OLED 디스플레이)에 의해 생성될 수 있다. 디스플레이 시스템(300)은 사용자가 보고 있는 배경 장면 및/또는 물리적 공간의 이미지를 획득하도록 구성된 하나 이상의 외향 이미지 센서(306)를 더 포함하며, 사용자로부터의 음성 명령과 같은 사운드를 검출하도록 구성된 하나 이상의 마이크로폰(308)를 포함할 수 있다. 외향 이미지 센서(306)는 하나 이상의 깊이 센서 및/또는 하나 이상의 이차원 이미지 센서를 포함할 수 있다.Display system 300 includes one or more lenses 302 that form part of display subsystem 304 , such that images are projected onto lens 302 or an image generating element incorporated into lens 302 (eg, transparent OLED displays). Display system 300 further includes one or more outward-facing image sensors 306 configured to acquire an image of a background scene and/or physical space viewed by the user, and one or more outward-facing image sensors 306 configured to detect a sound, such as a voice command, from the user. A microphone 308 may be included. The outward-facing image sensor 306 may include one or more depth sensors and/or one or more two-dimensional image sensors.

디스플레이 시스템(300)은 전술된 것처럼 사용자의 각 눈의 시선의 방향을 검출하도록 구성된 시선 검출 서브시스템(310)을 더 포함할 수 있다. 시선 검출 서브시스템(310)은 임의의 적합한 방식으로 사용자의 각 눈의 시선 방향을 판정하도록 구성될 수 있다. 예컨대, 도시된 실시예에서, 시선 검출 서브시스템(310)은, 광의 글린트(glint)가 사용자의 각 안구로부터 반사되게 하도록 구성된 하나 이상의 글린트(glint) 소스(312) 및 사용자의 각 안구의 이미지를 캡처하도록 구성된 내부 대면 센서와 같은 하나 이상의 이미지 센서(314)를 포함한다. 이미지 센서(들)(314)를 통해 수집된 이미지 데이터로부터 판정되는 사용자 안구로부터의 글린트의 변화는 시선의 방향을 판정하는데에 사용될 수 있다. 또한, 사용자의 눈으로부터 투영된 시선이 외부 디스플레이를 교차하는 위치는 사용자가 응시하고 있는 객체(예컨대, 디스플레이된 가상 객체 또는 실제 배경 객체)을 판정하는데에 사용될 수 있다. 시선 검출 서브시스템(310)은 적합한 개수 및 배열의 광 소스 및 이미지 센서를 가질 수 있다. The display system 300 may further include a gaze detection subsystem 310 configured to detect the direction of gaze of each eye of the user as described above. Gaze detection subsystem 310 may be configured to determine the gaze direction of each eye of the user in any suitable manner. For example, in the illustrated embodiment, the gaze detection subsystem 310 may include one or more glint sources 312 configured to cause a glint of light to be reflected from each eye of the user and one or more glint sources 312 in each eye of the user. one or more image sensors 314 , such as internally facing sensors configured to capture images. The change in glint from the user's eye determined from image data collected via the image sensor(s) 314 may be used to determine the direction of the gaze. Further, the location where the gaze projected from the user's eye intersects the external display may be used to determine the object the user is gazing at (eg, a displayed virtual object or a real background object). Gaze detection subsystem 310 may have any suitable number and arrangement of light sources and image sensors.

디스플레이 시스템(300)은 부가적인 센서들을 더 포함할 수 있다. 예컨대, 디스플레이 시스템(300)은 디스플레이 시스템(300)의 위치가 판정될 수 있도록 하는 글로벌 포지셔닝 (GPS) 서브시스템(316)을 포함할 수 있다. 이것은 디스플레이 시스템(300)의 사용자로 하여금 다른 위치에서 상이한 패스워드를 사용하는 것을 허용할 수 있으며, 이에 따라 원하는 보안 레벨이 장치 위치에 따라 변하는 것이 허용될 수 있다. The display system 300 may further include additional sensors. For example, the display system 300 may include a global positioning (GPS) subsystem 316 that allows the position of the display system 300 to be determined. This may allow the user of the display system 300 to use different passwords at different locations, thereby allowing the desired level of security to vary with device location.

디스플레이 시스템(300)은 사용자가 디스플레이 시스템(300)을 착용하고 있을 경우 사용자의 머리의 움직임을 검출하는 하나 이상의 움직임 센서(318)를 더 포함할 수 있다. 외향 이미지 센서(들)(306)로부터의 이미지들 내의 흐림(blur)에 대한 보정을 돕는 이미지 안정화뿐만 아니라, 시선 검출을 위해, 잠재적으로 시선 추적 글린트 데이터 및 외향 이미지 데이터와 함께, 움직임 데이터가 사용될 수 있다. 움직임 데이터의 사용은 외향 이미지 센서(들)(306)로부터의 이미지 데이터가 해상될 수 없을 때조차도 시선 위치의 변화가 추적될 수 있도록 한다. 마찬가지로, 마이크로폰(들)(308) 및 시선 검출 서브시스템(310) 뿐만 아니라 움직임 센서(318) 또한 사용자 입력 장치로서 사용될 수 있으므로 사용자는 구두 명령을 통해서 뿐만 아니라 눈, 목 및/또는 머리의 제스처를 통해 디스플레이 시스템(300)과 상호작용할 수 있다. 도 3 및 도 4에 도시된 센서들은 예시를 위해 도시된 것이지 임의 방식으로 제한할 의도가 아니며, 임의의 다른 적합한 센서들 및/또는 센서들의 조합이 사용될 수 있음이 이해될 것이다. The display system 300 may further include one or more motion sensors 318 that detect a movement of the user's head when the user is wearing the display system 300 . For gaze detection, as well as image stabilization to help correct for blur in images from the outward-facing image sensor(s) 306, movement data, potentially along with eye-tracking glint data and outward-looking image data, is can be used The use of motion data allows changes in gaze position to be tracked even when image data from the outward-looking image sensor(s) 306 cannot be resolved. Likewise, the microphone(s) 308 and gaze detection subsystem 310, as well as the motion sensor 318, may also be used as user input devices so that the user can perform eye, neck and/or head gestures as well as through verbal commands. through the display system 300 . It will be understood that the sensors shown in FIGS. 3 and 4 are shown for purposes of illustration and not in any way limiting, and that any other suitable sensors and/or combinations of sensors may be used.

디스플레이 시스템(300)은 로직 서브시스템(322) 및 센서들과 통신하는 데이터 보유 서브시스템(324)(스토리지 시스템으로도 언급됨)을 갖는 제어기(320), 시선 검출 서브시스템(310), 디스플레이 서브시스템(304)을 더 포함한다. 데이터 보유 서브시스템(324)은, 여러 작업 중에서도, 예컨대, 센서로부터 입력을 수신하여 해석하고, 사용자의 움직임을 식별하고, 사용자가 사전 정의된 순서로 증강 현실 피처들을 선택했는지를 판정하기 위해 식별된 움직임과 인증 정보를 비교하고, 사용자를 인증하는, 로직 서브시스템(322)에 의해 실행될 수 있는 저장된 명령어를 포함한다. Display system 300 includes a controller 320 having a logic subsystem 322 and a data retention subsystem 324 (also referred to as a storage system) in communication with sensors, a gaze detection subsystem 310, and a display subsystem. A system 304 is further included. The data retention subsystem 324 may, among other tasks, be configured to receive and interpret input from, for example, sensors, identify movement of the user, and determine whether the user has selected augmented reality features in a predefined order, among other tasks. stored instructions that can be executed by logic subsystem 322 to compare movement and authentication information, and to authenticate the user.

도시된 디스플레이 장치(104, 300)는 예시를 위해 설명된 것이며 따라서 제한할 의도가 아님이 인식될 것이다. 디스플레이 장치는 본 발명의 범위를 벗어 나지 않고, 도시된 것과 다른 추가적인 및/또는 대안적인 센서, 카메라, 마이크로폰, 입력 장치, 출력 장치 등등을 포함할 수 있음이 이해되어야 한다. 또한, 디스플레이 장치 및 그것의 다양한 센서들 및 하위 구성요소들의 물리적 구성은 본 발명의 범위를 벗어나지 않고 다양한 다른 형태를 취할 수 있다. It will be appreciated that the illustrated display devices 104 and 300 have been described for purposes of illustration and are therefore not intended to be limiting. It should be understood that the display device may include additional and/or alternative sensors, cameras, microphones, input devices, output devices, etc. other than those shown without departing from the scope of the present invention. Further, the physical configuration of the display device and its various sensors and subcomponents may take various other forms without departing from the scope of the present invention.

도 5는 전술된 두부 장착 디스플레이 장치(104)와 같은 디스플레이 장치의 사용자를 인증하는 방법(500)의 실시예를 도시하는 흐름도이다. 간단하게 말하자면, 방법(500)은 사용자를 인증하기 위해 인증 세션 중에 사용자에게 하나 이상의 가상 이미지 또는 다른 증강 현실 피처들을 제시한다. 일단 인증되면, 사용자에게는 하나 이상의 제한된 장치, 프로그램, 애플리케이션 등등에 대해 액세스가 허용될 수 있다. 인증 세션은, 사용자가 디스플레이 장치의 전원을 켜는 것, 프로그램이나 애플리케이션을 시작하기 위한 허락을 요청하는 것, 웹 사이트를 보기 위한 허락을 요청하는 것 등등과 같은, 임의의 적합한 입력을 통해 개시될 수 있다. 5 is a flow diagram illustrating an embodiment of a method 500 for authenticating a user of a display device, such as the head mounted display device 104 described above. Briefly, method 500 presents one or more virtual images or other augmented reality features to a user during an authentication session to authenticate the user. Once authenticated, the user may be granted access to one or more restricted devices, programs, applications, and the like. An authentication session may be initiated via any suitable input, such as the user turning on the display device, requesting permission to start a program or application, requesting permission to view a web site, etc. have.

502에서, 방법(500)은 증강 현실 피처들의 세트를 포함하는 하나 이상의 가상 이미지를 디스플레이하는 것을 포함한다. 증강 현실 피처들의 세트는 가상 이미지 및/또는 실제 객체의 임의의 적합한 피처들을 포함할 수 있다. 예컨대, 증강 현실 피처들은 사용자에 의해 선택된 특정 3D 또는 가상 객체, (특정 이미지의 반대편에 있는) 특정 객체 또는 사람을 도시하는 이미지, 및/또는 특정 속성을 갖는 3D 실제 또는 가상 객체를 포함할 수 있다. 또한, 피처들은 사운드 또는 다른 증강 현실 환경 측면들을 포함할 수도 있다. 증강 현실 피처들은 임의의 적합한 방식으로 제시될 수 있다. 예컨대, 증강 현실 피처들은 사전 정의된 순서, 랜덤한 순서, 상이한 인증 세션들 사이에서의 알고리즘적으로 변경된 순서, 등등으로 디스플레이될 수 있다. At 502 , the method 500 includes displaying one or more virtual images comprising a set of augmented reality features. The set of augmented reality features may include any suitable features of a virtual image and/or a real object. For example, augmented reality features may include a particular 3D or virtual object selected by a user, an image depicting a particular object or person (opposite to the particular image), and/or a 3D real or virtual object with particular properties. . Also, features may include sound or other augmented reality environment aspects. Augmented reality features may be presented in any suitable manner. For example, augmented reality features may be displayed in a predefined order, in a random order, in an algorithmically altered order between different authentication sessions, and so on.

504에서, 방법(500)은 센서로부터 수신된 데이터를 통해 사용자의 하나 이상의 움직임을 식별하는 것을 포함한다. 센서 데이터는, 관성 모션 센서(506) 및/또는 시선 추적 센서 시스템(508)을 포함하지만 한정되지는 않는 임의의 적합한 센서로부터 수신될 수 있다. 또한, 사용자의 움직임을 식별하기 위해 디스플레이 장치 외부의 센서들이 사용될 수도 있다. 예컨대, 사용자는 (태블릿과 같은) 외부 장치의 스크린에 그림을 그릴 수 있고, 그 태플릿은 사용자의 손의 움직임을 검출하여 그 움직임을 해당 디스플레이 장치에 전달할 수 있다. 다른 예로, 원격 서비스, 예컨대, 웹 서버를 통해 액세스 가능한 서비스가 입력 장치로서 사용될 수 있다. 예컨대, 디스플레이 장치는 웹 서비스의 상태를 질의할 수 있고, 웹 서비스가 도달될 수 없거나 "허가되지 않음" 메시지를 반환할 경우, 사용자는 인증되지 않을 수 있다. 식별된 움직임은 사용자에 의해 선택된 증강 현실 피처들의 식별 및 순서를 판정하는 데에 사용될 수 있다. 또한, 사용자가 증강 현실 피처들을 선택하는 움직임을 입력할 때, 식별된 움직임이 증강 현실 피처와 연관된 움직임과 일치하면, 방법(509)은 사용자가 증강 현실 피처를 선택했다는 표식을 출력하는 것을 포함할 수 있다. At 504 , the method 500 includes identifying one or more movements of the user via data received from the sensor. The sensor data may be received from any suitable sensor including, but not limited to, the inertial motion sensor 506 and/or the eye tracking sensor system 508 . Also, sensors outside the display device may be used to identify the user's movement. For example, a user may draw a picture on a screen of an external device (such as a tablet), and the tablet may detect a motion of the user's hand and transmit the motion to a corresponding display device. As another example, a remote service, such as a service accessible through a web server, may be used as the input device. For example, the display device may query the status of the web service, and if the web service cannot be reached or returns a “not authorized” message, the user may not be authenticated. The identified movement may be used to determine the identification and order of augmented reality features selected by the user. Further, when the user inputs motion to select augmented reality features, if the identified motion matches motion associated with the augmented reality feature, the method 509 may include outputting an indication that the user has selected the augmented reality feature. can

510에서, 방법(500)은 사용자 인증을 증강 현실 피처들의 사전 정의된 순서와 연결시키는 인증 정보와 식별된 움직임을 비교한다. 인증 정보는 디스플레이 장치 상에 국소적으로 저장되거나, 원격으로 저장되거나, 원격 서비스를 통해 액세스 가능할 수도 있다. At 510 , the method 500 compares the identified movement with authentication information that associates user authentication with a predefined sequence of augmented reality features. The authentication information may be stored locally on the display device, stored remotely, or accessible through a remote service.

512에서, 방법(500)은 사용자가 증강 현실 피처들을 사전 정의된 순서로 선택했는지 판정하는 것을 포함한다. 전술된 것처럼, 사용자의 식별된 움직임은 사용자에 의해 선택된 증강 현실 피처들의 순서의 식별을 판단하는 데에 사용될 수 있다. 몇몇 실시예에서는, 514에 표시된 것처럼, 사용자가 실제로 증강 현실 피처들을 사전 정의된 순서로 선택했다는 신뢰성 레벨에 기초하여 식별된 움직임에 신뢰성 스코어를 할당할 수 있다. 신뢰성 스코어는 식별된 움직임이 예상된 움직임과 일치하는 확실성을 반영할 수 있고, 움직임을 검출하는 센서의 성능을 포함하지만 이에 한정되지 않는 다양한 다른 인자들의 함수가 될 수 있다. At 512 , the method 500 includes determining whether the user has selected augmented reality features in a predefined order. As described above, the identified movement of the user may be used to determine identification of the order of augmented reality features selected by the user. In some embodiments, as indicated at 514 , a confidence score may be assigned to the identified movement based on a level of confidence that the user actually selected the augmented reality features in a predefined order. The reliability score may reflect the certainty that the identified movement matches the expected movement, and may be a function of a variety of other factors including, but not limited to, the ability of the sensor to detect the movement.

사용자를 인증할 것인지 여부를 판정하기 위해 신뢰성 스코어는 임계치 신뢰성 스코어 값과 비교될 수 있다. 신뢰성 스코어가 임계치보다 높고 516에 표시된 것처럼 증강 현실 피처들이 올바른 순서로 선택되었다면, 디스플레이 장치는 518에 표시된 것처럼 사용자를 인증할 수 있다. 임계치는 변하지 않는 고정된 값이 될 수도 있고, 아니면 사용자 위치 및/또는 바이오메트릭 시그니처(biometric signatures)와 같이, 인증 세션의 조건에 따라 변할 수도 있다. 한편, 증강 현실 피처들이 사전 정의된 순서로 선택되지 않았다면(또는 신뢰성 스코어가 임계치를 충족시키지 않아 피처들이 사전 정의된 순서로 선택되지 않은 것으로 간주될 수 있다면), 방법(500)은 520에서 사용자를 인증하지 않는 것을 포함한다. The credibility score may be compared to a threshold credibility score value to determine whether to authenticate the user. If the confidence score is above the threshold and the augmented reality features have been selected in the correct order as indicated at 516 , then the display device may authenticate the user as indicated at 518 . The threshold may be a fixed value that does not change, or may vary depending on conditions of the authentication session, such as user location and/or biometric signatures. On the other hand, if the augmented reality features were not selected in the predefined order (or if the confidence score did not meet a threshold so that the features could be considered not selected in the predefined order), the method 500 returns the user to the user at 520 . Including non-authentication.

도 5와 관련되어 위에 설명된 예에서, 인증은 단일 입력 메커니즘에 기초한다. 실시예에서, 다수의 입력 메커니즘은 사용자를 인증하기 위해 사용될 것이고, 사용자를 인증하는 데 사용되는 신뢰성 스코어 임계치는 얼마나 많은 입력 메커니즘이 사용되었는지에 따라 달라질 수 있다. 예를 들어, 복수의 입력 메커니즘이 사용되는 곳에서보다 단일 입력 메커니즘이 사용되는 곳에서 더 높은 신뢰성 스코어 임계치가 적용될 수 있다.In the example described above with respect to FIG. 5 , authentication is based on a single input mechanism. In embodiments, multiple input mechanisms will be used to authenticate the user, and the confidence score threshold used to authenticate the user may vary depending on how many input mechanisms have been used. For example, a higher confidence score threshold may be applied where a single input mechanism is used than where multiple input mechanisms are used.

도 6은 사용자 가변가능 개수의 인증 입력에 기초하여 사용자를 인증하기 위한 방법(600)의 실시예를 설명하는 흐름도를 도시한다. 여기서 사용된 바와 같이, 용어 인증 입력은, 사용자를 인증하기 위해 증강 현실 특징에 사용자 움직임을 링크시키는 인증 정보와 비교될 수 있는 디스플레이 장치의 임의의 센서에 의해 검출된 임의의 사용자 입력을 나타낼 수 있다. 인증 입력의 예들은 시선 움직임(eye movement)을 통한 가상 오브젝트의 선택, 신체 움직임을 통한 가상 오브젝트의 선택, 음성 명령 및 특정 오리엔테이션 또는 위치를 추정하는 것에 한정되지 않고 이러한 것들을 포함한다. 6 shows a flow diagram illustrating an embodiment of a method 600 for authenticating a user based on a user variable number of authentication inputs. As used herein, the term authentication input may refer to any user input detected by any sensor of a display device that may be compared to authentication information that links user movement to an augmented reality feature to authenticate the user. . Examples of authentication input include, but are not limited to, selection of a virtual object through eye movement, selection of a virtual object through body movement, a voice command, and estimating a specific orientation or position.

단계 602에서, 방법(600)은 인증 입력의 세트를 수신하는 단계를 포함한다. 단계 604에 표시된 바와 같이 인증 입력의 세트는 사용자를 위해 인식된 복수의 인증 입력으로부터 선택될 수 있고, 여기서, 복수의 인식된 입력은 상이한 센서들을 통해 형성된 입력에 대응한다. 조금 더 구체적인 예로서, 복수의 인식된 입력은 시선 추적 입력, 두부 추적 입력, 팔동작 입력, 및/또는 사용자 생체 정보(예컨대, 사용자의 동공간 거리(interpupil distance: IPD), 걸음걸이, 키 등)를 포함할 수 있고, 수신된 세트는 두부 움직임 입력 데이터가 뒤를 잇는 시선 추적 입력 데이터를 포함한다. At step 602 , method 600 includes receiving a set of authentication inputs. As indicated in step 604 the set of authentication inputs may be selected from a plurality of authentication inputs recognized for the user, wherein the plurality of recognized inputs correspond to inputs formed via different sensors. As a more specific example, the plurality of recognized inputs may include eye tracking input, head tracking input, arm motion input, and/or user biometric information (eg, user's interpupil distance (IPD), gait, height, etc.) ), and the received set includes gaze tracking input data followed by head motion input data.

몇몇 실시예에서, 하나 이상의 인증 입력은 물리적 위치(예컨대, GPS 및/또는 이미지 데이터를 통해 검출되는 것처럼) 및/또는 구체적 오리엔테이션(예컨대, 디스플레이 장치를 통해 보여질 수 있는 배경에서 사전결정된 위치에서 잘 알려진 물리적 오브젝트(예컨대, 포스터)의 존재에 의해 검출되는 것처럼)와 연관되어 사용자가 물리적 위치 및/또는 오리엔테이션에 있을 때에만 인증 입력이 성공적으로 수행될 수 있다. 다른 예는 표시된 증강 현실 이미지에 응답하지 않는 사용자 제작 입력을 포함한다. 예를 들어, 사용자는 시선 추적 및/또는 초기 움직임 및 외향 이미지 센서에 의해 검출된 구체적인 패턴을 그의 또는 그녀의 시선 또는 손을 사용하여 그릴 수 있고, 및/또는 음성 명령을 입력할 수 있다. 다른 예로서, 다른 사용자의 존재는 검출될 수 있고, 사용자 인증은 검출된 다른 사용자의 수, 신원 및/또는 다른 특성에 기초할 수 있다. 이러한 입력 모드는 예들의 목적을 위해 제공될 수 있고 임의의 방식에 제한되도록 의도되지 않는다. In some embodiments, the one or more authentication inputs are well located at a physical location (eg, as detected via GPS and/or image data) and/or a specific orientation (eg, at a predetermined location in the background that may be viewed via a display device). A successful authentication entry can only be performed when the user is at a physical location and/or orientation in association with a known physical object (eg, as detected by the presence of a poster). Other examples include user-generated input that does not respond to displayed augmented reality images. For example, the user may draw a specific pattern detected by eye tracking and/or initial movement and outward-looking image sensor using his or her gaze or hand, and/or may enter a voice command. As another example, the presence of other users may be detected, and user authentication may be based on the number, identity, and/or other characteristics of the other users detected. This input mode may be provided for purposes of examples and is not intended to be limiting in any way.

이어서, 단계 608에서, 방법(600)은 각 인증 입력이 대응하는 사전정의된 인증 입력에 매칭되는지 판정하는 단계를 포함한다. 또한 단계 610에 표시된 바와 같이, 신뢰성 스코어는 각각의 수신된 인증 정보에 할당될 수 있고, 여기서, 신뢰성 스코어는 수신된 인증 입력이 사전정의된 인증 입력에 매칭하는 신뢰 레벨을 반영한다. Then, at step 608, the method 600 includes determining whether each authentication input matches a corresponding predefined authentication input. Also as indicated at step 610 , a trust score may be assigned to each received authentication information, wherein the trust score reflects a level of trust at which the received authentication input matches a predefined authentication input.

단계 612에서, 신뢰성 스코어는 임계치와 비교된다. 예를 들어, 몇몇 실시예에서, 각 인증 입력에 대한 신뢰성 스코어는 결합될 수 있고 전체적으로 임계치와 비교될 수 있다. 다른 실시예에서, 각 신뢰성 스코어는 대응하는 임계치와 개별적으로 비교될 수 있다. 어떠한 경우에도, 신뢰성 스코어가 임계치에 대비하여 사전결정된 상태(예컨대, 동일하거나 더 큰)를 만족할 때 사용자는 인증될 수 있다. In step 612, the reliability score is compared to a threshold. For example, in some embodiments, the reliability score for each authentication input may be combined and compared to a threshold as a whole. In other embodiments, each reliability score may be individually compared to a corresponding threshold. In either case, the user may be authenticated when the reliability score satisfies a predetermined condition (eg, equal to or greater than) against a threshold.

몇몇 실시예에서, 상대적으로 큰 수의 인증 입력을 사용함으로써, 더 적은 수의 입력에 대한 임계치 점수와 비교하여 모든 입력에 대한 신뢰성 스코어가 사전결정된 상태를 만족하지 않는 경우조차 사용자는 인증될 수 있다. 하나의 비제한적인 예로서, 3개의 인증 입력은 사용자에 의해 입력되고 적어도 2개의 신뢰성 스코어가 개별 신뢰성 스코어 임계치를 넘을 때, 사용자는 인증될 수 있다. 반대로, 만약 더 적은 수의 인증 입력을 통해 인증된다면, 사용자는 모든 임계치를 초과해야 할 것이다. 비슷하게, 결합된 신뢰성 스코어 임계치는 비슷한 효과를 달성하기 위해 사용된 입력 모드의 개수에 따라 변할 것이다. 각 예는 본 개시에 따른 신뢰성 스코어 임계치에서의 변화의 예를 제한하지 않는 것으로 고려될 수 있다. In some embodiments, by using a relatively large number of authentication inputs, a user may be authenticated even if the reliability scores for all inputs do not satisfy a predetermined state compared to a threshold score for a smaller number of inputs. . As one non-limiting example, the user may be authenticated when three authentication inputs are entered by the user and at least two trust scores cross respective trust score thresholds. Conversely, if authenticated through fewer authentication inputs, the user will have to exceed all thresholds. Similarly, the combined reliability score threshold will vary with the number of input modes used to achieve a similar effect. Each example may be considered as non-limiting example of a change in the reliability score threshold in accordance with the present disclosure.

따라서, 단계 614에 표시된 바와 같이, 방법(600)은 디스플레이 장치에 의해 수신된 인증 입력의 개수가 증가할 때 신뢰성 스코어 임계치를 감소시키는 단계를 포함할 수 있다. 비슷하게, 방법(600)은 또한 인증 입력의 수가 감소할 때 임계치를 증가시키는 단계를 포함할 수 있다. 위에 설명된 방식을 포함하되 제한되지 않는 임의의 적합한 방식으로 신뢰성 스코어 임계치가 변화될 수 있다는 것은 이해될 것이다. Accordingly, as indicated at step 614 , the method 600 may include decreasing the reliability score threshold as the number of authentication inputs received by the display device increases. Similarly, method 600 may also include increasing the threshold when the number of authentication inputs decreases. It will be appreciated that the reliability score threshold may be varied in any suitable manner, including, but not limited to, the manner described above.

도 5와 관련되어 위에 설명된 바와 같이, 단계 616에서 표시된 바와 같이, 몇몇 실시예들에서 사용자를 인증하기 위한 임계치는 사용자 위치 또는 다른 파라미터에 기초하여 변할 것이다. 예를 들어, 제1, 더 큰 수의 인증 입력은 제1, 더 적은 보안 위치에서 사용되고, 제2, 더 적은 수의 인증 입력은 제2, 더 많은 보안 위치에서 사용될 것이다. 다른 예에서, 인증 입력의 수들은 두 위치에서 동일할 것이지만, 더 적은 보안 위치에 대한 임계치가 더 많은 보안 위치보다 더 높을 것이다. 또한, 위치를 제외한 다른 파라미터들은 접근되는 정보의 유형 등과 같은 사용자 지정된 보안을 임계치가 포함하도록 영향을 끼칠 것이다. As described above in connection with FIG. 5 , as indicated at step 616 , in some embodiments the threshold for authenticating a user will vary based on the user location or other parameter. For example, a first, greater number of authentication inputs may be used in a first, less secure location, and a second, lower number of authentication inputs may be used in a second, more secure location. In another example, the number of authentication inputs would be the same at both locations, but the threshold for less secure locations would be higher than for more secure locations. Also, parameters other than location will influence the threshold to include user-specified security, such as the type of information accessed.

단계 618에서, 신뢰성 스코어가 임계치보다 큰지 판정된다. 만약 신뢰성 스코어가 임계치보다 크다면, 사용자는 단계 620에서 인증된다. 반면, 만약 신뢰성 스코어가 임계치보다 크지 않다면, 사용자는 단계 622에서 인증되지 않는다. At step 618, it is determined whether the reliability score is greater than a threshold. If the confidence score is greater than the threshold, the user is authenticated in step 620 . On the other hand, if the reliability score is not greater than the threshold, the user is not authenticated in step 622 .

따라서, 이곳에 기술된 실시예들은, 개시된 디스플레이 장치의 특정 특징을 사용하는 다양한 입력을 통한 사용자 인증을 제공한다. 개시된 입력들은 비한정 예들이고 다른 입력들이 가능하다는 것은 이해될 것이다. 예를 들어, 사용자 인증 입력은 또한 블링크(blink) 검출, 오브젝트 인식(예를 들어, 포스터, 빌딩, 예술품 등과 같은 구체적 오브젝트의 인식), 망막 스캔, 지문 검출, 및/또는 다른 적합한 입력 메커니즘을 사용하여 입력될 수 있다. Accordingly, embodiments described herein provide for user authentication through various inputs using specific features of the disclosed display devices. It will be understood that the inputs disclosed are non-limiting examples and that other inputs are possible. For example, user authentication input may also use blink detection, object recognition (eg, recognition of a specific object such as a poster, building, artwork, etc.), retina scan, fingerprint detection, and/or other suitable input mechanism. can be entered.

또한, 이와 같은 입력의 조합 또한 인식을 위해 사용될 수 있다. 예를 들어, 사용자는 디스플레이 장치 상에 그의 또는 그녀의 손가락을 이용하여 특정한 리듬을 태핑하는 동안 구체적 오브젝트(실제 또는 가상)을 볼 수 있어, 이미지는 외향 이미지 센서에 의해 검출되고 태핑은 내부 움직임 센서를 통해 검출된다. 다른 예로서, 사용자의 동공간 거리(IPD)는 디스플레이 장치에 의해 생체 데이터로서 측정될 수 있다. 사용자를 인증하기 위해 이것은 망막 스캔, 사전결정된 동작의 세트, 및/또는 다른 입력과 결합될 수 있다. In addition, a combination of these inputs can also be used for recognition. For example, a user may view a specific object (real or virtual) while tapping a specific rhythm using his or her finger on the display device, such that the image is detected by an outward image sensor and tapping is an inward motion sensor is detected through As another example, the user's interpupillary distance (IPD) may be measured as biometric data by the display device. This may be combined with a retina scan, a predetermined set of actions, and/or other input to authenticate the user.

다른 예에서, 나머지가 특정 카테고리와 연관되는 반면 인증을 위해 사용되는 하나 이상의 입력은 사용자가 인증될 때마다 변할 수 있다. 일 예에서, 이러한 입력을 포함하는 사용자 패스코드는, "만화스타일을 갖는(cartoony)", "가벼운", "아이와 관련된", "점핑하는 오브젝트" 및 "마음을 달래주는 음악의 방향"과 같은, 그러나 한정되지 않은 예의 카테고리의 정의를 포함한다. 인증이 되기 위해서, 사용자는 오브젝트를 선택하거나, 그렇지 않으면 인증되기 위해 선택된 카테고리의 정의(예컨대, 만화스타일을 갖는, 가벼운, 아이와 관련된, 오르거나 내려가는 것, 그의 또는 그녀의 두부를 음악이 들려오는 방향을 향해 움직이는 것)를 만족하는 입력을 수행한다. 구체적인 종류의 입력(선택된 오브젝트, 사용자가 향하는 방향 등)은 각 입력을 이용하여 변할 수 있는 반면, 카테고리는 사용자에 의해 변하지 않을 때까지 동일하게 유지된다. In another example, one or more inputs used for authentication may change each time a user is authenticated, while others are associated with a particular category. In one example, a user passcode containing such an input may be "cartoony," "lightweight," "child-related," "jumping object," and "direction of soothing music." , but includes definitions of categories of non-limiting examples. To be authenticated, the user selects an object or otherwise defines the category selected to be authenticated (e.g., cartoon-style, light, child-related, ascending or descending, his or her head in the direction in which the music is heard). (moving toward ) performs an input that satisfies the A specific kind of input (selected object, direction the user is facing, etc.) can change with each input, while the category remains the same until it is not changed by the user.

몇몇 실시예에서, 인증 입력은 개별 사용자에게 구체적이다. 다른 실시예에서, 동일한 세트의 인증 입력은 복수의 사용자에 의해 사용될 수 있다. 예를 들어, 사용자의 가족의 구성원들은 사용자의 인증 입력을 입력하도록 인증될 수 있고, 디스플레이 장치는 각 가족 구성원으로부터의 입력을 인식하도록 구성될 수 있다. 또한, 상이한 승인은 이미지 데이터, 음성 데이터 등으로부터 판정된 가족 구성원 신원에 근거하여 각각의 가족 구성원에게 적용될 수 있다. 다른 예에서, 사용자는 복수의 사람들에 의해 만들어진 입력을 통해 인증될 수 있다. 예를 들어, 만약 인증이 비밀 정보로의 접근을 허가하는데 사용된다면, 정보를 감시하는 다른 신뢰가 가는 사람으로부터의 확인은 사용자를 인증하기 위해 사용자의 인증 입력과 함께 사용될 수 있다. In some embodiments, the authentication input is specific to an individual user. In other embodiments, the same set of authentication inputs may be used by multiple users. For example, members of the user's family may be authenticated to input the user's authentication input, and the display device may be configured to recognize input from each family member. Also, different authorizations may be applied to each family member based on the family member identity determined from image data, voice data, and the like. In another example, the user may be authenticated via input made by a plurality of people. For example, if authentication is used to grant access to confidential information, confirmation from another trusted person monitoring the information can be used in conjunction with the user's authentication input to authenticate the user.

몇몇 실시예에서 위에 설명된 방법 및 프로세스는 하나 이상의 컴퓨팅 장치의 컴퓨팅 시스템에 관련될 수 있다. 특히, 이와 같은 방법 및 프로세스는 컴퓨터-애플리케이션 프로그램 또는 서비스, 애플리케이션-프로그래밍 인터페이스(API), 라이브러리, 및/또는 다른 컴퓨터-프로그램 제품으로서 구현될 수 있다. In some embodiments, the methods and processes described above may relate to a computing system of one or more computing devices. In particular, such methods and processes may be implemented as computer-application programs or services, application-programming interfaces (APIs), libraries, and/or other computer-program products.

도 7은 위에 설명된 방법 및 프로세스를 실행할 수 있는 컴퓨팅 시스템(700)의 비한정 실시예를 개략적으로 도시한다. 디스플레이 장치(104)는 컴퓨팅 시스템(700)의 하나의 비한정 예가 될 수 있다. 컴퓨팅 시스템(700)은 단순화된 형태로 도시된다. 가상적으로 임의의 컴퓨터 구조가 이 개시의 범위를 벗어남 없이 사용될 수 있다는 것은 이해될 것이다. 다른 실시예에서, 컴퓨팅 시스템(700)은 디스플레이 장치, 착용가능 컴퓨팅 장치, 메인프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 홈-엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 오락 장치, 모바일 컴퓨팅 장치, 모바일 통신 장치(예컨대, 스마트폰)의 형태를 취할 수 있다. 7 schematically illustrates a non-limiting embodiment of a computing system 700 capable of executing the methods and processes described above. Display device 104 may be one non-limiting example of computing system 700 . Computing system 700 is shown in simplified form. It will be understood that virtually any computer architecture may be used without departing from the scope of this disclosure. In other embodiments, computing system 700 may include a display device, a wearable computing device, a mainframe computer, a server computer, a desktop computer, a laptop computer, a tablet computer, a home-entertainment computer, a network computing device, an entertainment device, a mobile computing device. , may take the form of a mobile communication device (eg, a smartphone).

컴퓨팅 시스템(700)은 로직 서브시스템(702) 및 스토리지 서브시스템(704)을 포함한다. 컴퓨팅 시스템(700)은 디스플레이 서브시스템(706), 입력 서브시스템(708), 통신 서브시스템(710), 및/또는 도 7에 도시되지 않은 다른 구성요소를 선택적으로 포함할 수 있다. Computing system 700 includes logic subsystem 702 and storage subsystem 704 . Computing system 700 may optionally include display subsystem 706 , input subsystem 708 , communication subsystem 710 , and/or other components not shown in FIG. 7 .

로직 서브시스템(702)은 명령어를 실행하도록 구성된 하나 이상의 물리적 장치를 포함한다. 예를 들어, 로직 서브시스템은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 구성요소, 데이터 구조 또는 다른 로직적인 구성의 일부인 명령어를 실행하도록 구성될 수 있다. 이와 같은 명령어는 작업을 수행하거나, 데이터 타입을 구현하거나, 하나 이상의 구성요소의 상태를 변형시키거나 그렇지 않으면 희망하는 결과에 도착하게끔 구현될 수 있다. Logic subsystem 702 includes one or more physical devices configured to execute instructions. For example, a logic subsystem may be configured to execute instructions that are part of one or more applications, services, programs, routines, libraries, objects, components, data structures, or other logical constructs. Such instructions may be implemented to perform a task, implement a data type, change the state of one or more components, or otherwise arrive at a desired result.

로직 서브시스템은 소프트웨어 명령어를 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 추가로 또는 대안으로, 로직 서브시스템은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템의 프로세서는 싱글 코어 또는 멀티 코어가 될 수 있고, 여기서 실행되는 프로그램은 순차, 병렬 또는 분포된 프로세싱을 위해 구성될 수 있다. 로직 서브시스템은, 원격으로 위치되고/또는 협력 프로세싱을 위해 구성될 수 있는, 둘 이상의 장치 사이에서 분포되는 개별 컴포넌트를 선택적으로 포함할 수 있다. 로직 서브시스템의 양상은 클라우드 컴퓨팅 구성에서 구성된 원격으로 액세스 가능한, 네트워크화된 컴퓨팅 장치에 의해 가상화되고 실행될 수 있다.The logic subsystem may include one or more processors configured to execute software instructions. Additionally or alternatively, the logic subsystem may include one or more hardware or firmware logic machines configured to execute hardware or firmware instructions. The processor of the logic subsystem may be single-core or multi-core, wherein the programs executed therein may be configured for sequential, parallel or distributed processing. The logic subsystem may optionally include discrete components distributed between two or more devices, which may be remotely located and/or configured for cooperative processing. Aspects of the logic subsystem may be virtualized and executed by remotely accessible, networked computing devices configured in a cloud computing configuration.

스토리지 서브시스템(704)은 본원에서 설명된 방법 및 프로세스들을 구현하는 로직 서브시스템에 의해 실행가능한 데이터 및/또는 명령어들을 보유하도록 구성된 하나 이상의 물리적, 비일시적, 장치를 포함한다. 이러한 방법 및 프로세스들이 구현될 때, 스토리지 서브시스템(704)의 상태는 예를 들어, 상이한 데이터를 보유하도록 변환될 수 있다.Storage subsystem 704 includes one or more physical, non-transitory, devices configured to hold data and/or instructions executable by a logic subsystem that implements the methods and processes described herein. When such methods and processes are implemented, the state of the storage subsystem 704 may be transformed to hold different data, for example.

스토리지 서브시스템(704)은 탈착가능한 매체 및/또는 내장 장치를 포함할 수 있다. 스토리지 서브시스템(704)은 광학 메모리 장치(예를 들어, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리 장치(예를 들어, RAM, EPROM, EEPROM 등) 및/또는 자기 메모리 장치(예를 들어, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등) 등을 포함할 수 있다. 스토리지 서브시스템(704)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차적 액세스, 위치 어드레스가능, 파일 어드레스가능, 및/또는 콘텐츠 어드레스가능 장치를 포함할 수 있다.Storage subsystem 704 may include removable media and/or embedded devices. The storage subsystem 704 may include optical memory devices (eg, CD, DVD, HD-DVD, Blu-ray Disc, etc.), semiconductor memory devices (eg, RAM, EPROM, EEPROM, etc.) and/or magnetic memory devices. (eg, hard disk drive, floppy disk drive, tape drive, MRAM, etc.) and the like. Storage subsystem 704 may include volatile, non-volatile, dynamic, static, read/write, read-only, random access, sequential access, location addressable, file addressable, and/or content addressable devices.

스토리지 서브시스템(704)은 하나 이상의 물리적, 비일시적 장치를 포함할 수 있음이 이해될 것이다. 하지만, 일부 실시예에서, 본원에서 설명된 명령어들의 양상은 유한한 지속기간 동안 물리적 장치에 의해 보유되지 않는 순수 신호(예를 들어, 전자자기 신호, 광학 신호 등)에 의해 일시적 방식으로 전파될 수 있다. 또한, 본 개시에 속하는 데이터 및/또는 정보의 다른 형식은 순수 신호에 의해 전파될 수 있다.It will be appreciated that the storage subsystem 704 may include one or more physical, non-transitory devices. However, in some embodiments, aspects of the instructions described herein may be propagated in a transient manner by a pure signal (eg, electromagnetic signal, optical signal, etc.) that is not held by a physical device for a finite duration. have. Also, other forms of data and/or information pertaining to this disclosure may be propagated by pure signals.

일부 실시예에서, 로직 서브시스템(702) 및 스토리지 서브시스템(704)의 양상은 본원에서 기능적으로 설명되어 실시될 수 있는 하나 이상의 하드웨어 로직 컴포넌트로 함께 집적될 수 있다. 이러한 하드웨어 로직 컴포넌트는 예를 들어, 필드 프로그램가능 게이트 어레이(FPGA), 프로그램 및 애플리케이션 특정 집적 회로(PASIC/ASIC), 프로그램 및 애플리케이션 특정 표준 제품(PSSP/ASSP), 시스템 온 칩(SOC) 시스템, 및 복합 프로그램가능 로직 장치(CPLD)를 포함할 수 있다.In some embodiments, aspects of logic subsystem 702 and storage subsystem 704 may be integrated together into one or more hardware logic components that may be functionally described and implemented herein. Such hardware logic components may include, for example, field programmable gate arrays (FPGAs), program and application specific integrated circuits (PASIC/ASIC), program and application specific standard products (PSSP/ASSP), system on chip (SOC) systems, and a complex programmable logic device (CPLD).

"프로그램"이라는 용어는 특정 기능을 수행하도록 구현된 컴퓨팅 시스템(700)의 양상을 설명하는데 사용될 수 있다. 일부 경우에, 프로그램은 스토리지 서브시스템(704)에 의해 보유되는 명령어들을 실행하는 로직 서브시스템(702)을 통해 예시화될 수 있다. 상이한 프로그램들은 동일한 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수 등으로부터 예시화될 수 있음이 이해될 것이다. 유사하게, 동일한 프로그램은 상이한 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 함수 등에 의해 예시화될 수 있다. "프로그램"이라는 용어는 실행가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 기록 중 개별 또는 그룹을 포함할 수 있다.The term “program” may be used to describe an aspect of computing system 700 that is implemented to perform a particular function. In some cases, the program may be instantiated via the logic subsystem 702 executing instructions held by the storage subsystem 704 . It will be understood that different programs may be instantiated from the same application, service, code block, object, library, routine, API, function, or the like. Similarly, the same program may be instantiated by different applications, services, code blocks, objects, routines, APIs, functions, and the like. The term "program" may include individual or group of executable files, data files, libraries, drivers, scripts, and database records.

본원에서 사용된 바와 같은 "서비스"는 다수의 사용자 세션을 통해 실행가능한 애플리케이션 프로그램임이 이해될 것이다. 서비스는 하나 이상의 시스템 컴포넌트, 프로그램, 및/또는 다른 서비스에 대해 사용가능할 수 있다. 일부 구현에서, 서비스는 하나 이상의 서버 컴퓨팅 장치 상에서 실행할 수 있다.It will be understood that a “service,” as used herein, is an application program executable through multiple user sessions. A service may be available for one or more system components, programs, and/or other services. In some implementations, a service may run on one or more server computing devices.

디스플레이 서브시스템(706)은, 포함될 때, 스토리지 서브시스템(704)에 의해 보유되는 데이터의 시각적 표현을 표현하는데 사용될 수 있다. 이 시각적 표현은 그래픽 사용자 인터페이스(GUI)의 형식을 취할 수 있다. 본원에서 설명된 바와 같은 방법 및 프로세스들은 스토리지 서브시스템에 의해 보유된 데이터를 변경하여서, 스토리지 서브시스템의 상태를 변환하고, 유사하게 디스플레이 서브시스템(706)의 상태는 기초 데이터에서의 변화를 시각적으로 표현하도록 변환될 수 있다. 디스플레이 서브시스템(706)은 임의의 타입의 기술을 시각적으로 활용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 이러한 디스플레이 장치는 공유된 인클로저에서 로직 서브시스템(702) 및/또는 스토리지 서브시스템(704)과 통합될 수 있고, 또는 이러한 디스플레이 장치는 주변 디스플레이 장치가 될 수 있다.Display subsystem 706 , when included, may be used to present a visual representation of data held by storage subsystem 704 . This visual representation may take the form of a graphical user interface (GUI). The methods and processes as described herein alter the data held by the storage subsystem, thereby transforming the state of the storage subsystem, and similarly the state of the display subsystem 706 visually reflects the change in the underlying data. can be transformed to express Display subsystem 706 may include one or more display devices that visually utilize any type of technology. Such display devices may be integrated with logic subsystem 702 and/or storage subsystem 704 in a shared enclosure, or such display devices may be peripheral display devices.

입력 서브시스템(708)은, 포함될 때, 키보드, 마우스, 터치 스크린, 또는 게임 컨트롤러와 같은 하나 이상의 사용자 입력 장치를 포함하거나 인터페이스로 접속할 수 있다. 일부 실시예에서, 입력 서브시스템은 선택된 고유 사용자 입력(NUI) 구성품을 포함하거나 인터페이스로 접속할 수 있다. 이러한 구성품은 집적되거나 주변적인 것이 될 수 있고, 입력 액션의 변환 및/프로세싱은 온 보드(on-board) 또는 오프 보드(off-board)로 처리될 수 있다. 예시의 NUI 구성품은 대화 및/또는 음성 인식을 위한 마이크로폰, 머신 시각 및/또는 동작 인식을 위한 적외선, 색상, 입체, 및/또는 깊이 카메라, 움직임 검출 및/또는 목적 인식을 위한 두부 추적기, 시선 추적기, 가속도계, 및/또는 자이로스코프뿐만 아니라, 두뇌 활동에 액세스하기 위한 자계 센싱 구성품을 포함할 수 있다.Input subsystem 708, when included, may include or interface with one or more user input devices, such as a keyboard, mouse, touch screen, or game controller. In some embodiments, the input subsystem may include or interface with selected unique user input (NUI) components. These components may be integrated or peripheral, and the conversion and/or processing of input actions may be handled on-board or off-board. Exemplary NUI components include a microphone for dialogue and/or voice recognition, an infrared, color, stereoscopic, and/or depth camera for machine vision and/or motion recognition, a head tracker for motion detection and/or object recognition, and an eye tracker. , accelerometers, and/or gyroscopes, as well as magnetic field sensing components for accessing brain activity.

통신 서브시스템(710)은, 포함될 때, 컴퓨팅 시스템(700)과 하나 이상의 다른 컴퓨팅 장치를 통신적으로 연결하도록 구성될 수 있다. 통신 서브시스템(710)은 하나 이상의 상이한 통신 프로토콜과 호환가능한 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적인 예시로서, 통신 서브시스템은 무선 전화 네트워크 또는 유선 또는 무선의 근거리 또는 광역 네트워크를 통한 통신을 위해 구성될 수 있다. 일부 실시예에서, 통신 서브시스템은 컴퓨팅 시스템(700)이 인터넷과 같은 네트워크를 통해 다른 장치로/부터 메시지를 전송 및/또는 수신하게 할 수 있다.Communication subsystem 710, when included, may be configured to communicatively couple computing system 700 and one or more other computing devices. Communication subsystem 710 may include wired and/or wireless communication devices compatible with one or more different communication protocols. As a non-limiting example, the communication subsystem may be configured for communication over a wireless telephone network or a wired or wireless local or wide area network. In some embodiments, the communications subsystem may enable the computing system 700 to send and/or receive messages to and/or from other devices over a network, such as the Internet.

본원에서 설명된 구성 및/또는 접근방식은 다양한 변형이 가능하기 때문에, 사실상 예시적인 것이고, 이들 특정 실시예 또는 예시는 제한적인 의미로서 고려되는 것이 아님이 이해될 것이다. 본원에서 설명된 특정 루틴 또는 방법은 임의의 다수의 프로세싱 전략 중 하나 이상을 나타낼 수 있다. 그렇기 때문에, 도시되고/또는 설명된 다양한 동작이 도시되고/또는 설명된 순서로, 다른 순서로, 병렬로, 또는 생략되어 수행될 수 있다. 유사하게 상술된 프로세스들의 순서는 변경될 수 있다.It will be understood that the configurations and/or approaches described herein are illustrative in nature, as various modifications are possible, and that these specific embodiments or examples are not to be considered in a limiting sense. A particular routine or method described herein may represent one or more of any of a number of processing strategies. As such, the various acts shown and/or described may be performed in the order shown and/or described, in a different order, in parallel, or omitted. Similarly, the order of the processes described above may be changed.

본 개시의 청구대상은 다양한 프로세스, 시스템 및 구성의 모든 신규의 진보적인 조합 및 서브조합, 및 다른 특징, 기능, 동작 및/ 특성뿐만 아니라 이들의 임의의 모든 등가물을 포함한다.The subject matter of this disclosure includes all novel and inventive combinations and subcombinations of the various processes, systems and configurations, and other features, functions, operations and/or characteristics, as well as any and all equivalents thereof.

Claims (20)

컴퓨팅 시스템의 사용자를 인증하는 방법에 있어서,
마이크로폰을 통해 음성 입력을 검출하는 단계;
위치 센서 및 오리엔테이션 센서 중 하나 이상으로부터 수신된 데이터를 통해 디스플레이 장치의 위치 및 오리엔테이션 중 하나 이상을 검출하는 단계;
시선 센서를 통해 둘 이상의 사용자 시선 위치 - 상기 둘 이상의 사용자 시선 위치는 하나 이상의 가상 이미지 및 하나 이상의 실제 객체를 선택함 - 를 검출하는 단계; 및
상기 음성 입력의 음성 인식, 상기 디스플레이 장치의 위치 및 오리엔테이션 중 하나 이상, 및 상기 둘 이상의 사용자 시선 위치를 이용하여 상기 사용자를 인증하는 단계
를 포함하는 컴퓨팅 시스템 사용자 인증 방법.
A method of authenticating a user of a computing system, comprising:
detecting voice input through a microphone;
detecting one or more of a position and an orientation of the display device through data received from one or more of the position sensor and the orientation sensor;
detecting two or more user gaze positions through a gaze sensor, wherein the two or more user gaze positions select one or more virtual images and one or more real objects; and
Authenticating the user by using one or more of the voice recognition of the voice input, the position and orientation of the display device, and the two or more positions of the user's gaze
Computing system user authentication method comprising a.
제1항에 있어서, 상기 둘 이상의 사용자 시선 위치를 사전 정의된 순서의 시선 위치와 비교하는 단계를 더 포함하는 컴퓨팅 시스템 사용자 인증 방법.The method of claim 1 , further comprising comparing the two or more user gaze positions to a predefined sequence of gaze positions. 제2항에 있어서, 상기 사용자를 인증하는 단계는, 상기 둘 이상의 사용자 시선 위치가 상기 사전 정의된 순서로 입력되었다고 판정할 때 상기 사용자를 인증하는 단계를 포함하는 것인 컴퓨팅 시스템 사용자 인증 방법.3. The method of claim 2, wherein authenticating the user comprises authenticating the user upon determining that the two or more user gaze positions have been entered in the predefined order. 제1항에 있어서, 상기 위치 센서 및 오리엔테이션 센서 중 하나 이상은, 이미지 센서 및 모션 센서 중 하나 이상을 포함하는 것인 컴퓨팅 시스템 사용자 인증 방법.The method of claim 1 , wherein at least one of the position sensor and the orientation sensor comprises at least one of an image sensor and a motion sensor. 제4항에 있어서, 상기 디스플레이 장치의 위치 및 오리엔테이션 중 하나 이상을 검출하는 단계는, 상기 디스플레이 장치를 통해 보여질 수 있는 배경에서 사전결정된 위치에서의 물리적 오브젝트의 존재에 기초하여 상기 위치 및 오리엔테이션 중 하나 이상을 검출하는 단계를 포함하는 것인 컴퓨팅 시스템 사용자 인증 방법.5. The method of claim 4, wherein detecting one or more of a position and an orientation of the display device comprises: one of the position and orientation based on the presence of a physical object at a predetermined position in a background viewable through the display device. and detecting one or more of the computing system user authentication methods. 제1항에 있어서, 상기 둘 이상의 사용자 시선 위치 중 하나 이상은, 상기 디스플레이 장치를 통해 디스플레이된 하나 이상의 증강 현실 피처의 위치에 대응하는 것인 컴퓨팅 시스템 사용자 인증 방법.The method of claim 1 , wherein at least one of the two or more user gaze locations corresponds to a location of one or more augmented reality features displayed via the display device. 제1항에 있어서, 하나 이상의 사용자 움직임을 검출하는 단계를 더 포함하고, 상기 사용자를 인증하는 단계는, 상기 하나 이상의 사용자 움직임에 또한 기초하여 상기 사용자를 인증하는 단계를 포함하는 것인 컴퓨팅 시스템 사용자 인증 방법.The computing system user of claim 1 , further comprising detecting one or more user movements, and wherein authenticating the user comprises authenticating the user also based on the one or more user movements. authentication method. 컴퓨팅 시스템에 있어서,
디스플레이 장치;
마이크로폰;
하나 이상의 위치 센서;
프로세서; 및
명령어들을 저장한 저장 장치
를 포함하고,
상기 명령어들은,
상기 마이크로폰을 통해 음성 입력을 검출하도록;
상기 하나 이상의 위치 센서를 통해 상기 디스플레이 장치의 위치 및 오리엔테이션 중 하나 이상을 검출하도록;
상기 하나 이상의 위치 센서를 통해 사용자의 둘 이상의 움직임 - 상기 둘 이상의 움직임은 하나 이상의 가상 이미지 및 하나 이상의 실제 객체를 선택함 - 을 검출하도록; 그리고
상기 음성 입력의 음성 인식, 상기 디스플레이 장치의 위치 및 오리엔테이션 중 하나 이상, 및 상기 둘 이상의 움직임을 이용하여 상기 사용자를 인증하도록
상기 프로세서에 의해 실행가능한 것인 컴퓨팅 시스템.
In a computing system,
display device;
microphone;
one or more position sensors;
processor; and
storage device for instructions
including,
The commands are
to detect voice input via the microphone;
detect one or more of a position and an orientation of the display device via the one or more position sensors;
detect two or more movements of the user via the one or more position sensors, the two or more movements selecting one or more virtual images and one or more real objects; and
to authenticate the user using voice recognition of the voice input, at least one of a position and orientation of the display device, and movement of the at least two
A computing system executable by the processor.
제8항에 있어서, 상기 명령어들은 또한, 상기 사용자의 둘 이상의 움직임을 사전 정의된 세트의 움직임과 비교하도록 실행가능한 것인 컴퓨팅 시스템.The computing system of claim 8 , wherein the instructions are further executable to compare the two or more movements of the user to a predefined set of movements. 제9항에 있어서, 상기 명령어들은, 상기 사용자의 둘 이상의 움직임이 상기 사전 정의된 세트의 움직임과 매칭한다고 판정할 때 상기 사용자를 인증하도록 실행가능한 것인 컴퓨팅 시스템.The computing system of claim 9 , wherein the instructions are executable to authenticate the user upon determining that the two or more movements of the user match the predefined set of movements. 제8항에 있어서, 상기 하나 이상의 위치 센서는, 깊이 카메라 및 2차원 카메라 중 하나 이상을 포함하는 것인 컴퓨팅 시스템.The computing system of claim 8 , wherein the one or more position sensors include one or more of a depth camera and a two-dimensional camera. 제8항에 있어서, 상기 하나 이상의 위치 센서는, 관성 모션 센서를 포함하는 것인 컴퓨팅 시스템.The computing system of claim 8 , wherein the one or more position sensors include an inertial motion sensor. 제8항에 있어서, 시선 센서를 더 포함하고, 상기 명령어들은 또한, 상기 시선 센서를 통해 하나 이상의 사용자 시선 위치를 검출하고 상기 하나 이상의 사용자 시선 위치에 또한 기초하여 상기 사용자를 인증하도록 실행가능한 것인 컴퓨팅 시스템.9. The method of claim 8, further comprising a gaze sensor, wherein the instructions are further executable to detect one or more user gaze positions via the gaze sensor and authenticate the user also based on the one or more user gaze positions. computing system. 제8항에 있어서, 상기 컴퓨팅 시스템은, 두부 장착형(head-mounted) 디스플레이 시스템을 포함하는 것인 컴퓨팅 시스템.9. The computing system of claim 8, wherein the computing system comprises a head-mounted display system. 컴퓨팅 시스템에 있어서,
디스플레이 장치;
마이크로폰;
하나 이상의 이미지 센서;
하나 이상의 모션 센서;
시선 센서;
프로세서; 및
명령어들을 저장한 저장 장치
를 포함하고,
상기 명령어들은,
상기 마이크로폰으로부터 수신된 신호를 통해 음성 입력을 검출하도록;
상기 하나 이상의 이미지 센서 및 상기 하나 이상의 모션 센서 중 적어도 하나를 통해 상기 디스플레이 장치의 위치 및 오리엔테이션 중 하나 이상을 검출하도록;
상기 시선 센서를 통해 둘 이상의 사용자 시선 위치 - 상기 둘 이상의 사용자 시선 위치는 하나 이상의 가상 이미지 및 하나 이상의 실제 객체를 선택함 - 를 검출하도록; 그리고
상기 음성 입력의 음성 인식, 상기 디스플레이 장치의 위치 및 오리엔테이션 중 하나 이상, 및 상기 둘 이상의 사용자 시선 위치를 이용하여 상기 사용자를 인증하도록
상기 프로세서에 의해 실행가능한 것인 컴퓨팅 시스템.
In a computing system,
display device;
microphone;
one or more image sensors;
one or more motion sensors;
gaze sensor;
processor; and
storage device for instructions
including,
The commands are
to detect a voice input via a signal received from the microphone;
detect one or more of a position and an orientation of the display device via at least one of the one or more image sensors and the one or more motion sensors;
to detect two or more user gaze positions through the gaze sensor, wherein the two or more user gaze positions select one or more virtual images and one or more real objects; and
to authenticate the user using voice recognition of the voice input, one or more of a position and an orientation of the display device, and the two or more user gaze positions;
A computing system executable by the processor.
제15항에 있어서, 상기 명령어들은 또한, 상기 둘 이상의 사용자 시선 위치를 사전 정의된 세트의 사용자 입력과 비교하도록 실행가능한 것인 컴퓨팅 시스템.The computing system of claim 15 , wherein the instructions are further executable to compare the two or more user gaze positions to a predefined set of user inputs. 제16항에 있어서, 상기 명령어들은, 상기 둘 이상의 사용자 시선 위치가 상기 사전 정의된 세트의 사용자 입력과 매칭한다고 판정할 때 상기 사용자를 인증하도록 실행가능한 것인 컴퓨팅 시스템.The computing system of claim 16 , wherein the instructions are executable to authenticate the user upon determining that the two or more user gaze positions match the predefined set of user inputs. 제15항에 있어서, 상기 명령어들은 또한, 상기 컴퓨팅 시스템의 통신 서브시스템을 통해 하나 이상의 사용자 입력을 수신하도록 실행가능하고, 상기 통신 서브시스템은, 상기 컴퓨팅 시스템을 하나 이상의 다른 컴퓨팅 장치와 통신적으로 연결하도록 구성되고, 상기 통신 서브시스템을 통해 수신된 상기 하나 이상의 사용자 입력은, 상기 통신 서브시스템을 통해 수신된 하나 이상의 터치 입력을 포함하는 것인 컴퓨팅 시스템.16. The method of claim 15, wherein the instructions are further executable to receive one or more user inputs via a communications subsystem of the computing system, the communications subsystem configured to communicate the computing system with one or more other computing devices. and wherein the one or more user inputs received via the communications subsystem include one or more touch inputs received via the communications subsystem. 제15항에 있어서, 상기 하나 이상의 이미지 센서는, 깊이 카메라 및 2차원 카메라 중 하나 이상을 포함하고, 상기 하나 이상의 모션 센서는, 관성 모션 센서를 포함하는 것인 컴퓨팅 시스템.The computing system of claim 15 , wherein the one or more image sensors include one or more of a depth camera and a two-dimensional camera, and wherein the one or more motion sensors include an inertial motion sensor. 제15항에 있어서, 상기 컴퓨팅 시스템은, 시스루(see-through) 두부 장착형 디스플레이 시스템을 포함하는 것인 컴퓨팅 시스템.16. The computing system of claim 15, wherein the computing system comprises a see-through head mounted display system.
KR1020200173166A 2013-12-18 2020-12-11 User authentication on display device KR102312900B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130158797A KR102193636B1 (en) 2013-12-18 2013-12-18 User authentication on display device
KR1020200173166A KR102312900B1 (en) 2013-12-18 2020-12-11 User authentication on display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200173166A KR102312900B1 (en) 2013-12-18 2020-12-11 User authentication on display device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130158797A Division KR102193636B1 (en) 2013-12-18 2013-12-18 User authentication on display device

Publications (2)

Publication Number Publication Date
KR20200143317A KR20200143317A (en) 2020-12-23
KR102312900B1 true KR102312900B1 (en) 2021-10-15

Family

ID=74089369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200173166A KR102312900B1 (en) 2013-12-18 2020-12-11 User authentication on display device

Country Status (1)

Country Link
KR (1) KR102312900B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099160A (en) * 2004-09-28 2006-04-13 Sony Corp Password setting device and password authentication device
US20110221670A1 (en) * 2010-02-28 2011-09-15 Osterhout Group, Inc. Method and apparatus for visual biometric data capture

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099160A (en) * 2004-09-28 2006-04-13 Sony Corp Password setting device and password authentication device
US20110221670A1 (en) * 2010-02-28 2011-09-15 Osterhout Group, Inc. Method and apparatus for visual biometric data capture

Also Published As

Publication number Publication date
KR20200143317A (en) 2020-12-23

Similar Documents

Publication Publication Date Title
US9977882B2 (en) Multi-input user authentication on display device
US9836889B2 (en) Executable virtual objects associated with real objects
EP2887253A1 (en) User authentication via graphical augmented reality password
US10510190B2 (en) Mixed reality interactions
US10331945B2 (en) Fair, secured, and efficient completely automated public Turing test to tell computers and humans apart (CAPTCHA)
US9030495B2 (en) Augmented reality help
US10613642B2 (en) Gesture parameter tuning
EP2994912B1 (en) Speech to text conversion
CN103761460B (en) Method for authenticating users of display equipment
JP5965404B2 (en) Customizing user-specific attributes
KR20160086840A (en) Persistent user identification
JP2017502387A (en) Access tracking and restriction
US10741175B2 (en) Systems and methods for natural language understanding using sensor input
JP6272688B2 (en) User authentication on display devices
KR102193636B1 (en) User authentication on display device
KR102312900B1 (en) User authentication on display device
US11250124B2 (en) Artificial reality system having hardware mutex with process authentication
WO2022125239A1 (en) Determining user intent based on attention values

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right