KR20150071592A - 디스플레이 장치 상의 사용자 인증 - Google Patents

디스플레이 장치 상의 사용자 인증 Download PDF

Info

Publication number
KR20150071592A
KR20150071592A KR1020130158797A KR20130158797A KR20150071592A KR 20150071592 A KR20150071592 A KR 20150071592A KR 1020130158797 A KR1020130158797 A KR 1020130158797A KR 20130158797 A KR20130158797 A KR 20130158797A KR 20150071592 A KR20150071592 A KR 20150071592A
Authority
KR
South Korea
Prior art keywords
user
augmented reality
computing system
display device
authentication
Prior art date
Application number
KR1020130158797A
Other languages
English (en)
Other versions
KR102193636B1 (ko
Inventor
마이크 스카브제
제이슨 스코트
조나단 스티드
이안 맥클린타이어
아론 크라우스
다니엘 맥컬로치
스티븐 라타
케빈 제이스너
브라이언 마운트
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Priority to KR1020130158797A priority Critical patent/KR102193636B1/ko
Publication of KR20150071592A publication Critical patent/KR20150071592A/ko
Priority to KR1020200173166A priority patent/KR102312900B1/ko
Application granted granted Critical
Publication of KR102193636B1 publication Critical patent/KR102193636B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디스플레이 장치의 사용자를 인증하는 것과 관련된 실시예가 개시된다. 가령, 일 실시예는 디스플레이 장치 상에 하나 이상의 가상 이미지를 디스플레이하는 것을 포함하되, 하나 이상의 가상 이미지는 증강 현실 피처들의 세트를 포함하고 있다. 일 실시예의 방법은 또한 디스플레이 장치의 센서로부터 수신되는 데이터를 통해 상기 사용자의 하나 이상의 움직임을 식별하는 것과, 사용자 인증을 상기 증강 현실 피처들의 사전정의된 순서에 링크시키는 사용자를 위한 사전정의된 인증 정보의 세트와 상기 사용자의 상기 식별된 움직임을 비교하는 것을 포함한다. 만약 사용자가 사전정의된 순서의 증강 현실 피처들을 선택했음을 상기 식별된 움직임이 나타내면, 상기 사용자는 인증되고, 만약 상기 사용자가 사전정의된 순서의 증강 현실 피처들을 선택하지 않았음을 상기 식별된 움직임이 나타내면, 상기 사용자는 인증되지 않는다.

Description

디스플레이 장치 상의 사용자 인증{USER AUTHENTICATION ON DISPLAY DEVICE}
장치, 특정 프로그램, 애플리케이션, 데이터, 웹 사이트 등과 같은 제한된 피처(feature)에 액세스하기 위해, 사용자가 제한된 피처에 액세스하기 위한 허가를 가지는 것을 인증하도록 컴퓨팅 장치 사용자에게 패스워드를 입력하게 할 수 있다. 이러한 패스워드는 사용자가 키패드 상에 입력할 수 있는 일련의 문자 및/또는 숫자를 빈번하게 포함한다. 또한, 인증은 지문 스캔, 망막 스캔과 같은 바이오메트릭 데이터를 통해 수행될 수 있다.
디스플레이 장치의 사용자를 인증하는 실시예가 개시된다. 예컨대, 개시된 실시예는 디스플레이 장치 상에 하나 이상의 가상 이미지를 디스플레이하는 단계를 포함하는 방법을 제공하며, 여기서 상기 하나 이상의 가상 이미지는 증강 현실 피처(augmented reality features)의 세트를 포함한다. 상기 방법은 디스플레이 장치의 센서로부터 수신된 데이터를 통해 사용자의 하나 이상의 움직임을 식별하는 단계와, 증강 현실 피처의 사전 정의된 순서에 사용자 인증을 링크시키는 사용자에 대한 인증 정보의 사전 정의된 세트와 사용자의 상기 식별된 움직임을 비교하는 단계를 더 포함한다. 사용자가 사전 정의된 순서로 증강 현실 피처를 선택했음을 상기 식별된 움직임이 나타내면 사용자는 인증되고, 또한 사용자가 사전 정의된 순서로 증강 현실 피처를 선택하지 않았음을 상기 식별된 움직임이 나타내면 사용자는 인증되지 않는다.
본 요약부는 상세한 설명에서 이후에 추가로 설명되는 개념에 대한 선택을 단순화된 형태로 도입하도록 제공된다. 본 요약부는 청구대상의 주된 사항 또는 핵심 사항을 식별하기 위한 것도 아니며 청구대상의 범위를 제한하는 데 사용되는 것도 아니다. 또한, 청구대상은 본 명세서의 임의의 부분에 공지된 모든 또는 임의의 단점을 해소하는 구현예에 한정되지 않는다.
도 1은 본 발명에 따른 디스플레이의 실시예에 관한 예시적인 사용자 환경의 개략도를 나타낸다.
도 2는 증강 현실 피처의 세트에 대한 2개의 예시적인 실시예를 개략적으로 나타낸다.
도 3은 디스플레이 장치의 예시적인 실시예를 개략적으로 나타낸다.
도 4는 도 3의 디스플레이 장치의 블록도이다.
도 5는 본 발명의 실시예에 따라 사용자를 인증하는 방법을 나타내는 흐름도이다.
도 6은 본 발명의 다른 실시예에 따라 사용자를 인증하는 방법을 나타내는 흐름도이다.
도 7은 예시적인 컴퓨팅 시스템을 개략적으로 나타낸다.
사용자에게 배경 화면의 증강 현실 뷰를 제시하는 데 두부 장착형 디스플레이(Head-mounted display; HMD) 장치가 사용될 수 있다. 또한, HMD 장치는 사용자가 다양한 프로그램, 데이터, 및 다른 리소스들에 액세스하도록 할 수 있다. 제한된 리소스에 사용자 액세스를 부여하거나 혹은 사용자가 HMD 장치를 사용하기 위한 허가를 갖는 것을 보장하기 위해, HMD 장치에 의해 디스플레이되는 증강 현실 이미지들에 응답하여 HMD 장치의 하나 이상의 입력 메카니즘을 통해 수신되는 입력에 의해 사용자가 인증될 수 있다.
이들 실시예를 상세하게 논의하기 전에, 비제한의 사용자 시나리오를 도 1을 참조하여 설명한다. 보다 구체적으로, 도 1은 두부 장착형의 디스플레이 장치(104)의 실시예에 관한 사용자 환경의 예시적인 실시예를 도시하고, 여기서 환경(100)은 거실의 형태를 취한다. 사용자(106)는 두부 장착형의 디스플레이 장치(104)를 통해 거실을 보고 있다. 또한 도 1은 디스플레이 장치(104)를 통해 볼 수 있는 환경의 일부를 포함하는 사용자 시야(102)를 나타내고, 그에 따라 환경의 일부는 디스플레이 장치(104)를 통해 디스플레이되는 이미지들로 증강될 수 있다. 일부 실시예에서, 사용자 시야(102)는 실질적으로 사용자의 실제 가시 범위와 동일한 공간에 걸쳐 있을 수 있고, 이와 달리 다른 실시예에서는 사용자 시야(102)는 사용자의 실제 가시 범위의 보다 적은 부분을 차지할 수 있다.
이하에서 보다 상세히 설명되는 바와 같이, 디스플레이 장치(104)는 사용자가 환경을 네비게이팅함에 따라 사용자 인증 환경(100)을 나타내는 이미지 데이터(예컨대, 컬러/그레이스케일 이미지, 깊이 이미지/포인트 클라우드 데이터, 등)을 획득하도록 구성된 하나 이상의 외향(outwardly facing) 이미지 센서(예컨대, 2차원 카메라 및/또는 깊이 카메라)를 포함할 수 있다. 이러한 이미지 데이터는 환경의 레이아웃(예컨대, 3차원 표면 맵, 등) 및 책장(108), 문(110), 창문(112), 및 소파(114)와 같이 환경에 포함된 객체에 관한 정보를 획득하는 데 사용될 수 있다.
디스플레이 장치(104)는 사용자 시야(102) 내의 실제 객체 위에 하나 이상의 가상 이미지를 겹쳐 놓을 수 있다. 도 1에 도시된 예시적인 가상 객체는 그릇(116), 달(118), 및 개(120)를 포함한다. 가상 객체는 객체가 사용자 시야(102) 내에서 사용자(106)에 대한 상이한 깊이로 나타나도록 3차원으로 디스플레이될 수 있다. 디스플레이 장치(104)에 의해 디스플레이되는 가상 객체는 사용자(106)에게만 보여질 수 있고, 사용자(106)가 움직임에 따라 움직일 수 있고, 또는 사용자(106)의 움직임에 상관없이 세트 위치 내에서 유지될 수 있다.
본 명세서에서 개시된 실시예에 의하면, 잠재적으로 사용 환경(100)에 관한 정보와 조합하여 디스플레이 장치(104)를 통해 디스플레이되는 증강 현실 이미지는 디스플레이 장치(104) 상의 인증된 사용자(106)에게 사용될 수 있다. 예컨대, 사용자(106)가 사전 정의된 순서로 선택할 수 있는 증강 현실 피처의 세트를 제공하도록 상기한 가상 객체가 사용자(106)에게 디스플레이될 수 있다. 사용자(106)가 사전 정의된 순서로 증강된 피처를 선택하면, 사용자는 인증될 수 있고, 이에 따라 사용자가 제한된 리소스에 액세스할 수 있게 된다. 증강 현실 피처는 가상 객체 피처, 3차원 홀로그램, 2차원 홀로그램, 사운드, 가상 이동, 진동을 포함하지만 이에 제한되지 않는 임의의 적절한 피처를 포함할 수 있고, 또한 사용자의 시야 내의 실제 객체 피처를 포함할 수도 있다. 예컨대, 도 1의 예에서 사용자(106)에게 디스플레이되는 증강 현실 피처는 책장(108)의 실제 선반 상에 있는 것처럼 디스플레이되는 가상 그릇(116), 가상 달(118), 및 사용자에게 보여질 수 있는 두부(122) 및 꼬리(124)를 갖는 가상 개(120)를 포함한다.
사용자(106)는 디스플레이 장치(104)에 의해 검출 가능한 임의의 적절한 방식으로 증강 현실 피처를 선택할 수 있다. 예컨대, 사용자(106)는 선택된 증강 현실 피처를 응시함으로써 증강 현실 피처를 선택할 수 있으며, 여기서 응시 방향은 하나 이상의 시선 추적 센서에 의해 검출될 수 있다. 다른 예에서는, 사용자(106)가 관성 모션 센서 및 이미지 센서에 의해 검출되는 것과 같이 자신의 두부, 손, 몸 전체 등을 증강 현실 피처로 또는 그를 향해 움직임으로써 증강 현실 피처를 선택할 수 있다. 또한 사용자는 하나 이상의 마이크로폰에 의해 검출되는 음성 명령을 내릴 수도 있다. 디스플레이 장치(104)의 센서를 통한 사용자 입력 명령의 검출에 관한 추가적인 상세는 도 3 및 도 4와 관련해서 이후에 논의할 것이다.
증강 현실 피처의 선택은 그 증강 현실 피처와 연관된 움직임 또는 명령을 수행하는 사용자(106)에 기초하여 검출 및 결정될 수 있다. 움직임은 단순히 증강 현실 피처를 향한 사용자의 움직임 또는 증강 현실 피처에서의 사용자의 시선(looking)을 포함할 수 있다. 또한, 일부 실시예에서, 움직임은 사전 정의된 시간 동안에 증강 현실 피처에서의 사용자의 시선, 특정한 움직임을 수행하면서 또는 특정한 오디오 명령을 내리는 동안에 증강 현실 피처에서의 사용자의 시선, 및/또는 증강 현실 피처의 선택을 나타내는 다른 적절한 메카니즘을 포함할 수도 있다. 추가적으로, 일부 실시예에서는, 특정한 지리적 위치, 특정한 위치에서의 HMD 장치의 특정한 방향에 특정한 입력이 링크될 수 있다.
사용자에 의해 증강 현실 피처가 선택되는 사전 정의된 순서는 임의의 적절한 순서로 결정될 수 있다. 예컨대, 초기의 인증 패스코드 셋업 세션에서, 사용자가 피처의 아이덴티티, 및 피처가 인증 프로세스에서 선택되는 순서를 결정할 수 있다. 다른 예에서, 디스플레이 장치(104)는 증강 현실 피처가 선택되는 순서 및 그의 아이덴티티를 결정할 수 있고, 또한 증강 현실 피처를 선택하기 위한 순서를 사용자에게 통지할 수 있다.
도 1에 도시된 예에서, 사용자(106)는 먼저 가상 그릇(116)을 선택하고, 그 다음에 가상 달(118), 그 다음에 개(120)의 두부(122)를 선택한다. 사용자가 사전 정의된 순서로 올바른 증강 현실 피처를 선택했으면, 사용자의 움직임(눈 및 몸의 움직임을 포함함) 및 잠재적으로 다른 정보(예컨대, 음성 명령, 위치, 및/또는 사용자의 방향)가 디스플레이 장치의 센서를 통해 검출될 수 있고, 증강 현실 피처가 선택되는 특정한 순서에 사용자 인증을 링크시키는 사용자 인증 정보와 비교될 수 있다.
일부 실시예에서, 증강 현실 피처는 동일 또는 유사한 방식의 각 인증 세션에서 사용자에게 디스플레이될 수 있다. 다른 실시예에서는, 증강 현실 피처가 사용자 인증 세션 간에 상이하게 사용자에게 디스플레이될 수 있다. 예컨대, 일부 실시예에서, 선택된 피처를 포함하는 증강 현실 피처의 상이한 전체 세트가 상이한 사용자 인증 세션에서 디스플레이될 수 있다. 다른 실시예에서는, 증강 현실 피처의 동일 세트가 상이한 위치는 아니지만 상이한 인증 세션에서 디스플레이될 수 있다. 다른 경우에, 상이한 인증 세션 동안에 상이한 방식으로 증강 현실 피처를 디스플레이하는 것은 외부 관찰자가 사용자에 의해 수행되는 인증 동작의 패턴을 관찰하는 것을 방지하도록 도울 수 있으므로, 선택되는 일련의 증강 현실 피처에 대한 기밀성을 보호하는 것을 도울 수 있다.
또한, 사용자에게 디스플레이되는 증강 현실 피처의 개수 및/또는 외관은 사용자 위치 또는 다른 파라미터에 따라 변할 수 있다. 예컨대, 사용자가 자신의 집 또는 다른 사적인 위치에서 (예를 들어 GPS 데이터, 이미지 데이터, 및/또는 다른 디스플레이 장치 센서 데이터를 통해) 인증되고 있다고 판정되면, 보다 단순한 패스코드 이미지(예컨대, 보다 적은 수의 전체 증강 현실 피처를 가짐)가 디스플레이될 수 있고, 및/또는 보다 공공의 위치에 사용자가 있을 때의 신뢰성 레벨보다 낮은 신뢰성 레벨인, 사용자 입력이 인증 데이터와 매칭되는지에 관한 신뢰성 레벨이 인증을 위해 허가될 수 있다.
도 2는 두 개의 구별된 인증 세션 중에 디스플레이될 수 있는 증강 현실 피처들의 두 가지 세트의 예시적 실시예를 도시한다. 위에서 설명된 것처럼, 증강 현실 피처들은 디스플레이 장치를 통해 사용자(도 2에서 도시안됨)에게 디스플레이된다. 시간 라인(202)은 구별된 인증 세션의 상대적 타이밍을 나타내기 위해 또한 도시된다.
시간 t1에서, 증강 현실 피처들의 제 1 세트(210)가 사용자에게 디스플레이된다. 증강 현실 피처들의 제 1 세트(210)는 사용자 시야(200) 내의 다양한 위치에서 스크린에서 천천히 떨어질 때 표시되는 문자의 세트를 포함한다. 도 2에 도시된 것처럼, 사용자는 워드 FIRKIN이 되도록 사전 정의된 순서로 문자의 세트를 선택한다. 인증 정보가 사용자 패스워드가 FIRKIN임을 나타내면, 사용자는 인증된다.
다음에, 시간 t2에서, 증강 현실 피처들의 제 2 세트(220)가 사용자 시야(200)를 통해 사용자에게 디스플레이되는 제 2 인증 세션이 개시된다. 증강 현실 피처들의 제 2 세트(220)에서, 문자들 및/또는 문자들의 위치는 증강 현실 피처들의 제 1 세트(210)에서와 다를 수 있지만, 피처들의 제 1 세트(210)와 다른 동작 세트를 통해 여전히 워드 FIRKIN의 선택이 가능하다. 사용자는 양쪽 인증 세션에서 문자의 동일한 조합을 선택하지만, 외부 관찰자에게 사용자의 움직임은 다른 것으로 보일 것이다.
전술된 것처럼, 사용자 인증 프로세스는, 디스플레이 장치를 포함하지만 반드시 이에 제한되지는 않는 임의의 적합한 컴퓨팅 장치에 의해 수행될 수 있다. 본 발명에 따른 디스플레이 장치는, 도 1의 두부 장착 디스플레이 장치(104)와 같은 HMD 장치를 포함하지만 이에 제한되지는 않는 임의의 적합한 형태를 취할 수 있다. 도 3은 디스플레이 시스템(300)의 예시적 실시예를 도시하고, 도 4는 디스플레이 시스템(300)의 블록도를 도시한다.
디스플레이 시스템(300)은 디스플레이 서브시스템(304)의 일부를 형성하는 하나 이상의 렌즈(302)를 포함하므로, 이미지들은 렌즈(302) 상으로 투영되거나 렌즈(302)에 통합된 이미지 생성 요소(예컨대, 투명 OLED 디스플레이)에 의해 생성될 수 있다. 디스플레이 시스템(300)은 사용자가 보고 있는 배경 장면 및/또는 물리적 공간의 이미지를 획득하도록 구성된 하나 이상의 외향 이미지 센서(306)를 더 포함하며, 사용자로부터의 음성 명령과 같은 사운드를 검출하도록 구성된 하나 이상의 마이크로폰(308)를 포함할 수 있다. 외향 이미지 센서(306)는 하나 이상의 깊이 센서 및/또는 하나 이상의 이차원 이미지 센서를 포함할 수 있다.
디스플레이 시스템(300)은 전술된 것처럼 사용자의 각 눈의 시선의 방향을 검출하도록 구성된 시선 검출 서브시스템(310)을 더 포함할 수 있다. 시선 검출 서브시스템(310)은 임의의 적합한 방식으로 사용자의 각 눈의 시선 방향을 판정하도록 구성될 수 있다. 예컨대, 도시된 실시예에서, 시선 검출 서브시스템(310)은, 광의 글린트(glint)가 사용자의 각 안구로부터 반사되게 하도록 구성된 하나 이상의 글린트(glint) 소스(312) 및 사용자의 각 안구의 이미지를 캡처하도록 구성된 내부 대면 센서와 같은 하나 이상의 이미지 센서(314)를 포함한다. 이미지 센서(들)(314)를 통해 수집된 이미지 데이터로부터 판정되는 사용자 안구로부터의 글린트의 변화는 시선의 방향을 판정하는데에 사용될 수 있다. 또한, 사용자의 눈으로부터 투영된 시선이 외부 디스플레이를 교차하는 위치는 사용자가 응시하고 있는 객체(예컨대, 디스플레이된 가상 객체 또는 실제 배경 객체)을 판정하는데에 사용될 수 있다. 시선 검출 서브시스템(310)은 적합한 개수 및 배열의 광 소스 및 이미지 센서를 가질 수 있다.
디스플레이 시스템(300)은 부가적인 센서들을 더 포함할 수 있다. 예컨대, 디스플레이 시스템(300)은 디스플레이 시스템(300)의 위치가 판정될 수 있도록 하는 글로벌 포지셔닝 (GPS) 서브시스템(316)을 포함할 수 있다. 이것은 디스플레이 시스템(300)의 사용자로 하여금 다른 위치에서 상이한 패스워드를 사용하는 것을 허용할 수 있으며, 이에 따라 원하는 보안 레벨이 장치 위치에 따라 변하는 것이 허용될 수 있다.
디스플레이 시스템(300)은 사용자가 디스플레이 시스템(300)을 착용하고 있을 경우 사용자의 머리의 움직임을 검출하는 하나 이상의 움직임 센서(318)를 더 포함할 수 있다. 외향 이미지 센서(들)(306)로부터의 이미지들 내의 흐림(blur)에 대한 보정을 돕는 이미지 안정화뿐만 아니라, 시선 검출을 위해, 잠재적으로 시선 추적 글린트 데이터 및 외향 이미지 데이터와 함께, 움직임 데이터가 사용될 수 있다. 움직임 데이터의 사용은 외향 이미지 센서(들)(306)로부터의 이미지 데이터가 해상될 수 없을 때조차도 시선 위치의 변화가 추적될 수 있도록 한다. 마찬가지로, 마이크로폰(들)(308) 및 시선 검출 서브시스템(310) 뿐만 아니라 움직임 센서(318) 또한 사용자 입력 장치로서 사용될 수 있으므로 사용자는 구두 명령을 통해서 뿐만 아니라 눈, 목 및/또는 머리의 제스처를 통해 디스플레이 시스템(300)과 상호작용할 수 있다. 도 3 및 도 4에 도시된 센서들은 예시를 위해 도시된 것이지 임의 방식으로 제한할 의도가 아니며, 임의의 다른 적합한 센서들 및/또는 센서들의 조합이 사용될 수 있음이 이해될 것이다.
디스플레이 시스템(300)은 로직 서브시스템(322) 및 센서들과 통신하는 데이터 보유 서브시스템(324)(스토리지 시스템으로도 언급됨)을 갖는 제어기(320), 시선 검출 서브시스템(310), 디스플레이 서브시스템(304)을 더 포함한다. 데이터 보유 서브시스템(324)은, 여러 작업 중에서도, 예컨대, 센서로부터 입력을 수신하여 해석하고, 사용자의 움직임을 식별하고, 사용자가 사전 정의된 순서로 증강 현실 피처들을 선택했는지를 판정하기 위해 식별된 움직임과 인증 정보를 비교하고, 사용자를 인증하는, 로직 서브시스템(322)에 의해 실행될 수 있는 저장된 명령어를 포함한다.
도시된 디스플레이 장치(104, 300)는 예시를 위해 설명된 것이며 따라서 제한할 의도가 아님이 인식될 것이다. 디스플레이 장치는 본 발명의 범위를 벗어 나지 않고, 도시된 것과 다른 추가적인 및/또는 대안적인 센서, 카메라, 마이크로폰, 입력 장치, 출력 장치 등등을 포함할 수 있음이 이해되어야 한다. 또한, 디스플레이 장치 및 그것의 다양한 센서들 및 하위 구성요소들의 물리적 구성은 본 발명의 범위를 벗어나지 않고 다양한 다른 형태를 취할 수 있다.
도 5는 전술된 두부 장착 디스플레이 장치(104)와 같은 디스플레이 장치의 사용자를 인증하는 방법(500)의 실시예를 도시하는 흐름도이다. 간단하게 말하자면, 방법(500)은 사용자를 인증하기 위해 인증 세션 중에 사용자에게 하나 이상의 가상 이미지 또는 다른 증강 현실 피처들을 제시한다. 일단 인증되면, 사용자에게는 하나 이상의 제한된 장치, 프로그램, 애플리케이션 등등에 대해 액세스가 허용될 수 있다. 인증 세션은, 사용자가 디스플레이 장치의 전원을 켜는 것, 프로그램이나 애플리케이션을 시작하기 위한 허락을 요청하는 것, 웹 사이트를 보기 위한 허락을 요청하는 것 등등과 같은, 임의의 적합한 입력을 통해 개시될 수 있다.
502에서, 방법(500)은 증강 현실 피처들의 세트를 포함하는 하나 이상의 가상 이미지를 디스플레이하는 것을 포함한다. 증강 현실 피처들의 세트는 가상 이미지 및/또는 실제 객체의 임의의 적합한 피처들을 포함할 수 있다. 예컨대, 증강 현실 피처들은 사용자에 의해 선택된 특정 3D 또는 가상 객체, (특정 이미지의 반대편에 있는) 특정 객체 또는 사람을 도시하는 이미지, 및/또는 특정 속성을 갖는 3D 실제 또는 가상 객체를 포함할 수 있다. 또한, 피처들은 사운드 또는 다른 증강 현실 환경 측면들을 포함할 수도 있다. 증강 현실 피처들은 임의의 적합한 방식으로 제시될 수 있다. 예컨대, 증강 현실 피처들은 사전 정의된 순서, 랜덤한 순서, 상이한 인증 세션들 사이에서의 알고리즘적으로 변경된 순서, 등등으로 디스플레이될 수 있다.
504에서, 방법(500)은 센서로부터 수신된 데이터를 통해 사용자의 하나 이상의 움직임을 식별하는 것을 포함한다. 센서 데이터는, 관성 모션 센서(506) 및/또는 시선 추적 센서 시스템(508)을 포함하지만 한정되지는 않는 임의의 적합한 센서로부터 수신될 수 있다. 또한, 사용자의 움직임을 식별하기 위해 디스플레이 장치 외부의 센서들이 사용될 수도 있다. 예컨대, 사용자는 (태블릿과 같은) 외부 장치의 스크린에 그림을 그릴 수 있고, 그 태플릿은 사용자의 손의 움직임을 검출하여 그 움직임을 해당 디스플레이 장치에 전달할 수 있다. 다른 예로, 원격 서비스, 예컨대, 웹 서버를 통해 액세스 가능한 서비스가 입력 장치로서 사용될 수 있다. 예컨대, 디스플레이 장치는 웹 서비스의 상태를 질의할 수 있고, 웹 서비스가 도달될 수 없거나 "허가되지 않음" 메시지를 반환할 경우, 사용자는 인증되지 않을 수 있다. 식별된 움직임은 사용자에 의해 선택된 증강 현실 피처들의 식별 및 순서를 판정하는 데에 사용될 수 있다. 또한, 사용자가 증강 현실 피처들을 선택하는 움직임을 입력할 때, 식별된 움직임이 증강 현실 피처와 연관된 움직임과 일치하면, 방법(509)은 사용자가 증강 현실 피처를 선택했다는 표식을 출력하는 것을 포함할 수 있다.
510에서, 방법(500)은 사용자 인증을 증강 현실 피처들의 사전 정의된 순서와 연결시키는 인증 정보와 식별된 움직임을 비교한다. 인증 정보는 디스플레이 장치 상에 국소적으로 저장되거나, 원격으로 저장되거나, 원격 서비스를 통해 액세스 가능할 수도 있다.
512에서, 방법(500)은 사용자가 증강 현실 피처들을 사전 정의된 순서로 선택했는지 판정하는 것을 포함한다. 전술된 것처럼, 사용자의 식별된 움직임은 사용자에 의해 선택된 증강 현실 피처들의 순서의 식별을 판단하는 데에 사용될 수 있다. 몇몇 실시예에서는, 514에 표시된 것처럼, 사용자가 실제로 증강 현실 피처들을 사전 정의된 순서로 선택했다는 신뢰성 레벨에 기초하여 식별된 움직임에 신뢰성 스코어를 할당할 수 있다. 신뢰성 스코어는 식별된 움직임이 예상된 움직임과 일치하는 확실성을 반영할 수 있고, 움직임을 검출하는 센서의 성능을 포함하지만 이에 한정되지 않는 다양한 다른 인자들의 함수가 될 수 있다.
사용자를 인증할 것인지 여부를 판정하기 위해 신뢰성 스코어는 임계치 신뢰성 스코어 값과 비교될 수 있다. 신뢰성 스코어가 임계치보다 높고 516에 표시된 것처럼 증강 현실 피처들이 올바른 순서로 선택되었다면, 디스플레이 장치는 518에 표시된 것처럼 사용자를 인증할 수 있다. 임계치는 변하지 않는 고정된 값이 될 수도 있고, 아니면 사용자 위치 및/또는 바이오메트릭 시그니처(biometric signatures)와 같이, 인증 세션의 조건에 따라 변할 수도 있다. 한편, 증강 현실 피처들이 사전 정의된 순서로 선택되지 않았다면(또는 신뢰성 스코어가 임계치를 충족시키지 않아 피처들이 사전 정의된 순서로 선택되지 않은 것으로 간주될 수 있다면), 방법(500)은 520에서 사용자를 인증하지 않는 것을 포함한다.
도 5와 관련되어 위에 설명된 예에서, 인증은 단일 입력 메커니즘에 기초한다. 실시예에서, 다수의 입력 메커니즘은 사용자를 인증하기 위해 사용될 것이고, 사용자를 인증하는 데 사용되는 신뢰성 스코어 임계치는 얼마나 많은 입력 메커니즘이 사용되었는지에 따라 달라질 수 있다. 예를 들어, 복수의 입력 메커니즘이 사용되는 곳에서보다 단일 입력 메커니즘이 사용되는 곳에서 더 높은 신뢰성 스코어 임계치가 적용될 수 있다.
도 6은 사용자 가변가능 개수의 인증 입력에 기초하여 사용자를 인증하기 위한 방법(600)의 실시예를 설명하는 흐름도를 도시한다. 여기서 사용된 바와 같이, 용어 인증 입력은, 사용자를 인증하기 위해 증강 현실 특징에 사용자 움직임을 링크시키는 인증 정보와 비교될 수 있는 디스플레이 장치의 임의의 센서에 의해 검출된 임의의 사용자 입력을 나타낼 수 있다. 인증 입력의 예들은 시선 움직임(eye movement)을 통한 가상 오브젝트의 선택, 신체 움직임을 통한 가상 오브젝트의 선택, 음성 명령 및 특정 오리엔테이션 또는 위치를 추정하는 것에 한정되지 않고 이러한 것들을 포함한다.
단계 602에서, 방법(600)은 인증 입력의 세트를 수신하는 단계를 포함한다. 단계 604에 표시된 바와 같이 인증 입력의 세트는 사용자를 위해 인식된 복수의 인증 입력으로부터 선택될 수 있고, 여기서, 복수의 인식된 입력은 상이한 센서들을 통해 형성된 입력에 대응한다. 조금 더 구체적인 예로서, 복수의 인식된 입력은 시선 추적 입력, 두부 추적 입력, 팔동작 입력, 및/또는 사용자 생체 정보(예컨대, 사용자의 동공간 거리(interpupil distance: IPD), 걸음걸이, 키 등)를 포함할 수 있고, 수신된 세트는 두부 움직임 입력 데이터가 뒤를 잇는 시선 추적 입력 데이터를 포함한다.
몇몇 실시예에서, 하나 이상의 인증 입력은 물리적 위치(예컨대, GPS 및/또는 이미지 데이터를 통해 검출되는 것처럼) 및/또는 구체적 오리엔테이션(예컨대, 디스플레이 장치를 통해 보여질 수 있는 배경에서 사전결정된 위치에서 잘 알려진 물리적 오브젝트(예컨대, 포스터)의 존재에 의해 검출되는 것처럼)와 연관되어 사용자가 물리적 위치 및/또는 오리엔테이션에 있을 때에만 인증 입력이 성공적으로 수행될 수 있다. 다른 예는 표시된 증강 현실 이미지에 응답하지 않는 사용자 제작 입력을 포함한다. 예를 들어, 사용자는 시선 추적 및/또는 초기 움직임 및 외향 이미지 센서에 의해 검출된 구체적인 패턴을 그의 또는 그녀의 시선 또는 손을 사용하여 그릴 수 있고, 및/또는 음성 명령을 입력할 수 있다. 다른 예로서, 다른 사용자의 존재는 검출될 수 있고, 사용자 인증은 검출된 다른 사용자의 수, 신원 및/또는 다른 특성에 기초할 수 있다. 이러한 입력 모드는 예들의 목적을 위해 제공될 수 있고 임의의 방식에 제한되도록 의도되지 않는다.
이어서, 단계 608에서, 방법(600)은 각 인증 입력이 대응하는 사전정의된 인증 입력에 매칭되는지 판정하는 단계를 포함한다. 또한 단계 610에 표시된 바와 같이, 신뢰성 스코어는 각각의 수신된 인증 정보에 할당될 수 있고, 여기서, 신뢰성 스코어는 수신된 인증 입력이 사전정의된 인증 입력에 매칭하는 신뢰 레벨을 반영한다.
단계 612에서, 신뢰성 스코어는 임계치와 비교된다. 예를 들어, 몇몇 실시예에서, 각 인증 입력에 대한 신뢰성 스코어는 결합될 수 있고 전체적으로 임계치와 비교될 수 있다. 다른 실시예에서, 각 신뢰성 스코어는 대응하는 임계치와 개별적으로 비교될 수 있다. 어떠한 경우에도, 신뢰성 스코어가 임계치에 대비하여 사전결정된 상태(예컨대, 동일하거나 더 큰)를 만족할 때 사용자는 인증될 수 있다.
몇몇 실시예에서, 상대적으로 큰 수의 인증 입력을 사용함으로써, 더 적은 수의 입력에 대한 임계치 점수와 비교하여 모든 입력에 대한 신뢰성 스코어가 사전결정된 상태를 만족하지 않는 경우조차 사용자는 인증될 수 있다. 하나의 비제한적인 예로서, 3개의 인증 입력은 사용자에 의해 입력되고 적어도 2개의 신뢰성 스코어가 개별 신뢰성 스코어 임계치를 넘을 때, 사용자는 인증될 수 있다. 반대로, 만약 더 적은 수의 인증 입력을 통해 인증된다면, 사용자는 모든 임계치를 초과해야 할 것이다. 비슷하게, 결합된 신뢰성 스코어 임계치는 비슷한 효과를 달성하기 위해 사용된 입력 모드의 개수에 따라 변할 것이다. 각 예는 본 개시에 따른 신뢰성 스코어 임계치에서의 변화의 예를 제한하지 않는 것으로 고려될 수 있다.
따라서, 단계 614에 표시된 바와 같이, 방법(600)은 디스플레이 장치에 의해 수신된 인증 입력의 개수가 증가할 때 신뢰성 스코어 임계치를 감소시키는 단계를 포함할 수 있다. 비슷하게, 방법(600)은 또한 인증 입력의 수가 감소할 때 임계치를 증가시키는 단계를 포함할 수 있다. 위에 설명된 방식을 포함하되 제한되지 않는 임의의 적합한 방식으로 신뢰성 스코어 임계치가 변화될 수 있다는 것은 이해될 것이다.
도 5와 관련되어 위에 설명된 바와 같이, 단계 616에서 표시된 바와 같이, 몇몇 실시예들에서 사용자를 인증하기 위한 임계치는 사용자 위치 또는 다른 파라미터에 기초하여 변할 것이다. 예를 들어, 제1, 더 큰 수의 인증 입력은 제1, 더 적은 보안 위치에서 사용되고, 제2, 더 적은 수의 인증 입력은 제2, 더 많은 보안 위치에서 사용될 것이다. 다른 예에서, 인증 입력의 수들은 두 위치에서 동일할 것이지만, 더 적은 보안 위치에 대한 임계치가 더 많은 보안 위치보다 더 높을 것이다. 또한, 위치를 제외한 다른 파라미터들은 접근되는 정보의 유형 등과 같은 사용자 지정된 보안을 임계치가 포함하도록 영향을 끼칠 것이다.
단계 618에서, 신뢰성 스코어가 임계치보다 큰지 판정된다. 만약 신뢰성 스코어가 임계치보다 크다면, 사용자는 단계 620에서 인증된다. 반면, 만약 신뢰성 스코어가 임계치보다 크지 않다면, 사용자는 단계 622에서 인증되지 않는다.
따라서, 이곳에 기술된 실시예들은, 개시된 디스플레이 장치의 특정 특징을 사용하는 다양한 입력을 통한 사용자 인증을 제공한다. 개시된 입력들은 비한정 예들이고 다른 입력들이 가능하다는 것은 이해될 것이다. 예를 들어, 사용자 인증 입력은 또한 블링크(blink) 검출, 오브젝트 인식(예를 들어, 포스터, 빌딩, 예술품 등과 같은 구체적 오브젝트의 인식), 망막 스캔, 지문 검출, 및/또는 다른 적합한 입력 메커니즘을 사용하여 입력될 수 있다.
또한, 이와 같은 입력의 조합 또한 인식을 위해 사용될 수 있다. 예를 들어, 사용자는 디스플레이 장치 상에 그의 또는 그녀의 손가락을 이용하여 특정한 리듬을 태핑하는 동안 구체적 오브젝트(실제 또는 가상)을 볼 수 있어, 이미지는 외향 이미지 센서에 의해 검출되고 태핑은 내부 움직임 센서를 통해 검출된다. 다른 예로서, 사용자의 동공간 거리(IPD)는 디스플레이 장치에 의해 생체 데이터로서 측정될 수 있다. 사용자를 인증하기 위해 이것은 망막 스캔, 사전결정된 동작의 세트, 및/또는 다른 입력과 결합될 수 있다.
다른 예에서, 나머지가 특정 카테고리와 연관되는 반면 인증을 위해 사용되는 하나 이상의 입력은 사용자가 인증될 때마다 변할 수 있다. 일 예에서, 이러한 입력을 포함하는 사용자 패스코드는, "만화스타일을 갖는(cartoony)", "가벼운", "아이와 관련된", "점핑하는 오브젝트" 및 "마음을 달래주는 음악의 방향"과 같은, 그러나 한정되지 않은 예의 카테고리의 정의를 포함한다. 인증이 되기 위해서, 사용자는 오브젝트를 선택하거나, 그렇지 않으면 인증되기 위해 선택된 카테고리의 정의(예컨대, 만화스타일을 갖는, 가벼운, 아이와 관련된, 오르거나 내려가는 것, 그의 또는 그녀의 두부를 음악이 들려오는 방향을 향해 움직이는 것)를 만족하는 입력을 수행한다. 구체적인 종류의 입력(선택된 오브젝트, 사용자가 향하는 방향 등)은 각 입력을 이용하여 변할 수 있는 반면, 카테고리는 사용자에 의해 변하지 않을 때까지 동일하게 유지된다.
몇몇 실시예에서, 인증 입력은 개별 사용자에게 구체적이다. 다른 실시예에서, 동일한 세트의 인증 입력은 복수의 사용자에 의해 사용될 수 있다. 예를 들어, 사용자의 가족의 구성원들은 사용자의 인증 입력을 입력하도록 인증될 수 있고, 디스플레이 장치는 각 가족 구성원으로부터의 입력을 인식하도록 구성될 수 있다. 또한, 상이한 승인은 이미지 데이터, 음성 데이터 등으로부터 판정된 가족 구성원 신원에 근거하여 각각의 가족 구성원에게 적용될 수 있다. 다른 예에서, 사용자는 복수의 사람들에 의해 만들어진 입력을 통해 인증될 수 있다. 예를 들어, 만약 인증이 비밀 정보로의 접근을 허가하는데 사용된다면, 정보를 감시하는 다른 신뢰가 가는 사람으로부터의 확인은 사용자를 인증하기 위해 사용자의 인증 입력과 함께 사용될 수 있다.
몇몇 실시예에서 위에 설명된 방법 및 프로세스는 하나 이상의 컴퓨팅 장치의 컴퓨팅 시스템에 관련될 수 있다. 특히, 이와 같은 방법 및 프로세스는 컴퓨터-애플리케이션 프로그램 또는 서비스, 애플리케이션-프로그래밍 인터페이스(API), 라이브러리, 및/또는 다른 컴퓨터-프로그램 제품으로서 구현될 수 있다.
도 7은 위에 설명된 방법 및 프로세스를 실행할 수 있는 컴퓨팅 시스템(700)의 비한정 실시예를 개략적으로 도시한다. 디스플레이 장치(104)는 컴퓨팅 시스템(700)의 하나의 비한정 예가 될 수 있다. 컴퓨팅 시스템(700)은 단순화된 형태로 도시된다. 가상적으로 임의의 컴퓨터 구조가 이 개시의 범위를 벗어남 없이 사용될 수 있다는 것은 이해될 것이다. 다른 실시예에서, 컴퓨팅 시스템(700)은 디스플레이 장치, 착용가능 컴퓨팅 장치, 메인프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 홈-엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 장치, 오락 장치, 모바일 컴퓨팅 장치, 모바일 통신 장치(예컨대, 스마트폰)의 형태를 취할 수 있다.
컴퓨팅 시스템(700)은 로직 서브시스템(702) 및 스토리지 서브시스템(704)을 포함한다. 컴퓨팅 시스템(700)은 디스플레이 서브시스템(706), 입력 서브시스템(708), 통신 서브시스템(710), 및/또는 도 7에 도시되지 않은 다른 구성요소를 선택적으로 포함할 수 있다.
로직 서브시스템(702)은 명령어를 실행하도록 구성된 하나 이상의 물리적 장치를 포함한다. 예를 들어, 로직 서브시스템은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 구성요소, 데이터 구조 또는 다른 로직적인 구성의 일부인 명령어를 실행하도록 구성될 수 있다. 이와 같은 명령어는 작업을 수행하거나, 데이터 타입을 구현하거나, 하나 이상의 구성요소의 상태를 변형시키거나 그렇지 않으면 희망하는 결과에 도착하게끔 구현될 수 있다.
로직 서브시스템은 소프트웨어 명령어를 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 추가로 또는 대안으로, 로직 서브시스템은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템의 프로세서는 싱글 코어 또는 멀티 코어가 될 수 있고, 여기서 실행되는 프로그램은 순차, 병렬 또는 분포된 프로세싱을 위해 구성될 수 있다. 로직 서브시스템은, 원격으로 위치되고/또는 협력 프로세싱을 위해 구성될 수 있는, 둘 이상의 장치 사이에서 분포되는 개별 컴포넌트를 선택적으로 포함할 수 있다. 로직 서브시스템의 양상은 클라우드 컴퓨팅 구성에서 구성된 원격으로 액세스 가능한, 네트워크화된 컴퓨팅 장치에 의해 가상화되고 실행될 수 있다.
스토리지 서브시스템(704)은 본원에서 설명된 방법 및 프로세스들을 구현하는 로직 서브시스템에 의해 실행가능한 데이터 및/또는 명령어들을 보유하도록 구성된 하나 이상의 물리적, 비일시적, 장치를 포함한다. 이러한 방법 및 프로세스들이 구현될 때, 스토리지 서브시스템(704)의 상태는 예를 들어, 상이한 데이터를 보유하도록 변환될 수 있다.
스토리지 서브시스템(704)은 탈착가능한 매체 및/또는 내장 장치를 포함할 수 있다. 스토리지 서브시스템(704)은 광학 메모리 장치(예를 들어, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리 장치(예를 들어, RAM, EPROM, EEPROM 등) 및/또는 자기 메모리 장치(예를 들어, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등) 등을 포함할 수 있다. 스토리지 서브시스템(704)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차적 액세스, 위치 어드레스가능, 파일 어드레스가능, 및/또는 콘텐츠 어드레스가능 장치를 포함할 수 있다.
스토리지 서브시스템(704)은 하나 이상의 물리적, 비일시적 장치를 포함할 수 있음이 이해될 것이다. 하지만, 일부 실시예에서, 본원에서 설명된 명령어들의 양상은 유한한 지속기간 동안 물리적 장치에 의해 보유되지 않는 순수 신호(예를 들어, 전자자기 신호, 광학 신호 등)에 의해 일시적 방식으로 전파될 수 있다. 또한, 본 개시에 속하는 데이터 및/또는 정보의 다른 형식은 순수 신호에 의해 전파될 수 있다.
일부 실시예에서, 로직 서브시스템(702) 및 스토리지 서브시스템(704)의 양상은 본원에서 기능적으로 설명되어 실시될 수 있는 하나 이상의 하드웨어 로직 컴포넌트로 함께 집적될 수 있다. 이러한 하드웨어 로직 컴포넌트는 예를 들어, 필드 프로그램가능 게이트 어레이(FPGA), 프로그램 및 애플리케이션 특정 집적 회로(PASIC/ASIC), 프로그램 및 애플리케이션 특정 표준 제품(PSSP/ASSP), 시스템 온 칩(SOC) 시스템, 및 복합 프로그램가능 로직 장치(CPLD)를 포함할 수 있다.
"프로그램"이라는 용어는 특정 기능을 수행하도록 구현된 컴퓨팅 시스템(700)의 양상을 설명하는데 사용될 수 있다. 일부 경우에, 프로그램은 스토리지 서브시스템(704)에 의해 보유되는 명령어들을 실행하는 로직 서브시스템(702)을 통해 예시화될 수 있다. 상이한 프로그램들은 동일한 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수 등으로부터 예시화될 수 있음이 이해될 것이다. 유사하게, 동일한 프로그램은 상이한 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 함수 등에 의해 예시화될 수 있다. "프로그램"이라는 용어는 실행가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 기록 중 개별 또는 그룹을 포함할 수 있다.
본원에서 사용된 바와 같은 "서비스"는 다수의 사용자 세션을 통해 실행가능한 애플리케이션 프로그램임이 이해될 것이다. 서비스는 하나 이상의 시스템 컴포넌트, 프로그램, 및/또는 다른 서비스에 대해 사용가능할 수 있다. 일부 구현에서, 서비스는 하나 이상의 서버 컴퓨팅 장치 상에서 실행할 수 있다.
디스플레이 서브시스템(706)은, 포함될 때, 스토리지 서브시스템(704)에 의해 보유되는 데이터의 시각적 표현을 표현하는데 사용될 수 있다. 이 시각적 표현은 그래픽 사용자 인터페이스(GUI)의 형식을 취할 수 있다. 본원에서 설명된 바와 같은 방법 및 프로세스들은 스토리지 서브시스템에 의해 보유된 데이터를 변경하여서, 스토리지 서브시스템의 상태를 변환하고, 유사하게 디스플레이 서브시스템(706)의 상태는 기초 데이터에서의 변화를 시각적으로 표현하도록 변환될 수 있다. 디스플레이 서브시스템(706)은 임의의 타입의 기술을 시각적으로 활용하는 하나 이상의 디스플레이 장치를 포함할 수 있다. 이러한 디스플레이 장치는 공유된 인클로저에서 로직 서브시스템(702) 및/또는 스토리지 서브시스템(704)과 통합될 수 있고, 또는 이러한 디스플레이 장치는 주변 디스플레이 장치가 될 수 있다.
입력 서브시스템(708)은, 포함될 때, 키보드, 마우스, 터치 스크린, 또는 게임 컨트롤러와 같은 하나 이상의 사용자 입력 장치를 포함하거나 인터페이스로 접속할 수 있다. 일부 실시예에서, 입력 서브시스템은 선택된 고유 사용자 입력(NUI) 구성품을 포함하거나 인터페이스로 접속할 수 있다. 이러한 구성품은 집적되거나 주변적인 것이 될 수 있고, 입력 액션의 변환 및/프로세싱은 온 보드(on-board) 또는 오프 보드(off-board)로 처리될 수 있다. 예시의 NUI 구성품은 대화 및/또는 음성 인식을 위한 마이크로폰, 머신 시각 및/또는 동작 인식을 위한 적외선, 색상, 입체, 및/또는 깊이 카메라, 움직임 검출 및/또는 목적 인식을 위한 두부 추적기, 시선 추적기, 가속도계, 및/또는 자이로스코프뿐만 아니라, 두뇌 활동에 액세스하기 위한 자계 센싱 구성품을 포함할 수 있다.
통신 서브시스템(710)은, 포함될 때, 컴퓨팅 시스템(700)과 하나 이상의 다른 컴퓨팅 장치를 통신적으로 연결하도록 구성될 수 있다. 통신 서브시스템(710)은 하나 이상의 상이한 통신 프로토콜과 호환가능한 유선 및/또는 무선 통신 장치를 포함할 수 있다. 비제한적인 예시로서, 통신 서브시스템은 무선 전화 네트워크 또는 유선 또는 무선의 근거리 또는 광역 네트워크를 통한 통신을 위해 구성될 수 있다. 일부 실시예에서, 통신 서브시스템은 컴퓨팅 시스템(700)이 인터넷과 같은 네트워크를 통해 다른 장치로/부터 메시지를 전송 및/또는 수신하게 할 수 있다.
본원에서 설명된 구성 및/또는 접근방식은 다양한 변형이 가능하기 때문에, 사실상 예시적인 것이고, 이들 특정 실시예 또는 예시는 제한적인 의미로서 고려되는 것이 아님이 이해될 것이다. 본원에서 설명된 특정 루틴 또는 방법은 임의의 다수의 프로세싱 전략 중 하나 이상을 나타낼 수 있다. 그렇기 때문에, 도시되고/또는 설명된 다양한 동작이 도시되고/또는 설명된 순서로, 다른 순서로, 병렬로, 또는 생략되어 수행될 수 있다. 유사하게 상술된 프로세스들의 순서는 변경될 수 있다.
본 개시의 청구대상은 다양한 프로세스, 시스템 및 구성의 모든 신규의 진보적인 조합 및 서브조합, 및 다른 특징, 기능, 동작 및/ 특성뿐만 아니라 이들의 임의의 모든 등가물을 포함한다.

Claims (10)

  1. 디스플레이 장치를 포함하는 컴퓨팅 시스템의 사용자를 인증하는 방법으로서,
    상기 디스플레이 장치 상에 하나 이상의 가상 이미지를 디스플레이하는 단계―상기 하나 이상의 가상 이미지는 증강 현실 피처들의 세트를 포함함―와,
    상기 컴퓨팅 시스템의 센서로부터 수신되는 데이터를 통해 상기 사용자의 하나 이상의 움직임을 식별하는 단계와,
    사용자 인증을 상기 증강 현실 피처들의 사전정의된 순서에 링크시키는 사용자를 위한 사전정의된 인증 정보의 세트와 상기 사용자의 상기 식별된 움직임을 비교하는 단계와,
    상기 사용자가 사전정의된 순서의 증강 현실 피처들을 선택했음을 상기 식별된 움직임이 나타내면, 상기 사용자를 인증하는 단계와,
    상기 사용자가 사전정의된 순서의 증강 현실 피처들을 선택하지 않았음을 상기 식별된 움직임이 나타내면, 상기 사용자를 인증하지 않는 단계를 포함하는
    컴퓨팅 시스템 사용자 인증 방법.
  2. 제 1 항에 있어서,
    상기 센서는 관성 모션 센서를 포함하며, 상기 데이터는 관성 모션 데이터를 포함하는
    컴퓨팅 시스템 사용자 인증 방법.
  3. 제 1 항에 있어서,
    상기 센서는 시선 추적 센서를 포함하며, 상기 데이터는 시선 움직임 데이터를 포함하는
    컴퓨팅 시스템 사용자 인증 방법.
  4. 제 1 항에 있어서,
    상기 하나 이상의 가상 이미지는 상기 사용자가 인증될 때마다 유사한 위치에 디스플레이되는
    컴퓨팅 시스템 사용자 인증 방법.
  5. 제 1 항에 있어서,
    상기 하나 이상의 가상 이미지는 상이한 인증 세션에 상이한 위치에 디스플레이되는
    컴퓨팅 시스템 사용자 인증 방법.
  6. 제 1 항에 있어서,
    상기 사용자의 식별된 움직임이 하나의 증강 현실 피처와 관련된 움직임과 매칭된다면 상기 사용자가 상기 증강 현실 피처를 선택했다는 표식을 출력하는 단계를 더 포함하는
    컴퓨팅 시스템 사용자 인증 방법.
  7. 제 1 항에 있어서,
    상기 사용자가 상기 사전정의된 순서의 증강 현실 피처들을 선택한 신뢰성 레벨을 반영하는 신뢰성 스코어를 결정하는 단계와,
    상기 신뢰성 스코어가 임계치를 초과하면, 상기 사용자를 인증하는 단계와,
    상기 신뢰성 스코어가 상기 임계치 미만이면, 상기 사용자를 인증하지 않는 단계를 더 포함하는
    컴퓨팅 시스템 사용자 인증 방법.
  8. 제 7 항에 있어서,
    상기 임계치는 상기 사용자의 위치에 기반하는
    컴퓨팅 시스템 사용자 인증 방법.
  9. 제 7 항에 있어서,
    상기 임계치는 증강 현실 피처들의 개수에 따라 변하는
    컴퓨팅 시스템 사용자 인증 방법.
  10. 제 1 항에 있어서,
    증강 현실 피처들의 상기 세트는 상기 사용자의 시계 내의 가상 피처들과 현실 대상물들을 포함하는
    컴퓨팅 시스템 사용자 인증 방법.
KR1020130158797A 2013-12-18 2013-12-18 디스플레이 장치 상의 사용자 인증 KR102193636B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130158797A KR102193636B1 (ko) 2013-12-18 2013-12-18 디스플레이 장치 상의 사용자 인증
KR1020200173166A KR102312900B1 (ko) 2013-12-18 2020-12-11 디스플레이 장치 상의 사용자 인증

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130158797A KR102193636B1 (ko) 2013-12-18 2013-12-18 디스플레이 장치 상의 사용자 인증

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200173166A Division KR102312900B1 (ko) 2013-12-18 2020-12-11 디스플레이 장치 상의 사용자 인증

Publications (2)

Publication Number Publication Date
KR20150071592A true KR20150071592A (ko) 2015-06-26
KR102193636B1 KR102193636B1 (ko) 2020-12-21

Family

ID=53517839

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130158797A KR102193636B1 (ko) 2013-12-18 2013-12-18 디스플레이 장치 상의 사용자 인증

Country Status (1)

Country Link
KR (1) KR102193636B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512540A (zh) * 2015-11-25 2016-04-20 广东欧珀移动通信有限公司 一种单手解锁移动终端的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099160A (ja) * 2004-09-28 2006-04-13 Sony Corp パスワード設定装置及びパスワード認証装置
US20100199347A1 (en) * 2005-07-01 2010-08-05 Time Warner, Inc. Method and Apparatus for Authenticating Usage of an Application
US20110221670A1 (en) * 2010-02-28 2011-09-15 Osterhout Group, Inc. Method and apparatus for visual biometric data capture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099160A (ja) * 2004-09-28 2006-04-13 Sony Corp パスワード設定装置及びパスワード認証装置
US20100199347A1 (en) * 2005-07-01 2010-08-05 Time Warner, Inc. Method and Apparatus for Authenticating Usage of an Application
US20110221670A1 (en) * 2010-02-28 2011-09-15 Osterhout Group, Inc. Method and apparatus for visual biometric data capture

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512540A (zh) * 2015-11-25 2016-04-20 广东欧珀移动通信有限公司 一种单手解锁移动终端的方法及装置

Also Published As

Publication number Publication date
KR102193636B1 (ko) 2020-12-21

Similar Documents

Publication Publication Date Title
US9977882B2 (en) Multi-input user authentication on display device
EP2887253A1 (en) User authentication via graphical augmented reality password
US9836889B2 (en) Executable virtual objects associated with real objects
US10510190B2 (en) Mixed reality interactions
US9030495B2 (en) Augmented reality help
CN103761460B (zh) 显示设备上的用户认证
KR20160132411A (ko) 제스처 파라미터 튜닝
JP2013537341A (ja) ユーザー固有属性のカスタマイズ
JP2017502387A (ja) アクセスの追跡および制限
US9715266B2 (en) Attention-based rendering and fidelity
KR20230044401A (ko) 확장 현실을 위한 개인 제어 인터페이스
KR102312900B1 (ko) 디스플레이 장치 상의 사용자 인증
JP6272688B2 (ja) 表示デバイスでのユーザー認証
US20230177128A1 (en) Authentication and calibration via gaze tracking
US11250124B2 (en) Artificial reality system having hardware mutex with process authentication
US20230095816A1 (en) Adaptive user enrollment for electronic devices
KR102193636B1 (ko) 디스플레이 장치 상의 사용자 인증
US20240045942A1 (en) Systems and methods for using occluded 3d objects for mixed reality captcha

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant