KR102411909B1 - Hmd장치 및 그의 제어 방법 - Google Patents

Hmd장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR102411909B1
KR102411909B1 KR1020180001242A KR20180001242A KR102411909B1 KR 102411909 B1 KR102411909 B1 KR 102411909B1 KR 1020180001242 A KR1020180001242 A KR 1020180001242A KR 20180001242 A KR20180001242 A KR 20180001242A KR 102411909 B1 KR102411909 B1 KR 102411909B1
Authority
KR
South Korea
Prior art keywords
decryption
electronic device
information
release
identifiers
Prior art date
Application number
KR1020180001242A
Other languages
English (en)
Other versions
KR20190083510A (ko
Inventor
심우철
정진영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180001242A priority Critical patent/KR102411909B1/ko
Priority to PCT/KR2019/000099 priority patent/WO2019135620A1/ko
Publication of KR20190083510A publication Critical patent/KR20190083510A/ko
Application granted granted Critical
Publication of KR102411909B1 publication Critical patent/KR102411909B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

HMD장치 및 이에 대한 제어 방법이 개시된다. 본 HMD장치는 통신부 및 디스플레이, 외부 전자 장치에 대한 암호 해제 요청이 수신되면, 전자 장치에 표시되는 제1 암호 해제 UI에 기초한제2 암호 해제 UI를 디스플레이하도록 디스플레이를 제어하고, 전자 장치로부터 제1 암호 해제 UI에서 선택된 오브젝트 정보를 통신부를 통해 수신하고, 수신된 오브젝트 정보와 매핑되는 제2 암호 해제 UI에 포함된 오브젝트가 기저장된 암호 해제 정보와 일치하면 통신부를 통해 암호 해제 명령을 전자 장치로 전송하는 프로세서를 포함하며, 제2 암호 해제 UI는 제1 암호 해제 UI에 포함된 오브젝트들의 표시 위치가 재배열된 UI이다.

Description

HMD장치 및 그의 제어 방법{HMD(Head Mounted Display) APPARATUS, METHOD FOR CONTROLLING THE SAME}
본 개시는 HMD장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는 외부 전자 장치와 통신을 수행하는 HMD장치 및 그의 제어 방법에 대한 것이다.
사용자는 전자 장치 등의 암호 해제 동작을 수행하기 위해서, 특정 오브젝트를 순서대로 선택하거나 드래그 하는 동작을 수행하여야 한다. 그리고 이러한 동작은 동일한 암호 해제 화면에서 이루어진다. 예를 들어, 사용자가 암호 해제 동작을 4자리 비밀번호로 설정하면 사용자가 비밀번호를 변경하지 않는 이상 동일한 4자리 비밀번호로 암호 해제가 가능하다.
이 경우, 사용자는 상술한 방법으로 암호 해제 동작을 공공장소에서 수행하면, 자신의 암호 등이 타인에게 노출될 수 있다는 문제점이 있었다. 또한, 사용자가 공공장소에서 암호 등이 노출될 것을 우려하여, 타인에게 노출되지 않은 장소로 움직이거나, 타인이 볼 수 없도록 디스플레이 화면을 가리면서 암호 해제 동작을 수행해야 하는 불편함이 있었다.
최근에는 숫자로 이루어진 비밀번호를 입력하는 경우, 암호 해제 동작을 수행할 때 마다 숫자 배열을 임의로 변경하는 방법이 사용되고 있다. 하지만, 이러한 방법으로도 사용자가 타이핑하는 순간을 타인이 본다면, 비밀번호가 타인에게 노출될 가능성이 있다는 문제점이 있었다.
본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 외부 전자 장치의 암호 해제 UI에 포함된 오브젝트들의 표시 위치를 재배열하여 디스플레이하는 HMD장치 및 그의 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 실시예에 따른 HMD장치는 통신부 및 디스플레이, 외부 전자 장치에 대한 암호 해제 요청이 수신되면, 전자 장치에 표시되는 제1 암호 해제 UI에 기초한 제2 암호 해제 UI를 디스플레이하도록 상기 디스플레이를 제어하고, 상기 전자 장치로부터 상기 제1 암호 해제 UI에서 선택된 오브젝트 정보를 상기 통신부를 통해 수신하고, 상기 수신된 오브젝트 정보와 매핑되는 상기 제2 암호 해제 UI에 포함된 오브젝트가 기저장된 암호 해제 정보와 일치하면 상기 통신부를 통해 암호 해제 명령을 상기 전자 장치로 전송하는 프로세서를 포함하며, 상기 제2 암호 해제 UI는 상기 제1 암호 해제 UI에 포함된 오브젝트들의 표시 위치가 재배열된 UI일 수 있다.
이 경우, 상기 프로세서는 상기 제2 암호 해제 UI에 포함된 오브젝트 중 상기 수신된 오브젝트와 동일한 위치에 디스플레이된 오브젝트가 상기 기저장된 암호 해제 오브젝트와 일치하면, 상기 암호 해제 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어할 수 있다.
또한, 상기 제1 암호 해제 UI는 복수의 셀을 포함하는 2차원 UI이고, 상기 복수의 셀 각각은 상이한 식별자를 포함하며, 상기 제2 암호 해제 UI는 상기 제1 암호 해제 UI와 동일한 형상의 2차원 UI이며, 상기 복수의 셀 각각에 포함된 식별자의 위치가 재배열된 형태일 수 있다.
여기서, 상기 프로세서는 상기 제1 암호 해제 UI에 포함된 상기 복수의 식별자 중 사용자에 의해 순차적으로 선택된 복수의 식별자에 대한 정보를 수신하도록 상기 통신부를 제어하고, 상기 제2 암호 해제 UI에 포함된 식별자 중 상기 수신된 식별자에 대응되는 정보가 기 저장된 암호 해제 정보와 일치하면, 상기 암호 해제 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어할 수 있다.
또한, 상기 프로세서는 상기 제1 암호 해제 UI에서 선택된 오브젝트 정보가 상기 통신부를 통해 수신되면, 상기 제2 암호 해제 UI에서 상기 수신된 오브젝트와 동일한 위치에 디스플레이된 오브젝트에 시각적 피드백을 제공하도록 상기 디스플레이를 제어할 수 있다.
한편, 상기 제1 암호 해제 UI는, 휠 조작 또는 드래그 조작을 가이드 하기 위한 가이드 오브젝트들을 포함하고, 상기 제2 암호 해제 UI는 상기 제1 암호 해제 UI에 포함된 가이드 오브젝트들의 표시 위치가 재배열된 UI이고, 상기 프로세서는 상기 전자 장치로부터 사용자의 휠 조작 또는 드래그 조작에 대응되는 정보가 상기 통신부를 통해 수신되면, 상기 제2 암호 해제 UI에 포함된 가이드 오브젝트 중 상기 수신된 정보에 대응되는 가이드 오브젝트에 시각적 피드백을 제공하도록 상기 디스플레이를 제어할 수 있다.
여기서, 상기 가이드 오브젝트는 상기 휠 조작 또는 상기 드래그 조작의 기설정된 입력 단위를 나타내는 복수의 식별자를 포함하며, 상기 수신된 정보는 상기 복수의 식별자 중 상기 휠 조작 또는 상기 드래그 조작의 시작 위치 및 종료 위치를 나타내는 정보를 포함하고, 상기 프로세서는 상기 시작 위치 및 상기 종료 위치에 각각 대응되는 제1 및 제2 식별자를 연결하는 시각적 피드백을 제공하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 제1 암호 해제 UI는, 터치 패턴 조작을 가이드 위한 가이드 오브젝트들을 포함하고, 상기 제2 암호 해제 UI는 상기 제1 암호 해제 UI에 포함된 가이드 오브젝트들의 표시 위치가 재배열되고 상기 가이드 오브젝트들 중 하나는 터치 패턴 조작의 시작 위치를 나타내는 UI이며, 상기 프로세서는 상기 전자 장치로부터 사용자의 터치 패턴 조작에 대응되는 정보가 상기 통신부를 통해 수신되면, 상기 제1 암호 해제 UI 및 상기 제2 암호 해제 UI에 포함된 가이드 오브젝트들의 매핑 정보에 기초하여 상기 수신된 정보가 기저장된 터치 패턴 정보와 일치하는지 여부를 식별하고,
상기 수신된 정보가 상기 기저장된 터치 패턴 정보와 일치하면 암호 해제 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어할 수 있다.
한편, 상기 제1 암호 해제 UI는, 기설정된 간격으로 이격되어 제공되는 복수의 식별자를 포함하는 UI이고, 상기 제2 암호 해제 UI는 상기 복수의 식별자의 위치가 재배열된 형태이며, 상기 통신부는 상기 제1 암호 해제 UI에 포함된 상기 복수의 식별자 중 사용자에 의해 순차적으로 선택된 복수의 식별자에 대한 정보를 수신하고, 상기 프로세서는 상기 제2 암호 해제 UI에 포함된 식별자 중 상기 수신된 식별자에 대응되는 정보가 기 저장된 암호 해제 정보와 일치하면, 상기 암호 해제 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어할 수 있다.
한편, 상기 제1 암호 해제 UI는 동일한 수의 오브젝트를 포함하는 복수의 레벨을 포함하며 상기 동일한 수의 오브젝트는 기설정된 각도만큼 떨어져 있으며, 상기 복수의 레벨을 구분할 수 있는 오브젝트를 포함하고, 상기 제2 암호 해제 UI는 상기 복수의 레벨을 구분할 수 있는 오브젝트의 위치가 재배열된 형태일 수 있다.
본 개시의 일 실시 예에 따른 HMD장치의 제어 방법은 외부 전자 장치에 대한 암호 해제 요청이 수신되면, 상기 전자 장치에 표시되는 제1 암호 해제 UI에 기초한 제2 암호 해제 UI를 디스플레이하는 단계, 상기 제1 암호 해제 UI에서 선택된 오브젝트 정보를 상기 전자 장치로부터 수신하는 단계 및 상기 수신된 오브젝트 정보와 매핑되는 상기 제2 암호 해제 UI에 포함된 오브젝트가 기저장된 암호 해제 정보와 일치하면 암호 해제 명령을 상기 전자 장치로 전송하는 단계를 포함하며, 상기 제2 암호 해제 UI는 상기 제1 암호 해제 UI에 포함된 오브젝트들의 표시 위치가 재배열된 UI이다.
이 경우, 상기 암호 해제 명령을 상기 전자 장치로 전송하는 단계는 상기 제2 암호 해제 UI에 포함된 오브젝트 중 상기 수신된 오브젝트와 동일한 위치에 디스플레이된 오브젝트가 상기 기저장된 암호 해제 오브젝트와 일치하면, 상기 암호 해제 명령을 상기 전자 장치로 전송할 수 있다.
한편, 상기 제1 암호 해제 UI는 복수의 셀을 포함하는 2차원 UI이고, 상기 복수의 셀 각각은 상이한 식별자를 포함하며, 상기 제2 암호 해제 UI는 상기 제1 암호 해제 UI와 동일한 형상의 2차원 UI이며, 상기 복수의 셀 각각에 포함된 식별자의 위치가 재배열된 형태일 수 있다. .
한편, 상기 암호 해제 명령을 상기 전자 장치로 전송하는 단계는 상기 제1 암호 해제 UI에 포함된 상기 복수의 식별자 중 사용자에 의해 순차적으로 선택된 복수의 식별자에 대한 정보를 수신하고, 상기 제2 암호 해제 UI에 포함된 식별자 중 상기 수신된 식별자에 대응되는 정보가 기 저장된 암호 해제 정보와 일치하면, 상기 암호 해제 명령을 상기 전자 장치로 전송할 수 있다.
한편, 상기 제1 암호 해제 UI에서 선택된 오브젝트 정보가 수신되면, 상기 제2 암호 해제 UI에서 상기 수신된 오브젝트와 동일한 위치에 디스플레이된 오브젝트에 시각적 피드백을 제공할 수 있다.
한편, 상기 제1 암호 해제 UI는, 휠 조작 또는 드래그 조작을 가이드 하기 위한 가이드 오브젝트들을 포함하고, 상기 제2 암호 해제 UI는 상기 제1 암호 해제 UI에 포함된 가이드 오브젝트들의 표시 위치가 재배열된 UI이고, 상기 전자 장치로부터 사용자의 휠 조작 또는 드래그 조작에 대응되는 정보가 수신되면, 상기 제2 암호 해제 UI에 포함된 가이드 오브젝트 중 상기 수신된 정보에 대응되는 가이드 오브젝트에 시각적 피드백을 제공하는 단계를 더 포함할 수 있다.
이 경우, 상기 가이드 오브젝트는 상기 휠 조작 또는 상기 드래그 조작의 기설정된 입력 단위를 나타내는 복수의 식별자를 포함하며, 상기 수신된 정보는 상기 복수의 식별자 중 상기 휠 조작 또는 상기 드래그 조작의 시작 위치 및 종료 위치를 나타내는 정보를 포함하고, 상기 가이드 오브젝트에 시각적 피드백을 제공하는 단계는 상기 시작 위치 및 상기 종료 위치에 각각 대응되는 제1 및 제2 식별자를 연결하는 시각적 피드백을 제공할 수 있다.
한편, 상기 제1 암호 해제 UI는, 터치 패턴 조작을 가이드 위한 가이드 오브젝트들을 포함하고, 상기 제2 암호 해제 UI는 상기 제1 암호 해제 UI에 포함된 가이드 오브젝트들의 표시 위치가 재배열되고 상기 가이드 오브젝트들 중 하나는 터치 패턴 조작의 시작 위치를 나타내는 UI이며, 상기 암호 해제 명령을 상기 전자 장치로 전송하는 단계는 상기 전자 장치로부터 사용자의 터치 패턴 조작에 대응되는 정보가 수신되면, 상기 제1 암호 해제 UI 및 상기 제2 암호 해제 UI에 포함된 가이드 오브젝트들의 매핑 정보에 기초하여 상기 수신된 정보가 기저장된 터치 패턴 정보와 일치하는지 여부를 식별하고, 상기 수신된 정보가 상기 기저장된 터치 패턴 정보와 일치하면 암호 해제 명령을 상기 전자 장치로 전송할 수 있다.
한편, 상기 제1 암호 해제 UI는, 기설정된 간격으로 이격되어 제공되는 복수의 식별자를 포함하는 UI이고, 상기 제2 암호 해제 UI는 상기 복수의 식별자의 위치가 재배열된 형태이며, 상기 암호 해제 명령을 상기 전자 장치로 전송하는 단계는 상기 제1 암호 해제 UI에 포함된 상기 복수의 식별자 중 사용자에 의해 순차적으로 선택된 복수의 식별자에 대한 정보를 수신하고, 상기 제2 암호 해제 UI에 포함된 식별자 중 상기 수신된 식별자에 대응되는 정보가 기 저장된 암호 해제 정보와 일치하면, 상기 암호 해제 명령을 상기 전자 장치로 전송할 수 있다.
한편, 상기 제1 암호 해제 UI는 동일한 수의 오브젝트를 포함하는 복수의 레벨을 포함하며 상기 동일한 수의 오브젝트는 기설정된 각도만큼 떨어져 있으며, 상기 복수의 레벨을 구분할 수 있는 오브젝트를 포함하고, 상기 제2 암호 해제 UI는 상기 복수의 레벨을 구분할 수 있는 오브젝트의 위치가 재배열된 형태일 수 있다.
도 1은 HMD장치와 외부 전자 장치와의 시스템을 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 HMD장치를 설명하기 위한 블록도,
도 3은 외부 전자 장치 및 HMD장치에 표시되는 암호 해제 UI를 비교하기 위한 도면,
도 4는 사용자가 오브젝트를 선택하는 동작을 설명하기 위한 도면,
도 5는 본 개시의 일 실시 예에 따른 암호 해제 동작을 설명하기 위한 도면,
도 6은 본 개시의 또 다른 실시 예에 따른 암호 해제 동작을 설명하기 위한 도면,
도 7은 가이드 오브젝트만이 디스플레이되는 동작을 설명하기 위한 도면,
도 8은 본 개시의 또 다른 실시 예에 따른 암호 해제 동작을 설명하기 위한 도면,
도 9는 본 개시의 도 8에서 설명한 실시 예에 따른 매핑 동작을 설명하기 위한 도면,
도 10은 본 개시의 일 실시 예에 따른 휠 조작 동작을 설명하기 위한 도면,
도 11은 휠 조작을 이용하여 암호를 해제하는 동작을 설명하기 위한 도면,
도 12는 본 개시의 또 다른 실시 예에 따른 암호 해제 동작을 설명하기 위한 도면,
도 13은 본 개시의 또 다른 실시 예에 따른 선택 동작을 설명하기 위한 도면,
도 14는 본 개시의 또 다른 실시 예에 따른 암호 해제 동작을 설명하기 위한 도면 및
도 15는 본 개시의 일 실시 예에 따른 HMD장치의 제어 방법의 흐름도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 개시의 일 실시 예에 따른 전자시스템을 설명하기 위한 도면이다.
도 1에 따르면 전자 시스템은 HMD장치(100) 및 전자 장치(200)를 포함한다.
HMD(Head Mounted Display)장치(100)는 머리에 쓰는 형태의 디스플레이 기기다. 다만, HMD장치에 한정되는 것은 아니며, 스마트 글래스 등과 같이 작은 디스플레이를 구비하여 사용자의 눈 앞에서 영상을 제공하는 다양한 장치로 구현 가능하다.
HMD장치 (100)는 전자 장치(200)와 통신을 수행한다. 특히, HMD장치(100)는 전자 장치(200)로부터 수신된 정보에 기초하여 디스플레이된 UI 화면과 관련된 UI 화면을 제공할 수 있다. 일 예에 따라 HMD장치(100)에 부착된 디스플레이는 투명 디스플레이로 구현될 수 있으나, 이에 한정되는 것은 아니다.
전자 장치(200)는 HMD장치(100)와 통신 가능한 다양한 유형의 전자 장치 일 수 있다. 본 개시의 일 실시 예에 따른 전자 장치(200)는 스마트 워치일 수 있다. 하지만, 이에 한정되는 것은 아니며, 스마트폰, 태블릿, TV 등 디스플레이를 구비하는 다양한 유형의 전자 장치로 구현될 수 있다.
전자 장치(200)는 다양한 암호 해제 UI를 제공할 수 있다. 여기서, 암호 해제 UI는 일 예에 따라 전자 장치(200)의 잠금 상태를 해제하기 위한 UI가 될 수 있으나, 이에 한정되는 것은 아니며, 어플리케이션에서 요구되는 비밀 번호, 공인 인증서의 비밀 번호 등 보안이 요구되는 다양한 암호를 입력 받기 위한 UI가 될 수 있다.
이러한 암호 해제 UI에서의 사용자의 암호 입력은 타 사용자에게 보안이 유지될 필요가 있다.
이에 따라 본 개시의 일 실시 예에 따르면, HMD장치(100)는 전자 장치(200) 상에 제공된 암호 해제 UI를 변경하여 제공하고 전자 장치(200)로부터 암호 해제 UI에 대한 선택 정보가 수신되면 수신된 선택 정보를 변경된 UI에 맵핑하여 암호 해제 동작을 수행함으로써, 전자 장치(200) 상에서 제공되는 암호 해제 UI에 대한 사용자 입력에 대한 보안을 제공할 수 있다. 이하에서는 도면을 참고하여 HMD장치(100)를 통해 암호 해제 동작에 대한 보안을 제공하는 다양한 실시 예에 대해 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 HMD장치를 설명하기 위한 블록도이다.
도 2를 참조하면, HMD장치(100)는 디스플레이(110), 통신부(120) 및 프로세서(130)로 구성될 수 있다.
디스플레이(110)는 UI 화면을 디스플레이한다. 여기에서, UI 화면은 이미지, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠 재생 화면, 다양한 컨텐츠를 포함하는 어플리케이션 실행 화면, 웹 브라우저 화면, GUI(Graphic User Interface) 화면 등을 포함할 수 있다.
디스플레이(110)는 LCD(liquid crystal display), OLED(organic light-emitting diode), LED(light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), QD(quantum dot) 디스플레이 패널 등과 같은 다양한 형태로 구현될 수 있다.
한편, 디스플레이(110)는 투명 디스플레이로 구성될 수 있다.
통신부(120)는 전자 장치(200)로부터 정보를 수신하거나 전자 장치(200)로 정보를 전송하는 일반적인 동작을 수행할 수 있다.
통신부(120)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부는 근거리 통신망(LAN: Local Area Network) 또는 인터넷망을 통해 외부 기기에 접속될 수 있고, 무선 통신(예를 들어, Z-wave, 4LoWPAN, RFID, LTE D2D, BLE, GPRS, Weightless, Edge Zigbee, ANT+, NFC, IrDA, DECT, WLAN, 블루투스, 와이파이, Wi-Fi Direct, GSM, UMTS, LTE, WiBRO 등의 무선 통신) 방식에 의해서 외부 기기에 접속될 수 있다. 통신부는 와이파이칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다.
무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. 또한 통신부는 외부장치로부터 제어신호(예를 들어 IR 펄스)를 수신할 수 있는 광 수신부를 포함할 수 있다. 통신부를 통해 전자 장치에서 입력된 사용자 명령을 수신할 수 있으며, 통신부를 통해 선정된 추천 서비스에 대한 정보를 외부의 사용자 단말로 전송할 수 있으며, 통신부를 통해 서버와 데이터 송수신을 할 수 있다.
통신부(120)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩을 포함한다. 프로세서는 통신부를 이용하여 각종 외부 기기와 통신을 수행한다.
프로세서(130)는 HMD장치(100)의 전반적인 동작을 제어한다.
일 실시 예에 따라 프로세서(130)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller), 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(130)는 외부 전자 장치(200)에 대한 암호 해제 요청이 수신할 수 있다. 여기서, 암호 해제 요청은 외부 전자 장치(200)로부터 수신될 수 있으나, 경우에 따라서는 HMD장치(100)를 통해 입력될 수도 있다.
일 실시 예에 따라 외부 전자 장치(200)는 잠금 상태를 해제하기 위한 UI(이하, 제1 암호 해제 UI)를 제공할 수 있다.
프로세서(130)는 외부 전자 장치(200)에 대한 암호 해제 요청이 수신되면, 제1 암호 해제 UI에 포함되는 오브젝트들의 표시 위치를 재배열한 제2 암호 해제 UI를 생성할 수 있다. 그리고 프로세서(130)는 제2 암호 해제 UI를 HMD장치(100)의 디스플레이(110)에 새로 생성된 제2 암호 해제 UI를 표시하도록 디스플레이(110)를 제어할 수 있다.
프로세서(130)는 HMD장치의 디스플레이(110)에 제2 암호 해제 UI를 표시할 수 있다. 구체적으로, 제2 암호 해제 UI는 제1 암호 해제 UI에 포함되어 있는 오브젝트들의 표시 위치가 재배열된 UI일 수 있다. 제2 암호 해제 UI는 다양할 수 있으며 자세한 내용은 도면과 함께 후술한다.
한편, 프로세서(130)는 디스플레이(110)에 제2 암호 해제 UI를 다양한 위치에 표시하도록 제어할 수 있다. 예를 들어, 프로세서(130)는 HMD장치(100)와 통신 가능한 전자 장치(200)를 탐색하여, 전자 장치(200)의 디스플레이가 표시되는 위치를 식별할 수 있다. 그리고 프로세서(130)는 전자 장치(200)의 디스플레이가 식별된 위치에 제2 암호 해제 UI를 표시할 수 있다. 이 경우, 사용자는 전자 장치(200)의 디스플레이 위에 표시된 제2 암호 해제 UI만을 볼 수 있다. 그리고 타인은 전자 장치(200)의 디스플레이에 표시되는 화면만을 볼 뿐이고 제2 암호 해제 UI를 전혀 볼 수 없다. 여기서 말하는 타인은 HMD장치(100)를 착용하지 않은 제 3자를 의미할 수 있다.
또한, 프로세서(130)는 전자 장치(200)의 위치와 관계 없이 제2 암호 해제 UI를 표시할 수 있다. 예를 들어, 디스플레이(110)는 전자 장치(200)와 제2 암호 해제 UI가 겹치지 않도록 표시할 수 있다. 이 경우, 사용자는 전자 장치(200)의 디스플레이에 표시되는 내용과 제2 암호 해제 UI를 모두 볼 수 있다.
프로세서(130)는 다양한 제2 암호 해제 UI를 생성할 수 있다.
또한, 프로세서(130)는 전자 장치에 표시되는 제1 암호 해제 UI에 기초한 제2 암호 해제 UI를 디스플레이하도록 디스플레이(110)를 제어할 수 있다. 제2 암호 해제 UI는 제1 암호 해제 UI에 포함된 오브젝트들의 표시 위치가 재배열된 UI일 수 있다.
프로세서(130)는 기본적으로 전자 장치(200)에 표시되는 제1 암호 해제 UI(205)를 기초로 새로운 UI인 제2 암호 해제 UI(105)를 생성할 수 있다. 그리고 프로세서(130)는 전자 장치(200)의 제1 암호 해제 UI가 표시되는 위치에 제2 암호 해제 UI를 표시하도록 디스플레이(110)를 제어할 수 있다.
또한, 도3에서 도시한 것과 다르게, 프로세서(130)는 앞서 설명한 바와 같이, 제2 암호 해제 UI를 전자 장치(200)의 디스플레이가 아닌 별개의 위치에 표시할 수 있다.
한편, 본 개시의 설명에 있어 프로세서(130) 제2 암호 해제 UI를 생성하고 바로 디스플레이(110)에 표시하는 것으로 설명하였지만, HMD장치(100)는 메모리(미도시)를 더 포함할 수 있고, 암호 해제 UI와 관련된 정보가 메모리(미도시)에 저장될 수 있다. 그리고 프로세서(130)는 메모리(미도시)에 저장된 정보를 이용하여 새로운 제2 암호 해제 UI를 생성할 수 있다.
또한, 상술한 설명에서는 프로세서(130)가 암호 해제 요청이 있을 때마다 새로운 제2 암호 해제 UI를 생성하는 것으로 도시하였지만, 실제 구현시에는 메모리(미도시)에 다양한 제2 암호 해제 UI를 저장할 수도 있다.
한편, 프로세서(130)는 전자 장치(200)로부터 사용자가 설정한 암호에 관련된 정보를 수신하거나 사용자가 전자 장치(200)를 조작하여 입력되는 신호를 수신하도록 통신부를 제어할 수 있다. 예를 들어, 프로세서(130)는 사용자가 오브젝트를 선택하거나, 터치 센서를 터치하는 동작에 관련된 신호를 통신부를 통하여 수신할 수 있다.
또한, 이러한 특정 조작 동작은 전자 장치(200)의 물리적인 구성을 이용하여 이루어 질 수 있다. 예를 들어, 스마트 워치에서는 버튼 또는 휠의 움직임이 포함될 수 있다.
또한, 사용자가 전자 장치(200)의 물리적인 구성 요소를 조작하여 특정 오브젝트를 선택하면, 프로세서(130)는 선택된 오브젝트에 대한 정보를 HMD장치(100)에 전송할 수 있으며 통신부(120)를 통하여 이에 대한 정보를 수신할 수 있다.
한편, 프로세서(130)는 전자 장치(200)를 제어 하기 위한 신호를 통신부(120)를 통하여 전자 장치(200)에 전송할 수 있다. 예를 들어, 전자 장치(200)의 암호 해제 동작과 관련하여, HMD장치(100)에서 암호 해제 명령을 전자 장치(200)에 전송할 수 있다.
한편, 프로세서(130)는 새롭게 생성된 제2 암호 해제 UI와 전자 장치(200)에 표시되는 제1 암호 해제 UI를 비교하여 매핑할 수 있다. 이와 관련하여 도3을 참고하여 설명한다.
구체적으로, 각각의 UI에는 적어도 하나의 오브젝트를 포함하고 있으며, 각각에 대응되는 오브젝트를 상호 매칭시킬 수 있다. 예를 들어, 1부터 9까지 이루어진 숫자들이 9개의 오브젝트이며, 9개의 숫자로 이루어진 숫자 자판 모양이 UI(205)일 수 있다. 이 경우, 기본적으로 전자 장치(200)에 표시되는 9개의 숫자(오브젝트)로 이루어진 UI(205)는 제1 암호 해제 UI에 해당할 수 있고, 프로세서(130)는9개의 숫자의 배열을 임의로 변경하여 새로운 숫자 자판 모양의 UI(105)를 생성할 수 있으며 이는 제2 암호 해제 UI에 해당할 수 있다.
프로세서(130)는 제1 암호 해제 UI에 포함된 숫자와 제2 암호 해제 UI에 포함된 숫자를 위치에 대응하여 매핑 시킬 수 있다.
도3을 참고하면, 제1 암호 해제 UI에서 1로 표시되었으나 제2 암호 해제 UI에서는 4로 표시될 수 있다. 이 경우, 프로세서(130)는 제1 암호 해제 UI의 4와 제2 암호 해제 UI의 1을 매핑시킬 수 있다. 그리고 사용자가 전자 장치(200)의 1오브젝트를 선택하면 프로세서(130)는 매핑 정보를 이용하여, 4오브젝트가 선택된 것으로 인식할 수 있다.
이 경우, 제1 암호 해제 UI 위에 제2 암호 해제 UI를 표시하였다면, 사용자는 제1 암호 해제 UI를 볼 수 없으면 오직 제2 암호 해제 UI만 볼 수 있다. 따라서 사용자는 4오브젝트를 선택한다고 생각하지만, 실제로 타인은 1오브젝트를 선택하는 것으로 생각할 수 있다. 따라서, 본 장치를 사용하면 사용자가 선택하는 암호가 타인에게 노출되지 않을 수 있다.
한편, 도 3에서는 제1 암호 해제 UI가 전자 장치(200)에 표시되는 것으로 도시하였지만, 실제 구현시에는 제1 암호 해제 UI가 아예 표시되지 않을 수 있다.
한편, 프로세서(130)는 전자 장치(200)로부터 제1 암호 해제 UI에서 선택된 오브젝트 정보를 통신부(120)를 통해 수신하고, 수신된 오브젝트 정보와 매핑되는 제2 암호 해제 UI에 포함된 오브젝트가 기저장된 암호 해제 정보와 일치하면 통신부(120)를 통해 암호 해제 명령을 전자 장치로 전송할 수 있다.
이 경우, 프로세서(130)는 제2 암호 해제 UI에 포함된 오브젝트 중 수신된 오브젝트와 동일한 위치에 디스플레이된 오브젝트가 기저장된 암호 해제 오브젝트와 일치하면, 암호가 해제되었다고 판단할 수 있다.
도 3을 참고하면, 제2 암호 해제 UI에 포함된 오브젝트는 HMD장치(100)에 표시된 UI이며, 수신된 오브젝트는 전자 장치(200)에서 선택되는 오브젝트를 의미할 수 있다. 앞서 설명한 바와 같이, 사용자는 제2 암호 해제 UI만을 보면서 전자 장치(200)를 조작할 수 있다.
구체적으로, 사용자는 전자 장치(200)의 제1 암호 해제 UI의 1번 오브젝트를 선택하면 프로세서(130)는 사용자에 의해 선택된 1오브젝트에 대한 정보를 수신하고, 1번 버튼과 동일한 위치에 디스플레이된 오브젝트(제2 암호 해제 UI의 4번 오브젝트)가 선택된 것으로 인식할 수 있다. 그리고 프로세서(130)는 기저장된 암호 해제 오브젝트와 인식된 4번 오브젝트에 대한 정보를 비교하여 기설정된 암호 해제 오브젝트와 일치하는지 여부를 판단할 수 있다.
한편, 제1 암호 해제 UI는, 기설정된 간격으로 이격 되어 제공되는 복수의 식별자를 포함하는 UI이고, 제2 암호 해제 UI는 복수의 식별자의 위치가 재배열된 형태일 수 있다.
프로세서(130)는 제1 암호 해제 UI에 포함된 복수의 식별자 중 사용자에 의해 순차적으로 선택된 복수의 식별자에 대한 정보를 통신부(120)를 통하여 수신할 수 있다.
프로세서(130)는 제2 암호 해제 UI에 포함된 식별자 중 수신된 식별자에 대응되는 정보가 기 저장된 암호 해제 정보와 일치하면, 암호 해제 명령을 전자 장치로 전송하도록 통신부(120)를 제어할 수 있다.
한편, 프로세서(130)가 암호 해제 여부를 판단함에 있어, 복수의 식별자를 비교할 수 있다. 이 경우, 복수의 식별자는 복수의 오브젝트일 수 있다.
프로세서(130)가 생성하는 제1 암호 해제 UI는 복수의 셀을 포함하는 2차원 UI이고, 복수의 셀 각각은 상이한 식별자를 포함하며, 제2 암호 해제 UI는 제1 암호 해제 UI와 동일한 형상의 2차원 UI이며, 복수의 셀 각각에 포함된 식별자의 위치가 재배열된 형태일 수 있다.
여기서, 통신부(120)는 제1 암호 해제 UI에 포함된 복수의 식별자 중 사용자에 의해 순차적으로 선택된 복수의 식별자에 대한 정보를 수신하고, 프로세서(130)는 제2 암호 해제 UI에 포함된 식별자 중 수신된 식별자에 대응되는 정보가 기 저장된 암호 해제 정보와 일치하면, 암호 해제 명령을 전자 장치로 전송하도록 통신부(120)를 제어할 수 있다. 그리고 도3의 일 실시 예에 적용하면 복수의 식별자는 복수의 숫자 오브젝트에 해당할 수 있다.
한편, 프로세서(130)는 제2 암호 해제 UI에 시각적 피드백을 제공할 수 있다. 구체적으로, 프로세서(130)는 제1 암호 해제 UI에서 선택된 오브젝트 정보가 통신부(120)를 통해 수신되면, 제2 암호 해제 UI에서 수신된 오브젝트와 동일한 위치에 디스플레이된 오브젝트에 시각적 피드백을 제공하도록 디스플레이(110)를 제어할 수 있다. 본 개시의 일 실시 예에 따른 시각적 피드백은 도4를 참고하여 설명한다.
도 4는 사용자가 오브젝트를 선택하는 동작을 설명하기 위한 도면이다.
도 4를 참고하면, 전자 장치(200)에 제1 암호 해제 UI(205)가 표시될 수 있다. 하지만, HMD장치(100)의 프로세서(130)는 디스플레이(110)에 제2 암호 해제 UI를 표시할 수 있다. 앞서 설명한 바와 같이 프로세서(130)는 제2 암호 해제 UI를 다양한 위치에 표시할 수 있지만, 도 4를 설명함에 있어 제2 암호 해제 UI는 제1 암호 해제 UI를 가리는 위치에 표시되는 것으로 가정한다.
즉, 프로세서(130)는 제2 암호 해제 UI를 전자 장치(200)의 제1 암호 해제 UI를 가리도록 디스플레이(110)에 표시할 수 있고, 사용자는 제2 암호 해제 UI만을 볼 수 있다. 이 경우, 제2 암호 해제 UI는 디스플레이(110)상에 표시되고 제1 암호 해제 UI를 볼 수 없을 수 있다. 따라서, 같은 원리에 입각하여 사용자는 자신이 전자 장치(200)를 터치하려고 해도 터치하는 손가락이 일부분이 제2 암호 해제 UI로 인하여 가려질 수 있다. 그리고 사용자의 손가락이 일부분 가려지면, 사용자가 정확히 어느 부분을 터치하였는지 식별하기 어려울 수 있다.
따라서 본 개시의 일 실시 예에 따른 HMD장치(100)는 디스플레이(110)에 시각적 피드백을 표시할 수 있다. 시각적 피드백이란 사용자가 어느 부분을 터치하였는지 표시하는 UI를 의미할 수 있다. 도 4를 참고하면 HMD장치(100)에 제2 암호 해제 UI가 표시되어 있고 1번 오브젝트가 다른 배경색(115)으로 표시될 수 있다.
사용자가 전자 장치(200)의 디스플레이에서 4번 오브젝트를 터치한 경우, 프로세서(130)는 이에 대한 정보를 수신하여 대응되는 오브젝트에 시각적 피드백을 제공할 수 있으며, 이 경우, 시각적 피드백은 선택한 부분에 대응되는 오브젝트의 배경 색(115)을 변경하는 것일 수 있다. 도 4를 참고하면, 사용자가 선택한 전자 장치(200)의 4번 오브젝트에 대응되는 제2 암호 해제 UI의 1번 오브젝트의 배경색(115)이 변경하였다. 이 경우, 시각적 피드백은 배경색(115)일 수 있다.
또한, 가이드 오브젝트는 사용자가 선택할 수 있는 대상 오브젝트를 나타낼 수 있다. 도 4를 참고하면 현재 선택할 수 있는 가이드 오브젝트는 오브젝트를 둘러싸는 굵은 선(116)으로 나타낼 수 있다. 이 경우, 프로세서(130)는 선택하는 동작과 선택이 가능한 오브젝트를 표시하는 동작을 구분할 수 있다. 예를 들어, 현재 가이드 오브젝트가 오브젝트를 둘러싸는 굵은 선(116)으로 표시되는 경우, 사용자가 휠을 돌리면 굵은 선(116)으로 표시되는 가이드 오브젝트가 1번 오브젝트가 아닌 다른 오브젝트로 이동할 수 있다. 만약 사용자가 굵은 선(116)이 1번 오브젝트에 표시되어 있는 동안 오른쪽으로 휠을 한번 돌리면, 굵은 선(116)은 2번 오브젝트에 표시될 수 있다.
사용자는 이러한 굵은 선(116)의 가이드 오브젝트에 의하여 현재 선택 가능한 오브젝트가 무엇인지 파악할 수 있다. 하지만, 타인은 이러한 사용자의 동작을 전혀 볼 수 없으므로 사용자의 암호 해제 동작은 전혀 노출되지 않을 수 있다.
한편, 도4를 설명함에 있어 시각적 피드백은 사용자가 전자 장치(200)의 특정 부분을 터치한 경우로 설명하였지만, 터치가 아닌 특정 버튼을 선택하거나, 특정 동작을 수행하는 경우에도 시각적 피드백이 적용될 수 있다.
사용자는 시각적 피드백을 받으면서 사용자가 특정 오브젝트를 선택하는 경우에 이를 확인할 수 있다. 따라서, 상술한 일부 손가락이 제2 암호 해제 UI에 의해 보이지 않아 정확한 오브젝트를 선택하였는지 식별하기 어려웠던 문제를 시각적 피드백 및 가이드 오브젝트를 통해서 해결할 수 있다.
한편, 이상과 같은 본 개시의 일 실시 예에 따른 HMD장치(100)는 사용자만이 볼 수 있는 제2 암호 해제 UI를 표시할 수 있다. 암호 해제 동작 과정에서 제2 암호 해제 UI는 매번 다르게 표시될 수 있고, 사용자의 암호 해제 동작은 타인에게 노출되지 않을 수 있다.
도 5는 본 개시의 일 실시 예에 따른 암호 해제 동작을 설명하기 위한 도면이다.
도 5를 참고하면, 전자 장치(200)에는 제1 암호 해제 UI인 숫자 배열 UI(205)가 표시될 수 있다. HMD장치(100)는 이에 대응되는 제2 암호 해제 UI(105)를 표시할 수 있다. 구체적으로 제1 암호 해제 UI(205)와 제2 암호 해제 UI(105)는 첫번째 줄과 두번째 줄이 서로 변경된 것일 수 있다. 따라서 HMD장치(100)는 도 5(a)에서 나타낸 표와 같이 위치에 대응되는 오브젝트를 매핑 시킬 수 있다.
사용자는 HMD장치(100)를 착용하고 있기 때문에 제1 암호 해제 UI가 아닌 제2 암호 해제 UI만이 보일 수 있다.
도5(b)를 참고하면, 사용자는 전자 장치(200)에서 물리적으로 7번 오브젝트, 4번 오브젝트, 1번 오브젝트를 선택할 수 있다. 하지만 실제로 사용자는 제2 암호 해제 UI를 보면서 7번 오브젝트, 1번 오브젝트, 4번 오브젝트를 순서대로 선택한 것일 수 있다.
도 5(c)는 이러한 사용자의 동작을 각각의 장치에서 인식하는 내용을 설명하기 위한 표이다. 구체적으로 숫자 값만을 얘기하면, 외부 전자 장치는 7,4,1 순서대로 선택 받는다. 전자 장치(200)는 HMD장치(100)에 이에 대한 정보를 전송할 수 있다. 그리고 HMD장치(100)는 7,4,1과 대응되는 숫자를 파악한다. 도 5(a)와 같이 매핑 된 정보를 이용하면 사용자는 7,1,4 순서대로 입력한 것에 해당할 수 있다. 따라서, HMD장치(100)는 7,1,4와 기저장된 암호를 비교하여 일치 여부를 확인할 수 있다.
도 6은 본 개시의 또 다른 실시 예에 따른 암호 해제 동작을 설명하기 위한 도면이다.
도 6을 참고하면, 제1 암호 해제 UI는, 터치 패턴 조작을 가이드 위한 가이드 오브젝트들(610,615,620,625)을 포함하고, 제2 암호 해제 UI는 제1 암호 해제 UI에 포함된 가이드 오브젝트들(610,615,620,625)의 표시 위치가 재배열될 수 있다. 그리고 전자 장치(200)에 표시되는 원형으로 이루어진 숫자 원형 UI(605)는 전자 장치(200)의 디스플레이에서 표시될 수 있다. 한편, 본 개시의 전자 장치(200)는 실제 구현시에는, 전자 장치(200)의 디스플레이에서 표시되는 것이 아니라, 이미 다른 물리적인 구성요소에 인쇄되어 있는 것일 수 있다.
제2 암호 해제 UI에 포함된 재배열된 가이드 오브젝트들(650,655,660,665)들은 제1 암호 해제 UI에 포함된 가이드 오브젝트들(610,615,620,625)과 위치, 크기, 간격 중 적어도 하나가 다를 수 있다.
이 경우, 가이드 오브젝트들 중 하나는 선택의 시작 위치를 나타내는 UI(670)일 수 있다. 이 경우, 조작의 시작 위치를 나타내기 위하여 특정 색을 입히거나, 특정 표시를 할 수 있다.
HMD장치(100)는 전자 장치(200)로부터 사용자의 터치 패턴 조작에 대응되는 정보가 통신부(120)를 통해 수신되면, 제1 암호 해제 UI 및 제2 암호 해제 UI에 포함된 가이드 오브젝트들의 매핑 정보에 기초하여 수신된 정보가 기저장된 터치 패턴 정보와 일치하는지 여부를 식별할 수 있다.
도 6(a)를 참고하면, 사용자는 기존에 제1 암호 해제 UI에 포함된 오브젝트들(610,615,620,625) 중 610,620,615,625를 순서대로 선택하는 동작을 통하여 비밀번호를 설정할 수 있다. 그리고 HMD장치(100)는 시작 위치에 따라 알파벳 N의 모양을 갖는 오브젝트가 연속하여 선택된 경우 암호가 일치한 것으로 볼 수 있다.
도 6에는 도시하지 않았지만, 시작점을 알리는 가이드 오브젝트(670)가 다른 위치에 표시되는 경우에도 알파벳 N의 모양을 갖는 오브젝트가 연속하여 선택된 경우 암호가 일치한 것으로 볼 수 있다.
도 6(c)를 참고하면, HMD장치(100)는 새로운 가이드 오브젝트들(650,655,660,665)을 생성한 제2 암호 해제 UI를 생성할 수 있다. 이 경우, 새로운 가이드 오브젝트들(650,655,660,665)은 제1 암호 해제 UI의 가이드 오브젝트들(610,615,620,625)와 위치가 달라질 수 있고, 간격이 좁아질 수 있다. 그리고 시작점의 위치를 알 수 있는 가이드 오브젝트(670)가 표시될 수 있다. 시작점을 알려주는 가이드 오브젝트(670)가 별도로 표시될 수 있고 특정 색이 있는 오브젝트로 표시될 수 있다.
이 경우, 사용자는 시작 위치를 알려주는 가이드 오브젝트(670)를 판단하고, 665,655,660,650 순서대로 선택할 수 있다. HMD장치(100)는 선택된 오브젝트에 대응되는 오브젝트에 대한 정보를 분석할 수 있고, 이에 기저장된 암호 오브젝트 정보와 비교할 수 있다.
그리고, HMD장치(100)는 수신된 정보가 기저장된 터치 패턴 정보와 일치하면 암호 해제 명령을 전자 장치로 전송하도록 통신부(120)를 제어할 수 있다.
또한, HMD장치(100)의 제2 암호 해제 UI는 도 6(c)와 같이 표시되겠지만, 타인의 시각에서는 도6(b)의 모습만 보일 수 있다.
한편, 상술한 설명에는 사용자의 조작이 터치에 해당하는 것으로 기술하였지만, 실제 구현시에는 휠을 이용하는 방식으로 구현될 수 있다.
도 7은 가이드 오브젝트만이 디스플레이되는 동작을 설명하기 위한 도면이다.
도 7(a)는 타인의 시각에서 보이는 암호 해제 동작을 나타낸 것이고, 도 7(b)는 사용자가 HMD장치(100)를 착용한 후 디스플레이에 표시되는 제2 암호 해제 UI를 나타낸 것이다.
전자 장치(200)에 표시되는 원형으로 이루어진 숫자 원형 UI(605)는 전자 장치(200)의 디스플레이에서 표시될 수 있다. 한편, 본 개시의 전자 장치(200)는 실제 구현시에는, 전자 장치(200)의 디스플레이에서 표시되는 것이 아니라, 이미 다른 물리적인 구성요소에 인쇄되어 있는 것일 수 있다.
도 7(b)를 참고하면, 사용자의 선택을 보조하는 가이드 오브젝트(705)가 표시될 수 있다. 사용자는 제2 암호 해제 UI에만 화살표 모양의 가이드 오브젝트(705)를 표시할 수 있다. 그리고 HMD장치(100)는 사용자가 전자 장치(200)의 휠을 이용하여 조작하는 경우, 가이드 오브젝트(705)가 사용자의 조작에 대응하여 이동하도록 디스플레이를 제어할 수 있다. 예를 들어, 사용자가 전자 장치(200)의 휠을 시계방향으로 돌리는 경우, HMD장치(100)는 가이드 오브젝트(705)가 시계방향으로 움직이도록 표시할 수 있다. 그리고 사용자가 전자 장치(200)의 휠을 반시계방향으로 돌리는 경우, HMD장치(100)는 가이드 오브젝트(705)가 반시계방향으로 움직이도록 표시할 수 있다.
사용자는 숫자 원형 UI(605)와 가이드 오브젝트(705)를 참고하여 55,45,35 오브젝트를 연속하여 선택할 수 있다. 이 경우, 사용자는 전자 장치(200)의 휠을 이용할 수 있다. 가이드 오브젝트(705)는 사용자만 볼 수 있고 타인은 볼 수 없다. 따라서 타인은 사용자가 어디 부분을 선택하는 것인지 알 수 없으므로, 사용자가 암호 해제 동작을 수행하여도 타인에게 비밀번호를 노출하지 않을 수 있다.
도 8은 본 개시의 또 다른 실시 예에 따른 암호 해제 동작을 설명하기 위한 도면이다.
도 8을 참고하면, HMD장치(100)는 제2 암호 해제 UI에 새로운 숫자 원형 UI(805)를 표시할 수 있다. 이 경우, 새로운 숫자 원형 UI(805)는 제1 암호 해제 UI에 표시되는 숫자 원형 UI(605)에 비하여 숫자 배열이 변경될 수 있다. 또한 숫자 원형 UI는 배경색이나 글씨 크기 등이 변경될 수 있다. 또한, 현재 선택 가능한 오브젝트가 어디인지 여부를 알려주는 가이드 오브젝트가UI(705) 표시될 수 있다.
도 8(b)를 참고하면, 사용자는 가이드 오브젝트 및 제2 암호 해제 UI에 표시되는 새로운 숫자 원형 UI(805)를 이용하여 55,45,35 를 연속하여 선택할 수 있다.
하지만, 도 8(a)를 참고하면 타인의 시각에는 어느 숫자를 선택하는지 보이지 않으며, 타인에게 (55,45,35)에 해당하는 정보가 노출되지 않을 수 있다.
한편, 도 8을 설명함에 있어 가이드 오브젝트(705)가 전자 장치(200)의 디스플레이에 표시되지 않는 것으로 기재하였지만, 실제 구현시에는 전자 장치(200)의 디스플레이에 가이드 오브젝트(705)가 표시될 수 있다. 제1 암호 해제 UI에 표시되는 숫자 원형 UI(605)와 HMD장치(100)에 표시되는 새로운 숫자 원형 UI(805)가 차이가 있어, 전자 장치(200)의 디스플레이에 가이드 오브젝트(705)가 표시되더라도 타인은 사용자의 정확한 비밀번호를 알 수 없다. 예를 들어, 도8에서 도시되지 않았지만 가이드 오브젝트(705)가 표시되었다고 가정하면, 사용자는 결과적으로 전자 장치(200)의 비밀번호인55,45,35를 선택하였지만 타인은 비밀번호를00,15,30으로 생각할 것이다. 따라서 타인은 사용자의 비밀번호를 알 수 없다.
도 9는 본 개시의 도 8에서 설명한 실시 예에 따른 매핑 동작을 설명하기 위한 도면이다.
HMD장치(100)는 제1 암호 해제 UI에 포함되어 있는 숫자 원형 UI(605) 와 제2 암호 해제 UI에 포함되어 있는 숫자 원형 UI(805)를 비교할 수 있고, 각각의 위치에 대응되는 오브젝트를 매핑 시킬 수 있다.
사용자가 도 8에서와 같이 제2 암호 해제 UI를 보면서 55,45,35를 선택하였다면 이는 전자 장치(200) 입장에서 00,15,30을 선택한 것일 수 있다. 이에 전자 장치(200)는 선택된 00,15,30에 대한 정보를 HMD장치(100)에 전송할 수 있다. 그리고 HMD장치(100)는 수신된 00,15,30에 대한 정보를 매핑하여 55,45,35가 선택된 것으로 판단할 수 있다. 그리고 HMD장치(100)는 기저장된 암호와 55,45,35를 비교할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 휠 조작 동작을 설명하기 위한 도면이다.
도 10(a)을 참고하면, 복수개의 레벨 또는 수준으로 이루어진 UI를 표시할 수 있다. 각각의 레벨은 숫자로 표시되거나 순서를 예상할 수 있는 문자로 표시될 수 있다. 또한, 각각의 레벨은 복수개의 오브젝트를 포함할 수 있으며, 각각의 레벨에 포함되어 있는 복수개의 오브젝트는 동일한 수일 수 있고 동일한 각도로 배치될 수 있다.
도 10(b)를 참고하면, 사용자가 전자 장치(200)의 휠을 시계 방향으로 3번 조작하였다면, 이에 대응되는 시각적 피드백을 표시할 수 있다. 이 경우, 대응되는 시각적 피드백은 도 10(b)과 같이 동일한 레벨에 포함되어 있는 복수개의 오브젝트들을 연결하는 형태일 수 있다.
구체적으로, 제1 암호 해제 UI는, 휠 조작 또는 드래그 조작을 가이드 하기 위한 가이드 오브젝트들을 포함하고, 제2 암호 해제 UI는 제1 암호 해제 UI에 포함된 가이드 오브젝트들의 표시 위치가 재배열된 UI이고, HMD장치(100)는 전자 장치(200)로부터 사용자의 휠 조작 또는 드래그 조작에 대응되는 정보가 통신부(120)를 통해 수신되면, 제2 암호 해제 UI에 포함된 가이드 오브젝트 중 수신된 정보에 대응되는 가이드 오브젝트에 시각적 피드백을 제공하도록 상기 디스플레이를 제어할 수 있다.
여기서, 가이드 오브젝트는 휠 조작 또는 드래그 조작의 기설정된 입력 단위를 나타내는 복수의 식별자를 포함하며, 수신된 정보는 복수의 식별자 중 휠 조작 또는 드래그 조작의 시작 위치 및 종료 위치를 나타내는 정보를 포함하고, 프로세서(130)는 시작 위치 및 종료 위치에 각각 대응되는 제1 및 제2 식별자를 연결하는 시각적 피드백을 제공하도록 디스플레이(110)를 제어할 수 있다.
이 경우, 사용자가 전자 장치(200)의 휠을 조작하여도 사용자의 눈에만 도 10(b)와 같은 UI가 표시되므로 타인은 정확한 입력을 파악할 수 없다.
그리고, 사용자가 특정 동작을 수행하면 다음 레벨로 넘어갈 수 있다. 그리고 사용자는 다음 레벨에 해당하는 조작을 입력할 수 있으며, 이를 반복하여 1레벨부터 4레벨까지의 조작을 입력할 수 있다. 한편, 도 10에서는 레벨을 총 4가지로 한정하여 설명하였지만, 이는 예시적인 숫자에 불과하면 4개보다 작을 수도 혹은 더 클 수도 있다.
도 11은 휠 조작을 이용하여 암호를 해제하는 동작을 설명하기 위한 도면이다.
한편, 제1 암호 해제 UI는 동일한 수의 오브젝트를 포함하는 복수의 레벨을 포함하며 동일한 수의 오브젝트는 기설정된 각도만큼 떨어져 있으며, 복수의 레벨을 구분할 수 있는 오브젝트를 포함하고, 제2 암호 해제 UI는 복수의 레벨을 구분할 수 있는 오브젝트의 위치가 재배열된 형태일 수 있다.
구체적으로, 도 11(a)는 전자 장치(200)의 제1 암호 해제 UI의 다양한 실시 예 중에서 하나를 설명하기 위한 도면이다. 4개의 레벨과 사용자의 암호 설정 동작에 대응되는 시각적 피드백을 함께 표시할 수 있다. 예를 들어, 사용자는 레벨1에서 시계방향(우측)으로 3번 휠을 조작하고, 레벨2에서 반시계방향(좌측)으로 3번 휠을 조작하고, 레벨3에서 시계방향(우측)으로 5번 휠을 조작하고, 레벨4에서 반시계방향(좌측)으로 6번 휠을 조작할 수 있다. 그리고 각각의 조작에 대응되는 시각적 피드백이 표시될 수 있다.
한편, 상술한 레벨은 도 11(a)에서 지름이 가장 큰 원으로 연결된 복수의 오브젝트들의 집합이며, 1레벨은 가장 큰 원을 의미할 수 있고, 4레벨은 지름이 가장 작은 원을 의미할 수 있다. 그리고 도 11 (a)에서 표시된 숫자는 해당 레벨에 대응되는 조작을 입력하는 순서를 의미하는 가이드 오브젝트일 수 있다. 예를 들어, 도 11 (a)는 가장 큰 원에 해당하는 1레벨부터 작은 원에 해당하는 4레벨까지 순서대로 입력하라는 UI를 의미할 수 있다.
한편, 도 11(b)는 HMD장치(100)의 디스플레이에 표시되는 제2 암호 해제 UI를 설명하기 위한 도면이다. 제1 암호 해제 UI와 다르게 레벨의 순서가 다르게 표시될 수 있다. 예를 들어, 도 11 (b)에서는 가장 큰 원인 1레벨, 가장 작은 원인 4레벨, 3레벨, 2레벨 순서대로 입력하라는 가이드 오브젝트일 수 있다. 그리고 이 경우 가이드 오브젝트인 숫자 오브젝트는 HMD장치(100)의 디스플레이에만 표시되기 때문에 타인은 입력 순서를 알지 못할 수 있다.
도11 (b)에 도시되어 있는 표는 사용자가 가이드 오브젝트에 대응하여 입력한 순서를 의미할 수 있다. 숫자 1이 표시되어 있는 곳을 레벨 1에 해당하므로, 사용자는 우측으로 3번 휠을 조작할 수 있다. 그리고 숫자2가 표시되어 있는 레벨4에 대응하여 좌측으로 6번 휠을 조작할 수 있다. 그리고 동일한 방법으로, 레벨 3에 대응하여 우측으로 5번 휠을 조작하고, 레벨2에 대응하여 좌측으로 3번 휠을 조작할 수 있다. 이 경우, 레벨에 대한 순서가 달라져 사용자가 휠을 조작하는 순서가 변경되었지만, 전자 장치(200)의 암호 해제 동작을 동일하게 수행할 수 있게 된다.
따라서, 타인은 사용자의 암호 해제 동작을 보더라도 정확한 암호를 알 수 없다.
도 12는 본 개시의 또 다른 실시 예에 따른 암호 해제 동작을 설명하기 위한 도면이다.
도 12 (a)를 참고하면, 총 4개의 숫자 UI가 표시될 수 있다. 그리고 각각의 숫자 UI는 현재 선택 가능한 숫자 오브젝트가 무엇인지 알려주기 위하여 시각적 피드백을 표시할 수 있다. 예를 들어, 도 12 (a)에서는 1레벨의 8에 강조 표시가 되어 있을 수 있다. 그리고 사용자가 전자 장치(200)의 휠을 시계방향으로 돌리면 1레벨의 숫자 UI도 시계방향으로 변경될 수 있다.
구체적으로, 도12 (a)에서 사용자가 1레벨에서 시계방향으로 휠을 1번 돌리면, 가운데 시각적 피드백이 표시되어 있는 곳에 9번 오브젝트가 표시될 수 있다. 사용자는 각각의 레벨에 대한 조작을 입력하기 위하여 특정 동작을 수행할 수 있으며, 특정 동작은 특정 버튼을 선택하는 동작일 수 있다.
한편, 도12 (b)는 미로 UI이다. 사용자는 특정한 시작점에서부터 좌측, 우측, 전진, 후진 등을 이용하여 미로를 풀 수 있다.
도 12를 설명함에 있어 사용자는 터치 또는 휠 조작 중 적어도 하나의 방법을 이용할 수 있다.
그리고 도 12 (a) 및 (b)는 HMD장치(100)의 디스플레이와 전자 장치(200)의 디스플레이 모두에 표시될 수 있고, 어느 하나의 디스플레이에만 표시될 수도 있다.
도 13은 본 개시의 또 다른 실시 예에 따른 선택 동작을 설명하기 위한 도면이다.
도 13(a) 및 (b)를 참고하면, 사용자의 기설정된 명령에 따라, 현재 레벨에서 특정 오브젝트가 선택되고, 다음 레벨로 이동될 수 있다. 일 예로, 기설정된 사용자 명령은 도 13 (a)와 같이 전자 장치(200)에 구비된 특정 버튼을 선택하는 조작일 수 있다.
다른 예로, 기설정된 사용자 명령은, 도13 (b)에서 도시된 바와 같이, 손목에 전자 장치(200)를 착용한 사용자가 특정 방향(예를 들어 상측 방향)으로 손을 움직이는 제스처가 될 수 있다.
구체적으로, 도13 (b)에서 도시된 바와 같이 사용자 제스처에 따라 전자 장치(200)이 Z축 방향(또는 수직 방향)으로 이동되는 이벤트가 발생되면, 현재 레벨에서 특정 오브젝트가 선택되고 다음 레벨로 이동될 수 있다. 예를 들면, 사용자가 전자 장치(200)가 Z축 방향(또는 수직 방향)으로 한번 이동되면, 도11(a)에서 도시하는 레벨1에서 레벨2로 레벨이 이동될 수 있다.
도 14는 본 개시의 또 다른 실시 예에 따른 암호 해제 동작을 설명하기 위한 도면이다.
도 14를 참고하면, HMD장치(100)는 사용자의 손금을 식별하여 제1 암호 해제 절차를 수행할 수 있다. HMD장치(100)는 사용자마다 다른 손금을 메모리에 저장할 수 있으며, HMD장치(100)가 식별된 손금과 기저장된 손금을 비교하여 제1 암호 해제 절차를 수행할 수 있다.
그리고, HMD장치(100)는 제2 암호 해제 절차를 수행할 수 있다. 도 14 (b)와 같이 복수개의 손 제스쳐 가운데 램덤으로 어느 하나를 HMD장치(100)의 디스플레이에 표시할 수 있다. 사용자는 제1 암호 해제 절차를 수행한 이후 연속적으로 디스플레이에 표시된 손 제스쳐를 취해야 제2 암호 해제 절차를 통과할 수 있다.
만약 사용자가 제1 암호 해제 절차를 수행한 이후 손을 HMD장치(100)가 인식할 수 없는 범위로 이동한 이후 제2 암호 해제 절차를 수행하려고 한다면 암호 해제 절차가 전부 취소될 수 있다. 이는 사용자가 사진 등을 이용하는 것과 같은 비정상적인 방법으로 암호 해제를 수행하는 것을 방지하기 위함이다.
도 15는 본 개시의 일 실시 예에 따른 HMD장치의 제어 방법의 흐름도이다.
본 개시의 일 실시 예에 따른 HMD장치(100)의 제어 방법은 외부 전자 장치(200)에 대한 암호 해제 요청이 수신되면, 전자 장치(200)에 표시되는 제1 암호 해제 UI에 기초한 제2 암호 해제 UI를 디스플레이한다(S1505).
제1 암호 해제 UI에서 선택된 오브젝트 정보가 전자 장치(200)로부터 수신되면(S1510), 수신된 오브젝트 정보와 매핑되는 제2 암호 해제 UI에 포함된 오브젝트가 기저장된 암호 해제 정보와 일치하는지 여부를 확인한다(S1515).
이후, S1515 단계에서 수신된 오브젝트 정보와 매핑되는 제2 암호 해제 UI에 포함된 오브젝트가 기저장된 암호 해제 정보와 일치하면, 암호 해제 명령을 전자 장치로 전송한다(S1520).
S1505 단계에서는, 제2 암호 해제 UI는 제1 암호 해제 UI에 포함된 오브젝트들의 표시 위치가 재배열된 UI일 수 있다.
한편, 제1 암호 해제 UI는 복수의 셀을 포함하는 2차원 UI이고, 복수의 셀 각각은 상이한 식별자를 포함하며, 제2 암호 해제 UI는 제1 암호 해제 UI와 동일한 형상의 2차원 UI이며, 복수의 셀 각각에 포함된 식별자의 위치가 재배열된 형태일 수 있다. .
한편, 제1 암호 해제 UI는, 터치 패턴 조작을 가이드 위한 가이드 오브젝트들을 포함하고, 제2 암호 해제 UI는 제1 암호 해제 UI에 포함된 가이드 오브젝트들의 표시 위치가 재배열되고 가이드 오브젝트들 중 하나는 터치 패턴 조작의 시작 위치를 나타내는 UI이며, 암호 해제 명령을 전자 장치로 전송하는 단계는 전자 장치(200)로부터 사용자의 터치 패턴 조작에 대응되는 정보가 수신되면, 제1 암호 해제 UI 및 제2 암호 해제 UI에 포함된 가이드 오브젝트들의 매핑 정보에 기초하여 수신된 정보가 기저장된 터치 패턴 정보와 일치하는지 여부를 식별하고, 수신된 정보가 기저장된 터치 패턴 정보와 일치하면 암호 해제 명령을 전자 장치로 전송할 수 있다.
한편, 제1 암호 해제 UI는, 기설정된 간격으로 이격되어 제공되는 복수의 식별자를 포함하는 UI이고, 제2 암호 해제 UI는 복수의 식별자의 위치가 재배열된 형태이며, 암호 해제 명령을 전자 장치로 전송하는 단계는 제1 암호 해제 UI에 포함된 복수의 식별자 중 사용자에 의해 순차적으로 선택된 복수의 식별자에 대한 정보를 수신하고, 제2 암호 해제 UI에 포함된 식별자 중 수신된 식별자에 대응되는 정보가 기 저장된 암호 해제 정보와 일치하면, 암호 해제 명령을 전자 장치로 전송할 수 있다.
한편, 제1 암호 해제 UI는 동일한 수의 오브젝트를 포함하는 복수의 레벨을 포함하며 동일한 수의 오브젝트는 기설정된 각도만큼 떨어져 있으며, 복수의 레벨을 구분할 수 있는 오브젝트를 포함하고, 제2 암호 해제 UI는 복수의 레벨을 구분할 수 있는 오브젝트의 위치가 재배열된 형태일 수 있다.
S1510 단계 및 S1515단계에서는, 제1 암호 해제 UI에서 선택된 오브젝트 정보가 수신되면, 제2 암호 해제 UI에서 수신된 오브젝트와 동일한 위치에 디스플레이된 오브젝트에 시각적 피드백을 제공할 수 있다.
한편, 제1 암호 해제 UI는, 휠 조작 또는 드래그 조작을 가이드 하기 위한 가이드 오브젝트들을 포함하고, 제2 암호 해제 UI는 제1 암호 해제 UI에 포함된 가이드 오브젝트들의 표시 위치가 재배열된 UI이고, 전자 장치(200)로부터 사용자의 휠 조작 또는 드래그 조작에 대응되는 정보가 수신되면, 제2 암호 해제 UI에 포함된 가이드 오브젝트 중 수신된 정보에 대응되는 가이드 오브젝트에 시각적 피드백을 제공하는 단계를 더 포함할 수 있다.
S1520 단계에서는, 암호 해제 명령을 전자 장치로 전송하는 단계는 제2 암호 해제 UI에 포함된 오브젝트 중 수신된 오브젝트와 동일한 위치에 디스플레이된 오브젝트가 기저장된 암호 해제 오브젝트와 일치하면, 암호 해제 명령을 전자 장치로 전송할 수 있다.
한편, 암호 해제 명령을 전자 장치로 전송하는 단계는 제1 암호 해제 UI에 포함된 복수의 식별자 중 사용자에 의해 순차적으로 선택된 복수의 식별자에 대한 정보를 수신하고, 제2 암호 해제 UI에 포함된 식별자 중 수신된 식별자에 대응되는 정보가 기 저장된 암호 해제 정보와 일치하면, 암호 해제 명령을 전자 장치로 전송할 수 있다.
이 경우, 가이드 오브젝트는 휠 조작 또는 드래그 조작의 기설정된 입력 단위를 나타내는 복수의 식별자를 포함하며, 수신된 정보는 복수의 식별자 중 휠 조작 또는 드래그 조작의 시작 위치 및 종료 위치를 나타내는 정보를 포함하고, 가이드 오브젝트에 시각적 피드백을 제공하는 단계는 시작 위치 및 종료 위치에 각각 대응되는 제1 및 제2 식별자를 연결하는 시각적 피드백을 제공할 수 있다.
한편, 이상과 같은 본 개시의 일 실시 예에 따른 HMD장치(100)는 사용자만이 볼 수 있는 제2 암호 해제 UI를 표시할 수 있다. 암호 해제 동작 과정에서 제2 암호 해제 UI는 매번 다르게 표시될 수 있고, 사용자의 암호 해제 동작은 타인에게 노출되지 않을 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 HMD장치(100) 에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 HMD장치(100) 에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 HMD장치(100)에 구비된 임베디드 서버, 또는 HMD장치(100)의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 상술한 실시 예에 따른 HMD장치(100) 제어 방법은 프로그램으로 구현되어 HMD장치(100)에 제공될 수 있다. 특히, HMD장치(100) 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
또한, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(130) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 HMD장치(100) 에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 에서의 처리 동작을 상기 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
HMD장치: 100 전자 장치: 200
디스플레이: 110 통신부: 120
프로세서: 130

Claims (20)

  1. HMD장치에 있어서,
    통신부; 및
    디스플레이;
    외부 전자 장치에 대한 암호 해제 요청이 수신되면, 상기 전자 장치에 표시되는 제1 암호 해제 UI에 기초한 제2 암호 해제 UI를 디스플레이하도록 상기 디스플레이를 제어하고,
    상기 전자 장치로부터 상기 제1 암호 해제 UI에서 선택된 오브젝트 정보를 상기 통신부를 통해 수신하고,
    상기 수신된 오브젝트 정보와 매핑되는 상기 제2 암호 해제 UI에 포함된 오브젝트가 기저장된 암호 해제 정보와 일치하면 상기 통신부를 통해 암호 해제 명령을 상기 전자 장치로 전송하는 프로세서;를 포함하며,
    상기 전자 장치는,
    시계 방향의 휠 조작 또는 반시계 방향의 휠 조작을 수신하기 위한 휠을 포함하는 스마트 워치이고,
    상기 제1 암호 해제 UI는,
    복수개의 레벨로 이루어진 복수의 원형 UI를 포함하고,
    상기 복수의 원형 UI는,
    휠 조작을 가이드 하기 위한 가이드 오브젝트들을 포함하고,
    상기 가이드 오브젝트들은,
    상기 복수의 원형 UI 각각에 대응되는 레벨을 나타내는 숫자 오브젝트 및 상기 휠 조작의 기설정된 입력 단위를 나타내는 복수의 식별자를 포함하고,
    상기 제2 암호 해제 UI는,
    상기 복수의 원형 UI의 레벨 순서가 다르게 표시되도록, 상기 제1 암호 해제 UI에 포함된 상기 가이드 오브젝트들의 표시 위치가 재배열된 UI이고,
    상기 프로세서는,
    상기 전자 장치로부터 상기 복수의 식별자 중 상기 휠 조작의 시작 위치 및 종료 위치를 나타내는 정보가 상기 통신부를 통해 수신되면, 상기 시작 위치 및 상기 종료 위치에 각각 대응되는 제1 및 제2 식별자를 연결하는 시각적 피드백을 제공하도록 상기 디스플레이를 제어하는, HMD장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 암호 해제 UI에 포함된 오브젝트 중 상기 수신된 오브젝트와 동일한 위치에 디스플레이된 오브젝트가 상기 기저장된 암호 해제 오브젝트와 일치하면, 상기 암호 해제 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어하는, HMD장치.
  3. 제1항에 있어서,
    상기 제1 암호 해제 UI는 복수의 셀을 포함하는 2차원 UI이고, 상기 복수의 셀 각각은 상이한 식별자를 포함하며,
    상기 제2 암호 해제 UI는 상기 제1 암호 해제 UI와 동일한 형상의 2차원 UI이며, 상기 복수의 셀 각각에 포함된 식별자의 위치가 재배열된 형태인, HMD장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 제1 암호 해제 UI에 포함된 상기 복수의 식별자 중 사용자에 의해 순차적으로 선택된 복수의 식별자에 대한 정보가 상기 전자 장치로부터 수신하도록 상기 통신부를 제어하고,
    상기 제2 암호 해제 UI에 포함된 식별자 중 상기 수신된 식별자에 대응되는 정보가 기 저장된 암호 해제 정보와 일치하면, 상기 암호 해제 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어하는, HMD장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 제1 암호 해제 UI는, 터치 패턴 조작을 가이드 위한 가이드 오브젝트들을 포함하고,
    상기 제2 암호 해제 UI는 상기 제1 암호 해제 UI에 포함된 가이드 오브젝트들의 표시 위치가 재배열되고 상기 가이드 오브젝트들 중 하나는 터치 패턴 조작의 시작 위치를 나타내는 UI이며,
    상기 프로세서는,
    상기 전자 장치로부터 사용자의 터치 패턴 조작에 대응되는 정보가 상기 통신부를 통해 수신되면, 상기 제1 암호 해제 UI 및 상기 제2 암호 해제 UI에 포함된 가이드 오브젝트들의 매핑 정보에 기초하여 상기 수신된 정보가 기저장된 터치 패턴 정보와 일치하는지 여부를 식별하고,
    상기 수신된 정보가 상기 기저장된 터치 패턴 정보와 일치하면 암호 해제 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어하는, HMD장치.
  9. 제1항에 있어서,
    상기 제1 암호 해제 UI는, 기설정된 간격으로 이격되어 제공되는 복수의 식별자를 포함하는 UI이고,
    상기 제2 암호 해제 UI는 상기 복수의 식별자의 위치가 재배열된 형태이며,
    상기 통신부는,
    상기 제1 암호 해제 UI에 포함된 상기 복수의 식별자 중 사용자에 의해 순차적으로 선택된 복수의 식별자에 대한 정보를 수신하고,
    상기 프로세서는,
    상기 제2 암호 해제 UI에 포함된 식별자 중 상기 수신된 식별자에 대응되는 정보가 기 저장된 암호 해제 정보와 일치하면, 상기 암호 해제 명령을 상기 전자 장치로 전송하도록 상기 통신부를 제어하는, HMD장치.
  10. 제 1항에 있어서,
    상기 제1 암호 해제 UI는 동일한 수의 오브젝트를 포함하는 복수의 레벨을 포함하며 상기 동일한 수의 오브젝트는 기설정된 각도만큼 떨어져 있으며, 상기 복수의 레벨을 구분할 수 있는 오브젝트를 포함하고,
    상기 제2 암호 해제 UI는 상기 복수의 레벨을 구분할 수 있는 오브젝트의 위치가 재배열된 형태인, HMD장치.
  11. HMD장치의 제어 방법에 있어서,
    외부 전자 장치에 대한 암호 해제 요청이 수신되면, 상기 전자 장치에 표시되는 제1 암호 해제 UI에 기초한 제2 암호 해제 UI를 디스플레이하는 단계;
    상기 제1 암호 해제 UI에서 선택된 오브젝트 정보를 상기 전자 장치로부터 수신하는 단계; 및
    상기 수신된 오브젝트 정보와 매핑되는 상기 제2 암호 해제 UI에 포함된 오브젝트가 기저장된 암호 해제 정보와 일치하면 암호 해제 명령을 상기 전자 장치로 전송하는 단계;를 포함하며,
    상기 전자 장치는,
    시계 방향의 휠 조작 또는 반시계 방향의 휠 조작을 수신하기 위한 휠을 포함하는 스마트 워치이고,
    상기 제1 암호 해제 UI는,
    복수개의 레벨로 이루어진 복수의 원형 UI를 포함하고,
    상기 복수의 원형 UI는,
    휠 조작을 가이드 하기 위한 가이드 오브젝트들을 포함하고,
    상기 가이드 오브젝트들은,
    상기 복수의 원형 UI 각각에 대응되는 레벨을 나타내는 숫자 오브젝트 및 상기 휠 조작의 기설정된 입력 단위를 나타내는 복수의 식별자를 포함하고,
    상기 제2 암호 해제 UI는,
    상기 복수의 원형 UI의 레벨 순서가 다르게 표시되도록, 상기 제1 암호 해제 UI에 포함된 상기 가이드 오브젝트들의 표시 위치가 재배열된 UI이고,
    상기 제어 방법은,
    상기 전자 장치로부터 상기 복수의 식별자 중 상기 휠 조작의 시작 위치 및 종료 위치를 나타내는 정보가 수신되면, 상기 시작 위치 및 상기 종료 위치에 각각 대응되는 제1 및 제2 식별자를 연결하는 시각적 피드백을 제공하는 단계;를 더 포함하는, 제어 방법.
  12. 제11항에 있어서,
    상기 암호 해제 명령을 상기 전자 장치로 전송하는 단계는,
    상기 제2 암호 해제 UI에 포함된 오브젝트 중 상기 수신된 오브젝트와 동일한 위치에 디스플레이된 오브젝트가 상기 기저장된 암호 해제 오브젝트와 일치하면, 상기 암호 해제 명령을 상기 전자 장치로 전송하는, 제어 방법.
  13. 제11항에 있어서,
    상기 제1 암호 해제 UI는 복수의 셀을 포함하는 2차원 UI이고, 상기 복수의 셀 각각은 상이한 식별자를 포함하며,
    상기 제2 암호 해제 UI는 상기 제1 암호 해제 UI와 동일한 형상의 2차원 UI이며, 상기 복수의 셀 각각에 포함된 식별자의 위치가 재배열된 형태인, 제어 방법.
  14. 제13항에 있어서,
    상기 암호 해제 명령을 상기 전자 장치로 전송하는 단계는,
    상기 제1 암호 해제 UI에 포함된 상기 복수의 식별자 중 사용자에 의해 순차적으로 선택된 복수의 식별자에 대한 정보를 수신하고, 상기 제2 암호 해제 UI에 포함된 식별자 중 상기 수신된 식별자에 대응되는 정보가 기 저장된 암호 해제 정보와 일치하면, 상기 암호 해제 명령을 상기 전자 장치로 전송하는, 제어 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 제11항에 있어서,
    상기 제1 암호 해제 UI는, 터치 패턴 조작을 가이드 위한 가이드 오브젝트들을 포함하고,
    상기 제2 암호 해제 UI는 상기 제1 암호 해제 UI에 포함된 가이드 오브젝트들의 표시 위치가 재배열되고 상기 가이드 오브젝트들 중 하나는 터치 패턴 조작의 시작 위치를 나타내는 UI이며,
    상기 암호 해제 명령을 상기 전자 장치로 전송하는 단계는,
    상기 전자 장치로부터 사용자의 터치 패턴 조작에 대응되는 정보가 수신되면, 상기 제1 암호 해제 UI 및 상기 제2 암호 해제 UI에 포함된 가이드 오브젝트들의 매핑 정보에 기초하여 상기 수신된 정보가 기저장된 터치 패턴 정보와 일치하는지 여부를 식별하고, 상기 수신된 정보가 상기 기저장된 터치 패턴 정보와 일치하면 암호 해제 명령을 상기 전자 장치로 전송하는, 제어 방법.
  19. 제11항에 있어서,
    상기 제1 암호 해제 UI는, 기설정된 간격으로 이격되어 제공되는 복수의 식별자를 포함하는 UI이고,
    상기 제2 암호 해제 UI는 상기 복수의 식별자의 위치가 재배열된 형태이며,
    상기 암호 해제 명령을 상기 전자 장치로 전송하는 단계는,
    상기 제1 암호 해제 UI에 포함된 상기 복수의 식별자 중 사용자에 의해 순차적으로 선택된 복수의 식별자에 대한 정보를 수신하고, 상기 제2 암호 해제 UI에 포함된 식별자 중 상기 수신된 식별자에 대응되는 정보가 기 저장된 암호 해제 정보와 일치하면, 상기 암호 해제 명령을 상기 전자 장치로 전송하는, 제어 방법.
  20. 제 11항에 있어서,
    상기 제1 암호 해제 UI는 동일한 수의 오브젝트를 포함하는 복수의 레벨을 포함하며 상기 동일한 수의 오브젝트는 기설정된 각도만큼 떨어져 있으며, 상기 복수의 레벨을 구분할 수 있는 오브젝트를 포함하고,
    상기 제2 암호 해제 UI는 상기 복수의 레벨을 구분할 수 있는 오브젝트의 위치가 재배열된 형태인, 제어 방법.

KR1020180001242A 2018-01-04 2018-01-04 Hmd장치 및 그의 제어 방법 KR102411909B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180001242A KR102411909B1 (ko) 2018-01-04 2018-01-04 Hmd장치 및 그의 제어 방법
PCT/KR2019/000099 WO2019135620A1 (ko) 2018-01-04 2019-01-03 Hmd장치 및 그의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180001242A KR102411909B1 (ko) 2018-01-04 2018-01-04 Hmd장치 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20190083510A KR20190083510A (ko) 2019-07-12
KR102411909B1 true KR102411909B1 (ko) 2022-06-22

Family

ID=67144421

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180001242A KR102411909B1 (ko) 2018-01-04 2018-01-04 Hmd장치 및 그의 제어 방법

Country Status (2)

Country Link
KR (1) KR102411909B1 (ko)
WO (1) WO2019135620A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008243149A (ja) * 2007-03-29 2008-10-09 Nec Corp 認証装置及びこれを備えた電子機器、認証方法、プログラム
JP2012138011A (ja) * 2010-12-27 2012-07-19 Ns Solutions Corp 情報処理システム、情報処理方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110085305A (ko) * 2010-01-20 2011-07-27 서정훈 범용 키보드를 통한 안전한 비밀번호 입력방법과 그 입력방법이 적용된 보안장치 및 입력모듈
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US9251333B2 (en) * 2013-08-29 2016-02-02 Paypal, Inc. Wearable user device authentication system
KR101712176B1 (ko) * 2013-12-06 2017-03-06 주식회사 쿠노소프트 웨어러블 휴대형 단말기를 이용한 리워드 기반 광고 방법 및 시스템
KR101676118B1 (ko) * 2014-12-01 2016-11-14 이상훈 웨어러블디바이스를이용한 스마트폰의 보안설정 및 해제방법
KR20170006460A (ko) * 2015-07-08 2017-01-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008243149A (ja) * 2007-03-29 2008-10-09 Nec Corp 認証装置及びこれを備えた電子機器、認証方法、プログラム
JP2012138011A (ja) * 2010-12-27 2012-07-19 Ns Solutions Corp 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
KR20190083510A (ko) 2019-07-12
WO2019135620A1 (ko) 2019-07-11

Similar Documents

Publication Publication Date Title
US10963555B2 (en) Electronic device, method for authenticating user, and computer readable recording medium
KR102438458B1 (ko) 생체측정 인증의 구현
DK180328B1 (en) Implementation of biometric authentication
US20220342972A1 (en) Implementation of biometric authentication
US8873147B1 (en) Chord authentication via a multi-touch interface
KR102313353B1 (ko) 캐릭터 입력 방법 및 디스플레이 장치
US11112881B2 (en) Systems and methods for identifying user-operated features of input interfaces obfuscating user navigation
JP2013238935A (ja) 入力装置、入力装置の制御方法、制御プログラム、および記録媒体
US11301056B2 (en) Systems and methods for obfuscating user selections
EP2763070A1 (en) Graphical user interface (GUI) that receives directional input to change face for receiving passcode
KR102393892B1 (ko) 생체정보를 이용한 사용자인증을 수행하는 단말 장치 및 방법
KR102170908B1 (ko) 단말 장치의 패스워드 잠금을 해제하기 위한 방법, 잠금 해제 장치 및 단말 장치
US9589125B2 (en) 3D pass-go
US11209979B2 (en) Systems and methods for input interfaces promoting obfuscation of user navigation and selections
US11086514B2 (en) Systems and methods for obfuscating user navigation and selections directed by free-form input
US20200356263A1 (en) Systems and methods for obscuring touch inputs to interfaces promoting obfuscation of user selections
Ritter et al. Miba: Multitouch image-based authentication on smartphones
US8543942B1 (en) Method and system for touch-friendly user interfaces
JP2014052837A (ja) 情報処理装置および情報処理方法、並びにプログラム
KR102411909B1 (ko) Hmd장치 및 그의 제어 방법
KR102014408B1 (ko) 이미지 터치 패스워드를 이용한 사용자 인증 방법 및 이를 위한 컴퓨터 프로그램
US20150062038A1 (en) Electronic device, control method, and computer program product
KR20160048466A (ko) 웨어러블 기기 및 그의 제어 방법
WO2022246334A1 (en) Text input method for augmented reality devices
KR20180062868A (ko) 디스플레이 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right