KR102593934B1 - 증강 현실 글라스를 이용한 증강 현실 보안 키보드 제공 방법 및 그를 위한 장치 및 시스템 - Google Patents

증강 현실 글라스를 이용한 증강 현실 보안 키보드 제공 방법 및 그를 위한 장치 및 시스템 Download PDF

Info

Publication number
KR102593934B1
KR102593934B1 KR1020210158900A KR20210158900A KR102593934B1 KR 102593934 B1 KR102593934 B1 KR 102593934B1 KR 1020210158900 A KR1020210158900 A KR 1020210158900A KR 20210158900 A KR20210158900 A KR 20210158900A KR 102593934 B1 KR102593934 B1 KR 102593934B1
Authority
KR
South Korea
Prior art keywords
augmented reality
keyboard
user
reality glasses
glasses
Prior art date
Application number
KR1020210158900A
Other languages
English (en)
Other versions
KR20230072303A (ko
Inventor
이유정
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020210158900A priority Critical patent/KR102593934B1/ko
Publication of KR20230072303A publication Critical patent/KR20230072303A/ko
Application granted granted Critical
Publication of KR102593934B1 publication Critical patent/KR102593934B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0219—Special purpose keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 측면에 따른 증강 현실 글라스에서의 증강 현실 보안 키보드를 제공하는 방법은 사용자 단말로부터 증강 현실 키보드 호출 명령을 수신하는 단계와 상기 명령에 따라 복수의 키패드로 구성된 증강 현실 키보드를 생성하는 단계와 상기 생성된 증강 현실 키보드를 3차원 공간에 표시하는 단계와 사용자에 의해 선택된 키패드를 식별하여 상기 사용자 단말로 전송하는 단계를 포함할 수 있다. 따라서, 본 발명은 증강 현실 글라스를 이용하여 보다 보안이 강화된 보안 키보드를 제공할 수 있는 장점이 있다.

Description

증강 현실 글라스를 이용한 증강 현실 보안 키보드 제공 방법 및 그를 위한 장치 및 시스템{Method of providing augmented reality security keyboard using augmented reality glass, and apparatus and system therefor}
본 발명은 증강 현실을 활용한 보안 서비스에 관한 것으로서, 상세하게 증강 현실 글라스를 이용하여 키패드를 공간에 랜덤하게 배열함으로써, 키패드 입력 시 타인에게 사용자의 보안 입력이 노출될 위험을 현저하게 줄이는 것이 가능한 증강 현실 보안 키보드 입력 서비스 제공 기술에 관한 것이다.
최근에는 게임에서 영화, 의료에 이르기까지 가상 현실(Virtual Reality, VR), 증강 현실(Augmented Reality, AR) 및 혼합 현실(Mixed Reality, MR)의 활용이 증가하고 있다.
일 예로, VR/AR/MR 기술은 의료 분야에서는 교육용 수술 시뮬레이션 등에 활용되고 있으며, 독특한 경험을 창출하는 영화나 TV 프로그램, 미술관이나 다른 행성 등 집이 아닌 모든 공간으로 떠나는 가상 여행 프로그램, 프로 선수와 아마추어 선수를 돕기 위한 가상 훈련 프로그램 등에 활용되고 있다.
증강 현실은 가상 현실의 한 분야로서 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 즉, 증강 현실은 실제 현실을 바탕으로 하여, 다른 디지털 세부 사항으로 현실을 강화하면서 새로운 인지 계층을 만들고 현실이나 환경을 보완할 수 있다.
증강 현실은 가상공간이나 현실 공간만으로는 얻기 어려운 부가적인 정보를제공할 수 있는 특징 때문에 다양한 환경에 응용이 가능하며 4차 산업 혁명의 한 축을 담당하는 차세대 디스플레이 방식으로 각광받고 있다.
홀로그래피는 3차원 디스플레이의 최종 형태라고 불리며, 물체로부터 나오는 광파를 그대로 재현할 수 있기 때문에 시각피로가 없는 자연스러운 입체 디스플레이로 여겨진다. 그 동안 홀로그래피 기술은 홀로그래피 영상을 구현하기 위한 엄청난 계산량, 충분한 시야각을 제공할 수 있는 초미세픽셀로 구성된 초고해상도 디스플레이 장치 등의 요소 때문에 발전이 더디게 진행되어 왔다. 그러나 최근 디스플레이 산업의 눈부신 발전과 유수 IT 기업의 홀로그래피 연구 개발 결과를 통해 홀로그래피 기술을 이용한 디스플레이와 홀로그래피 자체를 보여주는 홀로그래픽 디스플레이 기술이 선보여지고 있다.
가상현실 디스플레이는 대부분 고정된 시점을 가지고 있지만 시야각(Field Of View, FOV)이 매우 넓고, 디스플레이의 해상도를 그대로 사용할 수 있으며 광학구조가 간단하고 계산량도 복잡하지 않아 상용화에 매우 적합한 형태이다.
반면에 증강현실 디스플레이는 실제 환경에 가상의 영상을 합성하기 위한 반투과 거울의 역할을 하는 광학 도구가 삽입되며 다른 광학 장치의 유무에 따라 다양한 초점거리에 영상을 표현하는 장점을 가지고 있다.
모바일 폰을 이용한 증강현실의 대표적인 제품은 나이안틱 랩스의 포켓몬고(Pokemon Go) 앱으로, 전세계적으로 5억만 번 이상의 다운로드 및 2016년 가장 많이 사용하고 수익을 많이 창출한 앱으로 뽑혔다.
한국 등록 특허 번호 1011526100000(등록일 2012년05월29일)는 화면에 전자상거래 결제 시 키보드를 출력하고, 이를 통해 글자를 입력하는 가상 키보드 제공 방법에 관한 것으로서, 숫자 및 문자의 배열을 임의로 변경하여 키로거 프로그램으로부터 입력 신호가 유출되는 것을 방지하기 위한 가상 키보드 제공 방법에 관한 것이다. 특히, 해당 발명은 키보드 보안이 작동하지 않은 환경에서 선택적으로 가상 키보드를 제공한다.
한국 등록 특허 번호 1016487790000(등록일 2016년08월10일)는 알파벳 순으로 그룹화된 복수개의 키버튼 그룹이 순차적으로 원형으로 배치된 형태의 키보드에 관한 것으로서, 보안키입력 서버가 정보단말기로 공개키와 암호화된 키보드 패턴정보를 전송하면, 정보단말기가 암호화된 키보드 패턴정보를 공개키를 사용하여 복호화하고, 복호화된 키보드 패턴 정보에 따라 화면에 키보드를 표시하는 것을 특징으로 하는 정보단말기에서의 문자 입력 및 보안 방법이 개시된 바 있다. 특히, 해당 발명에 따른 정보단말기는 입력된 키버튼의 위치에 관한 정보를 암호화하여 보안키입력 서버로 전송한다.
한국 등록 특허 번호 1020257640000(등록일 2019년09월20일)는 사용자 단말기에서 복수의 키를 복수의 행으로 배치한 키 보안 장치는 인접한 두 행에 대해 각 행에서 적어도 하나의 키를 확장키로 선택하고, 각 행의 확장키를 인접한 행까지 세로방향으로 확장하고, 인접한 행으로부터 확장된 확장키의 위치를 제외한 위치에서 쿼티 자판 배열과 동일한 순서로 각 행의 키를 배열하는 것을 특징으로 하는 보안 키 배열 방법 및 그 장치에 관한 것이다.
상술한 종래 기술들은 휴대단말 내 보안 키 입력에 대해 온라인상에서의 해킹에는 유용할 수 있으나, 가상 키패드의 실제 입력이 제3자에게 노출되거나 도촬되는 경우 여전히 보안 취약성이 존재하는 문제점이 있다.
즉, 일반적인 보안 키패드 기술을 적용하여 비밀번호와 같은 보안이 필요한 키 값 입력시 사용자가 물리적으로 직접 비밀번호를 누르는 행위를 수행하므로, 제3자에게 사용자의 비밀번호 입력이 노출될 위험성이 여전히 존재한다. 특히, 상기 기존 발명들의 경우, 휴대단말에 구비된 화면을 통해 키패드 입력이 수행되므로, 휴대단말 화면을 통해 여전히 제3자에게 노출 혹은 몰래 촬영하는 수법 등 을 통해 사용자 입력된 비밀번호가 쉽게 노출 및 유출될 수 있는 가능성이 높은 문제점이 있었다.
본 발명의 목적은 증강 현실 글라스를 이용한 증강 현실 보안 키보드 제공 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 증강 현실 글라스의 시야각 내 키패드를 랜덤하게 분산 배열 및 표시함으로써, 사용자의 키패드 입력이 타인에게 노출될 위험을 미연에 방지하는 것이 가능한 증강 현실 보안 키보드 입력 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 증강 현실 글라스(증강 현실 헤드셋)을 착용한 인증된 사용자에게만 키패드가 보여지게 제어함으로써, 보안 키가 제3자에게 도출되는 것을 미연에 방지하는 것이 가능한 증강 현실 보안 키보드 입력 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 보안 키 입력 시 물리적으로 키패드를 직접 터치하지 않음으로써, 지문 흔적과 같은 보안 키 유출 단서를 미연에 차단하는 것이 가능한 증강 현실 보안 키보드 입력 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
일 측면에 따른 증강 현실 글라스에서의 증강 현실 보안 키보드를 제공하는 방법은 사용자 단말로부터 증강 현실 키보드 호출 명령을 수신하는 단계와 상기 명령에 따라 복수의 키패드로 구성된 증강 현실 키보드를 생성하는 단계와 상기 생성된 증강 현실 키보드를 3차원 공간에 표시하는 단계와 사용자에 의해 선택된 키패드를 식별하여 상기 사용자 단말로 전송하는 단계를 포함할 수 있다.
실시 예로, 상기 증강 현실 키보드를 생성하는 단계는 상기 증강 현실 글라스의 시야각을 결정하는 단계와 상기 복수의 키패드에 대한 상기 시야각 내 3차원 공간 좌표를 랜덤하게 생성하는 단계와 상기 생성된 3차원 공간 좌표에 상기 복수의 키패드를 배치하여 상기 증강 현실 키보드를 생성하는 단계를 포함할 수 있다.
실시 예로, 상기 증강 현실 키보드 호출 명령은 보안 앱 식별자를 포함하되, 상기 복수의 키패드의 종류 및 개수는 상기 보안 앱 식별자에 기반하여 결정될 수 있다.
실시 예로, 상기 방법은 상기 증강 현실 키보드 호출 명령의 수신에 따라 상기 증강 현실 글라스를 착용한 사용자를 인증하는 단계를 더 포함하되, 상기 사용자 인증에 성공한 것에 기반하여 상기 증강 현실 키보드가 생성될 수 있다.
실시 예로, 상기 방법은 상기 증강 현실 글라스와 상기 사용자 단말 사이의 무선 통신 채널을 설정하는 단계를 더 포함하되, 상기 무선 통신 채널은 상기 사용자가 상기 증강 현실 글라스를 착용한 것에 기반하여 설정될 수 있다.
실시 예로, 상기 무선 통신 채널은 4G LTE 통신 채널, 5G NR 통신 채널, 와이파이 통신 채널, 블루투스 통신 채널 중 어느 하나일 수 있다.
실시 예로, 상기 사용자의 키패드 선택은 상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나를 인식하여 식별될 수 있다.
실시 예로, 상기 사용자의 키패드 선택은 상기 증강 현실 글라스와 연동된 컨트롤러의 제어 신호에 기반하여 식별될 수 있다.
실시 예로, 상기 컨트롤러는 상기 사용자 단말에 탑재되거나 별도 장치로 구비되어 상기 증강 현실 글라스와 유선 또는 무선으로 연결될 수 있다.
실시 예로, 상기 증강 현실 키보드는 상기 증강 현실 글라스에 구비된 홀로그램 프로젝터를 통해 3차원 공간에 표시되되, 상기 증강 현실 키보드는 상기 증강 현실 글라스를 착용한 사용자에 의해서만 보여지도록 표시될 수 있다.
실시 예로, 상기 증강 현실 글라스는 통신망을 통해 인공 지능 서버 및 증강 현실 서버와 연동되되, 상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나는 상기 인공 지능 서버와의 협업을 통해 인식되고, 상기 증강 현실 키보드는 상기 증강 현실 서버와의 협업을 통해 생성될 수 있다.
다른 측면에 따른 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 증강 현실 키보드를 제공하기 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서, 상기 동작들은 사용자 단말로부터 증강 현실 키보드 호출 명령을 수신하는 단계와 상기 명령에 따라 복수의 키패드로 구성된 증강 현실 키보드를 생성하는 단계와 상기 생성된 증강 현실 키보드를 3차원 공간에 표시하는 단계와 사용자에 의해 선택된 키패드를 식별하여 상기 사용자 단말로 전송하는 단계를 포함할 수 있다.
또 다른 측면에 따른 증강 현실 글라스는 통신부; 홀로그램을 출력하는 홀로그램 프로젝터와 상기 통신부를 통해 사용자 단말로부터 증강 현실 키보드 호출 명령이 수신된 것에 기반하여 복수의 키패드로 구성된 증강 현실 키보드를 생성하고, 상기 홀로그램 프로젝터를 통해 상기 생성된 증강 현실 키보드를 3차원 공간에 표시하고, 사용자에 의해 선택된 키패드를 식별하고, 상기 식별된 키패드에 대한 정보를 상기 통신부를 통해 상기 사용자 단말로 전송하는 적어도 하나의 프로세서를 포함할 수 있다.
실시 예로, 상기 증강 현실 글라스는 상기 증강 현실 글라스의 시야각을 결정하는 시야각 결정부와 상기 복수의 키패드에 대한 상기 시야각 내 3차원 공간 좌표를 랜덤하게 생성하는 랜덤 공간 좌표 생성부를 더 포함하되, 상기 증강 현실 키보드는 상기 생성된 3차원 공간 좌표에 상기 복수의 키패드를 배치하여 생성될 수 있다.
실시 예로, 상기 증강 현실 키보드 호출 명령은 보안 앱 식별자를 포함하되, 상기 복수의 키패드의 종류 및 개수는 상기 보안 앱 식별자에 기반하여 결정될 수 있다.
실시 예로, 상기 증강 현실 글라스는 상기 증강 현실 키보드 호출 명령의 수신에 따라 상기 증강 현실 글라스를 착용한 사용자를 인증하는 사용자 인증부를 더 포함하되, 상기 사용자 인증에 성공한 것에 기반하여 상기 증강 현실 키보드가 생성될 수 있다.
실시 예로, 상기 통신부가 상기 프로세서의 제어 신호에 따라 상기 증강 현실 글라스와 상기 사용자 단말 사이의 무선 통신 채널을 설정하되, 상기 무선 통신 채널은 상기 사용자가 상기 증강 현실 글라스를 착용한 것에 기반하여 설정될 수 있다.
실시 예로, 상기 무선 통신 채널은 4G LTE 통신 채널, 5G NR 통신 채널, 와이파이 통신 채널, 블루투스 통신 채널 중 어느 하나일 수 있다.
실시 예로, 상기 증강 현실 글라스는 카메라 및 마이크를 더 포함하고, 상기 사용자의 키패드 선택은 상기 카메라 및 마이크를 통해 입력된 신호에 따라 상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나를 인식하여 식별될 수 있다.
실시 예로, 상기 사용자의 키패드 선택은 상기 증강 현실 글라스와 연동된 컨트롤러의 제어 신호에 기반하여 식별될 수 있다.
실시 예로, 상기 증강 현실 키보드는 상기 증강 현실 글라스를 착용한 사용자에 의해서만 보여지도록 표시될 수 있다.
실시 예로, 상기 증강 현실 글라스는 상기 통신부를 통해 클라우드 환경의 인공 지능 서버 및 증강 현실 서버와 연동되되, 상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나는 상기 인공 지능 서버와의 협업을 통해 인식되고, 상기 증강 현실 키보드는 상기 증강 현실 서버와의 협업을 통해 생성될 수 있다.
또 다른 측면에 따른 증강 현실 보안 키보드 시스템은 보안 필드 작성이 필요한 것에 기반하여 증강 현실 키보드 호출 명령을 생성하는 사용자 단말과 상기 사용자 단말로부터 증강 현실 키보드 호출 명령이 수신된 것에 기반하여 복수의 키패드로 구성된 증강 현실 키보드를 생성 및 표시하고, 사용자 선택된 키보드를 식별하여 상기 사용자 단말로 전송하는 증강 현실 글라스를 포함할 수 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 증강 현실 글라스를 이용한 증강 현실 보안 키보드 제공 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.
또한, 본 발명은 증강 현실 글라스의 시야각 내 보안 키패드를 랜덤하게 분산 배열 및 표시함으로써, 사용자의 키패드 입력이 타인에게 노출될 위험을 원천적으로 방지하는 것이 가능한 증강 현실 보안 키보드 입력 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.
또한, 본 발명은 증강 현실 글라스(증강 현실 헤드셋)을 착용한 인증된 사용자에게만 키패드가 보여지게 제어함으로써, 보안 키가 제3자에게 도출되는 것을 미연에 방지하는통신부를한 증강 현실 보안 키보드 입력 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.
또한, 본 발명은 보안 키 입력 시 물리적으로 키패드를 직접 터치하지 않음으로써, 지문 흔적과 같은 보안 키 유출 단서를 원천적으로 차단하는 것이 가능한 증강 현실 보안 키보드 입력 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
본 명세서에 첨부되는 도면은 본 발명에 대한 이해를 제공하기 위한 것으로서 본 발명의 다양한 실시형태들을 나타내고 명세서의 기재와 함께 본 발명의 원리를 설명하기 위한 것이다.
도 1은 실시 예에 따른 증강 현실 보안 키보드 시스템 및 그것의 동작 절차를 설명하기 도면이다.
도 2는 다른 실시 예에 따른 증강 현실 보안 키보드 시스템 및 그것의 동작 절차를 설명하기 도면이다.
도 3은 실시 예에 따른 증강 현실 글라스의 구성을 설명하기 위한 블록도이다.
도 4는 실시 예에 따른 증강 현실 글라스에서의 증강 현실 키보드 제공 방법을 설명하기 위한 순서도이다.
도 5는 다른 실시 예에 따른 증강 현실 글라스에서의 증강 현실 키보드 제공 방법을 설명하기 위한 순서도이다.
도 6은 실시 예에 따른 증강 현실 보안 키보드 시스템에서의 증강 현실 보안 키보드 입력 방법을 설명하기 위한 흐름도이다.
도 7은 또 다른 실시 예에 따른 증강 현실 보안 키보드 시스템 및 그것의 동작 절차를 설명하기 도면이다.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 개시의 다양한 예에서, “/” 및 “,”는 “및/또는”을 나타내는 것으로 해석되어야 한다. 예를 들어, “A/B”는 “A 및/또는 B”를 의미할 수 있다. 나아가, “A, B”는 “A 및/또는 B”를 의미할 수 있다. 나아가, “A/B/C”는 “A, B 및/또는 C 중 적어도 어느 하나”를 의미할 수 있다. 나아가, “A, B, C”는 “A, B 및/또는 C 중 적어도 어느 하나”를 의미할 수 있다.
본 개시의 다양한 예에서, “또는”은 “및/또는”을 나타내는 것으로 해석되어야 한다. 예를 들어, “A 또는 B”는 “오직 A”, “오직 B”, 및/또는 “A 및 B 모두”를 포함할 수 있다. 다시 말해, “또는”은 “부가적으로 또는 대안적으로”를 나타내는 것으로 해석되어야 한다.
이하, 도 1 내지 도 7을 참조하여, 본 발명의 실시 예들을 구체적으로 설명하기로 한다.
도 1은 실시 예에 따른 증강 현실 보안 키보드 시스템 및 그것의 동작 절차를 설명하기 도면이다.
도 1을 참조하면, 증강 현실 보안 키보드 시스템(100)은 크게 증강 현실 글라스(10)와 사용자 단말(20)을 포함하여 구성될 수 있다.
증강 현실 글라스(10)와 사용자 단말(20)은 무선 통신을 통해 상호 정보를 교환할 수 있다. 일 예로, 무선 통신은 4G LTE(Long Term Evolution) 통신, 5G NR(New Radio) 통신, 와이파이 통신 및 블루투스 통신 중 적어도 하나를 포함할 수 있다. 증강 현실 글라스(10)와 사용자 단말(20)은 블루투스 페어링 또는 4G LTE 표준 및 5G NR 표준에 정의된 D2D(Device to Device) 통신을 통해 직접 연결되어 정보를 교환할 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예에 따른 증강 현실 글라스(10)는 이동통신망을 통해 사용자 단말(20)과 연결되어 정보를 교환할 수도 있다.
증강 현실 글라스(10)는 사용자 단말(20)의 요청에 따라 복수의 증강 현실 키패드를 생성하고, 도면 번호 110에 도시된 바와 같이, 증강 현실 글라스(10)의 시야각 내에 복수의 증강 현실 키패드가 표시되도록 3차원 공간에 홀로그램 키보드를 구성할 수 있다. 이때, 증강 현실 글라스(10)를 착용한 사용자만이 홀로그램 키보드를 육안으로 확인할 수 있으며, 증강 현실 글라스(10)를 착용하지 않은 타인은 홀로그램 키보드를 볼수 없다.
증강 현실 글라스(10)는 홀로그램 형태로 출력된 키보드의 사용자 선택 키패드를 식별한 후 식별 결과를 사용자 단말(20)에 전송할 수 있다. 여기서, 사용자의 키패드 선택을 인식하는 방법은 후술할 도면들의 설명을 통해 보다 명확해질 것이다.
사용자 단말(20)은 증강 현실 글라스(10)로부터 사용자의 키패드 선택에 대한 식별 결과를 수신하면, 이를 암호화하여 보안 필드(120)에 표시할 수 있다.
실시 예에 따른 증강 현실 글라스(10)는 홀로그램 키보드를 구성하는 키패드의 종류 및 개수를 동적으로 결정할 수 있다. 여기서, 키패드의 종류 및 개수는 사용자 단말(20)에서 실행된 보안 앱의 종류에 기반하여 동적으로 결정될 수 있다.
실시 예에 따른 증강 현실 글라스(10)는 홀로그램 키보드를 구성하는 키패드의 3차원 좌표를 랜덤하게 결정할 수도 있다. 일 예로, 키패드의 3차원 좌표는 현재 시간 값, 증강 현실 글라스(10)의 현재 위치 값 중 어느 하나에 기반하여 결정된 시드(Seed) 값을 3차원 좌표 생성을 위한 x, y, z 랜덤 함수에 각각에 입력하여 동적으로 생성될 수 있다.
도 2는 다른 실시 예에 따른 증강 현실 보안 키보드 시스템 및 그것의 동작 절차를 설명하기 도면이다.
도 2를 참조하면, 증강 현실 보안 키보드 시스템(200)은 크게 증강 현실 글라스(10), 사용자 단말(20), 유/무선 통신망(30), 증강 현실 서버(40), 앱 서버(50) 및 인공 지능 서버(60) 중 적어도 하나를 포함하여 구성될 수 있다.
증강 현실 글라스(10)와 사용자 단말(20)은 무선 통신망을 통해 상호 정보를 교환할 수 있다. 일 예로, 무선 통신망은 4G LTE(Long Term Evolution) 통신망, 5G NR(New Radio) 통신망, 와이파이 통신망 중 적어도 하나를 포함할 수 있다. 실시 예에 따른 증강 현실 글라스(10)와 사용자 단말(20)은 블루투스 페어링을 통해서는 상호 정보를 교환할 수 있다. 또 다른 실시 예로, 증강 현실 글라스(10)와 사용자 단말(20)은 4G LTE 표준 및 5G NR 표준에 정의된 D2D(Device to Device) 통신을 통해 직접 연결되어 정보를 교환할 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예에 따른 증강 현실 글라스(10)는 이동통신망을 통해 사용자 단말(20)과 연결되어 정보를 교환할 수도 있다.
증강 현실 서버(40)와 인공 지능 서버(60) 중 적어도 하나는 클라우드 환경에서 동작할 수 있다. 실시 예로, 증강 현실 서버(40)와 인공 지능 서버(60) 중 적어도 하나는 다수의 분산 처리 서버로 구성되어 프로세싱 부하를 분산시킬 수도 있다.
증강 현실 서버(40)는 증강 현실 글라스(10)의 요청에 따라 홀로그램 키보드를 생성하고, 생성된 홀로그램 키보드에 대한 정보를 증강 현실 글라스(10)에 전송할 수 있다.
증강 현실 서버(40)는 증강 현실 글라스(10)에 상응하는 시야각에 기초하여 홀로그램 키보드를 생성할 수 있다. 또한, 증강 현실 서버(40)는 사용자 단말(20)에서 실행된 보안 앱의 타입에 기반하여 홀로그램 키보드를 생성할 수도 있다. 이때, 홀로그램 키보드를 구성하는 키패드의 종류 및 개수는 보안 앱의 타입에 따라 동적으로 결정될 수 있다. 실시 예로, 증강 현실 서버(40)는 홀로그램 키보드를 구성하는 키패드의 3차원 좌표를 랜덤하게 결정할 수도 있다. 일 예로, 키패드의 3차원 좌표는 현재 시간 값, 증강 현실 글라스(10)의 현재 위치 값 중 어느 하나에 기반하여 결정된 시드(Seed) 값을 3차원 좌표 생성을 위한 x, y, z 랜덤 함수에 각각에 입력하여 동적으로 생성될 수 있다.
증강 현실 글라스(10)는 구비된 센서로부터 수집된 센싱 정보-일 예로, 음성 센싱 정보, 카메라 센싱 정보, 생체 센싱 정보 등-를 인공 지능 서버(60)로 전송할 수 있다. 이 경우, 인공 지능 서버(60)는 사전 정의된 학습 모델에 따라 센싱 정보에 대한 기계 학습을 수행하여 사용자의 음성/제스쳐/시선 등을 인식할 수 있다. 또한, 인공 지능 서버(60)는 사용자 인식 결과를 증강 현실 서버(40)에 전송할 수 있으며, 증강 현실 서버(40)는 사용자 인식 결과에 기반하여 사용자가 선택한 키패드를 식별할 수 있다. 이때, 식별된 키패드에 관한 정보는 증강 현실 글라스(10) 또는 사용자 단말(20)로 전송될 수 있다.
실시 예에 따른 증강 현실 서버(40)는 증강 현실 글라스(10)에 상응하여 생성된 홀로그램 키보드에 대한 정보를 인공 지능 서버(60)에 전송할 수도 있다. 이 경우, 인공 지능 서버(60)는 증강 현실 글라스(10)의 카메라를 통해 촬영된 영상 신호를 분석하여, 증강 현실 글라스(10)를 착용한 사용자의 제스쳐 및/또는 시선 방향을 인식하고, 인식된 제스쳐 및/또는 시선 방향에 기반하여 사용자 선택된 키패드를 식별할 수도 있다. 다른 일 예로, 인공 지능 서버(60)는 증강 현실 글라스(10)의 마이크를 통해 입력된 사용자 음성 신호를 분석하여, 음성 명령을 인식하고, 인식된 음성 명령에 기반하여 사용자 선택된 키패드를 식별할 수도 있다. 일 예로, 인식된 음성 명령은 해당 키패드에 상응하는 3차원 좌표 또는 별명일 수 있으나, 이에 한정되지는 않는다.
증강 현실 글라스(10)가 외부 서버들-예를 들면, 증강 현실 서버(40), 인공 지능 서버(60) 등-과의 연동을 통해 증강 현실 보안 키보드를 제공하는 구체적인 동작은 후술할 도면들의 설명을 통해 보다 명확해질 것이다.
증강 현실 글라스(10)는 사용자의 글라스 착용 여부를 감지할 수 있으며, 사용자의 글라스 착용을 감지한 경우, 해당 사용자에 대한 인증 절차를 수행할 수 있다. 일 예로 사용자 인증은 사용자의 생체 인식 정보에 기반하여 인증될 수 있다. 여기서, 생체 인식 정보는 지문 인식 정보, 홍체 인식 정보, 음성 지문 인식 정보 중 적어도 하나를 포함할 수 있다.
증강 현실 글라스(10)는 사용자 인증에 성공한 경우, 외부 서버와의 협업을 통해 보안 필드 작성을 위한 홀로그램 키보드를 획득하여 3차원 공간에 표시할 수 있다.
도 3은 실시 예에 따른 증강 현실 글라스의 구성을 설명하기 위한 블록도이다.
도 3을 참조하면, 증강 현실 글라스(10)는 카메라(201), 프로세서(Processor(s), 203), 통신부(Communication Unit, 204), 사용자 입출력 모듈(User Input/Output Unit, 205), 생체신호센싱부(Bio-signal Sensing Unit, 206), 메모리(Memory, 207), 사용자 인증부(User Authentication Unit, 212), 시야각결정부(FOV Determining Unit, 213), 주변광센싱부(Ambient Light Sensing Unit, 214), 랜덤 공간 좌표 생성부(Random Spatial Coordinate Generation Unit , 215), 마이크(MIC, 216), 홀로그램 프로젝터(Projector, 217), 디스플레이(Display, 218), 버스(Bus, 219) 및 안테나(Antenna, 220)를 포함하여 구성될 수 있다. 상기 증강 현실 글라스(10)의 구성 요소들은 반드시 필수적인 것은 아니어서 일부 구성 요소들의 조합으로 구성되거나 그보다 많은 구성 요소들로 구성될 수 있다.
프로세서(203)는 증강 현실 글라스(10)의 전체적인 동작 및 입출력을 제어할 수 있다. 프로세서(203)의 구체적인 동작은 후술할 설명을 통해 보다 명확해질 것이다.
카메라(201)는 촬영된 영상으로부터 객체를 구분하고, 관심 영역에 위치한 객체의 위치 및 객체의 위치 변화를 추적하기 위해 사용될 수 있다.
일 예로, 카메라(201)는 RGB 카메라, 스테레오 카메라, SLAM(Simultaneous Localization and Mapping) 카메라, ToF(Time of Flight) 카메라, 심도 카메라, 시선 추적용 카메라, 홍체 인식용 카메라, 제스쳐 인식용 카메라 중 적어도 하나를 포함할 수 있다. 일 예로, 스테레오 카메라로부터 획득된 좌/우 영상의 변이를 추정하여 3차원 공간 좌표(x,y,z)가 획득될 있다. 스테레오 카메라로부터 획득된 좌/우 영상은 시점의 차이 때문에 동일 물체에 대한 좌/우 영상의 좌표 값의 차이를 발생시키는데 이를 변이(disparity)라고 한다. 관심 영역의 화소 변이 및 카메라 파라메터를 이용하여 해당 물체의 3차원 공간 좌표를 추정할 수 있다.
통신부(204)는 외부 장치와의 무선 통신을 수행하기 위한 수단이 구비될 수 있다. 일 예로, 통신부(204)는 4G LTE(Long Term Evolution) 모듈, 5G NR(New Radio) 모듈, WiFi 통신 모듈, 블루투스 통신 모듈 중 적어도 하나를 포함하여 구성될 수 있다.
사용자 입출력 모듈(205)은 증강 현실 글라스(10)의 전원, 충전, 동작 및 입출력을 제어하기 위한 각종 입출력 수단-예를 들면, 버튼, 스위치, 조그휠, 터치 패널, 터치 디스플레이, 입출력 센서 등-을 제공할 수 있다.
생체신호센싱부(206)는 구비된 각종 생체 센서를 이용하여 사용자의 각종 생체 신호를 센싱할 수 있다. 일 예로, 생체 센서는 맥박 센서, 온도 센서, 압력 센서, 지문인식센서 중 적어도 하나를 포함할 수 있다.
생체신호센싱부(206)는 카메라(201)와 연동될 수도 있으며, 카메라(201) 촬영 영상에 기초하여 홍체 인식에 필요한 생체 신호를 생성할 수도 있다.
또한, 생체신호센싱부(206)는 마이크(201)와 연동될 수도 있으며, 마이크(201)에 입력된 음성에 기초하여 음성 지문 인식을 위한 생체 신호를 생성할 수도 있다.
실시 예에 따른 프로세서(203)는 생체신호센싱부(206)로부터 수신된 생체 신호(또는 생체 센싱 정보)에 기반하여 사용자의 글라스 착용 여부를 판단할 수 있다. 또한, 프로세서(203)는 생체신호센싱부(206)로부터 수신된 생체 신호(또는 생체 센싱 정보)에 기반하여 사용자를 식별 및 인증할 수도 있다.
메모리(207)는 각종 응용 프로그램이 저장된 응용 모듈(208), 운영 체제가 저장된 운영 체제 모듈(209), 증강 현실 관련 로직을 수행하기 위한 프로그램이 기록된 증강 현실 엔진(210), 음성/제스쳐/시선 등을 인식하기 위한 관련 로직을 수행하기 위한 프로그램이 기록된 각종 인식 엔진(211) 등을 포함하여 구성될 수 있다.
프로세서(203)는 증강 현실 엔진(210)을 이용하여 증강 현실 키보드를 생성할 수 있다.
또한, 프로세서(203)는 증강 현실 엔진(210)을 이용하여 증강 현실 키보드를 구성하는 키패드를 생성할 수도 있다.
프로세서(203)는 인식 엔진(211)을 통해 마이크(216)를 통해 입력된 사용자 음성을 분석하여 사용자의 키패드 선택 음성 명령을 식별할 수도 있다.
사용자 인증부(212)는 생체신호센싱부(206)로부터 수신된 생체 신호에 기반하여 글라스를 착용한 사용자를 인증할 수 있다.
시야각결정부(213)는 증강 현실 키보드-즉, 홀로그램 키보드-를 생성하기 위한 시야각을 결정할 수 있다.
주변광센싱부(214)는 주변 광도를 센싱할 수 있다. 여기서, 센싱된 주변 광도에 기반하여 디스플레이(218) 및 홀로그램 프로젝터(217)를 통해 출력되는 화면의 밝기 및 해상도가 제어될 수 있다.
랜덤 공간 좌표 생성부(215)는 시야각결정부(213)에 의해 결정된 시야각 내에 표시될 홀로그램 키보드를 구성하는 각 키패드의 3차원 공간 좌표를 랜덤하게 생성할 수 있다.
프로세서(203)는 사용자 단말(20)로부터 증강 현실 보안 키보드 호출 명령이 수신되면, 해당 보안 앱에 상응하는 홀로그램 키보드를 구성할 수 있다. 여기서, 구성된 홀로그램 키보드는 홀로그램 프로젝터(217)을 통해 시야각 내 3차원 공간에 표시될 수 있다.
프로세서(203)는 사용자의 제스쳐/시선/음성 인식 결과에 기반하여 사용자에 의해 선택된 키패드를 식별할 수 있다.
프로세서(203)는 식별된 키패드에 관한 정보를 통신부(204)를 통해 사용자 단말(20)에 전송할 수 있다.
홀로그램 프로젝터(217)는 증강 현실 화면 출력을 위해 사용될 수 있다. 특히, 홀로그램 프로젝터(217)는 증강 현실 보안 키보드를 출력하기 위해 사용될 수 있다.
실시 예로, 홀로그램 프로젝터(217)는 복수 개가 구비될 수 있으며, 각각의 홀로그램 프로젝터(217)는 증강 현실 보안 키보드 출력, 가상 화면 콘텐츠 출력, 증강 현실 글라스 메뉴 출력을 위해 사용될 수 있다.
도 4는 실시 예에 따른 AR 글라스에서의 증강 현실 키보드 제공 방법을 설명하기 위한 순서도이다.
도 4를 참조하면, 증강 현실 글라스(10)는 전원이 ON되면(S410), 미리 설정된 사용자 단말(20)과 통신을 연결할 수 있다(S420). 일 예로, 증강 현실 글라스(10)와 사용자 단말(20) 사이의 통신은 블루투스 페어링을 통해 연결될 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시예에 따른 증강 현실 글라스(10)와 사용자 단말(20) 사이의 통신은 이동 통신망-예를 들면, 4G LTE 통신망 또는 5G NR 통신망-을 통해 연결될 수도 있다. 또 다른 실시 예로, 증강 현실 글라스(10)와 사용자 단말(20)은 4G LTE 표준 및 5G NR 표준에 정의된 D2D(Device to Device) 통신을 통해 상호 연결될 수도 있다.
증강 현실 글라스(10)는 증강 현실 키보드 출력이 필요한지 판단할 수 있다(S430). 일 예로, 사용자 단말(20)은 보안 필드 작성이 필요한 경우, 증강 현실 글라스(10)에 증강 현실 키보드 호출 명령을 전송할 수 있다. 증강 현실 글라스(10)는 증강 현실 키보드 호출 명령이 수신된 경우, 증강 현실 키보드 출력이 필요한 것으로 판단할 수 있다.
증강 현실 글라스(10)는 증강 현실 키보드 출력이 필요한 경우, 증강 현실 글라스의 시야각(Field Of Vision, FOV)를 산출 또는 획득할 수 있다(S440). 일 예로, 증강 현실 글라스(10)의 시야각은 증강 현실 글라스에 구비된 센서의 성능 및 광학계 렌즈의 성능 등에 따라 상이할 수 있다.
실시 예에 따른 증강 현실 글라스(10)는 증강 현실 컨텐츠에 따라 적응적으로 시야각을 조절할 수도 있다. 실시 예로, 증강 현실 글라스(10)의 시야각은 가용한 범위 내에서 사용자의 설정에 따라 조절될 수도 있다.
증강 현실 글라스(10)는 시야각에 기반하여 랜덤 공간 좌표를 생성할 수 있다(S450). 즉, 증강 현실 글라스(10)는 시야각 내의 복수의 3차원 공간 좌표(x,y,z)를 랜덤하게 생성할 수 있다. 여기서, 생성된 공간 좌표의 개수는 보안 필드 작성에 필요한 키패드의 개수에 대응될 수 있다. 일 예로, 보안 필드 작성에 필요한 키패드의 개수는 해당 보안 프로그램에 따라 상이할 수 있다. 예를 들어, 금융 거래에 사용되는 보안 키패드와 온라인 상품 구매에 사용되는 보안 키패드, 사용자 로그인에 사용되는 보안 키패드 등은 서로 상이할 수 있다.
실시 예로, 3차원 공간 좌표는 현재 시간 정보, 현재 위치 정보 등을 시드 값(Seed Value)로 하여 랜덤하게 생성될 수 있다.
증강 현실 글라스(10)는 랜덤 공간 좌표에 기반하여 증강 현실 키패드를 생성 및 배치할 수 있다(S460). 여기서, 생성된 증강 현실 키패드는 홀로그램 프로젝터에 의해 3차원적으로 배치될 수 있다.
증강 현실 글라스(10)는 사용자의 제스쳐 인식에 기반하여 사용자에 의해 선택된 키패드를 식별할 수 있다(S470).
실시 예에 따른 증강 현실 글라스(10)는 사용자 제스쳐 인식이 아닌 컨트롤러와 같은 다른 수단을 통해 사용자에 의해 선택된 키패드를 식별할 수도 있다.
일 예로, 컨트롤러는 무선 또는 유선으로 증강 현실 글라스(10)와 연결될 수 있으며, 사용자는 컨트롤러에 구비된 선택 수단-예들 들면, 터치 패널, 조그휠, 방향 제어 버튼 등-을 이용하여 원하는 키패드를 선택할 수 있다. 이때, 선택된 키패드에 상응하는 제어 신호(또는 제어 코드)가 증강 현실 글라스(10)로 전송될 수 있다.
다른 일 예로, 컨트롤러는 사용자 단말(20)에 탑재될 수도 있으며, 사용자는 사용자 단말(20)에 탑재된 컨트롤러를 이용하여 3차원 공간에 표시된 키패드를 선택할 수도 있다.
증강 현실 글라스(10)는 식별된 키패드에 대한 정보를 사용자 단말(20)로 전송할 수 있다(S480). 이때, 사용자 단말(20)의 화면에는 사용자에 키패드 선택 결과가 표시될 수 있다.
도 5는 다른 실시 예에 따른 증강 현실 글라스에서의 증강 현실 키보드 제공 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 증강 현실 글라스(10)는 전원이 ON되면(S510), 미리 설정된 사용자 단말(20)과 통신을 연결할 수 있다(S520). 일 예로, 증강 현실 글라스(10)와 사용자 단말(20) 사이의 통신은 블루투스 페어링을 통해 연결될 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시예에 따른 증강 현실 글라스(10)와 사용자 단말(20) 사이의 통신은 이동 통신망-예를 들면, 4G LTE 통신망 또는 5G NR 통신망-을 통해 연결될 수도 있다. 또 다른 실시 예로, 증강 현실 글라스(10)와 사용자 단말(20)은 4G LTE 표준 및 5G NR 표준에 정의된 D2D(Device to Device) 통신을 통해 상호 연결될 수도 있다.
증강 현실 글라스(10)는 증강 현실 키보드 호출 명령이 수신되었는지 판단할 수 있다(S530). 일 예로, 사용자 단말(20)은 보안 필드 작성이 필요한 경우, 증강 현실 글라스(10)에 보안 앱 식별 정보가 포함된 증강 현실 키보드 호출 명령을 전송할 수 있다. 증강 현실 글라스(10)는 증강 현실 키보드 호출 명령이 수신된 경우, 해당 보안 앱 식별 정보에 상응하는 증강 현실 키보드 생성이 필요한 것으로 판단할 수 있다.
증강 현실 글라스(10)는 사용자의 증강 현실 글라스 착용 여부를 확인하고, 증강 현실 글라스 착용이 확인된 경우, 증강 현실 글라스를 착용한 사용자에 대한 인증을 수행할 수 있다(S540). 여기서, 사용자 인증은 생체 센싱 정보에 기반하여 수행될 수 있다. 일 예로, 생체 센싱 정보는 지문 인식 정보, 음성 지문 인식 정보, 홍체 인식 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되지는 않으며, 사용자에 대한 미리 설정된 질의 응답을 수행하여 사용자 인증이 수행될 수도 있다.
증강 현실 글라스(10)는 사용자 인증에 성공한 경우, 증강 현실 글라스의 시야각(Field Of Vision, FOV)를 산출 또는 획득할 수 있다(S560). 일 예로, 증강 현실 글라스(10)의 시야각은 해당 글라스에 구비된 센서의 성능과 광학계 렌즈의 성능 등에 따라 상이할 수 있다. 증강 현실 글라스(10)에 구비된 메모리에는 시야각에 대한 정보가 사전 기록되어 유지될 수 있다.
실시 예에 따른 증강 현실 글라스(10)는 증강 현실 컨텐츠에 따라 적응적으로 시야각을 조절할 수도 있다. 다른 실시 예로, 증강 현실 글라스(10)의 시야각은 가용한 범위 내에서 사용자의 설정에 따라 조절될 수도 있다.
증강 현실 글라스(10)는 시야각에 기반하여 랜덤 공간 좌표를 생성할 수 있다(S570). 즉, 증강 현실 글라스(10)는 시야각 내의 복수의 3차원 공간 좌표(x,y,z)를 랜덤하게 생성할 수 있다. 여기서, 생성된 3차원 공간 좌표의 개수는 보안 필드 작성에 필요한 키패드의 개수에 대응될 수 있다. 일 예로, 보안 필드 작성에 필요한 키패드의 개수는 보안 앱 식별 정보에 기반하여 동적으로 결정될 수 있다. 예를 들어, 금융 거래에 사용되는 보안 키패드와 온라인 상품 구매에 사용되는 보안 키패드 및 사용자 로그인에 사용되는 보안 키패드는 보안 필드 작성에 요구되는 키패드의 개수 및 종류가 서로 상이할 수 있다.
실시 예로, 3차원 공간 좌표는 현재 시간 정보, 현재 위치 정보, 보안 앱 식별자 중 적어도 하나를 시드 값(Seed Value)으로 설정하여 랜덤하게 생성될 수 있다.
증강 현실 글라스(10)는 랜덤 공간 좌표에 기반하여 증강 현실 키패드를 생성 및 배치할 수 있다(S580). 여기서, 생성된 증강 현실 키패드는 홀로그램 프로젝터에 의해 3차원적으로 배치될 수 있다.
증강 현실 글라스(10)는 사용자의 제스쳐 인식에 기반하여 사용자에 의해 선택된 키패드를 식별할 수 있다(S590).
실시 예에 따른 증강 현실 글라스(10)는 사용자 제스쳐 인식이 아닌 별도 컨트롤러와 같은 다른 수단을 통해 사용자에 의해 선택된 키패드를 식별할 수도 있다.
증강 현실 글라스(10)는 식별된 키패드에 대한 정보를 사용자 단말(20)로 전송할 수 있다(S591). 이때, 사용자 단말(20)의 화면에는 사용자에 키패드 선택 결과가 표시될 수 있다.
상기 550 단계에서, 사용자 인증에 실패한 경우, 증강 현실 글라스(10)는 증강 현실 키보드 호출에 실패하였음을 지시하는 소정 응답 신호를 사용자 단말(20)에게 전송할 수 있다(561). 여기서, 응답 신호는 실패 이유에 대한 정보를 포함할 있다. 일 예로, 실패 이유는 사용자 인증 실패, 보안 앱 식별 실패 등을 포함할 수 있으나, 이에 한정되지는 않는다.
도 6은 실시 예에 따른 증강 현실 보안 키보드 시스템에서의 증강 현실 보안 키보드 입력 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 증강 현실 글라스(10)의 전원이 ON되면, 증강 현실 글라스(10)와 사용자 단말(20)은 소정 제어 절차를 통해 무선 통신 채널을 설정할 수 있다(S601).
사용자 단말(20)은 보안 앱이 실행된 후 보안 필드 작성 이벤트를 감지하면, 보안 앱 식별 정보가 포함된 증강 현실 키패드 호출 명령 메시지를 증강 현실 글라스(10)에 전송할 수 있다(S602 내지 S604).
증강 현실 글라스(10)는 증강 현실 키패드 호출 명령을 수신하면, 증강 현실 글라스 기기 식별 정보 및 보안 앱 식별 정보가 포함된 증강 현실 키패드 생성 요청 메시지를 접속된 이동통신망을 통해 증강 현실 서버(40)로 전송할 수 있다(S605).
증강 현실 서버(40)는 증강 현실 키패드 생성 요청을 수신하면, 증강 현실 기기 키패드 홀로그램을 생성할 수 있다(S606). 일 예로, 증강 현실 서버(40)는 증강 현실 기기 식별 정보에 기반하여 해당 증강 현실 글라스(10)의 시야각을 결정하고, 보안 앱 식별 정보에 기반하여 결정된 시야각 내 표시될 키패드 홀로그램을 생성할 수 있다. 여기서, 키패드 홀로그램을 구성하는 키패드의 종류 및 개수는 보안 앱 식별 정보에 기반하여 동적으로 결정될 수 있다. 또한, 시야각 내 표시될 키패드의 3차원 공간 좌표는 랜덤하게 결정될 수 있다. 일 예로, 3차원 공간 좌표는 현재 시간 값, 증강 현실 글라스(10)의 현재 위치 값 중 어느 하나가 랜덤 함수의 시드 값으로 입력되어 생성될 수 있다.
증강 현실 서버(40)는 증강 현실 키패드 홀로그램이 포함된 증강 현실 키패드 생성 응답 메시지를 증강 현실 글라스(10)로 전송할 수 있다(S607).
증강 현실 글라스(10)는 수신된 증강 현실 키패드 홀로그램을 구비된 홀로그램 프로젝터를 이용하여 3차원 공간에 출력할 수 있다(S608).
증강 현실 글라스(10)는 사용자의 키패드 선택을 인식할 수 있다(S609). 여기서, 사용자의 키패드 선택은 사용자의 제스쳐 인식, 사용자의 시선 인식, 사용자의 음성 인식, 사용자의 컨트롤러 조절 신호 중 적어도 하나에 기반하여 인식될 수 있다. 일 예로, 홀로그램으로 출력된 키패드의 일측에는 3차원 좌표 정보 및/또는 별칭이 표시될 있다. 이 경우, 사용자는 선택 대상 키패드에 상응하는 3차원 좌표 및/또는 별칭을 발화하여 원하는 키패드를 선택할 수 있으며, 증강 현실 글라스(10)는 구비된 음성 인식 엔진을 이용하여 사용자에 의해 발화된 3차원 좌표 및/또는 별칭에 상응하는 키패드를 인식할 수 있다. 다른 일 예로, 사용자는 출력된 홀로그램 키보드 중 원하는 키패드를 손가락 제스쳐를 통해 선택할 수 있으며, 증강 현실 글라스(10)는 구비된 제스쳐 인식 수단(또는 엔진)을 통해 사용자의 손가락 제스쳐를 인식하여 사용자 선택된 키패드를 식별할 수 있다. 또 다른 일 예로, 사용자는 출력된 홀로그램 키보드 중 원하는 키패드를 일정시간 동안 응시할 수 있으며, 증강 현실 글라스(10)는 구비된 시선 인식 수단을 이용하여 사용자의 시선 방향을 인식하고, 인식된 시선 방향에 상응하는 키패드를 식별할 수 있다. 또 다른 일 예로, 사용자는 증강 현실 글라스(10)와 연동되는 별도의 컨트롤러를 이용하여 출력된 홀로그램 키보드의 원하는 키패드를 선택할 수도 있다.
이상의 실시 예에서는 증강 현실 글라스(10)에 음성 인식 엔진, 시선 인식 엔진 및 제스쳐 인식 엔진이 탑재되어 사용자의 키패드 선택을 식별하는 것으로 설명하고 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예에 따른 증강 현실 글라스(10)는 외부 인공지능 서버(60)와의 연동을 통해 사용자의 키패드 선택을 식별할 수도 있다. 일 예로, 인공지능 서버(60)에는 음성 인식 엔진, 시선 인식 엔진 및 제스쳐 인식 엔진 중 적어도 하나가 탑재될 수 있으며, 인공지능 서버(60)는 증강 현실 글라스(10)로부터 수신된 센싱 정보에 기초로 기계 학습을 수행하여 사용자가 선택된 키패드를 식별할 수 있으며, 식별 결과를 사용자 단말(20) 또는 증강 현실 글라스(10)에 제공할 수도 있다.
증강 현실 글라스(10)는 사용자에 의한 키패드 선택 결과를 사용자 단말(20)로 전송할 수 있다(S610).
사용자 단말(20)은 증강 현실 글라스(10)로부터 수신된 사용자의 키패드 선택 결과를 보안 필드에 표시할 수 있다(S611). 여기서, 보안 필드에 표시되는 정보는 상기 도 1 내지 2에 도시된 바와 같이, 타인이 실제 보안 코드를 식별할 수 없도록 소정 특수 문자-예를 들면, '*'-로 표시될 수 있다.
상술한 바와 같이, 본 실시 예에 따른 방법은 제한된 성능을 가지는 증강 현실 글라스(10)를 클라우드 환경의 외부 서버(들)-예를 들면, 증강 현실 서버(40) 및 인공지능 서버(60)-과의 연동을 통해 보다 정확하게 사용자 선택 키패드를 식별할 수 있는 장점이 있다. 즉, 본 발명은 저비용/저사양의 증강 현실 글라스(10)를 통해서는 증강 현실 보안 서비스를 제공할 수 있는 장점이 있다.
도 7은 또 다른 실시 예에 따른 증강 현실 보안 키보드 시스템 및 그것의 동작 절차를 설명하기 도면이다.
도 7을 참조하면, 증강 현실 보안 키보드 시스템(700)은 증강 현실 글라스(10), 사용자 단말(20) 및 컨트롤러(710, 720)를 포함하여 구성될 수 있다.
사용자의 키패드 선택은 사용자의 컨트롤러 조작을 통해 수행될 수도 있다. 일 예로, 컨트롤러는 도면 번호 710에 도시된 바와 같이, 사용자 단말(20)에 탑재될 수 있으나, 이는 하나의 실시 예에 불과하며, 도면 번호 720에 도시된 바와 같이, 별도의 하드웨어 장치로 구현되어 증강 현실 글라스(10)와 유선 또는 무선으로 연결될 수도 있다. 컨트롤러는 사용자에 의해 선택된 키패드에 상응하는 제어 코드 또는 3차원 좌표 정보를 증강 현실 글라스(10)에 전송하고, 증강 현실 글라스(10)는 컨트롤러로부터 수신된 제어 코드 또는 3차원 좌표 정보에 기반하여 사용자에 의해 선택된 키패드의 종류를 식별할 수 있다.
본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리 및/또는 스토리지)에 상주할 수도 있다.
예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (23)

  1. 증강 현실 글라스에서의 증강 현실 보안 키보드를 제공하는 방법에 있어서,
    사용자 단말로부터 증강 현실 키보드 호출 명령을 수신하는 단계;
    상기 명령에 따라, 상기 증강 현실 글라스의 시야각 내 3차원 공간에 복수의 키패드들을 랜덤하게 배치하여, 상기 증강 현실 키보드를 상기 3차원 공간에 표시하는 단계; 및
    사용자에 의해 선택된 키패드를 식별하여 상기 사용자 단말로 전송하는 단계
    를 포함하는, 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 증강 현실 키보드 호출 명령은 보안 앱 식별자를 포함하되, 상기 복수의 키패드들의 종류 및 개수는 상기 보안 앱 식별자에 기반하여 결정되는, 방법.
  4. 제1항에 있어서,
    상기 증강 현실 키보드 호출 명령의 수신에 따라 상기 증강 현실 글라스를 착용한 사용자를 인증하는 단계를 더 포함하되,
    상기 사용자 인증에 성공한 것에 기반하여 상기 증강 현실 키보드가 생성되는, 방법.
  5. 제1항에 있어서,
    상기 증강 현실 글라스와 상기 사용자 단말 사이의 무선 통신 채널을 설정하는 단계를 더 포함하되,
    상기 무선 통신 채널은 상기 사용자가 상기 증강 현실 글라스를 착용한 것에 기반하여 설정되는, 방법.
  6. 제5항에 있어서,
    상기 무선 통신 채널은 4G LTE 통신 채널, 5G NR 통신 채널, 와이파이 통신 채널, 블루투스 통신 채널 중 어느 하나인, 방법.
  7. 제1항에 있어서,
    상기 사용자의 키패드 선택은 상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나를 인식하여 식별되는, 방법.
  8. 제1항에 있어서,
    상기 사용자의 키패드 선택은 상기 증강 현실 글라스와 연동된 컨트롤러의 제어 신호에 기반하여 식별되는, 방법.
  9. 제8항에 있어서,
    상기 컨트롤러는 상기 사용자 단말에 탑재되거나 별도 장치로 구비되어 상기 증강 현실 글라스와 유선 또는 무선으로 연결되는, 방법.
  10. 제1항에 있어서,
    상기 증강 현실 키보드는 상기 증강 현실 글라스에 구비된 홀로그램 프로젝터를 통해 3차원 공간에 표시되되,
    상기 표시된 증강 현실 키보드는 상기 증강 현실 글라스를 착용한 사용자에 의해서만 보여지는 것을 특징으로 하는, 방법.
  11. 제7항에 있어서,
    상기 증강 현실 글라스는 통신망을 통해 인공 지능 서버 및 증강 현실 서버와 연동되되,
    상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나는 상기 인공 지능 서버와의 협업을 통해 인식되고, 상기 증강 현실 키보드는 상기 증강 현실 서버와의 협업을 통해 생성되는 것을 특징으로 하는, 방법.
  12. 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 증강 현실 키보드를 제공하기 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 기록 매체에 있어서,
    상기 동작들은,
    사용자 단말로부터 증강 현실 키보드 호출 명령을 수신하는 단계;
    상기 명령에 따라, 증강 현실 글라스의 시야각 내 3차원 공간에 복수의 키패드들을 랜덤하게 배치하여, 상기 증강 현실 키보드를 상기 3차원 공간에 표시하는 단계; 및
    사용자에 의해 선택된 키패드를 식별하여 상기 사용자 단말로 전송하는 단계
    를 포함하는, 기록매체.
  13. 통신부;
    홀로그램을 출력하는 홀로그램 프로젝터; 및
    상기 통신부를 통해 사용자 단말로부터 증강 현실 키보드 호출 명령이 수신된 것에 기반하여 증강 현실 글라스의 시야각 내 3차원 공간에 복수의 키패드들을 랜덤하게 배치하여, 증강 현실 키보드를 상기 3차원 공간에 표시하고, 사용자에 의해 선택된 키패드를 식별하고, 상기 식별된 키패드에 대한 정보를 상기 통신부를 통해 상기 사용자 단말로 전송하는 적어도 하나의 프로세서
    를 포함하는, 증강 현실 글라스.
  14. 제13항에 있어서,
    상기 증강 현실 글라스의 시야각을 결정하는 시야각 결정부; 및
    상기 복수의 키패드들에 대한 상기 시야각 내 3차원 공간 좌표를 랜덤하게 생성하는 랜덤 공간 좌표 생성부
    를 더 포함하는, 증강 현실 글라스.
  15. 제13항에 있어서,
    상기 증강 현실 키보드 호출 명령은 보안 앱 식별자를 포함하되, 상기 복수의 키패드들의 종류 및 개수는 상기 보안 앱 식별자에 기반하여 결정되는, 증강 현실 글라스.
  16. 제13항에 있어서,
    상기 증강 현실 키보드 호출 명령의 수신에 따라 상기 증강 현실 글라스를 착용한 사용자를 인증하는 사용자 인증부를 더 포함하되,
    상기 사용자 인증에 성공한 것에 기반하여 상기 증강 현실 키보드가 생성되는, 증강 현실 글라스.
  17. 제13항에 있어서,
    상기 통신부는 상기 프로세서의 제어 신호에 따라 상기 증강 현실 글라스와 상기 사용자 단말 사이의 무선 통신 채널을 설정하되,
    상기 무선 통신 채널은 상기 사용자가 상기 증강 현실 글라스를 착용한 것에 기반하여 설정되는, 증강 현실 글라스.
  18. 제17항에 있어서,
    상기 무선 통신 채널은 4G LTE 통신 채널, 5G NR 통신 채널, 와이파이 통신 채널, 블루투스 통신 채널 중 어느 하나인, 증강 현실 글라스.
  19. 제13항에 있어서,
    상기 증강 현실 글라스는 카메라 및 마이크를 더 포함하고,
    상기 사용자의 키패드 선택은 상기 카메라 및 마이크를 통해 입력된 신호에 따라 상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나를 인식하여 식별되는, 증강 현실 글라스.
  20. 제13항에 있어서,
    상기 사용자의 키패드 선택은 상기 증강 현실 글라스와 연동된 컨트롤러의 제어 신호에 기반하여 식별되는, 증강 현실 글라스.
  21. 제13항에 있어서,
    상기 증강 현실 키보드는 상기 증강 현실 글라스를 착용한 사용자에 의해서만 보여지도록 표시되는 것을 특징으로 하는, 증강 현실 글라스.
  22. 제19항에 있어서,
    상기 증강 현실 글라스는 상기 통신부를 통해 클라우드 환경의 인공 지능 서버 및 증강 현실 서버와 연동되되,
    상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나는 상기 인공 지능 서버와의 협업을 통해 인식되고, 상기 증강 현실 키보드는 상기 증강 현실 서버와의 협업을 통해 생성되는 것을 특징으로 하는, 증강 현실 글라스.
  23. 보안 필드 작성이 필요한 것에 기반하여 증강 현실 키보드 호출 명령을 생성하는 사용자 단말; 및
    상기 사용자 단말로부터 상기 증강 현실 키보드 호출 명령이 수신된 것에 기반하여 증강 현실 글라스의 시야각 내 3차원 공간에 복수의 키패드들을 랜덤하게 배치하여, 증강 현실 키보드를 상기 3차원 공간에 표시하고, 사용자 선택된 키보드를 식별하여 상기 사용자 단말로 전송하는 증강 현실 글라스
    를 포함하는, 증강 현실 보안 키보드 시스템.
KR1020210158900A 2021-11-17 2021-11-17 증강 현실 글라스를 이용한 증강 현실 보안 키보드 제공 방법 및 그를 위한 장치 및 시스템 KR102593934B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210158900A KR102593934B1 (ko) 2021-11-17 2021-11-17 증강 현실 글라스를 이용한 증강 현실 보안 키보드 제공 방법 및 그를 위한 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210158900A KR102593934B1 (ko) 2021-11-17 2021-11-17 증강 현실 글라스를 이용한 증강 현실 보안 키보드 제공 방법 및 그를 위한 장치 및 시스템

Publications (2)

Publication Number Publication Date
KR20230072303A KR20230072303A (ko) 2023-05-24
KR102593934B1 true KR102593934B1 (ko) 2023-10-26

Family

ID=86540974

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210158900A KR102593934B1 (ko) 2021-11-17 2021-11-17 증강 현실 글라스를 이용한 증강 현실 보안 키보드 제공 방법 및 그를 위한 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR102593934B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180157820A1 (en) * 2016-12-02 2018-06-07 Bank Of America Corporation Virtual Reality Dynamic Authentication
KR102219464B1 (ko) * 2014-05-23 2021-02-25 삼성전자주식회사 보안 운용 방법 및 이를 지원하는 전자 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170021971A (ko) * 2015-08-18 2017-03-02 한국전자통신연구원 전자 기기 및 이의 잠금 해제 방법
KR102314782B1 (ko) * 2019-10-28 2021-10-19 네이버랩스 주식회사 3차원 증강현실 표시 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102219464B1 (ko) * 2014-05-23 2021-02-25 삼성전자주식회사 보안 운용 방법 및 이를 지원하는 전자 장치
US20180157820A1 (en) * 2016-12-02 2018-06-07 Bank Of America Corporation Virtual Reality Dynamic Authentication

Also Published As

Publication number Publication date
KR20230072303A (ko) 2023-05-24

Similar Documents

Publication Publication Date Title
US11288679B2 (en) Augmented reality dynamic authentication for electronic transactions
US10341113B2 (en) Password management
US11710110B2 (en) Augmented reality dynamic authentication
EP2998781B1 (en) Communication device, system and method
CN110678891B (zh) 与同伴设备配对
US10311223B2 (en) Virtual reality dynamic authentication
US10776618B2 (en) Mobile terminal and control method therefor
EP3615156B1 (en) Intuitive augmented reality collaboration on visual data
CN109891478A (zh) 用于保护从非安全终端执行的交易的方法
JP2021185710A (ja) 認証方法及び認証システム
EP2605167B1 (en) Private/Public Gesture Security system and method of operation thereof
US11265721B1 (en) Secure device attestation and mutual authentication of artificial reality devices
US20180373860A1 (en) Verification code-based verification processing
CN110866230B (zh) 已认证设备辅助的用户认证
US11880445B2 (en) Administered authentication in artificial reality systems
KR20190044838A (ko) 융합현실, 가상현실 및 증강현실을 이용한 사용자 인증시스템
KR102593934B1 (ko) 증강 현실 글라스를 이용한 증강 현실 보안 키보드 제공 방법 및 그를 위한 장치 및 시스템
Bianchi et al. Open sesame: Design guidelines for invisible passwords
US20150074795A1 (en) One-time password generation apparatus and method using virtual input means
JP2012173872A (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、および記録媒体
US20200026840A1 (en) Authentication procedures with randomization of private input interface
CN112214749B (zh) 一种基于移动vr设备的无接触式用户安全认证方法
KR20180031240A (ko) 이동 단말기 및 그 이동 단말기의 제어 방법
Srivastava et al. Issues in Authentication in Augmented Reality Systems
KR20210136659A (ko) 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right