KR20230072303A - Method of providing augmented reality security keyboard using augmented reality glass, and apparatus and system therefor - Google Patents
Method of providing augmented reality security keyboard using augmented reality glass, and apparatus and system therefor Download PDFInfo
- Publication number
- KR20230072303A KR20230072303A KR1020210158900A KR20210158900A KR20230072303A KR 20230072303 A KR20230072303 A KR 20230072303A KR 1020210158900 A KR1020210158900 A KR 1020210158900A KR 20210158900 A KR20210158900 A KR 20210158900A KR 20230072303 A KR20230072303 A KR 20230072303A
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- keyboard
- user
- reality glasses
- keypad
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 327
- 239000011521 glass Substances 0.000 title claims abstract description 171
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004891 communication Methods 0.000 claims description 75
- 238000013473 artificial intelligence Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000011017 operating method Methods 0.000 description 6
- 238000001093 holography Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000007774 longterm Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/82—Protecting input, output or interconnection devices
- G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/0202—Constructional details or processes of manufacture of the input device
- G06F3/0219—Special purpose keyboards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
- G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 증강 현실을 활용한 보안 서비스에 관한 것으로서, 상세하게 증강 현실 글라스를 이용하여 키패드를 공간에 랜덤하게 배열함으로써, 키패드 입력 시 타인에게 사용자의 보안 입력이 노출될 위험을 현저하게 줄이는 것이 가능한 증강 현실 보안 키보드 입력 서비스 제공 기술에 관한 것이다. The present invention relates to a security service using augmented reality, and more particularly, by randomly arranging keypads in a space using augmented reality glasses, it is possible to significantly reduce the risk of a user's security input being exposed to others when entering a keypad. It relates to augmented reality security keyboard input service providing technology.
최근에는 게임에서 영화, 의료에 이르기까지 가상 현실(Virtual Reality, VR), 증강 현실(Augmented Reality, AR) 및 혼합 현실(Mixed Reality, MR)의 활용이 증가하고 있다.In recent years, the use of virtual reality (VR), augmented reality (AR), and mixed reality (MR) is increasing from games to movies and medical care.
일 예로, VR/AR/MR 기술은 의료 분야에서는 교육용 수술 시뮬레이션 등에 활용되고 있으며, 독특한 경험을 창출하는 영화나 TV 프로그램, 미술관이나 다른 행성 등 집이 아닌 모든 공간으로 떠나는 가상 여행 프로그램, 프로 선수와 아마추어 선수를 돕기 위한 가상 훈련 프로그램 등에 활용되고 있다. For example, VR/AR/MR technology is used in the medical field for educational surgery simulations, etc., movies and TV programs that create unique experiences, virtual travel programs to any space other than home, such as museums or other planets, and professional players It is being used in virtual training programs to help amateur players.
증강 현실은 가상 현실의 한 분야로서 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 즉, 증강 현실은 실제 현실을 바탕으로 하여, 다른 디지털 세부 사항으로 현실을 강화하면서 새로운 인지 계층을 만들고 현실이나 환경을 보완할 수 있다.Augmented reality, a field of virtual reality, is a computer graphic technique that synthesizes virtual objects or information in a real environment to make them look like objects existing in the original environment. In other words, augmented reality can build on real reality and augment it with other digital details, creating new cognitive layers and complementing reality or the environment.
증강 현실은 가상공간이나 현실 공간만으로는 얻기 어려운 부가적인 정보를제공할 수 있는 특징 때문에 다양한 환경에 응용이 가능하며 4차 산업 혁명의 한 축을 담당하는 차세대 디스플레이 방식으로 각광받고 있다.Augmented reality can be applied to various environments because of its ability to provide additional information that is difficult to obtain only in virtual or real space, and is in the limelight as a next-generation display method that plays an important role in the 4th industrial revolution.
홀로그래피는 3차원 디스플레이의 최종 형태라고 불리며, 물체로부터 나오는 광파를 그대로 재현할 수 있기 때문에 시각피로가 없는 자연스러운 입체 디스플레이로 여겨진다. 그 동안 홀로그래피 기술은 홀로그래피 영상을 구현하기 위한 엄청난 계산량, 충분한 시야각을 제공할 수 있는 초미세픽셀로 구성된 초고해상도 디스플레이 장치 등의 요소 때문에 발전이 더디게 진행되어 왔다. 그러나 최근 디스플레이 산업의 눈부신 발전과 유수 IT 기업의 홀로그래피 연구 개발 결과를 통해 홀로그래피 기술을 이용한 디스플레이와 홀로그래피 자체를 보여주는 홀로그래픽 디스플레이 기술이 선보여지고 있다.Holography is called the final form of 3D display, and is considered a natural 3D display without visual fatigue because it can reproduce light waves coming from an object as it is. In the meantime, development of holography technology has been slow due to factors such as an enormous amount of calculation for realizing a holographic image and an ultra-high resolution display device composed of ultra-fine pixels capable of providing a sufficient viewing angle. However, through the recent remarkable development of the display industry and the results of holography research and development by leading IT companies, displays using holography technology and holographic display technology that shows holography itself are being introduced.
가상현실 디스플레이는 대부분 고정된 시점을 가지고 있지만 시야각(Field Of View, FOV)이 매우 넓고, 디스플레이의 해상도를 그대로 사용할 수 있으며 광학구조가 간단하고 계산량도 복잡하지 않아 상용화에 매우 적합한 형태이다.Although most virtual reality displays have a fixed viewpoint, the field of view (FOV) is very wide, the resolution of the display can be used as it is, and the optical structure is simple and the amount of calculation is not complicated, so it is very suitable for commercialization.
반면에 증강현실 디스플레이는 실제 환경에 가상의 영상을 합성하기 위한 반투과 거울의 역할을 하는 광학 도구가 삽입되며 다른 광학 장치의 유무에 따라 다양한 초점거리에 영상을 표현하는 장점을 가지고 있다.On the other hand, the augmented reality display has an advantage of expressing images at various focal lengths depending on the presence or absence of other optical devices by inserting an optical tool that serves as a transflective mirror to synthesize virtual images in the real environment.
모바일 폰을 이용한 증강현실의 대표적인 제품은 나이안틱 랩스의 포켓몬고(Pokemon Go) 앱으로, 전세계적으로 5억만 번 이상의 다운로드 및 2016년 가장 많이 사용하고 수익을 많이 창출한 앱으로 뽑혔다.A representative product of augmented reality using mobile phones is Niantic Labs' Pokemon Go app, which has been downloaded more than 500 million times worldwide and was selected as the most used and most profitable app in 2016.
한국 등록 특허 번호 1011526100000(등록일 2012년05월29일)는 화면에 전자상거래 결제 시 키보드를 출력하고, 이를 통해 글자를 입력하는 가상 키보드 제공 방법에 관한 것으로서, 숫자 및 문자의 배열을 임의로 변경하여 키로거 프로그램으로부터 입력 신호가 유출되는 것을 방지하기 위한 가상 키보드 제공 방법에 관한 것이다. 특히, 해당 발명은 키보드 보안이 작동하지 않은 환경에서 선택적으로 가상 키보드를 제공한다.Korean registered patent number 1011526100000 (registration date May 29, 2012) relates to a method of providing a virtual keyboard that outputs a keyboard on the screen during e-commerce payment and inputs letters through it. A method for providing a virtual keyboard to prevent an input signal from being leaked from a program. In particular, the present invention selectively provides a virtual keyboard in an environment where keyboard security does not operate.
한국 등록 특허 번호 1016487790000(등록일 2016년08월10일)는 알파벳 순으로 그룹화된 복수개의 키버튼 그룹이 순차적으로 원형으로 배치된 형태의 키보드에 관한 것으로서, 보안키입력 서버가 정보단말기로 공개키와 암호화된 키보드 패턴정보를 전송하면, 정보단말기가 암호화된 키보드 패턴정보를 공개키를 사용하여 복호화하고, 복호화된 키보드 패턴 정보에 따라 화면에 키보드를 표시하는 것을 특징으로 하는 정보단말기에서의 문자 입력 및 보안 방법이 개시된 바 있다. 특히, 해당 발명에 따른 정보단말기는 입력된 키버튼의 위치에 관한 정보를 암호화하여 보안키입력 서버로 전송한다.Korean Registered Patent No. 1016487790000 (registration date August 10, 2016) relates to a keyboard in which a plurality of key button groups grouped in alphabetical order are sequentially arranged in a circle, and a security key input server is an information terminal with a public key When the encrypted keyboard pattern information is transmitted, the information terminal decrypts the encrypted keyboard pattern information using a public key, and displays a keyboard on the screen according to the decrypted keyboard pattern information. A security method has been disclosed. In particular, the information terminal according to the present invention encrypts information about the location of the input key button and transmits it to the security key input server.
한국 등록 특허 번호 1020257640000(등록일 2019년09월20일)는 사용자 단말기에서 복수의 키를 복수의 행으로 배치한 키 보안 장치는 인접한 두 행에 대해 각 행에서 적어도 하나의 키를 확장키로 선택하고, 각 행의 확장키를 인접한 행까지 세로방향으로 확장하고, 인접한 행으로부터 확장된 확장키의 위치를 제외한 위치에서 쿼티 자판 배열과 동일한 순서로 각 행의 키를 배열하는 것을 특징으로 하는 보안 키 배열 방법 및 그 장치에 관한 것이다.Korean Registered Patent No. 1020257640000 (registered on September 20, 2019) is a key security device that arranges a plurality of keys in a plurality of rows in a user terminal, selects at least one key in each row as an extended key for two adjacent rows, Security key arrangement method characterized by extending the extension keys of each row in the vertical direction to adjacent rows and arranging the keys of each row in the same order as the QWERTY keyboard arrangement at locations excluding the positions of extension keys extended from adjacent rows and its device.
상술한 종래 기술들은 휴대단말 내 보안 키 입력에 대해 온라인상에서의 해킹에는 유용할 수 있으나, 가상 키패드의 실제 입력이 제3자에게 노출되거나 도촬되는 경우 여전히 보안 취약성이 존재하는 문제점이 있다. The above-described conventional techniques may be useful for online hacking of security key input in a portable terminal, but there is a problem in that security vulnerabilities still exist when actual inputs of the virtual keypad are exposed to a third party or stolen.
즉, 일반적인 보안 키패드 기술을 적용하여 비밀번호와 같은 보안이 필요한 키 값 입력시 사용자가 물리적으로 직접 비밀번호를 누르는 행위를 수행하므로, 제3자에게 사용자의 비밀번호 입력이 노출될 위험성이 여전히 존재한다. 특히, 상기 기존 발명들의 경우, 휴대단말에 구비된 화면을 통해 키패드 입력이 수행되므로, 휴대단말 화면을 통해 여전히 제3자에게 노출 혹은 몰래 촬영하는 수법 등 을 통해 사용자 입력된 비밀번호가 쉽게 노출 및 유출될 수 있는 가능성이 높은 문제점이 있었다.That is, since the user physically presses the password directly when inputting a key value requiring security such as a password by applying a general security keypad technology, there is still a risk of the user's password input being exposed to a third party. In particular, in the case of the above existing inventions, since the keypad input is performed through the screen provided in the mobile terminal, the password entered by the user is easily exposed and leaked through the method of still exposing or secretly photographing to a third party through the screen of the mobile terminal There was a high probability problem that could be.
본 발명의 목적은 증강 현실 글라스를 이용한 증강 현실 보안 키보드 제공 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.An object of the present invention is to provide a method for providing an augmented reality security keyboard using augmented reality glasses and an apparatus and system therefor.
본 발명의 또 다른 목적은 증강 현실 글라스의 시야각 내 키패드를 랜덤하게 분산 배열 및 표시함으로써, 사용자의 키패드 입력이 타인에게 노출될 위험을 미연에 방지하는 것이 가능한 증강 현실 보안 키보드 입력 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.Another object of the present invention is an augmented reality security keyboard input method capable of preventing the risk of a user's keypad input being exposed to others by randomly arranging and displaying keypads within the viewing angle of augmented reality glasses, and an apparatus therefor and to provide a system.
본 발명의 또 다른 목적은 증강 현실 글라스(증강 현실 헤드셋)을 착용한 인증된 사용자에게만 키패드가 보여지게 제어함으로써, 보안 키가 제3자에게 도출되는 것을 미연에 방지하는 것이 가능한 증강 현실 보안 키보드 입력 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.Another object of the present invention is an augmented reality security keyboard input capable of preventing a security key from being derived by a third party in advance by controlling a keypad to be visible only to an authenticated user wearing augmented reality glasses (augmented reality headset) It is to provide a method and an apparatus and system therefor.
본 발명의 또 다른 목적은 보안 키 입력 시 물리적으로 키패드를 직접 터치하지 않음으로써, 지문 흔적과 같은 보안 키 유출 단서를 미연에 차단하는 것이 가능한 증강 현실 보안 키보드 입력 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.Another object of the present invention is to provide an augmented reality security keyboard input method and a device and system therefor capable of blocking security key leakage clues such as fingerprint traces in advance by not physically touching the keypad when entering the security key. is to do
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below.
일 측면에 따른 증강 현실 글라스에서의 증강 현실 보안 키보드를 제공하는 방법은 사용자 단말로부터 증강 현실 키보드 호출 명령을 수신하는 단계와 상기 명령에 따라 복수의 키패드로 구성된 증강 현실 키보드를 생성하는 단계와 상기 생성된 증강 현실 키보드를 3차원 공간에 표시하는 단계와 사용자에 의해 선택된 키패드를 식별하여 상기 사용자 단말로 전송하는 단계를 포함할 수 있다.A method for providing an augmented reality security keyboard in augmented reality glasses according to an aspect includes receiving an augmented reality keyboard call command from a user terminal, generating an augmented reality keyboard composed of a plurality of keypads according to the command, and generating the augmented reality keyboard. The method may include displaying the augmented reality keyboard in a 3D space and identifying and transmitting a keypad selected by the user to the user terminal.
실시 예로, 상기 증강 현실 키보드를 생성하는 단계는 상기 증강 현실 글라스의 시야각을 결정하는 단계와 상기 복수의 키패드에 대한 상기 시야각 내 3차원 공간 좌표를 랜덤하게 생성하는 단계와 상기 생성된 3차원 공간 좌표에 상기 복수의 키패드를 배치하여 상기 증강 현실 키보드를 생성하는 단계를 포함할 수 있다.In an embodiment, the generating of the augmented reality keyboard may include determining a viewing angle of the augmented reality glasses, randomly generating 3D spatial coordinates within the viewing angles of the plurality of keypads, and the generated 3D spatial coordinates. It may include arranging the plurality of keypads to generate the augmented reality keyboard.
실시 예로, 상기 증강 현실 키보드 호출 명령은 보안 앱 식별자를 포함하되, 상기 복수의 키패드의 종류 및 개수는 상기 보안 앱 식별자에 기반하여 결정될 수 있다.As an embodiment, the augmented reality keyboard call command may include a security app identifier, and the type and number of the plurality of keypads may be determined based on the security app identifier.
실시 예로, 상기 방법은 상기 증강 현실 키보드 호출 명령의 수신에 따라 상기 증강 현실 글라스를 착용한 사용자를 인증하는 단계를 더 포함하되, 상기 사용자 인증에 성공한 것에 기반하여 상기 증강 현실 키보드가 생성될 수 있다. In an embodiment, the method further includes authenticating a user wearing the augmented reality glasses upon receiving the augmented reality keyboard calling command, wherein the augmented reality keyboard may be generated based on successful user authentication. .
실시 예로, 상기 방법은 상기 증강 현실 글라스와 상기 사용자 단말 사이의 무선 통신 채널을 설정하는 단계를 더 포함하되, 상기 무선 통신 채널은 상기 사용자가 상기 증강 현실 글라스를 착용한 것에 기반하여 설정될 수 있다. In an embodiment, the method may further include establishing a wireless communication channel between the augmented reality glasses and the user terminal, wherein the wireless communication channel may be established based on the user wearing the augmented reality glasses. .
실시 예로, 상기 무선 통신 채널은 4G LTE 통신 채널, 5G NR 통신 채널, 와이파이 통신 채널, 블루투스 통신 채널 중 어느 하나일 수 있다. As an example, the wireless communication channel may be any one of a 4G LTE communication channel, a 5G NR communication channel, a Wi-Fi communication channel, and a Bluetooth communication channel.
실시 예로, 상기 사용자의 키패드 선택은 상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나를 인식하여 식별될 수 있다.In an embodiment, the user's keypad selection may be identified by recognizing at least one of the user's gesture, gaze, and voice.
실시 예로, 상기 사용자의 키패드 선택은 상기 증강 현실 글라스와 연동된 컨트롤러의 제어 신호에 기반하여 식별될 수 있다.In an embodiment, the user's keypad selection may be identified based on a control signal of a controller interlocked with the augmented reality glasses.
실시 예로, 상기 컨트롤러는 상기 사용자 단말에 탑재되거나 별도 장치로 구비되어 상기 증강 현실 글라스와 유선 또는 무선으로 연결될 수 있다.In an embodiment, the controller may be mounted on the user terminal or provided as a separate device and connected to the augmented reality glasses in a wired or wireless manner.
실시 예로, 상기 증강 현실 키보드는 상기 증강 현실 글라스에 구비된 홀로그램 프로젝터를 통해 3차원 공간에 표시되되, 상기 증강 현실 키보드는 상기 증강 현실 글라스를 착용한 사용자에 의해서만 보여지도록 표시될 수 있다.As an embodiment, the augmented reality keyboard may be displayed in a 3D space through a hologram projector included in the augmented reality glasses, and the augmented reality keyboard may be displayed to be viewed only by a user wearing the augmented reality glasses.
실시 예로, 상기 증강 현실 글라스는 통신망을 통해 인공 지능 서버 및 증강 현실 서버와 연동되되, 상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나는 상기 인공 지능 서버와의 협업을 통해 인식되고, 상기 증강 현실 키보드는 상기 증강 현실 서버와의 협업을 통해 생성될 수 있다.In an embodiment, the augmented reality glasses are linked with an artificial intelligence server and an augmented reality server through a communication network, and at least one of the user's gesture, gaze, and voice is recognized through collaboration with the artificial intelligence server, and the augmented reality keyboard may be created through collaboration with the augmented reality server.
다른 측면에 따른 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 증강 현실 키보드를 제공하기 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서, 상기 동작들은 사용자 단말로부터 증강 현실 키보드 호출 명령을 수신하는 단계와 상기 명령에 따라 복수의 키패드로 구성된 증강 현실 키보드를 생성하는 단계와 상기 생성된 증강 현실 키보드를 3차원 공간에 표시하는 단계와 사용자에 의해 선택된 키패드를 식별하여 상기 사용자 단말로 전송하는 단계를 포함할 수 있다.A non-volatile computer-readable storage medium storing at least one computer program comprising instructions that, when executed by at least one processor according to another aspect, cause the at least one processor to perform operations for providing an augmented reality keyboard. In the method, the operations include receiving an augmented reality keyboard call command from a user terminal, generating an augmented reality keyboard composed of a plurality of keypads according to the command, and displaying the generated augmented reality keyboard in a three-dimensional space. and identifying and transmitting the keypad selected by the user to the user terminal.
또 다른 측면에 따른 증강 현실 글라스는 통신부; 홀로그램을 출력하는 홀로그램 프로젝터와 상기 통신부를 통해 사용자 단말로부터 증강 현실 키보드 호출 명령이 수신된 것에 기반하여 복수의 키패드로 구성된 증강 현실 키보드를 생성하고, 상기 홀로그램 프로젝터를 통해 상기 생성된 증강 현실 키보드를 3차원 공간에 표시하고, 사용자에 의해 선택된 키패드를 식별하고, 상기 식별된 키패드에 대한 정보를 상기 통신부를 통해 상기 사용자 단말로 전송하는 적어도 하나의 프로세서를 포함할 수 있다.Augmented reality glass according to another aspect is a communication unit; An augmented reality keyboard composed of a plurality of keypads is generated based on a hologram projector outputting a hologram and an augmented reality keyboard call command received from a user terminal through the communication unit, and the generated augmented reality keyboard is displayed through the
실시 예로, 상기 증강 현실 글라스는 상기 증강 현실 글라스의 시야각을 결정하는 시야각 결정부와 상기 복수의 키패드에 대한 상기 시야각 내 3차원 공간 좌표를 랜덤하게 생성하는 랜덤 공간 좌표 생성부를 더 포함하되, 상기 증강 현실 키보드는 상기 생성된 3차원 공간 좌표에 상기 복수의 키패드를 배치하여 생성될 수 있다.In an embodiment, the augmented reality glasses further include a viewing angle determining unit for determining a viewing angle of the augmented reality glasses and a random space coordinate generating unit randomly generating 3D spatial coordinates within the viewing angles for the plurality of keypads, A real keyboard may be created by arranging the plurality of keypads at the generated 3D space coordinates.
실시 예로, 상기 증강 현실 키보드 호출 명령은 보안 앱 식별자를 포함하되, 상기 복수의 키패드의 종류 및 개수는 상기 보안 앱 식별자에 기반하여 결정될 수 있다.As an embodiment, the augmented reality keyboard call command may include a security app identifier, and the type and number of the plurality of keypads may be determined based on the security app identifier.
실시 예로, 상기 증강 현실 글라스는 상기 증강 현실 키보드 호출 명령의 수신에 따라 상기 증강 현실 글라스를 착용한 사용자를 인증하는 사용자 인증부를 더 포함하되, 상기 사용자 인증에 성공한 것에 기반하여 상기 증강 현실 키보드가 생성될 수 있다. In an embodiment, the augmented reality glasses further include a user authentication unit authenticating a user wearing the augmented reality glasses upon receiving the augmented reality keyboard calling command, and the augmented reality keyboard is generated based on successful user authentication It can be.
실시 예로, 상기 통신부가 상기 프로세서의 제어 신호에 따라 상기 증강 현실 글라스와 상기 사용자 단말 사이의 무선 통신 채널을 설정하되, 상기 무선 통신 채널은 상기 사용자가 상기 증강 현실 글라스를 착용한 것에 기반하여 설정될 수 있다.In an embodiment, the communication unit sets a wireless communication channel between the augmented reality glasses and the user terminal according to a control signal of the processor, and the wireless communication channel is established based on the user wearing the augmented reality glasses. can
실시 예로, 상기 무선 통신 채널은 4G LTE 통신 채널, 5G NR 통신 채널, 와이파이 통신 채널, 블루투스 통신 채널 중 어느 하나일 수 있다. As an example, the wireless communication channel may be any one of a 4G LTE communication channel, a 5G NR communication channel, a Wi-Fi communication channel, and a Bluetooth communication channel.
실시 예로, 상기 증강 현실 글라스는 카메라 및 마이크를 더 포함하고, 상기 사용자의 키패드 선택은 상기 카메라 및 마이크를 통해 입력된 신호에 따라 상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나를 인식하여 식별될 수 있다.In an embodiment, the augmented reality glasses may further include a camera and a microphone, and the user's keypad selection may be identified by recognizing at least one of the user's gesture, gaze, and voice according to a signal input through the camera and the microphone. there is.
실시 예로, 상기 사용자의 키패드 선택은 상기 증강 현실 글라스와 연동된 컨트롤러의 제어 신호에 기반하여 식별될 수 있다. In an embodiment, the user's keypad selection may be identified based on a control signal of a controller interlocked with the augmented reality glasses.
실시 예로, 상기 증강 현실 키보드는 상기 증강 현실 글라스를 착용한 사용자에 의해서만 보여지도록 표시될 수 있다.As an embodiment, the augmented reality keyboard may be displayed to be seen only by a user wearing the augmented reality glasses.
실시 예로, 상기 증강 현실 글라스는 상기 통신부를 통해 클라우드 환경의 인공 지능 서버 및 증강 현실 서버와 연동되되, 상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나는 상기 인공 지능 서버와의 협업을 통해 인식되고, 상기 증강 현실 키보드는 상기 증강 현실 서버와의 협업을 통해 생성될 수 있다.In an embodiment, the augmented reality glasses are linked with an artificial intelligence server and an augmented reality server in a cloud environment through the communication unit, and at least one of the user's gesture, gaze, and voice is recognized through collaboration with the artificial intelligence server, The augmented reality keyboard may be created through collaboration with the augmented reality server.
또 다른 측면에 따른 증강 현실 보안 키보드 시스템은 보안 필드 작성이 필요한 것에 기반하여 증강 현실 키보드 호출 명령을 생성하는 사용자 단말과 상기 사용자 단말로부터 증강 현실 키보드 호출 명령이 수신된 것에 기반하여 복수의 키패드로 구성된 증강 현실 키보드를 생성 및 표시하고, 사용자 선택된 키보드를 식별하여 상기 사용자 단말로 전송하는 증강 현실 글라스를 포함할 수 있다.Augmented reality security keyboard system according to another aspect is composed of a user terminal for generating an augmented reality keyboard call command based on the need to fill in a security field, and a plurality of keypads based on the augmented reality keyboard call command received from the user terminal. It may include augmented reality glasses that generate and display an augmented reality keyboard, identify a user-selected keyboard, and transmit the selected keyboard to the user terminal.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the above-mentioned technical problems, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below. You will be able to.
본 발명은 증강 현실 글라스를 이용한 증강 현실 보안 키보드 제공 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.The present invention has the advantage of providing a method for providing an augmented reality security keyboard using augmented reality glasses and an apparatus and system therefor.
또한, 본 발명은 증강 현실 글라스의 시야각 내 보안 키패드를 랜덤하게 분산 배열 및 표시함으로써, 사용자의 키패드 입력이 타인에게 노출될 위험을 원천적으로 방지하는 것이 가능한 증강 현실 보안 키보드 입력 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.In addition, the present invention is an augmented reality security keyboard input method capable of fundamentally preventing the risk of a user's keypad input being exposed to others by randomly arranging and displaying security keypads within the viewing angle of augmented reality glasses, and an apparatus therefor and There are advantages to providing the system.
또한, 본 발명은 증강 현실 글라스(증강 현실 헤드셋)을 착용한 인증된 사용자에게만 키패드가 보여지게 제어함으로써, 보안 키가 제3자에게 도출되는 것을 미연에 방지하는통신부를한 증강 현실 보안 키보드 입력 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.In addition, the present invention controls the keypad to be visible only to authorized users wearing augmented reality glasses (augmented reality headset), so that the security key is prevented from being derived to a third party. Augmented reality security keyboard input method with a communication unit And there is an advantage of providing a device and system therefor.
또한, 본 발명은 보안 키 입력 시 물리적으로 키패드를 직접 터치하지 않음으로써, 지문 흔적과 같은 보안 키 유출 단서를 원천적으로 차단하는 것이 가능한 증강 현실 보안 키보드 입력 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.In addition, the present invention provides an augmented reality security keyboard input method capable of fundamentally blocking security key leakage clues such as fingerprint traces by not physically touching the keypad when entering the security key, and an apparatus and system therefor. there is
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition to this, various effects identified directly or indirectly through this document may be provided.
본 명세서에 첨부되는 도면은 본 발명에 대한 이해를 제공하기 위한 것으로서 본 발명의 다양한 실시형태들을 나타내고 명세서의 기재와 함께 본 발명의 원리를 설명하기 위한 것이다.
도 1은 실시 예에 따른 증강 현실 보안 키보드 시스템 및 그것의 동작 절차를 설명하기 도면이다.
도 2는 다른 실시 예에 따른 증강 현실 보안 키보드 시스템 및 그것의 동작 절차를 설명하기 도면이다.
도 3은 실시 예에 따른 증강 현실 글라스의 구성을 설명하기 위한 블록도이다.
도 4는 실시 예에 따른 증강 현실 글라스에서의 증강 현실 키보드 제공 방법을 설명하기 위한 순서도이다.
도 5는 다른 실시 예에 따른 증강 현실 글라스에서의 증강 현실 키보드 제공 방법을 설명하기 위한 순서도이다.
도 6은 실시 예에 따른 증강 현실 보안 키보드 시스템에서의 증강 현실 보안 키보드 입력 방법을 설명하기 위한 흐름도이다.
도 7은 또 다른 실시 예에 따른 증강 현실 보안 키보드 시스템 및 그것의 동작 절차를 설명하기 도면이다.The drawings accompanying this specification are intended to provide an understanding of the present invention, show various embodiments of the present invention, and explain the principles of the present invention together with the description of the specification.
1 is a diagram for explaining an augmented reality security keyboard system and its operating procedure according to an embodiment.
2 is a diagram for explaining an augmented reality security keyboard system and its operating procedure according to another embodiment.
3 is a block diagram illustrating a configuration of an augmented reality glass according to an exemplary embodiment.
4 is a flowchart illustrating a method of providing an augmented reality keyboard in augmented reality glasses according to an embodiment.
5 is a flowchart illustrating a method of providing an augmented reality keyboard in augmented reality glasses according to another embodiment.
6 is a flowchart illustrating an augmented reality security keyboard input method in an augmented reality security keyboard system according to an embodiment.
7 is a diagram for explaining an augmented reality security keyboard system and its operating procedure according to another embodiment.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail through exemplary drawings. In adding reference numerals to components of each drawing, it should be noted that the same components have the same numerals as much as possible even if they are displayed on different drawings. In addition, in describing an embodiment of the present invention, if it is determined that a detailed description of a related known configuration or function hinders understanding of the embodiment of the present invention, the detailed description will be omitted.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and the nature, order, or order of the corresponding component is not limited by the term. In addition, unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't
본 개시의 다양한 예에서, “/” 및 “,”는 “및/또는”을 나타내는 것으로 해석되어야 한다. 예를 들어, “A/B”는 “A 및/또는 B”를 의미할 수 있다. 나아가, “A, B”는 “A 및/또는 B”를 의미할 수 있다. 나아가, “A/B/C”는 “A, B 및/또는 C 중 적어도 어느 하나”를 의미할 수 있다. 나아가, “A, B, C”는 “A, B 및/또는 C 중 적어도 어느 하나”를 의미할 수 있다.In various examples of this disclosure, “/” and “,” should be interpreted as indicating “and/or”. For example, “A/B” may mean “A and/or B”. Furthermore, “A, B” may mean “A and/or B”. Furthermore, “A/B/C” may mean “at least one of A, B and/or C”. Furthermore, “A, B, C” may mean “at least one of A, B and/or C”.
본 개시의 다양한 예에서, “또는”은 “및/또는”을 나타내는 것으로 해석되어야 한다. 예를 들어, “A 또는 B”는 “오직 A”, “오직 B”, 및/또는 “A 및 B 모두”를 포함할 수 있다. 다시 말해, “또는”은 “부가적으로 또는 대안적으로”를 나타내는 것으로 해석되어야 한다.In various examples of this disclosure, “or” should be interpreted as indicating “and/or”. For example, “A or B” may include “only A”, “only B”, and/or “both A and B”. In other words, "or" should be interpreted as indicating "in addition or alternatively."
이하, 도 1 내지 도 7을 참조하여, 본 발명의 실시 예들을 구체적으로 설명하기로 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS. 1 to 7 .
도 1은 실시 예에 따른 증강 현실 보안 키보드 시스템 및 그것의 동작 절차를 설명하기 도면이다.1 is a diagram for explaining an augmented reality security keyboard system and its operating procedure according to an embodiment.
도 1을 참조하면, 증강 현실 보안 키보드 시스템(100)은 크게 증강 현실 글라스(10)와 사용자 단말(20)을 포함하여 구성될 수 있다. Referring to FIG. 1 , the augmented reality
증강 현실 글라스(10)와 사용자 단말(20)은 무선 통신을 통해 상호 정보를 교환할 수 있다. 일 예로, 무선 통신은 4G LTE(Long Term Evolution) 통신, 5G NR(New Radio) 통신, 와이파이 통신 및 블루투스 통신 중 적어도 하나를 포함할 수 있다. 증강 현실 글라스(10)와 사용자 단말(20)은 블루투스 페어링 또는 4G LTE 표준 및 5G NR 표준에 정의된 D2D(Device to Device) 통신을 통해 직접 연결되어 정보를 교환할 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예에 따른 증강 현실 글라스(10)는 이동통신망을 통해 사용자 단말(20)과 연결되어 정보를 교환할 수도 있다.The
증강 현실 글라스(10)는 사용자 단말(20)의 요청에 따라 복수의 증강 현실 키패드를 생성하고, 도면 번호 110에 도시된 바와 같이, 증강 현실 글라스(10)의 시야각 내에 복수의 증강 현실 키패드가 표시되도록 3차원 공간에 홀로그램 키보드를 구성할 수 있다. 이때, 증강 현실 글라스(10)를 착용한 사용자만이 홀로그램 키보드를 육안으로 확인할 수 있으며, 증강 현실 글라스(10)를 착용하지 않은 타인은 홀로그램 키보드를 볼수 없다.The
증강 현실 글라스(10)는 홀로그램 형태로 출력된 키보드의 사용자 선택 키패드를 식별한 후 식별 결과를 사용자 단말(20)에 전송할 수 있다. 여기서, 사용자의 키패드 선택을 인식하는 방법은 후술할 도면들의 설명을 통해 보다 명확해질 것이다.The
사용자 단말(20)은 증강 현실 글라스(10)로부터 사용자의 키패드 선택에 대한 식별 결과를 수신하면, 이를 암호화하여 보안 필드(120)에 표시할 수 있다. Upon receiving the identification result of the user's keypad selection from the augmented
실시 예에 따른 증강 현실 글라스(10)는 홀로그램 키보드를 구성하는 키패드의 종류 및 개수를 동적으로 결정할 수 있다. 여기서, 키패드의 종류 및 개수는 사용자 단말(20)에서 실행된 보안 앱의 종류에 기반하여 동적으로 결정될 수 있다.The
실시 예에 따른 증강 현실 글라스(10)는 홀로그램 키보드를 구성하는 키패드의 3차원 좌표를 랜덤하게 결정할 수도 있다. 일 예로, 키패드의 3차원 좌표는 현재 시간 값, 증강 현실 글라스(10)의 현재 위치 값 중 어느 하나에 기반하여 결정된 시드(Seed) 값을 3차원 좌표 생성을 위한 x, y, z 랜덤 함수에 각각에 입력하여 동적으로 생성될 수 있다.The
도 2는 다른 실시 예에 따른 증강 현실 보안 키보드 시스템 및 그것의 동작 절차를 설명하기 도면이다.2 is a diagram for explaining an augmented reality security keyboard system and its operating procedure according to another embodiment.
도 2를 참조하면, 증강 현실 보안 키보드 시스템(200)은 크게 증강 현실 글라스(10), 사용자 단말(20), 유/무선 통신망(30), 증강 현실 서버(40), 앱 서버(50) 및 인공 지능 서버(60) 중 적어도 하나를 포함하여 구성될 수 있다. Referring to FIG. 2, the augmented reality
증강 현실 글라스(10)와 사용자 단말(20)은 무선 통신망을 통해 상호 정보를 교환할 수 있다. 일 예로, 무선 통신망은 4G LTE(Long Term Evolution) 통신망, 5G NR(New Radio) 통신망, 와이파이 통신망 중 적어도 하나를 포함할 수 있다. 실시 예에 따른 증강 현실 글라스(10)와 사용자 단말(20)은 블루투스 페어링을 통해서는 상호 정보를 교환할 수 있다. 또 다른 실시 예로, 증강 현실 글라스(10)와 사용자 단말(20)은 4G LTE 표준 및 5G NR 표준에 정의된 D2D(Device to Device) 통신을 통해 직접 연결되어 정보를 교환할 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예에 따른 증강 현실 글라스(10)는 이동통신망을 통해 사용자 단말(20)과 연결되어 정보를 교환할 수도 있다.The
증강 현실 서버(40)와 인공 지능 서버(60) 중 적어도 하나는 클라우드 환경에서 동작할 수 있다. 실시 예로, 증강 현실 서버(40)와 인공 지능 서버(60) 중 적어도 하나는 다수의 분산 처리 서버로 구성되어 프로세싱 부하를 분산시킬 수도 있다.At least one of the augmented reality server 40 and the artificial intelligence server 60 may operate in a cloud environment. As an embodiment, at least one of the augmented reality server 40 and the artificial intelligence server 60 may be composed of a plurality of distributed processing servers to distribute processing loads.
증강 현실 서버(40)는 증강 현실 글라스(10)의 요청에 따라 홀로그램 키보드를 생성하고, 생성된 홀로그램 키보드에 대한 정보를 증강 현실 글라스(10)에 전송할 수 있다. The augmented reality server 40 may generate a hologram keyboard according to a request of the
증강 현실 서버(40)는 증강 현실 글라스(10)에 상응하는 시야각에 기초하여 홀로그램 키보드를 생성할 수 있다. 또한, 증강 현실 서버(40)는 사용자 단말(20)에서 실행된 보안 앱의 타입에 기반하여 홀로그램 키보드를 생성할 수도 있다. 이때, 홀로그램 키보드를 구성하는 키패드의 종류 및 개수는 보안 앱의 타입에 따라 동적으로 결정될 수 있다. 실시 예로, 증강 현실 서버(40)는 홀로그램 키보드를 구성하는 키패드의 3차원 좌표를 랜덤하게 결정할 수도 있다. 일 예로, 키패드의 3차원 좌표는 현재 시간 값, 증강 현실 글라스(10)의 현재 위치 값 중 어느 하나에 기반하여 결정된 시드(Seed) 값을 3차원 좌표 생성을 위한 x, y, z 랜덤 함수에 각각에 입력하여 동적으로 생성될 수 있다.The augmented reality server 40 may generate a hologram keyboard based on a viewing angle corresponding to the
증강 현실 글라스(10)는 구비된 센서로부터 수집된 센싱 정보-일 예로, 음성 센싱 정보, 카메라 센싱 정보, 생체 센싱 정보 등-를 인공 지능 서버(60)로 전송할 수 있다. 이 경우, 인공 지능 서버(60)는 사전 정의된 학습 모델에 따라 센싱 정보에 대한 기계 학습을 수행하여 사용자의 음성/제스쳐/시선 등을 인식할 수 있다. 또한, 인공 지능 서버(60)는 사용자 인식 결과를 증강 현실 서버(40)에 전송할 수 있으며, 증강 현실 서버(40)는 사용자 인식 결과에 기반하여 사용자가 선택한 키패드를 식별할 수 있다. 이때, 식별된 키패드에 관한 정보는 증강 현실 글라스(10) 또는 사용자 단말(20)로 전송될 수 있다.The
실시 예에 따른 증강 현실 서버(40)는 증강 현실 글라스(10)에 상응하여 생성된 홀로그램 키보드에 대한 정보를 인공 지능 서버(60)에 전송할 수도 있다. 이 경우, 인공 지능 서버(60)는 증강 현실 글라스(10)의 카메라를 통해 촬영된 영상 신호를 분석하여, 증강 현실 글라스(10)를 착용한 사용자의 제스쳐 및/또는 시선 방향을 인식하고, 인식된 제스쳐 및/또는 시선 방향에 기반하여 사용자 선택된 키패드를 식별할 수도 있다. 다른 일 예로, 인공 지능 서버(60)는 증강 현실 글라스(10)의 마이크를 통해 입력된 사용자 음성 신호를 분석하여, 음성 명령을 인식하고, 인식된 음성 명령에 기반하여 사용자 선택된 키패드를 식별할 수도 있다. 일 예로, 인식된 음성 명령은 해당 키패드에 상응하는 3차원 좌표 또는 별명일 수 있으나, 이에 한정되지는 않는다. The augmented reality server 40 according to the embodiment may transmit information about the hologram keyboard generated corresponding to the
증강 현실 글라스(10)가 외부 서버들-예를 들면, 증강 현실 서버(40), 인공 지능 서버(60) 등-과의 연동을 통해 증강 현실 보안 키보드를 제공하는 구체적인 동작은 후술할 도면들의 설명을 통해 보다 명확해질 것이다. A detailed operation of providing an augmented reality security keyboard through linkage between the
증강 현실 글라스(10)는 사용자의 글라스 착용 여부를 감지할 수 있으며, 사용자의 글라스 착용을 감지한 경우, 해당 사용자에 대한 인증 절차를 수행할 수 있다. 일 예로 사용자 인증은 사용자의 생체 인식 정보에 기반하여 인증될 수 있다. 여기서, 생체 인식 정보는 지문 인식 정보, 홍체 인식 정보, 음성 지문 인식 정보 중 적어도 하나를 포함할 수 있다. The
증강 현실 글라스(10)는 사용자 인증에 성공한 경우, 외부 서버와의 협업을 통해 보안 필드 작성을 위한 홀로그램 키보드를 획득하여 3차원 공간에 표시할 수 있다.When user authentication is successful, the
도 3은 실시 예에 따른 증강 현실 글라스의 구성을 설명하기 위한 블록도이다.3 is a block diagram illustrating a configuration of an augmented reality glass according to an exemplary embodiment.
도 3을 참조하면, 증강 현실 글라스(10)는 카메라(201), 프로세서(Processor(s), 203), 통신부(Communication Unit, 204), 사용자 입출력 모듈(User Input/Output Unit, 205), 생체신호센싱부(Bio-signal Sensing Unit, 206), 메모리(Memory, 207), 사용자 인증부(User Authentication Unit, 212), 시야각결정부(FOV Determining Unit, 213), 주변광센싱부(Ambient Light Sensing Unit, 214), 랜덤 공간 좌표 생성부(Random Spatial Coordinate Generation Unit , 215), 마이크(MIC, 216), 홀로그램 프로젝터(Projector, 217), 디스플레이(Display, 218), 버스(Bus, 219) 및 안테나(Antenna, 220)를 포함하여 구성될 수 있다. 상기 증강 현실 글라스(10)의 구성 요소들은 반드시 필수적인 것은 아니어서 일부 구성 요소들의 조합으로 구성되거나 그보다 많은 구성 요소들로 구성될 수 있다.Referring to FIG. 3 , the
프로세서(203)는 증강 현실 글라스(10)의 전체적인 동작 및 입출력을 제어할 수 있다. 프로세서(203)의 구체적인 동작은 후술할 설명을 통해 보다 명확해질 것이다.The processor 203 may control overall operation and input/output of the
카메라(201)는 촬영된 영상으로부터 객체를 구분하고, 관심 영역에 위치한 객체의 위치 및 객체의 위치 변화를 추적하기 위해 사용될 수 있다.The camera 201 may be used to distinguish an object from a photographed image, and to track a position of an object located in a region of interest and a change in position of the object.
일 예로, 카메라(201)는 RGB 카메라, 스테레오 카메라, SLAM(Simultaneous Localization and Mapping) 카메라, ToF(Time of Flight) 카메라, 심도 카메라, 시선 추적용 카메라, 홍체 인식용 카메라, 제스쳐 인식용 카메라 중 적어도 하나를 포함할 수 있다. 일 예로, 스테레오 카메라로부터 획득된 좌/우 영상의 변이를 추정하여 3차원 공간 좌표(x,y,z)가 획득될 있다. 스테레오 카메라로부터 획득된 좌/우 영상은 시점의 차이 때문에 동일 물체에 대한 좌/우 영상의 좌표 값의 차이를 발생시키는데 이를 변이(disparity)라고 한다. 관심 영역의 화소 변이 및 카메라 파라메터를 이용하여 해당 물체의 3차원 공간 좌표를 추정할 수 있다.For example, the camera 201 may include at least one of an RGB camera, a stereo camera, a simultaneous localization and mapping (SLAM) camera, a time of flight (ToF) camera, a depth camera, a gaze tracking camera, an iris recognition camera, and a gesture recognition camera. may contain one. For example, 3D spatial coordinates (x, y, z) may be obtained by estimating the displacement of left/right images obtained from a stereo camera. Left/right images obtained from a stereo camera generate a difference in coordinate values of the left/right images for the same object due to a difference in viewpoint, which is called disparity. The 3D space coordinates of the object may be estimated using the pixel shift of the region of interest and camera parameters.
통신부(204)는 외부 장치와의 무선 통신을 수행하기 위한 수단이 구비될 수 있다. 일 예로, 통신부(204)는 4G LTE(Long Term Evolution) 모듈, 5G NR(New Radio) 모듈, WiFi 통신 모듈, 블루투스 통신 모듈 중 적어도 하나를 포함하여 구성될 수 있다.The communication unit 204 may include means for performing wireless communication with an external device. For example, the communication unit 204 may include at least one of a 4G Long Term Evolution (LTE) module, a 5G New Radio (NR) module, a WiFi communication module, and a Bluetooth communication module.
사용자 입출력 모듈(205)은 증강 현실 글라스(10)의 전원, 충전, 동작 및 입출력을 제어하기 위한 각종 입출력 수단-예를 들면, 버튼, 스위치, 조그휠, 터치 패널, 터치 디스플레이, 입출력 센서 등-을 제공할 수 있다.The user input/output module 205 includes various input/output means for controlling power, charging, operation, and input/output of the
생체신호센싱부(206)는 구비된 각종 생체 센서를 이용하여 사용자의 각종 생체 신호를 센싱할 수 있다. 일 예로, 생체 센서는 맥박 센서, 온도 센서, 압력 센서, 지문인식센서 중 적어도 하나를 포함할 수 있다.The bio-signal sensing unit 206 may sense various bio-signals of the user using various bio-sensors provided therein. For example, the biometric sensor may include at least one of a pulse sensor, a temperature sensor, a pressure sensor, and a fingerprint recognition sensor.
생체신호센싱부(206)는 카메라(201)와 연동될 수도 있으며, 카메라(201) 촬영 영상에 기초하여 홍체 인식에 필요한 생체 신호를 생성할 수도 있다.The biosignal sensing unit 206 may be interlocked with the camera 201 and may generate a biosignal necessary for iris recognition based on an image taken by the camera 201 .
또한, 생체신호센싱부(206)는 마이크(201)와 연동될 수도 있으며, 마이크(201)에 입력된 음성에 기초하여 음성 지문 인식을 위한 생체 신호를 생성할 수도 있다.In addition, the biosignal sensing unit 206 may be interlocked with the microphone 201 and may generate a biosignal for voice fingerprint recognition based on a voice input to the microphone 201 .
실시 예에 따른 프로세서(203)는 생체신호센싱부(206)로부터 수신된 생체 신호(또는 생체 센싱 정보)에 기반하여 사용자의 글라스 착용 여부를 판단할 수 있다. 또한, 프로세서(203)는 생체신호센싱부(206)로부터 수신된 생체 신호(또는 생체 센싱 정보)에 기반하여 사용자를 식별 및 인증할 수도 있다.The processor 203 according to the embodiment may determine whether the user wears glasses based on the biosignal (or biometric sensing information) received from the biosignal sensing unit 206 . Also, the processor 203 may identify and authenticate a user based on the biosignal (or biometric sensing information) received from the biosignal sensing unit 206 .
메모리(207)는 각종 응용 프로그램이 저장된 응용 모듈(208), 운영 체제가 저장된 운영 체제 모듈(209), 증강 현실 관련 로직을 수행하기 위한 프로그램이 기록된 증강 현실 엔진(210), 음성/제스쳐/시선 등을 인식하기 위한 관련 로직을 수행하기 위한 프로그램이 기록된 각종 인식 엔진(211) 등을 포함하여 구성될 수 있다. The memory 207 includes an application module 208 in which various application programs are stored, an operating system module 209 in which an operating system is stored, an augmented reality engine 210 in which a program for performing augmented reality-related logic is recorded, voice/gesture/ It may be configured to include various recognition engines 211 and the like in which programs for performing related logic for recognizing gaze and the like are recorded.
프로세서(203)는 증강 현실 엔진(210)을 이용하여 증강 현실 키보드를 생성할 수 있다. The processor 203 may generate an augmented reality keyboard using the augmented reality engine 210 .
또한, 프로세서(203)는 증강 현실 엔진(210)을 이용하여 증강 현실 키보드를 구성하는 키패드를 생성할 수도 있다.Also, the processor 203 may generate a keypad constituting the augmented reality keyboard using the augmented reality engine 210 .
프로세서(203)는 인식 엔진(211)을 통해 마이크(216)를 통해 입력된 사용자 음성을 분석하여 사용자의 키패드 선택 음성 명령을 식별할 수도 있다.The processor 203 may analyze the user's voice input through the microphone 216 through the recognition engine 211 to identify the user's keypad selection voice command.
사용자 인증부(212)는 생체신호센싱부(206)로부터 수신된 생체 신호에 기반하여 글라스를 착용한 사용자를 인증할 수 있다.The user authentication unit 212 may authenticate a user wearing glasses based on the biosignal received from the biosignal sensing unit 206 .
시야각결정부(213)는 증강 현실 키보드-즉, 홀로그램 키보드-를 생성하기 위한 시야각을 결정할 수 있다.The viewing angle determining unit 213 may determine a viewing angle for generating an augmented reality keyboard, that is, a hologram keyboard.
주변광센싱부(214)는 주변 광도를 센싱할 수 있다. 여기서, 센싱된 주변 광도에 기반하여 디스플레이(218) 및 홀로그램 프로젝터(217)를 통해 출력되는 화면의 밝기 및 해상도가 제어될 수 있다.The ambient light sensing unit 214 may sense ambient light intensity. Here, the brightness and resolution of the screen output through the display 218 and the hologram projector 217 may be controlled based on the sensed ambient light intensity.
랜덤 공간 좌표 생성부(215)는 시야각결정부(213)에 의해 결정된 시야각 내에 표시될 홀로그램 키보드를 구성하는 각 키패드의 3차원 공간 좌표를 랜덤하게 생성할 수 있다. The random spatial coordinate generation unit 215 may randomly generate 3D spatial coordinates of each keypad constituting the hologram keyboard to be displayed within the viewing angle determined by the viewing angle determining unit 213 .
프로세서(203)는 사용자 단말(20)로부터 증강 현실 보안 키보드 호출 명령이 수신되면, 해당 보안 앱에 상응하는 홀로그램 키보드를 구성할 수 있다. 여기서, 구성된 홀로그램 키보드는 홀로그램 프로젝터(217)을 통해 시야각 내 3차원 공간에 표시될 수 있다.When receiving an augmented reality security keyboard call command from the user terminal 20, the processor 203 may configure a hologram keyboard corresponding to the corresponding security app. Here, the configured hologram keyboard may be displayed in a 3D space within a viewing angle through the hologram projector 217 .
프로세서(203)는 사용자의 제스쳐/시선/음성 인식 결과에 기반하여 사용자에 의해 선택된 키패드를 식별할 수 있다.The processor 203 may identify a keypad selected by the user based on a result of the user's gesture/gaze/voice recognition.
프로세서(203)는 식별된 키패드에 관한 정보를 통신부(204)를 통해 사용자 단말(20)에 전송할 수 있다.The processor 203 may transmit information about the identified keypad to the user terminal 20 through the communication unit 204 .
홀로그램 프로젝터(217)는 증강 현실 화면 출력을 위해 사용될 수 있다. 특히, 홀로그램 프로젝터(217)는 증강 현실 보안 키보드를 출력하기 위해 사용될 수 있다.The hologram projector 217 may be used for augmented reality screen output. In particular, the hologram projector 217 may be used to output an augmented reality security keyboard.
실시 예로, 홀로그램 프로젝터(217)는 복수 개가 구비될 수 있으며, 각각의 홀로그램 프로젝터(217)는 증강 현실 보안 키보드 출력, 가상 화면 콘텐츠 출력, 증강 현실 글라스 메뉴 출력을 위해 사용될 수 있다.As an embodiment, a plurality of hologram projectors 217 may be provided, and each hologram projector 217 may be used to output an augmented reality security keyboard, output virtual screen content, and output an augmented reality glass menu.
도 4는 실시 예에 따른 AR 글라스에서의 증강 현실 키보드 제공 방법을 설명하기 위한 순서도이다.4 is a flowchart illustrating a method of providing an augmented reality keyboard in AR glasses according to an embodiment.
도 4를 참조하면, 증강 현실 글라스(10)는 전원이 ON되면(S410), 미리 설정된 사용자 단말(20)과 통신을 연결할 수 있다(S420). 일 예로, 증강 현실 글라스(10)와 사용자 단말(20) 사이의 통신은 블루투스 페어링을 통해 연결될 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시예에 따른 증강 현실 글라스(10)와 사용자 단말(20) 사이의 통신은 이동 통신망-예를 들면, 4G LTE 통신망 또는 5G NR 통신망-을 통해 연결될 수도 있다. 또 다른 실시 예로, 증강 현실 글라스(10)와 사용자 단말(20)은 4G LTE 표준 및 5G NR 표준에 정의된 D2D(Device to Device) 통신을 통해 상호 연결될 수도 있다.Referring to FIG. 4 , when the power is turned on (S410), the
증강 현실 글라스(10)는 증강 현실 키보드 출력이 필요한지 판단할 수 있다(S430). 일 예로, 사용자 단말(20)은 보안 필드 작성이 필요한 경우, 증강 현실 글라스(10)에 증강 현실 키보드 호출 명령을 전송할 수 있다. 증강 현실 글라스(10)는 증강 현실 키보드 호출 명령이 수신된 경우, 증강 현실 키보드 출력이 필요한 것으로 판단할 수 있다. The
증강 현실 글라스(10)는 증강 현실 키보드 출력이 필요한 경우, 증강 현실 글라스의 시야각(Field Of Vision, FOV)를 산출 또는 획득할 수 있다(S440). 일 예로, 증강 현실 글라스(10)의 시야각은 증강 현실 글라스에 구비된 센서의 성능 및 광학계 렌즈의 성능 등에 따라 상이할 수 있다. When an augmented reality keyboard output is required, the
실시 예에 따른 증강 현실 글라스(10)는 증강 현실 컨텐츠에 따라 적응적으로 시야각을 조절할 수도 있다. 실시 예로, 증강 현실 글라스(10)의 시야각은 가용한 범위 내에서 사용자의 설정에 따라 조절될 수도 있다.The
증강 현실 글라스(10)는 시야각에 기반하여 랜덤 공간 좌표를 생성할 수 있다(S450). 즉, 증강 현실 글라스(10)는 시야각 내의 복수의 3차원 공간 좌표(x,y,z)를 랜덤하게 생성할 수 있다. 여기서, 생성된 공간 좌표의 개수는 보안 필드 작성에 필요한 키패드의 개수에 대응될 수 있다. 일 예로, 보안 필드 작성에 필요한 키패드의 개수는 해당 보안 프로그램에 따라 상이할 수 있다. 예를 들어, 금융 거래에 사용되는 보안 키패드와 온라인 상품 구매에 사용되는 보안 키패드, 사용자 로그인에 사용되는 보안 키패드 등은 서로 상이할 수 있다.The
실시 예로, 3차원 공간 좌표는 현재 시간 정보, 현재 위치 정보 등을 시드 값(Seed Value)로 하여 랜덤하게 생성될 수 있다.As an embodiment, the 3D spatial coordinates may be randomly generated using current time information, current location information, and the like as seed values.
증강 현실 글라스(10)는 랜덤 공간 좌표에 기반하여 증강 현실 키패드를 생성 및 배치할 수 있다(S460). 여기서, 생성된 증강 현실 키패드는 홀로그램 프로젝터에 의해 3차원적으로 배치될 수 있다.The
증강 현실 글라스(10)는 사용자의 제스쳐 인식에 기반하여 사용자에 의해 선택된 키패드를 식별할 수 있다(S470).The
실시 예에 따른 증강 현실 글라스(10)는 사용자 제스쳐 인식이 아닌 컨트롤러와 같은 다른 수단을 통해 사용자에 의해 선택된 키패드를 식별할 수도 있다.The
일 예로, 컨트롤러는 무선 또는 유선으로 증강 현실 글라스(10)와 연결될 수 있으며, 사용자는 컨트롤러에 구비된 선택 수단-예들 들면, 터치 패널, 조그휠, 방향 제어 버튼 등-을 이용하여 원하는 키패드를 선택할 수 있다. 이때, 선택된 키패드에 상응하는 제어 신호(또는 제어 코드)가 증강 현실 글라스(10)로 전송될 수 있다. For example, the controller may be connected to the
다른 일 예로, 컨트롤러는 사용자 단말(20)에 탑재될 수도 있으며, 사용자는 사용자 단말(20)에 탑재된 컨트롤러를 이용하여 3차원 공간에 표시된 키패드를 선택할 수도 있다.As another example, the controller may be mounted on the user terminal 20, and the user may select a keypad displayed in the 3D space using the controller mounted on the user terminal 20.
증강 현실 글라스(10)는 식별된 키패드에 대한 정보를 사용자 단말(20)로 전송할 수 있다(S480). 이때, 사용자 단말(20)의 화면에는 사용자에 키패드 선택 결과가 표시될 수 있다.The
도 5는 다른 실시 예에 따른 증강 현실 글라스에서의 증강 현실 키보드 제공 방법을 설명하기 위한 순서도이다.5 is a flowchart illustrating a method of providing an augmented reality keyboard in augmented reality glasses according to another embodiment.
도 5를 참조하면, 증강 현실 글라스(10)는 전원이 ON되면(S510), 미리 설정된 사용자 단말(20)과 통신을 연결할 수 있다(S520). 일 예로, 증강 현실 글라스(10)와 사용자 단말(20) 사이의 통신은 블루투스 페어링을 통해 연결될 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시예에 따른 증강 현실 글라스(10)와 사용자 단말(20) 사이의 통신은 이동 통신망-예를 들면, 4G LTE 통신망 또는 5G NR 통신망-을 통해 연결될 수도 있다. 또 다른 실시 예로, 증강 현실 글라스(10)와 사용자 단말(20)은 4G LTE 표준 및 5G NR 표준에 정의된 D2D(Device to Device) 통신을 통해 상호 연결될 수도 있다.Referring to FIG. 5 , when the power is turned on (S510), the
증강 현실 글라스(10)는 증강 현실 키보드 호출 명령이 수신되었는지 판단할 수 있다(S530). 일 예로, 사용자 단말(20)은 보안 필드 작성이 필요한 경우, 증강 현실 글라스(10)에 보안 앱 식별 정보가 포함된 증강 현실 키보드 호출 명령을 전송할 수 있다. 증강 현실 글라스(10)는 증강 현실 키보드 호출 명령이 수신된 경우, 해당 보안 앱 식별 정보에 상응하는 증강 현실 키보드 생성이 필요한 것으로 판단할 수 있다. The
증강 현실 글라스(10)는 사용자의 증강 현실 글라스 착용 여부를 확인하고, 증강 현실 글라스 착용이 확인된 경우, 증강 현실 글라스를 착용한 사용자에 대한 인증을 수행할 수 있다(S540). 여기서, 사용자 인증은 생체 센싱 정보에 기반하여 수행될 수 있다. 일 예로, 생체 센싱 정보는 지문 인식 정보, 음성 지문 인식 정보, 홍체 인식 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되지는 않으며, 사용자에 대한 미리 설정된 질의 응답을 수행하여 사용자 인증이 수행될 수도 있다.The
증강 현실 글라스(10)는 사용자 인증에 성공한 경우, 증강 현실 글라스의 시야각(Field Of Vision, FOV)를 산출 또는 획득할 수 있다(S560). 일 예로, 증강 현실 글라스(10)의 시야각은 해당 글라스에 구비된 센서의 성능과 광학계 렌즈의 성능 등에 따라 상이할 수 있다. 증강 현실 글라스(10)에 구비된 메모리에는 시야각에 대한 정보가 사전 기록되어 유지될 수 있다. When user authentication is successful, the
실시 예에 따른 증강 현실 글라스(10)는 증강 현실 컨텐츠에 따라 적응적으로 시야각을 조절할 수도 있다. 다른 실시 예로, 증강 현실 글라스(10)의 시야각은 가용한 범위 내에서 사용자의 설정에 따라 조절될 수도 있다.The
증강 현실 글라스(10)는 시야각에 기반하여 랜덤 공간 좌표를 생성할 수 있다(S570). 즉, 증강 현실 글라스(10)는 시야각 내의 복수의 3차원 공간 좌표(x,y,z)를 랜덤하게 생성할 수 있다. 여기서, 생성된 3차원 공간 좌표의 개수는 보안 필드 작성에 필요한 키패드의 개수에 대응될 수 있다. 일 예로, 보안 필드 작성에 필요한 키패드의 개수는 보안 앱 식별 정보에 기반하여 동적으로 결정될 수 있다. 예를 들어, 금융 거래에 사용되는 보안 키패드와 온라인 상품 구매에 사용되는 보안 키패드 및 사용자 로그인에 사용되는 보안 키패드는 보안 필드 작성에 요구되는 키패드의 개수 및 종류가 서로 상이할 수 있다.The
실시 예로, 3차원 공간 좌표는 현재 시간 정보, 현재 위치 정보, 보안 앱 식별자 중 적어도 하나를 시드 값(Seed Value)으로 설정하여 랜덤하게 생성될 수 있다.As an embodiment, the 3D spatial coordinates may be randomly generated by setting at least one of current time information, current location information, and security app identifier as a seed value.
증강 현실 글라스(10)는 랜덤 공간 좌표에 기반하여 증강 현실 키패드를 생성 및 배치할 수 있다(S580). 여기서, 생성된 증강 현실 키패드는 홀로그램 프로젝터에 의해 3차원적으로 배치될 수 있다.The
증강 현실 글라스(10)는 사용자의 제스쳐 인식에 기반하여 사용자에 의해 선택된 키패드를 식별할 수 있다(S590).The
실시 예에 따른 증강 현실 글라스(10)는 사용자 제스쳐 인식이 아닌 별도 컨트롤러와 같은 다른 수단을 통해 사용자에 의해 선택된 키패드를 식별할 수도 있다.The
증강 현실 글라스(10)는 식별된 키패드에 대한 정보를 사용자 단말(20)로 전송할 수 있다(S591). 이때, 사용자 단말(20)의 화면에는 사용자에 키패드 선택 결과가 표시될 수 있다.The
상기 550 단계에서, 사용자 인증에 실패한 경우, 증강 현실 글라스(10)는 증강 현실 키보드 호출에 실패하였음을 지시하는 소정 응답 신호를 사용자 단말(20)에게 전송할 수 있다(561). 여기서, 응답 신호는 실패 이유에 대한 정보를 포함할 있다. 일 예로, 실패 이유는 사용자 인증 실패, 보안 앱 식별 실패 등을 포함할 수 있으나, 이에 한정되지는 않는다.In step 550, if user authentication fails, the
도 6은 실시 예에 따른 증강 현실 보안 키보드 시스템에서의 증강 현실 보안 키보드 입력 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating an augmented reality security keyboard input method in an augmented reality security keyboard system according to an embodiment.
도 6을 참조하면, 증강 현실 글라스(10)의 전원이 ON되면, 증강 현실 글라스(10)와 사용자 단말(20)은 소정 제어 절차를 통해 무선 통신 채널을 설정할 수 있다(S601). Referring to FIG. 6 , when power of the
사용자 단말(20)은 보안 앱이 실행된 후 보안 필드 작성 이벤트를 감지하면, 보안 앱 식별 정보가 포함된 증강 현실 키패드 호출 명령 메시지를 증강 현실 글라스(10)에 전송할 수 있다(S602 내지 S604).When the user terminal 20 detects a security field creation event after the security app is executed, it may transmit an augmented reality keypad call command message including security app identification information to the augmented reality glasses 10 (S602 to S604).
증강 현실 글라스(10)는 증강 현실 키패드 호출 명령을 수신하면, 증강 현실 글라스 기기 식별 정보 및 보안 앱 식별 정보가 포함된 증강 현실 키패드 생성 요청 메시지를 접속된 이동통신망을 통해 증강 현실 서버(40)로 전송할 수 있다(S605).When the
증강 현실 서버(40)는 증강 현실 키패드 생성 요청을 수신하면, 증강 현실 기기 키패드 홀로그램을 생성할 수 있다(S606). 일 예로, 증강 현실 서버(40)는 증강 현실 기기 식별 정보에 기반하여 해당 증강 현실 글라스(10)의 시야각을 결정하고, 보안 앱 식별 정보에 기반하여 결정된 시야각 내 표시될 키패드 홀로그램을 생성할 수 있다. 여기서, 키패드 홀로그램을 구성하는 키패드의 종류 및 개수는 보안 앱 식별 정보에 기반하여 동적으로 결정될 수 있다. 또한, 시야각 내 표시될 키패드의 3차원 공간 좌표는 랜덤하게 결정될 수 있다. 일 예로, 3차원 공간 좌표는 현재 시간 값, 증강 현실 글라스(10)의 현재 위치 값 중 어느 하나가 랜덤 함수의 시드 값으로 입력되어 생성될 수 있다.Upon receiving the augmented reality keypad generation request, the augmented reality server 40 may generate an augmented reality device keypad hologram (S606). For example, the augmented reality server 40 may determine the viewing angle of the corresponding augmented
증강 현실 서버(40)는 증강 현실 키패드 홀로그램이 포함된 증강 현실 키패드 생성 응답 메시지를 증강 현실 글라스(10)로 전송할 수 있다(S607).The augmented reality server 40 may transmit the augmented reality keypad creation response message including the augmented reality keypad hologram to the augmented reality glasses 10 (S607).
증강 현실 글라스(10)는 수신된 증강 현실 키패드 홀로그램을 구비된 홀로그램 프로젝터를 이용하여 3차원 공간에 출력할 수 있다(S608).The
증강 현실 글라스(10)는 사용자의 키패드 선택을 인식할 수 있다(S609). 여기서, 사용자의 키패드 선택은 사용자의 제스쳐 인식, 사용자의 시선 인식, 사용자의 음성 인식, 사용자의 컨트롤러 조절 신호 중 적어도 하나에 기반하여 인식될 수 있다. 일 예로, 홀로그램으로 출력된 키패드의 일측에는 3차원 좌표 정보 및/또는 별칭이 표시될 있다. 이 경우, 사용자는 선택 대상 키패드에 상응하는 3차원 좌표 및/또는 별칭을 발화하여 원하는 키패드를 선택할 수 있으며, 증강 현실 글라스(10)는 구비된 음성 인식 엔진을 이용하여 사용자에 의해 발화된 3차원 좌표 및/또는 별칭에 상응하는 키패드를 인식할 수 있다. 다른 일 예로, 사용자는 출력된 홀로그램 키보드 중 원하는 키패드를 손가락 제스쳐를 통해 선택할 수 있으며, 증강 현실 글라스(10)는 구비된 제스쳐 인식 수단(또는 엔진)을 통해 사용자의 손가락 제스쳐를 인식하여 사용자 선택된 키패드를 식별할 수 있다. 또 다른 일 예로, 사용자는 출력된 홀로그램 키보드 중 원하는 키패드를 일정시간 동안 응시할 수 있으며, 증강 현실 글라스(10)는 구비된 시선 인식 수단을 이용하여 사용자의 시선 방향을 인식하고, 인식된 시선 방향에 상응하는 키패드를 식별할 수 있다. 또 다른 일 예로, 사용자는 증강 현실 글라스(10)와 연동되는 별도의 컨트롤러를 이용하여 출력된 홀로그램 키보드의 원하는 키패드를 선택할 수도 있다.The
이상의 실시 예에서는 증강 현실 글라스(10)에 음성 인식 엔진, 시선 인식 엔진 및 제스쳐 인식 엔진이 탑재되어 사용자의 키패드 선택을 식별하는 것으로 설명하고 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예에 따른 증강 현실 글라스(10)는 외부 인공지능 서버(60)와의 연동을 통해 사용자의 키패드 선택을 식별할 수도 있다. 일 예로, 인공지능 서버(60)에는 음성 인식 엔진, 시선 인식 엔진 및 제스쳐 인식 엔진 중 적어도 하나가 탑재될 수 있으며, 인공지능 서버(60)는 증강 현실 글라스(10)로부터 수신된 센싱 정보에 기초로 기계 학습을 수행하여 사용자가 선택된 키패드를 식별할 수 있으며, 식별 결과를 사용자 단말(20) 또는 증강 현실 글라스(10)에 제공할 수도 있다.In the above embodiment, it has been described that the
증강 현실 글라스(10)는 사용자에 의한 키패드 선택 결과를 사용자 단말(20)로 전송할 수 있다(S610).The
사용자 단말(20)은 증강 현실 글라스(10)로부터 수신된 사용자의 키패드 선택 결과를 보안 필드에 표시할 수 있다(S611). 여기서, 보안 필드에 표시되는 정보는 상기 도 1 내지 2에 도시된 바와 같이, 타인이 실제 보안 코드를 식별할 수 없도록 소정 특수 문자-예를 들면, '*'-로 표시될 수 있다.The user terminal 20 may display the user's keypad selection result received from the augmented
상술한 바와 같이, 본 실시 예에 따른 방법은 제한된 성능을 가지는 증강 현실 글라스(10)를 클라우드 환경의 외부 서버(들)-예를 들면, 증강 현실 서버(40) 및 인공지능 서버(60)-과의 연동을 통해 보다 정확하게 사용자 선택 키패드를 식별할 수 있는 장점이 있다. 즉, 본 발명은 저비용/저사양의 증강 현실 글라스(10)를 통해서는 증강 현실 보안 서비스를 제공할 수 있는 장점이 있다.As described above, in the method according to the present embodiment, the
도 7은 또 다른 실시 예에 따른 증강 현실 보안 키보드 시스템 및 그것의 동작 절차를 설명하기 도면이다.7 is a diagram for explaining an augmented reality security keyboard system and its operating procedure according to another embodiment.
도 7을 참조하면, 증강 현실 보안 키보드 시스템(700)은 증강 현실 글라스(10), 사용자 단말(20) 및 컨트롤러(710, 720)를 포함하여 구성될 수 있다.Referring to FIG. 7 , an augmented reality
사용자의 키패드 선택은 사용자의 컨트롤러 조작을 통해 수행될 수도 있다. 일 예로, 컨트롤러는 도면 번호 710에 도시된 바와 같이, 사용자 단말(20)에 탑재될 수 있으나, 이는 하나의 실시 예에 불과하며, 도면 번호 720에 도시된 바와 같이, 별도의 하드웨어 장치로 구현되어 증강 현실 글라스(10)와 유선 또는 무선으로 연결될 수도 있다. 컨트롤러는 사용자에 의해 선택된 키패드에 상응하는 제어 코드 또는 3차원 좌표 정보를 증강 현실 글라스(10)에 전송하고, 증강 현실 글라스(10)는 컨트롤러로부터 수신된 제어 코드 또는 3차원 좌표 정보에 기반하여 사용자에 의해 선택된 키패드의 종류를 식별할 수 있다. The user's keypad selection may be performed through the user's controller operation. For example, as shown in
본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리 및/또는 스토리지)에 상주할 수도 있다. Steps of a method or algorithm described in connection with the embodiments disclosed herein may be directly implemented as hardware executed by a processor, a software module, or a combination of the two. A software module may reside in a storage medium (ie, memory and/or storage) such as RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, a removable disk, a CD-ROM.
예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.An exemplary storage medium is coupled to the processor, and the processor can read information from, and write information to, the storage medium. Alternatively, the storage medium may be integral with the processor. The processor and storage medium may reside within an application specific integrated circuit (ASIC). An ASIC may reside within a user terminal. Alternatively, the processor and storage medium may reside as separate components within a user terminal.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. The above description is merely an example of the technical idea of the present invention, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present invention.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.
Claims (23)
사용자 단말로부터 증강 현실 키보드 호출 명령을 수신하는 단계;
상기 명령에 따라 복수의 키패드로 구성된 증강 현실 키보드를 생성하는 단계;
상기 생성된 증강 현실 키보드를 3차원 공간에 표시하는 단계; 및
사용자에 의해 선택된 키패드를 식별하여 상기 사용자 단말로 전송하는 단계
를 포함하는, 방법.A method of providing an augmented reality security keyboard in augmented reality glasses, comprising:
Receiving an augmented reality keyboard call command from a user terminal;
generating an augmented reality keyboard composed of a plurality of keypads according to the command;
displaying the generated augmented reality keyboard in a 3D space; and
Identifying a keypad selected by a user and transmitting the selected keypad to the user terminal
Including, method.
상기 증강 현실 키보드를 생성하는 단계는,
상기 증강 현실 글라스의 시야각을 결정하는 단계;
상기 복수의 키패드에 대한 상기 시야각 내 3차원 공간 좌표를 랜덤하게 생성하는 단계; 및
상기 생성된 3차원 공간 좌표에 상기 복수의 키패드를 배치하여 상기 증강 현실 키보드를 생성하는 단계
를 포함하는, 방법.According to claim 1,
Generating the augmented reality keyboard,
determining a viewing angle of the augmented reality glasses;
randomly generating three-dimensional space coordinates within the viewing angle for the plurality of keypads; and
Generating the augmented reality keyboard by arranging the plurality of keypads at the generated three-dimensional spatial coordinates.
Including, method.
상기 증강 현실 키보드 호출 명령은 보안 앱 식별자를 포함하되, 상기 복수의 키패드의 종류 및 개수는 상기 보안 앱 식별자에 기반하여 결정되는, 방법.According to claim 2,
The augmented reality keyboard call command includes a security app identifier, wherein the type and number of the plurality of keypads are determined based on the security app identifier.
상기 증강 현실 키보드 호출 명령의 수신에 따라 상기 증강 현실 글라스를 착용한 사용자를 인증하는 단계를 더 포함하되,
상기 사용자 인증에 성공한 것에 기반하여 상기 증강 현실 키보드가 생성되는, 방법. According to claim 1,
Further comprising authenticating a user wearing the augmented reality glasses according to reception of the augmented reality keyboard call command,
The augmented reality keyboard is generated based on successful user authentication.
상기 증강 현실 글라스와 상기 사용자 단말 사이의 무선 통신 채널을 설정하는 단계를 더 포함하되,
상기 무선 통신 채널은 상기 사용자가 상기 증강 현실 글라스를 착용한 것에 기반하여 설정되는, 방법. According to claim 1,
Further comprising establishing a wireless communication channel between the augmented reality glasses and the user terminal,
Wherein the wireless communication channel is established based on the user wearing the augmented reality glasses.
상기 무선 통신 채널은 4G LTE 통신 채널, 5G NR 통신 채널, 와이파이 통신 채널, 블루투스 통신 채널 중 어느 하나인, 방법. According to claim 5,
The wireless communication channel is any one of a 4G LTE communication channel, a 5G NR communication channel, a Wi-Fi communication channel, and a Bluetooth communication channel.
상기 사용자의 키패드 선택은 상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나를 인식하여 식별되는, 방법.According to claim 1,
The user's keypad selection is identified by recognizing at least one of the user's gesture, gaze, and voice.
상기 사용자의 키패드 선택은 상기 증강 현실 글라스와 연동된 컨트롤러의 제어 신호에 기반하여 식별되는, 방법. According to claim 1,
The user's keypad selection is identified based on a control signal of a controller interlocked with the augmented reality glasses.
상기 컨트롤러는 상기 사용자 단말에 탑재되거나 별도 장치로 구비되어 상기 증강 현실 글라스와 유선 또는 무선으로 연결되는, 방법. According to claim 8,
The controller is mounted on the user terminal or provided as a separate device and is connected to the augmented reality glasses by wire or wirelessly.
상기 증강 현실 키보드는 상기 증강 현실 글라스에 구비된 홀로그램 프로젝터를 통해 3차원 공간에 표시되되,
상기 표시된 증강 현실 키보드는 상기 증강 현실 글라스를 착용한 사용자에 의해서만 보여지는 것을 특징으로 하는, 방법.According to claim 1,
The augmented reality keyboard is displayed in a three-dimensional space through a hologram projector provided in the augmented reality glass,
Characterized in that the displayed augmented reality keyboard is seen only by a user wearing the augmented reality glasses.
상기 증강 현실 글라스는 통신망을 통해 인공 지능 서버 및 증강 현실 서버와 연동되되,
상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나는 상기 인공 지능 서버와의 협업을 통해 인식되고, 상기 증강 현실 키보드는 상기 증강 현실 서버와의 협업을 통해 생성되는 것을 특징으로 하는, 방법.According to claim 7,
The augmented reality glasses are linked with an artificial intelligence server and an augmented reality server through a communication network,
Characterized in that at least one of the user's gesture, gaze, and voice is recognized through collaboration with the artificial intelligence server, and the augmented reality keyboard is generated through collaboration with the augmented reality server.
상기 동작들은,
사용자 단말로부터 증강 현실 키보드 호출 명령을 수신하는 단계;
상기 명령에 따라 복수의 키패드로 구성된 증강 현실 키보드를 생성하는 단계;
상기 생성된 증강 현실 키보드를 3차원 공간에 표시하는 단계; 및
사용자에 의해 선택된 키패드를 식별하여 상기 사용자 단말로 전송하는 단계
를 포함하는, 기록매체.A non-volatile computer readable recording medium storing at least one computer program comprising instructions that, when executed by at least one processor, cause the at least one processor to perform operations for providing an augmented reality keyboard,
These actions are
Receiving an augmented reality keyboard call command from a user terminal;
generating an augmented reality keyboard composed of a plurality of keypads according to the command;
displaying the generated augmented reality keyboard in a 3D space; and
Identifying a keypad selected by a user and transmitting the selected keypad to the user terminal
Including, a recording medium.
홀로그램을 출력하는 홀로그램 프로젝터; 및
상기 통신부를 통해 사용자 단말로부터 증강 현실 키보드 호출 명령이 수신된 것에 기반하여 복수의 키패드로 구성된 증강 현실 키보드를 생성하고, 상기 홀로그램 프로젝터를 통해 상기 생성된 증강 현실 키보드를 3차원 공간에 표시하고, 사용자에 의해 선택된 키패드를 식별하고, 상기 식별된 키패드에 대한 정보를 상기 통신부를 통해 상기 사용자 단말로 전송하는 적어도 하나의 프로세서
를 포함하는, 증강 현실 글라스.communications department;
a hologram projector that outputs a hologram; and
An augmented reality keyboard composed of a plurality of keypads is generated based on an augmented reality keyboard call command received from the user terminal through the communication unit, and the generated augmented reality keyboard is displayed in a 3D space through the hologram projector, and the user At least one processor for identifying the keypad selected by and transmitting information on the identified keypad to the user terminal through the communication unit
Including, augmented reality glasses.
상기 증강 현실 글라스의 시야각을 결정하는 시야각 결정부; 및
상기 복수의 키패드에 대한 상기 시야각 내 3차원 공간 좌표를 랜덤하게 생성하는 랜덤 공간 좌표 생성부
를 더 포함하되,
상기 증강 현실 키보드는 상기 생성된 3차원 공간 좌표에 상기 복수의 키패드를 배치하여 생성되는, 증강 현실 글라스.According to claim 13,
a viewing angle determining unit configured to determine a viewing angle of the augmented reality glasses; and
Random space coordinate generation unit for randomly generating 3D space coordinates within the viewing angle for the plurality of keypads
Including more,
Wherein the augmented reality keyboard is created by arranging the plurality of keypads at the generated three-dimensional spatial coordinates.
상기 증강 현실 키보드 호출 명령은 보안 앱 식별자를 포함하되, 상기 복수의 키패드의 종류 및 개수는 상기 보안 앱 식별자에 기반하여 결정되는, 증강 현실 글라스.According to claim 14,
The augmented reality keyboard call command includes a security app identifier, wherein the type and number of the plurality of keypads are determined based on the security app identifier.
상기 증강 현실 키보드 호출 명령의 수신에 따라 상기 증강 현실 글라스를 착용한 사용자를 인증하는 사용자 인증부를 더 포함하되,
상기 사용자 인증에 성공한 것에 기반하여 상기 증강 현실 키보드가 생성되는, 증강 현실 글라스. According to claim 13,
Further comprising a user authentication unit authenticating a user wearing the augmented reality glasses according to reception of the augmented reality keyboard call command,
The augmented reality glasses, wherein the augmented reality keyboard is generated based on the successful user authentication.
상기 통신부는 상기 프로세서의 제어 신호에 따라 상기 증강 현실 글라스와 상기 사용자 단말 사이의 무선 통신 채널을 설정하되,
상기 무선 통신 채널은 상기 사용자가 상기 증강 현실 글라스를 착용한 것에 기반하여 설정되는, 증강 현실 글라스. According to claim 13,
The communication unit sets a wireless communication channel between the augmented reality glasses and the user terminal according to a control signal of the processor,
Wherein the wireless communication channel is established based on the user wearing the augmented reality glasses.
상기 무선 통신 채널은 4G LTE 통신 채널, 5G NR 통신 채널, 와이파이 통신 채널, 블루투스 통신 채널 중 어느 하나인, 증강 현실 글라스. According to claim 17,
Wherein the wireless communication channel is any one of a 4G LTE communication channel, a 5G NR communication channel, a Wi-Fi communication channel, and a Bluetooth communication channel.
상기 증강 현실 글라스는 카메라 및 마이크를 더 포함하고,
상기 사용자의 키패드 선택은 상기 카메라 및 마이크를 통해 입력된 신호에 따라 상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나를 인식하여 식별되는, 증강 현실 글라스.According to claim 13,
The augmented reality glasses further include a camera and a microphone,
Wherein the user's keypad selection is identified by recognizing at least one of the user's gesture, gaze, and voice according to signals input through the camera and the microphone.
상기 사용자의 키패드 선택은 상기 증강 현실 글라스와 연동된 컨트롤러의 제어 신호에 기반하여 식별되는, 증강 현실 글라스. According to claim 13,
The user's keypad selection is identified based on a control signal of a controller interlocked with the augmented reality glasses.
상기 증강 현실 키보드는 상기 증강 현실 글라스를 착용한 사용자에 의해서만 보여지도록 표시되는 것을 특징으로 하는, 증강 현실 글라스.According to claim 13,
Characterized in that the augmented reality keyboard is displayed so as to be seen only by a user wearing the augmented reality glasses.
상기 증강 현실 글라스는 상기 통신부를 통해 클라우드 환경의 인공 지능 서버 및 증강 현실 서버와 연동되되,
상기 사용자의 제스쳐, 시선, 음성 중 적어도 하나는 상기 인공 지능 서버와의 협업을 통해 인식되고, 상기 증강 현실 키보드는 상기 증강 현실 서버와의 협업을 통해 생성되는 것을 특징으로 하는, 증강 현실 글라스.According to claim 19,
The augmented reality glasses are linked with an artificial intelligence server and an augmented reality server in a cloud environment through the communication unit,
Characterized in that, at least one of the user's gesture, gaze, and voice is recognized through collaboration with the artificial intelligence server, and the augmented reality keyboard is generated through collaboration with the augmented reality server.
상기 사용자 단말로부터 증강 현실 키보드 호출 명령이 수신된 것에 기반하여 복수의 키패드로 구성된 증강 현실 키보드를 생성 및 표시하고, 사용자 선택된 키보드를 식별하여 상기 사용자 단말로 전송하는 증강 현실 글라스
를 포함하는, 증강 현실 보안 키보드 시스템.A user terminal for generating an augmented reality keyboard call command based on the need to fill in a security field; and
Augmented reality glasses for generating and displaying an augmented reality keyboard composed of a plurality of keypads based on an augmented reality keyboard calling command received from the user terminal, identifying a user-selected keyboard, and transmitting the selected keyboard to the user terminal.
Including, augmented reality security keyboard system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210158900A KR102593934B1 (en) | 2021-11-17 | 2021-11-17 | Method of providing augmented reality security keyboard using augmented reality glass, and apparatus and system therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210158900A KR102593934B1 (en) | 2021-11-17 | 2021-11-17 | Method of providing augmented reality security keyboard using augmented reality glass, and apparatus and system therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230072303A true KR20230072303A (en) | 2023-05-24 |
| KR102593934B1 KR102593934B1 (en) | 2023-10-26 |
Family
ID=86540974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210158900A KR102593934B1 (en) | 2021-11-17 | 2021-11-17 | Method of providing augmented reality security keyboard using augmented reality glass, and apparatus and system therefor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102593934B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170021971A (en) * | 2015-08-18 | 2017-03-02 | 한국전자통신연구원 | Electronic device and method for unlocking thereof |
| US20180157820A1 (en) * | 2016-12-02 | 2018-06-07 | Bank Of America Corporation | Virtual Reality Dynamic Authentication |
| KR102219464B1 (en) * | 2014-05-23 | 2021-02-25 | 삼성전자주식회사 | Operating method and Electronic device for security |
| KR20210050321A (en) * | 2019-10-28 | 2021-05-07 | 네이버랩스 주식회사 | apparatus and method of displaying three dimensional augmented reality |
-
2021
- 2021-11-17 KR KR1020210158900A patent/KR102593934B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102219464B1 (en) * | 2014-05-23 | 2021-02-25 | 삼성전자주식회사 | Operating method and Electronic device for security |
| KR20170021971A (en) * | 2015-08-18 | 2017-03-02 | 한국전자통신연구원 | Electronic device and method for unlocking thereof |
| US20180157820A1 (en) * | 2016-12-02 | 2018-06-07 | Bank Of America Corporation | Virtual Reality Dynamic Authentication |
| KR20210050321A (en) * | 2019-10-28 | 2021-05-07 | 네이버랩스 주식회사 | apparatus and method of displaying three dimensional augmented reality |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102593934B1 (en) | 2023-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11288679B2 (en) | Augmented reality dynamic authentication for electronic transactions | |
| US11710110B2 (en) | Augmented reality dynamic authentication | |
| US10643210B2 (en) | Secure transactions using a personal device | |
| US10341113B2 (en) | Password management | |
| US10311223B2 (en) | Virtual reality dynamic authentication | |
| EP2998781B1 (en) | Communication device, system and method | |
| EP3001640B1 (en) | Secure information exchange methods and wearable device | |
| US9275213B2 (en) | Method and system for securing the entry of data to a device | |
| CN109891478A (en) | Method for protecting the transaction executed from non-security terminal | |
| EP3615156B1 (en) | Intuitive augmented reality collaboration on visual data | |
| JP2021185710A (en) | Authentication method and authentication system | |
| CN110866230B (en) | Authenticated device assisted user authentication | |
| Bianchi et al. | Open sesame: Design guidelines for invisible passwords | |
| CN110651268A (en) | Method and electronic equipment for authenticating user | |
| KR102593934B1 (en) | Method of providing augmented reality security keyboard using augmented reality glass, and apparatus and system therefor | |
| CN112334897A (en) | Method and electronic equipment for authenticating user | |
| US11416632B2 (en) | Methods, systems, and devices for segregated data backup | |
| JP2012173872A (en) | Information processing device, control method of information processing device, control program, and recording medium | |
| US20200026840A1 (en) | Authentication procedures with randomization of private input interface | |
| US20210250436A1 (en) | Mobile terminal and control method thereof | |
| EP3438861B1 (en) | Electronic device and method for superimposing password hint on biometric image | |
| US20240185194A1 (en) | Value transfer method and apparatus, and device | |
| TWI644232B (en) | Method and apparatus for password entering | |
| CN115333728A (en) | Data decryption method, data decryption device and storage medium | |
| KR20210136659A (en) | Electronic device for providing augmented reality service and operating method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |