KR102599022B1 - Electronic device manipulation method for ar glass apparatus and ar glass apparatus with electronic device manipulation function - Google Patents

Electronic device manipulation method for ar glass apparatus and ar glass apparatus with electronic device manipulation function Download PDF

Info

Publication number
KR102599022B1
KR102599022B1 KR1020220159849A KR20220159849A KR102599022B1 KR 102599022 B1 KR102599022 B1 KR 102599022B1 KR 1020220159849 A KR1020220159849 A KR 1020220159849A KR 20220159849 A KR20220159849 A KR 20220159849A KR 102599022 B1 KR102599022 B1 KR 102599022B1
Authority
KR
South Korea
Prior art keywords
electronic product
augmented reality
glass device
operation button
image
Prior art date
Application number
KR1020220159849A
Other languages
Korean (ko)
Inventor
최치원
이원석
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020220159849A priority Critical patent/KR102599022B1/en
Application granted granted Critical
Publication of KR102599022B1 publication Critical patent/KR102599022B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Abstract

본 발명은 증강현실 글래스 장치의 전자제품 조작 방법에 관한 것으로서, 보다 구체적으로는 연결된 전자제품을 제어하는 IoT 애플리케이션이 탑재된 증강현실 글래스 장치에서 각 단계가 수행되는 전자제품 조작 방법으로서, (1) 상기 IoT 애플리케이션을 통해 상기 증강현실 글래스 장치와 전자제품을 연결하는 단계; (2) 상기 증강현실 글래스 장치에 구비된 카메라에서 수집되는 영상으로부터 전자제품을 식별하는 단계; (3) 상기 IoT 애플리케이션에서, 상기 단계 (2)에서 식별된 전자제품에 대응하는 전자제품 조작 버튼을 생성하여 광학 디스플레이부에 전달하는 단계; (4) 상기 광학 디스플레이부에서 상기 식별된 전자제품의 주변에 상기 전자제품 조작 버튼을 증강 영상으로 출력하는 단계; (5) 상기 증강 영상으로 출력된 상기 전자제품 조작 버튼을 선택하는 사용자의 입력 신호를 수신하는 단계; 및 (6) 상기 IoT 애플리케이션이 상기 단계 (5)에서 수신한 입력 신호에 따라 선택된 버튼의 기능이 연결된 전자제품에서 수행되도록 제어하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 전자제품 조작 기능이 있는 증강현실 글래스 장치에 관한 것으로서, 보다 구체적으로는 연결된 전자제품을 제어하는 IoT 애플리케이션이 탑재된 증강현실 글래스 장치로서, 착용자의 눈 전방에 배치되어 현실 세계의 광의 적어도 일부를 투과하는 동시에, 디스플레이에서 출력되는 영상 광의 적어도 일부를 착용자의 눈 방향으로 전달하여 착용자에게 증강현실을 제공하는 광학 디스플레이부; 상기 IoT 애플리케이션을 통해 상기 증강현실 글래스 장치와 전자제품을 연결하는 전자제품 연결부; 상기 증강현실 글래스 장치에 구비된 카메라에서 수집되는 영상으로부터 전자제품을 식별하는 전자제품 식별부; 상기 IoT 애플리케이션에서, 상기 전자제품 식별부에서 식별된 전자제품에 대응하는 전자제품 조작 버튼을 생성하여 상기 광학 디스플레이부에 전달하는 조작 버튼 생성부; 상기 광학 디스플레이부에서 상기 식별된 전자제품의 주변에 상기 전자제품 조작 버튼을 증강 영상으로 출력하도록 제어하는 제어부; 및 상기 증강 영상으로 출력된 상기 전자제품 조작 버튼을 선택하는 사용자의 입력 신호를 수신하는 입력 신호 수신부를 포함하며, 상기 제어부는, 상기 IoT 애플리케이션을 통해 상기 입력 신호 수신부에서 수신한 입력 신호에 따라 선택된 버튼의 기능이, 상기 전자제품 연결부에서 연결된 전자제품에서 수행되도록 제어하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 증강현실 글래스 장치의 전자제품 조작 방법 및 전자제품 조작 기능이 있는 증강현실 글래스 장치에 따르면, IoT 애플리케이션을 증강현실 글래스 장치에 탑재하고, IoT 애플리케이션을 통해 증강현실 글래스 장치와 전자제품을 연결한 후, 증강현실 글래스 장치에서 카메라 영상을 통해 전자제품이 식별되면, 식별된 전자제품에 대응한 전자제품 조작 버튼이 증강 영상으로 출력되고, IoT 애플리케이션이 전자제품 조작 버튼을 이용한 사용자 입력 신호에 따라 연결된 전자제품을 제어함으로써, 증강현실 글래스 장치를 사용하는 중에 다른 전자제품을 제어해야 할 때, 해당 전자제품을 직접 접촉 제어하거나 해당 전자제품의 컨트롤러 등을 이용할 필요 없이, 제스처 등의 증강현실 글래스 장치의 인터페이스를 통해 다른 전자제품을 쉽게 제어할 수 있어 사용자의 편의가 크게 향상될 수 있다.The present invention relates to a method of operating electronic products of an augmented reality glass device, and more specifically, to a method of operating electronic products in which each step is performed in an augmented reality glass device equipped with an IoT application that controls connected electronic products, (1) Connecting the augmented reality glass device and electronic products through the IoT application; (2) identifying electronic products from images collected by a camera provided in the augmented reality glass device; (3) in the IoT application, generating an electronic product operation button corresponding to the electronic product identified in step (2) and transmitting it to the optical display unit; (4) outputting the electronic product operation button as an augmented image around the identified electronic product on the optical display unit; (5) receiving an input signal from a user selecting the electronic product operation button output as the augmented image; and (6) controlling the IoT application to perform the function of the selected button on the connected electronic product according to the input signal received in step (5).
In addition, the present invention relates to an augmented reality glass device with an electronic product manipulation function, and more specifically, an augmented reality glass device equipped with an IoT application that controls connected electronic products, which is placed in front of the wearer's eyes and provides a view of the real world. An optical display unit that transmits at least a portion of the light and transmits at least a portion of the image light output from the display toward the wearer's eyes to provide augmented reality to the wearer; An electronic product connector connecting the augmented reality glass device and electronic products through the IoT application; an electronic product identification unit that identifies electronic products from images collected by a camera provided in the augmented reality glass device; In the IoT application, an operation button generator that generates an electronic product operation button corresponding to the electronic product identified by the electronic product identification unit and transmits it to the optical display unit; a control unit that controls the optical display unit to output an augmented image of an electronic product operation button around the identified electronic product; and an input signal receiver that receives an input signal from a user who selects the electronic product operation button output as the augmented image, wherein the control unit selects the input signal according to the input signal received by the input signal receiver through the IoT application. The button's function is controlled to be performed on an electronic product connected to the electronic product connector.
According to the method of operating electronics of an augmented reality glass device and the augmented reality glass device with an electronic product operating function proposed in the present invention, an IoT application is mounted on the augmented reality glass device, and the augmented reality glass device and electronics are connected through the IoT application. After connecting the product, when the electronic product is identified through the camera image in the augmented reality glass device, the electronic product operation button corresponding to the identified electronic product is output as an augmented image, and the IoT application provides user input using the electronic product operation button. By controlling connected electronic products according to signals, when you need to control other electronic products while using an augmented reality glass device, you do not need to control the electronic product by touching it directly or use the controller of the electronic product, etc., and use augmented gestures, etc. User convenience can be greatly improved as other electronic products can be easily controlled through the interface of the Real Glass device.

Description

증강현실 글래스 장치의 전자제품 조작 방법 및 전자제품 조작 기능이 있는 증강현실 글래스 장치{ELECTRONIC DEVICE MANIPULATION METHOD FOR AR GLASS APPARATUS AND AR GLASS APPARATUS WITH ELECTRONIC DEVICE MANIPULATION FUNCTION}Electronics operation method of augmented reality glass device and augmented reality glass device with electronics operation function {ELECTRONIC DEVICE MANIPULATION METHOD FOR AR GLASS APPARATUS AND AR GLASS APPARATUS WITH ELECTRONIC DEVICE MANIPULATION FUNCTION}

본 발명은 전자제품 조작 방법 및 증강현실 글래스 장치에 관한 것으로서, 보다 구체적으로는 증강현실 글래스 장치의 전자제품 조작 방법 및 전자제품 조작 기능이 있는 증강현실 글래스 장치에 관한 것이다.The present invention relates to a method of operating electronic products and an augmented reality glass device. More specifically, it relates to a method of operating an electronic product and an augmented reality glass device with an electronic product operating function.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.In accordance with the trend toward lighter and smaller digital devices, various wearable devices are being developed. A head mounted display, a type of wearable device, refers to a variety of devices that a user can wear on their head to receive multimedia content. Here, a head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves. These head-mounted displays (HMDs) are divided into see-through and see-closed types. The see-through type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (Virtual Reality). It is used for Reality (VR).

최근 증강현실용 HMD의 개발과 보급이 이루어짐에 따라 다양한 용도로 증강현실용 HMD가 사용되고 있다. 이처럼 증강현실용 HMD의 이용이 늘어나면서, 증강현실용 HMD 이용 중에 다른 전자제품을 제어해야 하는 다양한 상황이 발생한다. 이런 상황에서는 일반적으로 증강현실용 HMD를 착용한 상태에서 전자제품을 직접 접촉하여 조작하거나, 해당 전자제품의 컨트롤러를 찾아서 이를 조작함으로써 전자제품을 제어하게 된다. 따라서 증강현실용 HMD의 기능을 활용해 좀 더 편리하게 다른 전자제품을 제어할 방법의 개발이 필요하다.Recently, with the development and distribution of HMDs for augmented reality, HMDs for augmented reality are being used for various purposes. As the use of augmented reality HMDs increases, various situations arise in which other electronic products must be controlled while using augmented reality HMDs. In this situation, the electronic product is generally controlled by directly contacting and operating the electronic product while wearing an augmented reality HMD, or by finding and manipulating the controller of the electronic product. Therefore, it is necessary to develop a method to control other electronic products more conveniently by utilizing the functions of the augmented reality HMD.

한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2019-0093966호(발명의 명칭: HMD 장치 및 그 동작 방법, 공개일자: 2019년 08월 12일) 등이 개시된 바 있다.Meanwhile, as prior art related to the present invention, Publication Patent No. 10-2019-0093966 (title of the invention: HMD device and method of operating the same, publication date: August 12, 2019) has been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, IoT 애플리케이션을 증강현실 글래스 장치에 탑재하고, IoT 애플리케이션을 통해 증강현실 글래스 장치와 전자제품을 연결한 후, 증강현실 글래스 장치에서 카메라 영상을 통해 전자제품이 식별되면, 식별된 전자제품에 대응한 전자제품 조작 버튼이 증강 영상으로 출력되고, IoT 애플리케이션이 전자제품 조작 버튼을 이용한 사용자 입력 신호에 따라 연결된 전자제품을 제어함으로써, 증강현실 글래스 장치를 사용하는 중에 다른 전자제품을 제어해야 할 때, 해당 전자제품을 직접 접촉 제어하거나 해당 전자제품의 컨트롤러 등을 이용할 필요 없이, 제스처 등의 증강현실 글래스 장치의 인터페이스를 통해 다른 전자제품을 쉽게 제어할 수 있어 사용자의 편의가 크게 향상될 수 있는, 증강현실 글래스 장치의 전자제품 조작 방법 및 전자제품 조작 기능이 있는 증강현실 글래스 장치를 제공하는 것을 그 목적으로 한다.The present invention was proposed to solve the above-mentioned problems of previously proposed methods. After mounting an IoT application on an augmented reality glass device and connecting the augmented reality glass device and electronic products through the IoT application, augmented reality When an electronic product is identified through a camera image in a glass device, the electronic product operation button corresponding to the identified electronic product is output as an augmented image, and the IoT application controls the connected electronic product according to the user input signal using the electronic product operation button. By doing so, when you need to control other electronic products while using the augmented reality glass device, you do not need to directly control the electronic product by touching it or use the controller of the electronic product, but you can use the interface of the augmented reality glass device, such as gestures, to control other electronic products. The purpose is to provide an augmented reality glass device with an electronic product manipulation method and an electronic product manipulation function that can easily control electronic products and greatly improve user convenience.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 증강현실 글래스 장치의 전자제품 조작 방법은,The electronic product manipulation method of the augmented reality glass device according to the characteristics of the present invention to achieve the above object is,

연결된 전자제품을 제어하는 IoT 애플리케이션이 탑재된 증강현실 글래스 장치에서 각 단계가 수행되는 전자제품 조작 방법으로서,A method of operating electronic products in which each step is performed in an augmented reality glass device equipped with an IoT application that controls connected electronic products,

(1) 상기 IoT 애플리케이션을 통해 상기 증강현실 글래스 장치와 전자제품을 연결하는 단계;(1) connecting the augmented reality glass device and electronic products through the IoT application;

(2) 상기 증강현실 글래스 장치에 구비된 카메라에서 수집되는 영상으로부터 전자제품을 식별하는 단계;(2) identifying electronic products from images collected by a camera provided in the augmented reality glass device;

(3) 상기 IoT 애플리케이션에서, 상기 단계 (2)에서 식별된 전자제품에 대응하는 전자제품 조작 버튼을 생성하여 광학 디스플레이부에 전달하는 단계;(3) in the IoT application, generating an electronic product operation button corresponding to the electronic product identified in step (2) and transmitting it to the optical display unit;

(4) 상기 광학 디스플레이부에서 상기 식별된 전자제품의 주변에 상기 전자제품 조작 버튼을 증강 영상으로 출력하는 단계;(4) outputting the electronic product operation button as an augmented image around the identified electronic product on the optical display unit;

(5) 상기 증강 영상으로 출력된 상기 전자제품 조작 버튼을 선택하는 사용자의 입력 신호를 수신하는 단계; 및(5) receiving an input signal from a user selecting the electronic product operation button output as the augmented image; and

(6) 상기 IoT 애플리케이션이 상기 단계 (5)에서 수신한 입력 신호에 따라 선택된 버튼의 기능이 연결된 전자제품에서 수행되도록 제어하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.(6) The IoT application is characterized in that it includes a step of controlling the function of the selected button to be performed on the connected electronic product according to the input signal received in step (5).

바람직하게는, 상기 단계 (2)는,Preferably, step (2) is,

(2-1) 상기 증강현실 글래스 장치에 구비된 카메라에서 수집되는 영상으로부터 전자제품의 외관을 스캔하는 단계;(2-1) scanning the exterior of the electronic product from the image collected by the camera provided in the augmented reality glass device;

(2-2) 딥러닝 기반으로 영상으로부터 전자제품의 종류를 식별하도록 학습 완료된 제품 식별 모델을 이용해, 상기 스캔한 전자제품의 외관 영상으로부터 전자제품의 종류를 식별하는 단계; 및(2-2) identifying the type of electronic product from the scanned exterior image of the electronic product using a product identification model that has been trained to identify the type of electronic product from the image based on deep learning; and

(2-3) 상기 식별된 전자제품의 종류를 상기 IoT 애플리케이션에 전달하는 단계를 포함할 수 있다.(2-3) It may include the step of transmitting the type of the identified electronic product to the IoT application.

더욱 바람직하게는, 상기 단계 (2-1) 이전에는,More preferably, before step (2-1),

(2-0) 상기 증강현실 글래스 장치를 착용한 사용자의 시선을 추적하는 단계를 더 포함하며,(2-0) Further comprising tracking the gaze of the user wearing the augmented reality glass device,

상기 단계 (2-1)에서는,In step (2-1),

상기 단계 (2-0)에서 추적한 사용자의 시선을 이용해, 상기 영상으로부터 사용자가 바라보는 전자제품의 외관을 스캔할 수 있다.Using the user's gaze tracked in step (2-0), the appearance of the electronic product as viewed by the user can be scanned from the image.

더욱 바람직하게는, 상기 단계 (2-2)에서는,More preferably, in step (2-2),

상기 단계 (1)에서 연결된 전자제품 중 어느 하나로 상기 전자제품의 종류를 식별할 수 있다.The type of electronic product can be identified as one of the electronic products connected in step (1).

바람직하게는, 상기 단계 (5)에서는,Preferably, in step (5),

상기 사용자의 입력 신호로, 상기 전자제품 조작 버튼을 선택하는 사용자의 제스처를 수신할 수 있다.As the user's input signal, the user's gesture for selecting the electronic product operation button may be received.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 전자제품 조작 기능이 있는 증강현실 글래스 장치는,An augmented reality glass device with an electronic product manipulation function according to the characteristics of the present invention to achieve the above object,

연결된 전자제품을 제어하는 IoT 애플리케이션이 탑재된 증강현실 글래스 장치로서,It is an augmented reality glass device equipped with an IoT application that controls connected electronic products.

착용자의 눈 전방에 배치되어 현실 세계의 광의 적어도 일부를 투과하는 동시에, 디스플레이에서 출력되는 영상 광의 적어도 일부를 착용자의 눈 방향으로 전달하여 착용자에게 증강현실을 제공하는 광학 디스플레이부;An optical display unit disposed in front of the wearer's eyes to transmit at least a portion of the light of the real world and at the same time transmit at least a portion of the image light output from the display toward the wearer's eyes to provide augmented reality to the wearer;

상기 IoT 애플리케이션을 통해 상기 증강현실 글래스 장치와 전자제품을 연결하는 전자제품 연결부;An electronic product connector connecting the augmented reality glass device and electronic products through the IoT application;

상기 증강현실 글래스 장치에 구비된 카메라에서 수집되는 영상으로부터 전자제품을 식별하는 전자제품 식별부;an electronic product identification unit that identifies electronic products from images collected by a camera provided in the augmented reality glass device;

상기 IoT 애플리케이션에서, 상기 전자제품 식별부에서 식별된 전자제품에 대응하는 전자제품 조작 버튼을 생성하여 상기 광학 디스플레이부에 전달하는 조작 버튼 생성부;In the IoT application, an operation button generator that generates an electronic product operation button corresponding to the electronic product identified by the electronic product identification unit and transmits it to the optical display unit;

상기 광학 디스플레이부에서 상기 식별된 전자제품의 주변에 상기 전자제품 조작 버튼을 증강 영상으로 출력하도록 제어하는 제어부; 및a control unit that controls the optical display unit to output an augmented image of an electronic product operation button around the identified electronic product; and

상기 증강 영상으로 출력된 상기 전자제품 조작 버튼을 선택하는 사용자의 입력 신호를 수신하는 입력 신호 수신부를 포함하며,An input signal receiver that receives an input signal from a user who selects the electronic product operation button output as the augmented image,

상기 제어부는,The control unit,

상기 IoT 애플리케이션을 통해 상기 입력 신호 수신부에서 수신한 입력 신호에 따라 선택된 버튼의 기능이, 상기 전자제품 연결부에서 연결된 전자제품에서 수행되도록 제어하는 것을 그 구성상의 특징으로 한다.A feature of its configuration is that the function of the button selected according to the input signal received from the input signal receiving unit through the IoT application is controlled to be performed on the electronic product connected to the electronic product connection unit.

바람직하게는, 상기 전자제품 식별부는,Preferably, the electronic product identification unit,

상기 증강현실 글래스 장치에 구비된 카메라에서 수집되는 영상으로부터 전자제품의 외관을 스캔하는 외관 스캔 모듈;an exterior scanning module that scans the exterior of the electronic product from images collected by a camera provided in the augmented reality glass device;

딥러닝 기반으로 영상으로부터 전자제품의 종류를 식별하도록 학습 완료된 제품 식별 모델을 이용해, 상기 스캔한 전자제품의 외관 영상으로부터 전자제품의 종류를 식별하는 제품 식별 모듈; 및a product identification module that identifies the type of electronic product from the scanned exterior image of the electronic product using a product identification model that has been trained to identify the type of electronic product from the image based on deep learning; and

상기 식별된 전자제품의 종류를 상기 IoT 애플리케이션에 전달하는 정보 전달 모듈을 포함할 수 있다.It may include an information transmission module that transmits the type of the identified electronic product to the IoT application.

더욱 바람직하게는,More preferably,

상기 증강현실 글래스 장치를 착용한 사용자의 시선을 추적하는 시선 추적부를 더 포함하며,It further includes a gaze tracking unit that tracks the gaze of the user wearing the augmented reality glass device,

상기 외관 스캔 모듈에서는,In the exterior scan module,

상기 시선 추적부에서 추적한 사용자의 시선을 이용해, 상기 영상으로부터 사용자가 바라보는 전자제품의 외관을 스캔할 수 있다.Using the user's gaze tracked by the gaze tracking unit, the appearance of the electronic product as viewed by the user can be scanned from the image.

본 발명에서 제안하고 있는 증강현실 글래스 장치의 전자제품 조작 방법 및 전자제품 조작 기능이 있는 증강현실 글래스 장치에 따르면, IoT 애플리케이션을 증강현실 글래스 장치에 탑재하고, IoT 애플리케이션을 통해 증강현실 글래스 장치와 전자제품을 연결한 후, 증강현실 글래스 장치에서 카메라 영상을 통해 전자제품이 식별되면, 식별된 전자제품에 대응한 전자제품 조작 버튼이 증강 영상으로 출력되고, IoT 애플리케이션이 전자제품 조작 버튼을 이용한 사용자 입력 신호에 따라 연결된 전자제품을 제어함으로써, 증강현실 글래스 장치를 사용하는 중에 다른 전자제품을 제어해야 할 때, 해당 전자제품을 직접 접촉 제어하거나 해당 전자제품의 컨트롤러 등을 이용할 필요 없이, 제스처 등의 증강현실 글래스 장치의 인터페이스를 통해 다른 전자제품을 쉽게 제어할 수 있어 사용자의 편의가 크게 향상될 수 있다.According to the method of operating electronics of an augmented reality glass device and the augmented reality glass device with an electronic product operating function proposed in the present invention, an IoT application is mounted on the augmented reality glass device, and the augmented reality glass device and electronics are connected through the IoT application. After connecting the product, when the electronic product is identified through the camera image in the augmented reality glass device, the electronic product operation button corresponding to the identified electronic product is output as an augmented image, and the IoT application provides user input using the electronic product operation button. By controlling connected electronic products according to signals, when you need to control other electronic products while using an augmented reality glass device, you do not need to control the electronic product by touching it directly or use the controller of the electronic product, etc., and use augmented gestures, etc. User convenience can be greatly improved as other electronic products can be easily controlled through the interface of the Real Glass device.

도 1은 본 발명의 일실시예에 따른 증강현실 글래스 장치의 전자제품 조작 방법 및 전자제품 조작 기능이 있는 증강현실 글래스 장치를 설명하기 위해 도시한 도면.
도 2는 본 발명의 일실시예에 따른 전자제품 조작 기능이 있는 증강현실 글래스 장치의 세부적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 전자제품 조작 기능이 있는 증강현실 글래스 장치에서, 전자제품 식별부의 세부적인 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 증강현실 글래스 장치의 전자제품 조작 방법의 흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 증강현실 글래스 장치의 전자제품 조작 방법의 단계 S200에서, 증강현실 글래스 장치가 전자제품을 인식하는 모습을 예를 들어 도시한 도면.
도 6은 본 발명의 일실시예에 따른 증강현실 글래스 장치의 전자제품 조작 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 증강현실 글래스 장치의 전자제품 조작 방법의 단계 S400에서, 전자제품 조작 버튼이 출력된 모습을 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 증강현실 글래스 장치의 전자제품 조작 방법의 단계 S500에서, 전자제품 조작 버튼을 제스처로 조작하는 모습을 예를 들어 도시한 도면.FIG. 1 is a diagram illustrating an augmented reality glass device with an electronic product manipulation method and an electronic product manipulation function according to an embodiment of the present invention.
Figure 2 is a diagram showing the detailed configuration of an augmented reality glass device with an electronic product operation function according to an embodiment of the present invention.
Figure 3 is a diagram showing the detailed configuration of an electronic product identification unit in an augmented reality glass device with an electronic product manipulation function according to an embodiment of the present invention.
Figure 4 is a diagram illustrating the flow of an electronic product manipulation method of an augmented reality glass device according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of an augmented reality glass device recognizing an electronic product in step S200 of a method of manipulating an electronic product by an augmented reality glass device according to an embodiment of the present invention.
Figure 6 is a diagram illustrating the detailed flow of step S200 in the electronic product manipulation method of the augmented reality glasses device according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating, as an example, an electronic product operation button displayed in step S400 of the electronic product operation method of the augmented reality glass device according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating an example of manipulating an electronic product operation button with a gesture in step S500 of a method for operating an electronic product in an augmented reality glasses device according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, with reference to the attached drawings, preferred embodiments will be described in detail so that those skilled in the art can easily practice the present invention. However, when describing preferred embodiments of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the same symbols are used throughout the drawings for parts that perform similar functions and actions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.Additionally, throughout the specification, when a part is said to be 'connected' to another part, this is not only the case when it is 'directly connected', but also when it is 'indirectly connected' with another element in between. Includes. Additionally, ‘including’ a certain component does not mean excluding other components, but rather including other components, unless specifically stated to the contrary.

도 1은 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법 및 전자제품(20) 조작 기능이 있는 증강현실 글래스 장치(10)를 설명하기 위해 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법 및 전자제품(20) 조작 기능이 있는 증강현실 글래스 장치(10)는, 증강현실 글래스 장치(10)에 IoT 애플리케이션(11)을 탑재하고, IoT 애플리케이션(11)을 통해 증강현실 글래스 장치(10)와 전자제품(20)을 연결하여, 증강현실 글래스 장치(10)에서 전자제품(20)이 제어되도록 구현할 수 있다.1 is a diagram illustrating a method of operating an electronic product 20 of an augmented reality glass device 10 according to an embodiment of the present invention and an augmented reality glass device 10 with a function of operating the electronic product 20. am. As shown in FIG. 1, the method of operating the electronic product 20 of the augmented reality glass device 10 according to an embodiment of the present invention and the augmented reality glass device 10 with the function of operating the electronic product 20 include, The IoT application 11 is mounted on the augmented reality glass device 10, and the augmented reality glass device 10 and the electronic product 20 are connected through the IoT application 11, so that the augmented reality glass device 10 can The product 20 can be implemented to be controlled.

여기서, 전자제품(20)은 도 1에 도시된 바와 같이 에어컨, 텔레비전, 온도/습도 컨트롤러, 프로젝터 등일 수 있으나 이에 한정되는 것은 아니며, 스마트폰, 노트북, 태블릿 PC, 조명 컨트롤러, 세탁기, 건조기, 냉장고, 인덕션, 정수기, 청소기, 스타일러, 공기청정기, 가습기, 선풍기, 공기 순환 장치 등 다양할 수 있다.Here, the electronic products 20 may be, but are not limited to, an air conditioner, television, temperature/humidity controller, projector, etc. as shown in FIG. 1, and may include a smartphone, laptop, tablet PC, lighting controller, washing machine, dryer, and refrigerator. , induction, water purifier, vacuum cleaner, styler, air purifier, humidifier, fan, air circulation device, etc.

이때, 증강현실 글래스 장치(10)와 전자제품(20)은 네트워크를 통해 연결될 수 있는데, 여기서 네트워크는 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다. 다만, 연결 방식이나 네트워크의 종류에 한정되는 것은 아니고, 연결된 증강현실 글래스 장치(10)와 전자제품(20)이 제어 신호를 주고받을 수 있다면 다양한 방식과 종류가 적용될 수 있다.At this time, the augmented reality glass device 10 and the electronic product 20 may be connected through a network, where the network includes a mobile radio communication network, a satellite communication network, Bluetooth, Wibro (Wireless Broadband Internet), It can be implemented with all types of wireless networks, such as High Speed Downlink Packet Access (HSDPA), Long Term Evolution (LTE), and 3/4/5/6th Generation Mobile Telecommunication (3/4/5/6G). However, it is not limited to the connection method or type of network, and various methods and types can be applied as long as the connected augmented reality glass device 10 and the electronic product 20 can exchange control signals.

도 2는 본 발명의 일실시예에 따른 전자제품(20) 조작 기능이 있는 증강현실 글래스 장치(10)의 세부적인 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 전자제품(20) 조작 기능이 있는 증강현실 글래스 장치(10)는, 연결된 전자제품(20)을 제어하는 IoT 애플리케이션(11)이 탑재된 증강현실 글래스 장치(10)로서, 착용자의 눈 전방에 배치되어 현실 세계의 광의 적어도 일부를 투과하는 동시에, 디스플레이에서 출력되는 영상 광의 적어도 일부를 착용자의 눈 방향으로 전달하여 착용자에게 증강현실을 제공하는 광학 디스플레이부(100); IoT 애플리케이션(11)을 통해 증강현실 글래스 장치(10)와 전자제품(20)을 연결하는 전자제품 연결부(200); 증강현실 글래스 장치(10)에 구비된 카메라에서 수집되는 영상으로부터 전자제품(20)을 식별하는 전자제품 식별부(300); IoT 애플리케이션(11)에서, 전자제품 식별부(300)에서 식별된 전자제품(20)에 대응하는 전자제품 조작 버튼(21)을 생성하여 광학 디스플레이부(100)에 전달하는 조작 버튼 생성부(500); 광학 디스플레이부(100)에서 식별된 전자제품(20)의 주변에 전자제품 조작 버튼(21)을 증강 영상으로 출력하도록 제어하는 제어부(600); 및 증강 영상으로 출력된 전자제품 조작 버튼(21)을 선택하는 사용자의 입력 신호를 수신하는 입력 신호 수신부(700)를 포함하여 구성될 수 있으며, 증강현실 글래스 장치(10)를 착용한 사용자의 시선을 추적하는 시선 추적부(400)와 센서부(800)를 더 포함하여 구성될 수 있다. 제어부(600)는, IoT 애플리케이션(11)을 통해 입력 신호 수신부(700)에서 수신한 입력 신호에 따라 선택된 버튼의 기능이, 전자제품 연결부(200)에서 연결된 전자제품(20)에서 수행되도록 제어할 수 있다.FIG. 2 is a diagram showing the detailed configuration of an augmented reality glass device 10 with a function for operating an electronic product 20 according to an embodiment of the present invention. As shown in FIG. 2, the augmented reality glass device 10 with the function of operating electronic products 20 according to an embodiment of the present invention is equipped with an IoT application 11 that controls the connected electronic products 20. The augmented reality glass device 10 is disposed in front of the wearer's eyes and transmits at least a portion of the light in the real world, while transmitting at least a portion of the image light output from the display toward the wearer's eyes to provide augmented reality to the wearer. an optical display unit 100; An electronic product connection unit 200 that connects the augmented reality glass device 10 and the electronic product 20 through the IoT application 11; an electronic product identification unit 300 that identifies the electronic product 20 from images collected by a camera provided in the augmented reality glass device 10; In the IoT application 11, an operation button generator 500 generates an electronic product operation button 21 corresponding to the electronic product 20 identified in the electronic product identification unit 300 and transmits it to the optical display unit 100. ); A control unit 600 that controls the electronic product operation button 21 to output an augmented image around the electronic product 20 identified in the optical display unit 100; and an input signal receiver 700 that receives an input signal from a user who selects an electronic product operation button 21 output as an augmented image, and the gaze of the user wearing the augmented reality glasses device 10. It may be configured to further include a gaze tracking unit 400 and a sensor unit 800 that track. The control unit 600 controls the function of the button selected according to the input signal received from the input signal receiver 700 through the IoT application 11 to be performed on the electronic product 20 connected to the electronic product connection unit 200. You can.

여기서, 증강현실 글래스 장치(10)는, 사용자가 머리에 착용해 증강현실을 제공받는 착용형 디스플레이 장치일 수 있다. 증강현실 글래스 장치(10)는 광학 디스플레이부(100)를 통해 착용자에게 증강현실을 제공할 수 있다.Here, the augmented reality glass device 10 may be a wearable display device that the user wears on the head and provides augmented reality. The augmented reality glass device 10 can provide augmented reality to the wearer through the optical display unit 100.

광학 디스플레이부(100)는, 착용자의 양안의 전방에 배치되며, 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공할 수 있다. 즉, 광학 디스플레이부(100)는, 증강현실 글래스 장치(10)를 착용한 착용자의 양안의 전방에 배치되며, 증강현실 글래스 장치(10)의 AR 또는 XR(eXtended Reality, 확장 현실) 글라스에 해당하는 구성으로서, 도 2에 도시된 바와 같이 디스플레이(110) 및 광학계(120)를 포함하여 구성될 수 있다.The optical display unit 100 is disposed in front of both eyes of the wearer and can provide augmented reality by combining real world light and image light. That is, the optical display unit 100 is disposed in front of both eyes of the wearer wearing the augmented reality glass device 10, and corresponds to the AR or XR (eXtended Reality) glasses of the augmented reality glass device 10. As a configuration, it may be configured to include a display 110 and an optical system 120 as shown in FIG. 2.

디스플레이(110)는, 영상 정보가 착용자에게 제공될 수 있도록 영상 광을 출력할 수 있다. 보다 구체적으로, 디스플레이(110)는, 영상 정보가 착용자에게 제공될 수 있도록, 이하에서 상세히 설명할 광학계(120)에 결합해, 광학계(120)에 의해 착용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이(110)로 구성될 수 있다. 디스플레이(110)는 OLED, LCoS(Liquid Crystal on Silicon) 등 다양하게 구성될 수 있다.The display 110 may output image light so that image information can be provided to the wearer. More specifically, the display 110 is coupled to the optical system 120, which will be described in detail below, so that image information can be provided to the wearer, and outputs image light transmitted by the optical system 120 toward the wearer's eyes. and may be composed of a pair of displays 110 for binocular display. The display 110 may be configured in various ways, such as OLED or Liquid Crystal on Silicon (LCoS).

광학계(120)는, 증강현실 글래스 장치(10)를 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공할 수 있다. 보다 구체적으로, 광학계(120)는, 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 디스플레이(110)에서 출력되는 영상 광의 적어도 일부를 착용자의 눈 방향으로 전달하여 증강현실을 제공할 수 있다. 즉, 광학계(120)는 증강현실 글래스 장치(10)를 착용한 착용자가 증강현실을 경험할 수 있도록 구성될 수 있다. 또한, 광학계(120)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 도파관 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.The optical system 120 is disposed in front of both eyes of the wearer wearing the augmented reality glass device 10 and can provide augmented reality by combining real world light and image light. More specifically, the optical system 120 transmits at least a portion of the light of the real world through the wearer's field of view and transmits at least a portion of the image light output from the display 110 toward the wearer's eyes to create an augmented reality. can be provided. That is, the optical system 120 may be configured so that a wearer wearing the augmented reality glasses device 10 can experience augmented reality. In addition, the optical system 120 is composed of a plurality of lenses and mirrors and can be implemented in various ways, for example, an optical diffraction method, a waveguide method, a beam splitter method, a pin mirror method, etc.

도 3은 본 발명의 일실시예에 따른 전자제품(20) 조작 기능이 있는 증강현실 글래스 장치(10)에서, 전자제품 식별부(300)의 세부적인 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 전자제품(20) 조작 기능이 있는 증강현실 글래스 장치(10)의 전자제품 식별부(300)는, 증강현실 글래스 장치(10)에 구비된 카메라에서 수집되는 영상으로부터 전자제품(20)의 외관을 스캔하는 외관 스캔 모듈(310); 딥러닝 기반으로 영상으로부터 전자제품(20)의 종류를 식별하도록 학습 완료된 제품 식별 모델을 이용해, 스캔한 전자제품(20)의 외관 영상으로부터 전자제품(20)의 종류를 식별하는 제품 식별 모듈(320); 및 식별된 전자제품(20)의 종류를 IoT 애플리케이션(11)에 전달하는 정보 전달 모듈(330)을 포함하여 구성될 수 있다.FIG. 3 is a diagram illustrating the detailed configuration of the electronic product identification unit 300 in the augmented reality glass device 10 with the function of operating electronic products 20 according to an embodiment of the present invention. As shown in FIG. 3, the electronic product identification unit 300 of the augmented reality glass device 10 with the function of operating the electronic product 20 according to an embodiment of the present invention is attached to the augmented reality glass device 10. An exterior scan module 310 that scans the exterior of the electronic product 20 from images collected by a provided camera; A product identification module 320 that identifies the type of the electronic product 20 from the scanned exterior image of the electronic product 20 using a product identification model that has been trained to identify the type of the electronic product 20 from the image based on deep learning. ); and an information transmission module 330 that transmits the type of the identified electronic product 20 to the IoT application 11.

도 4는 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법의 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법은, 연결된 전자제품(20)을 제어하는 IoT 애플리케이션(11)이 탑재된 증강현실 글래스 장치(10)에서 각 단계가 수행되는 전자제품(20) 조작 방법으로서, IoT 애플리케이션(11)을 통해 증강현실 글래스 장치(10)와 전자제품(20)을 연결하는 단계(S100), 카메라에서 수집되는 영상으로부터 전자제품(20)을 식별하는 단계(S200), 식별된 전자제품(20)에 대응하는 전자제품 조작 버튼(21)을 생성하여 광학 디스플레이부(100)에 전달하는 단계(S300), 식별된 전자제품(20)의 주변에 전자제품 조작 버튼(21)을 증강 영상으로 출력하는 단계(S400), 전자제품 조작 버튼(21)을 선택하는 사용자의 입력 신호를 수신하는 단계(S500) 및 선택된 버튼의 기능이 연결된 전자제품(20)에서 수행되도록 제어하는 단계(S600)를 포함하여 구현될 수 있다.FIG. 4 is a diagram illustrating the flow of a method of operating the electronic product 20 of the augmented reality glass device 10 according to an embodiment of the present invention. As shown in FIG. 4, the method of operating the electronic product 20 of the augmented reality glass device 10 according to an embodiment of the present invention is equipped with an IoT application 11 that controls the connected electronic product 20. A method of operating an electronic product 20 in which each step is performed in the augmented reality glass device 10, comprising: connecting the augmented reality glass device 10 and the electronic product 20 through an IoT application 11 (S100); Identifying the electronic product 20 from the image collected by the camera (S200), generating an electronic product operation button 21 corresponding to the identified electronic product 20 and transmitting it to the optical display unit 100 ( S300), outputting the electronic product operation button 21 as an augmented image around the identified electronic product 20 (S400), receiving an input signal from the user selecting the electronic product operation button 21 ( It may be implemented including S500) and controlling the function of the selected button to be performed on the connected electronic product 20 (S600).

본 발명은 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법에 관한 것으로서, 본 발명의 특징에 따른 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법은, 도 1 내지 도 3에 도시된 바와 같은 본 발명의 일실시예에 따른 전자제품(20) 조작 기능이 있는 증강현실 글래스 장치(10)에서 각 단계가 수행될 수 있다. 이하에서는 설명의 편의를 위해, 각 단계를 수행하는 주체는 생략될 수 있다.The present invention relates to a method of operating the electronic product 20 of the augmented reality glass device 10. The method of operating the electronic product 20 of the augmented reality glass device 10 according to the characteristics of the present invention is as shown in FIGS. 1 to 3. Each step can be performed in the augmented reality glass device 10 with the function of operating the electronic product 20 according to an embodiment of the present invention as shown in . Below, for convenience of explanation, the subject performing each step may be omitted.

단계 S100에서는, IoT 애플리케이션(11)을 통해 증강현실 글래스 장치(10)와 전자제품(20)을 연결할 수 있다. 즉, 단계 S100에서는, 증강현실 글래스 장치(10)에서 IoT 애플리케이션(11)을 구동하고 연결 가능한 전자제품(20)을 검색하여 페어링하고 등록함으로써, 증강현실 글래스 장치(10)와 전자제품(20)을 연결할 수 있다. 실시예에 따라서, 인증코드 등을 이용해 인증을 처리한 후 연결함으로써, 안전하게 두 장치가 연결될 수 있다. 단계 S100에서 두 장치가 연결되면, 증강현실 글래스 장치(10)의 IoT 애플리케이션(11)을 이용해 전자제품(20)을 제어할 수 있게 된다.In step S100, the augmented reality glass device 10 and the electronic product 20 can be connected through the IoT application 11. That is, in step S100, the augmented reality glass device 10 and the electronic product 20 are connected by running the IoT application 11 and searching for, pairing, and registering the connectable electronic product 20. can be connected. Depending on the embodiment, the two devices can be safely connected by performing authentication using an authentication code or the like and then connecting. When the two devices are connected in step S100, the electronic product 20 can be controlled using the IoT application 11 of the augmented reality glass device 10.

단계 S200에서는, 증강현실 글래스 장치(10)에 구비된 카메라에서 수집되는 영상으로부터 전자제품(20)을 식별할 수 있다. 즉, 증강현실 글래스 장치(10)에는 착용자의 전방을 향하도록 카메라가 설치될 수 있는데, 단계 S200에서는, 이 카메라에서 수집되는 영상을 이용해 전자제품(20)을 식별할 수 있다. 보다 구체적으로, 단계 S200에서는 딥러닝 기반의 비전 인식을 통해 영상에서 전자제품(20)을 식별할 수 있다.In step S200, the electronic product 20 can be identified from the image collected by the camera provided in the augmented reality glass device 10. That is, a camera may be installed in the augmented reality glass device 10 to face in front of the wearer, and in step S200, the electronic product 20 can be identified using the image collected by the camera. More specifically, in step S200, the electronic product 20 can be identified in the image through deep learning-based vision recognition.

도 5는 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법의 단계 S200에서, 증강현실 글래스 장치(10)가 전자제품(20)을 인식하는 모습을 예를 들어 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법에서는, 증강현실 글래스 장치(10)의 시야에 전자제품(20) 중 하나인 에어컨이 보이면, 착용자의 시야 방향으로 설치되어 있는 카메라가 에어컨이 포함된 착용자의 시야 영상을 촬영하고, 전자제품 식별부(300)가 촬영된 영상으로부터 에어컨을 식별할 수 있다.Figure 5 is an example of the augmented reality glasses device 10 recognizing the electronic product 20 in step S200 of the method of operating the electronic product 20 by the augmented reality glass device 10 according to an embodiment of the present invention. This is a drawing showing an example. As shown in FIG. 5, in the method of operating the electronic product 20 of the augmented reality glass device 10 according to an embodiment of the present invention, one of the electronic products 20 is in the field of view of the augmented reality glass device 10. When the air conditioner is visible, a camera installed in the wearer's viewing direction captures an image of the wearer's field of view including the air conditioner, and the electronic product identification unit 300 can identify the air conditioner from the captured image.

도 6은 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법의 단계 S200은, 카메라에서 수집되는 영상으로부터 전자제품(20)의 외관을 스캔하는 단계(S210), 제품 식별 모델을 이용해, 스캔한 전자제품(20)의 외관 영상으로부터 전자제품(20)의 종류를 식별하는 단계(S220) 및 식별된 전자제품(20)의 종류를 IoT 애플리케이션(11)에 전달하는 단계(S230)를 포함하여 구현될 수 있으며, 단계 S210 이전에 사용자의 시선을 추적하는 단계(S205)를 더 포함하여 구현될 수 있다.FIG. 6 is a diagram illustrating the detailed flow of step S200 in the method of operating the electronic product 20 of the augmented reality glass device 10 according to an embodiment of the present invention. As shown in FIG. 6, step S200 of the method of operating the electronic product 20 of the augmented reality glass device 10 according to an embodiment of the present invention determines the appearance of the electronic product 20 from the image collected by the camera. A scanning step (S210), a step of identifying the type of the electronic product 20 from the exterior image of the scanned electronic product 20 using a product identification model (S220), and the type of the identified electronic product 20 using IoT. It may be implemented including a step of transmitting to the application 11 (S230), and may further include a step of tracking the user's gaze before step S210 (S205).

단계 S205에서는, 증강현실 글래스 장치(10)를 착용한 사용자의 시선을 추적할 수 있다. 시선 추적은 증강현실 글래스 장치(10)의 시선 추적부(400)에서 착용자의 동공 위치를 특정해 추적할 수 있다. 보다 구체적으로, 시선 추적부(400)는, 착용자의 눈 방향으로 설치된 아이트래킹 카메라로 구현될 수 있다. 즉, 광학 디스플레이부(100)의 안쪽에 착용자의 눈을 향하도록 설치된 아이트래킹 카메라를 사용해 착용자의 눈동자 위치를 특정하고 추적할 수 있다.In step S205, the gaze of the user wearing the augmented reality glasses device 10 can be tracked. Eye tracking can be tracked by specifying the position of the wearer's pupil in the eye tracking unit 400 of the augmented reality glass device 10. More specifically, the eye tracking unit 400 may be implemented as an eye tracking camera installed toward the wearer's eyes. In other words, the position of the wearer's eyes can be specified and tracked using an eye tracking camera installed inside the optical display unit 100 facing the wearer's eyes.

실시예에 따라서, 시선 추적부(400)는, 아이트래킹 카메라에서 획득한 눈 이미지를 딥러닝 기반의 이미지 처리 알고리즘으로 처리해, 동공 위치를 실시간으로 특정할 수 있다. 여기서, 이미지 처리 알고리즘은 인공지능 기반으로 학습 완료된 동공 추적 모델일 수 있으며, 비전 트랜스포머 기반의 동공 추적 모델로 빠르고 정확하게 동공 움직임을 트래킹할 수 있다.Depending on the embodiment, the gaze tracker 400 may process an eye image acquired from an eye tracking camera with a deep learning-based image processing algorithm to specify the pupil location in real time. Here, the image processing algorithm may be a pupil tracking model that has been trained based on artificial intelligence, and the pupil movement can be tracked quickly and accurately with a vision transformer-based pupil tracking model.

특히, 시선 추적부(400)는 적외선 카메라에서 촬영된 적외선 영상으로부터 착용자 시선을 추적할 수 있다. 적외선 카메라를 사용하면 어두운 환경에서도 효과적으로 동공 추적을 할 수 있다. 또한, 적외선 영상은 단일채널 이미지로, 적외선 영상을 사용해 동공을 추적하면 이미지 처리에 사용되는 계산 비용을 줄일 수 있으므로, 증강현실 글래스 장치(10)의 임베디드 환경에서도 동공 추적을 효과적으로 수행할 수 있다. 특히, 머리에 착용하는 증강현실 글래스 장치(10)는 무게가 무거우면 목과 어깨에 부담이 되고 머리 움직임이 제한되어 장시간 착용이 어려우므로, 경량화 및 소형화가 중요하다. 따라서 증강현실 글래스 장치(10)에 많은 계산 자원을 탑재할 수 없으므로, 단일채널 이미지인 적외선 영상을 사용해 임베디드 환경에서 사용할 수 있도록 계산 비용을 줄일 수 있다.In particular, the gaze tracker 400 can track the wearer's gaze from an infrared image captured by an infrared camera. Using an infrared camera, you can effectively track your pupils even in dark environments. In addition, infrared images are single-channel images, and tracking the pupil using the infrared image can reduce the computational cost used in image processing, so pupil tracking can be effectively performed even in the embedded environment of the augmented reality glass device 10. In particular, if the augmented reality glass device 10 worn on the head is heavy, it puts a burden on the neck and shoulders and head movement is restricted, making it difficult to wear for a long time, so it is important to make it lightweight and compact. Therefore, since many computational resources cannot be mounted on the augmented reality glass device 10, the computational cost can be reduced so that it can be used in an embedded environment by using an infrared image, which is a single-channel image.

한편, 시선 추적부(400)는, 복수의 카메라와 적외선 광 패턴을 사용하여 보다 정확하게 시선을 추적할 수 있다. 보다 구체적으로, 시선 추적부(400)는, 광학 디스플레이부(100)의 주변으로 착용자의 눈을 향하도록 설치되는 복수의 카메라; 광학 디스플레이부(100)의 주변으로 착용자의 눈을 향하도록 설치되어, 착용자의 눈에 미리 정해진 패턴의 적외선 광을 출력하는 복수의 일루미네이터; 및 카메라에서 촬영된 눈 및 적외선 광의 패턴을 포함하는 이미지를 이용해 착용자의 동공 위치를 특정하는 위치 특정 모듈을 포함하여 구성될 수 있다. 즉, 복수의 카메라와 복수의 일루미네이터를 착용자의 시야를 가리지 않도록 광학 디스플레이부(100)의 주변에서 착용자의 동공을 향하도록 설치하여 시선 추적부(400)를 구성할 수 있다. 특히, 각 눈에 대해 적어도 둘 이상의 카메라를 설치해 복수의 눈 이미지를 조합함으로써, 근거리의 촬영 각도에 따른 한계를 극복하고 정확하게 동공 위치를 파악할 수 있다.Meanwhile, the gaze tracker 400 can track gaze more accurately using a plurality of cameras and an infrared light pattern. More specifically, the eye tracking unit 400 includes a plurality of cameras installed around the optical display unit 100 to point towards the wearer's eyes; A plurality of illuminators installed around the optical display unit 100 to face the wearer's eyes and output infrared light of a predetermined pattern to the wearer's eyes; and a location specification module that specifies the location of the wearer's pupil using an image including a pattern of eyes and infrared light captured by a camera. That is, the gaze tracking unit 400 can be configured by installing a plurality of cameras and a plurality of illuminators to face the wearer's pupil around the optical display unit 100 so as not to block the wearer's field of view. In particular, by installing at least two cameras for each eye and combining multiple eye images, it is possible to overcome limitations due to close shooting angles and accurately determine the pupil location.

시선 추적부(400)는, 복수의 일루미네이터가 눈에 영향이 적은 적외선을 이용해 미리 정해진 패턴의 광을 착용자의 눈에 생성할 수 있다. 복수의 카메라는 미리 정해진 패턴의 광이 표시된 착용자의 눈을 고해상도 이미지로 취득할 수 있다. 여기서, 일루미네이터가 생성하는 적외선 광은 격자 형태일 수 있으나, 그 외에도 정확한 위치 측정에 도움이 된다면 다양한 형태일 수 있다. 위치 특정 모듈은, 미리 정해진 패턴의 적외선 광이 표시된 고해상도 눈 이미지를 사용해 동공 위치를 특정할 수 있다. 이때, 서로 다른 각도에서 둘 이상의 카메라로부터 취득한 눈 이미지를 결합해 동공 위치를 특정함으로써, 시야를 방해하지 않는 근안 위치에서 눈을 촬영함에 따른 오차를 상호 보정하고, 정확하게 동공 위치를 특정할 수 있다.The eye tracking unit 400 may generate light of a predetermined pattern to the wearer's eyes using a plurality of illuminators using infrared rays that have little effect on the eyes. A plurality of cameras can acquire high-resolution images of the wearer's eyes displaying a predetermined pattern of light. Here, the infrared light generated by the illuminator may be in the form of a grid, but may also be in various other forms if it is helpful in accurate position measurement. The positioning module can determine pupil position using a high-resolution eye image marked with a predetermined pattern of infrared light. At this time, by combining eye images acquired from two or more cameras at different angles and specifying the pupil position, errors resulting from photographing the eye at a near eye position that does not interfere with the field of view can be mutually corrected and the pupil position can be accurately specified.

단계 S210에서는, 증강현실 글래스 장치(10)에 구비된 카메라에서 수집되는 영상으로부터 전자제품(20)의 외관을 스캔할 수 있다. 즉, 영상을 스캔하여 전자제품(20)에 해당하는 객체를 검출할 수 있다. 보다 구체적으로, 단계 S210에서는, 단계 S205에서 추적한 사용자의 시선을 이용해, 영상으로부터 사용자가 바라보는 전자제품(20)의 외관을 스캔할 수 있다. 즉, 증강현실 글래스 장치(10)를 통해 사용자의 시야에 보이는 현실 세계에는 다양한 전자제품(20)이 있을 수 있는데, 외관 스캔 모듈(310)이 그중에서 사용자의 시선이 머무는 전자제품(20)을 스캔해 객체를 검출할 수 있다.In step S210, the exterior of the electronic product 20 can be scanned from the image collected by the camera provided in the augmented reality glass device 10. In other words, an object corresponding to the electronic product 20 can be detected by scanning the image. More specifically, in step S210, the appearance of the electronic product 20 as viewed by the user can be scanned from the image using the user's gaze tracked in step S205. In other words, there may be various electronic products 20 in the real world visible to the user through the augmented reality glass device 10, and the exterior scan module 310 selects the electronic product 20 on which the user's gaze rests. Objects can be detected by scanning.

단계 S220에서는, 딥러닝 기반으로 영상으로부터 전자제품(20)의 종류를 식별하도록 학습 완료된 제품 식별 모델을 이용해, 스캔한 전자제품(20)의 외관 영상으로부터 전자제품(20)의 종류를 식별할 수 있다. 즉, 단계 S220에서는, 단계 S210에서 스캔한 전자제품(20)의 외관을 제품 식별 모델의 입력으로 하여, 전자제품(20)의 종류를 분류한 출력을 얻을 수 있다. 보다 구체적으로, 단계 S220에서는, 단계 S100에서 연결된 전자제품(20) 중 어느 하나로 전자제품(20)의 종류를 식별할 수 있다. 즉, 도 1에 도시된 바와 같이, 단계 S100에서 연결된 전자제품(20)이 에어컨, 텔레비전, 온도/습도 컨트롤러, 프로젝터라면, 단계 S220의 제품 식별 모델은 전자제품(20) 외관 영상으로부터 에어컨, 스마트 TV, 온도 컨트롤러 또는 프로젝터로 분류해 전자제품(20)의 종류를 식별할 수 있다.In step S220, the type of the electronic product 20 can be identified from the scanned exterior image of the electronic product 20 using a product identification model that has been trained to identify the type of the electronic product 20 from the image based on deep learning. there is. That is, in step S220, the appearance of the electronic product 20 scanned in step S210 is used as an input to the product identification model, and an output classifying the type of the electronic product 20 can be obtained. More specifically, in step S220, the type of electronic product 20 may be identified as one of the electronic products 20 connected in step S100. That is, as shown in FIG. 1, if the electronic product 20 connected in step S100 is an air conditioner, television, temperature/humidity controller, or projector, the product identification model in step S220 is an air conditioner, a smart device, etc. from the exterior image of the electronic product 20. You can identify the types of electronics (20) by classifying them as TVs, temperature controllers, or projectors.

한편, 단계 S210의 전자제품(20)의 외관 스캔과 단계 S220의 전자제품(20)의 종류 식별은, 입력 영상에서 객체 검출 및 분류를 통합하여 처리하는 딥러닝 기반 학습 완료 모델에 의해 처리될 수 있다. 따라서 단계 S210과 단계 S220이 하나의 제품 식별 모델에서 연속적으로 처리될 수 있다.Meanwhile, the exterior scan of the electronic product 20 in step S210 and the type identification of the electronic product 20 in step S220 can be processed by a deep learning-based learned model that integrates object detection and classification in the input image. there is. Therefore, steps S210 and S220 can be processed sequentially in one product identification model.

단계 S230에서는, 식별된 전자제품(20)의 종류를 IoT 애플리케이션(11)에 전달할 수 있다. 즉, 단계 S230에서는, 단계 S220의 출력 결과인 전자제품(20)의 종류에 관한 정보를 IoT 애플리케이션(11)에 전달할 수 있다.In step S230, the type of the identified electronic product 20 may be transmitted to the IoT application 11. That is, in step S230, information about the type of electronic product 20, which is the output result of step S220, can be transmitted to the IoT application 11.

단계 S300에서는, IoT 애플리케이션(11)에서, 단계 S200에서 식별된 전자제품(20)에 대응하는 전자제품 조작 버튼(21)을 생성하여 광학 디스플레이부(100)에 전달할 수 있다. 이때, 전자제품 조작 버튼(21)은, 식별된 전자제품(20)의 종류에 따라 상이할 수 있으며, 해당 전자제품(20)을 제어할 수 있는 적어도 하나 이상의 가상 버튼으로 구성될 수 있다. 보다 구체적으로, 증강현실 글래스 장치(10)는 단계 S100에서 연결된 전자제품(20)에 대응하는 전자제품 조작 버튼(21)에 관한 정보를 매칭한 매칭 테이블을 저장하고, 단계 S300에서 IoT 애플리케이션(11)이 전자제품(20)의 종류를 전달받으면 매칭 테이블을 이용해 식별된 전자제품(20)에 적합한 전자제품 조작 버튼(21)을 생성할 수 있다.In step S300, the IoT application 11 may generate an electronic product operation button 21 corresponding to the electronic product 20 identified in step S200 and transmit it to the optical display unit 100. At this time, the electronic product operation button 21 may be different depending on the type of the identified electronic product 20, and may be composed of at least one virtual button capable of controlling the corresponding electronic product 20. More specifically, the augmented reality glasses device 10 stores a matching table matching information about the electronic product operation button 21 corresponding to the connected electronic product 20 in step S100, and stores the IoT application (11) in step S300. ) When the type of electronic product 20 is received, an electronic product operation button 21 suitable for the identified electronic product 20 can be created using a matching table.

단계 S400에서는, 광학 디스플레이부(100)에서 식별된 전자제품(20)의 주변에 전자제품 조작 버튼(21)을 증강 영상으로 출력할 수 있다. 즉, 단계 S400에서는 광학 디스플레이부(100)로 투과되어 보이는 현실 세계의 전자제품(20) 주변에, 단계 S300에서 생성된 전자제품 조작 버튼(21)을 영상 정보로 출력하여 증강현실을 제공할 수 있다. 이때, 전자제품(20)의 주변은 전자제품(20)으로부터 미리 설정된 거리 이내일 수 있으며, 전자제품(20)의 일측에 전자제품 조작 버튼(21)을 출력할 수 있고, 사용자가 전자제품(20)의 제어를 위한 것이라고 인식하고 쉽게 조작할 수 있는 위치라면, 구체적인 위치는 얼마든지 변경될 수 있다.In step S400, the electronic product operation button 21 may be output as an augmented image around the electronic product 20 identified in the optical display unit 100. That is, in step S400, augmented reality can be provided by outputting the electronic product operation button 21 generated in step S300 as image information around the electronic product 20 in the real world that is visible through the optical display unit 100. there is. At this time, the surroundings of the electronic product 20 may be within a preset distance from the electronic product 20, the electronic product operation button 21 may be output on one side of the electronic product 20, and the user may use the electronic product (20). As long as it is recognized as being for control of 20) and can be easily manipulated, the specific location can be changed as much as desired.

도 7은 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법의 단계 S400에서, 전자제품 조작 버튼(21)이 출력된 모습을 예를 들어 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법의 단계 S400에서는, 식별된 전자제품(20)의 좌측에 전자제품 조작 버튼(21)을 출력할 수 있다. 이때, 전자제품 조작 버튼(21)이 어느 전자제품(20)을 제어하기 위한 것인지 사용자가 직관적으로 파악할 수 있도록, 도 7에 도시된 바와 같이 전자제품 조작 버튼(21)의 배경을 전자제품(20)과 일부 겹치도록 표시할 수 있으며, 전자제품 조작 버튼(21)을 전자제품(20)과 선으로 연결해 표시할 수도 있다.FIG. 7 is a diagram illustrating, as an example, the electronic product operation button 21 output in step S400 of the method of operating the electronic product 20 of the augmented reality glass device 10 according to an embodiment of the present invention. . As shown in FIG. 7, in step S400 of the method of operating the electronic product 20 of the augmented reality glass device 10 according to an embodiment of the present invention, an electronic product operation button is placed on the left side of the identified electronic product 20. (21) can be output. At this time, so that the user can intuitively understand which electronic product 20 the electronic product operation button 21 is intended to control, the background of the electronic product operation button 21 is changed to the electronic product 20 as shown in FIG. ) and can be displayed partially overlapping, and the electronic product operation button 21 can also be displayed by connecting it with the electronic product 20 with a line.

단계 S500에서는, 증강 영상으로 출력된 전자제품 조작 버튼(21)을 선택하는 사용자의 입력 신호를 수신할 수 있다. 보다 구체적으로, 단계 S500에서는, 사용자의 입력 신호로, 전자제품 조작 버튼(21)을 선택하는 사용자의 제스처를 수신할 수 있다.In step S500, an input signal from a user selecting the electronic product operation button 21 output as an augmented image may be received. More specifically, in step S500, the user's gesture for selecting the electronic product operation button 21 may be received as the user's input signal.

도 8은 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법의 단계 S500에서, 전자제품 조작 버튼(21)을 제스처로 조작하는 모습을 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법의 단계 S500에서는, 사용자가 전자제품 조작 버튼(21)을 구성하는 가상 버튼을 터치나 클릭하는 제스처를 이용해 사용자 입력 신호를 입력할 수 있다. 이와 같이, 증강현실 글래스 장치(10)에서 사용하는 제스처 인터페이스를 통해, 전자제품(20)을 직접 접촉하거나 별도의 전자제품(20) 컨트롤러 없이 쉽고 빠르게 전자제품(20)을 제어할 수 있다.FIG. 8 shows, for example, manipulating the electronic product operation button 21 with a gesture in step S500 of the method of operating the electronic product 20 of the augmented reality glass device 10 according to an embodiment of the present invention. It is a drawing. As shown in FIG. 8, in step S500 of the method of operating the electronic product 20 of the augmented reality glass device 10 according to an embodiment of the present invention, the user uses a virtual button constituting the electronic product operation button 21. You can input user input signals using gestures such as touching or clicking. In this way, through the gesture interface used in the augmented reality glass device 10, the electronic product 20 can be easily and quickly controlled without directly touching the electronic product 20 or having a separate electronic product 20 controller.

단계 S600에서는, IoT 애플리케이션(11)이 단계 S500에서 수신한 입력 신호에 따라 선택된 버튼의 기능이 연결된 전자제품(20)에서 수행되도록 제어할 수 있다. 예를 들어, 도 8에서 사용자가 위쪽 방향 화살표 모양의 버튼을 선택하면, 에어컨의 설정 온도를 한 단계 높이는 기능이 전자제품(20)에서 수행되도록 제어할 수 있다.In step S600, the IoT application 11 may control the connected electronic product 20 to perform the function of the button selected according to the input signal received in step S500. For example, if the user selects the upward arrow-shaped button in FIG. 8, the electronic product 20 can be controlled to perform a function of increasing the set temperature of the air conditioner by one level.

한편, 단계 S400에서는, 사용자별로 미리 설정된 주 사용 손에 따라 전자제품 조작 버튼(21)의 출력 위치를 결정할 수 있다. 예를 들어, 주 사용 손이 오른손으로 설정된 사용자에 대해서는 전자제품 조작 버튼(21)을 전자제품(20)의 우측에 출력하고, 주 사용 손이 왼손으로 설정된 사용자에 대해서는 전자제품 조작 버튼(21)을 좌측에 출력할 수 있다. 이때, 주 사용 손은 각 사용자가 직접 설정할 수 있으나, 사용자의 사용 패턴 분석을 통해 자동으로 설정될 수도 있다.Meanwhile, in step S400, the output position of the electronic product operation button 21 can be determined according to the dominant hand preset for each user. For example, for a user whose main hand is set to the right hand, the electronic product operation button 21 is output on the right side of the electronic product 20, and for a user whose main hand is set to the left hand, the electronic product operation button 21 is displayed. can be output on the left. At this time, each user can set the dominant hand, but it can also be set automatically through analysis of the user's usage patterns.

실시예에 따라서, 단계 S400에서는, 시야에 인식된 사용자의 손 위치에 따라 전자제품 조작 버튼(21)의 출력 위치를 자동으로 변경할 수 있다. 즉, 도 7 및 도 8에 도시된 바와 같이 전자제품(20)의 좌측에 전자제품 조작 버튼(21)이 증강 영상으로 출력된 상태에서, 사용자가 오른손을 전자제품(20)의 우측에 위치시키면, 제어부(600)는 전자제품 조작 버튼(21)을 전자제품(20)의 우측으로 이동해 출력할 수 있다. 따라서 사용자가 제스처 입력에 편한 손을 사용해 입력 신호를 입력할 수 있다.Depending on the embodiment, in step S400, the output position of the electronic product operation button 21 may be automatically changed according to the position of the user's hand recognized in the field of view. That is, as shown in FIGS. 7 and 8, when the electronic product operation button 21 is output as an augmented image on the left side of the electronic product 20, and the user places his right hand on the right side of the electronic product 20, , the control unit 600 can output the electronic product operation button 21 by moving it to the right side of the electronic product 20. Therefore, the user can input the input signal using the hand that is comfortable for gesture input.

한편, 센서부(800)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 보다 구체적으로 홍채 인식 센서 등을 포함할 수 있다. 실시예에 따라서, 전자제품 연결부(200)는 전자제품(20)의 연결 정보를 사용자 인증 정보와 대응해 저장하고, 착용자가 사용자 인증을 하면, 사용자 인증 정보와 대응된 전자제품(20)의 연결 정보를 사용할 수 있다. 따라서 하나의 증강현실 글래스 장치(10)를 공유해 사용하는 복수의 사용자들이, 사용자마다 서로 다른 전자제품(20)을 연결해 사용할 수 있다. 또한, 주 사용 손, 전자제품 조작 버튼(21)의 사용자 맞춤형 디자인, 전자제품 조작 버튼(21)의 출력 위치 등의 개인화 정보를 사용자별로 사용자 인증 정보와 대응해 저장하고, 사용자 인증에 따라 해당 사용자의 개인화 정보를 불러와 전자제품(20) 조작 기능을 구동할 수 있다. 이때, 사용자 인증은 센서부(800)에 포함된 홍채 인식 센서를 사용할 수 있다.Meanwhile, the sensor unit 800 may include at least one sensor, and more specifically, may include an iris recognition sensor. Depending on the embodiment, the electronic product connection unit 200 stores connection information of the electronic product 20 in correspondence with user authentication information, and when the wearer authenticates the user, the electronic product 20 corresponding to the user authentication information is connected. Information is available. Therefore, multiple users who share and use one augmented reality glass device 10 can connect and use different electronic products 20 for each user. In addition, personalized information such as the dominant hand, the user-customized design of the electronic product operation button 21, and the output location of the electronic product operation button 21 are stored in correspondence with user authentication information for each user, and the corresponding user is stored according to user authentication. It is possible to retrieve the personalized information and operate the electronic product 20 operation function. At this time, user authentication may use an iris recognition sensor included in the sensor unit 800.

전술한 바와 같이, 본 발명에서 제안하고 있는 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법 및 전자제품(20) 조작 기능이 있는 증강현실 글래스 장치(10)에 따르면, IoT 애플리케이션(11)을 증강현실 글래스 장치(10)에 탑재하고, IoT 애플리케이션(11)을 통해 증강현실 글래스 장치(10)와 전자제품(20)을 연결한 후, 증강현실 글래스 장치(10)에서 카메라 영상을 통해 전자제품(20)이 식별되면, 식별된 전자제품(20)에 대응한 전자제품 조작 버튼(21)이 증강 영상으로 출력되고, IoT 애플리케이션(11)이 전자제품 조작 버튼(21)을 이용한 사용자 입력 신호에 따라 연결된 전자제품(20)을 제어함으로써, 증강현실 글래스 장치(10)를 사용하는 중에 다른 전자제품(20)을 제어해야 할 때, 해당 전자제품(20)을 직접 접촉 제어하거나 해당 전자제품(20)의 컨트롤러 등을 이용할 필요 없이, 제스처 등의 증강현실 글래스 장치(10)의 인터페이스를 통해 다른 전자제품(20)을 쉽게 제어할 수 있어 사용자의 편의가 크게 향상될 수 있다.As described above, according to the method of operating the electronic product 20 of the augmented reality glass device 10 proposed in the present invention and the augmented reality glass device 10 with the function of operating the electronic product 20, IoT application (11) ) is mounted on the augmented reality glass device 10, the augmented reality glass device 10 and the electronic product 20 are connected through the IoT application 11, and then the augmented reality glass device 10 displays a camera image. When the electronic product 20 is identified, the electronic product operation button 21 corresponding to the identified electronic product 20 is output as an augmented image, and the IoT application 11 provides user input using the electronic product operation button 21. By controlling the connected electronic product 20 according to the signal, when it is necessary to control another electronic product 20 while using the augmented reality glass device 10, the electronic product 20 can be controlled by direct contact or the electronic product 20 can be controlled by directly contacting the electronic product 20. User convenience can be greatly improved because other electronic products 20 can be easily controlled through the interface of the augmented reality glass device 10, such as gestures, without the need to use the controller of 20.

한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.Meanwhile, the present invention may include a computer-readable medium containing program instructions for performing operations implemented in various communication terminals. For example, computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD_ROM and DVD, and floptical disks. It may include magneto-optical media and hardware devices specifically configured to store and perform program instructions, such as ROM, RAM, flash memory, etc.

이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Such computer-readable media may include program instructions, data files, data structures, etc., singly or in combination. At this time, program instructions recorded on a computer-readable medium may be specially designed and configured to implement the present invention, or may be known and available to those skilled in the computer software art. For example, it may include not only machine language code such as that produced by a compiler, but also high-level language code that can be executed by a computer using an interpreter, etc.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those skilled in the art, and the scope of the technical idea according to the present invention should be determined by the claims below.

10: 증강현실 글래스 장치
11: IoT 애플리케이션
20: 전자제품
21: 전자제품 조작 버튼
100: 광학 디스플레이부
110: 디스플레이
120: 광학계
200: 전자제품 연결부
300: 전자제품 식별부
310: 외관 스캔 모듈
320: 제품 식별 모듈
330: 정보 전달 모듈
400: 시선 추적부
500: 조작 버튼 생성부
600: 제어부
700: 입력 신호 수신부
800: 센서부
S100: IoT 애플리케이션을 통해 증강현실 글래스 장치와 전자제품을 연결하는 단계
S200: 카메라에서 수집되는 영상으로부터 전자제품을 식별하는 단계
S205: 사용자의 시선을 추적하는 단계
S210: 카메라에서 수집되는 영상으로부터 전자제품의 외관을 스캔하는 단계
S220: 제품 식별 모델을 이용해, 스캔한 전자제품의 외관 영상으로부터 전자제품의 종류를 식별하는 단계
S230: 식별된 전자제품의 종류를 IoT 애플리케이션에 전달하는 단계
S300: 식별된 전자제품에 대응하는 전자제품 조작 버튼을 생성하여 광학 디스플레이부에 전달하는 단계
S400: 식별된 전자제품의 주변에 전자제품 조작 버튼을 증강 영상으로 출력하는 단계
S500: 전자제품 조작 버튼을 선택하는 사용자의 입력 신호를 수신하는 단계
S600: 선택된 버튼의 기능이 연결된 전자제품에서 수행되도록 제어하는 단계10: Augmented reality glass device
11: IoT applications
20: Electronics
21: Electronic product operation button
100: Optical display unit
110: display
120: Optical system
200: Electronic product connection
300: Electronic product identification unit
310: Appearance scan module
320: Product identification module
330: Information transmission module
400: Eye tracking unit
500: operation button creation unit
600: Control unit
700: Input signal receiver
800: Sensor unit
S100: Step of connecting augmented reality glass devices and electronic products through IoT applications
S200: Step of identifying electronic products from images collected by a camera
S205: Tracking user's gaze
S210: Step of scanning the exterior of the electronic product from the image collected by the camera
S220: Step of identifying the type of electronic product from the scanned exterior image of the electronic product using the product identification model
S230: Passing the identified type of electronic product to the IoT application
S300: Step of generating an electronic product operation button corresponding to the identified electronic product and delivering it to the optical display unit
S400: Step of outputting electronic product operation buttons as an augmented image around the identified electronic product
S500: Receiving an input signal from a user selecting an electronic product operation button
S600: Controlling the function of the selected button to be performed on the connected electronic product

Claims (8)

연결된 전자제품(20)을 제어하는 IoT 애플리케이션(11)이 탑재된 증강현실 글래스 장치(10)에서 각 단계가 수행되는 전자제품(20) 조작 방법으로서,
(1) 상기 IoT 애플리케이션(11)을 통해 상기 증강현실 글래스 장치(10)와 전자제품(20)을 연결하는 단계;
(2) 상기 증강현실 글래스 장치(10)에 구비된 카메라에서 수집되는 영상으로부터 전자제품(20)을 식별하는 단계;
(3) 상기 IoT 애플리케이션(11)에서, 상기 단계 (2)에서 식별된 전자제품(20)에 대응하는 전자제품 조작 버튼(21)을 생성하여 광학 디스플레이부(100)에 전달하는 단계;
(4) 상기 광학 디스플레이부(100)에서 상기 식별된 전자제품(20)의 주변에 상기 전자제품 조작 버튼(21)을 증강 영상으로 출력하는 단계;
(5) 상기 증강 영상으로 출력된 상기 전자제품 조작 버튼(21)을 선택하는 사용자의 입력 신호를 수신하는 단계; 및
(6) 상기 IoT 애플리케이션(11)이 상기 단계 (5)에서 수신한 입력 신호에 따라 선택된 버튼의 기능이 연결된 전자제품(20)에서 수행되도록 제어하는 단계를 포함하며,
상기 단계 (2)는,
(2-0) 상기 증강현실 글래스 장치(10)를 착용한 사용자의 시선을 추적하는 단계;
(2-1) 상기 증강현실 글래스 장치(10)에 구비된 카메라에서 수집되는 영상으로부터 전자제품(20)의 외관을 스캔하되, 상기 단계 (2-0)에서 추적한 사용자의 시선을 이용해, 상기 영상으로부터 사용자가 바라보는 전자제품(20)의 외관을 스캔하는 단계;
(2-2) 딥러닝 기반으로 영상으로부터 전자제품(20)의 종류를 식별하도록 학습 완료된 제품 식별 모델을 이용해, 상기 스캔한 전자제품(20)의 외관 영상으로부터 전자제품(20)의 종류를 식별하되, 상기 단계 (1)에서 연결된 전자제품(20) 중 어느 하나로 상기 전자제품(20)의 종류를 식별하는 단계; 및
(2-3) 상기 식별된 전자제품(20)의 종류를 상기 IoT 애플리케이션(11)에 전달하는 단계를 포함하며,
상기 단계 (2-0)에서는,
아이트래킹 카메라에서 획득한 눈 이미지를 딥러닝 기반의 이미지 처리 알고리즘으로 처리해 동공 위치를 실시간으로 특정하되, 단일채널 이미지인 적외선 영상을 사용해 상기 증강현실 글래스 장치(10)의 임베디드 환경에서 동공 추적을 수행하며,
상기 증강현실 글래스 장치(10)는,
상기 단계 (1)에서 연결된 전자제품(20)에 대응하는 전자제품 조작 버튼(21)에 관한 정보를 매칭한 매칭 테이블을 저장하고, 상기 단계 (3)에서 상기 IoT 애플리케이션(11)이 상기 단계 (2-2)에서 식별된 전자제품(20)의 종류를 전달받으면 상기 매칭 테이블을 이용해 식별된 전자제품(20)에 적합한 전자제품 조작 버튼(21)을 생성하며,
상기 단계 (4)에서는,
사용자별로 미리 설정된 주 사용 손에 따라 상기 전자제품 조작 버튼(21)의 출력 위치를 결정하고, 상기 전자제품 조작 버튼(21)이 어느 전자제품(20)을 제어하기 위한 것인지 사용자가 직관적으로 파악할 수 있도록 상기 전자제품 조작 버튼(21)을 전자제품(20)과 선으로 연결해 상기 결정된 출력 위치에 표시하며,
상기 단계 (5)에서는,
상기 사용자의 입력 신호로, 상기 전자제품 조작 버튼(21)을 선택하는 사용자의 제스처를 수신하는 것을 특징으로 하는, 증강현실 글래스 장치(10)의 전자제품(20) 조작 방법.
A method of operating an electronic product (20) in which each step is performed in an augmented reality glass device (10) equipped with an IoT application (11) that controls the connected electronic product (20), comprising:
(1) connecting the augmented reality glass device 10 and electronic products 20 through the IoT application 11;
(2) identifying the electronic product 20 from the image collected by the camera provided in the augmented reality glass device 10;
(3) generating, in the IoT application 11, an electronic product operation button 21 corresponding to the electronic product 20 identified in step (2) and transmitting it to the optical display unit 100;
(4) outputting the electronic product operation button 21 as an augmented image around the identified electronic product 20 on the optical display unit 100;
(5) receiving an input signal from a user selecting the electronic product operation button 21 output as the augmented image; and
(6) Controlling the IoT application 11 to perform the function of the selected button on the connected electronic product 20 according to the input signal received in step (5),
In step (2),
(2-0) tracking the gaze of a user wearing the augmented reality glass device 10;
(2-1) Scan the exterior of the electronic product 20 from the image collected by the camera provided in the augmented reality glass device 10, using the user's gaze tracked in step (2-0). Scanning the appearance of the electronic product 20 as viewed by the user from the image;
(2-2) Identify the type of electronic product 20 from the scanned exterior image of the electronic product 20 using a product identification model that has been trained to identify the type of electronic product 20 from the image based on deep learning. However, identifying the type of the electronic product 20 as one of the electronic products 20 connected in step (1); and
(2-3) comprising transmitting the type of the identified electronic product 20 to the IoT application 11,
In step (2-0),
The eye image acquired from the eye tracking camera is processed with a deep learning-based image processing algorithm to specify the pupil location in real time, and pupil tracking is performed in the embedded environment of the augmented reality glass device 10 using an infrared image, which is a single channel image. And
The augmented reality glass device 10,
In step (1), a matching table matching information about the electronic product operation button 21 corresponding to the connected electronic product 20 is stored, and in step (3), the IoT application 11 is used in the step ( When receiving the type of electronic product 20 identified in 2-2), an electronic product operation button 21 suitable for the identified electronic product 20 is generated using the matching table,
In step (4),
The output position of the electronic product operation button 21 is determined according to the dominant hand preset for each user, and the user can intuitively determine which electronic product 20 the electronic product operation button 21 is intended to control. The electronic product operation button 21 is connected to the electronic product 20 with a line and displayed at the determined output position,
In step (5),
A method of operating an electronic product (20) of an augmented reality glass device (10), characterized in that receiving a user's gesture of selecting the electronic product operation button (21) as the user's input signal.
 삭제delete 삭제delete 삭제delete 삭제delete 연결된 전자제품(20)을 제어하는 IoT 애플리케이션(11)이 탑재된 증강현실 글래스 장치(10)로서,
착용자의 눈 전방에 배치되어 현실 세계의 광의 적어도 일부를 투과하는 동시에, 디스플레이에서 출력되는 영상 광의 적어도 일부를 착용자의 눈 방향으로 전달하여 착용자에게 증강현실을 제공하는 광학 디스플레이부(100);
상기 IoT 애플리케이션(11)을 통해 상기 증강현실 글래스 장치(10)와 전자제품(20)을 연결하는 전자제품 연결부(200);
상기 증강현실 글래스 장치(10)에 구비된 카메라에서 수집되는 영상으로부터 전자제품(20)을 식별하는 전자제품 식별부(300);
상기 증강현실 글래스 장치(10)를 착용한 사용자의 시선을 추적하는 시선 추적부(400);
상기 IoT 애플리케이션(11)에서, 상기 전자제품 식별부(300)에서 식별된 전자제품(20)에 대응하는 전자제품 조작 버튼(21)을 생성하여 상기 광학 디스플레이부(100)에 전달하는 조작 버튼 생성부(500);
상기 광학 디스플레이부(100)에서 상기 식별된 전자제품(20)의 주변에 상기 전자제품 조작 버튼(21)을 증강 영상으로 출력하도록 제어하는 제어부(600); 및
상기 증강 영상으로 출력된 상기 전자제품 조작 버튼(21)을 선택하는 사용자의 입력 신호를 수신하는 입력 신호 수신부(700)를 포함하며,
상기 제어부(600)는,
상기 IoT 애플리케이션(11)을 통해 상기 입력 신호 수신부(700)에서 수신한 입력 신호에 따라 선택된 버튼의 기능이, 상기 전자제품 연결부(200)에서 연결된 전자제품(20)에서 수행되도록 제어하며,
상기 전자제품 식별부(300)는,
상기 증강현실 글래스 장치(10)에 구비된 카메라에서 수집되는 영상으로부터 전자제품(20)의 외관을 스캔하되, 상기 시선 추적부(400)에서 추적한 사용자의 시선을 이용해, 상기 영상으로부터 사용자가 바라보는 전자제품(20)의 외관을 스캔하는 외관 스캔 모듈(310);
딥러닝 기반으로 영상으로부터 전자제품(20)의 종류를 식별하도록 학습 완료된 제품 식별 모델을 이용해, 상기 스캔한 전자제품(20)의 외관 영상으로부터 전자제품(20)의 종류를 식별하되, 상기 전자제품 연결부(200)가 연결한 전자제품(20) 중 어느 하나로 상기 전자제품(20)의 종류를 식별하는 제품 식별 모듈(320); 및
상기 식별된 전자제품(20)의 종류를 상기 IoT 애플리케이션(11)에 전달하는 정보 전달 모듈(330)을 포함하며,
상기 시선 추적부(400)는,
아이트래킹 카메라에서 획득한 눈 이미지를 딥러닝 기반의 이미지 처리 알고리즘으로 처리해 동공 위치를 실시간으로 특정하되, 단일채널 이미지인 적외선 영상을 사용해 상기 증강현실 글래스 장치(10)의 임베디드 환경에서 동공 추적을 수행하며,
상기 증강현실 글래스 장치(10)는,
상기 전자제품 연결부(200)에서 연결한 전자제품(20)에 대응하는 전자제품 조작 버튼(21)에 관한 정보를 매칭한 매칭 테이블을 저장하고, 상기 조작 버튼 생성부(500)가 상기 IoT 애플리케이션(11)이 상기 제품 식별 모듈(320)에서 식별된 전자제품(20)의 종류를 전달받으면 상기 매칭 테이블을 이용해 식별된 전자제품(20)에 적합한 전자제품 조작 버튼(21)을 생성하며,
상기 제어부(600)는,
사용자별로 미리 설정된 주 사용 손에 따라 상기 전자제품 조작 버튼(21)의 출력 위치를 결정하고, 상기 전자제품 조작 버튼(21)이 어느 전자제품(20)을 제어하기 위한 것인지 사용자가 직관적으로 파악할 수 있도록 상기 전자제품 조작 버튼(21)을 전자제품(20)과 선으로 연결해 상기 결정된 출력 위치에 표시하며,
상기 입력 신호 수신부(700)는,
상기 사용자의 입력 신호로, 상기 전자제품 조작 버튼(21)을 선택하는 사용자의 제스처를 수신하는 것을 특징으로 하는, 전자제품(20) 조작 기능이 있는 증강현실 글래스 장치(10).An augmented reality glass device (10) equipped with an IoT application (11) that controls connected electronic products (20),
An optical display unit 100 that is disposed in front of the wearer's eyes and transmits at least a portion of the light in the real world while transmitting at least a portion of the image light output from the display toward the wearer's eyes to provide augmented reality to the wearer;
An electronic product connection unit 200 that connects the augmented reality glass device 10 and electronic products 20 through the IoT application 11;
An electronic product identification unit 300 that identifies the electronic product 20 from the image collected by the camera provided in the augmented reality glass device 10;
A gaze tracking unit 400 that tracks the gaze of a user wearing the augmented reality glass device 10;
In the IoT application 11, an electronic product operation button 21 corresponding to the electronic product 20 identified in the electronic product identification unit 300 is generated and an operation button is generated to transmit the electronic product operation button 21 to the optical display unit 100. Wealth (500);
a control unit 600 that controls the optical display unit 100 to output an augmented image of the electronic product operation button 21 around the identified electronic product 20; and
It includes an input signal receiver 700 that receives an input signal from a user who selects the electronic product operation button 21 output as the augmented image,
The control unit 600,
Controlling the function of the button selected according to the input signal received from the input signal receiver 700 through the IoT application 11 to be performed on the electronic product 20 connected to the electronic product connection unit 200,
The electronic product identification unit 300,
The exterior of the electronic product 20 is scanned from the image collected by the camera provided in the augmented reality glass device 10, and the user's gaze tracked by the gaze tracking unit 400 is used to determine what the user sees from the image. an exterior scanning module 310 that scans the exterior of the electronic product 20 being viewed;
Identify the type of electronic product 20 from the scanned exterior image of the electronic product 20 using a product identification model that has been trained to identify the type of the electronic product 20 from the image based on deep learning. a product identification module 320 that identifies the type of the electronic product 20 as one of the electronic products 20 connected by the connection unit 200; and
It includes an information transmission module 330 that transmits the type of the identified electronic product 20 to the IoT application 11,
The eye tracking unit 400,
The eye image acquired from the eye tracking camera is processed with a deep learning-based image processing algorithm to specify the pupil location in real time, and pupil tracking is performed in the embedded environment of the augmented reality glass device 10 using an infrared image, which is a single channel image. And
The augmented reality glass device 10,
A matching table matching information on the electronic product operation button 21 corresponding to the electronic product 20 connected by the electronic product connection unit 200 is stored, and the operation button generator 500 is configured to generate the IoT application ( When 11) receives the type of electronic product 20 identified in the product identification module 320, it generates an electronic product operation button 21 suitable for the identified electronic product 20 using the matching table,
The control unit 600,
The output position of the electronic product operation button 21 is determined according to the dominant hand preset for each user, and the user can intuitively determine which electronic product 20 the electronic product operation button 21 is intended to control. The electronic product operation button 21 is connected to the electronic product 20 with a line and displayed at the determined output position,
The input signal receiver 700,
An augmented reality glass device (10) with an electronic product (20) operation function, characterized in that it receives a user's gesture for selecting the electronic product operation button (21) as the user's input signal. 삭제delete 삭제delete
KR1020220159849A 2022-11-25 2022-11-25 Electronic device manipulation method for ar glass apparatus and ar glass apparatus with electronic device manipulation function KR102599022B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220159849A KR102599022B1 (en) 2022-11-25 2022-11-25 Electronic device manipulation method for ar glass apparatus and ar glass apparatus with electronic device manipulation function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220159849A KR102599022B1 (en) 2022-11-25 2022-11-25 Electronic device manipulation method for ar glass apparatus and ar glass apparatus with electronic device manipulation function

Publications (1)

Publication Number Publication Date
KR102599022B1 true KR102599022B1 (en) 2023-11-06

Family

ID=88748265

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220159849A KR102599022B1 (en) 2022-11-25 2022-11-25 Electronic device manipulation method for ar glass apparatus and ar glass apparatus with electronic device manipulation function

Country Status (1)

Country Link
KR (1) KR102599022B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190109337A (en) * 2019-09-06 2019-09-25 엘지전자 주식회사 Apparatus for controlling device based on augmentded reality and method thereof
US20200387286A1 (en) * 2019-06-07 2020-12-10 Facebook Technologies, Llc Arm gaze-driven user interface element gating for artificial reality systems
KR20210063928A (en) * 2019-11-25 2021-06-02 삼성전자주식회사 Electronic device for providing augmented reality service and operating method thereof
KR20220026114A (en) * 2020-08-25 2022-03-04 삼성전자주식회사 Electronic device, and method for identifing realted external electronic device in augmented reality of electronic device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200387286A1 (en) * 2019-06-07 2020-12-10 Facebook Technologies, Llc Arm gaze-driven user interface element gating for artificial reality systems
KR20190109337A (en) * 2019-09-06 2019-09-25 엘지전자 주식회사 Apparatus for controlling device based on augmentded reality and method thereof
KR20210063928A (en) * 2019-11-25 2021-06-02 삼성전자주식회사 Electronic device for providing augmented reality service and operating method thereof
KR20220026114A (en) * 2020-08-25 2022-03-04 삼성전자주식회사 Electronic device, and method for identifing realted external electronic device in augmented reality of electronic device

Similar Documents

Publication Publication Date Title
CN110647237B (en) Gesture-based content sharing in an artificial reality environment
CN112507799B (en) Image recognition method based on eye movement fixation point guidance, MR glasses and medium
US11068050B2 (en) Method for controlling display of virtual image based on eye area size, storage medium and electronic device therefor
US20220057862A1 (en) Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
US10831268B1 (en) Systems and methods for using eye tracking to improve user interactions with objects in artificial reality
US9038127B2 (en) Physical interaction with virtual objects for DRM
CN104076512B (en) The control method of head-mount type display unit and head-mount type display unit
KR102056221B1 (en) Method and apparatus For Connecting Devices Using Eye-tracking
CN106406509B (en) Head-mounted eye-control virtual reality equipment
KR20180002534A (en) External imaging system, external imaging method, external imaging program
CN101258436A (en) Communication device, system and method
KR102110208B1 (en) Glasses type terminal and control method therefor
US20210004081A1 (en) Information processing apparatus, information processing method, and program
CN106919262A (en) Augmented reality equipment
US20150009103A1 (en) Wearable Display, Computer-Readable Medium Storing Program and Method for Receiving Gesture Input
US11719939B2 (en) Eyewear device dynamic power configuration
JP6303274B2 (en) Head-mounted display device and method for controlling head-mounted display device
Lander et al. hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation
US20200379555A1 (en) Information processing system, operation method, and operation program
US20240094882A1 (en) Gestures for selection refinement in a three-dimensional environment
KR102599022B1 (en) Electronic device manipulation method for ar glass apparatus and ar glass apparatus with electronic device manipulation function
WO2023230291A2 (en) Devices, methods, and graphical user interfaces for user authentication and device management
WO2024071862A1 (en) Method for providing information based on gaze point and electronic device therefor
KR20240030881A (en) Method for outputting a virtual content and an electronic device supporting the same
KR20240041511A (en) Spatial coordinate detection device used as input device for augmented reality glasses

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant