KR20240041511A - Spatial coordinate detection device used as input device for augmented reality glasses - Google Patents

Spatial coordinate detection device used as input device for augmented reality glasses Download PDF

Info

Publication number
KR20240041511A
KR20240041511A KR1020220120607A KR20220120607A KR20240041511A KR 20240041511 A KR20240041511 A KR 20240041511A KR 1020220120607 A KR1020220120607 A KR 1020220120607A KR 20220120607 A KR20220120607 A KR 20220120607A KR 20240041511 A KR20240041511 A KR 20240041511A
Authority
KR
South Korea
Prior art keywords
glasses
air pen
light source
led
spatial
Prior art date
Application number
KR1020220120607A
Other languages
Korean (ko)
Inventor
최치원
이강휘
김정환
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020220120607A priority Critical patent/KR20240041511A/en
Publication of KR20240041511A publication Critical patent/KR20240041511A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치에 관한 것으로서, 보다 구체적으로는 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치로서, AR 글래스를 착용한 사용자가 증강현실 콘텐츠를 AR 화면상에 구현할 때, AR 화면상의 증강현실 콘텐츠의 입력 신호로 공간 좌표를 인식시키기 위한 LED 광원을 발생시키는 에어 펜; 및 사용자가 머리에 착용하고, 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실 콘텐츠를 AR 화면상에 구현하여 제공하되, 상기 에어 펜에서 발생시키는 LED 광원의 영상 검출을 통하여 상기 에어 펜의 공간 좌표를 검출하는 AR 글래스 장치를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치에 따르면, AR 글래스를 착용한 사용자가 증강현실 콘텐츠를 AR 화면상에 구현할 때, AR 화면상의 증강현실 콘텐츠의 입력 신호로 공간 좌표를 인식시키기 위한 LED 광원을 발생시키는 에어 펜과, 사용자가 머리에 착용하고, 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실 콘텐츠를 AR 화면상에 구현하여 제공하되, 에어 펜에서 발생시키는 LED 광원의 영상 검출을 통하여 에어 펜의 공간 좌표를 검출하는 AR 글래스 장치를 포함하여 구성함으로써, 에어 펜의 끝부분의 LED를 사용하여 광학 방식으로 빛을 검출하여 높은 정밀도로 공간 위치를 검출할 수 있도록 할 수 있다.
또한, 본 발명의 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치에 따르면, 에어 펜과 AR 글래스 장치를 공간 좌표 검출 장치로 구성하되, 에어 펜의 끝부분의 LED를 사용하여 AR 글래스 장치의 카메라를 통해 광학 방식으로 빛을 검출하여 높은 정밀도로 공간 위치를 검출할 수 있도록 함으로써, 기존의 AR 글래스를 제어하거나 공간 좌표를 인식하기 위해 사용되는 입력 장치의 핸드 검출과 비교하여 간단한 영상 처리 기법으로 보다 높은 정밀도로 공간 위치 검출이 가능하고, 추가적인 무선통신 장치 없이도 활용이 가능하도록 하는 사용의 편의성 및 효율성이 더욱 증대될 수 있도록 할 수 있다.The present invention relates to a spatial coordinate detection device used as an input device for AR glasses, and more specifically, to a spatial coordinate detection device used as an input device for AR glasses, where a user wearing AR glasses can view augmented reality content on an AR screen. When implemented on the screen, an air pen that generates an LED light source to recognize spatial coordinates as an input signal of augmented reality content on the AR screen; and worn on the user's head and placed in front of both eyes of the user, providing augmented reality content by combining real world light and image light on the AR screen, and detecting the image of the LED light source generated by the air pen. Its structural feature includes an AR glass device that detects the spatial coordinates of the air pen through.
According to the spatial coordinate detection device used as an input device for AR glasses proposed in the present invention, when a user wearing AR glasses implements augmented reality content on an AR screen, the spatial coordinates are used as input signals of the augmented reality content on the AR screen. An air pen that generates an LED light source to recognize coordinates is worn on the user's head and placed in front of both eyes of the user to provide augmented reality content on the AR screen by combining real world light and image light. However, by including an AR glass device that detects the spatial coordinates of the air pen through image detection of the LED light source generated by the air pen, light is detected optically using the LED at the end of the air pen, enabling high precision. This allows the spatial location to be detected.
In addition, according to the spatial coordinate detection device used as an input device for AR glasses of the present invention, an air pen and an AR glasses device are configured as a spatial coordinate detection device, and the camera of the AR glasses device uses an LED at the end of the air pen. By detecting light in an optical manner and detecting spatial position with high precision, it is a simple image processing technique compared to hand detection of input devices used to control existing AR glasses or recognize spatial coordinates. It is possible to detect spatial location with high precision, and the convenience and efficiency of use can be further increased by enabling use without additional wireless communication devices.

Description

AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치{SPATIAL COORDINATE DETECTION DEVICE USED AS INPUT DEVICE FOR AUGMENTED REALITY GLASSES}Spatial coordinate detection device used as an input device for AR glasses {SPATIAL COORDINATE DETECTION DEVICE USED AS INPUT DEVICE FOR AUGMENTED REALITY GLASSES}

본 발명은 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치에 관한 것으로서, 보다 구체적으로는 에어 펜의 끝부분의 LED를 사용하여 광학 방식으로 빛을 검출하여 높은 정밀도로 공간 위치를 검출할 수 있도록 하는 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치에 관한 것이다.The present invention relates to a spatial coordinate detection device used as an input device for AR glasses. More specifically, the present invention relates to a spatial coordinate detection device used as an input device for AR glasses, and more specifically, to detect light in an optical manner using an LED at the end of an air pen to detect spatial position with high precision. This relates to a spatial coordinate detection device used as an input device for AR glasses.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다.In accordance with the trend toward lighter and smaller digital devices, various wearable devices are being developed. A head mounted display, a type of wearable device, refers to a variety of devices that a user can wear on their head to receive multimedia content. Here, a head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves.

이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다. 증강현실(augmented reality, AR)은 가상현실(VR)의 한 분야로 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.These head-mounted displays (HMDs) are divided into see-through and see-closed types. The see-through type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (Virtual Reality). It is used for Reality (VR). Augmented reality (AR) is a field of virtual reality (VR) and is a computer graphics technique that synthesizes virtual objects or information into an actual environment to make them appear as if they exist in the original environment.

헤드 마운티드 디스플레이는 안경처럼 착용하는 형태도 있으나 헤드셋이나 고글처럼 머리에 착용하는 형태도 있다. 이러한 헤드셋 또는 고글 형태의 AR 또는 VR용 HMD는 머리에 잘 맞게 착용하여야 움직임이 쉽고 편안하게 사용할 수 있다.There are forms of head-mounted displays that are worn like glasses, but there are also forms that are worn on the head like headsets or goggles. These headsets or goggles-type AR or VR HMDs must be worn properly on the head to allow easy movement and comfortable use.

한편, 기존의 AR 글래스를 제어하거나 공간 좌표를 인식하기 위한 입력 장치로는 핸드 제스처 인식, 마우스, 키보드, 음성인식 등이 사용되고 있다. 하지만, 손 검출 및 트래킹 방식은 좌표의 인식 정확도가 떨어지고, 공간의 좌표 분해능이 낮아 정밀한 좌표 검출이 어렵다. 그리고 증강현실과 같은 콘텐츠를 구현하고 이를 특정 공간 내에서 좌표를 취득 또는 표현하는 데는 현실적인 어려움이 따르는 문제가 있었다. 등록특허공보 제10-1700569호가 선행기술 문헌으로 개시되고 있다.Meanwhile, hand gesture recognition, mouse, keyboard, voice recognition, etc. are used as input devices to control existing AR glasses or recognize spatial coordinates. However, hand detection and tracking methods have poor coordinate recognition accuracy and have low spatial coordinate resolution, making precise coordinate detection difficult. Additionally, there were practical difficulties in implementing content such as augmented reality and acquiring or expressing coordinates within a specific space. Registration Patent Publication No. 10-1700569 is disclosed as a prior art document.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, AR 글래스를 착용한 사용자가 증강현실 콘텐츠를 AR 화면상에 구현할 때, AR 화면상의 증강현실 콘텐츠의 입력 신호로 공간 좌표를 인식시키기 위한 LED 광원을 발생시키는 에어 펜과, 사용자가 머리에 착용하고, 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실 콘텐츠를 AR 화면상에 구현하여 제공하되, 에어 펜에서 발생시키는 LED 광원의 영상 검출을 통하여 에어 펜의 공간 좌표를 검출하는 AR 글래스 장치를 포함하여 구성함으로써, 에어 펜의 끝부분의 LED를 사용하여 광학 방식으로 빛을 검출하여 높은 정밀도로 공간 위치를 검출할 수 있도록 하는, AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치를 제공하는 것을 그 목적으로 한다.The present invention was proposed to solve the above problems of previously proposed methods. When a user wearing AR glasses implements augmented reality content on an AR screen, the space is used as an input signal of the augmented reality content on the AR screen. An air pen that generates an LED light source to recognize coordinates is worn on the user's head and placed in front of both eyes of the user to provide augmented reality content on the AR screen by combining real world light and image light. However, by including an AR glass device that detects the spatial coordinates of the air pen through image detection of the LED light source generated by the air pen, light is detected optically using the LED at the end of the air pen, enabling high precision. The purpose is to provide a spatial coordinate detection device used as an input device for AR glasses that enables spatial position detection.

또한, 본 발명은, 에어 펜과 AR 글래스 장치를 공간 좌표 검출 장치로 구성하되, 에어 펜의 끝부분의 LED를 사용하여 AR 글래스 장치의 카메라를 통해 광학 방식으로 빛을 검출하여 높은 정밀도로 공간 위치를 검출할 수 있도록 함으로써, 기존의 AR 글래스를 제어하거나 공간 좌표를 인식하기 위해 사용되는 입력 장치의 핸드 검출과 비교하여 간단한 영상 처리 기법으로 보다 높은 정밀도로 공간 위치 검출이 가능하고, 추가적인 무선통신 장치 없이도 활용이 가능하도록 하는 사용의 편의성 및 효율성이 더욱 증대될 수 있도록 하는, AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치를 제공하는 것을 그 목적으로 한다.In addition, the present invention consists of an air pen and an AR glass device as a spatial coordinate detection device, and uses an LED at the end of the air pen to optically detect light through the camera of the AR glass device to determine spatial location with high precision. By being able to detect spatial position with higher precision with a simple image processing technique compared to hand detection of input devices used to control existing AR glasses or recognize spatial coordinates, additional wireless communication devices are possible. The purpose is to provide a spatial coordinate detection device used as an input device for AR glasses, which can further increase convenience and efficiency of use without the need for the present invention.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치는,The spatial coordinate detection device used as an input device for AR glasses according to the characteristics of the present invention to achieve the above object is,

AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치로서,A spatial coordinate detection device used as an input device for AR glasses,

AR 글래스를 착용한 사용자가 증강현실 콘텐츠를 AR 화면상에 구현할 때, AR 화면상의 증강현실 콘텐츠의 입력 신호로 공간 좌표를 인식시키기 위한 LED 광원을 발생시키는 에어 펜; 및When a user wearing AR glasses implements augmented reality content on the AR screen, an air pen that generates an LED light source to recognize spatial coordinates as an input signal of the augmented reality content on the AR screen; and

사용자가 머리에 착용하고, 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실 콘텐츠를 AR 화면상에 구현하여 제공하되, 상기 에어 펜에서 발생시키는 LED 광원의 영상 검출을 통하여 상기 에어 펜의 공간 좌표를 검출하는 AR 글래스 장치를 포함하는 것을 그 구성상의 특징으로 한다.It is worn on the user's head and placed in front of both eyes of the user, and provides augmented reality content by combining real world light and image light on the AR screen, and detects the image of the LED light source generated by the air pen. Its structural feature is that it includes an AR glasses device that detects the spatial coordinates of the air pen through the device.

바람직하게는, 상기 공간 좌표 검출 장치는,Preferably, the spatial coordinate detection device,

상기 AR 글래스 장치의 사용자에 의해 AR 화면상에 증강현실 콘텐츠가 구현되는 상태에서 상기 에어 펜에서 발생시키는 LED 광원을 상기 AR 글래스 장치에서 광학 방식으로 빛을 검출하여 공간 위치를 검출하는 공간좌표 검출기로 기능할 수 있다.In a state where augmented reality content is implemented on the AR screen by the user of the AR glasses device, the LED light source generated by the air pen is used as a spatial coordinate detector that detects the spatial position by optically detecting light from the AR glasses device. It can function.

바람직하게는, 상기 에어 펜은,Preferably, the air pen is:

상기 에어 펜의 구동을 위한 구동 전원을 공급하는 배터리;a battery that supplies driving power to drive the air pen;

상기 배터리로부터 구동 전원을 공급받고, 상기 에어 펜의 끝부분에 배치되는 LED를 구동시키기 위한 LED 구동 회로부; 및an LED driving circuit unit that receives driving power from the battery and drives an LED disposed at the end of the air pen; and

상기 에어 펜의 끝부분에 배치되는 LED로 구성되어, 상기 LED 구동 회로부의 구동 제어에 따라 구동되어 LED 광원을 발생시키는 광원부를 포함하여 구성할 수 있다.It is composed of an LED disposed at the end of the air pen, and can be configured to include a light source unit that is driven according to the driving control of the LED driving circuit unit to generate an LED light source.

더욱 바람직하게는, 상기 광원부는,More preferably, the light source unit,

상기 에어 펜의 끝부분에 배치되는 LED로 구성하되, 가시 광학 방식의 가시 카메라에 의해 LED 광원의 빛이 검출될 수 있는 멀티 색상의 LED로 구성될 수 있다.It is composed of an LED disposed at the end of the air pen, and may be composed of a multi-color LED whose light from the LED light source can be detected by a visible optical camera.

더욱 바람직하게는, 상기 광원부는,More preferably, the light source unit,

상기 에어 펜의 끝부분에 배치되는 LED로 구성하되, 적외선 광학 방식의 적외선 카메라에 의해 적외선 LED 광원의 빛이 검출될 수 있는 적외선 LED로 구성될 수 있다.It is composed of an LED disposed at the end of the air pen, and may be composed of an infrared LED whose light from an infrared LED light source can be detected by an infrared optical camera.

바람직하게는, 상기 AR 글래스 장치는,Preferably, the AR glasses device,

상기 에어 펜에서 발생시키는 LED 광원의 영상 검출을 통하여 상기 에어 펜의 공간 좌표를 검출하되, 카메라로 검출되는 빛으로 눈앞의 X, Y 위치를 검출하고, 획득된 영상에서 광점의 크기를 역산하여 깊이(Z)를 예측할 수 있다.The spatial coordinates of the air pen are detected through image detection of the LED light source generated by the air pen, and the (Z) can be predicted.

더욱 바람직하게는, 상기 AR 글래스 장치는,More preferably, the AR glasses device,

상기 에어 펜에서 발생시키는 LED 광원의 영상 검출을 통하여 상기 에어 펜의 공간 좌표를 검출하기 위한 카메라를 구비하는 카메라부를 구비하되, 상기 카메라부는 단일 색상의 LED로 구성되는 상기 에어 펜의 광원부에 대응하여 LED 광원의 빛을 검출할 수 있는 가시 광학 방식의 가시 카메라로 구성될 수 있다.A camera unit including a camera for detecting the spatial coordinates of the air pen through image detection of the LED light source generated by the air pen, wherein the camera unit corresponds to the light source unit of the air pen composed of a single color LED. It can be composed of a visible optical camera that can detect light from an LED light source.

더욱 바람직하게는, 상기 AR 글래스 장치는,More preferably, the AR glasses device,

상기 에어 펜에서 발생시키는 LED 광원의 영상 검출을 통하여 상기 에어 펜의 공간 좌표를 검출하기 위한 카메라를 구비하는 카메라부를 구비하되, 상기 카메라부는 적외선 LED로 구성되는 상기 에어 펜의 광원부에 대응하여 적외선 LED 광원의 빛을 검출할 수 있는 적외선 광학 방식의 적외선 카메라로 구성될 수 있다.A camera unit including a camera for detecting the spatial coordinates of the air pen through image detection of the LED light source generated by the air pen, wherein the camera unit is an infrared LED corresponding to the light source unit of the air pen composed of an infrared LED. It may be composed of an infrared optical camera that can detect light from a light source.

본 발명에서 제안하고 있는 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치에 따르면, AR 글래스를 착용한 사용자가 증강현실 콘텐츠를 AR 화면상에 구현할 때, AR 화면상의 증강현실 콘텐츠의 입력 신호로 공간 좌표를 인식시키기 위한 LED 광원을 발생시키는 에어 펜과, 사용자가 머리에 착용하고, 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실 콘텐츠를 AR 화면상에 구현하여 제공하되, 에어 펜에서 발생시키는 LED 광원의 영상 검출을 통하여 에어 펜의 공간 좌표를 검출하는 AR 글래스 장치를 포함하여 구성함으로써, 에어 펜의 끝부분의 LED를 사용하여 광학 방식으로 빛을 검출하여 높은 정밀도로 공간 위치를 검출할 수 있도록 할 수 있다.According to the spatial coordinate detection device used as an input device for AR glasses proposed in the present invention, when a user wearing AR glasses implements augmented reality content on an AR screen, the spatial coordinates are used as input signals of the augmented reality content on the AR screen. An air pen that generates an LED light source to recognize coordinates is worn on the user's head and placed in front of both eyes of the user to provide augmented reality content on the AR screen by combining real world light and image light. However, by including an AR glass device that detects the spatial coordinates of the air pen through image detection of the LED light source generated by the air pen, light is detected optically using the LED at the end of the air pen, enabling high precision. This allows the spatial location to be detected.

또한, 본 발명의 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치에 따르면, 에어 펜과 AR 글래스 장치를 공간 좌표 검출 장치로 구성하되, 에어 펜의 끝부분의 LED를 사용하여 AR 글래스 장치의 카메라를 통해 광학 방식으로 빛을 검출하여 높은 정밀도로 공간 위치를 검출할 수 있도록 함으로써, 기존의 AR 글래스를 제어하거나 공간 좌표를 인식하기 위해 사용되는 입력 장치의 핸드 검출과 비교하여 간단한 영상 처리 기법으로 보다 높은 정밀도로 공간 위치 검출이 가능하고, 추가적인 무선통신 장치 없이도 활용이 가능하도록 하는 사용의 편의성 및 효율성이 더욱 증대될 수 있도록 할 수 있다.In addition, according to the spatial coordinate detection device used as an input device for AR glasses of the present invention, an air pen and an AR glasses device are configured as a spatial coordinate detection device, and the camera of the AR glasses device uses an LED at the end of the air pen. By detecting light in an optical manner and detecting spatial position with high precision, it is a simple image processing technique compared to hand detection of input devices used to control existing AR glasses or recognize spatial coordinates. It is possible to detect spatial location with high precision, and the convenience and efficiency of use can be further increased by enabling use without additional wireless communication devices.

도 1은 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 구성을 기능블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 에어 펜의 구성을 기능블록으로 도시한 도면.
도 3은 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 AR 글래스 장치의 구성을 기능블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 에어 펜의 개략적인 구조의 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 AR 글래스 장치에서 에어 펜을 바라보는 관점의 개념 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 깊이 값을 추정하는 개념 구성을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 RGB LED 에어 펜 광원 검출 알고리즘을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 IR 에어 펜 광원 검출 알고리즘을 도시한 도면.Figure 1 is a diagram showing the configuration of a spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention in functional blocks.
Figure 2 is a diagram illustrating the configuration of an air pen of a spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention in functional blocks.
Figure 3 is a diagram showing the configuration of the AR glasses device of the spatial coordinate detection device used as an input device for the AR glasses according to an embodiment of the present invention in functional blocks.
Figure 4 is a diagram showing the schematic structure of an air pen of a spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention.
Figure 5 is a diagram illustrating the conceptual configuration of the spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention from the perspective of the air pen in the AR glasses device.
Figure 6 is a diagram illustrating a conceptual configuration for estimating the depth value of a spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention.
Figure 7 is a diagram showing the RGB LED air pen light source detection algorithm of the spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention.
Figure 8 is a diagram showing an IR air pen light source detection algorithm of a spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, with reference to the attached drawings, preferred embodiments will be described in detail so that those skilled in the art can easily practice the present invention. However, when describing preferred embodiments of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the same symbols are used throughout the drawings for parts that perform similar functions and actions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is said to be 'connected' to another part, this is not only the case when it is 'directly connected', but also when it is 'indirectly connected' with another element in between. Includes. Additionally, ‘including’ a certain component does not mean excluding other components, but rather including other components, unless specifically stated to the contrary.

도 1은 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 구성을 기능블록으로 도시한 도면이고, 도 2는 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 에어 펜의 구성을 기능블록으로 도시한 도면이며, 도 3은 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 AR 글래스 장치의 구성을 기능블록으로 도시한 도면이다. 도 1 내지 도 3에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치(100)는, AR 글래스를 착용한 사용자가 증강현실 콘텐츠를 AR 화면상에 구현할 때, AR 화면상의 증강현실 콘텐츠의 입력 신호로 공간 좌표를 인식시키기 위한 LED 광원을 발생시키는 에어 펜(110), 및 사용자가 머리에 착용하고, 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실 콘텐츠를 AR 화면상에 구현하여 제공하되, 에어 펜(110)에서 발생시키는 LED 광원의 영상 검출을 통하여 에어 펜(110)의 공간 좌표를 검출하는 AR 글래스 장치(120)를 포함하여 구성될 수 있다. 이하에서는 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 구체적인 구성에 대해 설명하기로 한다.FIG. 1 is a diagram illustrating the configuration of a spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention in functional blocks, and FIG. 2 is a diagram showing an input device for AR glasses according to an embodiment of the present invention. It is a diagram showing the configuration of the air pen of the spatial coordinate detection device used as a function block, and Figure 3 is a configuration of the AR glasses device of the spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention. This is a drawing showing as a functional block. As shown in FIGS. 1 to 3, the spatial coordinate detection device 100 used as an input device for AR glasses according to an embodiment of the present invention allows a user wearing AR glasses to display augmented reality content on an AR screen. When implemented on the screen, the air pen 110 generates an LED light source to recognize spatial coordinates as an input signal of augmented reality content on the AR screen, and is worn by the user on the head and placed in front of both eyes of the user in the real world. An AR glasses device that implements and provides augmented reality content on an AR screen by combining light and image light, and detects the spatial coordinates of the air pen 110 through image detection of the LED light source generated by the air pen 110. It may be configured to include (120). Hereinafter, the specific configuration of a spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention will be described with reference to the attached drawings.

도 4는 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 에어 펜의 개략적인 구조의 구성을 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 AR 글래스 장치에서 에어 펜을 바라보는 관점의 개념 구성을 도시한 도면이며, 도 6은 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 깊이 값을 추정하는 개념 구성을 도시한 도면이고, 도 7은 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 RGB LED 에어 펜 광원 검출 알고리즘을 도시한 도면이며, 도 8은 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 IR 에어 펜 광원 검출 알고리즘을 도시한 도면이다.FIG. 4 is a diagram showing the schematic structure of an air pen of a spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention, and FIG. 5 is a diagram showing the schematic structure of an AR pen according to an embodiment of the present invention. It is a diagram showing the conceptual configuration of the spatial coordinate detection device used as an input device for glasses from the perspective of the air pen in the AR glasses device, and Figure 6 is a diagram showing the conceptual configuration of the spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention. It is a diagram showing the conceptual configuration of estimating the depth value of the spatial coordinate detection device, and Figure 7 shows the RGB LED air pen light source detection algorithm of the spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention. 8 is a diagram showing the IR air pen light source detection algorithm of the spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention.

에어 펜(110)은, AR 글래스를 착용한 사용자가 증강현실 콘텐츠를 AR 화면상에 구현할 때, AR 화면상의 증강현실 콘텐츠의 입력 신호로 공간 좌표를 인식시키기 위한 LED 광원을 발생시키는 구성이다. 이러한 에어 펜(110)은 도 2 및 도 4에 각각 도시된 바와 같이, 에어 펜(110)의 구동을 위한 구동 전원을 공급하는 배터리(111)와, 배터리(111)로부터 구동 전원을 공급받고, 에어 펜(110)의 끝부분에 배치되는 LED를 구동시키기 위한 LED 구동 회로부(112)와, 에어 펜(110)의 끝부분에 배치되는 LED로 구성되어, LED 구동 회로부(112)의 구동 제어에 따라 구동되어 LED 광원을 발생시키는 광원부(113)를 포함하여 구성할 수 있다. 여기서, 에어 펜(110)은 AR 글래스 장치(120)의 증강형 콘텐츠에 접목되어 보다 높은 정확도와 위치 검출을 갖는 공간좌표 검출기로써의 에어 펜슬(Air pencil)로 기능할 수 있다. 또한, 에어 펜(110)은 입력 장치 구조로 버튼(114)이 추가되고, 사용자 클릭의 조작으로 사용될 수 있다.The air pen 110 is a component that generates an LED light source to recognize spatial coordinates as an input signal of the augmented reality content on the AR screen when a user wearing AR glasses implements augmented reality content on the AR screen. As shown in FIGS. 2 and 4, respectively, the air pen 110 is supplied with a battery 111 that supplies driving power for driving the air pen 110, and receives driving power from the battery 111, It is composed of an LED driving circuit 112 for driving the LED disposed at the end of the air pen 110 and an LED disposed at the end of the air pen 110, and is used to control the operation of the LED driving circuit 112. It can be configured to include a light source unit 113 that is driven to generate an LED light source. Here, the air pen 110 can be combined with the augmented content of the AR glasses device 120 and function as an air pencil as a spatial coordinate detector with higher accuracy and position detection. Additionally, the air pen 110 has a button 114 added to the input device structure and can be used to manipulate a user's click.

또한, 에어 펜(110)의 광원부(113)는 에어 펜(110)의 끝부분에 배치되는 LED로 구성하되, 가시 광학 방식의 가시 카메라에 의해 LED 광원의 빛이 검출될 수 있는 멀티 색상의 LED로 구성될 수 있다. 즉, LED 색상을 멀티로 하여 눈으로 입력 상태를 확인할 수 있도록 할 수 있다. 예를 들면, 에어 펜(110)의 버튼(114) 입력 클릭 시 그린(Green)에서 레드(Red)로 바뀔 수 있으며, See through AR 글래스 특성상 색상 변환이 눈으로 직접 보이도록 기능할 수 있다. 이러한 광원부(113)는 RGB(Red, Blue, Green)의 LED 색상을 멀티로 하는 복수의 LED로 일반 광학 방식의 가시 카메라(Visible Camera)로 빛을 검출함으로써, 눈앞의 x, y 위치를 검출하고, 획득된 영상에서 광점의 크기를 역산하여 깊이(z)를 예측할 수 있도록 기능할 수 있다. 즉, 에어 펜(110)이 AR 글래스에서 멀어질수록 카메라 영상에서의 원의 크기는 작아지게 되고, 이를 활용하여 깊이 값을 추정할 수 있게 된다.In addition, the light source unit 113 of the air pen 110 is composed of an LED disposed at the end of the air pen 110, and is a multi-color LED whose light from the LED light source can be detected by a visible optical camera. It can be composed of: In other words, the LED colors can be multi-colored so that the input status can be visually checked. For example, when the button 114 of the air pen 110 is clicked, the color can change from green to red, and due to the nature of the see through AR glass, the color change can be directly visible to the eye. This light source unit 113 is a plurality of LEDs with multi-LED colors of RGB (Red, Blue, Green), and detects light with a general optical visible camera to detect the x, y position in front of the eyes. , It can function to predict depth (z) by inverting the size of the light spot in the acquired image. That is, as the air pen 110 moves away from the AR glass, the size of the circle in the camera image becomes smaller, and the depth value can be estimated using this.

또한, 에어 펜(110)의 광원부(113)는 에어 펜(110)의 끝부분에 배치되는 LED로 구성하되, 적외선 광학 방식의 적외선 카메라에 의해 적외선 LED 광원의 빛이 검출될 수 있는 적외선 LED로 구성될 수 있다. 이러한 광원부(113)는 적외선 LED로 적외선 광학 방식의 적외선 카메라(Infrared Camera)로 적외선을 검출함으로써, 눈앞의 x, y 위치를 검출하고, 획득된 영상에서 광점의 크기를 역산하여 깊이(z)를 예측할 수 있도록 기능할 수 있다. 여기서, 적외선(Infrared)은 눈에 보이지 않는 특징이 있으며, 에어 펜(110)이 AR 글래스에서 멀어질수록 카메라 영상에서의 원의 크기는 작아지게 되고, 이를 활용하여 깊이 값을 추정할 수 있게 된다.In addition, the light source unit 113 of the air pen 110 is composed of an LED disposed at the end of the air pen 110, and is an infrared LED whose light from the infrared LED light source can be detected by an infrared optical camera. It can be configured. This light source unit 113 detects infrared rays with an infrared optical camera (Infrared Camera) using an infrared LED, detects the It can function predictably. Here, infrared has the characteristic of being invisible to the eye, and as the air pen 110 moves away from the AR glass, the size of the circle in the camera image becomes smaller, and the depth value can be estimated using this. .

AR 글래스 장치(120)는, 사용자가 머리에 착용하고, 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실 콘텐츠를 AR 화면상에 구현하여 제공하되, 에어 펜(110)에서 발생시키는 LED 광원의 영상 검출을 통하여 에어 펜(110)의 공간 좌표를 검출하는 구성이다. 이러한 AR 글래스 장치(120)는 에어 펜(110)에서 발생시키는 LED 광원의 영상 검출을 통하여 에어 펜(110)의 공간 좌표를 검출하되, 카메라로 검출되는 빛으로 눈앞의 X, Y 위치를 검출하고, 획득된 영상에서 광점의 크기를 역산하여 깊이(Z)를 예측할 수 있다.The AR glasses device 120 is worn by the user on the head and placed in front of both eyes of the user, and provides augmented reality content by combining real world light and image light on the AR screen, and includes an air pen (110) ) is a configuration that detects the spatial coordinates of the air pen 110 through image detection of the LED light source generated by the. This AR glass device 120 detects the spatial coordinates of the air pen 110 through image detection of the LED light source generated by the air pen 110, and detects the X and Y positions in front of the eyes using light detected by the camera. , the depth (Z) can be predicted by inverting the size of the light spot in the acquired image.

또한, AR 글래스 장치(120)는 에어 펜(110)에서 발생시키는 LED 광원의 영상 검출을 통하여 에어 펜(110)의 공간 좌표를 검출하기 위한 카메라를 구비하는 카메라부(122)를 구비하되, 카메라부(122)는 단일 색상의 LED로 구성되는 에어 펜(110)의 광원부(113)에 대응하여 LED 광원의 빛을 검출할 수 있는 가시 광학 방식의 가시 카메라로 구성될 수 있다.In addition, the AR glasses device 120 is provided with a camera unit 122 including a camera for detecting the spatial coordinates of the air pen 110 through image detection of the LED light source generated by the air pen 110. The unit 122 may be configured as a visible optical camera capable of detecting light from the LED light source in response to the light source unit 113 of the air pen 110 composed of a single color LED.

또한, AR 글래스 장치(120)는 에어 펜(110)에서 발생시키는 LED 광원의 영상 검출을 통하여 에어 펜(110)의 공간 좌표를 검출하기 위한 카메라를 구비하는 카메라부(122)를 구비하되, 카메라부(122)는 적외선 LED로 구성되는 에어 펜(110)의 광원부(113)에 대응하여 적외선 LED 광원의 빛을 검출할 수 있는 적외선 광학 방식의 적외선 카메라로 구성될 수 있다.In addition, the AR glass device 120 is provided with a camera unit 122 including a camera for detecting the spatial coordinates of the air pen 110 through image detection of the LED light source generated by the air pen 110. The unit 122 may be configured as an infrared optical camera capable of detecting light from the infrared LED light source in response to the light source unit 113 of the air pen 110, which is composed of an infrared LED.

또한, AR 글래스 장치(120)는 도 3에 도시된 바와 같이, AR 글래스를 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학 디스플레이부(121)와, AR 글래스를 착용한 사용자의 전방을 촬영하기 위한 카메라를 구비하는 카메라부(122)와, AR 글래스 장치(120)의 전체적인 구동을 제어하는 제어부(123)와, 적어도 하나 이상의 센서를 구비하는 센서부(124)와, 통신부(125)를 포함하여 구성될 수 있다.In addition, as shown in FIG. 3, the AR glasses device 120 is disposed in front of both eyes of the user wearing the AR glasses and provides an optical display unit 121 that provides augmented reality by combining real world light and image light. ), a camera unit 122 having a camera for photographing the front of a user wearing AR glasses, a control unit 123 controlling the overall operation of the AR glasses device 120, and at least one sensor. It may be configured to include a sensor unit 124 and a communication unit 125.

광학 디스플레이부(121)는 AR 글래스를 착용한 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 구성으로, AR 글래스를 착용한 착용자에게 영상 정보가 제공될 수 있도록 영상 광을 출력하는 디스플레이와, AR 글래스를 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학계를 포함하여 구성할 수 있다. 여기서, 광학 디스플레이부(121)의 디스플레이는 영상 정보가 착용자에게 제공될 수 있도록 영상 광을 출력하되, 광학계에 결합해 광학계에 의해 착용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이로 구성되며, OLED, LCoS 등 다양하게 구성될 수 있다.The optical display unit 121 is disposed in front of both eyes of the user wearing the AR glasses and provides augmented reality by combining light from the real world and image light, and image information is provided to the wearer wearing the AR glasses. It can be configured to include a display that outputs image light and an optical system that is placed in front of both eyes of the wearer wearing AR glasses and provides augmented reality by combining real world light and image light. Here, the display of the optical display unit 121 outputs image light so that image information can be provided to the wearer, and outputs image light that is coupled to the optical system and transmitted toward the wearer's eyes by the optical system, for binocular display. It consists of a pair of displays and can be configured in various ways, such as OLED or LCoS.

또한, 광학 디스플레이부(121)의 광학계는 AR 글래스를 착용한 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 디스플레이에서 출력되는 영상 광을 착용자의 눈 방향으로 전달하여 증강현실을 제공할 수 있다. 즉, 광학계는 AR 글래스를 착용한 착용자가 증강현실을 경험할 수 있도록 구성될 수 있다. 이러한 광학계는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.In addition, the optical system of the optical display unit 121 transmits at least a portion of the light of the real world through the field of view of the wearer wearing the AR glasses, and transmits the image light output from the display toward the wearer's eyes to enhance It can provide reality. In other words, the optical system can be configured so that the wearer wearing AR glasses can experience augmented reality. This optical system consists of a plurality of lenses and mirrors and can be implemented in various ways, for example, an optical diffraction method, a beam splitter method, a pin mirror method, etc.

카메라부(122)는, AR 글래스를 착용한 사용자의 전방을 촬영하기 위한 카메라를 구비하는 구성이다. 이러한 카메라부(122)는 에어 펜(110)의 광원부(113)가 단일 색상의 LED로 구성되는 경우, 이에 대응하여 LED 광원의 빛을 검출할 수 있는 가시 광학 방식의 가시 카메라로 구성될 수 있다. 반면에, 카메라부(122)는 에어 펜(110)의 광원부(113)가 적외선 LED로 구성되는 경우, 적외선 LED 광원의 빛을 검출할 수 있는 적외선 광학 방식의 적외선 카메라로 구성될 수 있다.The camera unit 122 is configured to include a camera for photographing the front of a user wearing AR glasses. This camera unit 122 may be configured as a visible optical camera that can detect the light of the LED light source in response to the case where the light source unit 113 of the air pen 110 is composed of a single color LED. . On the other hand, when the light source unit 113 of the air pen 110 is comprised of an infrared LED, the camera unit 122 may be configured as an infrared optical camera capable of detecting light from the infrared LED light source.

제어부(123)는, AR 글래스 장치(120)의 전체적인 구동을 제어하는 구성이다. 이러한 제어부(123)는 광학 디스플레이부(121)로 증강현실 콘텐츠를 제공할 수 있도록 제어하며, 카메라부(122)를 통해 촬영되는 에어 펜(110)의 광원부(113)의 LED 광원의 빛을 이미지 처리하여 에어 펜(110)의 공간 좌표를 검출하도록 기능할 수 있다.The control unit 123 is a component that controls the overall operation of the AR glasses device 120. This control unit 123 controls the provision of augmented reality content to the optical display unit 121, and images the light of the LED light source of the light source unit 113 of the air pen 110 captured through the camera unit 122. It may function to detect the spatial coordinates of the air pen 110 through processing.

센서부(124)는, 적어도 하나 이상의 센서를 포함하는 구성이다. 이러한 센서부(124)는 홍채 인식 센서 등을 포함할 수 있다. 실시 예에 따라서, 제어부(123)는 착용자에 의해 조정된 IPD 정보를 사용자 인증 정보와 매칭해 저장하며, 착용자가 AR 글래스 장치(100)의 광학 디스플레이부(121)를 얼굴에 대고 사용자 인증을 하면, 사용자 인증 정보와 매칭된 IPD 정보를 사용해 저장된 IPD가 되도록 IPD 조정부를 자동으로 제어할 수도 있다. 이때, 사용자 인증은 센서부(124)에 포함된 홍채 인식 센서 등을 사용할 수 있다.The sensor unit 124 is configured to include at least one sensor. This sensor unit 124 may include an iris recognition sensor, etc. Depending on the embodiment, the control unit 123 stores the IPD information adjusted by the wearer by matching it with user authentication information, and when the wearer authenticates the user by touching the optical display unit 121 of the AR glasses device 100 to the face. , the IPD adjustment unit may be automatically controlled to produce a stored IPD using the IPD information matched with the user authentication information. At this time, user authentication may use an iris recognition sensor included in the sensor unit 124.

통신부(125)는, AR 글래스 장치(100)에 설치되며, 다른 AR 글래스 장치나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(125)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.The communication unit 125 is installed in the AR glasses device 100 and can transmit and receive various signals and data from other AR glasses devices or servers. Here, the network used by the communication unit 125 is a wired network or mobile network such as a Local Area Network (LAN), Wide Area Network (WAN), or Value Added Network (VAN). radio communication network), satellite communication network, Bluetooth, Wibro (Wireless Broadband Internet), HSDPA (High Speed Downlink Packet Access), LTE (Long Term Evolution), 3/4/5/6G (3/4/5/ It can be implemented with all types of wireless networks such as 6th Generation Mobile Telecommunication).

도 5는 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 AR 글래스 장치에서 에어 펜을 바라보는 관점의 개념 구성을 나타내고 있으며, 도 6은 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 깊이 값을 추정하는 개념 구성을 나타내고 있다. 도 5는 AR 글래스에서 에어 펜을 바라보는 관점을 나타내고 있으며, 도 6은 에어 펜이 AR 글래스에서 멀어질수록 카메라 영상에서의 원(광원)의 크기는 작아지게 되고, 이를 통해 깊이 값을 추정할 수 있게 된다.Figure 5 shows the conceptual configuration of the spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention from the perspective of the air pen in the AR glasses device, and Figure 6 is an embodiment of the present invention. It shows a conceptual configuration for estimating the depth value of a spatial coordinate detection device used as an input device for AR glasses according to . Figure 5 shows the perspective looking at the air pen from the AR glasses, and Figure 6 shows that as the air pen moves away from the AR glass, the size of the circle (light source) in the camera image becomes smaller, through which the depth value can be estimated. It becomes possible.

도 7은 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 RGB LED 에어 펜 광원 검출 알고리즘을 나타내고 있다. 도 7은 RGB LED 에어 펜의 광원 검출 알고리즘으로, 촬영된 이미지로부터 LED 마스크 정보를 획득하여 RGB 색상을 분석하고, 이어 마스크된 이진화를 거쳐 윤곽을 감지하며, 원 모양 확인 후 윤곽 분석을 통해 중심점(X,Y)을 검출하고, 윤곽 분석 후에 윤곽 영역으로부터 깊이(Z)를 추정하게 된다.Figure 7 shows the RGB LED air pen light source detection algorithm of the spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention. Figure 7 is the light source detection algorithm of the RGB LED air pen, which acquires LED mask information from the captured image to analyze the RGB color, then detects the outline through masked binarization, and after confirming the circle shape, determines the center point ( X,Y) are detected, and after contour analysis, depth (Z) is estimated from the contour area.

도 8은 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치의 IR 에어 펜 광원 검출 알고리즘을 나타내고 있다. 도 8은 IR 에어 펜 광원 검출 알고리즘으로, 촬영된 이미지로부터 IR 마스크 정보를 획득하여 IR 강도를 분석하고, 이어 마스크된 이진화를 거쳐 윤곽을 감지하며, 원 모양 확인 후 윤곽 분석을 통해 중심점(X,Y)을 검출하고, 윤곽 분석 후에 윤곽 영역으로부터 깊이(Z)를 추정하게 된다.Figure 8 shows the IR air pen light source detection algorithm of the spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention. Figure 8 is an IR air pen light source detection algorithm that acquires IR mask information from a captured image, analyzes the IR intensity, then detects the outline through masked binarization, and after confirming the circle shape, determines the center point (X, Y) is detected, and after contour analysis, depth (Z) is estimated from the contour area.

이와 같이, 에어 펜(110)과 AR 글래스 장치(120)로 구성되는 공간 좌표 검출 장치(100)는 AR 글래스 장치(120)의 사용자에 의해 AR 화면상에 증강현실 콘텐츠가 구현되는 상태에서 에어 펜(110)에서 발생시키는 LED 광원을 AR 글래스 장치(120)에서 광학 방식으로 빛을 검출하여 공간 위치를 검출하는 공간좌표 검출기로 기능할 수 있으며, 기존 핸드 검출 대비 간단한 영상처리 기법으로 광점을 통해 포인트를 검출함으로써 보다 높은 정밀도로 공간 위치 검출이 가능하고, 추가적인 무선통신(블루투스, 와이파이, RF통신 등) 장치 없이도 활용이 가능하게 된다.In this way, the spatial coordinate detection device 100, which is composed of the air pen 110 and the AR glasses device 120, uses the air pen in a state in which augmented reality content is implemented on the AR screen by the user of the AR glass device 120. The LED light source generated by (110) can function as a spatial coordinate detector that detects spatial position by optically detecting light in the AR glass device (120), and points can be detected through light points using a simple image processing technique compared to existing hand detection. By detecting, spatial location can be detected with higher precision, and it can be used without additional wireless communication (Bluetooth, Wi-Fi, RF communication, etc.) devices.

상술한 바와 같이, 본 발명의 일실시예에 따른 AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치는, AR 글래스를 착용한 사용자가 증강현실 콘텐츠를 AR 화면상에 구현할 때, AR 화면상의 증강현실 콘텐츠의 입력 신호로 공간 좌표를 인식시키기 위한 LED 광원을 발생시키는 에어 펜과, 사용자가 머리에 착용하고, 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실 콘텐츠를 AR 화면상에 구현하여 제공하되, 에어 펜에서 발생시키는 LED 광원의 영상 검출을 통하여 에어 펜의 공간 좌표를 검출하는 AR 글래스 장치를 포함하여 구성함으로써, 에어 펜의 끝부분의 LED를 사용하여 광학 방식으로 빛을 검출하여 높은 정밀도로 공간 위치를 검출할 수 있도록 할 수 있으며, 특히, 기존의 AR 글래스를 제어하거나 공간 좌표를 인식하기 위해 사용되는 입력 장치의 핸드 검출과 비교하여 간단한 영상 처리 기법으로 보다 높은 정밀도로 공간 위치 검출이 가능하고, 추가적인 무선통신 장치 없이도 활용이 가능하도록 하는 사용의 편의성 및 효율성이 더욱 증대될 수 있도록 할 수 있게 된다.As described above, the spatial coordinate detection device used as an input device for AR glasses according to an embodiment of the present invention is an augmented reality on the AR screen when a user wearing AR glasses implements augmented reality content on the AR screen. An air pen that generates an LED light source to recognize spatial coordinates as an input signal of content, and is worn on the user's head and placed in front of both eyes of the user to create AR content by combining real world light and image light. It is implemented and provided on the screen, and includes an AR glass device that detects the spatial coordinates of the air pen through image detection of the LED light source generated by the air pen, using an optical method using the LED at the end of the air pen. By detecting light, it is possible to detect spatial position with high precision. In particular, compared to hand detection of input devices used to control existing AR glasses or recognize spatial coordinates, a simple image processing technique allows for higher accuracy. It is possible to detect spatial location with precision, and the convenience and efficiency of use can be further increased by enabling use without additional wireless communication devices.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those skilled in the art, and the scope of the technical idea according to the present invention should be determined by the claims below.

100: 본 발명의 일실시예에 따른 공간 좌표 검출 장치
110: 에어 펜
111: 배터리
112: LED 구동 회로부
113: 광원부
120: AR 글래스 장치
121: 광학 디스플레이부
122: 카메라부
123: 제어부
124: 센서부
125: 통신부100: Spatial coordinate detection device according to an embodiment of the present invention
110: Air pen
111: battery
112: LED driving circuit part
113: Light source unit
120: AR glass device
121: Optical display unit
122: Camera unit
123: Control unit
124: sensor unit
125: Department of Communications

Claims (8)

AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치(100)로서,
AR 글래스를 착용한 사용자가 증강현실 콘텐츠를 AR 화면상에 구현할 때, AR 화면상의 증강현실 콘텐츠의 입력 신호로 공간 좌표를 인식시키기 위한 LED 광원을 발생시키는 에어 펜(110); 및
사용자가 머리에 착용하고, 사용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실 콘텐츠를 AR 화면상에 구현하여 제공하되, 상기 에어 펜(110)에서 발생시키는 LED 광원의 영상 검출을 통하여 상기 에어 펜(110)의 공간 좌표를 검출하는 AR 글래스 장치(120)를 포함하는 것을 특징으로 하는, AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치.
A spatial coordinate detection device 100 used as an input device for AR glasses,
When a user wearing AR glasses implements augmented reality content on the AR screen, an air pen 110 that generates an LED light source to recognize spatial coordinates as an input signal of the augmented reality content on the AR screen; and
It is worn on the user's head and placed in front of both eyes of the user, and provides augmented reality content by combining real world light and image light on the AR screen, and the LED light source generated by the air pen 110 A spatial coordinate detection device used as an input device for AR glasses, comprising an AR glasses device 120 that detects the spatial coordinates of the air pen 110 through image detection.
 제1항에 있어서, 상기 공간 좌표 검출 장치(100)는,
상기 AR 글래스 장치(120)의 사용자에 의해 AR 화면상에 증강현실 콘텐츠가 구현되는 상태에서 상기 에어 펜(110)에서 발생시키는 LED 광원을 상기 AR 글래스 장치(120)에서 광학 방식으로 빛을 검출하여 공간 위치를 검출하는 공간좌표 검출기로 기능하는 것을 특징으로 하는, AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치.
The method of claim 1, wherein the spatial coordinate detection device 100,
When augmented reality content is implemented on the AR screen by the user of the AR glasses device 120, the LED light source generated by the air pen 110 is optically detected by the AR glasses device 120. A spatial coordinate detection device used as an input device for AR glasses, characterized in that it functions as a spatial coordinate detector that detects spatial position.
 제2항에 있어서, 상기 에어 펜(110)은,
상기 에어 펜(110)의 구동을 위한 구동 전원을 공급하는 배터리(111);
상기 배터리(111)로부터 구동 전원을 공급받고, 상기 에어 펜(110)의 끝부분에 배치되는 LED를 구동시키기 위한 LED 구동 회로부(112); 및
상기 에어 펜(110)의 끝부분에 배치되는 LED로 구성되어, 상기 LED 구동 회로부(112)의 구동 제어에 따라 구동되어 LED 광원을 발생시키는 광원부(113)를 포함하여 구성하는 것을 특징으로 하는, AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치.
The method of claim 2, wherein the air pen 110 is:
a battery 111 that supplies driving power for driving the air pen 110;
an LED driving circuit unit 112 that receives driving power from the battery 111 and drives an LED disposed at the end of the air pen 110; and
Characterized in that it is composed of an LED disposed at the end of the air pen 110 and includes a light source unit 113 that is driven according to the driving control of the LED driving circuit unit 112 to generate an LED light source. A spatial coordinate detection device used as an input device for AR glasses.
 제3항에 있어서, 상기 광원부(113)는,
상기 에어 펜(110)의 끝부분에 배치되는 LED로 구성하되, 가시 광학 방식의 가시 카메라에 의해 LED 광원의 빛이 검출될 수 있는 멀티 색상의 LED로 구성되는 것을 특징으로 하는, AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치.
The method of claim 3, wherein the light source unit 113,
The input of the AR glasses is composed of an LED disposed at the end of the air pen 110, and is composed of multi-color LEDs whose light from the LED light source can be detected by a visible optical camera. A spatial coordinate detection device used as a device.
 제3항에 있어서, 상기 광원부(113)는,
상기 에어 펜(110)의 끝부분에 배치되는 LED로 구성하되, 적외선 광학 방식의 적외선 카메라에 의해 적외선 LED 광원의 빛이 검출될 수 있는 적외선 LED로 구성되는 것을 특징으로 하는, AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치.
The method of claim 3, wherein the light source unit 113,
An input device of AR glasses, which is composed of an LED disposed at the end of the air pen 110, and is composed of an infrared LED whose light from the infrared LED light source can be detected by an infrared optical camera. A spatial coordinate detection device used as a.
 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 AR 글래스 장치(120)는,
상기 에어 펜(110)에서 발생시키는 LED 광원의 영상 검출을 통하여 상기 에어 펜(110)의 공간 좌표를 검출하되, 카메라로 검출되는 빛으로 눈앞의 X, Y 위치를 검출하고, 획득된 영상에서 광점의 크기를 역산하여 깊이(Z)를 예측하는 것을 특징으로 하는, AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치.
The method according to any one of claims 1 to 5, wherein the AR glasses device 120,
The spatial coordinates of the air pen 110 are detected through image detection of the LED light source generated by the air pen 110, and the A spatial coordinate detection device used as an input device for AR glasses, characterized by predicting depth (Z) by inverting the size of .
 제6항에 있어서, 상기 AR 글래스 장치(120)는,
상기 에어 펜(110)에서 발생시키는 LED 광원의 영상 검출을 통하여 상기 에어 펜(110)의 공간 좌표를 검출하기 위한 카메라를 구비하는 카메라부(122)를 구비하되, 상기 카메라부(122)는 단일 색상의 LED로 구성되는 상기 에어 펜(110)의 광원부(113)에 대응하여 LED 광원의 빛을 검출할 수 있는 가시 광학 방식의 가시 카메라로 구성되는 것을 특징으로 하는, AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치.
The method of claim 6, wherein the AR glasses device 120 is:
It is provided with a camera unit 122 including a camera for detecting the spatial coordinates of the air pen 110 through image detection of the LED light source generated by the air pen 110, and the camera unit 122 is a single It is used as an input device for AR glasses, characterized in that it consists of a visible optical camera that can detect the light of the LED light source in response to the light source unit 113 of the air pen 110 composed of colored LEDs. A spatial coordinate detection device.
 제6항에 있어서, 상기 AR 글래스 장치(120)는,
상기 에어 펜(110)에서 발생시키는 LED 광원의 영상 검출을 통하여 상기 에어 펜(110)의 공간 좌표를 검출하기 위한 카메라를 구비하는 카메라부(122)를 구비하되, 상기 카메라부(122)는 적외선 LED로 구성되는 상기 에어 펜(110)의 광원부(113)에 대응하여 적외선 LED 광원의 빛을 검출할 수 있는 적외선 광학 방식의 적외선 카메라로 구성되는 것을 특징으로 하는, AR 글래스의 입력장치로 사용되는 공간 좌표 검출 장치.The method of claim 6, wherein the AR glasses device 120 is:
A camera unit 122 is provided with a camera for detecting the spatial coordinates of the air pen 110 through image detection of the LED light source generated by the air pen 110, and the camera unit 122 emits infrared rays. Characterized by being composed of an infrared optical camera that can detect the light of the infrared LED light source in response to the light source unit 113 of the air pen 110 composed of LED, used as an input device for AR glasses Spatial coordinate detection device.
KR1020220120607A 2022-09-23 2022-09-23 Spatial coordinate detection device used as input device for augmented reality glasses KR20240041511A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220120607A KR20240041511A (en) 2022-09-23 2022-09-23 Spatial coordinate detection device used as input device for augmented reality glasses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220120607A KR20240041511A (en) 2022-09-23 2022-09-23 Spatial coordinate detection device used as input device for augmented reality glasses

Publications (1)

Publication Number Publication Date
KR20240041511A true KR20240041511A (en) 2024-04-01

Family

ID=90667225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220120607A KR20240041511A (en) 2022-09-23 2022-09-23 Spatial coordinate detection device used as input device for augmented reality glasses

Country Status (1)

Country Link
KR (1) KR20240041511A (en)

Similar Documents

Publication Publication Date Title
US11599326B2 (en) Spatial location presentation in head worn computing
US10175484B2 (en) Head-mounted display device, control method for head-mounted display device, and computer program
US10031579B2 (en) Automatic calibration for reflective lens
US10140079B2 (en) Object shadowing in head worn computing
US9335547B2 (en) Head-mounted display device and method of controlling head-mounted display device
KR20230117236A (en) Eyewear including sign language-to-speech translation
US20170294039A1 (en) Head-mounted display device, control method for head-mounted display device, and computer program
JP6770536B2 (en) Techniques for displaying text more efficiently in virtual image generation systems
US20150228120A1 (en) Spatial location presentation in head worn computing
US9261959B1 (en) Input detection
KR20130034125A (en) Augmented reality function glass type monitor
TW201502581A (en) Head mounted display device and control method for head mounted display device
US20160021360A1 (en) Display device, method of controlling display device, and program
JP2014191386A (en) Head-mounted display device and method of controlling the same
JP6303274B2 (en) Head-mounted display device and method for controlling head-mounted display device
KR20240041511A (en) Spatial coordinate detection device used as input device for augmented reality glasses
JP2021135738A (en) Image display device, image display method, and image display program
TW202037965A (en) Adaptive display method and head mounted display device using eye tracking
KR102260393B1 (en) A head mounted display apparatus with automatic screen illumination intensity adjustment according to the user
CN206906983U (en) Augmented reality equipment
JP6304415B2 (en) Head-mounted display device and method for controlling head-mounted display device
US11454816B1 (en) Segmented illumination display
US11982814B2 (en) Segmented illumination display
KR102599022B1 (en) Electronic device manipulation method for ar glass apparatus and ar glass apparatus with electronic device manipulation function
JP6669183B2 (en) Head mounted display and control method of head mounted display