KR20220110417A - Wearable computing system of ar glasses using external computing device - Google Patents

Wearable computing system of ar glasses using external computing device Download PDF

Info

Publication number
KR20220110417A
KR20220110417A KR1020210013732A KR20210013732A KR20220110417A KR 20220110417 A KR20220110417 A KR 20220110417A KR 1020210013732 A KR1020210013732 A KR 1020210013732A KR 20210013732 A KR20210013732 A KR 20210013732A KR 20220110417 A KR20220110417 A KR 20220110417A
Authority
KR
South Korea
Prior art keywords
glasses
computing device
artificial intelligence
external computing
external
Prior art date
Application number
KR1020210013732A
Other languages
Korean (ko)
Other versions
KR102591589B1 (en
Inventor
최치원
김정환
조성동
백지엽
이강휘
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020210013732A priority Critical patent/KR102591589B1/en
Publication of KR20220110417A publication Critical patent/KR20220110417A/en
Application granted granted Critical
Publication of KR102591589B1 publication Critical patent/KR102591589B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

The present invention relates to a wearable computing system for AR glasses using an external computing device. More specifically, the wearable computing system comprises: AR glasses worn on the user's head to provide augmented reality; and an external computing device connected to the AR glasses by wire, specialized in artificial intelligence computation processing, and processing artificial intelligence computation for the AR glasses. The AR glasses control the operation of the AR glasses using a result of artificial intelligence calculation, and allocate and process the artificial intelligence calculation to the external computing device in preference to internal computing resources, thereby to minimizing the amount of the internal computing resources used for the artificial intelligence calculation. According to the wearable computing system for AR glasses using an external computing device proposed in the present invention, the external computing device specialized in artificial intelligence calculation processing is wired to the AR glasses and the artificial intelligence calculation is assigned in preference to the external computing device for processing such that the speed of the artificial intelligence calculation for controlling the AR glasses is increased and at the same time, the share of the internal computing resources used for the artificial intelligence calculation is minimized. Therefore, the artificial intelligence calculation can be performed by efficiently distributing resources without deteriorating the basic functions of the AR glasses, various artificial intelligence technologies can be applied to maximize the function of the AR glasses even offline, and various artificial intelligence models can be applied simultaneously using a number of external computing devices.

Description

외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템{WEARABLE COMPUTING SYSTEM OF AR GLASSES USING EXTERNAL COMPUTING DEVICE}Wearable Computing System of AR Glasses Using an External Computing Device

본 발명은 착용형 연산 시스템에 관한 것으로서, 보다 구체적으로는 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에 관한 것이다.The present invention relates to a wearable computing system, and more particularly, to a wearable computing system for AR glasses using an external computing device.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.Various wearable devices are being developed in accordance with the trend of weight reduction and miniaturization of digital devices. A head mounted display, which is a type of wearable device, refers to various devices that a user can wear on the head to receive multimedia contents. Here, the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves. Such a head mounted display (HMD) is divided into a see-through type and a see-closed type, and the transparent type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (Virtual Reality). Reality, VR).

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용 되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.1 is a diagram illustrating a schematic configuration of a general glasses-type head mounted display (HMD), and FIG. 2 is a diagram illustrating a schematic configuration of a general band-type head mounted display (HMD). As shown in FIGS. 1 and 2 , a general head-mounted display in the form of glasses or a band is worn on the user's face or head and is transmitted through a lens that projects augmented reality (AR) image information to the real world. will be provided to the user.

증강현실용 헤드 마운티드 디스플레이는 실제 세계에 다양한 영상 정보를 증강하여 제공하므로, 다양한 작업 환경에 도움을 줄 수 있어서 그 적용 분야가 광범위하다. 특히, 최근 다양한 분야에 적용되고 있는 인공지능 기술을 적용하면 사용 편의성이 크게 향상되므로, 인공지능 기술을 증강현실용 헤드 마운티드 디스플레이에 적용하기 위한 기술의 개발이 시도되고 있다.The head-mounted display for augmented reality augments and provides various image information to the real world, so it can help various work environments and thus has a wide range of applications. In particular, since the ease of use is greatly improved by applying artificial intelligence technology that has been recently applied to various fields, development of a technology for applying artificial intelligence technology to a head-mounted display for augmented reality is being attempted.

그러나 인공지능 알고리즘은 그 연산에 많은 리소스가 사용되므로, 필수적인 인공지능 알고리즘만 적용해도 헤드 마운티드 디스플레이의 CPU 리소스 점유율을 100% 차지하게 되는 문제가 있다. 또한 머리에 착용하기 때문에 가볍고 부피가 작아야 하는 헤드 마운티드 디스플레이의 특성상, 인공지능 알고리즘의 연산을 위한 하드웨어 장치의 추가에도 한계가 있다.However, since the artificial intelligence algorithm uses a lot of resources for its operation, there is a problem that the CPU resource share of the head mounted display is 100% even if only the necessary artificial intelligence algorithm is applied. Also, due to the nature of the head mounted display, which must be light and small in volume because it is worn on the head, there is a limit to the addition of hardware devices for the calculation of artificial intelligence algorithms.

이를 해결하기 위해 서버와 연동하여 서버에서 인공지능 알고리즘을 연산하고, 헤드 마운티드 디스플레이는 그 결괏값만을 수신해 사용하는 방법을 사용하기도 한다. 그러나 서버와 연동하기 위해서는 온라인 상태가 유지되어야 하고, 네트워크 상황에 따라 통신이 원활하지 않을 수 있으므로, 이러한 방식으로 인공지능 알고리즘을 연산해 헤드 마운티드 디스플레이를 안정적으로 제어하기에는 한계가 있다.To solve this problem, an artificial intelligence algorithm is calculated on the server in conjunction with the server, and the head mounted display receives and uses only the result. However, in order to work with the server, an online state must be maintained, and communication may not be smooth depending on network conditions.

따라서 이러한 한계를 극복하고 헤드 마운티드 디스플레이에 인공지능 알고리즘을 효과적으로 적용할 수 있는 기술의 개발이 필요한 실정이다.Therefore, it is necessary to develop a technology that can overcome these limitations and effectively apply artificial intelligence algorithms to the head mounted display.

한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-2102309호(발명의 명칭: 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법, 등록일자: 2020년 04월 13일) 등이 개시된 바 있다.On the other hand, as prior art related to the present invention, Patent Registration No. 10-2102309 (title of the invention: object recognition method for a three-dimensional virtual space of a head-worn display device, registration date: April 13, 2020), etc. has been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 인공지능 연산 처리에 특화된 외부 연산 장치를 AR 글래스에 유선으로 연결하고, 외부 연산 장치에 인공지능 연산을 우선하여 할당해 처리함으로써, AR 글래스를 제어하기 위한 인공지능 연산 속도를 증가시키는 동시에 인공지능 연산에 사용되는 내부 연산 자원의 점유율을 최소화하여, AR 글래스의 기본 기능의 저하 없이 효율적으로 자원을 배분하여 인공지능 연산을 할 수 있고, 오프라인 상태에서도 다양한 인공지능 기술을 적용해 AR 글래스의 기능을 극대화할 수 있으며, 다수의 외부 연산 장치를 이용해 다양한 인공지능 모델을 동시에 적용할 수 있는, 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템을 제공하는 것을 그 목적으로 한다.The present invention has been proposed to solve the above problems of the previously proposed methods, by connecting an external computing device specialized for artificial intelligence computation processing to AR glasses by wire, and assigning priority to artificial intelligence computation to the external computation device By processing it, it increases the speed of AI computation to control AR glasses and minimizes the share of internal computational resources used for AI computation, efficiently allocating resources without degrading the basic functions of AR glasses and performing AI computation AR glasses using an external computing device, which can be used to perform a variety of AI models even when offline, to maximize the functions of AR glasses by applying various artificial intelligence technologies An object of the present invention is to provide a wearable computing system of

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템은,A wearable computing system of AR glasses using an external computing device according to a feature of the present invention for achieving the above object,

착용형 연산 시스템으로서,A wearable computing system comprising:

사용자의 머리에 착용되어 증강현실을 제공하는 AR 글래스; 및AR glasses that are worn on the user's head to provide augmented reality; and

상기 AR 글래스에 유선으로 연결되며, 인공지능 연산 처리에 특화되어 상기 AR 글래스를 위한 인공지능 연산을 처리하는 외부 연산 장치를 포함하며,It is connected to the AR glasses by wire, and includes an external computing device that is specialized for artificial intelligence computation processing and processes artificial intelligence computation for the AR glasses,

상기 AR 글래스는,The AR glass,

인공지능 연산의 결과를 이용해 상기 AR 글래스의 동작을 제어하되, 상기 인공지능 연산을 내부 연산 자원에 우선하여 상기 외부 연산 장치에 할당해 처리하여, 인공지능 연산에 사용되는 내부 연산 자원의 사용량을 최소화하는 것을 그 구성상의 특징으로 한다.The operation of the AR glasses is controlled using the result of artificial intelligence calculation, but the artificial intelligence calculation is prioritized over the internal calculation resource and allocated to the external computing device for processing, thereby minimizing the usage of the internal calculation resource used for the AI calculation It is characterized by its constitution.

바람직하게는, 상기 AR 글래스는,Preferably, the AR glass,

사용자의 머리에 착용되어 증강현실을 제공하는 글래스부; 및a glass unit that is worn on the user's head to provide augmented reality; and

사용자의 신체에 착용되며, 상기 글래스부와 유선으로 연결되어 상기 글래스부를 제어하는 소형의 메인 처리부를 포함할 수 있다.It is worn on the user's body and may include a small main processing unit connected to the glass unit by wire to control the glass unit.

더욱 바람직하게는, 상기 글래스부는,More preferably, the glass part,

사용자가 머리에 착용할 수 있는 HMD 프레임;HMD frame that can be worn on the user's head;

상기 HMD 프레임을 착용한 작업자의 양안의 전방에 배치되며, 작업자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학부; 및an optical unit disposed in front of both eyes of an operator wearing the HMD frame and allowing the real world to be transmitted through the operator's field of vision; and

상기 광학부를 통해 투과되어 보이는 실제 세계와 함께 증강현실 영상 정보가 사용자에게 제공될 수 있도록 영상 광을 출력하는 디스플레이를 포함할 수 있다.It may include a display for outputting image light so that augmented reality image information can be provided to the user together with the real world transmitted through the optical unit.

더욱 바람직하게는, 상기 외부 연산 장치는,More preferably, the external computing device,

USB 타입의 TPU(Tensor Processing Unit) 또는 NPU(Neural Processing Unit)이며, 상기 메인 처리부의 하우징의 일측에 USB 연결로 장착될 수 있다.It is a USB type Tensor Processing Unit (TPU) or Neural Processing Unit (NPU), and may be mounted on one side of the housing of the main processing unit through a USB connection.

더욱 바람직하게는, 상기 외부 연산 장치는,More preferably, the external computing device,

소형 그래픽카드 및 상기 소형 그래픽카드가 삽입된 하우징을 포함할 수 있다.It may include a small graphic card and a housing into which the small graphic card is inserted.

더더욱 바람직하게는,Even more preferably,

사용자의 허리에 상기 메인 처리부 및 외부 연산 장치를 착용하기 위한 착용부를 더 포함하며,Further comprising a wearing unit for wearing the main processing unit and the external computing device on the user's waist,

상기 착용부는,The wearing part,

상기 메인 처리부 및 상기 외부 연산 장치를 탈착 가능하게 구성할 수 있다.The main processing unit and the external arithmetic unit may be detachably configured.

바람직하게는,Preferably,

상기 AR 글래스는, 인공지능 연상의 입력데이터 획득 및 전처리, 출력 데이터를 사용한 상기 AR 글래스의 동작 제어를 수행하며,The AR glasses acquire and pre-process input data associated with artificial intelligence, and perform operation control of the AR glasses using output data,

상기 외부 연산 장치는, 상기 AR 글래스에서 전처리된 입력데이터를 이용해 인공지능 연산을 수행하고 결과를 출력할 수 있다.The external computing device may perform an artificial intelligence calculation using the input data preprocessed by the AR glasses and output a result.

더욱 바람직하게는,More preferably,

(1) 상기 AR 글래스가, 센서 데이터를 획득 및 전처리하여 인공지능 연산의 입력데이터로 처리하는 단계;(1) the AR glasses, acquiring and pre-processing sensor data to process input data of artificial intelligence calculation;

(2) 상기 외부 연산 장치가, 상기 AR 글래스로부터 입력데이터를 전달받아 인공지능 연산을 수행해 결과를 출력하는 단계; 및(2) receiving, by the external computing device, input data from the AR glasses, performing an artificial intelligence calculation and outputting a result; and

(3) 상기 AR 글래스가, 상기 외부 연산 장치로부터 출력 데이터를 전달받아 상기 AR 글래스의 동작을 제어하는 단계를 수행하여,(3) the AR glasses receive output data from the external computing device to control the operation of the AR glasses,

상기 AR 글래스에서 획득한 센서 데이터 및 인공지능 연산을 이용해 상기 AR 글래스를 제어할 수 있다.The AR glasses can be controlled using sensor data and artificial intelligence calculations obtained from the AR glasses.

본 발명에서 제안하고 있는 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에 따르면, 인공지능 연산 처리에 특화된 외부 연산 장치를 AR 글래스에 유선으로 연결하고, 외부 연산 장치에 인공지능 연산을 우선하여 할당해 처리함으로써, AR 글래스를 제어하기 위한 인공지능 연산 속도를 증가시키는 동시에 인공지능 연산에 사용되는 내부 연산 자원의 점유율을 최소화하여, AR 글래스의 기본 기능의 저하 없이 효율적으로 자원을 배분하여 인공지능 연산을 할 수 있고, 오프라인 상태에서도 다양한 인공지능 기술을 적용해 AR 글래스의 기능을 극대화할 수 있으며, 다수의 외부 연산 장치를 이용해 다양한 인공지능 모델을 동시에 적용할 수 있다.According to the wearable computing system for AR glasses using an external computing device proposed in the present invention, an external computing device specialized for artificial intelligence computation processing is connected to the AR glasses by wire, and AI computation is prioritized to the external computation device. By processing it, it increases the speed of AI computation to control AR glasses and minimizes the share of internal computational resources used for AI computation, efficiently allocating resources without degrading the basic functions of AR glasses and performing AI computation In the offline state, various artificial intelligence technologies can be applied to maximize the functions of AR glasses, and various artificial intelligence models can be applied simultaneously using a number of external computing devices.

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템을 사용했을 때 연산 자원의 사용량을 예를 들어 설명한 도면.
도 5는 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에서, 글래스부의 세부적인 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에서, USB 타입의 외부 연산 장치를 메인 처리부에 장착한 모습을 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에서, 소형 그래픽카드 타입의 외부 연산 장치를 메인 처리부에 연결한 모습을 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템을 착용부를 이용해 착용한 모습을 예를 들어 도시한 도면.
도 9는 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에서, 센서 데이터를 이용해 인공지능 연산을 수행하는 과정의 흐름을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에서, 센서 데이터를 이용해 인공지능 연산을 수행하는 과정의 주체를 표시한 도면.1 is a view showing a schematic configuration of a general glasses-type head mounted display (HMD).
2 is a view showing a schematic configuration of a general band-type head mounted display (HMD).
3 is a diagram illustrating the configuration of a wearable computing system for AR glasses using an external computing device according to an embodiment of the present invention.
4 is a view for explaining the usage of computational resources when using the wearable computation system of AR glasses using an external computation device according to an embodiment of the present invention.
5 is a diagram illustrating a detailed configuration of a glass unit in a wearable computing system for AR glasses using an external computing device according to an embodiment of the present invention.
6 is a view showing, for example, a state in which a USB-type external computing device is mounted on a main processing unit in a wearable computing system for AR glasses using an external computing device according to an embodiment of the present invention.
7 is a diagram illustrating, for example, a state in which an external computing device of a small graphic card type is connected to a main processing unit in an AR glasses wearable computing system using an external computing device according to an embodiment of the present invention.
8 is a view showing, for example, a state in which the wearable computing system of AR glasses using an external computing device according to an embodiment of the present invention is worn using a wearing unit.
9 is a diagram illustrating a flow of a process of performing artificial intelligence calculations using sensor data in an AR glasses wearable calculation system using an external computing device according to an embodiment of the present invention.
10 is a diagram illustrating a subject of a process of performing an artificial intelligence calculation using sensor data in an AR glasses wearable calculation system using an external computing device according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those of ordinary skill in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' with another part, it is not only 'directly connected' but also 'indirectly connected' with another element interposed therebetween. include In addition, "including" a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.

도 3은 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템은, AR 글래스(100) 및 외부 연산 장치(200)를 포함하여 구성될 수 있으며, AR 글래스(100)는 글래스부(110) 및 메인 처리부(120)를 포함하여 구성될 수 있다.3 is a diagram illustrating a configuration of a wearable computing system of AR glasses 100 using an external computing device 200 according to an embodiment of the present invention. As shown in FIG. 3 , the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention includes the AR glasses 100 and the external computing device 200 . The AR glasses 100 may include a glass unit 110 and a main processing unit 120 .

즉, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템은, 인공지능 연산 처리에 특화된 외부 연산 장치(200)를 AR 글래스(100)에 유선으로 연결하고, 외부 연산 장치(200)에 인공지능 연산을 우선하여 할당해 처리함으로써, AR 글래스(100)를 제어하기 위한 인공지능 연산 속도를 증가시키는 동시에 인공지능 연산에 사용되는 내부 연산 자원(AR 글래스(100)의 CPU)의 점유율을 최소화할 수 있다.That is, in the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention, the external computing device 200 specialized for artificial intelligence computation processing is wired to the AR glasses 100 . By connecting to and processing the artificial intelligence operation with priority to the external computing device 200, the artificial intelligence operation speed for controlling the AR glasses 100 is increased, and the internal operation resource (AR) used for artificial intelligence operation The occupancy of the glass 100 (CPU) can be minimized.

여기서, 인공지능 연산은, 머신러닝이나 딥러닝 등의 인공지능 알고리즘이 적용된 인공지능 모델의 연산을 의미하는 것으로서, 인공지능 모델의 학습 과정이나 예측 과정을 모두 포함할 수 있다.Here, the artificial intelligence operation refers to the operation of an artificial intelligence model to which an artificial intelligence algorithm such as machine learning or deep learning is applied, and may include both a learning process and a prediction process of the artificial intelligence model.

도 4는 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템을 사용했을 때 연산 자원의 사용량을 예를 들어 설명한 도면이다. 도 4의 위쪽에 도시된 바와 같이, 기존의 AR 글래스(100)는, 필수 기능인 제스처 인식 및 음성 인식만 인공지능 연산으로 적용하더라도, 내부 연산 자원인 CPU의 점유율을 100% 차지하게 되어, 기본 기능이 크게 저하되는 문제가 있었다. 이러한 문제를 해결하기 위해, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템은, 도 4의 아래쪽에 도시된 바와 같이, 벡터/행렬의 병렬처리에 특화된 TPU(Tensor Processing Unit), NPU(Neural Processing Unit)나, 소형 그래픽카드(GPU, Graphics Processing Unit)를 외부 연산 장치(200)로 이용해, AR 글래스(100)의 제어를 위한 인공지능 연산을 전담하도록 구성할 수 있다.4 is a diagram illustrating, for example, the usage of computational resources when the wearable computation system of the AR glasses 100 using the external computation device 200 according to an embodiment of the present invention is used. As shown in the upper part of FIG. 4 , the existing AR glasses 100 occupies 100% of the CPU, which is an internal computational resource, even if only the essential functions of gesture recognition and voice recognition are applied as artificial intelligence calculations, and the basic function There was a problem with this greatly degraded. In order to solve this problem, the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention, as shown in the lower part of FIG. Artificial intelligence calculation for controlling the AR glasses 100 using a TPU (Tensor Processing Unit), NPU (Neural Processing Unit), or a small graphics card (GPU, Graphics Processing Unit) specialized for processing as the external computing device 200 . can be configured to be dedicated to

이와 같이 AR 글래스(100)는, 인공지능 연산의 결과를 이용해 AR 글래스(100)의 동작을 제어하되, 인공지능 연산을 내부 연산 자원에 우선하여 외부 연산 장치(200)에 할당해 처리하여, 인공지능 연산에 사용되는 내부 연산 자원의 사용량을 최소화할 수 있다. 따라서 AR 글래스(100)의 기본 기능의 저하 없이 효율적으로 자원을 배분하여 인공지능 연산을 할 수 있고, 추가적인 외부 작업을 할 수 있으며, 오프라인 상태에서도 다양한 인공지능 기술을 적용해 AR 글래스(100)의 기능을 극대화할 수 있다.In this way, the AR glasses 100 control the operation of the AR glasses 100 using the results of the artificial intelligence calculation, but give priority to the internal computation resources to allocate and process the artificial intelligence computation to the external computation device 200, It is possible to minimize the amount of internal computational resources used for intelligent computation. Therefore, it is possible to efficiently allocate resources without degrading the basic functions of the AR glasses 100 to perform artificial intelligence calculations, to perform additional external tasks, and to apply various artificial intelligence technologies even in an offline state to improve the performance of the AR glasses 100 . function can be maximized.

또한, 다수의 외부 연산 장치(200)를 이용해 다양한 인공지능 모델을 동시에 적용할 수도 있다. 예를 들어, 3개의 외부 연산 장치(200)를 AR 글래스(100)에 유선으로 연결하고, 각각의 외부 연산 장치(200)가 인공지능 제스처 인식, 인공지능 음성 인식, 인공지능 객체 검출을 각각 연산하도록 하여, 복수의 인공지능 모델을 병렬처리로 구현할 수 있다.In addition, various artificial intelligence models may be simultaneously applied using a plurality of external computing devices 200 . For example, three external computing devices 200 are connected to the AR glasses 100 by wire, and each external computing device 200 calculates artificial intelligence gesture recognition, artificial intelligence voice recognition, and artificial intelligence object detection, respectively. By doing so, a plurality of artificial intelligence models can be implemented in parallel processing.

이하에서는, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 각 구성에 대해 상세히 설명하도록 한다.Hereinafter, each configuration of the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention will be described in detail.

AR 글래스(100)는, 사용자의 머리에 착용되어 증강현실을 제공할 수 있으며, 사용자의 머리에 착용되어 증강현실을 제공하는 글래스부(110), 및 사용자의 신체에 착용되며, 글래스부(110)와 유선으로 연결되어 글래스부(110)를 제어하는 소형의 메인 처리부(120)를 포함하여 구성될 수 있다.AR glasses 100 may be worn on the user's head to provide augmented reality, the glass unit 110 worn on the user's head to provide augmented reality, and the user's body, the glass unit 110 . ) and may be configured to include a small main processing unit 120 for controlling the glass unit 110 by wire.

글래스부(110)는, 사용자의 머리에 착용되는 증강현실 디스플레이 장치로서, 안경 형태, 고글 형태, 헬멧 형태 등 다양하게 구현될 수 있으며, 양안 디스플레이, 단안 디스플레이 등 디스플레이 형태도 다양할 수 있다. 글래스부(110)의 세부적인 구성은 추후 도 5를 참조하여 상세히 설명하도록 한다.The glass unit 110 is an augmented reality display device worn on a user's head, and may be implemented in various ways, such as in the form of glasses, in the form of goggles, in the form of a helmet, and may have various display forms such as a binocular display and a monocular display. A detailed configuration of the glass unit 110 will be described in detail later with reference to FIG. 5 .

메인 처리부(120)는, 사용자의 신체에 착용되며, 글래스부(110)와 유선으로 연결되어 글래스부(110)를 제어하는 소형의 컴퓨터로서, 사용자의 허리, 등, 팔 등 무게로 인한 부담이 적은 신체 부위에 착용될 수 있다.The main processing unit 120 is a small computer that is worn on the user's body and is connected to the glass unit 110 by wire to control the glass unit 110 . It can be worn on small body parts.

특히, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 AR 글래스(100)는, 머리에 착용하는 글래스부(110)와 허리나 등과 같은 머리가 아닌 신체 부위에 착용되는 메인 처리부(120)를 분리하여, 글래스부(110)의 부피와 무게를 줄일 수 있다. 글래스부(110)가 크고 무거워지면 사용자의 머리와 목에 부담이 되고 동작이 불편하며 장시간 착용이 불가능해지므로, 글래스부(110)의 부피와 무게를 최소화하여 이러한 문제를 해결할 수 있다.In particular, the AR glasses 100 of the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention include the glass part 110 worn on the head and the waist or the like. By separating the main processing unit 120 worn on a body part other than the head, the volume and weight of the glass unit 110 can be reduced. When the glass unit 110 is large and heavy, it becomes a burden on the user's head and neck, operation is inconvenient, and it is impossible to wear it for a long time, so this problem can be solved by minimizing the volume and weight of the glass unit 110 .

도 5는 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에서, 글래스부(110)의 세부적인 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 글래스부(110)는, HMD 프레임(111), 광학부(112) 및 디스플레이(113)를 포함하여 구성될 수 있다.5 is a diagram illustrating a detailed configuration of the glass unit 110 in the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention. As shown in FIG. 5 , the glass unit 110 of the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention includes an HMD frame 111 and an optical unit. It may be configured to include a 112 and a display 113 .

HMD 프레임(111)은, 사용자가 머리에 착용할 수 있는 프레임 구성이다. 이러한 HMD 프레임(111)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 안경 형태, 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(111)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(111)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.The HMD frame 111 is a frame configuration that can be worn on the user's head. The HMD frame 111 may be configured in the form of glasses, a helmet, or goggles having a frame structure through which light can enter while being worn on the user's head. Here, when the HMD frame 111 is formed in the form of a helmet, it may have a structure of a helmet (not shown) worn on the user's head and a display frame (not shown) disposed in front of the helmet. In addition, when the HMD frame 111 is configured in the form of goggles, it may be composed of a band frame (not shown) that can be worn on the user's head, and a goggles frame (not shown) that is fastened and fixed to the band frame.

광학부(112)는, HMD 프레임(111)을 착용한 작업자의 양안의 전방에 배치되며, 작업자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 구성이다. 즉, 광학부(112)는, 사용자의 시야를 통해 실제 세계가 투과되어 보이는 동시에, 디스플레이(113)에서 출력된 영상 광이 사용자의 동공에 전달되도록 하는 구성이다. 이러한 광학부(112)는 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있는 글라스 형태로서 복수의 렌즈와 미러 등으로 구성될 수 있다.The optical unit 112 is disposed in front of both eyes of the operator wearing the HMD frame 111, and is configured so that the real world through the operator's field of view can be transmitted and seen. That is, the optical unit 112 is configured to transmit the image light output from the display 113 to the user's pupil while the real world is transmitted through the user's field of view. The optical unit 112 is in the form of a glass through which the real world through the user's field of view can be seen and may be composed of a plurality of lenses and mirrors.

디스플레이(113)는, 광학부(112)를 통해 투과되어 보이는 실제 세계와 함께 증강현실 영상 정보가 사용자에게 제공될 수 있도록 영상 광을 출력할 수 있다. 디스플레이(113)는 OLED, LCOS 등으로 구현될 수 있다.The display 113 may output image light so that augmented reality image information can be provided to the user together with the real world transmitted through the optical unit 112 and viewed. The display 113 may be implemented by OLED, LCOS, or the like.

또한, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 글래스부(110)는, HMD 프레임(111)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈, HMD 프레임(111)에 장착되어 사용자 시선 방향의 영상을 촬영하는 카메라, AR 글래스(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부, HMD 프레임(111)의 일 측에 설치되며, 작업 공간에서 발생하는 정보를 센싱하는 적어도 하나 이상의 센서를 포함하는 센서부 등을 더 포함하여 구성될 수 있다. 여기서 센서부는, 사용자가 위치한 공간의 환경 정보, 사용자의 자세 정보, 사용자 신체 상태 정보 등을 센싱할 수 있다.In addition, the glass unit 110 of the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention is mounted on the HMD frame 111 to provide location information. A GPS module, a camera mounted on the HMD frame 111 to take an image in the direction of the user's gaze, a power supply for supplying power for driving the AR glasses 100, is installed on one side of the HMD frame 111, It may be configured to further include a sensor unit including at least one or more sensors for sensing information generated in the work space. Here, the sensor unit may sense environmental information of a space in which the user is located, user's posture information, user's body state information, and the like.

외부 연산 장치(200)는, AR 글래스(100)에 유선으로 연결되며, 인공지능 연산 처리에 특화되어 AR 글래스(100)를 위한 인공지능 연산을 처리할 수 있다. 구체적으로는, USB 타입의 TPU 또는 NPU일 수 있고, 소형 그래픽카드일 수도 있다.The external computing device 200 is connected to the AR glasses 100 by wire, and is specialized in artificial intelligence computation processing to process artificial intelligence computations for the AR glasses 100 . Specifically, it may be a USB type TPU or NPU, and may be a small graphic card.

도 6은 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에서, USB 타입의 외부 연산 장치(200)를 메인 처리부(120)에 장착한 모습을 예를 들어 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 외부 연산 장치(200)는, USB 타입의 TPU 또는 NPU이며, 메인 처리부(120)의 하우징의 일측에 USB 연결로 장착될 수 있다. 보다 구체적으로, 외부 연산 장치(200)는 Coral Edge TPU, RK1808 등일 수 있다.6 is a state in which the USB type external computing device 200 is mounted on the main processing unit 120 in the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention. is a diagram showing as an example. As shown in FIG. 6 , the external computing device 200 of the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention is a USB type TPU or NPU. , it may be mounted on one side of the housing of the main processing unit 120 through a USB connection. More specifically, the external computing device 200 may be a Coral Edge TPU, RK1808, or the like.

이때, 장착되는 외부 연산 장치(200)는 복수일 수 있으며, 외부 연산 장치(200)가 장착됨에 따라 메인 처리부(120)의 전체 부피는 커지게 된다. 도 6에 도시된 바와 같이, 메인 처리부(120)에서 짧은 USB 연결선을 인출하여 외부 연산 장치(200)를 유선으로 연결하고, 메인 처리부(120)의 하우징의 양 측면이나, 윗면 등에 외부 연산 장치(200)를 고정 결합할 수 있다. 이때, 외부 연산 장치(200)를 쉽게 결합할 수 있도록, 메인 처리부(120)의 하우징에 홈 또는 돌기 형태의 결합부를 구성하고, 외부 연산 장치(200)에 결합부와 대응되는 돌기 또는 홈을 구성할 수도 있다.In this case, the mounted external arithmetic unit 200 may be plural, and as the external arithmetic unit 200 is mounted, the total volume of the main processing unit 120 increases. As shown in FIG. 6 , a short USB connection line is drawn out from the main processing unit 120 to connect the external arithmetic device 200 by wire, and an external arithmetic device ( 200) can be fixedly coupled. At this time, a groove or a protrusion-shaped coupling part is configured in the housing of the main processing unit 120 so that the external calculation device 200 can be easily coupled, and a protrusion or groove corresponding to the coupling part is configured in the external calculation device 200 . You may.

도 7은 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에서, 소형 그래픽카드 타입의 외부 연산 장치(200)를 메인 처리부(120)에 연결한 모습을 예를 들어 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 외부 연산 장치(200)는, 소형 그래픽카드 및 소형 그래픽카드가 삽입된 하우징을 포함할 수 있고, 하우징에 삽입한 소형 그래픽카드와 메인 처리부(120)를 유선으로 연결할 수 있다.7 is a wearable computing system for AR glasses 100 using an external computing device 200 according to an embodiment of the present invention, and an external computing device 200 of a small graphic card type is connected to the main processing unit 120 . It is a drawing showing one state as an example. As shown in FIG. 7 , the external computing device 200 of the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention includes a small graphic card and a small graphic card. may include a housing into which is inserted, and the small graphic card inserted into the housing and the main processing unit 120 may be connected by wire.

도 8은 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템을 착용부(300)를 이용해 착용한 모습을 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템은, 사용자의 허리에 메인 처리부(120) 및 외부 연산 장치(200)를 착용하기 위한 착용부(300)를 더 포함하여, 착용부(300)는 메인 처리부(120) 및 외부 연산 장치(200)를 길이 방향으로 나란하게 결합할 수 있도록 구성할 수 있다. 이때, 도 6에 도시된 바와 같은 형태로 USB 타입의 외부 연산 장치(200)가 메인 처리부(120)와 결합한 경우에는, 외부 연산 장치(200)가 결합된 메인 처리부(120)가 착용부(300)에 고정 결합되어 사용자의 허리에 착용되는 형태로 구현될 수 있다.8 is a diagram illustrating, for example, a state in which the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention is worn using the wearing unit 300 . As shown in FIG. 8 , the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention includes a main processing unit 120 and an external computing device ( 200 , further including a wearing unit 300 for wearing, the wearing unit 300 may be configured to couple the main processing unit 120 and the external computing device 200 side by side in the longitudinal direction. At this time, when the USB type external arithmetic device 200 is combined with the main processing unit 120 in the form shown in FIG. 6 , the main processing unit 120 to which the external arithmetic unit 200 is coupled is the wearing unit 300 . ) may be fixedly coupled to and implemented in the form of being worn on the user's waist.

또한, 착용부(300)는, 메인 처리부(120) 및 외부 연산 장치(200)를 탈착 가능하게 구성될 수 있다. 보다 구체적으로, 착용부(300)는 메인 처리부(120) 및 외부 연산 장치(200)가 고정되도록 탈착 고정부가 구비된 벨트 형태일 수 있으며, 신축성 소재로 구성될 수 있다. 다만, 착용부(300)가 허리에 착용할 수 있는 벨트 형태이어야만 하는 것은 아니며, 조끼나 팔 고정 밴드 등 다양한 형태로 구현될 수 있다.In addition, the wearing unit 300 may be configured to detachably attach the main processing unit 120 and the external computing device 200 . More specifically, the wearing unit 300 may be in the form of a belt provided with a detachable fixing unit so that the main processing unit 120 and the external computing device 200 are fixed, and may be made of an elastic material. However, the wearing part 300 does not have to be in the form of a belt that can be worn on the waist, and may be implemented in various forms such as a vest or an arm fixing band.

도 9는 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에서, 센서 데이터를 이용해 인공지능 연산을 수행하는 과정의 흐름을 도시한 도면이고, 도 10은 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에서, 센서 데이터를 이용해 인공지능 연산을 수행하는 과정의 주체를 표시한 도면이다. 도 9 및 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에서, AR 글래스(100)는, 인공지능 연산의 입력데이터 획득 및 전처리, 출력 데이터를 사용한 AR 글래스(100)의 동작 제어를 수행하며, 외부 연산 장치(200)는, AR 글래스(100)에서 전처리된 입력데이터를 이용해 인공지능 연산을 수행하고 결과를 출력할 수 있다.9 is a diagram illustrating a flow of a process of performing artificial intelligence calculation using sensor data in a wearable calculation system of AR glasses 100 using an external calculation device 200 according to an embodiment of the present invention; 10 is a diagram illustrating a subject of a process of performing artificial intelligence calculation using sensor data in the wearable calculation system of the AR glasses 100 using the external calculation device 200 according to an embodiment of the present invention. 9 and 10, in the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention, the AR glasses 100 are The operation control of the AR glasses 100 using the input data acquisition and pre-processing and output data is performed, and the external computing device 200 performs artificial intelligence calculations using the input data pre-processed in the AR glasses 100 and displays the results. can be printed out.

보다 구체적으로, AR 글래스(100)가, 센서 데이터를 획득 및 전처리하여 인공지능 연산의 입력데이터로 처리하는 단계(S100), 외부 연산 장치(200)가, AR 글래스(100)로부터 입력데이터를 전달받아 인공지능 연산을 수행해 결과를 출력하는 단계(S200) 및 AR 글래스(100)가, 외부 연산 장치(200)로부터 출력 데이터를 전달받아 AR 글래스(100)의 동작을 제어하는 단계(S300)를 수행하여, AR 글래스(100)에서 획득한 센서 데이터 및 인공지능 연산을 이용해 AR 글래스(100)를 제어할 수 있다.More specifically, the AR glasses 100 acquire and pre-process the sensor data and process them as input data of artificial intelligence calculation (S100), and the external computing device 200 transmits the input data from the AR glasses 100 A step (S200) of receiving and outputting an artificial intelligence calculation and outputting a result (S200) and a step (S300) of controlling the operation of the AR glasses 100 by receiving the output data from the external computing device 200 are performed by the AR glasses 100 Thus, the AR glasses 100 can be controlled using the sensor data and artificial intelligence calculations obtained from the AR glasses 100 .

이와 같이, AR 글래스(100)의 GPS 모듈, 카메라, 센서부 등에서 획득한 센서 데이터를 네트워크를 통해 서버 등에 송신하지 않고서도, AR 글래스(100)와 외부 연산 장치(200)를 이용해 인공지능 연산의 입력데이터로 사용할 수 있기 때문에, 데이터의 보안을 유지하면서도 해당 AR 글래스(100)에 최적화된 제어 동작을 수행할 수 있고, 오프라인 환경에서도 안정적으로 인공지능 기술을 적용할 수 있다.In this way, without transmitting sensor data acquired from the GPS module, camera, sensor unit, etc. of the AR glasses 100 to a server or the like through a network, the AR glasses 100 and the external computing device 200 can be used to perform artificial intelligence calculations. Since it can be used as input data, it is possible to perform control operations optimized for the AR glasses 100 while maintaining data security, and to apply artificial intelligence technology stably even in an offline environment.

전술한 바와 같이, 본 발명에서 제안하고 있는 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에 따르면, 인공지능 연산 처리에 특화된 외부 연산 장치(200)를 AR 글래스(100)에 유선으로 연결하고, 외부 연산 장치(200)에 인공지능 연산을 우선하여 할당해 처리함으로써, AR 글래스(100)를 제어하기 위한 인공지능 연산 속도를 증가시키는 동시에 인공지능 연산에 사용되는 내부 연산 자원의 점유율을 최소화하여, AR 글래스(100)의 기본 기능의 저하 없이 효율적으로 자원을 배분하여 인공지능 연산을 할 수 있고, 오프라인 상태에서도 다양한 인공지능 기술을 적용해 AR 글래스(100)의 기능을 극대화할 수 있으며, 다수의 외부 연산 장치(200)를 이용해 다양한 인공지능 모델을 동시에 적용할 수 있다.As described above, according to the wearable computing system of the AR glasses 100 using the external computing device 200 proposed in the present invention, the external computing device 200 specialized for artificial intelligence computation processing is applied to the AR glasses 100 . By connecting by wire to the external computing device 200 and prioritizing and processing the AI operation, the AI operation speed for controlling the AR glasses 100 is increased and the internal operation resource used for artificial intelligence operation By minimizing the share of the AR glasses 100, it is possible to efficiently allocate resources without degrading the basic functions of the AR glasses 100 to perform artificial intelligence calculations, and to maximize the functions of the AR glasses 100 by applying various artificial intelligence technologies even in the offline state. It is possible to simultaneously apply various artificial intelligence models using a plurality of external computing devices 200 .

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Various modifications and applications of the present invention described above are possible by those skilled in the art to which the present invention pertains, and the scope of the technical idea according to the present invention should be defined by the following claims.

100: AR 글래스
110: 글래스부
111: HMD 프레임
112: 광학부
113: 디스플레이
120: 메인 처리부
200: 외부 연산 장치
300: 착용부
S100: AR 글래스가, 센서 데이터를 획득 및 전처리하여 인공지능 연산의 입력데이터로 처리하는 단계
S200: 외부 연산 장치가, AR 글래스로부터 입력데이터를 전달받아 인공지능 연산을 수행해 결과를 출력하는 단계
S300: AR 글래스가, 외부 연산 장치로부터 출력 데이터를 전달받아 AR 글래스의 동작을 제어하는 단계100: AR Glass
110: glass part
111: HMD frame
112: optical unit
113: display
120: main processing unit
200: external computing device
300: wear part
S100: A step of AR glasses acquiring and pre-processing sensor data and processing it as input data of artificial intelligence calculation
S200: A step in which the external computing device receives input data from the AR glasses, performs artificial intelligence calculations, and outputs the results
S300: A step in which the AR glasses receive output data from an external computing device and control the operation of the AR glasses

Claims (8)

착용형 연산 시스템으로서,
사용자의 머리에 착용되어 증강현실을 제공하는 AR 글래스(100); 및
상기 AR 글래스(100)에 유선으로 연결되며, 인공지능 연산 처리에 특화되어 상기 AR 글래스(100)를 위한 인공지능 연산을 처리하는 외부 연산 장치(200)를 포함하며,
상기 AR 글래스(100)는,
인공지능 연산의 결과를 이용해 상기 AR 글래스(100)의 동작을 제어하되, 상기 인공지능 연산을 내부 연산 자원에 우선하여 상기 외부 연산 장치(200)에 할당해 처리하여, 인공지능 연산에 사용되는 내부 연산 자원의 사용량을 최소화하는 것을 특징으로 하는, 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템.
A wearable computing system comprising:
AR glasses 100 that are worn on the user's head to provide augmented reality; and
It is connected to the AR glasses 100 by wire, and is specialized in artificial intelligence computation processing and includes an external computation device 200 that processes artificial intelligence computation for the AR glasses 100,
The AR glass 100,
The operation of the AR glasses 100 is controlled using the result of the artificial intelligence operation, but the artificial intelligence operation is given priority to the internal operation resource and allocated to the external computing device 200 for processing. Wearable computing system of AR glasses 100 using an external computing device 200, characterized in that it minimizes the usage of computational resources.
 제1항에 있어서, 상기 AR 글래스(100)는,
사용자의 머리에 착용되어 증강현실을 제공하는 글래스부(110); 및
사용자의 신체에 착용되며, 상기 글래스부(110)와 유선으로 연결되어 상기 글래스부(110)를 제어하는 소형의 메인 처리부(120)를 포함하는 것을 특징으로 하는, 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템.
According to claim 1, wherein the AR glasses 100,
Glass unit 110 that is worn on the user's head to provide augmented reality; and
It is worn on the user's body and is connected to the glass unit 110 by a wire and comprises a small main processing unit 120 for controlling the glass unit 110, using an external computing device 200 Wearable computing system of AR glasses 100 .
 제2항에 있어서, 상기 글래스부(110)는,
사용자가 머리에 착용할 수 있는 HMD 프레임(111);
상기 HMD 프레임(111)을 착용한 작업자의 양안의 전방에 배치되며, 작업자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학부(112); 및
상기 광학부(112)를 통해 투과되어 보이는 실제 세계와 함께 증강현실 영상 정보가 사용자에게 제공될 수 있도록 영상 광을 출력하는 디스플레이(113)를 포함하는 것을 특징으로 하는, 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템.
According to claim 2, wherein the glass unit 110,
HMD frame 111 that can be worn on the user's head;
an optical unit 112 disposed in front of both eyes of an operator wearing the HMD frame 111 and allowing the real world to be transmitted through the operator's field of vision; and
The external computing device 200, characterized in that it comprises a display 113 for outputting image light so that augmented reality image information can be provided to the user together with the real world transmitted through the optical unit 112. Wearable computing system of AR glasses 100 used.
 제2항에 있어서, 상기 외부 연산 장치(200)는,
USB 타입의 TPU(Tensor Processing Unit) 또는 NPU(Neural Processing Unit)이며, 상기 메인 처리부(120)의 하우징의 일측에 USB 연결로 장착되는 것을 특징으로 하는, 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템.
According to claim 2, wherein the external computing device 200,
AR glass using an external computing device 200, characterized in that it is a USB-type TPU (Tensor Processing Unit) or NPU (Neural Processing Unit), and is mounted on one side of the housing of the main processing unit 120 through a USB connection ( 100) wearable computing system.
 제2항에 있어서, 상기 외부 연산 장치(200)는,
소형 그래픽카드 및 상기 소형 그래픽카드가 삽입된 하우징을 포함하는 것을 특징으로 하는, 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템.
According to claim 2, wherein the external computing device 200,
Wearable computing system of AR glasses (100) using an external computing device (200), characterized in that it includes a small graphic card and a housing into which the small graphic card is inserted.
 제4항 또는 제5항에 있어서,
사용자의 허리에 상기 메인 처리부(120) 및 외부 연산 장치(200)를 착용하기 위한 착용부(300)를 더 포함하며,
상기 착용부(300)는,
상기 메인 처리부(120) 및 상기 외부 연산 장치(200)를 탈착 가능하게 구성하는 것을 특징으로 하는, 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템.
6. The method of claim 4 or 5,
It further includes a wearing unit 300 for wearing the main processing unit 120 and the external computing device 200 on the user's waist,
The wearing part 300,
Wearable computing system for AR glasses 100 using an external computing device 200, characterized in that the main processing unit 120 and the external computing device 200 are detachably configured.
 제1항에 있어서,
상기 AR 글래스(100)는, 인공지능 연상의 입력데이터 획득 및 전처리, 출력 데이터를 사용한 상기 AR 글래스(100)의 동작 제어를 수행하며,
상기 외부 연산 장치(200)는, 상기 AR 글래스(100)에서 전처리된 입력데이터를 이용해 인공지능 연산을 수행하고 결과를 출력하는 것을 특징으로 하는, 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템.
According to claim 1,
The AR glasses 100 perform operation control of the AR glasses 100 using input data acquisition and pre-processing associated with artificial intelligence, and output data,
AR glasses 100 using an external computing device 200, characterized in that the external computing device 200 performs artificial intelligence calculations using the input data preprocessed in the AR glasses 100 and outputs the results. of wearable computing system.
 제7항에 있어서,
(1) 상기 AR 글래스(100)가, 센서 데이터를 획득 및 전처리하여 인공지능 연산의 입력데이터로 처리하는 단계;
(2) 상기 외부 연산 장치(200)가, 상기 AR 글래스(100)로부터 입력데이터를 전달받아 인공지능 연산을 수행해 결과를 출력하는 단계; 및
(3) 상기 AR 글래스(100)가, 상기 외부 연산 장치(200)로부터 출력 데이터를 전달받아 상기 AR 글래스(100)의 동작을 제어하는 단계를 수행하여,
상기 AR 글래스(100)에서 획득한 센서 데이터 및 인공지능 연산을 이용해 상기 AR 글래스(100)를 제어하는 것을 특징으로 하는, 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템.8. The method of claim 7,
(1) the AR glasses 100, acquiring and pre-processing sensor data to process the input data of artificial intelligence calculation;
(2) the external computing device 200, receiving input data from the AR glasses 100, performing an artificial intelligence calculation and outputting a result; and
(3) the AR glasses 100 receive output data from the external computing device 200 to control the operation of the AR glasses 100,
A wearable computing system for AR glasses ( 100 ) using an external computing device ( 200 ), characterized in that the AR glasses ( 100 ) are controlled using sensor data and artificial intelligence calculations obtained from the AR glasses ( 100 ).
KR1020210013732A 2021-01-30 2021-01-30 Wearable computing system of ar glasses using external computing device KR102591589B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210013732A KR102591589B1 (en) 2021-01-30 2021-01-30 Wearable computing system of ar glasses using external computing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210013732A KR102591589B1 (en) 2021-01-30 2021-01-30 Wearable computing system of ar glasses using external computing device

Publications (2)

Publication Number Publication Date
KR20220110417A true KR20220110417A (en) 2022-08-08
KR102591589B1 KR102591589B1 (en) 2023-10-20

Family

ID=82845384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210013732A KR102591589B1 (en) 2021-01-30 2021-01-30 Wearable computing system of ar glasses using external computing device

Country Status (1)

Country Link
KR (1) KR102591589B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024072009A1 (en) * 2022-09-28 2024-04-04 삼성전자 주식회사 Augmented reality device and method for identifying object within image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018060212A (en) * 2013-11-27 2018-04-12 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． Virtual and augmented reality system and method
KR20190100105A (en) * 2019-08-09 2019-08-28 엘지전자 주식회사 Electronic device
KR20190116035A (en) * 2018-03-21 2019-10-14 엘지전자 주식회사 Artificial server

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018060212A (en) * 2013-11-27 2018-04-12 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． Virtual and augmented reality system and method
KR20190116035A (en) * 2018-03-21 2019-10-14 엘지전자 주식회사 Artificial server
KR20190100105A (en) * 2019-08-09 2019-08-28 엘지전자 주식회사 Electronic device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024072009A1 (en) * 2022-09-28 2024-04-04 삼성전자 주식회사 Augmented reality device and method for identifying object within image

Also Published As

Publication number Publication date
KR102591589B1 (en) 2023-10-20

Similar Documents

Publication Publication Date Title
US20230412780A1 (en) Headware with computer and optical element for use therewith and systems utilizing same
US11782277B2 (en) Waveguide display with increased uniformity and reduced cross-coupling between colors
EP3411778B1 (en) Volatility based cursor tethering
US11385467B1 (en) Distributed artificial reality system with a removable display
US10627620B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
US10528133B2 (en) Bracelet in a distributed artificial reality system
KR101313797B1 (en) Apparatus and method for presenting display of 3D image using head tracking
WO2013162156A1 (en) Method of simulating lens using augmented reality
US11378802B2 (en) Smart eyeglasses
JP2023105240A (en) See-through computer display system having improved vision correction and increased content density
US10976807B2 (en) Distributed artificial reality system with contextualized hand tracking
US20170090557A1 (en) Systems and Devices for Implementing a Side-Mounted Optical Sensor
CN112312117B (en) Head-mounted device and driving method thereof
KR20220110417A (en) Wearable computing system of ar glasses using external computing device
KR20210116943A (en) An optical device with wider field of view using concave lens and a head mounted display apparatus having thereof
KR20210142492A (en) Head mounted display device with projector mode
KR20140100658A (en) Wearable Display Device
WO2018127777A1 (en) Augmented reality protective goggles
RU220681U1 (en) Augmented reality device
KR102226639B1 (en) An optical apparatus with plural pin-mirrors and a head mounted display apparatus having thereof
KR102619429B1 (en) Head-mounted display apparatus that automatically adjusts the inter-pupillary distance through eye tracking
KR102519432B1 (en) Head-down type wearable augmented reality apparatus
KR102464751B1 (en) Head mounted display apparatus to add vision correction lenses
US10858243B2 (en) Backside reinforcement structure design for mirror flatness
US20230324712A1 (en) Proportional frame deflection to maintain glasses display alignment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant