KR102591589B1 - Wearable computing system of ar glasses using external computing device - Google Patents

Wearable computing system of ar glasses using external computing device Download PDF

Info

Publication number
KR102591589B1
KR102591589B1 KR1020210013732A KR20210013732A KR102591589B1 KR 102591589 B1 KR102591589 B1 KR 102591589B1 KR 1020210013732 A KR1020210013732 A KR 1020210013732A KR 20210013732 A KR20210013732 A KR 20210013732A KR 102591589 B1 KR102591589 B1 KR 102591589B1
Authority
KR
South Korea
Prior art keywords
glasses
artificial intelligence
computing device
external computing
external
Prior art date
Application number
KR1020210013732A
Other languages
Korean (ko)
Other versions
KR20220110417A (en
Inventor
최치원
김정환
조성동
백지엽
이강휘
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020210013732A priority Critical patent/KR102591589B1/en
Publication of KR20220110417A publication Critical patent/KR20220110417A/en
Application granted granted Critical
Publication of KR102591589B1 publication Critical patent/KR102591589B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

본 발명은 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에 관한 것으로서, 보다 구체적으로는 착용형 연산 시스템으로서, 사용자의 머리에 착용되어 증강현실을 제공하는 AR 글래스; 및 상기 AR 글래스에 유선으로 연결되며, 인공지능 연산 처리에 특화되어 상기 AR 글래스를 위한 인공지능 연산을 처리하는 외부 연산 장치를 포함하며, 상기 AR 글래스는, 인공지능 연산의 결과를 이용해 상기 AR 글래스의 동작을 제어하되, 상기 인공지능 연산을 내부 연산 자원에 우선하여 상기 외부 연산 장치에 할당해 처리하여, 인공지능 연산에 사용되는 내부 연산 자원의 사용량을 최소화하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에 따르면, 인공지능 연산 처리에 특화된 외부 연산 장치를 AR 글래스에 유선으로 연결하고, 외부 연산 장치에 인공지능 연산을 우선하여 할당해 처리함으로써, AR 글래스를 제어하기 위한 인공지능 연산 속도를 증가시키는 동시에 인공지능 연산에 사용되는 내부 연산 자원의 점유율을 최소화하여, AR 글래스의 기본 기능의 저하 없이 효율적으로 자원을 배분하여 인공지능 연산을 할 수 있고, 오프라인 상태에서도 다양한 인공지능 기술을 적용해 AR 글래스의 기능을 극대화할 수 있으며, 다수의 외부 연산 장치를 이용해 다양한 인공지능 모델을 동시에 적용할 수 있다.The present invention relates to a wearable computing system for AR glasses using an external computing device. More specifically, the wearable computing system includes AR glasses worn on the user's head to provide augmented reality; and an external arithmetic device connected to the AR glasses by wire, specialized in artificial intelligence arithmetic processing, and processing artificial intelligence arithmetic for the AR glasses, wherein the AR glasses use the results of the artificial intelligence arithmetic. Controls the operation of , and assigns and processes the artificial intelligence calculation to the external computing device with priority over internal computing resources, thereby minimizing the usage of internal computing resources used for artificial intelligence calculation.
According to the wearable arithmetic system of AR glasses using an external arithmetic device proposed in the present invention, an external arithmetic device specialized for artificial intelligence arithmetic processing is connected to the AR glasses by wire, and artificial intelligence arithmetic is assigned to the external arithmetic device with priority. This process increases the speed of artificial intelligence calculations for controlling AR glasses while minimizing the share of internal computing resources used for artificial intelligence calculations, efficiently allocating resources without deteriorating the basic functions of AR glasses, and performing artificial intelligence calculations. You can maximize the functions of AR glasses by applying various artificial intelligence technologies even when offline, and various artificial intelligence models can be applied simultaneously using multiple external computing devices.

Description

외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템{WEARABLE COMPUTING SYSTEM OF AR GLASSES USING EXTERNAL COMPUTING DEVICE}Wearable computing system for AR glasses using external computing devices {WEARABLE COMPUTING SYSTEM OF AR GLASSES USING EXTERNAL COMPUTING DEVICE}

본 발명은 착용형 연산 시스템에 관한 것으로서, 보다 구체적으로는 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에 관한 것이다.The present invention relates to a wearable computing system, and more specifically, to a wearable computing system of AR glasses using an external computing device.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.In accordance with the trend toward lighter and smaller digital devices, various wearable devices are being developed. A head mounted display, a type of wearable device, refers to a variety of devices that a user can wear on their head to receive multimedia content. Here, the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves. These head-mounted displays (HMDs) are divided into see-through and see-closed types. The see-through type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (Virtual Reality). It is used for Reality (VR).

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용 되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.FIG. 1 is a diagram showing the schematic configuration of a general glasses-shaped head mounted display (HMD), and FIG. 2 is a diagram showing the schematic configuration of a general band-shaped head mounted display (HMD). As shown in Figures 1 and 2, a head-mounted display in the form of general glasses or a band is worn on the user's face or head and projects image information of augmented reality (AR) into the real world through a transparent lens. provided to the user.

증강현실용 헤드 마운티드 디스플레이는 실제 세계에 다양한 영상 정보를 증강하여 제공하므로, 다양한 작업 환경에 도움을 줄 수 있어서 그 적용 분야가 광범위하다. 특히, 최근 다양한 분야에 적용되고 있는 인공지능 기술을 적용하면 사용 편의성이 크게 향상되므로, 인공지능 기술을 증강현실용 헤드 마운티드 디스플레이에 적용하기 위한 기술의 개발이 시도되고 있다.Head-mounted displays for augmented reality provide a variety of augmented image information to the real world, so they can be helpful in a variety of work environments and have a wide range of applications. In particular, application of artificial intelligence technology, which has recently been applied to various fields, greatly improves usability, and attempts are being made to develop technology to apply artificial intelligence technology to head-mounted displays for augmented reality.

그러나 인공지능 알고리즘은 그 연산에 많은 리소스가 사용되므로, 필수적인 인공지능 알고리즘만 적용해도 헤드 마운티드 디스플레이의 CPU 리소스 점유율을 100% 차지하게 되는 문제가 있다. 또한 머리에 착용하기 때문에 가볍고 부피가 작아야 하는 헤드 마운티드 디스플레이의 특성상, 인공지능 알고리즘의 연산을 위한 하드웨어 장치의 추가에도 한계가 있다.However, since the artificial intelligence algorithm uses a lot of resources for its calculations, there is a problem in that even if only the essential artificial intelligence algorithm is applied, it takes up 100% of the CPU resource share of the head mounted display. Additionally, due to the nature of the head-mounted display, which must be light and small in size because it is worn on the head, there are limits to adding hardware devices for calculating artificial intelligence algorithms.

이를 해결하기 위해 서버와 연동하여 서버에서 인공지능 알고리즘을 연산하고, 헤드 마운티드 디스플레이는 그 결괏값만을 수신해 사용하는 방법을 사용하기도 한다. 그러나 서버와 연동하기 위해서는 온라인 상태가 유지되어야 하고, 네트워크 상황에 따라 통신이 원활하지 않을 수 있으므로, 이러한 방식으로 인공지능 알고리즘을 연산해 헤드 마운티드 디스플레이를 안정적으로 제어하기에는 한계가 있다.To solve this problem, a method is used in which the artificial intelligence algorithm is calculated on the server in conjunction with the server, and the head mounted display receives and uses only the result. However, since the online state must be maintained in order to link with the server, and communication may not be smooth depending on the network situation, there are limits to stably controlling the head-mounted display by calculating artificial intelligence algorithms in this way.

따라서 이러한 한계를 극복하고 헤드 마운티드 디스플레이에 인공지능 알고리즘을 효과적으로 적용할 수 있는 기술의 개발이 필요한 실정이다.Therefore, there is a need to develop technology that can overcome these limitations and effectively apply artificial intelligence algorithms to head-mounted displays.

한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-2102309호(발명의 명칭: 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법, 등록일자: 2020년 04월 13일) 등이 개시된 바 있다.Meanwhile, as prior art related to the present invention, Patent Registration No. 10-2102309 (title of the invention: object recognition method for 3D virtual space of a head-mounted display device, registration date: April 13, 2020), etc. It has been initiated.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 인공지능 연산 처리에 특화된 외부 연산 장치를 AR 글래스에 유선으로 연결하고, 외부 연산 장치에 인공지능 연산을 우선하여 할당해 처리함으로써, AR 글래스를 제어하기 위한 인공지능 연산 속도를 증가시키는 동시에 인공지능 연산에 사용되는 내부 연산 자원의 점유율을 최소화하여, AR 글래스의 기본 기능의 저하 없이 효율적으로 자원을 배분하여 인공지능 연산을 할 수 있고, 오프라인 상태에서도 다양한 인공지능 기술을 적용해 AR 글래스의 기능을 극대화할 수 있으며, 다수의 외부 연산 장치를 이용해 다양한 인공지능 모델을 동시에 적용할 수 있는, 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템을 제공하는 것을 그 목적으로 한다.The present invention was proposed to solve the above-mentioned problems of previously proposed methods, connecting an external computing device specialized for artificial intelligence processing to AR glasses by wire, and assigning artificial intelligence computing to the external computing device with priority. This process increases the speed of artificial intelligence calculations for controlling AR glasses while minimizing the share of internal computing resources used for artificial intelligence calculations, efficiently allocating resources without deteriorating the basic functions of AR glasses, and performing artificial intelligence calculations. AR glasses using external computing devices can maximize the functionality of AR glasses by applying various artificial intelligence technologies even when offline, and can simultaneously apply various artificial intelligence models using multiple external computing devices. The purpose is to provide a wearable computing system.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템은,The wearable computing system of AR glasses using an external computing device according to the characteristics of the present invention to achieve the above object,

착용형 연산 시스템으로서,As a wearable computing system,

사용자의 머리에 착용되어 증강현실을 제공하는 AR 글래스; 및AR glasses that are worn on the user's head and provide augmented reality; and

상기 AR 글래스에 유선으로 연결되며, 인공지능 연산 처리에 특화되어 상기 AR 글래스를 위한 인공지능 연산을 처리하는 외부 연산 장치를 포함하며,It is connected to the AR glasses by wire, and includes an external computing device that is specialized for artificial intelligence processing and processes artificial intelligence processing for the AR glasses,

상기 AR 글래스는,The AR glasses are,

인공지능 연산의 결과를 이용해 상기 AR 글래스의 동작을 제어하되, 상기 인공지능 연산을 내부 연산 자원에 우선하여 상기 외부 연산 장치에 할당해 처리하여, 인공지능 연산에 사용되는 내부 연산 자원의 사용량을 최소화하는 것을 그 구성상의 특징으로 한다.The operation of the AR glasses is controlled using the results of artificial intelligence computation, but the artificial intelligence computation is assigned to the external computing device in priority over internal computing resources for processing, thereby minimizing the usage of internal computing resources used for artificial intelligence computation. It is a characteristic of its composition that it does so.

바람직하게는, 상기 AR 글래스는,Preferably, the AR glasses are:

사용자의 머리에 착용되어 증강현실을 제공하는 글래스부; 및A glass unit worn on the user's head to provide augmented reality; and

사용자의 신체에 착용되며, 상기 글래스부와 유선으로 연결되어 상기 글래스부를 제어하는 소형의 메인 처리부를 포함할 수 있다.It is worn on the user's body and may include a small main processing unit that is connected to the glass unit by a wire and controls the glass unit.

더욱 바람직하게는, 상기 글래스부는,More preferably, the glass portion is,

사용자가 머리에 착용할 수 있는 HMD 프레임;an HMD frame that the user can wear on their head;

상기 HMD 프레임을 착용한 작업자의 양안의 전방에 배치되며, 작업자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학부; 및An optical unit disposed in front of both eyes of the worker wearing the HMD frame and allowing the real world to be seen through the worker's field of view; and

상기 광학부를 통해 투과되어 보이는 실제 세계와 함께 증강현실 영상 정보가 사용자에게 제공될 수 있도록 영상 광을 출력하는 디스플레이를 포함할 수 있다.It may include a display that outputs image light so that augmented reality image information can be provided to the user along with the real world seen through the optical unit.

더욱 바람직하게는, 상기 외부 연산 장치는,More preferably, the external computing device is,

USB 타입의 TPU(Tensor Processing Unit) 또는 NPU(Neural Processing Unit)이며, 상기 메인 처리부의 하우징의 일측에 USB 연결로 장착될 수 있다.It is a USB type TPU (Tensor Processing Unit) or NPU (Neural Processing Unit), and can be mounted on one side of the housing of the main processing unit through a USB connection.

더욱 바람직하게는, 상기 외부 연산 장치는,More preferably, the external computing device is,

소형 그래픽카드 및 상기 소형 그래픽카드가 삽입된 하우징을 포함할 수 있다.It may include a small graphics card and a housing into which the small graphics card is inserted.

더더욱 바람직하게는,Even more preferably,

사용자의 허리에 상기 메인 처리부 및 외부 연산 장치를 착용하기 위한 착용부를 더 포함하며,It further includes a wearing part for wearing the main processing part and the external computing device on the user's waist,

상기 착용부는,The wearing part,

상기 메인 처리부 및 상기 외부 연산 장치를 탈착 가능하게 구성할 수 있다.The main processing unit and the external computing device can be configured to be detachable.

바람직하게는,Preferably,

상기 AR 글래스는, 인공지능 연상의 입력데이터 획득 및 전처리, 출력 데이터를 사용한 상기 AR 글래스의 동작 제어를 수행하며,The AR glasses perform artificial intelligence-like input data acquisition and preprocessing, and operation control of the AR glasses using output data,

상기 외부 연산 장치는, 상기 AR 글래스에서 전처리된 입력데이터를 이용해 인공지능 연산을 수행하고 결과를 출력할 수 있다.The external computing device can perform artificial intelligence calculation using input data preprocessed by the AR glasses and output the result.

더욱 바람직하게는,More preferably,

(1) 상기 AR 글래스가, 센서 데이터를 획득 및 전처리하여 인공지능 연산의 입력데이터로 처리하는 단계;(1) the AR glasses acquire and pre-process sensor data and process it as input data for artificial intelligence calculation;

(2) 상기 외부 연산 장치가, 상기 AR 글래스로부터 입력데이터를 전달받아 인공지능 연산을 수행해 결과를 출력하는 단계; 및(2) the external computing device receives input data from the AR glasses, performs artificial intelligence calculation, and outputs a result; and

(3) 상기 AR 글래스가, 상기 외부 연산 장치로부터 출력 데이터를 전달받아 상기 AR 글래스의 동작을 제어하는 단계를 수행하여,(3) The AR glasses receive output data from the external computing device and perform a step of controlling the operation of the AR glasses,

상기 AR 글래스에서 획득한 센서 데이터 및 인공지능 연산을 이용해 상기 AR 글래스를 제어할 수 있다.The AR glasses can be controlled using sensor data and artificial intelligence calculations obtained from the AR glasses.

본 발명에서 제안하고 있는 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에 따르면, 인공지능 연산 처리에 특화된 외부 연산 장치를 AR 글래스에 유선으로 연결하고, 외부 연산 장치에 인공지능 연산을 우선하여 할당해 처리함으로써, AR 글래스를 제어하기 위한 인공지능 연산 속도를 증가시키는 동시에 인공지능 연산에 사용되는 내부 연산 자원의 점유율을 최소화하여, AR 글래스의 기본 기능의 저하 없이 효율적으로 자원을 배분하여 인공지능 연산을 할 수 있고, 오프라인 상태에서도 다양한 인공지능 기술을 적용해 AR 글래스의 기능을 극대화할 수 있으며, 다수의 외부 연산 장치를 이용해 다양한 인공지능 모델을 동시에 적용할 수 있다.According to the wearable arithmetic system of AR glasses using an external arithmetic device proposed in the present invention, an external arithmetic device specialized for artificial intelligence arithmetic processing is connected to the AR glasses by wire, and artificial intelligence arithmetic is assigned to the external arithmetic device with priority. This process increases the speed of artificial intelligence calculations for controlling AR glasses while minimizing the share of internal computing resources used for artificial intelligence calculations, efficiently allocating resources without deteriorating the basic functions of AR glasses, and performing artificial intelligence calculations. You can maximize the functions of AR glasses by applying various artificial intelligence technologies even when offline, and various artificial intelligence models can be applied simultaneously using multiple external computing devices.

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템을 사용했을 때 연산 자원의 사용량을 예를 들어 설명한 도면.
도 5는 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에서, 글래스부의 세부적인 구성을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에서, USB 타입의 외부 연산 장치를 메인 처리부에 장착한 모습을 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에서, 소형 그래픽카드 타입의 외부 연산 장치를 메인 처리부에 연결한 모습을 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템을 착용부를 이용해 착용한 모습을 예를 들어 도시한 도면.
도 9는 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에서, 센서 데이터를 이용해 인공지능 연산을 수행하는 과정의 흐름을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 외부 연산 장치를 이용한 AR 글래스의 착용형 연산 시스템에서, 센서 데이터를 이용해 인공지능 연산을 수행하는 과정의 주체를 표시한 도면.1 is a diagram illustrating the schematic configuration of a head-mounted display (HMD) in the form of general glasses.
Figure 2 is a diagram showing the schematic configuration of a general band-shaped head mounted display (HMD).
Figure 3 is a diagram showing the configuration of a wearable computing system for AR glasses using an external computing device according to an embodiment of the present invention.
Figure 4 is a diagram illustrating the amount of computational resources used as an example when using the wearable computing system of AR glasses using an external computing device according to an embodiment of the present invention.
Figure 5 is a diagram showing the detailed configuration of the glass portion in the wearable computing system of AR glasses using an external computing device according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating an example of a USB type external arithmetic device mounted on the main processing unit in a wearable arithmetic system using AR glasses using an external arithmetic device according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating an example of a small graphics card type external arithmetic device connected to the main processing unit in a wearable arithmetic system using AR glasses using an external arithmetic device according to an embodiment of the present invention.
Figure 8 is a diagram illustrating an example of the wearable computing system of AR glasses using an external computing device according to an embodiment of the present invention being worn using a wearing unit.
Figure 9 is a diagram illustrating the flow of the process of performing artificial intelligence calculation using sensor data in a wearable computing system of AR glasses using an external computing device according to an embodiment of the present invention.
Figure 10 is a diagram showing the subject of the process of performing artificial intelligence calculation using sensor data in the wearable computing system of AR glasses using an external computing device according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, with reference to the attached drawings, preferred embodiments will be described in detail so that those skilled in the art can easily practice the present invention. However, when describing preferred embodiments of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the same symbols are used throughout the drawings for parts that perform similar functions and actions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.Additionally, throughout the specification, when a part is said to be 'connected' to another part, this is not only the case when it is 'directly connected', but also when it is 'indirectly connected' with another element in between. Includes. Additionally, ‘including’ a certain component does not mean excluding other components, but rather including other components, unless specifically stated to the contrary.

도 3은 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템은, AR 글래스(100) 및 외부 연산 장치(200)를 포함하여 구성될 수 있으며, AR 글래스(100)는 글래스부(110) 및 메인 처리부(120)를 포함하여 구성될 수 있다.FIG. 3 is a diagram illustrating the configuration of a wearable computing system for AR glasses 100 using an external computing device 200 according to an embodiment of the present invention. As shown in FIG. 3, the wearable computing system of AR glasses 100 using an external computing device 200 according to an embodiment of the present invention includes AR glasses 100 and an external computing device 200. The AR glasses 100 may be configured to include a glass unit 110 and a main processing unit 120.

즉, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템은, 인공지능 연산 처리에 특화된 외부 연산 장치(200)를 AR 글래스(100)에 유선으로 연결하고, 외부 연산 장치(200)에 인공지능 연산을 우선하여 할당해 처리함으로써, AR 글래스(100)를 제어하기 위한 인공지능 연산 속도를 증가시키는 동시에 인공지능 연산에 사용되는 내부 연산 자원(AR 글래스(100)의 CPU)의 점유율을 최소화할 수 있다.That is, the wearable arithmetic system of the AR glasses 100 using the external arithmetic device 200 according to an embodiment of the present invention is to wire the external arithmetic device 200 specialized for artificial intelligence arithmetic processing to the AR glasses 100. By connecting and processing artificial intelligence calculations to the external computing device 200 with priority, the speed of artificial intelligence calculations for controlling the AR glasses 100 is increased, while at the same time the internal computing resources (AR) used for artificial intelligence calculations are increased. The CPU share of the glass 100 can be minimized.

여기서, 인공지능 연산은, 머신러닝이나 딥러닝 등의 인공지능 알고리즘이 적용된 인공지능 모델의 연산을 의미하는 것으로서, 인공지능 모델의 학습 과정이나 예측 과정을 모두 포함할 수 있다.Here, artificial intelligence calculation refers to the calculation of an artificial intelligence model to which an artificial intelligence algorithm such as machine learning or deep learning is applied, and may include both the learning process and the prediction process of the artificial intelligence model.

도 4는 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템을 사용했을 때 연산 자원의 사용량을 예를 들어 설명한 도면이다. 도 4의 위쪽에 도시된 바와 같이, 기존의 AR 글래스(100)는, 필수 기능인 제스처 인식 및 음성 인식만 인공지능 연산으로 적용하더라도, 내부 연산 자원인 CPU의 점유율을 100% 차지하게 되어, 기본 기능이 크게 저하되는 문제가 있었다. 이러한 문제를 해결하기 위해, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템은, 도 4의 아래쪽에 도시된 바와 같이, 벡터/행렬의 병렬처리에 특화된 TPU(Tensor Processing Unit), NPU(Neural Processing Unit)나, 소형 그래픽카드(GPU, Graphics Processing Unit)를 외부 연산 장치(200)로 이용해, AR 글래스(100)의 제어를 위한 인공지능 연산을 전담하도록 구성할 수 있다.FIG. 4 is a diagram illustrating the amount of computational resources used as an example when using the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention. As shown at the top of FIG. 4, the existing AR glasses 100 take up 100% of the CPU, which is an internal computing resource, even if only the essential functions of gesture recognition and voice recognition are applied as artificial intelligence calculations, thereby compromising the basic functions. There was a problem with this being greatly degraded. To solve this problem, the wearable arithmetic system of the AR glasses 100 using the external arithmetic device 200 according to an embodiment of the present invention, as shown at the bottom of FIG. 4, parallel vector/matrix Artificial intelligence calculation for controlling the AR glasses (100) using a processing-specialized TPU (Tensor Processing Unit), NPU (Neural Processing Unit), or a small graphics card (GPU, Graphics Processing Unit) as an external computing device (200). It can be configured to take full responsibility for.

이와 같이 AR 글래스(100)는, 인공지능 연산의 결과를 이용해 AR 글래스(100)의 동작을 제어하되, 인공지능 연산을 내부 연산 자원에 우선하여 외부 연산 장치(200)에 할당해 처리하여, 인공지능 연산에 사용되는 내부 연산 자원의 사용량을 최소화할 수 있다. 따라서 AR 글래스(100)의 기본 기능의 저하 없이 효율적으로 자원을 배분하여 인공지능 연산을 할 수 있고, 추가적인 외부 작업을 할 수 있으며, 오프라인 상태에서도 다양한 인공지능 기술을 적용해 AR 글래스(100)의 기능을 극대화할 수 있다.In this way, the AR glasses 100 control the operation of the AR glasses 100 using the results of artificial intelligence calculations, but assign artificial intelligence calculations to the external computing device 200 in priority over internal computing resources for processing. The amount of internal computing resources used for intelligent computation can be minimized. Therefore, artificial intelligence calculations can be performed by efficiently distributing resources without deteriorating the basic functions of the AR glasses (100), additional external tasks can be performed, and various artificial intelligence technologies can be applied even when offline. Functions can be maximized.

또한, 다수의 외부 연산 장치(200)를 이용해 다양한 인공지능 모델을 동시에 적용할 수도 있다. 예를 들어, 3개의 외부 연산 장치(200)를 AR 글래스(100)에 유선으로 연결하고, 각각의 외부 연산 장치(200)가 인공지능 제스처 인식, 인공지능 음성 인식, 인공지능 객체 검출을 각각 연산하도록 하여, 복수의 인공지능 모델을 병렬처리로 구현할 수 있다.Additionally, various artificial intelligence models can be applied simultaneously using a plurality of external computing devices 200. For example, three external computing devices 200 are connected to the AR glasses 100 by wire, and each external processing device 200 calculates artificial intelligence gesture recognition, artificial intelligence voice recognition, and artificial intelligence object detection, respectively. By doing so, multiple artificial intelligence models can be implemented in parallel processing.

이하에서는, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 각 구성에 대해 상세히 설명하도록 한다.Hereinafter, each configuration of the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention will be described in detail.

AR 글래스(100)는, 사용자의 머리에 착용되어 증강현실을 제공할 수 있으며, 사용자의 머리에 착용되어 증강현실을 제공하는 글래스부(110), 및 사용자의 신체에 착용되며, 글래스부(110)와 유선으로 연결되어 글래스부(110)를 제어하는 소형의 메인 처리부(120)를 포함하여 구성될 수 있다.The AR glasses 100 are worn on the user's head and can provide augmented reality, and are worn on the user's body, including a glass part 110 that is worn on the user's head and provides augmented reality, and a glass part 110 that is worn on the user's body. ) and a small main processing unit 120 that is connected by wire to control the glass unit 110.

글래스부(110)는, 사용자의 머리에 착용되는 증강현실 디스플레이 장치로서, 안경 형태, 고글 형태, 헬멧 형태 등 다양하게 구현될 수 있으며, 양안 디스플레이, 단안 디스플레이 등 디스플레이 형태도 다양할 수 있다. 글래스부(110)의 세부적인 구성은 추후 도 5를 참조하여 상세히 설명하도록 한다.The glass unit 110 is an augmented reality display device worn on the user's head, and can be implemented in various forms such as glasses, goggles, and helmets, and can also have various display forms such as binocular display and monocular display. The detailed configuration of the glass portion 110 will be described in detail later with reference to FIG. 5.

메인 처리부(120)는, 사용자의 신체에 착용되며, 글래스부(110)와 유선으로 연결되어 글래스부(110)를 제어하는 소형의 컴퓨터로서, 사용자의 허리, 등, 팔 등 무게로 인한 부담이 적은 신체 부위에 착용될 수 있다.The main processing unit 120 is a small computer that is worn on the user's body and is connected to the glass unit 110 by wire to control the glass unit 110, so as to avoid the burden caused by the weight of the user's waist, back, arms, etc. It can be worn on any part of the body.

특히, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 AR 글래스(100)는, 머리에 착용하는 글래스부(110)와 허리나 등과 같은 머리가 아닌 신체 부위에 착용되는 메인 처리부(120)를 분리하여, 글래스부(110)의 부피와 무게를 줄일 수 있다. 글래스부(110)가 크고 무거워지면 사용자의 머리와 목에 부담이 되고 동작이 불편하며 장시간 착용이 불가능해지므로, 글래스부(110)의 부피와 무게를 최소화하여 이러한 문제를 해결할 수 있다.In particular, the AR glasses 100 of the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention include a glass portion 110 worn on the head and a device such as the waist or back. By separating the main processing unit 120, which is worn on parts of the body other than the head, the volume and weight of the glass unit 110 can be reduced. If the glass part 110 becomes large and heavy, it puts a burden on the user's head and neck, makes movement uncomfortable, and makes it impossible to wear it for a long time. Therefore, these problems can be solved by minimizing the volume and weight of the glass part 110.

도 5는 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에서, 글래스부(110)의 세부적인 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 글래스부(110)는, HMD 프레임(111), 광학부(112) 및 디스플레이(113)를 포함하여 구성될 수 있다.FIG. 5 is a diagram illustrating the detailed configuration of the glass unit 110 in the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention. As shown in FIG. 5, the glass portion 110 of the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention includes an HMD frame 111 and an optical portion. It may be configured to include (112) and a display (113).

HMD 프레임(111)은, 사용자가 머리에 착용할 수 있는 프레임 구성이다. 이러한 HMD 프레임(111)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 안경 형태, 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(111)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(111)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.The HMD frame 111 is a frame configuration that a user can wear on his or her head. This HMD frame 111 may be configured in the form of glasses, a helmet, or goggles having a frame structure that allows light to enter when worn on the user's head. Here, when the HMD frame 111 is in the form of a helmet, it may be composed of a helmet (not shown) worn on the user's head and a display frame (not shown) placed in front of the helmet. Additionally, when the HMD frame 111 is configured in the form of goggles, it may be composed of a band frame (not shown) that can be worn on the user's head, and a goggle frame (not shown) fastened to the band frame.

광학부(112)는, HMD 프레임(111)을 착용한 작업자의 양안의 전방에 배치되며, 작업자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 구성이다. 즉, 광학부(112)는, 사용자의 시야를 통해 실제 세계가 투과되어 보이는 동시에, 디스플레이(113)에서 출력된 영상 광이 사용자의 동공에 전달되도록 하는 구성이다. 이러한 광학부(112)는 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있는 글라스 형태로서 복수의 렌즈와 미러 등으로 구성될 수 있다.The optical unit 112 is disposed in front of both eyes of the worker wearing the HMD frame 111, and is configured to allow the real world through the worker's field of view to be seen through transmission. That is, the optical unit 112 is configured to allow the real world to be transmitted through the user's field of view and to transmit image light output from the display 113 to the user's pupil. This optical unit 112 is in the form of glass through which the real world can be seen through the user's field of view and may be composed of a plurality of lenses, mirrors, etc.

디스플레이(113)는, 광학부(112)를 통해 투과되어 보이는 실제 세계와 함께 증강현실 영상 정보가 사용자에게 제공될 수 있도록 영상 광을 출력할 수 있다. 디스플레이(113)는 OLED, LCOS 등으로 구현될 수 있다.The display 113 may output image light so that augmented reality image information can be provided to the user along with the real world seen through the optical unit 112. The display 113 may be implemented as OLED, LCOS, etc.

또한, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 글래스부(110)는, HMD 프레임(111)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈, HMD 프레임(111)에 장착되어 사용자 시선 방향의 영상을 촬영하는 카메라, AR 글래스(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부, HMD 프레임(111)의 일 측에 설치되며, 작업 공간에서 발생하는 정보를 센싱하는 적어도 하나 이상의 센서를 포함하는 센서부 등을 더 포함하여 구성될 수 있다. 여기서 센서부는, 사용자가 위치한 공간의 환경 정보, 사용자의 자세 정보, 사용자 신체 상태 정보 등을 센싱할 수 있다.In addition, the glass portion 110 of the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention is mounted on the HMD frame 111 to provide location information. A GPS module, a camera mounted on the HMD frame 111 to capture images in the direction of the user's gaze, a power supply unit for supplying power to drive the AR glasses 100, and installed on one side of the HMD frame 111, It may further include a sensor unit including at least one sensor that senses information generated in the work space. Here, the sensor unit can sense environmental information of the space where the user is located, user's posture information, and user's body condition information.

외부 연산 장치(200)는, AR 글래스(100)에 유선으로 연결되며, 인공지능 연산 처리에 특화되어 AR 글래스(100)를 위한 인공지능 연산을 처리할 수 있다. 구체적으로는, USB 타입의 TPU 또는 NPU일 수 있고, 소형 그래픽카드일 수도 있다.The external computing device 200 is connected to the AR glasses 100 by wire and is specialized for artificial intelligence processing and can process artificial intelligence processing for the AR glasses 100. Specifically, it may be a USB type TPU or NPU, or it may be a small graphics card.

도 6은 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에서, USB 타입의 외부 연산 장치(200)를 메인 처리부(120)에 장착한 모습을 예를 들어 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 외부 연산 장치(200)는, USB 타입의 TPU 또는 NPU이며, 메인 처리부(120)의 하우징의 일측에 USB 연결로 장착될 수 있다. 보다 구체적으로, 외부 연산 장치(200)는 Coral Edge TPU, RK1808 등일 수 있다.FIG. 6 shows a USB type external arithmetic device 200 mounted on the main processing unit 120 in a wearable arithmetic system of AR glasses 100 using an external arithmetic device 200 according to an embodiment of the present invention. This is a drawing showing an example. As shown in FIG. 6, the external computing device 200 of the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention is a USB type TPU or NPU. , It can be mounted on one side of the housing of the main processing unit 120 with a USB connection. More specifically, the external computing device 200 may be Coral Edge TPU, RK1808, etc.

이때, 장착되는 외부 연산 장치(200)는 복수일 수 있으며, 외부 연산 장치(200)가 장착됨에 따라 메인 처리부(120)의 전체 부피는 커지게 된다. 도 6에 도시된 바와 같이, 메인 처리부(120)에서 짧은 USB 연결선을 인출하여 외부 연산 장치(200)를 유선으로 연결하고, 메인 처리부(120)의 하우징의 양 측면이나, 윗면 등에 외부 연산 장치(200)를 고정 결합할 수 있다. 이때, 외부 연산 장치(200)를 쉽게 결합할 수 있도록, 메인 처리부(120)의 하우징에 홈 또는 돌기 형태의 결합부를 구성하고, 외부 연산 장치(200)에 결합부와 대응되는 돌기 또는 홈을 구성할 수도 있다.At this time, there may be a plurality of external computing devices 200 installed, and as the external computing devices 200 are mounted, the overall volume of the main processing unit 120 increases. As shown in FIG. 6, a short USB connection line is drawn from the main processing unit 120 to connect the external computing device 200 by wire, and an external computing device ( 200) can be fixedly combined. At this time, in order to easily couple the external computing device 200, a coupling portion in the form of a groove or protrusion is formed on the housing of the main processing unit 120, and a projection or groove corresponding to the coupling portion is formed on the external computing device 200. You may.

도 7은 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에서, 소형 그래픽카드 타입의 외부 연산 장치(200)를 메인 처리부(120)에 연결한 모습을 예를 들어 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템의 외부 연산 장치(200)는, 소형 그래픽카드 및 소형 그래픽카드가 삽입된 하우징을 포함할 수 있고, 하우징에 삽입한 소형 그래픽카드와 메인 처리부(120)를 유선으로 연결할 수 있다.Figure 7 shows a wearable arithmetic system of AR glasses 100 using an external arithmetic device 200 according to an embodiment of the present invention, where a small graphics card type external arithmetic device 200 is connected to the main processing unit 120. This is a drawing showing an example. As shown in FIG. 7, the external computing device 200 of the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention includes a small graphics card and a small graphics card. It may include a housing into which is inserted, and the small graphics card inserted into the housing and the main processing unit 120 can be connected by wire.

도 8은 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템을 착용부(300)를 이용해 착용한 모습을 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템은, 사용자의 허리에 메인 처리부(120) 및 외부 연산 장치(200)를 착용하기 위한 착용부(300)를 더 포함하여, 착용부(300)는 메인 처리부(120) 및 외부 연산 장치(200)를 길이 방향으로 나란하게 결합할 수 있도록 구성할 수 있다. 이때, 도 6에 도시된 바와 같은 형태로 USB 타입의 외부 연산 장치(200)가 메인 처리부(120)와 결합한 경우에는, 외부 연산 장치(200)가 결합된 메인 처리부(120)가 착용부(300)에 고정 결합되어 사용자의 허리에 착용되는 형태로 구현될 수 있다.FIG. 8 is a diagram showing an example of the wearable computing system of the AR glasses 100 using the external computing device 200 according to an embodiment of the present invention being worn using the wearing unit 300. As shown in FIG. 8, the wearable arithmetic system of AR glasses 100 using an external arithmetic device 200 according to an embodiment of the present invention includes a main processing unit 120 and an external arithmetic device ( It may further include a wearing part 300 for wearing 200, and the wearing part 300 can be configured to couple the main processing unit 120 and the external computing device 200 side by side in the longitudinal direction. At this time, when the USB type external arithmetic device 200 is coupled to the main processing unit 120 in the form shown in FIG. 6, the main processing unit 120 to which the external arithmetic device 200 is coupled is connected to the wearable unit 300. ) and can be implemented as being worn on the user's waist.

또한, 착용부(300)는, 메인 처리부(120) 및 외부 연산 장치(200)를 탈착 가능하게 구성될 수 있다. 보다 구체적으로, 착용부(300)는 메인 처리부(120) 및 외부 연산 장치(200)가 고정되도록 탈착 고정부가 구비된 벨트 형태일 수 있으며, 신축성 소재로 구성될 수 있다. 다만, 착용부(300)가 허리에 착용할 수 있는 벨트 형태이어야만 하는 것은 아니며, 조끼나 팔 고정 밴드 등 다양한 형태로 구현될 수 있다.Additionally, the wearable unit 300 may be configured to enable the main processing unit 120 and the external computing device 200 to be attached and detached. More specifically, the wearing unit 300 may be in the form of a belt equipped with a detachable fixing part to secure the main processing unit 120 and the external computing device 200, and may be made of an elastic material. However, the wearing part 300 does not have to be in the form of a belt that can be worn around the waist, and can be implemented in various forms such as a vest or arm fixation band.

도 9는 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에서, 센서 데이터를 이용해 인공지능 연산을 수행하는 과정의 흐름을 도시한 도면이고, 도 10은 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에서, 센서 데이터를 이용해 인공지능 연산을 수행하는 과정의 주체를 표시한 도면이다. 도 9 및 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에서, AR 글래스(100)는, 인공지능 연산의 입력데이터 획득 및 전처리, 출력 데이터를 사용한 AR 글래스(100)의 동작 제어를 수행하며, 외부 연산 장치(200)는, AR 글래스(100)에서 전처리된 입력데이터를 이용해 인공지능 연산을 수행하고 결과를 출력할 수 있다.Figure 9 is a diagram showing the flow of the process of performing artificial intelligence calculation using sensor data in the wearable calculation system of AR glasses 100 using the external calculation device 200 according to an embodiment of the present invention. Figure 10 is a diagram showing the subject of the process of performing artificial intelligence calculation using sensor data in the wearable calculation system of the AR glasses 100 using the external calculation device 200 according to an embodiment of the present invention. As shown in FIGS. 9 and 10, in the wearable computing system of the AR glasses 100 using an external computing device 200 according to an embodiment of the present invention, the AR glasses 100 perform artificial intelligence computing. Acquisition and preprocessing of input data, and operation control of the AR glasses 100 using output data are performed, and the external computing device 200 performs artificial intelligence calculations using the input data preprocessed by the AR glasses 100 and provides the results. Can be printed.

보다 구체적으로, AR 글래스(100)가, 센서 데이터를 획득 및 전처리하여 인공지능 연산의 입력데이터로 처리하는 단계(S100), 외부 연산 장치(200)가, AR 글래스(100)로부터 입력데이터를 전달받아 인공지능 연산을 수행해 결과를 출력하는 단계(S200) 및 AR 글래스(100)가, 외부 연산 장치(200)로부터 출력 데이터를 전달받아 AR 글래스(100)의 동작을 제어하는 단계(S300)를 수행하여, AR 글래스(100)에서 획득한 센서 데이터 및 인공지능 연산을 이용해 AR 글래스(100)를 제어할 수 있다.More specifically, the AR glasses 100 acquires and pre-processes sensor data and processes it as input data for artificial intelligence calculation (S100), and the external computing device 200 transmits the input data from the AR glasses 100. A step of performing artificial intelligence calculation and outputting the result (S200), and a step of receiving output data from the external computing device 200 and controlling the operation of the AR glasses 100 (S300). Thus, the AR glasses 100 can be controlled using sensor data and artificial intelligence calculations obtained from the AR glasses 100.

이와 같이, AR 글래스(100)의 GPS 모듈, 카메라, 센서부 등에서 획득한 센서 데이터를 네트워크를 통해 서버 등에 송신하지 않고서도, AR 글래스(100)와 외부 연산 장치(200)를 이용해 인공지능 연산의 입력데이터로 사용할 수 있기 때문에, 데이터의 보안을 유지하면서도 해당 AR 글래스(100)에 최적화된 제어 동작을 수행할 수 있고, 오프라인 환경에서도 안정적으로 인공지능 기술을 적용할 수 있다.In this way, without transmitting sensor data acquired from the GPS module, camera, sensor unit, etc. of the AR glasses 100 to a server, etc. through a network, artificial intelligence calculation can be performed using the AR glasses 100 and the external computing device 200. Since it can be used as input data, control operations optimized for the AR glasses 100 can be performed while maintaining data security, and artificial intelligence technology can be applied stably even in an offline environment.

전술한 바와 같이, 본 발명에서 제안하고 있는 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템에 따르면, 인공지능 연산 처리에 특화된 외부 연산 장치(200)를 AR 글래스(100)에 유선으로 연결하고, 외부 연산 장치(200)에 인공지능 연산을 우선하여 할당해 처리함으로써, AR 글래스(100)를 제어하기 위한 인공지능 연산 속도를 증가시키는 동시에 인공지능 연산에 사용되는 내부 연산 자원의 점유율을 최소화하여, AR 글래스(100)의 기본 기능의 저하 없이 효율적으로 자원을 배분하여 인공지능 연산을 할 수 있고, 오프라인 상태에서도 다양한 인공지능 기술을 적용해 AR 글래스(100)의 기능을 극대화할 수 있으며, 다수의 외부 연산 장치(200)를 이용해 다양한 인공지능 모델을 동시에 적용할 수 있다.As described above, according to the wearable arithmetic system of the AR glasses 100 using the external arithmetic device 200 proposed in the present invention, the external arithmetic device 200 specialized for artificial intelligence arithmetic processing is used as the AR glasses 100. By connecting by wire to the external computing device 200 and assigning priority to artificial intelligence calculations for processing, the speed of artificial intelligence calculations for controlling the AR glasses 100 is increased while at the same time internal computing resources used for artificial intelligence calculations. By minimizing the market share, artificial intelligence calculations can be performed by efficiently distributing resources without deteriorating the basic functions of the AR glasses (100), and maximizing the functionality of the AR glasses (100) by applying various artificial intelligence technologies even when offline. This is possible, and various artificial intelligence models can be applied simultaneously using a plurality of external computing devices 200.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those skilled in the art, and the scope of the technical idea according to the present invention should be determined by the claims below.

100: AR 글래스
110: 글래스부
111: HMD 프레임
112: 광학부
113: 디스플레이
120: 메인 처리부
200: 외부 연산 장치
300: 착용부
S100: AR 글래스가, 센서 데이터를 획득 및 전처리하여 인공지능 연산의 입력데이터로 처리하는 단계
S200: 외부 연산 장치가, AR 글래스로부터 입력데이터를 전달받아 인공지능 연산을 수행해 결과를 출력하는 단계
S300: AR 글래스가, 외부 연산 장치로부터 출력 데이터를 전달받아 AR 글래스의 동작을 제어하는 단계100: AR glass
110: Glass part
111: HMD frame
112: Optics unit
113: display
120: main processing unit
200: external operation device
300: Wearing part
S100: Step where AR glasses acquire and preprocess sensor data and process it as input data for artificial intelligence calculation
S200: A step in which an external computing device receives input data from AR glasses, performs artificial intelligence calculation, and outputs the result.
S300: A step in which the AR glasses receive output data from an external computing device and control the operation of the AR glasses.

Claims (8)

오프라인 상태에서 인공지능 모델의 학습 및 예측을 포함하는 인공지능 기술을 AR 글래스에 적용하는, 착용형 연산 시스템으로서,
사용자의 머리에 착용되어 증강현실을 제공하는 AR 글래스(100); 및
상기 AR 글래스(100)에 유선으로 연결되며, 인공지능 연산 처리에 특화되어 상기 AR 글래스(100)를 위한 인공지능 연산을 처리하는 외부 연산 장치(200)를 포함하며,
상기 AR 글래스(100)는,
인공지능 연산의 결과를 이용해 상기 AR 글래스(100)의 동작을 제어하되, 상기 인공지능 연산을 내부 연산 자원에 우선하여 상기 외부 연산 장치(200)에 할당해 처리하여, 인공지능 연산에 사용되는 내부 연산 자원의 사용량을 최소화하며,
3개의 외부 연산 장치(200)를 상기 AR 글래스(100)에 유선으로 연결하고, 상기 3개의 외부 연산 장치(200)가 인공지능 제스처 인식, 인공지능 음성 인식, 및 인공지능 객체 검출을 각각 연산하도록 하여, 3개의 인공지능 모델을 병렬처리로 구현하며,
상기 AR 글래스(100)는,
사용자의 머리에 착용되어 증강현실을 제공하는 글래스부(110); 및
사용자의 머리가 아닌 신체에 착용되며, 상기 글래스부(110)와 유선으로 연결되어 상기 글래스부(110)를 제어하는 소형의 메인 처리부(120)를 포함하며,
상기 글래스부(110)는,
사용자가 머리에 착용할 수 있는 HMD 프레임(111);
상기 HMD 프레임(111)을 착용한 작업자의 양안의 전방에 배치되며, 작업자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 광학부(112);
상기 광학부(112)를 통해 투과되어 보이는 실제 세계와 함께 증강현실 영상 정보가 사용자에게 제공될 수 있도록 영상 광을 출력하는 디스플레이(113);
상기 HMD 프레임(111)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈;
상기 HMD 프레임(111)에 장착되어 사용자 시선 방향의 영상을 촬영하는 카메라;
상기 AR 글래스(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부;
상기 HMD 프레임(111)의 일 측에 설치되며, 작업 공간에서 발생하는 정보를 센싱하는 적어도 하나 이상의 센서를 포함하는 센서부를 포함하며,
상기 센서부는,
사용자가 위치한 공간의 환경 정보, 사용자의 자세 정보 및 사용자 신체 상태 정보를 센싱하며,
상기 외부 연산 장치(200)는,
USB 타입의 TPU(Tensor Processing Unit) 또는 NPU(Neural Processing Unit)이며, 상기 메인 처리부(120)의 하우징의 일측에 USB 연결로 장착되되,
상기 메인 처리부(120)에서 USB 연결선을 인출하여 상기 외부 연산 장치(200)를 유선으로 연결하고, 상기 메인 처리부(120)의 하우징의 양 측면 및 윗면에 상기 3개의 외부 연산 장치(200)를 고정 결합할 수 있도록, 상기 메인 처리부(120)의 하우징에 홈 또는 돌기 형태의 결합부를 구성하고, 상기 외부 연산 장치(200)에 상기 결합부와 대응되는 돌기 또는 홈을 구성하여, 상기 결합부를 통해 상기 메인 처리부(120)에 상기 3개의 외부 연산 장치(200)를 쉽게 결합할 수 있으며,
사용자의 허리에 상기 메인 처리부(120) 및 외부 연산 장치(200)를 착용하기 위한 착용부(300)를 더 포함하며,
상기 착용부(300)는,
상기 메인 처리부(120) 및 상기 외부 연산 장치(200)를 탈착 가능하게 고정되도록 탈착 고정부가 구비된 벨트 형태이며, 신축성 소재로 구성하고,
상기 AR 글래스(100)는,
인공지능 연산의 입력데이터 획득 및 전처리, 출력 데이터를 사용한 상기 AR 글래스(100)의 동작 제어를 수행하며,
상기 외부 연산 장치(200)는,
상기 AR 글래스(100)에서 전처리된 입력데이터를 이용해 인공지능 연산을 수행하고 결과를 출력하며,
(1) 상기 AR 글래스(100)가, 센서 데이터를 획득 및 전처리하여 인공지능 연산의 입력데이터로 처리하는 단계;
(2) 상기 외부 연산 장치(200)가, 상기 AR 글래스(100)로부터 입력데이터를 전달받아 인공지능 연산을 수행해 결과를 출력하는 단계; 및
(3) 상기 AR 글래스(100)가, 상기 외부 연산 장치(200)로부터 출력 데이터를 전달받아 상기 AR 글래스(100)의 동작을 제어하는 단계를 수행하여,
상기 AR 글래스(100)의 GPS 모듈, 카메라 및 센서부에서 획득한 센서 데이터를 네트워크를 통해 서버에 송신하지 않고서도, 상기 AR 글래스(100)와 외부 연산 장치(200)를 이용해 인공지능 연산의 입력데이터로 사용하므로, 데이터의 보안을 유지하면서도 해당 AR 글래스(100)에 최적화된 제어 동작을 수행하고, 오프라인 환경에서도 안정적으로 인공지능 기술을 적용하는 것을 특징으로 하는, 외부 연산 장치(200)를 이용한 AR 글래스(100)의 착용형 연산 시스템.A wearable computing system that applies artificial intelligence technology, including learning and prediction of artificial intelligence models in an offline state, to AR glasses,
AR glasses (100) worn on the user's head to provide augmented reality; and
It is connected to the AR glasses 100 by wire, and includes an external computing device 200 that is specialized for artificial intelligence processing and processes artificial intelligence processing for the AR glasses 100,
The AR glasses 100,
The operation of the AR glasses 100 is controlled using the results of the artificial intelligence calculation, but the artificial intelligence calculation is assigned to the external computing device 200 in priority over the internal computing resources for processing, so that the internal computing device used for the artificial intelligence calculation is processed. Minimizes the use of computing resources,
Three external computing devices 200 are connected to the AR glasses 100 by wire, and the three external processing devices 200 calculate artificial intelligence gesture recognition, artificial intelligence voice recognition, and artificial intelligence object detection, respectively. So, three artificial intelligence models are implemented in parallel processing,
The AR glasses 100,
A glass unit 110 that is worn on the user's head and provides augmented reality; and
It is worn on the user's body, not the head, and includes a small main processing unit 120 that is connected to the glass unit 110 by a wire and controls the glass unit 110,
The glass portion 110 is,
an HMD frame 111 that a user can wear on his or her head;
An optical unit 112 disposed in front of both eyes of the worker wearing the HMD frame 111 and allowing the real world to be seen through the worker's field of view;
A display 113 that outputs image light so that augmented reality image information can be provided to the user along with the real world seen through the optical unit 112;
A GPS module mounted on the HMD frame 111 to provide location information;
A camera mounted on the HMD frame 111 to capture an image in the direction of the user's gaze;
A power supply unit for supplying power to drive the AR glasses 100;
It is installed on one side of the HMD frame 111 and includes a sensor unit including at least one sensor that senses information generated in the work space,
The sensor unit,
It senses the environmental information of the space where the user is located, the user's posture information, and the user's body condition information,
The external computing device 200,
It is a USB type TPU (Tensor Processing Unit) or NPU (Neural Processing Unit), and is mounted on one side of the housing of the main processing unit 120 with a USB connection,
A USB connection cable is drawn from the main processing unit 120 to connect the external computing devices 200 by wire, and the three external processing devices 200 are fixed to both sides and the top of the housing of the main processing unit 120. To enable coupling, a coupling part in the form of a groove or protrusion is formed on the housing of the main processing unit 120, and a protrusion or groove corresponding to the coupling part is formed on the external computing device 200, and the coupling part is formed through the coupling part. The three external computing devices 200 can be easily combined with the main processing unit 120,
It further includes a wearing unit 300 for wearing the main processing unit 120 and the external computing device 200 on the user's waist,
The wearing part 300,
It is in the form of a belt equipped with a detachable fixing part to detachably fix the main processing unit 120 and the external computing device 200, and is made of an elastic material,
The AR glasses 100,
Performs operation control of the AR glasses 100 using input data acquisition and preprocessing of artificial intelligence calculation and output data,
The external computing device 200,
Perform artificial intelligence calculations using the input data preprocessed by the AR glasses 100 and output the results,
(1) the AR glasses 100 acquire and pre-process sensor data and process it as input data for artificial intelligence calculation;
(2) the external computing device 200 receives input data from the AR glasses 100, performs artificial intelligence calculation, and outputs a result; and
(3) The AR glasses 100 receive output data from the external computing device 200 and perform a step of controlling the operation of the AR glasses 100,
Input of artificial intelligence calculation using the AR glasses 100 and the external computing device 200 without transmitting the sensor data obtained from the GPS module, camera, and sensor unit of the AR glasses 100 to the server through the network. Since it is used as data, it performs control operations optimized for the AR glasses 100 while maintaining the security of the data, and uses an external computing device 200, which is characterized by stably applying artificial intelligence technology even in an offline environment. Wearable computing system of AR glasses (100). 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020210013732A 2021-01-30 2021-01-30 Wearable computing system of ar glasses using external computing device KR102591589B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210013732A KR102591589B1 (en) 2021-01-30 2021-01-30 Wearable computing system of ar glasses using external computing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210013732A KR102591589B1 (en) 2021-01-30 2021-01-30 Wearable computing system of ar glasses using external computing device

Publications (2)

Publication Number Publication Date
KR20220110417A KR20220110417A (en) 2022-08-08
KR102591589B1 true KR102591589B1 (en) 2023-10-20

Family

ID=82845384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210013732A KR102591589B1 (en) 2021-01-30 2021-01-30 Wearable computing system of ar glasses using external computing device

Country Status (1)

Country Link
KR (1) KR102591589B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018060212A (en) * 2013-11-27 2018-04-12 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． Virtual and augmented reality system and method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190116035A (en) * 2018-03-21 2019-10-14 엘지전자 주식회사 Artificial server
KR20190100105A (en) * 2019-08-09 2019-08-28 엘지전자 주식회사 Electronic device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018060212A (en) * 2013-11-27 2018-04-12 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． Virtual and augmented reality system and method

Also Published As

Publication number Publication date
KR20220110417A (en) 2022-08-08

Similar Documents

Publication Publication Date Title
US20230412780A1 (en) Headware with computer and optical element for use therewith and systems utilizing same
US11782277B2 (en) Waveguide display with increased uniformity and reduced cross-coupling between colors
US10261542B1 (en) Distributed augmented reality system
US11385467B1 (en) Distributed artificial reality system with a removable display
US10627620B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
US20140375947A1 (en) Headset with comfort fit temple arms
CN106908953A (en) A kind of binocular near-eye display device of integrated vision correction
JP2023105240A (en) See-through computer display system having improved vision correction and increased content density
KR20110070326A (en) Apparatus and method for presenting display of 3d image using head tracking
CN114730091A (en) High index waveguide for transferring images with low period outcoupling grating
KR102591589B1 (en) Wearable computing system of ar glasses using external computing device
CN110431468B (en) Determining a position and orientation of a user's torso for a display system
CN116203733A (en) Mixed reality wearing equipment
KR102410872B1 (en) Head mounted display device with projector mode
US11514649B2 (en) Camera for augmented reality display
KR20210116943A (en) An optical device with wider field of view using concave lens and a head mounted display apparatus having thereof
KR102464751B1 (en) Head mounted display apparatus to add vision correction lenses
KR102619429B1 (en) Head-mounted display apparatus that automatically adjusts the inter-pupillary distance through eye tracking
KR102519432B1 (en) Head-down type wearable augmented reality apparatus
US10858243B2 (en) Backside reinforcement structure design for mirror flatness
US20230324712A1 (en) Proportional frame deflection to maintain glasses display alignment
KR102226639B1 (en) An optical apparatus with plural pin-mirrors and a head mounted display apparatus having thereof
KR102498191B1 (en) Optical system for augmented reality with a reflective surface and a head mounted display apparatus using thereof
KR102331938B1 (en) An optical device with wider field of view using convex lens and a head mounted display apparatus having thereof
KR102329612B1 (en) An optical device with plural pin-holes and a head mounted display apparatus using thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant