KR20210030827A - 분산처리 기반의 hmd용 머신러닝 시스템 - Google Patents

Abstract

본 발명은 분산처리 기반의 HMD용 머신러닝 시스템에 관한 것으로서, 보다 구체적으로는 분산처리 기반의 HMD용 머신러닝 시스템으로서, 복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치에 의한 분산 머신러닝을 처리하며, 상기 머리 착용형 디스플레이 장치는, 다른 머리 착용형 디스플레이 장치와 정보를 송수신하는 입출력부; 다른 머리 착용형 디스플레이 장치의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치를 검색하는 검색부; 상기 검색부의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 유휴 장치에 할당하는 할당부; 및 상기 할당된 태스크에 대응하여, 머신러닝의 데이터 학습을 수행하는 분산 학습부를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 분산처리 기반의 HMD용 머신러닝 시스템에 관한 것으로서, 보다 구체적으로는 상기 분산처리 기반의 HMD용 머신러닝 시스템은, 마스터 HMD(Head-Mounted Display) 장치 및 슬레이브 HMD 장치를 포함하는 복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치에 의한 분산 머신러닝을 처리하며, 상기 마스터 HMD 장치는, 다른 머리 착용형 디스플레이 장치와 정보를 송수신하는 입출력부; 다른 머리 착용형 디스플레이 장치의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치인 슬레이브 HMD 장치를 검색하는 검색부; 및 상기 검색부의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 슬레이브 HMD 장치에 할당하는 할당부를 포함하고, 상기 슬레이브 HMD 장치는, 다른 머리 착용형 디스플레이 장치와 정보를 송수신하는 입출력부; 및 상기 마스터 HMD 장치의 할당부에 의해 할당된 태스크에 대응하여, 머신러닝의 학습을 수행하는 분산 학습부를 포함하는 것을 또 다른 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 분산처리 기반의 HMD용 머신러닝 시스템에 따르면, 복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치를 검색하고, 검색된 유휴 장치에 태스크를 할당하여, 머신러닝의 데이터 학습을 분산 처리함으로써, 외부의 서버 등과의 통신이 원활하지 못한 상황에서도, 주변의 머리 착용형 디스플레이 장치들을 활용하여 머신러닝 학습을 수행할 수 있고, 사용 중인 머리 착용형 디스플레이 장치에 부담을 주지 않고 유휴 장치를 활용해 효율적으로 머신러닝 학습을 처리할 수 있다.

Description

분산처리 기반의 HMD용 머신러닝 시스템{MACHINE LEARNING SYSTEM BASED ON DISTRIBUTED DATA PROCESSING}

본 발명은 머신러닝 시스템에 관한 것으로서, 보다 구체적으로는 분산처리 기반의 HMD용 머신러닝 시스템에 관한 것이다.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display; HMD)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.

한편, 인공지능 기술이 발달하면서, 인공지능 기술로서 머신러닝/딥러닝이 여러 분야에 활발히 적용되고 있다. 이에 따라, 헤드 마운티드 디스플레이에 사용되는 다양한 분야에도 머신러닝/딥러닝 기술이 적용되고 있다.

이와 같은 머신러닝/딥러닝 모델의 인식 성능을 향상시키기 위해서는, 대량의 학습이 필요하므로, 신속하게 많은 연산을 할 수 있는 고성능 컴퓨터가 요구된다. 따라서 인공지능 기술을 헤드 마운티드 디스플레이의 여러 기능에 적용하기 위해서는, 사전 학습된 인공지능 모델을 단순 적용하거나, 외부 서버를 이용해 인공지능 모델의 학습을 처리하는 방법을 사용할 수 있다.

한편, 헤드 마운티드 디스플레이의 적용 범위가 확대되면서, 유독물질이 저장된 탱크, 액화천연가스 저장 탱크, 선박 탱크, 화학 설비 공장 등의 산업시설, 화재 등의 위급상황 투입 환경 등, 위험 상황에 적용 가능한 헤드 마운티드 디스플레이에 대한 연구가 진행되고 있다. 헤드 마운티드 디스플레이를 이용하면, 증강현실을 통해 위험 상황에서 필요한 정보를 실시간으로 제공할 수 있다.

그러나 이러한 위험 상황에서는, 외부의 서버 등과의 통신이 원활하지 못한 환경이 조성될 수 있고, 외부의 서버와 통신은 가능하더라도 해당 위험 상황에 따른 인공지능 모델의 학습이나 전송에 필요한 대용량 데이터의 송수신은 불가능할 수도 있기 때문에, 이와 같은 상황에서도 헤드 마운티드 디스플레이에 인공지능을 적용할 수 있는 기술의 개발이 필요한 실정이다.

한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1950786호(발명의 명칭: 분산처리용 인공신경망 연산 가속화 방법, 공고일자: 2019년 02월 21일) 등이 개시된 바 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치를 검색하고, 검색된 유휴 장치에 태스크를 할당하여, 머신러닝의 데이터 학습을 분산 처리함으로써, 외부의 서버 등과의 통신이 원활하지 못한 상황에서도, 주변의 머리 착용형 디스플레이 장치들을 활용하여 머신러닝 학습을 수행할 수 있고, 사용 중인 머리 착용형 디스플레이 장치에 부담을 주지 않고 유휴 장치를 활용해 효율적으로 머신러닝 학습을 처리할 수 있는, 분산처리 기반의 HMD용 머신러닝 시스템을 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 분산처리 기반의 HMD용 머신러닝 시스템은,

분산처리 기반의 HMD용 머신러닝 시스템으로서,

복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치에 의한 분산 머신러닝을 처리하며,

상기 머리 착용형 디스플레이 장치는,

다른 머리 착용형 디스플레이 장치와 정보를 송수신하는 입출력부;

다른 머리 착용형 디스플레이 장치의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치를 검색하는 검색부;

상기 검색부의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 유휴 장치에 할당하는 할당부; 및

상기 할당된 태스크에 대응하여, 머신러닝의 데이터 학습을 수행하는 분산 학습부를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 할당부는,

상기 검색부에서 검색한 유휴 장치의 상태 정보 및 상기 유휴 장치와의 연결 상태를 기반으로, 상기 태스크를 할당할 수 있다.

바람직하게는, 상기 분산 학습부는,

상기 머리 착용형 디스플레이 장치에 구비된 센서에서 수집된 로컬 데이터를 학습 데이터로 하여, 학습을 수행할 수 있다.

바람직하게는, 상기 분산 학습부는,

상기 머리 착용형 디스플레이 장치에 저장된 학습 데이터 및 다른 머리 착용형 디스플레이 장치로부터 수신한 학습 데이터 중 적어도 어느 하나를 이용해 머신러닝의 데이터 학습을 수행할 수 있다.

바람직하게는, 상기 머리 착용형 디스플레이 장치는,

상기 복수의 머리 착용형 디스플레이 장치에 의한 분산 머신러닝에 의해 학습된 예측 모델을 이용해 예측을 수행하고, 예측에 따른 제어를 처리하는 제어부를 더 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 분산처리 기반의 HMD용 머신러닝 시스템은,

상기 분산처리 기반의 HMD용 머신러닝 시스템은,

마스터 HMD(Head-Mounted Display) 장치 및 슬레이브 HMD 장치를 포함하는 복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치에 의한 분산 머신러닝을 처리하며,

상기 마스터 HMD 장치는,

다른 머리 착용형 디스플레이 장치와 정보를 송수신하는 입출력부;

다른 머리 착용형 디스플레이 장치의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치인 슬레이브 HMD 장치를 검색하는 검색부; 및

상기 검색부의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 슬레이브 HMD 장치에 할당하는 할당부를 포함하고,

상기 슬레이브 HMD 장치는,

다른 머리 착용형 디스플레이 장치와 정보를 송수신하는 입출력부; 및

상기 마스터 HMD 장치의 할당부에 의해 할당된 태스크에 대응하여, 머신러닝의 학습을 수행하는 분산 학습부를 포함하는 것을 또 다른 구성상의 특징으로 한다.

바람직하게는, 상기 할당부는,

상기 검색부에서 검색한 슬레이브 HMD 장치의 상태 정보 및 상기 슬레이브 HMD 장치와 상기 마스터 HMD 장치의 연결 상태를 기반으로, 상기 태스크를 할당할 수 있다.

바람직하게는, 상기 분산 학습부는,

상기 슬레이브 HMD 장치에 구비된 센서에서 수집된 로컬 데이터를 학습 데이터로 하여, 학습을 수행할 수 있다.

본 발명에서 제안하고 있는 분산처리 기반의 HMD용 머신러닝 시스템에 따르면, 복수의 머리 착용형 디스플레이 장치로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치를 검색하고, 검색된 유휴 장치에 태스크를 할당하여, 머신러닝의 데이터 학습을 분산 처리함으로써, 외부의 서버 등과의 통신이 원활하지 못한 상황에서도, 주변의 머리 착용형 디스플레이 장치들을 활용하여 머신러닝 학습을 수행할 수 있고, 사용 중인 머리 착용형 디스플레이 장치에 부담을 주지 않고 유휴 장치를 활용해 효율적으로 머신러닝 학습을 처리할 수 있다.

도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템에 포함되는 머리 착용형 디스플레이 장치의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템의 구성을 도시한 도면.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 3은 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템의 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템은, 복수의 머리 착용형 디스플레이 장치(100)로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치(100)에 의한 분산 머신러닝을 처리할 수 있다.

여기서, 머신러닝은, 머신러닝 및 딥러닝을 모두 포함할 수 있으며, 방대한 데이터의 학습을 통해 인공지능을 구현하는 모든 방법을 포함할 수 있다.

머신러닝의 분산처리는, 데이터 병렬처리(data parallelism) 방식 및 모델 병렬처리(model parallelism) 방식으로 구분될 수 있다.

데이터 병렬처리 방식은 학습의 대상인 입력 데이터 셋(set)이 다수의 컴퓨터들에게 분할되고, 각 컴퓨터가 자신에게 할당된 분할된 입력 데이터 셋을 사용하는 학습을 수행하는 방식일 수 있다. 보다 구체적으로, 데이터 병렬처리 방식에서, 분산처리 기반의 HMD용 머신러닝 시스템의 각 분산 컴퓨터(distributed computer)는 부분으로 나뉜 입력 데이터를 사용하여 머신러닝 학습 모델의 전체에 대한 학습을 수행할 수 있다.

모델 병렬처리 방식은 머신러닝 모델이 분할되고, 다수의 컴퓨터가 분할된 머신러닝 모델들에 대한 학습을 각각 수행하는 방식이다. 보다 구체적으로는, 모델 병렬처리 방식은, 머신러닝 모델을 분할하고, 분산처리 기반의 HMD용 머신러닝 시스템의 각 분산 컴퓨터에서는 전체의 입력 데이터에 대해 학습을 수행하고, 머신러닝 모델의 분할에 대해 부분적으로 계산된 파라미터를 교환할 수 있다.

본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템은, 유휴 상태인 머리 착용형 디스플레이 장치(100)를 분산 컴퓨터로 사용하여, 데이터 병렬처리 방식으로 분산 머신러닝을 수행할 수 있으며, 실시예에 따라서는 모델 병렬처리 방식, 또는 데이터 병렬처리 및 모델 병렬처리를 결합한 방식으로 분산 머신러닝을 수행할 수 있다.

이때, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템은, 분산 머신러닝의 처리를 위한 통신을 서로 원활하게 할 수 있는 복수의 머리 착용형 디스플레이 장치(100)로 구성될 수 있으며, 도 3에 도시된 바와 같이, 시스템을 구성하는 머리 착용형 디스플레이 장치(100) 중에서, 유휴 상태인 일부 머리 착용형 디스플레이 장치(100)로 분산 머신러닝이 처리될 수 있다. 프로세서, 메모리 등을 미리 정해진 비율 이상 사용하고 있어서 유휴 상태가 아닌 경우에는 분산 머신러닝을 위한 계산을 충분히 빠르게 할 수 없고, 분산 머신러닝을 위한 태스크 할당으로 인해 해당 머리 착용형 디스플레이 장치(100)의 기본 기능의 수행에 영향을 미칠 수 있으므로, 유휴 상태의 머리 착용형 디스플레이 장치(100)를 분산 컴퓨터로 사용할 수 있다.

도 4는 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템에 포함되는 머리 착용형 디스플레이 장치(100)의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템의 머리 착용형 디스플레이 장치(100) 각각은, 입출력부(140), 검색부(150), 할당부(160) 및 분산 학습부(170)를 포함하여 구성될 수 있으며, HMD 프레임(110), 광학계(120), 디스플레이(130), 제어부(180), 센서부(190), GPS 모듈(200), 카메라(210), 전원 공급부(220), 스위치부(230) 및 통신부(240) 중 적어도 하나 이상을 더 포함하여 구성될 수 있다.

HMD 프레임(110)은, 사용자가 머리에 착용할 수 있는 머리 착용형 디스플레이 장치(100)의 프레임 구성이다. 이러한 HMD 프레임(110)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(110)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(110)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.

광학계(120)는, HMD 프레임(110)을 착용한 사용자의 양안의 전방에 배치되며, 사용자의 시야를 통한 실제 세계(real world)가 투과되어 보일 수 있도록 하는 구성이다. 이러한 광학계(120)는 사용자의 시야를 통한 실제 세계가 투과되어 보일 수 있는 글라스 형태로서 투명한 렌즈로 구성될 수 있다.

디스플레이(130)는, 광학계(120)를 통해 투과되어 보이는 실제 세계와 함께 영상 정보(10)가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력할 수 있다. 이러한 디스플레이(130)는 머리 착용형 디스플레이 장치(100)의 기본 기능에 따른 각종 영상 정보를 증강현실을 기반으로 출력할 수 있다.

입출력부(140)는, 다른 머리 착용형 디스플레이 장치(100)와 정보를 송수신할 수 있다. 입출력부(140)는 복수의 머리 착용형 디스플레이 장치(100) 상호 간에, 상태 정보, 분산 머신러닝의 처리를 위한 학습 데이터, 머신러닝 모델 등의 송수신, 파라미터 업데이트 등을 처리할 수 있다. 또한, 외부 서버와의 통신이 필요한 경우 입출력부(140)를 통해 머리 착용형 디스플레이 장치(100)가 외부 서버와 각종 데이터의 입력 및 출력을 처리할 수 있다.

검색부(150)는, 다른 머리 착용형 디스플레이 장치(100)의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치를 검색할 수 있다. 이때, 검색부(150)는, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템을 구성하는 복수의 머리 착용형 디스플레이 장치(100) 중에서, 분산 머신러닝의 처리가 용이하도록 통신이 원활한 상태의 장치들로부터 입출력부(140)를 통해 상태 정보를 입력받고, 상태 정보를 이용해 유휴 장치를 검색할 수 있다.

이때, 상태 정보는, 프로세서나 메모리 등을 포함하는 계산 자원의 현재 사용 비율, 통신 상태 등을 포함할 수 있으며, 검색부(150)는 상태 정보를 이용해 프로세서 또는 메모리의 사용 비율을 이용해 유휴 상태 여부를 판단하고, 계산 자원의 사용 비율이 기준 미만으로 계산 자원을 충분히 사용할 수 있는 상태의 머리 착용형 디스플레이 장치(100)를 유휴 장치로 판단할 수 있다. 이때, 검색부(150)는, 분산 머신러닝의 전체 계산량 또는 분산 머신러닝의 긴급성에 따라서, 유휴 장치로 검색하는 기준을 상이하게 설정할 수 있으며, 보다 구체적으로, 통신 상태 기준, 계산 자원의 사용 비율 기준 등을 상이하게 설정할 수 있다.

할당부(160)는, 검색부(150)의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 유휴 장치에 할당할 수 있다. 이때, 할당부(160)는 검색된 모든 유휴 장치에 태스크를 균등하게 할당할 수 있으나, 각 유휴 장치의 상태에 따라 태스크를 각각 할당할 수도 있다. 보다 구체적으로, 할당부(160)는, 검색부(150)에서 검색한 유휴 장치의 상태 정보 및 유휴 장치와의 연결 상태를 기반으로, 태스크를 할당할 수 있다. 따라서 계산 자원이 더 많은 유휴 장치에는 더 많은 태스크가 할당되도록 할 수 있다.

분산 학습부(170)는, 할당된 태스크에 대응하여, 머신러닝의 데이터 학습을 수행할 수 있다. 보다 구체적으로, 분산 학습부(170)는, 데이터 병렬처리 방식, 모델 병렬처리 방식, 또는 그 둘의 결합에 의한 방식 등에 따라, 분산 머신러닝을 수행할 수 있다.

한편, 분산 학습부(170)는, 머리 착용형 디스플레이 장치(100)에 저장된 학습 데이터 및 다른 머리 착용형 디스플레이 장치(100)로부터 수신한 학습 데이터 중 적어도 어느 하나를 이용해 머신러닝의 데이터 학습을 수행할 수 있다. 이때, 학습 데이터는, 입출력부(140)를 통해 입력받아 저장되고, 분산 학습부(170)에 제공될 수 있다.

또한, 분산 학습부(170)는, 머리 착용형 디스플레이 장치(100)에 구비된 센서에서 수집된 로컬 데이터를 학습 데이터로 하여, 학습을 수행할 수 있다. 즉, 데이터 병렬처리 방식으로 분산 머신러닝을 수행하면서, 각각의 머리 착용형 디스플레이 장치(100)의 분산 학습부(170)가 해당 머리 착용형 디스플레이 장치(100)에 임베디드로 구비된 센서에서 수집된 로컬 데이터를 이용해 학습을 수행함으로써, 로컬 데이터의 송수신에 따른 통신 효율을 절감할 수 있다.

제어부(180)는, 복수의 머리 착용형 디스플레이 장치(100)에 의한 분산 머신러닝에 의해 학습된 예측 모델을 이용해 예측을 수행하고, 예측에 따른 제어를 처리할 수 있다. 즉, 각각의 유휴 장치의 분산 학습부(170)에 의해 학습된 예측 모델을, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템을 구성하는 복수의 머리 착용형 디스플레이 장치(100)들이 공유하고, 공유된 예측 모델을 이용해 각 머리 착용형 디스플레이 장치(100)의 제어부(180)가 예측을 수행하며, 예측에 따른 제어를 처리할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템은, 위험 상황에서 탈출 경로를 산출하는 예측 모델을 분산 머신러닝을 통해 학습시킬 수 있으며, 학습된 예측 모델을 복수의 머리 착용형 디스플레이 장치(100)들이 공유하고, 각각의 머리 착용형 디스플레이 장치(100)의 제어부(180)는 위험 상황 발생 시, 분산 머신러닝에 의해 학습된 예측 모델을 이용해 탈출 경로의 예측을 수행하고, 예측된 탈출 경로를 증강현실 기반으로 안내하는 내비게이션 영상 정보를 생성하여 디스플레이(130)로 전송되도록 제어할 수 있다.

센서부(190)는, HMD 프레임(110)의 일 측에 설치되며 IMU 센서, 온도 센서, 습도 센서, 사용자의 위치 파악을 위한 센서, 환경 유해 가스를 검출할 수 있는 센서 등을 포함할 수 있다. 센서부(190)는, 도 1 및 도 2에 도시된 바와 같은 머리 착용형 디스플레이 장치(100)의 HMD 프레임(110)에 부착될 수 있으며, 부착 위치는 각 센서가 정확한 로컬 데이터를 수집할 수 있는 위치로서, 사용자의 양안이 위치하는 부분 사이의 중앙에 부착될 수 있고, 좌측이나 우측 측면에 부착될 수도 있다. 또한, 센서부(190)는, HMD 프레임(110)에 탈부착이 가능한 형태로 적용될 수 있다.

전술한 분산 학습부(170)에서 설명한 바와 같이, 분산 학습부(170)는 센서부(190)에서 수집된 로컬 데이터를 학습 데이터로 하여 해당 머리 착용형 디스플레이 장치(100)에 할당된 분산 머신러닝의 학습을 수행할 수 있다. 따라서 각 머리 착용형 디스플레이 장치(100)는, 센서부(190)에서 수집된 로컬 데이터를 다른 머리 착용형 디스플레이 장치(100)에 전송할 필요 없이, 안전하고 신속하게 분산 머신러닝을 수행할 수 있다.

한편, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템의 머리 착용형 디스플레이 장치(100)는 HMD 프레임(110)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(200)과, HMD 프레임(110)에 장착되어 사용자의 시선 방향의 영상을 촬영하기 위한 카메라(210)와, 머리 착용형 디스플레이 장치(100)의 구동을 위한 전원을 공급하기 위한 전원 공급부(220)와, 전원 공급부(220)의 온/오프를 위한 스위치부(230)와, 제어부(180)의 제어 하에 인접하는 다른 머리 착용형 디스플레이 장치(100) 등과 데이터 통신을 수행하는 통신부(240)를 더 포함하여 구성될 수 있다.

또한, GPS 모듈(200)은 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 현장 위치 정보를 제공하고, 카메라(210)는 사용자가 바라보는 시선의 현장을 촬영할 수 있다. 또한, 스위치부(230)는 전원 공급부(220)의 온/오프를 위한 스위치를 HMD 프레임(110)의 일 측에 설치하거나, 또는 HMD 프레임(110)과 유선으로 연결되는 별도의 디바이스에 형성될 수 있다. 또한, 통신부(240)는 인접하는 다른 머리 착용형 디스플레이 장치(100)의 통신부(240)와 연동하여 연결 접속되고, 입출력부(140)를 이용해 각종 데이터 및 신호를 입출력할 수 있도록 데이터 통신을 수행할 수 있다. 또한, 실시예에 따라서는, 통신부(240)는 외부의 서버 등과도 데이터 통신을 수행할 수 있다. 여기서, 통신부(240)는 인터넷 접속이 가능한 3G/4G/5G 및 LTE, 블루투스(Bluetooth), 위성 통신망 등을 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.

도 5는 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템의 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템은, 마스터 HMD(Head-Mounted Display) 장치 및 슬레이브 HMD 장치(100b)를 포함하는 복수의 머리 착용형 디스플레이 장치(100)로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치(100)에 의한 분산 머신러닝을 처리할 수 있다.

즉, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템에서는, 도 3에 도시된 바와 같이, 복수의 머리 착용형 디스플레이 장치(100)가 동등한 분산 컴퓨터의 역할을 할 수 있으나, 도 5에 도시된 바와 같이, 마스터 HMD 장치(100a)와 슬레이브 HMD 장치(100b)로 구분되어, 마스터 HMD 장치(100a)가 슬레이브 HMD 장치(100b)의 검색, 태스크 할당 등을 할 수 있으며, 머신러닝 시 요구되는 학습 데이터 저장 및 공유, 각종 파라미터의 업데이트 등을 처리할 수 있다.

보다 구체적으로, 마스터 HMD 장치(100a)는, 다른 머리 착용형 디스플레이 장치(100)와 정보를 송수신하는 입출력부(140), 다른 머리 착용형 디스플레이 장치(100)의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치인 슬레이브 HMD 장치(100b)를 검색하는 검색부(150), 및 검색부(150)의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 슬레이브 HMD 장치(100b)에 할당하는 할당부(160)를 포함할 수 있다. 또한, 슬레이브 HMD 장치(100b)는, 다른 머리 착용형 디스플레이 장치(100)와 정보를 송수신하는 입출력부(140), 및 마스터 HMD 장치(100a)의 할당부(160)에 의해 할당된 태스크에 대응하여, 머신러닝의 학습을 수행하는 분산 학습부(170)를 포함할 수 있다.

여기서, 마스터 HMD 장치(100a)의 할당부(160)는, 검색부(150)에서 검색한 슬레이브 HMD 장치(100b)의 상태 정보 및 슬레이브 HMD 장치(100b)와 마스터 HMD 장치(100a)의 연결 상태를 기반으로, 태스크를 할당할 수 있다. 또한, 슬레이브 HMD 장치(100b)의 분산 학습부(170)는, 슬레이브 HMD 장치(100b)에 구비된 센서에서 수집된 로컬 데이터를 학습 데이터로 하여, 학습을 수행할 수 있다.

실시예에 따라서는, 마스터 HMD 장치(100a)도 분산 학습부(170)를 포함하고, 태스크를 할당하여 분산 머신러닝의 학습을 수행하는 슬레이브 HMD 장치(100b)의 역할을 할 수 있다. 여기서, 마스터 HMD 장치(100a)와 슬레이브 HMD 장치(100b)는 고정된 역할이 아니며, 본 발명의 일실시예에 따른 분산처리 기반의 HMD용 머신러닝 시스템을 구성하는 복수의 머리 착용형 디스플레이 장치(100) 각각이, 상황과 역할에 따라 마스터 HMD 장치(100a) 또는 슬레이브 HMD 장치(100b)의 역할을 모두 할 수 있다. 보다 구체적으로, 분산처리 중 마스터 HMD 장치(100a)에 오류 발생 등으로 해당 장치가 더 이상 마스터 장치의 역할을 할 수 없게 되면, 슬레이브 HMD 장치(100b) 중 어느 하나가 마스터 HMD 장치(100a)의 역할을 할 수 있다.

본 발명에서 제안하고 있는 분산처리 기반의 HMD용 머신러닝 시스템에 따르면, 복수의 머리 착용형 디스플레이 장치(100)로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치(100)를 검색하고, 검색된 유휴 장치에 태스크를 할당하여, 머신러닝의 데이터 학습을 분산 처리함으로써, 외부의 서버 등과의 통신이 원활하지 못한 상황에서도, 주변의 머리 착용형 디스플레이 장치(100)들을 활용하여 머신러닝 학습을 수행할 수 있고, 사용 중인 머리 착용형 디스플레이 장치(100)에 부담을 주지 않고 유휴 장치를 활용해 효율적으로 머신러닝 학습을 처리할 수 있다.

한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

100: 머리 착용형 디스플레이 장치
100a: 마스터 HMD 장치
100b: 슬레이브 HMD 장치
110: HMD 프레임
120: 광학계
130: 디스플레이
140: 입출력부
150: 검색부
160: 할당부
170: 분산 학습부
180: 제어부
190: 센서부
200: GPS 모듈
210: 카메라
220: 전원 공급부
230: 스위치부
240: 통신부

Claims (8)

1. 분산처리 기반의 HMD용 머신러닝 시스템으로서,
   복수의 머리 착용형 디스플레이 장치(100)로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치(100)에 의한 분산 머신러닝을 처리하며,
   상기 머리 착용형 디스플레이 장치(100)는,
   다른 머리 착용형 디스플레이 장치(100)와 정보를 송수신하는 입출력부(140);
   다른 머리 착용형 디스플레이 장치(100)의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치를 검색하는 검색부(150);
   상기 검색부(150)의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 유휴 장치에 할당하는 할당부(160); 및
   상기 할당된 태스크에 대응하여, 머신러닝의 데이터 학습을 수행하는 분산 학습부(170)를 포함하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.
2. 제1항에 있어서, 상기 할당부(160)는,
   상기 검색부(150)에서 검색한 유휴 장치의 상태 정보 및 상기 유휴 장치와의 연결 상태를 기반으로, 상기 태스크를 할당하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.
3. 제1항에 있어서, 상기 분산 학습부(170)는,
   상기 머리 착용형 디스플레이 장치(100)에 구비된 센서에서 수집된 로컬 데이터를 학습 데이터로 하여, 학습을 수행하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.
4. 제1항에 있어서, 상기 분산 학습부(170)는,
   상기 머리 착용형 디스플레이 장치(100)에 저장된 학습 데이터 및 다른 머리 착용형 디스플레이 장치(100)로부터 수신한 학습 데이터 중 적어도 어느 하나를 이용해 머신러닝의 데이터 학습을 수행하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.
5. 제1항에 있어서, 상기 머리 착용형 디스플레이 장치(100)는,
   상기 복수의 머리 착용형 디스플레이 장치(100)에 의한 분산 머신러닝에 의해 학습된 예측 모델을 이용해 예측을 수행하고, 예측에 따른 제어를 처리하는 제어부(180)를 더 포함하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.
6. 상기 분산처리 기반의 HMD용 머신러닝 시스템은,
   마스터 HMD(Head-Mounted Display) 장치 및 슬레이브 HMD 장치(100b)를 포함하는 복수의 머리 착용형 디스플레이 장치(100)로 구성되어, 유휴 상태인 머리 착용형 디스플레이 장치(100)에 의한 분산 머신러닝을 처리하며,
   상기 마스터 HMD 장치(100a)는,
   다른 머리 착용형 디스플레이 장치(100)와 정보를 송수신하는 입출력부(140);
   다른 머리 착용형 디스플레이 장치(100)의 상태 정보를 이용해, 분산 머신러닝을 위해 사용 가능한 유휴 장치인 슬레이브 HMD 장치(100b)를 검색하는 검색부(150); 및
   상기 검색부(150)의 검색 결과에 따라, 머신러닝의 분산처리를 위한 태스크를 각 슬레이브 HMD 장치(100b)에 할당하는 할당부(160)를 포함하고,
   상기 슬레이브 HMD 장치(100b)는,
   다른 머리 착용형 디스플레이 장치(100)와 정보를 송수신하는 입출력부(140); 및
   상기 마스터 HMD 장치(100a)의 할당부(160)에 의해 할당된 태스크에 대응하여, 머신러닝의 학습을 수행하는 분산 학습부(170)를 포함하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.
7. 제6항에 있어서, 상기 할당부(160)는,
   상기 검색부(150)에서 검색한 슬레이브 HMD 장치(100b)의 상태 정보 및 상기 슬레이브 HMD 장치(100b)와 상기 마스터 HMD 장치(100a)의 연결 상태를 기반으로, 상기 태스크를 할당하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.
8. 제6항에 있어서, 상기 분산 학습부(170)는,
   상기 슬레이브 HMD 장치(100b)에 구비된 센서에서 수집된 로컬 데이터를 학습 데이터로 하여, 학습을 수행하는 것을 특징으로 하는, 분산처리 기반의 HMD용 머신러닝 시스템.

Images