KR102633177B1 - 디지털트윈을 이용한 라벨링된 인공지능 학습데이터의 생성방법 및 시스템 - Google Patents

Abstract

본 발명은 디지털트윈을 이용한 라벨링된 인공지능 학습데이터의 생성방법 및 시스템에 관한 것으로서, 실제 환경정보가 반영된 디지털트윈에서의 출력되는 영상을 캡쳐하고, 디지털트윈 내부에서 연산된 정보에 기초하여 영상에서의 라벨링정보를 자동적으로 추출함으로써, 이동객체에 대한 이미지 및 상기 이동객체에 대한 라벨링정보를 포함하는 인공지능 학습데이터를 생성하는, 디지털트윈을 이용한 라벨링된 인공지능 학습데이터의 생성방법 및 시스템에 관한 것이다.

Description

디지털트윈을 이용한 라벨링된 인공지능 학습데이터의 생성방법 및 시스템 {The Method and System for Labeled Machine-Learning Data By Digital Twin}

본 발명은 디지털트윈을 이용한 라벨링된 인공지능 학습데이터의 생성방법 및 시스템에 관한 것으로서, 실제 환경정보가 반영된 디지털트윈에서의 출력되는 영상을 캡쳐하고, 디지털트윈 내부에서 연산된 정보에 기초하여 영상에서의 라벨링정보를 자동적으로 추출함으로써, 이동객체에 대한 이미지 및 상기 이동객체에 대한 라벨링정보를 포함하는 인공지능 학습데이터를 생성하는, 디지털트윈을 이용한 라벨링된 인공지능 학습데이터의 생성방법 및 시스템에 관한 것이다.

자율주행을 위한 모델, 혹은 교통상황을 모니터링하고 이로부터 필요한 정보(예를 들어, 차로 대기열, 위험상황여부 등)를 학습하기 위해서, 바운딩박스 및 해당 바운딩박스된 객체에 대한 정보 등을 포함하는 라벨링이 되어 있는 자료가 필요하다. 이와 같은 종래의 라벨링 기술로서는 객체에 대한 이미지를 획득하고, 이후 상기 이미지에 대하여 작업자가 수작업으로 바운딩박스를 그리고, 이에 대해 카테고리 혹은 특성값을 부여하는 형태가 있다.

최근 인공지능 기술의 추세가 모델 중심에서 데이터 중심으로 변화하고 있고, 위와 같은 라벨링된 데이터를 충분한 수만큼 확보를 해야만 높은 성능의 인공지능 모델이 구축될 수 있으나, 이와 같은 라벨링 데이터의 확보는 기본적으로 시간 및 비용이 상당히 소요되는 문제가 있다. 이를 해결하기 위하여, 최근에는 라벨링에 대한 업무를 크라우드소싱 방식으로 다수의 사람에게 분배하고, 이들에 대해 리워드를 주는 방식으로 라벨링 데이터를 획득하는 방식이 사용이 되었으나, 이 경우에도 인력 사용의 효율화를 더욱 개선할 수 있을 뿐, 기본적으로 인력이 사용된다는 점에서는 종래의 기술과 큰 차이가 없다.

또한, 이와 같은 라벨링 데이터를 생성함에 있어서, 라벨링 작업자를 도와주기 위한 툴들이 개발되었다. 교통환경을 예로 들면, 차량에 대해 바운딩박스를 치는 라벨링 작업의 경우, 작업자가 작업을 하기 전에 학습된 인공신경망 기반의 모델에 의해 해당 이미지에서 차량으로 판단되는 객체에 대해 바운딩박스를 생성하고, 작업자는 해당 바운딩박스의 위치를 조정하는 등의 수정을 수행하거나 혹은 이와 같이 인공지능에 의하여 만들어진 예비라벨링 데이터에 자신의 라벨링 작업을 추가하는 형태도 제시되었지만, 근본적으로는 사람이 작업을 해야 한다는 한계점이 있다.

그러므로 촬영된 영상에서 객체에 대한 라벨링을 자동적으로 수행해주는 인공신경망 기반의 모델의 학습데이터가 필요한 상황이다.

본 발명은 디지털트윈을 이용한 라벨링된 인공지능 학습데이터의 생성방법 및 시스템에 관한 것으로서, 실제 환경정보가 반영된 디지털트윈에서의 출력되는 영상을 캡쳐하고, 디지털트윈 내부에서 연산된 정보에 기초하여 영상에서의 라벨링정보를 자동적으로 추출함으로써, 이동객체에 대한 이미지 및 상기 이동객체에 대한 라벨링정보를 포함하는 인공지능 학습데이터를 생성하는, 디지털트윈을 이용한 라벨링된 인공지능 학습데이터의 생성방법 및 시스템을 제공하는 것을 목적으로 한다.

상기와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에서는, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅시스템에서 수행되는 라벨링된 학습데이터를 생성하는 방법으로서, 상기 컴퓨팅시스템에 기저장된 해당 환경에 대한 3D모델링데이터를 포함하는 환경정보를 로드하여 디지털트윈의 환경을 구현하는 환경구현단계; 입력된 이동객체정보에 기초하여, 상기 컴퓨팅시스템에 기저장된 각각의 이동객체에 대한 3D모델링데이터를 사용하여 상기 디지털트윈 내부에서 이동 혹은 인터랙션하는 이동객체들을 구현하는 이동객체구현단계; 입력된 카메라의 설정정보에 기초하여, 상기 디지털트윈에서 구현되는 가상현실의 이미지를 캡쳐하는 이미지캡쳐단계; 상기 디지털트윈을 구현하는 동작정보에 기초하여, 상기 이미지에 대한 라벨링정보를 추출하는 라벨링추출단계; 및 상기 이미지와 상기 라벨링정보를 결합하여 학습데이터를 생성하는 학습데이터생성단계;를 포함하는, 라벨링된 학습데이터를 생성하는 방법을 제공한다.

본 발명의 일 실시예에서는, 상기 환경정보는 움직이지 않는 고정객체에 대한 3D모델링데이터 및 위치정보를 포함하고, 상기 움직이지 않는 고정객체에 대한 3D모델링데이터 및 위치정보는 실제 특정위치에서의 실제 정보에 기초하여 생성될 수 있다.

본 발명의 일 실시예에서는, 상기 환경정보는 날씨정보 및 시간정보를 포함하고, 상기 디지털트윈에서 구현된 환경은 날씨정보 및 시간정보에 따른 그래픽요소가 반영될 수 있다.

본 발명의 일 실시예에서는, 상기 이동객체정보는 상기 이동객체에 대한 종류 및 개수를 포함하고, 실제 환경에서 움직이는 객체의 종류에 기초하여 생성될 수 있다.

본 발명의 일 실시예에서는, 상기 라벨링된 학습데이터를 생성하는 방법은, 상기 이동객체구현단계에 의해 구현된, 상기 이동객체에 대한 이벤트정보를 수신하고, 상기 디지털트윈 내부에서 상기 이동객체들이 상기 이벤트정보에 상응하는 이벤트를 동작시키는 이벤트동작단계;를 더 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 이벤트정보는, 사용자에 의해 설정된 시나리오에 대응하는 적어도 하나의 제어 동작을 명령하는 정보를 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 동작정보는 상기 환경정보, 상기 이동객체정보, 및 상기 이벤트정보에 의해 디지털트윈을 구성하는 요소들이 동작하는 정보에 해당할 수 있다.

본 발명의 일 실시예에서는, 상기 카메라의 설정정보는, 실제 환경에서 설치된 카메라의 설치높이, 상기 카메라의 설치위치, 상기 카메라의 설치각도, 및 상기 카메라의 화각에 대한 설정 값을 포함할 수 있다.

본 발명의 일 실시예에서는, 상기 라벨링정보는, 실제 환경에서 측정될 수 있는 상기 이동객체에 대하여 실제 종류로 분류되는 정보에 해당하고, 상기 디지털트윈 내에서 움직이는 각각의 이동객체마다 해당 이동객체에 대하여 기록될 수 있다.

본 발명의 일 실시예에서는, 상기 학습데이터는, 상기 가상현실의 이미지 중에서 해당 이동객체에 대해 생성된 바운딩박스를 포함하는 이미지; 및 해당 이동객체에 대해 상기 디지털트윈에서 추출된 해당 라벨링정보;를 포함할 수 있다.

상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅시스템으로 구현되는 라벨링된 학습데이터를 생성하는 장치로서, 상기 장치는, 상기 컴퓨팅시스템에 기저장된 해당 환경에 대한 3D모델링데이터를 포함하는 환경정보를 로드하여 디지털트윈의 환경을 구현하는 환경구현부; 입력된 이동객체정보에 기초하여, 상기 컴퓨팅시스템에 기저장된 각각의 객체에 대한 3D모델링데이터를 사용하여 상기 디지털트윈 내부에서 이동 혹은 인터랙션하는 객체들을 구현하는 이동객체구현부; 입력된 카메라의 설정정보에 기초하여, 상기 디지털트윈에서 구현되는 가상현실의 이미지를 캡쳐하는 이미지캡쳐부; 상기 디지털트윈을 구현하는 동작정보에 기초하여, 상기 이미지에 대한 라벨링정보를 추출하는 라벨링추출부; 및 상기 이미지와 상기 라벨링정보를 결합하여 학습데이터를 생성하는 학습데이터생성부;를 포함하는, 라벨링된 학습데이터를 생성하는 장치를 제공한다.

본 발명의 일 실시예에서는, 디지털트윈을 통해 실제 환경에서 쉽게 찾을 수 없는 다양한 종류의 이동객체를 수의 제한 없이 가상현실 공간에 구현하여 이동객체를 인식할 수 있는 인공신경망 기반의 모델에 입력되는 학습데이터를 용이하게 생성하는 효과를 발휘할 수 있다.

본 발명의 일 실시예에서는, 사람이 이동객체에 대하여 하나씩 바운딩박스 및 라벨링정보를 생성하지 않고, 디지털트윈 내에서 촬영되는 이미지에서 인식되는 이동객체에 대한 라벨링이 자동적으로 추출되어 추가인력이 과도하게 투입되는 것을 방지하는 효과를 발휘할 수 있다.

본 발명의 일 실시예에서는, 실제 환경에 설치된 카메라와 동일한 시점으로 가상현실 공간을 촬영하는 것으로 상이한 카메라의 설정정보에 따라 발생하는 영상 내에서의 이동객체의 이미지에 대한 인식오류를 줄여 객체인식의 정확도를 높이는 효과를 발휘할 수 있다.

본 발명의 일 실시예에서는, 현실과 일치하는 조건의 환경이 구현된 디지털트윈을 구성 중인 배경 및 객체를 기반으로 학습데이터를 생성하기 때문에, 상기 학습데이터를 기반으로 학습된 인공신경망 기반의 모델은 라벨링이 필요한 이동객체에 대한 인식의 정확도를 높이는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 라벨링된 학습데이터를 생성하는 방법의 수행과정을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 라벨링된 학습데이터를 생성하는 방법을 수행하는 장치를 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 디지털트윈 내의 환경을 구현하는 과정을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 이동객체에 대한 라벨링정보를 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 이동객체에 대한 이벤트정보를 예시적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 카메라의 설정정보에 대한 구성요소 및 상기 카메라의 설정정보에 따라 다르게 보이는 객체를 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 디지털트윈을 구현하는 동작요소를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 복수의 이동객체에 대하여 각각 라벨링된 바운딩박스를 포함하는 이미지를 예시적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 컴퓨팅 장치의 내부 구성을 개략적으로 도시한다.

이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 일 실시예에 따른 라벨링된 학습데이터를 생성하는 방법의 수행과정을 개략적으로 도시한다.

도 1에 도시된 바와 같이, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅시스템(1000)에서 수행되는 라벨링된 학습데이터를 생성하는 방법으로서, 상기 컴퓨팅시스템(1000)에 기저장된 해당 환경에 대한 3D모델링데이터를 포함하는 환경정보를 로드하여 디지털트윈(100)의 환경을 구현하는 환경구현단계(S100); 입력된 이동객체정보에 기초하여, 상기 컴퓨팅시스템(1000)에 기저장된 각각의 이동객체에 대한 3D모델링데이터를 사용하여 상기 디지털트윈(100) 내부에서 이동 혹은 인터랙션하는 이동객체들을 구현하는 이동객체구현단계(S200); 입력된 카메라의 설정정보에 기초하여, 상기 디지털트윈(100)에서 구현되는 가상현실의 이미지를 캡쳐하는 이미지캡쳐단계(S400); 상기 디지털트윈(100)을 구현하는 동작정보에 기초하여, 상기 이미지에 대한 라벨링정보를 추출하는 라벨링추출단계(S500); 및 상기 이미지와 상기 라벨링정보를 결합하여 학습데이터를 생성하는 학습데이터생성단계(S600);를 포함한다.

또한, 입력된 상기 이동객체에 대한 이벤트정보를 수신하고, 상기 디지털트윈(100) 내부에서 상기 이동객체들이 상기 이벤트정보에 상응하는 이벤트를 동작시키는 이벤트동작단계(S300);를 더 포함한다.

구체적으로, 상기 환경구현단계(S100)는 환경구현부(1100)에 의해 수행되고, 현실에서 실제로 존재하는 환경에 대하여 3D로 모델링된 상기 3D모델링데이터를 포함하는 상기 환경정보를 상기 컴퓨팅시스템(1000)의 저장공간으로부터 로드하고, 상기 3D모델링데이터를 기반으로 상기 디지털트윈(100)의 환경을 구현한다. 상기 3D모델링데이터는 특정 작업자들에 의하여 현실에서 실제로 존재하는 환경에 대한 객체가 3D모델링된 데이터에 해당한다. 상기 환경정보는 상기 디지털트윈(100)의 배경을 구현하는 것을 목적으로 하는 정보에 해당하고, 움직이지 않는 고정객체, 날씨정보 및 시간정보를 포함한다. 본 발명의 일 실시예로서, 상기 디지털트윈(100)이 도로교통환경으로 구현되는 경우, 상기 고정객체는 도로, 건물 및 표지판 등을 포함할 수 있고, 상기 날씨정보는 눈이나 비가 오는 특정기상조건을 포함하고, 상기 디지털트윈(100)에 구현 중인 도로교통환경에 반영되어 해당 그래픽요소가 표시될 수 있고, 상기 시간정보는 일출이나 일몰 같은 특정시각을 포함하여, 상기 도로교통환경에 해당 그래픽요소가 반영될 수 있다. 또한, 상기 날씨정보 및 상기 시간정보는 상기 디지털트윈(100)의 사용자에 의해 다양하게 제어되어, 다양한 환경으로 구성되는 디지털트윈(100)이 구현될 수 있다.

상기 이동객체구현단계(S200)는 이동객체구현부(1200)에 의해 수행되고, 상기 환경구현단계(S100)를 통해 구현된 디지털트윈(100)의 환경에서 상기 사용자의 입력에 따라 해당 이동객체들을 구현한다. 이 경우에도, 기본적으로 상기 컴퓨팅시스템(1000) 내부에는 이동객체에 해당하는 3D모델링 파일 및 특성들이 저장되어 있다. 본 발명의 일 실시예로서 해당 디지털트윈(100)이 상이한 2 이상의 방향의 교통흐름을 보이는 차도; 및 사람을 포함하는 이동객체가 이동하는 인도;를 포함하는 도로교통환경으로 구현되는 경우, 상기 사용자는 상기 이동객체정보로써 제1방향의 교통량 및 차량종류(도 4 참조), 제2방향의 교통량 및 차량종류(도 4 참조) 및 보행자의 밀도 등을 상기 컴퓨팅시스템(1000)에 입력하면, 상기 이동객체구현단계(S200)에서는 해당 이동객체의 3D모델링 파일을 사용하여 해당 디지털트윈(100)에 이동하는 이동객체를 구현한다.

상기 이벤트동작단계(S300)는 이벤트동작부(1300)에 의해 수행되고, 상기 디지털트윈(100)에서 구현된 환경에서 상기 이동객체들로 하여금 어떤 동작을 수행시키는지에 대한 정보를 포함하는 상기 이벤트정보를 상기 컴퓨팅시스템(1000)으로부터 수신하고, 상기 이동객체들을 상기 이벤트정보에 상응하는 동작을 수행시킨다. 상기 이벤트정보에 의하여 상기 이동객체는 디지털트윈(100) 내에서 이동하거나 상호간의 인터랙션을 할 수도 있다. 또한, 상기 사용자에 의해 설정되는 상기 이벤트정보는 상기 이동객체의 종류에 따라 다른 동작을 포함할 수 있고, 상기 사용자의 설정에 따라 상기 이동객체에 대한 복수의 제어 동작이 순차적으로 이루어질 수 있다.

상기 이미지캡쳐단계(S400)는 이미지캡쳐부(1400)에 의해 수행되고, 상기 컴퓨팅시스템(1000)에 입력된 카메라의 설정정보에 기초하여 상기 디지털트윈(100) 내에서 해당 카메라의 설정정보에 상응하는 시점에서 바라보는 디지털트윈(100)의 이미지를 캡쳐한다. 상기 이미지에는 상기 디지털트윈(100)에서 구현중인 상기 고정객체 및 상기 이동객체가 포함될 수 있다. 상기 카메라의 설정정보는 현실에서 특정목적을 위해 설치된 카메라에 대한 정보로서, 카메라의 설치위치, 상기 카메라의 설치높이, 상기 카메라의 설치각도 및 상기 카메라의 화각을 포함한다. 현실과 동일한 환경으로 상기 디지털트윈(100)이 구현되고, 상기 디지털트윈(100)에서 움직이는 이동객체에 기반하여 학습데이터가 생성되는 것을 목적으로 하므로, 실제 환경과 상기 디지털트윈(100)에서의 해당 이동객체를 인식하는 상기 카메라의 설정정보가 일치해야 상기 학습데이터로 학습된 인공신경망 기반의 모델의 객체인식 성능이 높아지는 효과를 발휘할 수 있다. 그러므로 실제 환경에서 설치된 상기 카메라의 설정정보에 따른 시점과 상기 디지털트윈(100) 화면을 바라보는 시점을 동일하게 설정하여 상기 디지털트윈(100) 내의 가상현실 공간의 이미지를 캡쳐한다.

상기 라벨링추출단계(S500)는 라벨링추출부(1500)에 의해 수행되고, 상기 이미지에 포함된 상기 이동객체에 대한 라벨링정보를 추출한다. 상기 이동객체에 대한 라벨링정보는 상기 컴퓨팅시스템(1000)에 입력된 이동객체정보 및 상기 컴퓨팅시스템(1000)에 기저장된 각각의 이동객체에 대한 3D모델링데이터에 기반하여 자동적으로 추출된다. 이처럼 디지털트윈(100)을 이용하면 객체의 라벨링에 대한 종래기술에서 필요한 아웃소싱의 이용을 감소시켜, 시간 및 비용을 절감하는 효과를 발휘할 수 있다.

상기 학습데이터생성단계(S600)는 학습데이터생성부(1600)에 의해 수행되고, 상기 이미지캡쳐단계(S400)에서 캡쳐된 상기 디지털트윈(100)에서 구현 중인 가상현실의 이미지;와 상기 라벨링추출단계(S500)에서 추출된 상기 이미지에 대한 라벨링정보;를 결합한 상기 학습데이터를 생성한다.

상기 학습데이터는 인공신경망 기반의 모델에 입력되는 목적으로 생성되고, 상기 학습데이터를 기반으로 학습된 인공신경망 기반의 모델은 실제 환경에 활용되어, 해당 실제 환경에서 설치된 카메라를 통해 촬영된 영상에서 이동객체에 대하여 자동으로 라벨링하도록 한다.

한편, 디지털트윈(100)을 통해 라벨링된 학습데이터를 생성하는 방법에 대한 설명의 편의를 위하여 도 2 내지 도 8에서는 도로교통환경을 구현한 디지털트윈(100)에서의 이동객체에 해당하는 '차량' 및 '보행자' 등을 도시했지만, 본 발명에서의 라벨링되는 객체의 분류 항목은 교통관련분야에 한정되지 아니하고, 의료분야나 제조분야와 같이 라벨링이 필요한 모든 분야에서 쓰이는 복수의 분류 항목 가운데 어느 하나에 해당할 수 있다.

도 2는 본 발명의 일 실시예에 따른 라벨링된 학습데이터를 생성하는 방법을 수행하는 장치를 개략적으로 도시한다.

도 2에 도시된 바와 같이, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅시스템(1000)으로 구현되는 라벨링된 학습데이터를 생성하는 장치로서, 상기 장치는, 상기 컴퓨팅시스템(1000)에 기저장된 해당 환경에 대한 3D모델링데이터를 포함하는 환경정보를 로드하여 디지털트윈(100)의 환경을 구현하는 환경구현부(1100); 입력된 이동객체정보에 기초하여, 상기 컴퓨팅시스템(1000)에 기저장된 각각의 객체에 대한 3D모델링데이터를 사용하여 상기 디지털트윈(100) 내부에서 이동 혹은 인터랙션하는 객체들을 구현하는 이동객체구현부(1200); 입력된 상기 객체에 대한 이벤트정보를 수신하고, 상기 디지털트윈(100) 내부에서 상기 객체들이 상기 이벤트정보에 상응하는 이벤트를 동작시키는 이벤트동작부(1300); 입력된 카메라의 설정정보에 기초하여, 상기 디지털트윈(100)에서 구현되는 가상현실의 이미지를 캡쳐하는 이미지캡쳐부(1400); 상기 디지털트윈(100)을 구현하는 동작정보에 기초하여, 상기 이미지에 대한 라벨링정보를 추출하는 라벨링추출부(1500); 및 상기 이미지와 상기 라벨링정보를 결합하여 학습데이터를 생성하는 학습데이터생성부(1600);를 포함한다.

구체적으로, 상기 컴퓨팅시스템(1000)은 현실에서의 환경에 기반한 환경정보, 현실에 존재하는 이동객체에 대한 이동객체정보, 사용자 설정에 기반한 이벤트정보를 입력 받아 해당 정보들이 기저장된 장치이다. 바람직하게는, 상기 컴퓨팅시스템(1000)에는 현실에서의 환경 및 현실에 존재하는 이동객체에 대한 정보는 3D모델링데이터 형태로 존재한다. 예를 들어, 특정구역을 상기 디지털트윈(100)으로 구현하는 경우에, 상기 특정구역에 대해 촬영된 영상 및/또는 라이다(Light Detection And Ranging, LiDAR)데이터로부터 자동적으로 3D모델을 생성하거나, 혹은 상기 특정구역을 촬영한 영상에 기초하여 사람이 수동적으로 모델링데이터를 작업하여 생성할 수 있다. 다시 말해, 상기 컴퓨팅시스템(1000) 내부에는 특정 환경에 대한 3D모델링데이터 및 특정 이동객체에 대한 3D모델링데이터가 있고, 이를 통하여, 상기 환경구현부(1100)는 해당 구역을 상기 디지털트윈(100)에 3D로 구현하고, 상기 이동객체구현부(1200)는 해당 객체를 상기 디지털트윈(100)에 3D로 구현한다.

한편, 상기 디지털트윈(100)으로 구현 중인 가상현실 공간에 대응하는 현실 공간에서 일부 혹은 전체의 환경 및/또는 일부 혹은 전체의 이동객체가 변경되면, 상기 사용자가 입력하는 디지털트윈(100) 설정에 따라 상기 환경구현부(1100) 및/또는 상기 이동객체구현부(1200)는 이에 대응하여 상기 디지털트윈(100)의 구성요소들을 업데이트할 수 있다.

상기 이미지캡쳐부(1400)는 실제 환경에서의 카메라 시점과 동일한 시점으로 디지털트윈(100)의 이미지를 캡쳐하고, 상기 라벨링추출부(1500)는 캡쳐된 상기 이미지에 포함되어 있는 이동객체에 대해 라벨링정보를 추출한다. 상기 라벨링정보는 상기 컴퓨팅시스템(1000)에 입력되었던 상기 이동객체정보 및 상기 컴퓨팅시스템(1000)에 기저장된 각각의 이동객체에 대한 3D모델링데이터를 기반하여 자동적으로 추출된다. 이후 상기 학습데이터생성부(1600)는 상기 이미지캡쳐부(1400)가 생성한 이미지 및 상기 라벨링추출부(1500)가 생성한 라벨링정보를 기반으로 학습데이터를 생성한다. 한편, 상기 디지털트윈(100)을 구현하는 장치는 물리적으로 상기 컴퓨팅시스템(1000) 내부에 포함되거나, 상기 컴퓨팅시스템(1000) 외부에 따로 설치되어 무선 혹은 유선방식으로 상호간 통신하며 데이터를 송수신할 수 있다.

도 3은 본 발명의 일 실시예에 따른 디지털트윈(100) 내의 환경을 구현하는 과정을 개략적으로 도시한다.

도 3에 도시된 바와 같이, 상기 환경정보는 움직이지 않는 고정객체에 대한 3D모델링데이터 및 위치정보를 포함하고, 상기 움직이지 않는 고정객체에 대한 3D모델링데이터 및 위치정보는 실제 특정위치에서의 실제 정보에 기초하여 생성된다.

또한, 상기 환경정보는 날씨정보 및 시간정보를 포함하고, 상기 디지털트윈(100)에서 구현된 환경은 날씨정보 및 시간정보에 따른 그래픽요소가 반영된다.

구체적으로, 상기 환경정보는 움직이지 않는 고정객체에 대한 정보를 포함하고, 상기 디지털트윈(100) 내의 환경을 현실과 똑같은 조건의 환경으로 구현하기 위해 상기 컴퓨팅시스템(1000)에 입력된 정보에 해당한다. 본 발명의 일 실시예에서는, 상기 고정객체는 건물, 나무 및 신호등과 같이 이동이 불가한 객체를 포함한다. 현실과 똑같은 조건의 환경이 구현된 디지털트윈(100)에서 얻은 이미지를 기반으로 학습데이터를 생성함으로써, 현실에서 라벨링되는 객체를 더 정확히 인식할 수 있도록 하는 효과를 발휘할 수 있다.

또한, 상기 환경정보는 날씨정보 및 시간정보를 포함한다. 비가 오거나 눈이 내리는 등의 날씨의 변화 및 일출이나 일몰 등의 시간의 변화에 의해 디지털트윈(100) 내에 구현되는 이동객체의 외형이 다르게 보일 수 있다. 예를 들어, 상기 디지털트윈(100)의 상기 날씨정보가 눈이 오는 날씨에 해당할 때, 상기 컴퓨팅시스템(1000)에 기저장된 눈이 쌓인 이동객체에 대한 이미지를 로드하여 상기 디지털트윈(100)에 구현할 수 있다. 전술한 예시와 같이 다양한 외형의 객체의 이미지를 기반으로 학습데이터를 생성함으로써, 현실에서 라벨링이 필요한 객체를 더 정확히 인식할 수 있도록 하는 효과를 발휘할 수 있다.

도 4는 본 발명의 일 실시예에 따른 이동객체에 대한 라벨링정보를 개략적으로 도시한다.

도 4에 도시된 바와 같이, 상기 이동객체정보는 상기 이동객체에 대한 종류 및 개수를 포함하고, 실제 환경에서 움직이는 객체의 종류에 기초하여 생성된다. 또한, 상기 라벨링정보는, 실제 환경에서 측정될 수 있는 상기 이동객체에 대하여 실제 종류로 분류되는 정보에 해당하고, 상기 디지털트윈(100) 내에서 움직이는 각각의 이동객체마다 해당 이동객체에 대하여 기록된다.

구체적으로, 상기 이동객체는 실제 환경에서 움직이는 이동객체의 종류에 기초하여 라벨링된다. 상기 이동객체는 사람, 동물 및 차량 등 실제 환경에서 이동할 수 있는 모든 객체를 포함할 수 있다. 도 4는 본 발명의 일 실시예로서 도로교통환경에서 볼 수 있는 차량의 종류에 따라 라벨링되는 이동객체를 도시한다. 상기 디지털트윈(100)으로 구현 중인 도로교통환경의 특정 구역에 카메라가 상기 카메라의 설정정보에 상응하여 설치되었을 때, 복수의 차량들은 도로 위에서 이동하면서 상기 카메라에 의해 인식된다. 상기 카메라로 촬영된 이미지에는 복수의 차량들이 포함되어 있고, 해당 복수의 차량들은 상기 디지털트윈(100)에 구현될 때부터 차종별로 라벨링 된 상태이다. 그러므로 상기 이미지와 해당 차량의 라벨링정보를 결합시킨 상기 학습데이터만으로 상기 인공신경망 기반의 모델이 학습될 수 있다.

일반적으로, 도로를 촬영한 영상에서 차량을 검지하고 차종을 분류하는 인공지능 기반의 객체인식기술에 대해서는, 상기 인공신경망 기반의 차량인식모델은 차종별로 대략 1,500여개씩 균등하게 분류되는 라벨링정보를 기반으로 학습할 때 차량에 대한 인식 및 라벨링 성능이 높아진다. 그러나 실제 도로교통환경에서는 차량들이 차종별로 1,500여개씩 균등하게 존재하지 않기 때문에, 상기 실제 도로교통환경에서 카메라로 촬영한 영상에 기반하여 생성되는 학습데이터로는 상기 인공신경망 기반의 차량인식모델을 학습시키기에는 부적절하다. 본 발명은 이러한 문제점을 해결하기 위해 디지털트윈(100)이라는 현실 기반의 가상현실을 이용하는 것을 기술적 특징으로 한다.

본 발명의 일 실시예로서, 상기 디지털트윈(100)이 도로교통환경으로 구현 중일 때, 상기 디지털트윈(100)에서의 도로교통환경에서는 경차 1,500대, 소형차 1,500대, 중형차 1,500대 및 대형차 1,500대를 도로에 배치하고, 상기 이벤트동작단계(S300)를 통해 도로에 배치된 차량을 이동시키면 현실 기반의 도로에서 이상적인 학습데이터를 생성할 수 있는 환경을 디지털트윈(100)을 통해 구현할 수 있다. 상기 이상적인 학습데이터는 상기 인공신경망 기반의 모델에 입력되고, 학습된 인공신경망 기반의 모델은 현실의 도로에 설치된 카메라를 통해 촬영된 영상을 기반으로 도로 위를 지나다니는 차량들을 종류별로 자동적 라벨링을 할 수 있게 된다.

도 5는 본 발명의 일 실시예에 따른 이동객체에 대한 이벤트정보를 예시적으로 도시한다.

도 5에 도시된 바와 같이, 상기 이벤트정보는, 사용자에 의해 설정된 시나리오에 대응하는 적어도 하나의 제어 동작을 명령하는 정보를 포함한다.

구체적으로, 상기 이벤트정보는 디지털트윈(100)을 이용하는 사용자에 의해 설정된 시나리오에 대응하는 정보에 해당하고, 상기 디지털트윈(100) 내에서 구현되는 환경에 따라 달라질 수 있다. 본 발명의 일 실시예로서, 상기 디지털트윈(100)이 도로교통환경으로 구현 중일 때, 차량에 해당하는 이동객체는 상기 사용자가 설정한 상기 이벤트정보에 포함되는 차량신호에 대응하여 동작이 제어될 수 있고, 보행자에 해당하는 이동객체는 상기 사용자가 설정한 상기 이벤트정보에 포함되는 횡단보도의 신호에 대응하여 동작이 제어될 수 있다. 본 발명에서 이용되는 상기 디지털트윈(100)은 실제 환경에 기초하여 구현되므로 상기 이벤트정보 또한, 실제 환경에서 발생할 수 있는 시나리오에 기초하여 상기 컴퓨팅시스템(1000)에 입력되어야 한다.

도 6은 본 발명의 일 실시예에 따른 카메라의 설정정보에 대한 구성요소 및 상기 카메라의 설정정보에 따라 다르게 보이는 객체를 개략적으로 도시한다.

도 6에 도시된 바와 같이, 상기 카메라의 설정정보는, 실제 환경에서 설치된 카메라의 설치높이, 상기 카메라의 설치위치, 상기 카메라의 설치각도, 및 상기 카메라의 화각에 대한 설정 값을 포함한다.

구체적으로, 도 6의 (a)는 카메라의 설정정보에 대한 구성요소를 개략적으로 도시한다. 현재 다양한 분야에서 특정의 목적을 가지고 설치된 상기 카메라의 설정정보는 상기 카메라의 설치위치(x, y), 상기 카메라의 설치높이(h), 상기 카메라의 설치각도(θ₁) 및 상기 카메라의 화각(θ₂)에 대한 설정 값을 포함한다. 각 분야 또는 목적에 따라 상기 카메라의 설정정보는 변할 수 있고, 상기 디지털트윈(100)에서는 해당 카메라의 설정정보에 기반하여 현실에서 해당 카메라의 촬영시점과 동일한 시점으로 상기 디지털트윈(100)을 구성하는 배경 및 객체를 바라보게 설정한다.

도 6의 (b)는 상기 카메라의 설정정보에 따라 달라지는 상기 디지털트윈(100)에서의 영상 내에 있는 이동객체의 이미지를 개략적으로 도시한다. 상기 카메라의 설치높이가 낮다면 촬영된 영상의 시야가 낮아지므로 상기 이동객체의 옆면이 넓게 인식되고, 상기 카메라의 설치높이가 높다면 촬영된 영상의 시야가 높아지므로 상기 이동객체의 윗면이 넓게 인식된다. 이런 경우 상기 인공신경망 기반의 모델이 특정 종류로 라벨링된 이동객체를 인식할 때 해당 이동객체의 라벨링정보와는 다른 라벨링정보를 추출하는 문제점이 발생할 수 있기 때문에, 상기 사용자는 상기 디지털트윈(100)에서 캡쳐되는 이미지의 시점을 현실에서 실제로 촬영하는 실제 카메라의 설정정보와 일치하도록 설정한다. 상기 실제 카메라의 설정정보에 따른 상기 디지털트윈(100)의 촬영시점을 기반으로 이미지가 촬영되어 상기 학습데이터가 생성되기 때문에, 현실에서 인식된 이동객체에 대해서 정확한 라벨링정보를 추출하는 효과를 발휘할 수 있다.

한편, 실제 환경을 구성하는 복수의 객체들은 해당 환경에 설치된 카메라의 촬영을 방해하는 요소가 될 수 있다. 도로교통환경을 예로 들면, 상기 해당 환경에 설치된 카메라가 차도나 인도에 심어진 가로수로 인해 해당 카메라의 렌즈를 가려 차량을 인식하지 못하거나, 늦은 시간대에 가로등에 인해 발생하는 그림자로 인해 차량을 정확히 인식하지 못할 수 있다. 상기 디지털트윈(100) 역시 실제 환경을 그대로 구현되고 있기 때문에, 상기 카메라의 설정정보에 따라 설정된 상기 디지털트윈(100)의 시점에서 캡쳐되는 이미지에서도 전술한 문제점들이 발생할 수 있다. 이러한 문제점들을 고려하여 본 발명의 다른 실시예에서는, 상기 디지털트윈(100)에서 같은 시간대에 복수의 객체를 방해요소 없이 인식할 수 있는 시점을 찾을 수 있고, 상기 디지털트윈(100)에서 찾은 해당 시점을 기반으로 실제 환경에서 설치되는 카메라에 대한 최적의 설정정보를 도출하는 효과를 발휘할 수 있다.

도 7은 본 발명의 일 실시예에 따른 디지털트윈을 구현하는 동작요소를 개략적으로 도시한다.

도 7에 도시된 바와 같이, 상기 동작정보는 상기 환경정보, 상기 이동객체정보, 및 상기 이벤트정보에 의해 디지털트윈(100)을 구성하는 요소들이 동작하는 정보에 해당한다.

구체적으로, 상기 디지털트윈(100)은 상기 환경정보에 의해 가상현실 환경이 구현되고, 상기 이동객체정보에 의해 상기 가상현실 환경에 이동객체가 배치되고, 상기 이벤트정보에 의해 상기 디지털트윈(100)의 시나리오가 진행된다. 상기 환경정보는 상기 날씨정보 및 상기 시간정보를 포함하고, 상기 날씨정보 및 상기 시간정보는 객체의 움직임 및 카메라의 객체인식에 영향을 줄 수 있는 기상조건 및 특정시각을 포함한다. 상기 디지털트윈(100)에서 구현 중인 이동객체는 상기 이벤트정보에 따라 움직이고 인터랙션하면서 상기 디지털트윈(100) 내에서 상기 입력된 카메라 설정정보에 기반한 시점에서 인식된다. 좋은 성능의 학습데이터가 생성되기 위해서는 상기 이동객체의 모든 종류가 균등하게 인식되어야 하고, 상기 사용자는 이를 고려하여 상기 디지털트윈(100)을 구현하는 것이 바람직하다. 더 바람직하게는, 상기 이동객체의 인식률을 높이기 위해 상기 사용자는 상기 이동객체의 종류마다 1,500여개의 수가 인식되도록 상기 이동객체정보 및 상기 이벤트정보를 설정하여 상기 컴퓨팅시스템(1000)에 입력한다.

즉, 상기 환경정보, 상기 이동객체정보 및 상기 이벤트정보는 사용자에 의해 제어되어 사용자가 필요한 객체종류를 원하는 수만큼 디지털트윈(100)에 구현될 수 있다. 이처럼 의료분야에서 질병의 식별, 제조분야에서 산업용제품의 검사 및 교통분야에서 돌발차량의 검지 등과 같이 인공지능 학습이 필요한 분야에서 다양한 객체의 종류를 포함하는 수많은 데이터가 필요할 때 상기 디지털트윈(100)을 통해 손쉽게 해결하는 효과를 발휘할 수 있다.

도 8은 본 발명의 일 실시예에 따른 복수의 이동객체에 대하여 각각 라벨링된 바운딩박스를 포함하는 이미지를 예시적으로 도시한다.

도 8에 도시된 바와 같이, 상기 학습데이터는, 상기 가상현실의 이미지 중에서 해당 이동객체에 대해 생성된 바운딩박스를 포함하는 이미지; 및 해당 이동객체에 대해 상기 디지털트윈(100)에서 추출된 해당 라벨링정보;를 포함한다.

구체적으로, 상기 디지털트윈(100) 내에서 구현되는 가상현실의 이미지에는 상기 디지털트윈(100) 내에서 움직이는 1 이상의 상기 이동객체의 이미지가 포함된다. 도 8은 본 발명의 일 실시예로서, 사람, 자전거, 경차 및 중형차에 해당하는 이동객체들에 대응하는 객체의 종류가 라벨링된 것을 도시한다.

촬영된 영상에서 인식된 객체에 대한 라벨링을 하는 작업은 정밀한 작업이 요구된다. 종래의 라벨링기술은 작업자들이 객체에 대해 수작업으로 객체의 가장자리에 바운딩박스를 생성하고 라벨링을 하는 것으로 그친다. 일반적으로, 라벨링기술은 방대한 자료가 요구되기 때문에, 많은 수의 작업자들을 통해 라벨링정보를 생성한다. 이는 비용과 시간이 많이 소모될 뿐만 아니라, 임의의 객체에 대한 동일한 이미지에서도, 각각의 작업자마다 해당 객체에 대한 바운딩박스의 좌표 및 크기를 다르게 생성하는 문제점이 발생한다. 이러한 문제점은 요구되는 라벨링작업의 수가 많아질수록 더욱 많이 발생하게 되므로, 인공신경망 기반의 객체인식모델의 학습효율 및 성능이 떨어져 객체에 대한 라벨링정보의 신뢰성이 낮아진다. 그러나 상기 디지털트윈(100)을 이용하면 해당 객체에 대하여 상기 컴퓨팅시스템(1000)이 해당 객체에 대한 학습데이터를 자동적으로 생성하기 때문에 상기 인공신경망 기반의 객체인식모델의 학습효율 및 성능이 올라가는 효과를 기대할 수 있다.

도 9는 본 발명의 일 실시예에 따른 컴퓨팅장치(11000)의 내부 구성을 예시적으로 도시한다.

도 1에 대한 설명에서 언급된 컴퓨팅시스템(1000)은 후술하는 도 9에 도시된 컴퓨팅장치(11000)의 구성요소를 포함할 수 있다.

도 9에 도시한 바와 같이, 컴퓨팅장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다.

구체적으로, 상기 메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 상기 메모리(11200)는 상기 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.

이때, 상기 프로세서(11100)나 상기 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 상기 메모리(11200)에 액세스하는 것은 상기 프로세서(11100)에 의해 제어될 수 있다. 상기 프로세서(11100)은 단일 혹은 복수로 구성될 수 있고, 연산처리속도 향상을 위하여 GPU 및 TPU 형태의 프로세서를 포함할 수 있다.

상기 주변장치 인터페이스(11300)는 상기 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 상기 프로세서(11100) 및 상기 메모리 (11200)에 결합시킬 수 있다. 상기 프로세서(11100)는 상기 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 상기 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

상기 입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 상기 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 상기 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 상기 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 상기 입/출력 주변장치들은 상기 입/출력 서브시스템(11400)을 거치지 않고 상기 주변장치 인터페이스(11300)에 결합될 수도 있다.

상기 전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 상기 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

상기 통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다. 또는, 상술한 바와 같이 필요에 따라 상기 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.

이러한 도 9의 실시예는, 상기 컴퓨팅장치(11000)의 일례일 뿐이고, 상기 컴퓨팅장치(11000)는 도 9에 도시된 일부 컴포넌트가 생략되거나, 도 9에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2 개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 9에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 상기 통신 회로(1160)에 다양한 통신방식(Wi-Fi, 3G, LTE, 5G, 6G, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 상기 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 표준편차되어서, 표준편차된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명의 일 실시예에서는, 디지털트윈을 통해 실제 환경에서 쉽게 찾을 수 없는 다양한 종류의 이동객체를 수의 제한 없이 가상현실 공간에 구현하여 이동객체를 인식할 수 있는 인공신경망 기반의 모델에 입력되는 학습데이터를 용이하게 생성하는 효과를 발휘할 수 있다.

본 발명의 일 실시예에서는, 사람이 이동객체에 대하여 하나씩 바운딩박스 및 라벨링정보를 생성하지 않고, 디지털트윈 내에서 촬영되는 이미지에서 인식되는 이동객체에 대한 라벨링이 자동적으로 추출되어 추가인력이 과도하게 투입되는 것을 방지하는 효과를 발휘할 수 있다.

본 발명의 일 실시예에서는, 실제 환경에 설치된 카메라와 동일한 시점으로 가상현실 공간을 촬영하는 것으로 상이한 카메라의 설정정보에 따라 발생하는 영상 내에서의 이동객체의 이미지에 대한 인식오류를 줄여 객체인식의 정확도를 높이는 효과를 발휘할 수 있다.

본 발명의 일 실시예에서는, 현실과 일치하는 조건의 환경이 구현된 디지털트윈을 구성 중인 배경 및 객체를 기반으로 학습데이터를 생성하기 때문에, 상기 학습데이터를 기반으로 학습된 인공신경망 기반의 모델은 라벨링이 필요한 이동객체에 대한 인식의 정확도를 높이는 효과를 발휘할 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (11)

1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅시스템에서 수행되는 라벨링된 학습데이터를 생성하는 방법으로서,
상기 컴퓨팅시스템에 기저장된 해당 환경에 대한 3D모델링데이터를 포함하는 환경정보를 로드하여 디지털트윈의 환경을 구현하는 환경구현단계;
입력된 이동객체정보에 기초하여, 상기 컴퓨팅시스템에 기저장된 각각의 이동객체에 대한 3D모델링데이터를 사용하여 상기 디지털트윈 내부에서 이동 혹은 인터랙션하는 이동객체들을 구현하는 이동객체구현단계;
입력된 카메라의 설정정보에 기초하여, 상기 디지털트윈에서 구현되는 가상현실의 이미지를 캡쳐하는 이미지캡쳐단계;
상기 디지털트윈을 구현하는 동작정보에 기초하여, 상기 이미지에 대한 라벨링정보를 추출하는 라벨링추출단계; 및
상기 이미지와 상기 라벨링정보를 결합하여 학습데이터를 생성하는 학습데이터생성단계;를 포함하고,
상기 환경정보는 날씨정보 및 시간정보를 포함하고,
상기 디지털트윈에서 구현된 환경은 날씨정보 및 시간정보에 따른 그래픽요소가 반영되고,
상기 이미지캡쳐단계에 의해 캡쳐되는 가상현실의 이미지에 포함되는 이동객체의 외형은 상기 날씨정보 및 시간정보에 따른 그래픽요소에 따라 상이하게 도출되고,
상기 카메라의 설정정보는,
실제 환경에서 설치된 카메라의 설치높이, 상기 카메라의 설치위치, 상기 카메라의 설치각도, 및 상기 카메라의 화각에 대한 설정 값을 포함하거나,
디지털트윈에서 복수의 객체를 방해요소 없이 인식할 수 있는 시점에 대한 카메라의 설치높이, 카메라의 설치각도, 및 카메라의 화각에 대한 설정 값을 포함하는, 라벨링된 학습데이터를 생성하는 방법.

청구항 1에 있어서,
상기 환경정보는 움직이지 않는 고정객체에 대한 3D모델링데이터 및 위치정보를 포함하고,
상기 움직이지 않는 고정객체에 대한 3D모델링데이터 및 위치정보는 실제 특정위치에서의 실제 정보에 기초하여 생성된, 라벨링된 학습데이터를 생성하는 방법.

삭제

청구항 1에 있어서,
상기 이동객체정보는 상기 이동객체에 대한 종류 및 개수를 포함하고,
실제 환경에서 움직이는 객체의 종류에 기초하여 생성되는, 라벨링된 학습데이터를 생성하는 방법.

청구항 1에 있어서,
상기 라벨링된 학습데이터를 생성하는 방법은,
상기 이동객체구현단계에 의해 구현된, 상기 이동객체에 대한 이벤트정보를 수신하고, 상기 디지털트윈 내부에서 상기 이동객체들이 상기 이벤트정보에 상응하는 이벤트를 동작시키는 이벤트동작단계;를 더 포함하는, 라벨링된 학습데이터를 생성하는 방법.

청구항 5에 있어서,
상기 이벤트정보는,
사용자에 의해 설정된 시나리오에 대응하는 적어도 하나의 제어 동작을 명령하는 정보를 포함하는, 라벨링된 학습데이터를 생성하는 방법.

청구항 5에 있어서,
상기 동작정보는 상기 환경정보, 상기 이동객체정보, 및 상기 이벤트정보에 의해 디지털트윈을 구성하는 요소들이 동작하는 정보에 해당하는, 라벨링된 학습데이터를 생성하는 방법.

삭제

청구항 1에 있어서,
상기 라벨링정보는,
실제 환경에서 측정될 수 있는 상기 이동객체에 대하여 실제 종류로 분류되는 정보에 해당하고,
상기 디지털트윈 내에서 움직이는 각각의 이동객체마다 해당 이동객체에 대하여 기록되는, 라벨링된 학습데이터를 생성하는 방법.

청구항 1에 있어서,
상기 학습데이터는,
상기 가상현실의 이미지 중에서 해당 이동객체에 대해 생성된 바운딩박스를 포함하는 이미지; 및 해당 이동객체에 대해 상기 디지털트윈에서 추출된 해당 라벨링정보;를 포함하는, 라벨링된 학습데이터를 생성하는 방법.

1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅시스템으로 구현되는 라벨링된 학습데이터를 생성하는 장치로서,
상기 장치는,
상기 컴퓨팅시스템에 기저장된 해당 환경에 대한 3D모델링데이터를 포함하는 환경정보를 로드하여 디지털트윈의 환경을 구현하는 환경구현부;
입력된 이동객체정보에 기초하여, 상기 컴퓨팅시스템에 기저장된 각각의 객체에 대한 3D모델링데이터를 사용하여 상기 디지털트윈 내부에서 이동 혹은 인터랙션하는 객체들을 구현하는 이동객체구현부;
입력된 카메라의 설정정보에 기초하여, 상기 디지털트윈에서 구현되는 가상현실의 이미지를 캡쳐하는 이미지캡쳐부;
상기 디지털트윈을 구현하는 동작정보에 기초하여, 상기 이미지에 대한 라벨링정보를 추출하는 라벨링추출부; 및
상기 이미지와 상기 라벨링정보를 결합하여 학습데이터를 생성하는 학습데이터생성부;를 포함하고,
상기 환경정보는 날씨정보 및 시간정보를 포함하고,
상기 디지털트윈에서 구현된 환경은 날씨정보 및 시간정보에 따른 그래픽요소가 반영되고,
상기 이미지캡쳐부에 의해 캡쳐되는 가상현실의 이미지에 포함되는 이동객체의 외형은 상기 날씨정보 및 시간정보에 따른 그래픽요소에 따라 상이하게 도출되고,
상기 카메라의 설정정보는,
실제 환경에서 설치된 카메라의 설치높이, 상기 카메라의 설치위치, 상기 카메라의 설치각도, 및 상기 카메라의 화각에 대한 설정 값을 포함하거나,
디지털트윈에서 복수의 객체를 방해요소 없이 인식할 수 있는 시점에 대한 카메라의 설치높이, 카메라의 설치각도, 및 카메라의 화각에 대한 설정 값을 포함하는, 라벨링된 학습데이터를 생성하는 장치.

Images