KR20180122247A - 이종 센서들로부터 추출된 스켈레톤 정보를 이용하여 기계학습 데이터 및 주석을 생성하는 장치 및 그 방법 - Google Patents

Abstract

본 발명의 일 실시예는, 이종의 모션 캡쳐 센서들로부터 적어도 하나 이상의 원시 데이터를 수집하는 원시 데이터 수집부; 각각의 상기 원시 데이터에 상응하는 주석을 생성하는 주석 데이터 생성부; 및 각각의 상기 원시 데이터에 대해서 상응하는 상기 주석을 추가하여 기계학습 데이터셋들을 생성하는 기계학습 데이터 생성부를 포함하는, 기계학습 데이터 및 주석을 생성하는 장치를 제공한다.

Description

이종 센서들로부터 추출된 스켈레톤 정보를 이용하여 기계학습 데이터 및 주석을 생성하는 장치 및 그 방법 {APPARATUS FOR GENERATING MACHINE LEARNING DATA AND ANNOTATION USING SKELETON INFORMATION EXTRACTED FROM HETEROGENEOUS SENSORS AND METHOD FOR THE SAME}

본 발명은 이종의 모션 캡쳐 센서들이 설치된 환경에서 추출된 사람의 신체 스켈레톤 정보를 이용하여 동작 인식을 수행하기 위한 기계학습 데이터 및 주석을 생성하는 장치 및 그 방법에 관한 것이다.

가상 현실 기술이 미래 IT 기술로 주목 받게 되면서 의료, 게임, 군사, 공공, 스포츠 등의 산업 분야에 다양하게 응용되고 있다. 가상 현실 응용에서는 사용자의 자세나 움직임의 변화로부터 의미를 부여할 수 있는 동작을 인식하고, 이를 가상 현실에 반영하여 현실 세계와 가상 현실 사이의 상호작용을 지원하는 것이 중요하다. 기존의 연구들은 주로 사람의 몸에 특정한 동작 패턴을 감지하기 위한 센서를 부착하여 사용자의 동작을 인식하였는데, 이 방법은 센서로 추정할 수 있는 동작의 범위에 한계가 있고, 몸에 부착된 센서의 부자연스러움으로 인해 현실감을 저하시키는 단점이 있다.

최근에는 모션 캡쳐 센서를 이용하여 사용자의 동작을 인식하는 사례가 늘고 있다. 예를 들어 Microsoft사의 Kinect는 RGB 영상과 깊이 정보를 이용하여 사람의 동작에 대한 스켈레톤 정보를 실시간으로 제공한다. Xsens사의 MVN은 별도의 카메라 없이 MEMS IMU 센서 기반의 모션 캡쳐 전용 슈트와 데이터 처리 컴퓨터만으로 간단하게 장비를 구성하여 사람의 신체 스켈레톤 정보를 추출한다. Naturalpoint사의 Optitrack은 광학식 모션 캡쳐 카메라로 사람이나 객체에 부착된 마커를 인식하여 스켈레톤과 강체를 실시간으로 추적하는 시스템을 제공한다.

모션 캡쳐 센서 기반의 동작 인식은 주로 스켈레톤 데이터로부터 사용자의 동작을 구분할 수 있는 특징을 추출하여 기계학습 모델을 학습시키고, 사용자의 스켈레톤 데이터를 구축된 기계학습 모델에 적용함으로써 동작 인식을 수행한다. 기계학습 모델을 구축하기 위해서는 인식하고자 하는 동작 패턴을 포함하는 스켈레톤 데이터와 이를 사전에 정의된 동작에 따라 라벨링하는 학습 데이터셋의 구축 과정이 필요하다. 대부분의 모션 캡쳐 센서들은 인체의 관절 구조를 기반으로 스켈레톤을 정의하고 있는데, 개발사마다 관절의 정의는 유사하지만 조금씩 다른 형태로 구조화되어 스켈레톤을 생성한다. 이로 인해 이종의 모션 캡쳐 센서를 이용하여 학습 데이터셋을 구축하는 경우에는 서로 다른 스켈레톤 구조로 인해 동일한 특징 추출 알고리즘을 적용하기가 어렵고, 각각의 스켈레톤 데이터로부터 별도의 라벨링 과정을 수행해야 하므로 작업 효율이 떨어지는 문제가 있다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

국내 등록특허공보 제10-1398700호

본 발명의 목적은 이종의 모션 캡쳐 센서들로부터 추출된 스켈레톤 데이터에 동일하게 적용할 수 있는 주석과 기계학습 데이터셋을 구축하여, 수집된 모든 스켈레톤 데이터를 센서의 종류에 관계 없이 기계학습에 사용될 수 있도록 하는 기계학습 데이터 및 주석을 생성하는 장치 및 그 방법을 제공하는 것이다.

본 발명의 일 실시예는, 이종의 모션 캡쳐 센서들로부터 적어도 하나 이상의 원시 데이터를 수집하는 원시 데이터 수집부; 각각의 상기 원시 데이터에 상응하는 주석을 생성하는 주석 데이터 생성부; 및 각각의 상기 원시 데이터에 대해서 상응하는 상기 주석을 추가하여 기계학습 데이터셋들을 생성하는 기계학습 데이터 생성부를 포함하는, 기계학습 데이터 및 주석을 생성하는 장치를 제공한다.

본 발명에 따르면, 이종 센서들로부터 추출된 스켈레톤 정보를 이용하여 기계학습 데이터 및 주석을 생성하는 장치 및 그 방법에 의해, 이종의 모션 캡쳐 센서들로부터 추출된 스켈레톤 데이터에 동일하게 적용할 수 있는 주석과 기계학습 데이터셋을 구축하여, 수집된 모든 스켈레톤 데이터를 센서의 종류에 관계 없이 기계학습에 사용될 수 있도록 함으로써, 여러 종류의 모션 캡쳐 플랫폼에서 추출된 데이터를 통합하여 비용을 절감하고 효율을 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 기계학습 데이터 및 주석을 생성하는 시스템을 나타낸 도면이다.
도 2는 도 1에 도시된 기계학습 데이터 및 주석을 생성하는 장치의 일 예를 나타낸 블록도이다.
도 3은 도 2에 도시된 데이터베이스에 저장된 데이터의 구조를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 기계학습 데이터 및 주석을 생성하는 방법을 나타낸 동작 흐름도이다.
도 5는 도 4에 도시된 원시 데이터를 수집하는 단계의 일 예를 나타낸 동작 흐름도이다.
도 6은 도 4에 도시된 주석 데이터를 생성하는 단계의 일 예를 나타낸 동작 흐름도이다.
도 7은 도 4에 도시된 기계학습 데이터셋을 생성하는 단계의 일 예를 나타낸 동작 흐름도이다.
도 8은 본 발명의 일 실시예에서 원시 데이터 수집을 위한 인터페이스의 일 예를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에서 주석 생성을 위한 인터페이스의 일 예를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에서 기계학습 데이터셋 생성을 위한 인터페이스의 일 예를 나타낸 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성되어 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 기계학습 데이터 및 주석을 생성하는 시스템(1)을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 기계학습 데이터 및 주석을 생성하는 시스템(1)에서 기계학습 데이터 및 주석을 생성하는 장치(100)는 모션 캡쳐 센서들(210_1 내지 210_n) 및 동작 인식 장치(220)와 상호 연결된다.

본 발명의 일 실시예에 따른 기계학습 데이터 및 주석을 생성하는 장치(100)는 이종의 모션 캡쳐 센서들(210_1 내지 210_n)에서 측정되어 생성된 신체 스켈레톤 데이터를 동시에 수신하여 원시 데이터 DB를 구축하고, 원시 데이터로부터 동시간대에 수집된 모든 스켈레톤 데이터에 적용할 수 있는 주석을 생성하여 주석 DB를 구축하고, 구축된 주석 DB와 원시 데이터를 결합하여 기계학습 데이터 파일을 생성한다. 여기서, 생성된 기계학습 데이터는 동작 인식 장치(220)에서 기계학습 모델을 구축하는데 사용될 수 있다.

모션 캡쳐 센서들(210_1 내지 210_n)은 사용자의 동작을 인식하기 위한 센서 및 카메라 등을 포함하는 입력 장치들을 의미한다.

예컨대, 모션 캡쳐 센서들(210_1 내지 210_n)은 RGBD 카메라를 이용한 깊이 영상 센서, 센서가 부착된 슈트를 이용한 IMU 모션 센서, 마커를 인식하는 카메라를 이용한 광학식 모션 캡쳐 센서 등을 포함할 수 있다.

동작 인식 장치(220)는 스켈레톤 데이터에서 사용자의 동작을 구분하는 특징을 이용하여 기계학습 모델을 학습시키고, 기계학습 모델을 이용하여 모션 캡쳐 센서들(210_1 내지 210_n)에서 추출된 스켈레톤 데이터에 상응하는 동작을 인식한다.

도 2는 도 1에 도시된 기계학습 데이터 및 주석을 생성하는 장치(100)의 일 예를 나타낸 블록도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 기계학습 데이터 및 주석을 생성하는 장치(100)는 제어부(110), 통신부(120), 메모리(130), 사용자 정보 관리부(140), 원시 데이터 수집부(150), 주석 데이터 생성부(160), 기계학습 데이터 생성부(170) 및 데이터베이스(180) 등을 포함한다.

상세히, 제어부(110)는 일종의 중앙처리장치로서 기계학습 데이터 및 주석을 생성하는 전체 과정을 제어한다. 즉, 제어부(110)는 사용자 정보 관리부(140), 원시 데이터 수집부(150), 주석 데이터 생성부(160) 및 기계학습 데이터 생성부(170) 등을 제어하여 제어하여 다양한 기능을 제공할 수 있다.

여기서, 제어부(110)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

통신부(120)는 기계학습 데이터 및 주석을 생성하는 장치(100)와 모션 캡쳐 센서들(도 1의 210_1 내지 210_n 참조) 및 동작 인식 장치(도 1의 220 참조) 간의 송수신 신호를 전송하는데 필요한 통신 인터페이스를 제공한다.

여기서, 통신부(120)는 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.

메모리(130)는 제어부(110)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(130)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

사용자 정보 관리부(140)는 사용자의 신체 정보나 동작 숙련도와 같이 향후 학습 데이터셋 후보 데이터를 추출하는데 필요한 사용자 정보를 관리한다. 그리고, 데이터베이스(180)에 신규 사용자를 등록하거나 데이터베이스(180)에 저장된 기존의 사용자 정보를 수정할 수 있다.

원시 데이터 수집부(150)는 모션 캡쳐 센서들(도 1의 210_1 내지 210_n 참조)로부터 스켈레톤 데이터에 해당하는 원시 데이터를 수집한다. 그리고 수집한 원시 데이터를 저장 포맷에 일치하도록 변환하여 데이터베이스(180)에 저장한다.

또한, 원시 데이터 수집부(150)는 데이터베이스(180)에 저장된 원시 데이터를 조회하거나 수정 혹은 삭제할 수 있다.

주석 데이터 생성부(160)는 사전에 주어진 혹은 입력 받은 조건에 따라 주석 생성 범위를 지정하는 질의를 생성하고, 데이터베이스(180)로부터 주석 생성용 원시 데이터를 추출한다. 그리고, 추출된 원시 데이터를 대상으로 유효 동작 구간을 입력 받아 지정하여 주석 데이터를 생성하고, 생성된 주석 데이터를 데이터베이스(180)에 저장한다.

또한, 주석 데이터 생성부(160)는 데이터베이스(180)에 저장된 주석 데이터를 수정하거나 삭제할 수 있다.

기계학습 데이터 생성부(170)는 사전에 주어진 혹은 입력 받은 기계학습 데이터셋 생성 범위 조건에 따라 주석 데이터와 원시 데이터를 검색하는 질의를 생성하고, 데이터베이스(180)로부터 주석 데이터를 조회하여 기계학습 데이터셋 생성용 데이터를 추출한다. 그리고, 각각의 주석 데이터의 범위에 해당하는 원시 데이터에 지정된 혹은 입력 받은 주석을 추가한다. 이때, 원시 데이터에 생성된 주석이 정상적으로 반영되었는지를 검증하기 위하여 생성된 주석과 함께 원시 데이터를 출력할 수 있다. 그리고, 생성된 기계학습 데이터셋을 기계학습용 입력 데이터로 사용할 수 있도록 파일로 변환하는 작업을 수행한다.

데이터베이스(180)는 모션 인식의 대상이 될 사용자 정보, 원시 데이터 및 주석 데이터 등을 저장한다.

이에 따라, 주석 생성 작업을 통해 모션 캡쳐 센서의 종류에 관계없이 동시에 수집된 모든 스켈레톤 데이터에 대해서 동일한 조건으로 생성된 주석을 적용하거나 재활용할 수 있다. 또한, 주석 데이터와 원시 데이터가 분리되어 관리되므로 수집된 스켈레톤 데이터로부터 다양한 패턴의 주석을 추가하거나 편집하고, 이를 조합하여 기계학습 데이터셋을 구축할 수 있다.

도 3은 도 2에 도시된 데이터베이스(도 2의 180 참조)에 저장된 데이터의 구조를 나타낸 도면이다.

도 3을 참조하면, 도 2에 도시된 데이터베이스(도 2의 180 참조)는 InstanceNumber 테이블, Action 테이블, User 테이블, AnnotationLog 테이블, Annotation 테이블, CollectionLog 테이블, RawDataFromSensor 테이블들을 포함할 수 있다.

InstanceNumber 테이블은 사용자가 수행한 기계학습용 동작의 반복 회수와 각 회수에서의 수집 시작 시간과 수집 종료 시간에 대한 필드들로 구성될 수 있으며, InstanceNumber 테이블의 필드 정보에 의하여 기계학습 데이터셋을 구축할 때 모델 생성용 데이터와 모델 테스트용 데이터로 특정 회차를 분리할 수 있도록 한다.

Action 테이블은 정의된 동작을 구분하는 필드들을 제공한다.

User 테이블은 사용자의 신체 정보나 학생, 일반인, 군인, 운동선수 등과 같이 특정 동작의 숙련도를 유추할 수 있는 정보들을 포함하며, User 테이블의 정보에 의하여 특정 사용자별, 성별, 직업별, 신장별 등으로 기계학습용 데이터셋을 다양한 형태로 구축할 수 있도록 한다.

AnnotationLog 테이블은 원시 데이터로부터 특정 동작에 대해 주석 작업을 수행한 로그 정보를 포함한다.

Annotation 테이블은 AnnotationLog 테이블의 특정 로그 작업 내에서 각각의 반복 회수마다 유효 동작 구간을 지정함으로써 생성된 주석 정보를 포함한다. Annotation 테이블에서 작업된 주석 정보들은 AnnotationLog 필드에 의하여 하나의 작업 그룹으로 구분되어 향후 기계학습 데이터셋을 구축할 때 그룹 단위로 데이터셋 생성 범위를 지정할 수 있도록 한다.

CollectionLog 테이블은 수집된 원시 데이터를 특정 동작별 원시 데이터 그룹으로 구분하기 위한 필드들로 구성된다.

RawDataFromSensor 테이블들은 센서별로 수집된 원시 데이터를 저장하기 위해 사용되며, 입력 센서의 종류가 N개일 경우 N개의 테이블이 생성된다.

도 4는 본 발명의 일 실시예에 따른 기계학습 데이터 및 주석을 생성하는 방법을 나타낸 동작 흐름도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 기계학습 데이터 및 주석을 생성하는 방법은 기계학습 데이터 및 주석을 생성하는 장치(도 1의 100 참조)가, 이종의 모션 캡쳐 센서들(도 1의 210_1 내지 210_n 참조)로부터 신체 스켈레톤 데이터에 해당하는 원시 데이터를 수신하여 데이터베이스(도 2의 180 참조)에 저장한다(S401).

이때, 원시 데이터를 저장 포맷에 일치하도록 변환할 수 있다.

또한, 본 발명의 일 실시예에 따른 기계학습 데이터 및 주석을 생성하는 방법은 기계학습 데이터 및 주석을 생성하는 장치(도 1의 100 참조)가, 기설정된 혹은 입력 받은 주석 생성 범위에 따라 데이터베이스(도 2의 180 참조)에서 주석 생성용 원시 데이터를 추출하고, 추출된 원시 데이터에 상응하는 주석 데이터를 생성하여 데이터베이스(도 2의 180 참조)에 저장한다(S403).

또한, 본 발명의 일 실시예에 따른 기계학습 데이터 및 주석을 생성하는 방법은 기계학습 데이터 및 주석을 생성하는 장치(도 1의 100 참조)가, 기설정된 데이터셋 생성 범위에 따라 데이터베이스(도 2의 180 참조)에서 데이터셋 생성용 주석 데이터와 원시 데이터를 추출하고, 각각의 주석 데이터의 범위에 해당하는 원시 데이터에 지정된 주석을 추가하여 기계학습 데이터셋을 생성한다(S405).

이때, 생성된 기계학습 데이터셋을 기계학습용 입력 데이터로 사용할 수 있도록 파일로 변환할 수 있다.

이에 따라, 본 발명의 실시예들은 이종의 모션 캡쳐 센서들로부터 추출된 스켈레톤 데이터에 동일하게 적용할 수 있는 주석과 기계학습 데이터셋을 구축하여, 수집된 모든 스켈레톤 데이터를 센서의 종류에 관계 없이 기계학습에 사용될 수 있도록 함으로써, 여러 종류의 모션 캡쳐 플랫폼에서 추출된 데이터를 통합하여 비용을 절감하고 효율을 높일 수 있다.

도 5는 도 4에 도시된 원시 데이터를 수집하는 단계(S401)의 일 예를 나타낸 동작 흐름도이다.

도 5를 참조하면, 도 4에 도시된 원시 데이터를 수집하는 단계(S401)는, 스켈레톤 데이터의 대상이 되는 사용자를 시스템에서 조회하여 신규 사용자 여부를 판단한다(S501).

단계(S501)의 판단 결과, 스켈레톤 데이터의 대상이 되는 사용자가 기존 사용자인 경우, 데이터베이스(도 2의 180 참조)로부터 해당 사용자 정보를 불러온다(S503).

단계(S501)의 판단 결과, 스켈레톤 데이터의 대상이 되는 사용자가 신규 사용자인 경우, 해당 사용자의 정보를 입력받아 데이터베이스(도 2의 180 참조)에 등록한다(S505).

도 5를 참조하면, 도 4에 도시된 원시 데이터를 수집하는 단계(S401)는, 사용자 정보를 파악한(S503 또는 S505) 이후 수집에 활용할 적어도 하나 이상의 센서들을 입력 받아 선택한다(S507).

도 5를 참조하면, 도 4에 도시된 원시 데이터를 수집하는 단계(S401)는, 수집할 동작을 입력 받아 선택한다(S509). 이때, 동작은 ID를 부여하여 액션 ID와 같은 형태로 선택할 수 있다.

도 5를 참조하면, 도 4에 도시된 원시 데이터를 수집하는 단계(S401)는, 선택된 센서를 활용하여 원시 데이터를 수집한다(S511). 이때, 원시 데이터는 선택된 센서들로부터 유무선 데이터 전송 기술을 이용하여 수신할 수 있다.

도 5를 참조하면, 도 4에 도시된 원시 데이터를 수집하는 단계(S401)는, 단계(S511)에서 원시 데이터 수집이 성공하였는지 판단한다(S513).

단계(S513)의 판단 결과, 원시 데이터 수집에 실패한 경우, 원시 데이터 수집 로그와 해당 수집 범위의 원시 데이터를 모두 삭제하고 단계(S509)로 돌아간다(S515).

단계(S513)의 판단 결과, 원시 데이터 수집에 성공한 경우, 원시 데이터 수집 로그를 생성한다(S517).

도 5를 참조하면, 도 4에 도시된 원시 데이터를 수집하는 단계(S401)는, 추가적으로 원시 데이터를 수집할 것인지 여부를 판단한다(S519). 여기서, 원시 데이터의 추가 수집 여부는 기설정된 원시 데이터 수집 개수에 따라 판단할 수도 있고, 추가 수집 여부를 입력 받아 판단할 수도 있다.

단계(S519)의 판단 결과, 추가적으로 원시 데이터를 수집할 경우, 단계(S509)로 돌아가서 원시 데이터 수집 과정을 반복한다(S521).

단계(S519)의 판단 결과, 추가적으로 원시 데이터를 수집하지 않을 경우, 수집한 원시 데이터와 수집 로그들을 데이터베이스(도 2의 180 참조)에 저장한다(S523).

이에 따라, 여러 종류의 모션 캡쳐 센서들로부터 사용자 정보 및 동작 정보와 함께 원시 데이터를 수집하여, 각각의 원시 데이터에 사용자의 신체 정보나 동작의 숙련도를 반영할 수 있다.

도 6은 도 4에 도시된 주석 데이터를 생성하는 단계(S403)의 일 예를 나타낸 동작 흐름도이다.

도 6을 참조하면, 도 4에 도시된 주석 데이터를 생성하는 단계(S403)는, 주석 생성에 필요한 원시 데이터 수집 로그들을 조회한다(S601).

또한, 도 4에 도시된 주석 데이터를 생성하는 단계(S403)는, 조회된 원시 데이터 수집 로그들 중에서 주석 데이터를 생성하기 위한 수집 로그 항목을 입력 받아 선택하고, 해당 원시 데이터를 로드한다(S603).

또한, 도 4에 도시된 주석 데이터를 생성하는 단계(S403)는, 로딩된 원시 데이터를 재생한다(S605).

또한, 도 4에 도시된 주석 데이터를 생성하는 단계(S403)는, 로딩된 원시 데이터에 대해서 유효 동작 구간을 입력 받아 지정한다(S607).

또한, 도 4에 도시된 주석 데이터를 생성하는 단계(S403)는, 유효 동작 구간에 대한 주석 데이터를 입력 받아 생성한다(S609).

또한, 도 4에 도시된 주석 데이터를 생성하는 단계(S403)는, 주석 데이터를 성공적으로 생성하였는지 판단한다(S611).

단계(S611)의 판단 결과, 주석 데이터를 성공적으로 생성하지 못한 경우, 해당 주석 데이터를 삭제하고 단계(S607)로 돌아가서 다시 주석을 생성한다(S613).

단계(S611)의 판단 결과, 주석 데이터를 성공적으로 생성한 경우, 생성된 주석 데이터를 데이터베이스(도 2의 180 참조)에 저장한다(S615).

또한, 도 4에 도시된 주석 데이터를 생성하는 단계(S403)는, 추가적으로 주석 데이터를 생성할지 여부를 판단한다(S617). 이때, 추가적인 주석 데이터의 생성 여부는 기설정된 주석 데이터 생성 개수 또는 단계(S601)에서 조회된 원시 데이터 수집 로그의 개수만큼 주석 데이터가 생성되었는지 여부로 판단하거나, 추가 주석 데이터 생성 명령을 입력 받아 판단할 수 있다.

단계(S617)의 판단 결과, 추가적인 주석 데이터를 생성하는 경우, 단계(S603)으로 돌아가 주석 데이터를 생성하는 과정을 반복한다.

단계(S617)의 판단 결과, 추가적인 주석 데이터를 생성하지 않는 경우, 생성된 주석 데이터에 대한 작업 로그를 저장한다(S619).

도 7은 도 4에 도시된 기계학습 데이터셋을 생성하는 단계(S405)의 일 예를 나타낸 동작 흐름도이다.

도 7을 참조하면, 도 4에 도시된 기계학습 데이터셋을 생성하는 단계(S405)는, 데이터셋 생성 조건을 입력 받아 지정한다(S701).

또한, 도 4에 도시된 기계학습 데이터셋을 생성하는 단계(S405)는, 데이터셋 생성 조건으로 주석 작업 로그를 조회한다(S703).

또한, 도 4에 도시된 기계학습 데이터셋을 생성하는 단계(S405)는, 주석 작업 로그의 조회가 성공하였는지 여부를 판단한다(S705).

단계(S705)의 판단 결과, 주석 작업 로그의 조회에 실패한 경우, 단계(S701)로 돌아가 다시 데이터셋 생성 조건을 입력 받아 지정한다. 특히, 주석 작업 로그를 조회하였으나, 하나도 조회되지 않은 경우에도 주석 작업 로그의 조회에 실패한 경우로 판단할 수 있다.

단계(S705)의 판단 결과, 주석 작업 로그의 조회에 성공한 경우, 조회된 주석 작업 로그에 상응하는 주석 데이터를 로드한다(S707).

또한, 도 4에 도시된 기계학습 데이터셋을 생성하는 단계(S405)는, 로드된 주석 데이터를 기준으로 훈련용 또는 테스트용 기계학습 데이터셋 생성 범위 및 조건을 입력 받아 설정한다(S709).

또한, 도 4에 도시된 기계학습 데이터셋을 생성하는 단계(S405)는, 기계학습 데이터셋 파일 생성에 필요한 헤더와 순서를 지정한다(S711).

또한, 도 4에 도시된 기계학습 데이터셋을 생성하는 단계(S405)는, 주석 데이터와 해당 주석의 범위에서 수집된 원시 데이터를 결합하여 기계학습용 데이터셋 파일을 생성한다(S713).

도 8은 본 발명의 일 실시예에서 원시 데이터 수집을 위한 인터페이스의 일 예를 나타낸 도면이다.

도 8을 참조하면, 원시 데이터 수집을 위한 인터페이스에서 데이터 수집의 대상이 되는 사용자를 조회하여 선택할 수 있다(8a). 이때, 사용자를 선택하면 원시 데이터 수집 및 주석 생성에 필요한 모든 데이터들이 선택된 사용자에 종속된다.

또한, 수집 대상이 되는 동작과 수집 센서들을 지정하고 데이터 수집을 시작 및 종료하면 해당 작업에 대한 수집로그가 생성될 수 있다(8b). 이때, 원시 데이터는 수집로그에 종속된다.

그리고, 각각의 센서 별로 수집되는 동작 데이터는 화면에 재생되어 수집자에게 데이터가 수집되는 상태를 실시간으로 제공할 수 있다(8c).

도 9는 본 발명의 일 실시예에서 주석 생성을 위한 인터페이스의 일 예를 나타낸 도면이다.

도 9를 참조하면, 주석 생성을 위한 인터페이스에서 사용자 또는 수집 형태, 동작 별로 주석 생성 범위 조건을 지정하여 수집 로그 리스트를 추출할 수 있다(9a).

그리고, 리스트에서 특정 수집 로그 항목을 선택하면 해당 로그 범위의 원시 데이터를 로딩하여 화면에 재생하고, 재생된 화면으로부터 유효 동작 구간에 대한 주석을 지정할 수 있다(9b).

그리고, 지정된 주석 데이터가 주석 작업 로그에 등록될 수 있다(9c).

도 10은 본 발명의 일 실시예에서 기계학습 데이터셋 생성을 위한 인터페이스의 일 예를 나타낸 도면이다.

도 10을 참조하면, 기계학습 데이터셋 생성을 위한 인터페이스에서 데이터셋 생성 범위 조건을 지정하여 해당 조건을 만족하는 주석 로그를 로드할 수 있다(10a).

그리고, 로드한 주석 로그 범위의 원시 데이터를 화면에 재생하여 데이터셋을 검증할 수 있다(10b)

그리고, 동작별 또는 사용자별 데이터 분리 비율과 파일 구성 형태를 지정하여 각각의 주석 로그에 종속된 주석 데이터와 원시 데이터가 결합된 데이터셋 파일을 생성할 수 있다(10c).

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

1: 기계학습 데이터 및 주석을 생성하는 시스템
100: 기계학습 데이터 및 주석을 생성하는 장치
110: 제어부 120: 통신부
130: 메모리 140: 사용자 정보 관리부
150: 원시 데이터 수집부 160: 주석 데이터 생성부
170: 기계학습 데이터 생성부 180: 데이터베이스
210_1 내지 210_n: 모션 캡쳐 센서들
220: 동작 인식 장치

Claims (1)

1. 이종의 모션 캡쳐 센서들로부터 적어도 하나 이상의 원시 데이터를 수집하는 원시 데이터 수집부;
   각각의 상기 원시 데이터에 상응하는 주석을 생성하는 주석 데이터 생성부; 및
   각각의 상기 원시 데이터에 대해서 상응하는 상기 주석을 추가하여 기계학습 데이터셋들을 생성하는 기계학습 데이터 생성부
   를 포함하는, 기계학습 데이터 및 주석을 생성하는 장치.

Images