KR102359289B1 - 학습된 기계학습 모델의 성능을 개선하기 위한 가상 학습데이터 생성 방법 및 이를 수행하는 장치 - Google Patents

Abstract

실시예들은 대상 또는 대상의 행동을 인식하도록 학습된 인식 모델의 성능을 개선하기 위한 가상 학습데이터를 생성하는 장치 및 이에 의해 수행되는 방법에 관한 것이다. 상기 장치는: 상기 학습된 기계학습 모델에 테스트 데이터를 적용하여 테스트 결과를 획득하도록 구성된 인식 모듈; 및 인식 실패의 상황과 관련된 특성 정보를 포함한 하나 이상의 테스트 결과를 실패 결과로 인식 모듈로부터 획득하고, 획득된 실패 결과에 기초하여 상기 인식 모델의 인식 동작을 실패하게 한 실패 유발 조건을 검출하고, 그리고 실패 유발 조건의 매개변수(parameters)를 갖는 가상 학습데이터를 생성하도록 구성된 자율학습 모듈을 포함할 수 있다.

Description

학습된 기계학습 모델의 성능을 개선하기 위한 가상 학습데이터 생성 방법 및 이를 수행하는 장치{VIRTUAL TRAINING DATA GENERATING METHOD TO IMPROVE PERFORMANCE OF PRE-LEARNED MACHINE-LEARNING MODEL AND DEVICE PERFORMING THE SAME}

본 발명의 실시예들은 기계학습 모델의 성능을 개선하는 기술에 관한 것으로서, 보다 상세하게는 미리 학습된 인식 모델의 실패 사례로부터 검출된 인식 동작의 실패 유발 조건에 기초하여, 실패 유발 조건에 대해 강화되도록 인식 모델을 재-학습하기 위해, 가상의 학습데이터를 생성하는 방법 및 이를 수행하는 장치에 관련된다.

복잡하거나 해가 알려지지 않은 문제를 해결하기 위해, 인간의 사고 방식을 컴퓨팅 장치에서 구현하려는 다양한 연구가 진행되고 있다. 이들 중 하나로서, 인간의 생물학적 신경 세포의 동작을 하드웨어에서 구현하기 위해 모델링한 뉴럴 네트워크(nueral network) 기술이 있다. 뉴럴 네트워크 기술은 시냅스의 신경 전달 과정을 수학적으로 표현한 뉴럴 네트워크 기반 학습 모델을 모델링하는데 사용되어 인간이 가지고 있는 학습 능력에 접근한다. 뉴럴 네트워크는 학습을 통해 입력과 출력 사이의 사상(mapping)을 수행할 수 있다.

뉴럴 네트워크를 통한 사상 동작 중에서 가장 대표적인 것이 객체를 식별하는 인식 동작이며, 이러한 뉴럴 네트워크는 인식 모델로 지칭된다. 인식 모델은 객체가 무엇인지, 또는 객체의 행동이 무엇인지 인식하도록 구성되고 기계학습된다.

도 1은, 통상적인 인식 모델의 기계학습 과정의 흐름도이다.

도 1을 참조하면, 인식 모델의 학습을 위해 우선 실제 환경 상에서 표현되는 인식 대상의 데이터가 학습데이터(training data)로 준비된다(S110). 이 학습데이터에 의한 연산 결과와 실제 결과와의 차이를 최소화하는 방향으로 인식 모델이 학습된다(S130). 단계(S130)에서 인식 모델은, 설계 목적에 따라서, 객체 자체의 유형, 또는 객체의 행동의 유형을 분류?록 인식 모델의 매개변수(예컨대, 노드의 가중치 등)가 결정된다. 그러면, 인식 모델은 입력 데이터를 수신하여 입력 데이터에 포함된 대상을 인식하는, 테스트 동작을 수행하게 된다(S150).

이와 같이, 인식 모델의 학습은 학습데이터에 의존하므로, 인식 모델의 학습 목적에 적합한 학습데이터가 사용되어야 높은 성능의 인식 모델을 얻을 수 있다. 적합한 학습데이터가 사용되지 않으면, 학습이 완료되더라도 실제 사용된 학습데이터와 이상적인 학습데이터 간의 차이가 있는 조건에서는 인식 모델이 인식을 실패할 가능성이 높아진다.

따라서, 인식 모델의 인식 실패를 초래하는 학습데이터의 조건이 무엇인지 탐색하고, 해당 조건을 보완한 새로운 학습데이터에 대한 정보를 아는 것이 인식 모델이 성능을 향상하는데 요구된다.

그러나, 종래의 인식 모델과 관련된 기술들은 특정 학습데이터를 기반으로 인식 모델의 내부 구조를 변경하여 인식 성능을 개선하는데 초점이 맞춰져 있을 뿐, 인식 모델에 사용되는 학습데이터에 대해서는 관심이 매우 적은 한계가 있다.

특허등록공보 제10-1179496호 (2012.09.07.)

본 발명의 실시예들은 미리 학습된 인식 모델의 실패 사례로부터 인식 동작의 실패 유발 조건을 검출하고, 검출된 인식 동작의 실패 유발 조건에 기초하여, 실패 유발 조건에 대해 강화되도록 인식 모델을 재-학습하기 위한 가상의 학습 학습데이터를 생성하는 방법 및 이를 수행하는 장치를 제공하고자 한다

본 발명의 일 측면에 따른 대상 또는 대상의 행동을 인식하도록 학습된 인식 모델의 성능을 개선하기 위한 가상 학습데이터를 생성하는 장치는: 상기 학습된 기계학습 모델에 테스트 데이터를 적용하여 테스트 결과를 획득하도록 구성된 인식 모듈; 및 인식 실패의 상황과 관련된 특성 정보를 포함한 하나 이상의 테스트 결과를 실패 결과로 인식 모듈로부터 획득하고, 획득된 실패 결과에 기초하여 상기 인식 모델의 인식 동작을 실패하게 한 실패 유발 조건을 검출하고, 그리고 실패 유발 조건의 매개변수(parameters)를 갖는 가상 학습데이터를 생성하도록 구성된 자율학습 모듈을 포함할 수 있다.

일 실시예에서, 상기 자율학습 모듈은, 상기 실패의 상황과 관련된 특성 정보에 포함된 매개변수(parameters)에서 소정 임계치 이상의 빈도를 갖는 매개변수를 실패 유발 조건으로 검출하도록 구성될 수 있다.

일 실시예에서, 상기 자율학습 모듈은, 실패 유발 조건의 매개변수를 포함한 가상 학습 데이터 생성요청을 가상 학습 데이터 생성기에 적용하여 피드백 학습데이터를 생성하도록 구성될 수 있다. 여기서, 상기 가상 학습 데이터 생성기는, 복수의 참조용 신체를 3D 스캐닝하여 참조용 신체 정보를 획득하고, 각각의 참조용 신체 정보에 기초한 메쉬 구조 및 골격 구조를 이용하여 상기 참조용 신체를 매개변수화한 베이스 신체 데이터, 모션 캡쳐 장치를 통해 획득된 장소에 따른 행동을 구현하는 참조용 동작 데이터를 장소 식별자 및 행동 식별자와 연관시켜 생성된 베이스 행동 데이터, 및 인식 대상의 주변 공간 및 주변 환경을 매개변수화한 베이스 환경 데이터에 기초하여 생성 요청에 따른 가상의 학습 동영상을 생성하도록 구성된다.

일 실시예예서, 상기 가상 학습 데이터 생성기는, 상기 생성 요청이 행동 인식 대상 특성의 매개변수를 포함한 경우, 상기 행동 인식 대상의 특성에 기초하여 행동 인식 학습용 캐릭터를 생성하고, 상기 생성 요청이 행동 인식 범위 특성의 매개변수를 포함한 경우, 상기 행동 인식 범위 특성 및 상기 행동 인식 학습용 캐릭터에 기초하여 가상의 학습용 동영상을 생성하도록 더 구성될 수 있다.

일 실시예에서, 상기 가상 학습 데이터 생성기는, 상기 생성 요청이 행동 인식 환경 특성의 매개변수를 포함한 경우, 상기 행동 인식 환경 특성에 더 기초하여 학습용 동영상을 생성하도록 더 구성될 수 있다.

일 실시예에서, 상기 가상 학습 데이터 생성기는, 상기 행동 인식 환경 특성의 매개변수에 기초하여 행동 인식 대상의 배경 및 주변 환경 중 하나 이상이 구현된 3차원 환경 모델을 생성하고, 상기 3차원 환경 모델 상에서 생성된 상기 행동 인식 학습용 캐릭터가 상기 행동 인식 범위 특성의 장소에 따른 행동을 구현하기 위해 동작하는(moving) 동영상을 생성할 수 있다.

일 실시예에서 상기 가상 학습 데이터 생성기는, 상기 행동 인식 환경 특성이 관측 특성을 포함한 경우, 상기 동영상에 관측 특성에 기초하여 상기 동영상의 일부를 추출하여 학습 동영상을 생성할 수 있다.

일 실시예에서, 상기 자율학습 모듈은, 상기 실패 유발 조건의 파라미터를 포함한 가상 학습데이터 생성 요청을 생성하고, 생성된 가상 학습데이터 생성 요청을 상기 가상 학습데이터 생성기에 적용하도록 더 구성될 수 있다.

일 실시예에서, 상기 자율학습 모듈은, 상기 실패 유발 조건의 적어도 일부의 파라미터의 값을 변경하여 하나 이상의 가상 학습데이터 생성 요청을 생성하고, 상기 하나 이상의 가상 학습 데이터 생성 요청을 가상 학습 데이터 생성기에 적용하여 하나 이상의 피드백 학습데이터를 생성하도록 더 구성될 수 있다.

일 실시예에서, 상기 자율학습 모듈은, 상기 실패 유발 조건의 파라미터를 변경하여 가상 학습데이터 생성 요청을 생성하도록 더 구성될 수 있다.

상기 실시예들에서, 상기 자율학습 모듈은 생성된 피드백 학습데이터를 상기 인식 모듈에 제공하도록 더 구성될 수 있다. 여기서, 상기 인식 모듈은 제공된 피드백 학습데이터에 기초하여 상기 인식 모델의 매개변수(parameter)를 재-학습하도록 더 구성된다.

일 실시예에서, 상기 자율학습 모듈은, 재-학습된 인식 모델의 테스트 결과에 기초하여, 다음 개선을 위한 가상 학습데이터의 수량을 결정하도록 더 구성될 수 있다.

본 발명의 일 실시예에 따른 가상 학습데이터 생성 방법을 이용하면, 기 학습된 기계학습 모델의 사상(mapping) 동작의 실패를 초래하는 학습데이터(training data)의 조건이 무엇인지 알 수 있다. 또한, 해당 조건을 보완한 새로운 학습데이터를 생성할 수 있고, 결국 새로운 학습데이터를 기반으로 동일한 기계학습 모델을 재-학습하면, 사상 동작의 성능을 개선할 수 있다.

예를 들어, 자율학습 장치가 인식 모델을 포함한 경우, 우선 인식 모델을 초기 학습한 뒤, 해당 인식 모델이 활용될 환경에 맞게 적응적/선택적으로 학습을 수행할 수 있어, 인식 모델의 개발 초기 단계에서 인식의 실패를 초래할 가능성이 있는 모든 변수를 예상하고 학습하는 경우에 비해 학습에 소모되는 시간이 상대적으로 짧으면서 높은 인식 성능을 갖는 인식 모델을 얻을 수 있다. 즉, 자율학습 장치는 실패 사례로부터 개선을 위해 자체적으로 학습하는, 자율형 피드백 학습을 수행할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 종래의 샘플 그래프 모델링 방식에 따른 샘플 그래프와 실제 네트워크를 비교한 그래프이다.
도 2는, 본 발명의 일 실시예에 따른, 학습된 기계학습 모델의 성능을 개선하기 위한 장치의 개념도이다.
도 3은, 본 발명의 일 실시예에 따른, 행동 인식을 위한 가상 학습데이터 생성기의 개념도이다.
도 4는, 본 발명의 일 실시예에 따른, 모션 캡쳐 장치를 통해 획득한 동작 데이터를 새로운 환경과, 캐릭터에 맞게 변형하여 행동 데이터를 완성하는 과정을 설명하기 위한 도면이다.
도 5는, 본 발명의 일 실시예에 따른, 모션 캡쳐 장치를 통해 베이스 동작 데이터를 획득하는 과정을 설명하기 위한 도면이다.
도 6은, 본 발명의 일 실시예에 따른, M개의 장소와 N개의 동작을 조합하여 NxM 개의 행동 데이터를 생성하는 것을 도시한 도면이다.
도 7은, 본 발명의 일 실시예에 따른, 베이스 신체 데이터를 생성하는 과정을 설명하기 위한 흐름도이다.
도 8은, 본 발명의 일 실시예에 따른, 베이스 환경 데이터를 생성하는 과정을 설명하기 위한 흐름도이다.
도 9는, 본 발명의 일 실시예에 따른, 가상 학습데이터 생성기가 가상 학습데이터를 생성하는 과정의 흐름도이다.
도 10a 및 도 10b는, 본 발명의 일 실시예에 따른, 행동 인식 환경 정보에 기초한 3차원 모델을 설명하기 위한 도면이다.
도 11a 및 도 11b는, 본 발명의 일 실시예에 따른, 베이스 신체 데이터에 기초하여 생성된 학습용 캐릭터를 도시한 도면이다.
도 12는, 본 발명의 일 실시예에 따른, 인식 대상과 관련된 인식 행동 특성을 설명하기 위한 도면이다.
도 13 은, 본 발명의 일 실시예에 따른, 학습 동영상의 일부를 도시한 도면이다.
도 14a 및 도 14b는, 본 발명의 일 실시예에 따른, 인식 유형에 따른 학습데이터를 설명하기 위한 도면이다.
도 15a 내지 도 15c는, 본 발명의 일 실시예에 따른, 관측 시점에 따른 학습데이터를 설명하기 위한 도면이다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

본 명세서에서 실제 네트워크의 속성을 갖는 다는 것은 특정 요소의 측면에서 실제 네트워크와 동일 또는 유사한 값을 갖는 것을 지칭한다. 여기서 유사한 값은 소정 범위의 오차, 또는 종래의 실시예들에 의한 분석 결과 보다 실제 네트워크에 밀접한 것을 지칭한다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

본 발명의 실시예들에 따른 장치는 이미 학습된 기계학습 모델의 사상 동작(예컨대, 추론, 인식 동작 등)의 실패를 초래하는 조건을 검출할 수 있다. 또한, 가상 환경에서의 학습데이터를 생성하는 가상 학습데이터 생성기를 사용하여 검출된 조건이 반영된, 일종의 피드백 학습데이터를 생성할 수 있다. 상기 피드백 학습데이터를 사상 동작이 실패한 기계학습 모델에 적용하면 해당 기계학습 모델의 성능을 개선할 수 있다.

본 명세서에서, 기계학습 모델은, 인식, 추론 등과 같은, 입력과 출력 간의 다양한 사상 동작을 수행하기 위해 기계학습된 모델이다. 설명의 명료성을 위해, 이하 기계학습 모델을 인식 모델로 지칭하여 본 발명을 보다 상세하게 서술하나, 본 발명의 기계학습 모델이 인식 모델로 제한되지 않는 다는 것이 통상의 기술자에게 명백할 것이다.

도 2는, 본 발명의 일 실시예에 따른, 자율학습 장치의 개념도이다.

도 2를 참조하면, 자율학습 장치는 기계학습 모델(예컨대, 인식 모델)을 통해 사상 동작(예컨대, 인식 동작)을 수행하도록 구성된 추론 모듈(또는 인식 모듈로 지칭됨)(100); 및 기계학습 모델을 개선하기 위한 가상 학습데이터를 생성하여 인식 기능을 학습하는 자율학습 모듈(200);을 포함한다.

실시예들에 따른 자율학습 장치(1)는 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 자율학습 장치(1)는 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

인식 모듈(100)은 학습이 완료된 인식 모델을 포함한다. 상기 학습이 완료된 인식 모델은 개선 이전의 초기 인식 모델 또는 자율학습 모듈(200)에 의해 이전에 생성된 가상 학습데이터에 의해 과거에 개선된 인식 모델을 포함한다.

본 명세서에서 인식 대상은, 예를 들어, 사람일 수 있으나 이에 제한되진 않으며, 동작 가능한 다양한 객체(예컨대, 동물과 같은 생물, 또는 자동차 등과 같은 사물)를 포함한다. 인식 대상은 학습데이터에 연관된(associated) 학습 대상에 의존한다.

일 실시예에서, 인식 모델은 인색 대상의 동작이 무슨 행동에 해당하는지를 분류하는 행동 인식 모델일 수 있다. 인식 대상의 동작은 인식 대상으로서 동작의 주체가 무엇인지에 따라 상이하므로, 인식 모델은 동작의 주체에 연관된 객체 클래스를 결정하여 동작의 주체를 식별하고, 또한 식별된 동작의 주체가 구현하는 동작에 연관된 행동 클래스를 결정하여 행동을 인식하도록 구성된다.

일 실시예에서, 업데이트 이전의 인식 모델은 인식 대상과 동일 또는 유사한 학습 대상이 실제 환경에서 표현된 학습데이터가 획득되면(S110), 이 학습데이터를 사용하여 인식 모델이 목표하는 인식 동작을 수행하도록 학습된다(S130).

상기 인식 모델은 다양한 기계학습 모델의 학습 방식에 의해 인식 대상의 식별 및 행동 인식을 위한 동작을 학습할 수 있다. 예를 들어, 인식 모델이 CNN(Convolution Nueral Network) 등의 구조를 갖는 경우, ADAM(Adaptive Moment Estimation), Momentum, NAG(Nesterov Accelerated Gradient), Adagrad(Adaptive Gradient), RMSProp 등과 같은 다양한 경사 하강(gradient discent) 방식에 의해 학습될 수 있다. 그러나, 이는 단지 예시적인 것으로서 다른 인공신경망 관련 구조 및 학습 방식에 의해 인식 모델이 구성 및 학습될 수 있는 것이 통상의 기술자에게 명백할 것이다.

도 2에 도시된 바와 같이, 학습이 완료된 인식 모델은 입력에 대한 인식 동작을 수행한다(S150). 일 실시예에서, 단계(S150)에서 인식 모델에 입력되는 데이터는 인식의 성공 또는 실패를 기록하고자 하는 테스트 데이터를 포함한다.

인식 동작을 위해, 장치(1)는 인식 대상을 표현한 입력 데이터(예컨대, 이미지, 비디오 데이터 등)를 획득하도록 구성된다. 예를 들어, 장치(1)는 외부의 데이터 획득 장치(예컨대, 촬영기기 등)를 통해 입력 데이터를 수신하거나, 장치(1) 내부의 데이터 획득 장치를 통해 획득할 수 있다. 이하 설명의 명료성을 위해, 단계(S150)의 인식은 영상 인식을 기초로 본 발명을 상세히 서술한다. 이 경우, 테스트 데이터는 테스트 이미지를 포함한다.

단계(S150)에서 학습된 기계학습 모델에 테스트 데이터를 적용하여 테스트 결과를 획득할 수 있다. 인식 모듈(100)의 테스트 결과는 자율학습 모듈(200)에 제공된다.

자율학습 모듈(200)은 인식 모듈(100)로부터 수신한 테스트 결과에 기초하여 실패 상황을 기록한다(S210). 자율학습 모듈(200)은 인식의 실패와 관련된 특성 정보를 획득하여 실패 상황을 기록한다.

데이터 학습 기반의 인식 기술에서는 학습한 데이터와 유사하지 않은 조건의 입력에 대해서 검출이 되지 않거나, 잘못된 값으로 검출하는 오검출이 발생할 수 있다. 인식의 실패는 이러한 검출 불가 또는 오검출을 포함한다. 인식의 실패는 실패를 유발하는 인식 특징(이하, “실패 유발 특징”)과 관련된 학습데이터의 양이 부족하기 때문에 발생할 수 있다.

실패를 초래할 가능성이 있는 인식 특징은, 예를 들어, 인식 대상 자체의 특징, 인식 대상이 존재하는 인식 환경과 관련된 특징 및/또는 인식 대상이 나타난 테스트 데이터를 획득하는 과정과 관련된 특징을 포함한다.

행동 인식의 경우, 인식 대상 자체의 특징(이하, “인식 대상 특성”)은 행동을 수행하는 주체 또는 행동을 구현하기 위한 동작과 관련된 특징을 포함한다.

영상 인식의 경우, 인식 환경과 관련된 특징은 인식 대상이 존재하는 배경(background)을 포함한다. 여기서 배경은 다양한 장소를 포함할 수 있다. 또한, 인식 환경과 관련된 특징은 시/공간의 변화와 관련된 주변환경을 포함한다. 주변환경은 예를 들어, 조명의 변화를 포함한다.

영상 인식의 경우, 검출 과정 관련 특징은 인식 대상이 나타난 이미지를 획득하는 카메라의 종류, 카메라의 촬영 각도, 조도, 속도, (대상과 카메라 간의) 거리 등을 포함한다.

인식 모델의 초기 모델링 과정에서 이러한 실패 유발 특징을 모두 변수로 고려하는 것은 매우 어렵다. 현실 세계에서 인식 대상의 다양성, 인식 환경의 다양성, 검출 과정의 다양성 등을 고려하면, 가능한 모든 인식 특징에 대해서 실패가 없게 하는 충분한 양의 학습데이터를 준비하는 것은 실질적으로 불가능하다. 더욱이, 인식 모델을 초기 학습하는 과정에서 이러한 환경조건을 변수로 모두 고려하더라도, 학습 과정이 오래 걸리고 성능 또한 좋지 않게 된다.

자율학습 모듈(200)은 실패 상황과 관련된 특성 정보를 포함한 실패 결과를 테스트 결과로 획득할 수 있다. 테스트 결과는 인식 성공 또는 인식 실패를 나타낸 레이블 데이터를 포함한다. 레이블 데이터를 포함한 테스트 결과는 사용자 입력에 응답하여 자율학습 모듈(200)에 의해 생성될 수 있다. 실패를 나타낸 레이블 데이터를 포함한 테스트 결과는 실패 결과로 지칭된다. 테스트 결과에 따라서 자율학습 모듈(200)은 하나 이상의 실패 결과를 획득할 수 있다.

일 실시예에서, 실패 상황과 관련된 특성 정보는 인식 대상 특성, 인식 행동 특성, 인식 환경 특성 및/또는 테스트 데이터의 획득 특성을 포함한다. 일부 실시예에서, 테스트 데이터의 획득 특성은, 영상 인식의 경우, 촬영기기가 인식 대상을 촬영하는 관측 특성을 포함한다. 상기 실패 당시의 상황과 관련된 특성 정보는 인식 실패로 분류된 테스트 데이터와 관련된 특성 정보로부터 획득된다.

일 실시예에서, 테스트 데이터는 테스트 이미지 및/또는 해당 이미지와 관련된 특성 정보를 포함할 수 있다. 이 경우, 인식 모듈(100)은 테스트 데이터에 포함된 특성 정보 중 적어도 일부를 실패 상황과 관련된 특성 정보로 획득한다.

다른 일 실시예에서, 인식 모듈(100)은 인식 모델을 통한 인식 과정에서 획득된 중간 또는 출력 데이터에 기초하여 입력된 테스트 이미지와 관련된 특성 정보를 획득하도록 더 구성된다. 예를 들어, 인식 모듈(100)은 특정 장소에서 특정 주체가 특정 행동을 동작하는 이미지를 테스트 데이터로 사용한 경우, 인식 모델이 인식 결과로 출력한 장소, 주체, 행동을 실패 상황과 관련된 특성 정보로 획득할 수 있다. 이 경우, 획득된 특성 정보는 장소의 매개변수, 주체의 매개변수, 행동의 매개변수 중 하나 이상을 포함할 수 있다.

이와 같이 자율학습 모듈(200)이 하나 이상의 실패 결과를 인식 모듈(100)로부터 획득하면(S210), 자율학습 모듈(200)은 획득된 실패 결과로부터 이미 학습된 인식 모델의 인식 동작을 실패하게 한 실패 유발 조건을 검출한다(S230).

일 실시예예서, 자율학습 모듈(200)은 상기 실패의 상황과 관련된 특성 정보에 포함된 매개변수(parameters)에서 소정 임계치 이상의 빈도를 갖는 매개변수를 실패 유발 조건으로 검출한다(S230). 단계(S230)에서 해당 매개변수의 값은 실패 유발 조건으로 검출되지 않는다.

인식 모델이 특정 장소 상의 특정 관측 시야에서 획득된 테스트 이미지에서 인식 실패가 자주 발생하는 것으로 가정해보자. 그러면, 실패 결과에 포함된 매개변수 중에서 상기 특정 장소의 매개변수 및 상기 특정 관측 시야의 매개변수의 빈도가 상대적으로 큰 값을 가질 것이다.

단계(S230)의 임계치는 인식 모델의 성능이 허용될 수 있는 실패 빈도와 관련된다. 예를 들어, 인식 모델의 성능 평가를 위해 인식 모델의 AUG를 측정할 수 있다. 사용자가 0.9 이상의 인식 성능을 갖는 인식 모델을 설계하고자 할 경우, 0.9 미만의 값을 갖게하는 실패 빈도가 임계치로 설정될 수 있다. 그러나, 상기 임계치에 대한 설명은 단지 예시적인 것으로서, 사용자의 설계 목적에 따라 조절될 수 있음이 통상의 기술자에게 명백할 것이다.

일 실시예에서, 자율학습 모듈(200)은 상기 실패의 상황과 관련된 특성 정보에 포함된 매개변수(parameters)에서 가장 많은 빈도를 갖는 매개변수를 실패 유발 조건으로 검출할 수도 있다(S230).

자율학습 모듈(200)은 검출된 실패 유발 조건에 기초하여 인식 모델을 개선하기 위한 가상 학습데이터를 생성한다(S250).

일 실시예에서, 자율학습 모듈(200)은 가상의 이미지를 학습데이터로 생성하도록 구성된 가상 학습데이터 생성기를 사용하여, 이미 학습된 인식 모델이 검출된 실패 유발 조건에 대해서 가상 학습데이터를 생성한다(S250). 상기 가상 학습데이터는 실패 결과에 기초하여 보다 강한(robust) 인식 성능을 갖게 하는 학습데이터이므로, 피드백 학습데이터로 지칭될 수 있다.

도 3은, 본 발명의 일 실시예에 따른, 행동 인식을 위한 가상 학습데이터 생성기의 개념도이다.

도 3을 참조하면, 가상 학습데이터 생성기는 원시 데이터(raw data)를 베이스 데이터로 변환하는 베이스 데이터 생성 모델(10, 20, 30)을 포함하며, 각 모델(10, 20, 30)에 의해 생성된 베이스 데이터 세트를 이용하여 인식 대상의 특성(이하, 인식 대상 특성), 인식 행동의 특성(이하, 인식 행동 특성), 인식 환경의 특성(이하, 인식 환경 특성) 및 인식 서비스를 제공하는 관측자의 관측 특성 중 하나 이상에 기초하여 가상의 학습데이터를 생성할 수 있다. 즉, 가상 학습데이터 생성기는 행동 인식 대상의 신체적 특성, 행동을 인식하는 전자 장치의 관찰자 특성, 및 (행동 인식 대상과 행동 인식자의) 주변 인식 환경 특성에 기초한 가상 학습데이터를 생성할 수 있다.

인식 대상은 인식 모델의 설계에 따라 상이할 수 있다. 예를 들어, 인식 모델이 사물 자체를 식별하도록 구성된 경우 인식 대상은 사물의 일부 또는 전부일 수 있다. 또는 인식 모델이 사람의 동작을 행동으로 식별하도록 구성된 경우 인식 대상은 행동 주체 및 동작으로 구현되는 행동을 포함한다.

행동 인식은 대상의 특정 동작(세트)을 특정 행동으로 연관시키는 작업이다. 행동 인식은 인식 환경과 밀접한 관련이 있다.

인식 환경은 인식 대상이 존재하는 공간 및 해당 공간의 시간에 따른 변화를 포함한다.

관측자는 영상 인식의 경우 테스트 데이터를 획득하는 구성요소일 수 있다. 일 실시예에서, 관측자는 인식 모듈(100)에 테스트 데이터를 제공하는 데이터 획득 장치일 수 있다.

도 3의 베이스 동작 생성 모델(10)은 행동 데이터를 생성한다.

상기 베이스 동작 생성 모델(10)은 앉기, 일어서기, 걷기, 회전하기, 손 움직이기 등의 기초 동작 데이터로부터 사람의 특정한 행동, 즉 신문 읽기, 빨래 널기, 청소하기 등을 완성한다.

상기 베이스 동작 생성 모델(10)은 모션 캡쳐 장치를 통해 기초 동작 데이터를 획득할 때 특정한 장소와 캐릭터를 가정할 수 있는데, 실제 학습데이터를 생성할 때는 베이스 환경 생성 모델(30)과 캐릭터 생성 모델(20)에 따라 생성된 새로운 환경 데이터와 새로운 신체 데이터에 맞게 변형할 수 있다.

도 4는, 본 발명의 일 실시예에 따른, 모션 캡쳐 장치를 통해 획득한 동작 데이터를 새로운 환경과, 캐릭터에 맞게 변형하여 행동 데이터를 완성하는 과정을 설명하기 위한 도면이다. 베이스 동작 생성 모델(10)은 사람이 움직임에 의한 동작 데이터를 모션 캡쳐 장치를 통해 획득한다(S410). 상기 모션 캡쳐 장치를 통해 획득된 동작 데이터는 데이터베이스 구축을 위해 사용되는 참조용 동작 데이터로서, 베이스 동작 데이터일 수 있다.

상기 참조용 동작 데이터는 모션 캡쳐 신호(회전, 이동 정보)를 모션 캡쳐 신호를 수신하기 이전에 미리 정의된 골격의 관절 지점에 위치시켜 생성된 것으로서, 골격(skeleton)에 대한 복수의 관절(joint)에 대한 데이터를 포함한다. 여기서, 하나의 관절은 크기(scale) 값, (예컨대, 관절의 좌표 값과 같은) 위치(translation) 값, (예컨대, 움직임 값과 같은) 회전(rotation) 값으로 표현된다. 일부 실시예에서, 상기 크기 값, 위치 값, 회전 값은 3차원으로 표현될 수 있다.

사람의 행동은 순간이 아닌 일정 시간 동안의 동작으로 연속하여 구현되므로, 단계(S410)에서 베이스 동작 생성 모델(10)은 하나 이상의 동작 데이터를 포함한 동작 데이터 세트를 획득한다.

도 5는, 본 발명의 일 실시예에 따른, 모션 캡쳐 장치를 통해 베이스 동작 데이터를 획득하는 과정을 설명하기 위한 도면이다.

다시 도 4를 참조하면, 단계(S410)에서, 베이스 동작 생성 모델(10)은 동작 데이터 세트를 획득함과 동시에, 동작 데이터 세트와 관련된, 해당 장소를 나타내는 장소 식별자 및 해당 행동을 나타내는 행동 식별자를 연관할 수 있다. 동일한 사람의 동일한 행동임에도 불구하고, 장소에 따라 행동을 나타내는 동작이 상이하게 구현될 수 있기 때문이다. 장소는 사람이 움직일 수 있는 다양한 공간을 포함한다.

동작 데이터와 관련된 장소에 따른 행동은 장소 식별자 및 행동 식별자를 포함한 식별자 세트로 표현될 수 있다. 그러면 장소에 따른 동작을 행동으로 나타내는 행동 데이터가 획득된다.

도 4 및 도 5를 통해 전술한 과정들을 통해 모션 캡쳐 장치를 통해 많은 사람의 여러 장소의 상황을 고려한 행동 데이터를 획득하면, 상기 행동 데이터를 이에 관련된 동작, 장소, 캐릭터, 스타일 등으로 매개변수화하여, 하나 이상의 매개변수를 포함한 행동 데이터를 생성할 수 있다. 그러면, 매개변수를 조절하여 모션 캡쳐 장치를 통해 획득된 행동을 그대로 가상으로 구현하거나, 또는 상기 행동에 관련된 매개변수 중 적어도 하나를 조절하여 가상으로 구현할 수 있다.

상기 장소, 캐릭터, 스타일 등의 매개변수화는 해당 요소를 하나 이상의 서브 요소로 매개변수화하는 것을 포함한다.

일 예에서, 장소는 장소의 유형, 및/또는 장소의 물리적 특성(예컨대, 면적, 부피 등)을 서브 요소로 포함하며, 행동 데이터를 장소로 매개변수화하는 것은 장소의 유형 및/또는 장소의 물리적 특성을 각각 매개변수화하는 것을 포함한다.

일 예에서, 스타일은 동작을 구현하고 있는 동작 주체의 감정 상태, 고유한 포즈 등을 포함한다. 감정 상태는 행복, 슬픔, 기쁨, 놀람 등을 포함한다. 행동 데이터를 스타일로 매개변수화하는 것은 행동 데이터를 감정 상태 및/또는 포즈 등으로 매개변수화하는 것을 포함한다.

캐릭터의 매개변수화, 장소의 매개변수화에 대해서는 아래의 도 7, 도 8 등을 참조하여 보다 상세하게 서술한다.

이러한 매개변수화를 통해, 행동 데이터는 동작, 장소, 캐릭터, 스타일 등으로 조절되도록 생성될 수 있으며, 사용자는 동작, 장소, 캐릭터, 스타일 등과 같은 행동 데이터에 관련된 매개변수를 조절하여 단일 동작 데이터로부터 하나 이상의 행동 데이터를 생성할 수 있다.

도 6은, 본 발명의 일 실시예에 따른, M개의 장소와 N개의 행동을 조합하여 NxM 개의 베이스 행동 데이터를 생성하는 것을 도시한 도면이다.

도 6과 같이 가상 학습데이터 생성기는 NxM 개의 베이스 행동 데이터, 그리고 상기 NxM 개의 베이스 행동 데이터의 매개변수를 조절하여 하나 이상의 추가 행동 데이터를 생성함으로써, 소수의 기초 데이터로부터 대규모의 학습 데이터를 얻을 수 있다.

자율학습 장치(1)는 실패 상황을 유발하는 조건을 찾고 새로운 학습데이터를 생성하는데 단계(S410 내지 S450)를 통해 행동 데이터를 생성하는 과정을 활용할 수 있다.

다시 도 3을 참조하면, 가상 학습데이터 생성기는 행동 인식 대상을 반영한 행동 인식 학습용 데이터베이스를 구축하기 위해 베이스 신체 데이터를 이용한다. 상기 베이스 신체 데이터는 데이터 세트로 생성되어 이용될 수 있다.

일 실시예에서, 베이스 신체 데이터는 행동 인식 학습용 데이터베이스 가상 학습데이터 생성 요청 이전에 캐릭터 생성 모델(20)에 의해 생성된다.

도 7은, 본 발명의 일 실시예에 따른, 베이스 신체 데이터를 생성하는 과정을 설명하기 위한 흐름도이다.

단계(S710)에서, 참조용 신체 정보를 3D 스캐너를 통해 획득한다. 상기 참조용 신체 특성 정보가 획득되는 신체는 상기 단계(S410)의 구현자와 상이할 수 있다.

일 실시예에서, 복수의 사람으로부터 신체정보를 획득하고(S710), 득된 신체 정보 및 미리 저장된 골격 구조 정보에 기초하여 신체의 외형에 골격을 연관시키는, 리깅(rigging) 처리를 수행한다(S730).

상기 골격 구조 정보는 골격(skeleton)에 대한 복수의 관절(joint)에 대한 정보를 포함한다. 여기서, 하나의 관절은 크기(scale) 값, (예컨대, 관절의 좌표 값과 같은) 위치(translation) 값, (예컨대, 움직임 값과 같은) 회전(rotation) 값으로 표현된다. 일부 실시예에서, 상기 크기 값, 위치 값, 회전 값은 3차원으로 표현될 수 있다.

만약 신체가 점과 면으로 표현되어 디지털화된 경우, 점의 개수와 정렬 순서, 면의 개수와 정렬 순서가 동일하게 정렬되어야 한다. 나아가 신체가 관절로도 표현되어 디지털화된 경우, 관절의 개수와 순서 또한 동일하게 정렬되어야 한다. 이와 같이 신체정보를 모두 동일하게 정렬하면 캐릭터 모델 생성 과정을 키, 팔 길이, 허리 둘레 등으로 매개변수화 할 수 있다.

캐릭터 생성 모델(20)은 신체를 메쉬 처리하여 메쉬 구조를 산출한다. 이 과정에서 메쉬 처리하는 과정에서 산출된 신체 외형을 표현하는 점의 개수, 위치, 순서, 그리고 면의 개수, 위치 순서에 대한 정보가 획득된다.

그러면 캐릭터 생성 모델(20)은 메쉬 구조 및 골격 구조에 기초하여 각각의 리깅 처리된 데이터가 점의 개수와 정렬 순서, 면의 개수와 정렬 순서, 및 관절의 개수와 정렬 순서가 서로 매칭하도록 정렬하고, 베이스 신체 데이터 세트를 생성한다(S730).

그 후, 복수의 베이스 신체 데이터 세트는 서로 동일한 메쉬 구조, 골격 구조를 갖도록 구성되어 신체의 부위가 의미로 구별되도록 매개변수화(parameterization)된다(S750).

일 실시예에서, 캐릭터 생성 모델(20)은 리깅 처리 이후, 신체의 메쉬 구조 및/또는 골격 구조를 매개변수화한다(S750). 이로 인해, 매개변수화된 베이스 신체 데이터 세트가 생성된다. 그러면, 베이스 신체 데이터 세트는 신체의 메쉬 구조 및/또는 골격 구조와 관련된 매개변수 값을 가지며, 각 매개변수 값의 조절로 인해 신체의 메쉬 구조 및/또는 골격 구조가 제어되어, 결국 각 매개변수 값에 대응하는 다양한 캐릭터를 얻을 수 있다.

전술한 캐릭터 생성 모델(20)의 동작(S810 내지 S850)은 메쉬 구조 및 골격 구조와 같은 신체 구조에 제한되지 않는다. 즉, 캐릭터 생성 모델(20)은 사람의 외관(appearance)와 관련된 데이터를 매개변수화할 수 있다.

예를 들어, 신체 정보가 색상, 형태 등을 포함하는 경우, 신체별 색상, 형태에 대해서도 복수의 베이스 신체 데이터가 매칭되도록 정렬되고, 나아가 매개변수화될 수 있다. 그러면, 색상, 형태에 대한 매개변수 값을 조절하여 색상 및/또는 형태가 제어된 캐릭터를 또한 얻을 수 있다.

일 실시예에서, 자율학습 장치(1)는 위와 같은 캐릭터를 생성하는 과정을 실패 상황을 유발하는 조건을 찾고 새로운 학습데이터를 생성하는데 활용할 수 있다.

다시 도 3을 참조하면, 베이스 환경 생성 모델(10)은 베이스 환경 데이터를 생성한다. 상기 베이스 환경 데이터는 동작이 나타나는 장소에 대한 베이스 데이터 세트로 사용된다. 이로 인해, 가상 학습데이터 생성기는 행동 인식 환경을 반영한 가상 학습데이터를 생성하고, 또한 가상 학습데이터를 포함한 데이터베이스를 구축하기 위해 베이스 환경 데이터를 이용한다. 여기서, 환경(Environment)은 동작 주체의 주변 공간(예컨대, 배경(Background)) 및 조명 변화와 같은 주변환경(Circumstance)을 포함한다.

도 8은, 본 발명의 일 실시예에 따른, 베이스 환경 데이터를 생성하는 과정을 설명하기 위한 흐름도이다.

도 8을 참조하면 베이스 환경 데이터의 생성 과정은 베이스 신체 데이터의 생성 과정과 유사하다.

우선, 실제 주거 환경 등 다양한 환경을 스캔 또는 모델링하여 참조용으로 환경 기초 정보를 생성한다(S810). 상기 환경 기초 정보는 3차원 이미지 센서, 깊이센서(depth sensor) 등을 통해 획득된 원시 데이터, 또는 원시 데이터로부터 구현된 배경 기초 모델을 포함한다.

상기 환경 기초 정보를 생성하기 위한 참조 환경은 복수일 수 있다. 이 경우, 복수의 베이스 환경 데이터 세트가 생성될 수 있다.

일 실시예에서, 상기 참조 환경은 베이스 행동 데이터의 장소와 관련있을 수 있다. 예를 들어, 참조 환경은 베이스 행동 데이터의 하나 이상의 하위 공간(예컨대, 거실, 주방, 침실, 등)을 공간 개념적으로 포함하는 상위 개념의 공간(예컨대, 집)일 수 있다.

베이스 환경 생성 모델(30)은 상기 환경을 다양한 제어 설정이 가능하도록 상기 환경을 고도화한다(S830). 상기 환경의 고도화는 하나 이상의 인식 환경 특성을 참조 환경과 관련시키는(relates) 것을 포함한다. 일 실시예에서, 참조 환경은 관련된 인식 환경 특성에 기초하여 매개변수화된다. 그러면, 각 매개변수의 값을 제어하면 인식 환경 특성이 변형된 3차원 환경을 얻을 수 있다.

인식 환경 특성은 환경을 설명하는 요소로서, 일 실시예에서, 배경 및 주변환경에 관련된 요소를 포함한다. 이들 요소는 관측자의 영향을 상대적으로 받지 않는, 절대적 인식 환경 특성으로 지칭될 수 있다. 예를 들어, 조명, 대상이 존재하는 공간(예컨대, 장소) 등을 포함할 수 있다.

한편, 동일한 환경에서도 관측자에 따라 상이한 환경으로 표현될 수 있다. 일 실시예에서, 인식 환경 특성은 관측자와 관련된 요소를 더 포함할 수 있다. 예를 들어, 촬영 시야, 촬영 속도, 촬영 각도, 촬영 거리 등을 포함할 수 있다.

예를 들어, 절대적 인식 환경 특성이 참조 환경에 관련된 경우, 베이스 환경 생성 모델(10)은 단계(S810)의 환경 기초 정보(예컨대, 배경 기초 모델)를 조명 조절 및/또는 공간 분할이 가능한 구조로 재구성함으로써, 상기 환경을 적어도 조명 및/또는 공간에 대한 항목으로 제어 설정 가능하도록 고도화한다(S830). 즉, 참조 환경이 다수의 인식 환경 특성과 관련되면서, 각 인식 환경 특성을 매개변수로 갖는, 일종의 매개변수화 동작이 수행된다. 그러면, 각 매개변수 값의 조절로 인해 참조 환경에 대한 인식 환경 특성이 제어되어, 결국 각 매개변수 값에 대응하는 다양한 환경 데이터를 얻을 수 있다. 예를 들어, 조명 특성이 매개변수화된 경우, 동일한 공간에 대해서 다양한 조명을 갖는 다양한 환경 데이터를 얻을 수 있다.

따라서, 베이스 환경 생성 모델(30)은 연관된 인식 환경 특성에 기초하여 매개변수화된 베이스 환경 데이터 세트를 생성한다(S850).

이와 같이, 환경 기초 정보의 인식 환경 특성으로 참조 환경을 고도화함으로써, 각각의 환경 기초 정보를 상기 제어 설정에 매칭하도록 구성할 수 있다.

그 결과 사용자가 원하는 제어 설정을 베이스 환경 데이터 세트에 포함된 매개변수화된 값을 통해 구현할 수 있다. 예를 들어, 조명 특성 및/또는 공간 특성이 매개변수화된 경우, 이후 이들 특성의 일부 또는 전부에 대한 매개변수를 변경함으로써 특성 값이 변화된 환경을 구현할 수 있다.

일 실시예에서, 자율학습 장치(1)는 위와 같은 과정을 실패 상황을 유발하는 조건의 매개변수를 찾고, 새로운 학습 데이터를 생성하는데 활용할 수 있다.

가상 학습데이터 생성기는 베이스 행동 데이터, 베이스 신체 데이터 및 베이스 환경 데이터를 이용하여 사용자가 원하는 행동 인식 대상(즉, 동작 주체), 사용자가 원하는 행동으로서 동작, 및/또는 사용자가 원하는 행동이 나타나는 환경(예컨대, 공간 및 주변환경의 조합)이 반영된 가상의 이미지로 표현될 수 있는 가상의 학습 동영상을 생성하고, 나아가 가상 학습데이터를 생성할 수 있다.

도 9는, 본 발명의 일 실시예에 따른, 가상 학습데이터 생성기가 가상 학습데이터를 생성하는 과정의 흐름도이다.

도 9를 참조하면, 가상 학습데이터 생성기는 가상 학습데이터 생성 요청을 수신한다(S910). 상기 가상 학습데이터 생성 요청은 사용자의 입력 또는 사용자 단말로부터의 통신을 통해 수신된다.

상기 가상 학습데이터 생성 요청은 인식 환경 특성, 인식 대상 특성, 행동 인식 대상의 특정 동작(세트)을 특정 행동으로 연관시키는 인식 성능 범위와 관련된 인식 행동 특성, 행동 인식 대상의 행동을 인식하는 관측자(예컨대, 인식 모델이 장착되는 인식 장치)와 관련된 관측 특성 중 하나 이상을 포함할 수 있다.

가상 학습데이터 생성기는 가상 학습데이터 생성 요청에 포함된 인식 환경 특성에 기초하여 3차원 환경 모델을 생성한다(S920). 상기 인식 환경 특성은 행동 인식 환경의 배경 특성, 조명 특성, 색상 특성, 공간 특성 중 하나 이상을 포함한다.

여기서, 배경 특성은 사용자가 원하는 행동 인식 환경을 3차원 렌더링한 모델과 관련된 특성을 포함하며, 행동 인식 환경의 공간 특성은 사용자가 원하는 행동 인식 환경의 전체 또는 일부 공간과 관련된 특성을 포함하며, 조명 특성은 사용자가 원하는 환경에서의 조명과 관련된 특성(예컨대, 조명 레벨, 조명 조도, 조명 휘도), 색상 특성은 사용자가 원하는 색상과 관련된 특성을 포함한다.

여기서, 배경 특성의 환경과 베이스 행동 데이터의 장소는 서로 상이한 개념이다. 배경 특성의 환경은 행동 인식 성능을 기계학습하려는 환경(예컨대, 인식 모델 설치 장소 등)과 관련되며, 베이스 행동 데이터의 장소는 행동을 인식하기 위한 행동 인식 대상의 동작을 세분화하는 기준과 관련된다.

일부 실시예에서, 색상 특성은 환경 모델을 이루는 모델 구성요소에 대한 색상을 포함하며, 여기서 모델 구성요소는 내부 인테리어, 벽지, 전등, 가구, 문, 창문, 바닥 등 공간을 구성하는 다양한 구성요소를 포함한다.

일부 실시예에서, 조명 특성은 시간대별로 조명 레벨이 변하는 것을 포함할 수 있다.

가상 학습데이터 생성기는 인식 환경 특성 중 적어도 일부 특성(예컨대, 배경 특성, 인식 환경 특성, 조명 특성 등)에 매칭하는 특성을 갖는 베이스 환경 데이터를 검색하고, 검색된 베이스 환경 데이터 그리고 가상 학습데이터 생성 요청의 다른 인식 환경 특성(예컨대, 색상 특성)에 기초하여 사용자가 원하는 행동 인식 환경을 3차원으로 구성한 행동 인식 환경 모델을 생성한다. 상기 행동 인식 환경 모델은 가상 학습데이터 생성 요청에 포함된 환경을 렌더링하여 360도 회전 가능한 3차원 모델일 수 있다.

단계(S920)에서, 인식 환경 특성에 매칭하는 특성을 갖는 베이스 환경 데이터의 검색은 베이스 환경 데이터를 구축하는 과정에서 매개변수화된 인식 환경 특성에 기초하여 수행된다.

도 10a 및 도 10b는, 본 발명의 일 실시예에 따른, 행동 인식 환경 정보에 기초한 3차원 모델을 설명하기 위한 도면이다.

도 10을 참조하면, 가상 학습데이터 생성기는 사용자가 원하는 환경 모델(도 10에 도시된 집)에서 공간 설정(도 10a의 거실, 도 10b의 주방), 및 동일한 공간에서 시간대별로 상이한 조명이 해당 공간에 조사되는 것을 3차원으로 표현한 환경 모델을 생성할 수 있다. 도 10에서 시간의 흐름에 따른 3차원 환경 모델은 조명의 매개변수를 변경하여 생성할 수 있다.

일부 실시예에서, 색상 특성이 도 10의 환경 모델에 포함된 모델 구성요소에 대한 색상을 포함하는 경우, 도 10a 및 도 10b와 같이 모델 구성요소별로 다양한 색상을 갖는 환경 모델이 생성된다.

이와 같이, 가상 학습데이터 생성기는 학습데이터에 반영될 사용자가 원하는 다양한 환경을 생성할 수 있다.

일 실시예에서, 상기 가상 학습데이터 생성 요청이 실패 초래 요건을 포함한 경우, 실패 초래 요건에 대응하는 인식 환경 특성을 매개변수로 조절하여, 실패 초래 요건과 관련된 환경 모델을 생성할 수 있다.

가상 학습데이터 생성기는 가상 학습데이터 생성 요청에 포함된 인식 대상 특성에 기초하여 3차원으로 구성된 인식 학습용 캐릭터를 생성한다(S930).

일 실시예에서, 인식 대상은 행동 인식을 학습하기 위한 대상을 포함한다. 이 경우, 인식 대상 특성은 상기 인식 대상을 정의하는 요소로서, 예를 들어, 키, 몸무게, 체형, 성별, 머리 길이, 피부 색, 의류 종류, 의류 색상 등을 포함할 수 있다.

일 실시예에서, 가상 학습데이터 생성기는 인식 대상 특성의 적어도 일부 특성에 매칭하는 특성을 갖는 베이스 신체 데이터 세트를 검색하고, 상기 매칭된 베이스 신체 데이터 세트 및/또는 인식 대상 특성에 기초하여 상기 인식 대상에 대응하는 캐릭터(즉, 인식 학습용 캐릭터)를 생성한다(S930).

일 실시예에서, 행동 인식 대상 정보에 매칭하는 베이스 신체 데이터가 검색되는 경우, 가상 학습데이터 생성기는 검색된 베이스 신체 데이터를 이용하여 베이스 신체 데이터의 신체가 구현된, 인식 학습용 캐릭터를 생성한다. 여기서, 인식 대상 특성과 매칭하는 특성을 갖는 베이스 신체 데이터는 인식 대상 특성에 포함된 특성 중 항목과 값이 동일한 것을 나타낸다.

상기 동일 여부는 베이스 신체 데이터가 매개변수화된 정보에 기초하여 판단될 수 있다.

예를 들어, 인식 대상 특성이 키(예컨대, 180cm)를 갖고 베이스 신체 데이터 중에서 동일한 키(즉, 180cm)를 갖는 사람의 신체 정보로부터 생성된 베이스 신체 데이터가 있는 경우, 가상 학습데이터 생성기는 특성 항목(즉, 키) 및 값(180cm)을 갖는 상기 베이스 신체 데이터를 검색하고, 검색된 베이스 신체 데이터를 이용하여 인식 학습용 캐릭터를 생성한다.

다른 일 실시예에서, 행동 인식 대상 정보에 매칭하는 베이스 신체 데이터가 검색되지 않는 경우, 가상 학습데이터 생성기는 유사 매칭하는 베이스 신체 데이터를 검색한 뒤, 상기 유사 매칭된 베이스 신체 데이터를 이용하여 행동 인식 대상 정보가 구현된 인식 학습용 캐릭터를 생성한다. 여기서, 유사 매칭하는 베이스 신체 데이터는 베이스 신체 데이터가 행동 인식 대상 정보에 포함된 정보 중 항목은 일치하나 값이 상이한 것으로서, 일부 실시예에서, 유사 매칭하는 베이스 신체 데이터는 값의 차이가 최소 값을 갖는 최소 베이스 신체 데이터 및 미리 설정된 순위의 낮은 값을 갖는 베이스 신체 데이터일 수 있다. 상기 순위는 신체 정보가 매칭되지 않는 경우 매칭되는 캐릭터를 생성하는데 요구되는 베이스 신체 데이터 세트의 개수에 의존하며, 예를 들어, 상기 요구되는 개수가 2개인 경우, 상기 순위는 2순위일 수 있다.

상기 실시예에서, 가상 학습데이터 생성기는 동일한 항목에서 행동 인식 대상 정보의 값, 그리고 유사 매칭된 베이스 신체 데이터의 값에 기초하여 인식 학습용 캐릭터를 생성한다.

예를 들어, 제1 키(예컨대, 180cm), 및 제2 키(예컨대, 160cm)인 신체로부터 생성된 베이스 신체 데이터가 있고, 행동 인식 대상 정보의 키(예컨대, 170cm)에 매칭하는 베이스 신체 데이터가 없는 경우, 제1 키와 관련된 제1 베이스 신체 데이터 및 제2 키와 관련된 제2 베이스 신체 데이터의 값의 차이가 50:50 비율의 값(즉, 중간 값)을 갖는 신체 데이터를 산출함으로써 (예컨대, 제1 베이스 신체 데이터의 메쉬 구조 및 제2 베이스 신체 데이터의 메쉬 구조의 중간 값, 제1 베이스 신체 데이터의 골격 구조 및 제2 베이스 신체 데이터의 골격 구조의 중간 값으로부터 산출됨) 행동 인식 대상이 반영된 인식 학습용 캐릭터를 생성한다.

다른 일 실시예에서, 행동 인식 대상 정보에 매칭하는 베이스 신체 데이터가 검색되지 않는 경우, 가상 학습데이터 생성기는 유사 매칭하는 베이스 신체 데이터를 검색한 뒤, 상기 유사 매칭된 베이스 신체 데이터를 이용하여 행동 인식 대상 정보가 구현된 인식 학습용 캐릭터를 생성한다. 여기서, 유사 매칭하는 베이스 신체 데이터는 베이스 신체 데이터가 행동 인식 대상 정보에 포함된 정보 중 항목은 일치하나 값이 상이한 것으로서, 일부 실시예에서, 유사 매칭하는 베이스 신체 데이터는 값의 차이가 최소 값을 갖는 최소 베이스 신체 데이터 및 미리 설정된 순위의 낮은 값을 갖는 베이스 신체 데이터일 수 있다. 상기 순위는 신체 정보가 매칭되지 않는 경우 매칭되는 캐릭터를 생성하는데 요구되는 베이스 신체 데이터 세트의 개수에 의존하며, 예를 들어, 상기 요구되는 개수가 2개인 경우, 상기 순위는 2순위일 수 있다.

도 11a 및 도 11b는, 본 발명의 일 실시예에 따른, 베이스 신체 데이터에 기초하여 생성된 학습용 캐릭터를 도시한 도면이다.

베이스 신체 데이터의 매개변수를 조절하면, 도 11에 도시된 바와 같이, 스케일이 변화된 하나 이상의 캐랙터를 획득할 수 있다.

이와 같이, 가상 학습데이터 생성기는 참조용 베이스 신체 데이터 세트 보다 더 많은 학습용 캐릭터를 생성할 수 있다.

다시 도 9를 참조하면, 가상 학습데이터 생성기는 가상 학습데이터 생성 요청에 포함된 인식 행동 특성에 기초하여 상기 인식 학습용 캐릭터가 상기 인식 행동 특성에 포함된 행동을 하는 일련의 데이터 세트를 생성한다(S940). 상기 일련의 데이터 세트는 캐릭터 동작 세트로 지칭될 수 있으며, 이는 3차원 캐릭터의 연속된 동작을 나타낸다.

도 12는, 본 발명의 일 실시예에 따른, 인식 대상과 관련된 인식 행동 특성을 설명하기 위한 도면이다.

일 실시예에서, 가상 학습데이터 생성 요청의 인식 행동 특성은 하나 이상의 행동을 포함하며, 복수의 행동을 포함하기 때문에 시나리오로 지칭될 수 있다. 이러한 시나리오는 행동 인식 모델을 학습하는데 있어 필요한 행동을 포함하며, 행동 인식 모델의 성능 범위와 관련된다. 행동 인식 학습용 데이터베이스를 이용하여 기계학습하는 애플리케이션은 시나리오에 포함된 행동을 인식하는데 강인한 성능을 가진다.

상기 시나리오는 장소에 따른 행동을 하나 이상 포함한다. 예를 들어, 도 12에 도시된 바와 같이, 상기 시나리오는 거실의 식탁에서 수저/포크로 음식을 집어먹는 행동, 화장대에서 물/음료를 컵에 따르는 행동, ….. , 거실에서 눕는 행동과 같이, 6개의 상이한 장소에 따른 각 장소별 55개의 행동의 조합인 총 330개의 장소에 따른 행동 중 하나 이상을 포함할 수 있다.

일 실시예에서, 시나리오는 도 12에 도시된 바와 같이 중복된 행동을 포함하지 않도록 구성될 수 있다. 그러나, 이에 제한되지 않으며, 가상 학습데이터 생성기는 중복된 행동을 포함하도록 구성된 시나리오를 수신할 수도 있다.

도 12의 노란색 셀에 해당되는 장소에 따른 행동들을 포함한 시나리오를 포함하는 가상 학습데이터 생성 요청은 제1 장소 식별자로서 거실의 식탁을 나타내는 식별자 및 제1 행동 식별자로서 수저/포크로 음식을 집어먹는 행동을 나타내는 식별자를 포함한 제1 식별자 세트, 제2 장소 식별자로서 화장대를 나타내는 식별자 및 제2 행동 식별자로서 물/음료를 컵에 따르는 행동을 나타내는 식별자를 포함한 제2 식별자 세트 등을 포함하여 총 55개의 식별자 세트를 포함한다.

일 실시예에서, 상기 시나리오는 사용자가 미리 설정된 장소 중 하나 이상을 선택하는 입력 및 미리 설정된 행동 중 하나 이상을 선택하는 입력에 기초하여 생성될 수 있다.

가상 학습데이터 생성기는 행동 인식 학습용 동작 데이터를 생성하기 위해 상기 요청에 연관된 베이스 행동 데이터를 검색한다.

가상 학습데이터 생성기는 베이스 행동 데이터에 포함된 행동 식별자 및 장소 식별자에 기초하여 상기 행동 식별자 및 장소 식별자에 매칭하는 베이스 행동 데이터의 행동 식별자 및 장소 식별자를 검색하고, 상기 매칭된 행동 식별자 및 장소 식별자를 포함한 베이스 행동 데이터를 상기 요청에 연관된 베이스 행동 데이터로 검색할 수 있다(S940).

일부 실시예에서, 가상 학습데이터 생성기는 베이스 행동 데이터 저장소에 미리 저장된 베이스 행동 데이터 중에서 상기 요청에 연관된 베이스 행동 데이터를 검색한다.

가상 학습데이터 생성기는 인식 학습용 캐릭터 및 검색된 베이스 행동 데이터에 기초하여 인식 학습용 캐릭터가 상기 시나리오에 포함된 장소에 따른 행동을 구현하는 동작으로 이루어진 캐릭터 동작 세트를 생성한다(S940).

일 실시예에서, 가상 학습데이터 생성기는 인식 학습용 캐릭터를 검색된 베이스 행동 데이터에 적용하여 캐릭터 동작 세트를 생성한다(S940).

전술한 바와 같이, 베이스 행동 데이터와 인식 학습용 캐릭터는 골격 내 하나 이상의 관절에 대한 정보(또는 데이터)를 포함하며, 상기 관절은 크기(scale) 값, (예컨대, 관절의 좌표 값과 같은) 위치(translation) 값, (예컨대, 움직임 값과 같은) 회전(rotation) 값으로 표현된다.

일 실시예에서, 가상 학습데이터 생성기는 상기 회전 값에 기초하여 검색된 베이스 행동 데이터에 인식 학습용 캐릭터를 적용한다. 예를 들어, 베이스 행동 데이터 내 특정 관절과 인식 학습용 캐릭터 내 대응하는 특정 관절에 있어서, 인식 학습용 캐릭터의 회전 값을 이전 회전 값에서 베이스 행동 데이터 내 관절의 회전 값으로 변환한다 (즉, 덮어 씌운다).

또한, 이 과정에서 인식 학습용 캐릭터의 위치 값, 크기 값은 변환되지 않도록 적용 동작이 수행될 수 있다. 예를 들어, 인식 학습용 캐릭터의 위치 값, 크기 값에 대해서는 락(lock) 처리가 더 적용될 수 있다. 이와 같은 적용 동작에 의해, 사용자가 원하는 인식 학습용 캐릭터에 대한 신체(키와 골격)을 유지하면서, 원하는 동작을 구현하는 동작 세트를 얻을 수 있다.

다시 도 9를 참조하면, 가상 학습데이터 생성기는 단계(S920 및 S940)의 결과물, 예컨대, 행동 인식 환경 모델 및 캐릭터 동작 세트를 합성하여 사용자가 원하는 환경에서 원하는 인식 대상이 원하는 행동을 하는 것을 포함한 동영상을 생성할 수 있다(S950). 상기 동영상은 가상의 캐릭터가 가상의 3차원 환경에서 동작을 구현하는 비디오로서, 가상 학습데이터를 생성하는데 사용될 수 있다.

상기 동영상은 캐릭터의 동작은 장소 등에 관련된 행동을 나타내므로, 상기 동영상애서는 도 4를 참조하여 전술한 행동 데이터가 나타난다. 동영상에 포함된 프레임이 행동 데이터에 대응하는 이미지일 수 있다.

이와 같이, 상기 가상의 동영상이 학습을 위한 행동 데이터를 나타내므로, 상기 가상의 동영상은 학습 동영상으로 지칭될 수 있다.

도 13은 본 발명의 일 실시예에 따른, 학습 동영상의 일부를 도시한 도면이다.

도 13을 참조하면, 가상 학습데이터 생성기가 거실과 관련된 인식 환경 특성을 포함한 가상 학습데이터 생성 요청을 수신한 경우, 도 13의 3차원 환경 모델을 행동 인식 환경 모델로 생성할 수 있다(S920). 여기서, 상기 인식 환경 특성은 공간 특성으로 거실, 모델 구성요소로 소파 등을 포함할 수 있다.

또는 상기 인식 환경 특성이 조명과 관련된 인식 환경 특성을 포함한 가상 학습데이터 생성 요청을 수신한 경우, 조명의 매개변수가 조절 가능한 행동 인식 환경 모델을 생성할 수 있다.

또한, 가상 학습데이터 생성기는 성별, 키, 의류 유형, 의류 색상 등을 포함한 인식 대상 특성을 포함하는 가상 학습데이터 생성 요청을 수신하는 경우, 상기 인식 대상 특성에 기초한 3차원 캐릭터를 행동 인식 환경 모델로 생성할 수 있고(S930), 상기 가상 학습데이터 생성 요청에 포함된 상기 시나리오에 거실에서 핸드폰을 사용하는 행동이 포함된 경우, 거실 식별자 및 핸드폰을 사용하는 행동 식별자를 포함한 베이스 행동 데이터를 검색한 뒤, 인식 학습용 캐릭터에 검색된 베이스 행동 데이터의 동작 데이터를 적용함으로써, 같이 인식 학습용 캐릭터가 거실에서 핸드폰을 사용하는 행동을 베이스 행동 데이터의 동작으로 구현하는 캐릭터 동작 세트를 생성하고(S940), 상기 행동 인식 환경 모델 및 캐릭터 동작 세트를 합성하여 도 13에 도시된 바와 같은 학습 동영상을 생성할 수 있다(S950).

또한, 도 13를 참조하면, 가상 학습데이터 생성기가 주방과 관련된 인식 환경 특성을 포함한 가상 학습데이터 생성 요청을 수신한 경우, 도 13의 3차원 환경 모델을 행동 인식 환경 모델로 생성할 수 있다(S920). 여기서, 상기 인식 환경 특성은 공간 특성으로 주방, 주방을 이루는 모델 구성요소(싱크대, 주방 수납장, 식탁 등)을 포함할 수 있다.

또한, 가상 학습데이터 생성기는 성별, 키, 의류 유형, 의류 색상 등을 포함한 인식 대상 특성을 포함하는 가상 학습데이터 생성 요청을 수신하는 경우, 상기 인식 대상 특성에 기초한 3차원 캐릭터를 행동 인식 환경 모델로 생성할 수 있고(S930), 상기 가상 학습데이터 생성 요청에 포함된 시나리오에 주방에서 음식물을 써는 행동이 포함된 경우, 주방 식별자 및 음식물을 써는 행동 식별자를 포함한 베이스 행동 데이터를 검색한 뒤, 인식 학습용 캐릭터에 검색된 베이스 행동 데이터의 동작 데이터를 적용함으로써, 도 13에 도시된 바와 같이 인식 학습용 캐릭터가 주방에서 음식물을 써는 행동을 구현하는 캐릭터 동작 세트를 생성하고(S940), 상기 행동 인식 환경 모델 및 캐릭터 동작 세트를 합성하여 도 13에 도시된 바와 같은 학습 동영상을 생성할 수 있다(S950).

일 실시예에서, 가상 학습데이터 생성기는 학습 동영상에 관측 특성을 더 적용하여 인식 모델의 개선에 사용할 학습 동영상을 생성한다. 이 경우, 학습 동영상은 관측 특성에 기초하여 행동 인식 환경 모델 및 캐릭터 동작 세트를 합성하여 생성된 가상의 동영상의 일부분을 추출함으로써 생성된다.

여기서, 관측 특성은 행동 인식을 기계학습하는 관측자(예컨대, 행동 인식 장치)의 행동 인식 성능에 영향을 미치는 특성으로서, 예를 들어, 관측자가 행동 인식을 위해 사용하는 인식 유형(예컨대, 적외선, 가시광선, 열, 적외선, 깊이, 2차원, 3차원), 관측자의 시점을 나타내는 관측 시점, 시야 범위 등을 포함한다. 여기서, 관측 시점은 관측자의 시점을 나타내는 좌표, 및 관측자의 관측 방향을 포함할 수 있으며, 시야 범위는 상기 시점을 기준으로 설정된 각도 정보를 포함할 수 있다.

도 14a 및 도 14b는, 본 발명의 일 실시예에 따른, 인식 유형에 따른 학습데이터를 설명하기 위한 도면이다.

도 14a를 참조하면, 인식 유형으로 깊이(depth)를 포함한 관측 특성이 학습 동영상에 적용되는 경우, 도 14a의 프레임을 포함한 학습 동영상이 생성된다(S950).

반면, 도 14b를 참조하면, 인식 유형으로 가시광선을 포함한 관측 특성이 도 14a와 동일한 학습 동영상에 적용되는 경우, 도 14b과 같은 색상이 표현된 프레임을 포함한 학습 동영상이 생성된다(S950).

도 15a 내지 도 15c는, 본 발명의 일 실시예에 따른, 관측 시점에 따른 학습데이터를 설명하기 위한 도면이다.

단계(S950)에서 하나 이상의 관측 특성에 기초하여 하나 이상의 학습 동영상이 생성될 수 있다. 인식 학습용 캐릭터가 침실을 들어와서 화장대에 앉아 거울을 보고 다시 나가는 하나의 학습 동영상이 생성된 이후 서로 다른 관측 시점이 적용되는 경우, 관측 시점의 개수에 대응하는 학습 동영상이 생성된다(S950).

예를 들어, 상기 침실 관련 학습 동영상에 침실 입구의 대각선 벽면 상부에 위치한 제1 관측 시점이 적용되는 경우, 도 15a에 도시된 프레임으로 이루어진 제1 학습 동영상이 생성된다.

또한, 동일한 침실 관련 학습 동영상에 침실 입구의 옆 벽면 상부에 위치한 제2 관측 시점이 적용되는 경우, 도 15b에 도시된 프레임으로 이루어진 제2 학습 동영상이 생성된다. 또는, 침실 천장에서 입구를 바라보는 제3 관측 시점이 적용되는 경우, 도 15c에 도시된 프레임으로 이루어진 제3 학습 동영상이 생성된다.

이와 같이, 단계(S950)에서는 관측 특성에 따라 상이한 학습 동영상이 생성될 수 있다. 이러한 관측 특성이 반영된 학습 동영상의 이미지(예컨대, 프레임)를 인식을 위한 학습데이터로 사용하면, 행동 인식 서비스를 제공하는 인시 장치의 성능이 극대화된다.

예를 들어, 로봇 청소기의 경우 소형화되어 판매되므로, 사람의 행동을 수신하는 관측 기기의 시점이 일반적으로 지면으로부터 낮게 구성된다. 이러한 로봇 청소기의 행동 인식 성능을 위한 기계 학습에 있어서는, 낮은 관측 시점이 적용된 학습데이터가 이용될수록 높은 인식 성능을 가진다.

반면, CCTV의 경우 넓은 시야 각을 위해, 사람의 행동을 수신하는 관측 기기(예컨대, 촬영기)는 일반적으로 지면으로부터 높은 곳에 구성된다. 이러한 CCTV의 행동 인식 성능을 위한 기계 학습에 있어서는, 높은 관측 시점이 적용된 학습데이터가 이용될수록 높은 인식 성능을 가진다. 예를 들어, 도 17의 학습 동영상이 CCTV의 행동 인식에 활용될 경우, CCTV의 장착 위치를 고려하여 대응하는 학습 동영상이 각 CCTV의 기계 학습에 활용되고, 각 CCTV의 행동 인식 성능이 극대화된다.

가상 학습데이터 생성기는 학습 동영상에 기초하여 학습 샘플을 생성한다(S960). 상기 학습 샘플은 단계(S950)의 가상의 동영상 이미지로부터 획득된다. 일 실시예에서, 상기 학습 샘플이 가상 학습데이터일 수 있다.

일 실시예에서, 학습 샘플은 상기 학습 동영상 내 인식 학습용 캐릭터의 동작을 수치화한 동작 샘플 데이터를 포함한다. 이를 위해, 가상 학습데이터 생성기는 상기 인식 학습용 캐릭터의 동작에서 관절 좌표를 추출한다.

예를 들어, 가상 학습데이터 생성기는 단계(S930)의 리깅 처리에서 사용된 골격 및 관절 정보(예컨대, 골격 구조)에 기초하여 인식 학습용 캐릭터의 동작에서의 골격 및/또는 관절과 관련된 인식 학습용 캐릭터의 관절 좌표를 추출한다.

그 후, 추출된 관절 좌표에 기초하여 인식 학습용 캐릭터의 동작을 수치화한 동작 샘플 데이터를 생성한다.

일 실시예에서, 상기 인식 학습용 캐릭터의 행동은 프레임 단위의 동작 데이터로 수치화될 수 있다.

예를 들어, 캐릭터의 특정 행동은 연속된 동작으로 구성될 수 있다. 이 경우, 동작의 일 순간은 프레임으로 구성될 수 있어, 상기 특정 행동은 하나 이상의 프레임 단위의 동작 데이터 세트로 표현된다. 상기 프레임 중 제1 프레임에 있어서, 36개의 캐릭터의 포인트의 좌표를 산출함으로써 수치화될 수 있다.

일 실시예에서, 학습 샘플은 단계(S920)의 행동 인식 환경 모델을 생성하는데 사용된 인식 환경 특성을 더 포함할 수 있다. 예를 들어, 학습 샘플은 환경 모델과 관련된 인식 환경 특성의 매개변수를 포함할 수 있다.

또한, 학습 샘플은 단계(S950)에서 관측 특성이 사용된 경우, 적용된 관측 특성을 더 포함할 수 있다. 예를 들어, 학습 샘플은 관측 특성의 매개변수를 포함할 수 있다.

일 실시예에서, 단계(S960)에서 동일한 시나리오와 관련된 복수의 학습 샘플이 생성되면, 상기 복수의 학습 샘플은 세트화된다(S970). 이 학습데이터 세트는 시나리오의 행동과 관련되고, 관측자에 최적화된 가상 학습데이터로 이루어진다.

즉, 가상 학습데이터 생성기는 장소 식별자, 행동 식별자 및 이들의 조합 중 하나 이상에 기초하여 학습 샘플이 분류된 학습데이터 세트를 구축할 수 있다(S970).

그러면, 단계(S910 내지 S960)에서 학습 동영상을 생성하는데 사용된 매개변수의 값을 변경함으로써, 행동 인식과 관련된 다양한 데이터베이스를 상대적으로 간편하고 구축할 수 있다.

일 실시예에서, 단계(S910)에서 획득된, 인식 행동 특성에 기초하여 학습데이터를 분류하면, 행동 측면에서 분류된 학습데이터 세트를 획득할 수 있다.

예를 들어, 가상 학습데이터 생성기는 단계(S910)의 생성 요청에 포함된 인식 행동 특성의 행동 식별자에 기초하여, 제1 학습데이터 세트로서 고개숙여 인사하기, 제2 학습데이터 세트로서 글쓰기, 제3 학습데이터 세트로서 두손으로 얼굴비비기, 제4 학습데이터 세트로서 손을 좌우로 하기 등으로 각각 분류하고, 나아가 분류된 학습데이터 세트를 포함한 데이터베이스를 구축할 수 있다.

이러한 가상 학습데이터 생성기에 따르면, 행동 인식 학습용 데이터베이스를 준비하는데 걸리는 시간을 줄일 수 있다. 상기 시간 감소의 효과는 데이터베이스를 구축하고자 하는 대상의 수에 비례한다. 예를 들어, 1000명에 대한 시나리오의 행동을 구현하는 동작 데이터를 학습데이터로 얻고자 하는 경우, 종래의 경우 1000명이 모두 시나리오의 행동을 구현해야 했다. 반면, 본 발명에 따르면, 가상 학습데이터 생성기는 단지 3D 스캐너를 통해 획득된 소수(예컨대 10명)에 대한 신체 정보에 기초하여 인식 학습용 캐릭터를 생성하고, 상기 인식 학습용 캐릭터를 미리 저장된 베이스 행동 데이터에 적용함으로써 1000명이 각각 시나리오의 행동을 동작으로 구현하는 학습데이터를 얻을 수 있다.

또한, 본 발명은 기계 학습될 애플리케이션의 관측 특성을 고려하여 학습 동영상을 생성할 수 있어, 각각의 애플리케이션에 최적화된 학습데이터로 이루어진 행동 인식을 위한 가상 학습데이터를 생성할 수 있다. 또한, 이러한 가상학습 데이터로 이루어진 학습을 위한 데이터베이스도 구축할 수 있다.

다시 도 2를 참조하면, 자율학습 모듈(200)은 검출된 실패 유발 조건을 포함한 가상 학습데이터 생성 요청을 생성하고, 이 생성 요청을 상기 가상 학습데이터 생성기에 적용한다(S230). 그러면, 이러한 생성 요청에 응답하여 가상 학습데이터 생성기는 검출된 실패 유발 조건에 기초한 가상 학습데이터를 생성한다.

상기 자율학습 모듈(200)의 가상 학습데이터 생성 요청은 가상 학습데이터 생성기가 테스트된 인식 모델의 성능이 부족한 측면을 개선하기 위한 학습데이터를 생성하게 한다. 인식 모델이 이미 잘 작동하는 상황에서의 조건에 기초하여 가상 학습데이터를 생성하여 재-학습하는 것은 비효율적이다. 또한, 실제 환경과 가상 환경의 도메인 차이(domain gap)에 의해 인식 모델의 성능이 저하되는 문제가 발생할 수도 있다. 성능의 개선을 위해서는, 인식 모델이 실패하는 상황과 관련된 복수의 학습데이터가 요구된다. 따라서, 인식 모델이 실패하는 상황에서의 조건에 기초하여 재학습을 위한 가상 학습데이터가 생성된다.

자율학습 모듈(200)은 실패 유발 조건의 적어도 일부 매개변수만을 포함한 생성 요청을 생성할 수 있다.

일 실시예에서, 상기 가상 학습데이터 생성 요청은 실패 유발 조건의 적어도 일부의 매개변수를 포함한다. 또한, 상기 가상 학습데이터 생성 요청은 상기 가상 학습데이터 생성기가 가상 학습데이터를 생성하는데 요구되는 다른 특성의 매개변수를 더 포함할 수도 있다. 실패 유발 조건의 적어도 일부만으로는 가상 학습데이터 생성기의 학습 동영상을 생성할 수 없을 수 있기 때문이다.

일부 실시예에서, 상기 다른 특성의 매개변수는 실패 결과에 포함된 특성 정보일 수 있다. 이 경우, 생성 요청은 실패 결과 내에서 실패 유발 조건의 매개변수 및 비-실패 유발 조건의 매개변수를 포함한다.

자율학습 모듈(200)은 생성 요청에 포함된 매개변수 중 적어도 일부의 매개변수의 값을 변경하여 하나의 실패 결과와 관련된 다중 가상 학습데이터 생성 요청을 생성할 수 있다.

자율학습 모듈(200)은 상기 실패 유발 조건의 매개변수를 변경하여 가상 학습데이터 생성 요청을 생성하도록 더 구성된다. 자율학습 모듈(200)은 가상 학습데이터 생성기를 통해 생성요청에 포함된 매개변수 중 적어도 일부의 값을 변경하여 가상 학습데이터를 생성한다.

일 실시예에서, 자율학습 모듈(200)은 단계(S230)에서 검출된 실패 유발 조건의 적어도 일부의 매개변수의 값을 변경하여 하나 이상의 가상 학습데이터 생성 요청을 생성할 수 있다(S250). 예를 들어, 실패 유발 조건이 조도인 경우, 자율학습 모듈(200)은 가상 학습데이터 생성기에서 사용되는 조도의 매개변수가 하나 이상의 값을 갖도록 해당 매개변수를 변경한다. 그러면, 조도 값이 다양한 다수의 가상 학습데이터 생성 요청이 생성된다. 상기 생성 요청이 가상 학습데이터 생성기에 입력되면, 다양한 조도를 갖는 다수의 학습 동영상이 생성된다. 이어서 가상 학습데이터 생성기는 다수의 학습 동영상에서 조도의 인식 성능을 개선할 수 있는 복수의 가상 학습데이터를 생성할 수 있다.

자율학습 모듈(200)은 단계(S230)에서 검출된 매개변수를 변경하여 인식 모델의 성능이 약한 조건이 반영된 가상 학습데이터를 생성한다(S250).

자율학습 모듈(200)은 단계(S250)의 가상 학습데이터를, 인식 모델을 재-학습하기 위해, 인식 모듈(100)에 제공한다(S270).

인식 모듈(100)은 인식의 실패를 유발하는 조건이 피드백된 가상 학습데이터를 사용해 인식 모델의 매개변수를 업데이트한다. 인식 모듈(100)의 매개변수는 딥러닝 모델의 레이어에 포함된 노드의 가중치 등을 포함하며, 가상 학습데이터 생성기의 매개변수와는 상이하다.

일 실시예에서, 자율학습 장치(1)는 (예컨대, 자율학습 모듈(200)에 의해) 재-학습된 인식 모델의 테스트 결과에 기초하여, 다음 개선을 위한 가상 학습데이터의 수량을 결정할 수 있다. 예를 들어, 재-학습된 인식 모델에 테스트 데이터를 입력하여 성공 결과 및/또는 실패 결과를 획득하고, 실패 결과의 감소량 및/또는 성공 결과의 증가량을 산출한다. 실패 결과가 유의미하게 감소하거나 및/또는 성공 결과가 유의미하게 증가한 경우, 재-학습 이전에 단계(S250)에서 생성한 가상 학습데이터의 수량을 개선을 위한 가상 학습데이터의 수량으로 결정할 수 있다.

상기 결정된 수량은 인식 모델을 다른 측면에서 개선하기 위한 가상 학습데이터를 생성하는데 활용될 수 있다. 단계(S250)에서 매개변수의 값은 결정된 가상 학습데이터의 수량에 대응하여 변경된다. 그 결과, 결정된 수량의 가상 학습데이터가 생성되어, 재학습을 위해 활용된다.

이와 같이, 자율학습 장치(1)는 인식 모델의 개발 초기 단계에서 인식의 실패를 초래할 가능성이 있는 모든 변수를 예상하고 학습하는 것이 아니라, 우선 인식 모델을 초기 학습한 뒤, 해당 인식 모델이 활용될 환경에 맞게 적응적/선택적으로 학습을 수행할 수 있어, 학습에 소모되는 시간이 상대적으로 짧으면서 높은 인식 성능을 갖는 인식 모델을 얻을 수 있다. 자율학습 장치(1)는 실패 사례로부터 개선을 위해 자체적으로 학습하는, 자율형 피드백 학습을 수행할 수 있다.

상기 그래프 생성 장치가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 그래프 생성 장치는 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.

본 발명의 다른 일 측면에 따른 학습된 기계학습 모델의 성능을 개선하기 위한 가상 학습데이터 생성 방법은 프로세서를 포함한 컴퓨팅 장치에 의해 수행된다. 상기 방법은 자율학습 장치(1)의 일부 또는 전부에 의해 수행되는 단계(S110 내지 S270)를 포함한다.

일 실시예에서, 상기 방법은 자율학습 모듈(200)에 의해 수행되는 단계들(S210 내지 S270)의 일부 또는 전부를 포함할 수도 있다. 이 경우, 상기 방법은 인식 실패의 상황과 관련된 특성 정보를 포함한 하나 이상의 테스트 결과를 실패 결과로 획득하는 단계(S210), 획득된 실패 결과에 기초하여 상기 인식 모델의 인식 동작을 실패하게 한 실패 유발 조건을 검출하는 단계(S230), 실패 유발 조건에 연관된 매개변수를 갖는 가상 학습데이터를 생성하는 단계(S250)를 포함한다.

일 실시예에서, 단계(S250)는 도 3의 가상 학습데이터 생성기를 사용하여 가상 학습데이터를 생성한다.

상기 방법의 단계들은 자율학습 장치(1)의 설명과 유사하므로, 자세한 설명은 생략한다.

이상에서 설명한 실시예들에 따른 학습된 기계학습 모델의 성능을 개선하기 위한 가상 학습데이터 생성 방법 및 이를 수행하는 장치에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.

상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (11)

1. 대상 또는 대상의 행동을 인식하도록 학습된 인식 모델의 성능을 개선하기 위한 가상 학습데이터를 생성하는 장치에 있어서,
   상기 학습된 인식 모델에 테스트 데이터를 적용하여 테스트 결과를 획득하도록 구성된 인식 모듈; 및
   인식 실패의 상황과 관련된 특성 정보를 포함한 하나 이상의 테스트 결과를 실패 결과로 인식 모듈로부터 획득하고, 획득된 실패 결과에 기초하여 상기 인식 모델의 인식 동작을 실패하게 한 실패 유발 조건을 검출하고, 그리고 실패 유발 조건의 매개변수(parameters)를 갖는 가상 학습데이터를 생성하도록 구성된 자율학습 모듈을 포함하되,
   상기 자율학습 모듈은,
   실패 유발 조건의 매개변수를 포함한 가상 학습 데이터 생성요청을 가상 학습 데이터 생성기에 적용하여 피드백 학습 데이터를 생성하도록 구성되며,
   상기 가상 학습 데이터 생성기는,
   복수의 참조용 신체를 3D 스캐닝하여 참조용 신체 정보를 획득하고, 각각의 참조용 신체 정보에 기초한 메쉬 구조 및 골격 구조를 이용하여 상기 참조용 신체를 매개변수화한 베이스 신체 데이터, 모션 캡쳐 장치를 통해 획득된 장소에 따른 행동을 구현하는 참조용 동작 데이터를 장소 식별자 및 행동 식별자와 연관시켜 생성된 베이스 행동 데이터, 및 인식 대상의 주변 공간 및 주변 환경을 매개변수화한 베이스 환경 데이터에 기초하여 생성 요청에 따른 가상의 학습 동영상을 생성하도록 구성된 것을 특징으로 하는 장치.
   
2. 제1항에 있어서, 상기 자율학습 모듈은,
   상기 실패의 상황과 관련된 특성 정보에 포함된 매개변수(parameters)에서 소정 임계치 이상의 빈도를 갖는 매개변수를 실패 유발 조건으로 검출하도록 구성된 것을 특징으로 하는 장치.
   
3. 삭제
4. 제1항에 있어서, 상기 가상 학습 데이터 생성기는,
   상기 생성 요청이 행동 인식 대상 특성의 매개변수를 포함한 경우, 상기 행동 인식 대상의 특성에 기초하여 행동 인식 학습용 캐릭터를 생성하고,
   상기 생성 요청이 행동 인식 범위 특성의 매개변수를 포함한 경우, 상기 행동 인식 범위 특성 및 상기 행동 인식 학습용 캐릭터에 기초하여 가상의 학습용 동영상을 생성하도록 더 구성되는 것을 특징으로 하는 장치.
   
5. 제4항에 있어서, 상기 가상 학습 데이터 생성기는,
   상기 생성 요청이 행동 인식 환경 특성의 매개변수를 포함한 경우, 상기 행동 인식 환경 특성에 더 기초하여 학습용 동영상을 생성하도록 더 구성되는 것을 특징으로 하는 장치.
   
6. 제5항에 있어서, 상기 가상 학습 데이터 생성기는,
   상기 행동 인식 환경 특성의 매개변수에 기초하여 행동 인식 대상의 배경 및 주변 환경 중 하나 이상이 구현된 3차원 환경 모델을 생성하고, 상기 3차원 환경 모델 상에서 생성된 상기 행동 인식 학습용 캐릭터가 상기 행동 인식 범위 특성의 장소에 따른 행동을 구현하기 위해 동작하는(moving) 동영상을 생성하는 것을 특징으로 하는 장치.
   
7. 제6항에 있어서, 상기 가상 학습 데이터 생성기는,
   상기 행동 인식 환경 특성이 관측 특성을 포함한 경우, 상기 동영상에 관측 특성에 기초하여 상기 동영상의 일부를 추출하여 학습 동영상을 생성하는 것을 특징으로 하는 장치.
   
8. 제1항에 있어서, 상기 자율학습 모듈은,
   상기 실패 유발 조건의 파라미터를 포함한 가상 학습데이터 생성 요청을 생성하고, 생성된 가상 학습데이터 생성 요청을 상기 가상 학습데이터 생성기에 적용하도록 더 구성된 것을 특징으로 하는 장치.
   
9. 제8항에 있어서, 상기 자율학습 모듈은,
   상기 실패 유발 조건의 적어도 일부의 파라미터의 값을 변경하여 하나 이상의 가상 학습데이터 생성 요청을 생성하고, 상기 하나 이상의 가상 학습 데이터 생성 요청을 가상 학습 데이터 생성기에 적용하여 하나 이상의 피드백 학습 데이터를 생성하도록 더 구성되는 것을 특징으로 하는 장치.
   
10. 제1항, 제2항, 제4항 내지 제9항 중 어느 하나의 항에 있어서,
    상기 자율학습 모듈은 생성된 피드백 학습데이터를 상기 인식 모듈에 제공하도록 더 구성되고,
    상기 인식 모듈은 제공된 피드백 학습데이터에 기초하여 상기 인식 모델의 매개변수(parameter)를 재-학습하도록 더 구성된 것을 특징으로 하는 장치.
    
11. 제10항에 있어서, 상기 자율학습 모듈은,
    재-학습된 인식 모델의 테스트 결과에 기초하여, 상기 인식 모델의 성능의 다음 개선을 위한 가상 학습데이터의 수량을 결정하도록 더 구성된 것을 특징으로 하는 장치.

Images