KR102484771B1 - 학습 데이터 수집 장치 및 방법, 이를 이용한 포즈 추정 모델의 학습 방법 - Google Patents

Abstract

본 발명은 학습 데이터 수집 장치 및 방법, 이를 이용한 포즈 추정 모델의 학습 방법에 관한 것이다. 본 발명에 따른 포즈 추정 모델의 학습 방법은, 대상물과 카메라를 순차적으로 상대 회전시키면서, 각각의 회전 지점에서 상기 카메라를 이용하여 상기 대상물을 촬영하는 단계와, 상기 각각의 회전 지점에서 촬영된 상기 대상물의 이미지와 상기 각각의 회전 지점에 대응되는 특정 회전각을 이용하여, 상기 특정 회전각에 대응되는 자세정보를 상기 대상물의 이미지에 라벨링하는 단계, 및 상기 자세정보가 라벨링된 상기 대상물의 이미지를 이용하여 학습 데이터를 생성하고, 상기 학습 데이터를 이용하여 객체의 포즈를 추정하는 모델을 학습하는 단계를 포함한다.

Description

학습 데이터 수집 장치 및 방법, 이를 이용한 포즈 추정 모델의 학습 방법{LEARNING DATA COLLECTION DEVICE AND METHOD, LEARNING METHOD OF POSE ESTIMATION MODEL USING THEREOF}

본 발명은 인공지능에서 학습 데이터를 수집하는 장치 및 방법과, 학습 데이터를 이용하여 포즈 추정 모델을 학습하는 방법에 관한 것이다.

인공지능의 사전적 의미는, 인간의 학습능력과 추론능력, 지각능력, 자연언어의 이해능력 등을 컴퓨터 프로그램으로 실현한 기술이라 할 수 있다. 이러한 인공지능은 머신러닝에 인간의 뇌를 모방한 신경망 네트워크를 더한 딥러닝으로 인하여 비약적인 발전을 이루었다.

딥러닝(deep learning)이란, 컴퓨터가 인간처럼 판단하고 학습할 수 있도록 하고, 이를 통해 사물이나 데이터를 군집화하거나 분류하는 기술로서, 최근에는 텍스트 데이터 뿐만 아니라 영상 데이터에 대한 분석까지 가능해져, 매우 다양한 산업분야에 적극적으로 활용되고 있다.

예를 들어, 로봇 분야, 자율 주행 분야, 의료 분야 등 다양한 산업분야에서는 딥러닝 기반의 학습 네트워크(이하, “딥러닝 네트워크”라 명명함)를 통하여, 학습 대상 데이터를 기반으로 학습을 수행하고, 의미 있는 학습 결과를 도출함으로써, 각 산업분야에 유용하게 활용되고 있다.

일 예로서, 로봇 분야에서는, 로봇이 수행하는 작업에 대한 이해를 위하여, 로봇 주변의 상황 또는 로봇 주변에 배치된 작업 대상물에 대한 정확한 판단이 가능해야 하며, 이를 위해, 딥러닝 기반의 영상인식 기술(예를 들어, 로봇 비전(vision)기술)이 적극 활용되고 있다.

한편, 딥러닝 뿐만 아니라 머신러닝과 같은 인공지능 분야에서는, 보다 많은 양에 대한 데이터에 대해 학습을 수행함에 따라, 정확도가 높아지고, 보다 양질의 결과물을 도출하는 것이 가능하다. 따라서, 인공지능 분야에서는, 학습의 대상이 되는 데이터를 수집하는 것이 필수적이다.

특히, 영상 데이터를 기반으로 한 딥러닝 네트워크 또는 머신러닝 네트워크는, 영상 데이터에 대응되는 물체의 위치 또는 자세를 추정할 수 있으며, 이러한 추정을 위해서는 영상 데이터와 함께, 물체의 자유도 정보(위치 정보 및 자세 정보)가 학습 데이터로서 확보되어야 한다.

종래, 영상 데이터 및 이에 대응되는 자유도 정보를 학습 데이터로서 수집하기 위해서는, 영상 데이터에 대해 라벨링을 수행하고(예를 들어, 영상 데이터에서 물체에 대응되는 특정 이미지 객체를 식별시키기 위한 작업), 특정 이미지 객체와 자유도 정보를 일일이 매핑하는 수작업이 이루어진다. 하지만, 수작업으로 하는 라벨링에는 많은 노동량이 소요되기 때문에 인공지능 산업에서 이를 자동화할 수 있는 방법이 필요하다.

현재의 자동화 방식은 거의 모두가 물체 영역을 Box로 치거나 외곽선을 따내는 방식이에 그치고 있다. 예를 들어, 대한민국 공개특허 제10-2018-0080051호(공개일자 2018년 07월 11일)는 기계 학습 방법 및 장치에 관한 것으로, 객체가 회전된 추가 학습 이미지들에서 객체의 바운딩 박스 정보를 학습용 데이터 베이스에 추가하는 방법을 제공하고 있다.

이러한 비효율적이며 데이터 수집량과 품질의 신뢰성 개선이 필요하며, 컴퓨터 비전 분야에서 일반적으로 영상 분석만을 수행하기 때문에 이런 수준으로 한정되고 있다. 이에 따라 많은 양의 데이터를 수집하면서도 신뢰성이 높도록 라벨링 작업을 할 수 있는 새로운 형태의 자동화 방안이 고려되어야 한다.

본 발명은, 인공지능 네트워크의 학습을 위한 학습 데이터를 수집하는 학습 데이터 수집 장치 및 방법에 관한 것이다.

보다 구체적으로, 본 발명은, 보다 많은 데이터를 정확하게 라벨링할 수 있는 새로운 학습 데이터 수집 장치 및 방법에 관한 것이다.

나아가, 본 발명은, 자유도 정보, 특히 자세 정보를 포함하는 학습 데이터를 자동으로 수집할 수 있는 학습 데이터 수집 장치 및 방법에 관한 것이다.

나아가, 본 발명은 학습 데이터를 수집하는데 소요되는 시간 및 노동력을 최소화할 수 있는 학습 데이터 수집 시스템 및 방법에 관한 것이다.

더 나아가, 본 발명은 로봇 비전에서 로봇 손이 잡는 물체의 다양한 자세를 반영할 수 있는 포즈 추정 모델의 학습 방법을 구현한다.

위에서 살펴본 과제를 해결하기 위하여, 본 발명에 학습 데이터 수집 장치 및 방법, 이를 이용한 포즈 추정 모델의 학습 방법은, 설정된 회전각으로 대상물과 카메라를 상대 회전하면서 대상물을 촬영하고, 회전각을 자동으로 라벨링하는 프로세스를 이용한다.

구체적으로, 포즈 추정 모델의 학습 방법은 대상물과 카메라를 순차적으로 상대 회전시키면서, 각각의 회전 지점에서 상기 카메라를 이용하여 상기 대상물을 촬영하는 단계와, 상기 각각의 회전 지점에서 촬영된 상기 대상물의 이미지와 상기 각각의 회전 지점에 대응되는 특정 회전각을 이용하여, 상기 특정 회전각에 대응되는 자세정보를 상기 대상물의 이미지에 라벨링하는 단계, 및 상기 자세정보가 라벨링된 상기 대상물의 이미지를 이용하여 학습 데이터를 생성하고, 상기 학습 데이터를 이용하여 객체의 포즈를 추정하는 모델을 학습하는 단계를 포함한다.

본 발명의 일 실시예에 있어서, 상기 대상물을 촬영하는 단계는, 적어도 일축을 기준으로 상기 특정 회전각을 설정하는 단계와, 상기 특정 회전각에 해당하는 회전 지점으로 상기 일축을 따라 상기 대상물 및 카메라 중 어느 하나를 회전시키고, 상기 카메라가 상기 대상물을 촬영하는 단계를 포함할 수 있다.

상기 적어도 일축은 롤(roll) 방향, 피치(pitch) 방향 및 요(yaw) 방향의 회전 중심축을 구비하고, 상기 특정 회전각은 상기 롤 방향, 피치 방향 및 요 방향 중 적어도 하나를 따라 상기 대상물과 카메라가 형성하는 각도로 설정될 수 있다.

본 발명의 다른 일 실시예에 있어서, 상기 라벨링하는 단계는, 상기 카메라를 통하여 상기 각각의 회전 지점에서 촬영된 영상에서 상기 대상물의 이미지를 추출하는 단계와, 상기 추출된 대상물의 이미지와 상기 특정 회전각을 연계하여 저장하는 단계를 포함할 수 있다. 상기 저장하는 단계는, 상기 대상물의 뎁스 정보를 상기 추출된 대상물의 이미지 및 특정 회전각과 함께 저장할 수 있다.

본 발명의 다른 일 실시예에 있어서, 상기 대상물의 이미지를 배경 이미지의 특정 위치에 합성하여 학습 이미지가 생성되고, 상기 특정 위치의 위치 정보와 상기 라벨링된 자세 정보를 이용하여 상기 학습 이미지에서 상기 대상물의 위치와 자세가 특정된다.

나아가, 본 발명은, 순차적으로 연결되는 제1링부재, 제2링부재 및 제3링부재와, 대상물 또는 카메라 중 어느 하나가 결합되도록, 상기 제1링부재, 제2링부재 및 제3링부재 중 어느 하나에 형성되는 제1결합부와, 상기 대상물 또는 카메라 중 다른 하나가 결합되는 제2결합부, 및 상기 대상물과 카메라가 상대 회전하도록, 상기 제1링부재, 제2링부재 및 제3링부재의 회전각을 제어하며, 각각의 회전 지점에서 상기 카메라를 이용하여 상기 대상물을 촬영하는 제어부를 포함하는 데이터 수집 장치를 개시한다.

본 발명의 다른 일 실시예에 있어서, 상기 제1링부재는 제1축을 따라 회전하고, 상기 제2링부재는 상기 제1링부재와 연결되며, 상기 제1축과 교차하는 제2축을 따라 회전하며, 상기 제3링부재는 상기 제2링부재와 연결되며, 상기 제2축과 교차하는 제3축을 따라 회전한다. 상기 제1링부재는 제1모터와 연결되어, 상기 제1축을 중심으로 회전하고, 상기 제2링부재는 상기 제1링부재에 장착된 제2모터와 연결되어 상기 제2축을 중심으로 회전할 수 있다.

상기 제3링부재는 상기 제2링부재에 장착된 제3모터와 연결되어 상기 제3축을 중심으로 회전하며, 상기 제1결합부는 상기 제3링부재에 형성될 수 있다. 상기 제어부는 상기 각각의 회전 지점에 대응되는 특정 회전각을 수신하고, 상기 제1모터, 제2모터 및 제3모터의 회전정도를 제어하여 상기 특정 회전각에 해당하도록 상기 대상물과 카메라를 상대 회전시킨다.

또한, 본 발명은, 데이터 수집 장치와 학습 장치를 구비하는 포즈 추정 모델의 학습 시스템을 개시하며, 상기 데이터 수집 장치는, 순차적으로 연결되는 제1링부재, 제2링부재 및 제3링부재와, 이미지를 촬영하는 카메라, 및 대상물이 상기 카메라와 상대 회전하도록, 상기 제1링부재, 제2링부재 및 제3링부재의 회전각을 제어하며, 각각의 회전 지점에서 상기 카메라를 이용하여 상기 대상물을 촬영하는 제어부를 포함하고, 상기 학습 장치는, 상기 각각의 회전 지점에서 촬영된 상기 대상물의 이미지와 상기 각각의 회전 지점에 대응되는 특정 회전각을 이용하여, 상기 특정 회전각에 대응되는 자세정보를 상기 대상물의 이미지에 라벨링하는 단계, 및 상기 자세정보가 라벨링된 상기 대상물의 이미지를 이용하여 학습 데이터를 생성하고, 상기 학습 데이터를 이용하여 객체의 포즈를 추정하는 모델을 학습하는 단계를 수행한다.

위에서 살펴본 것과 같이, 본 발명에 따른 학습 데이터 수집 장치 및 방법, 이를 이용한 포즈 추정 모델의 학습 방법은, 각각의 회전 지점에서 촬영된 이미지와 특정 회전각을 이용하여, 자세정보를 대상물의 이미지에 라벨링하여, 보다 많은 데이터를 정확하게 라벨링할 수 있게 된다.

이 때에, 본 발명에서는 6자유도 중에서 특히(

)에 해당하는 3자유도 자세에 대한 라벨링 작업을 자동화하여, 무한에 가까운 경우의 수로 정확하게 라벨링된 고품질 데이터를 수집할 수 있다. 이를 통해, 본 발명에 의하면, 종래 물체에 대응되는 영상 데이터와 자세 정보를 일일이 수작업으로 매핑함으로써 소모되었던 노동력과 시간을 절대적으로 줄일 수 있다.

나아가, 본 발명에 따른 학습 데이터 수집 방법 및 장치는, 구의 외주를 형성하는 복수의 링부재를 이용하여, 대상물과 카메라를 상대 회전시킴에 따라, 각각의 회전 지점에서 용이하게 대상물을 촬영하고, 회전각을 촬영된 이미지에 라벨링할 수 있다. 또한, 이 때에 배경 이미지에 촬영된 이미지를 합성하여 포즈 추정 모델의 학습 방법에 활용할 수 있는 많은 량의 학습데이터를 용이하게 생성할 수 있다.

이와 같이, 본 발명에 의하면, 물체의 포즈와 관련한 학습 데이터를 수집하는데 소요되는 시간을 절대적으로 줄일 수 있다.

도 1은 본 발명에 따라 수집된 학습 데이터가 활용되는 예를 설명하기 위한 개념도이다.
도 2는 본 발명에 따른 데이터 수집 장치, 학습 장치 및 포즈 추정 모델의 학습 시스템을 설명하기 위한 개념도이다.
도 3은 본 발명에 따른 포즈 추정 모델의 학습 방법을 설명하기 위한 흐름도이다.
도 4 및 도 5는 각각 본 발명과 관련된 학습 데이터의 수집 장치를 나타내는 개념도들이다
도 6은 본 발명에 따른 학습 데이터 수집 방법을 구체적으로 설명하기 위한 흐름도이다.
도 7, 도 8 및 도 9는 학습 데이터를 수집하는 방법을 설명하기 위한 개념도들이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명은 학습 데이터 수집 장치 및 방법, 이를 이용한 포즈 추정 모델의 학습 방법에 관한 것으로, 구체적으로 학습 데이터를 수집하고 인공지능에서 이를 이용하여 포즈 추정 모델을 학습하여, 쿼리 이미지로부터 객체의 포즈를 추정하는 방법을 제공하는 것이다.

인공지능의 발전에 힘입어 영상인식 기술은 다양한 산업분야에 활용되고 있다. 특히, 로봇 분야에서는, 인공지능 기반의 영상 인식 기술(예를 들어, 딥러닝 기반의 영상인식 기술)에 기반하여, 로봇이 속한 작업 환경을 분석 및 이해하고, 이를 기반으로 로봇이 목표로 하는 작업을 수행하고 있다.

예를 들어, 도 1에 도시된 것과 같이, 로봇(R)에게 특정 작업(예를 들어, 설거지(dish-washing)이 주어진 경우, 로봇(R) 또는 로봇(R) 주변에 배치된 카메라(미도시됨)는 로봇(R)의 작업 환경에 해당하는 영상을 촬영할 수 있다. 그리고, 로봇(R)의 제어부는, 촬영된 영상에 기반하여, 로봇(R)이 특정 작업을 수행하기 위하여, 어떻게 동작해야 하는지에 대한 판단을 내리고, 판단에 따라 동작하도록 로봇(R)을 제어할 수 있다.

이 경우, 로봇(R)의 제어부는, 촬영된 영상에서 작업의 대상이 되는 물체(A, 또는 객체(object)나 대상물), 예를 들어, 그릇(a1, a2)을 인식하고, 물체(A)의 위치 및 자세(또는 포즈, pose)를 분석하여, 로봇(R)이 물체에 대해 목표로 하는 작업을 수행할 수 있도록 로봇(R)을 제어해야 한다.

이를 위하여, 로봇(R)의 제어부는, 촬영된 영상으로부터 다양한 정보를 수집하여야 하며, 예를 들어, i) 작업의 대상이 되는 물체의 종류, ii) 작업의 대상이 되는 물체의 크기, iii) 작업의 대상이 되는 물체의 형상, iv) 작업의 대상이 되는 물체의 위치(예를 들어, 도 1에 도시된 것과 같이, 그릇(a1)이 싱크대(sink) 의 어디쯤에 놓여져 있는지 등), v) 작업의 대상이 되는 물체의 자세(예를 들어, 도 1에 도시된 것과 같이, 그릇(a1)이 싱크대에 놓여져 있는 자세(ex: 비스듬히 기울어져 있는지 등))에 대한 정보 중 복수의 정보를 이용하여, 로봇(R)을 정확하게 제어할 수 있다.

여기에서, 작업의 대상이 되는 물체의 위치 및 자세는 “자유도” 또는 “자유도 정보”라고도 표현될 수 있으며, 자유도 정보는 위치 정보 및 자세 정보를 포함한 개념으로 이해되어 질 수 있다. 이러한, 자유도 정보는, 3차원 위치(x, y, z)에 해당하는 위치 정보(또는 3차원 위치 정보) 및 3차원 자세(r(roll), θ(pitch), φ(yaw))에 해당하는 자세 정보(또는 3차원 자세 정보)를 포함할 수 있다.

한편, 로봇(R)이 작업의 대상이 되는 물체에 대하여 정확하게 작업을 수행하기 위해서는 자유도 정보를 파악하는 것이 매우 중요하다.

예를 들어, 로봇(R)의 제어부는 작업의 대상이 되는 물체(a1, a2)을 잡기 위하여, 로봇 팔(R1, R2)을 어떤 각도로 제어하고, 어떤 자세로 파지를 해야 하는지를 결정해야 하며, 이는 작업의 대상이 되는 물체의 자세 및 위치 중 적어도 하나에 근거하여 결정되기 때문이다.

이때, 촬영된 영상으로부터 작업의 대상이 되는 물체(예를 들어, a1, a2)이 인식된 것만으로, 물체의 자유도 정보까지 인지할 수 있다면, 작업의 정확도 뿐만 아니라, 작업의 효율을 확보할 수 있다.

이를 위하여, i)촬영된 영상에 포함된 물체의 특정 형상에 대한 정보 및 ii)특정 형상일때 물체가 어떤 위치 또는 어떤 자세를 갖는지에 대한 정보가 상호 매칭된 학습 데이터가 활용될 수 있다.

한편, 로봇(R)이 정확한 작업을 수행하기 위해서는, 방대한 학습 데이터를 기반으로 학습된 인공지능 알고리즘(예를 들어, 딥러닝 알고리즘 또는 딥러닝 네트워크)이 필요하다. 따라서, 본 발명에서는, 학습 데이터를 수집하는 방법에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다.

도 2는 본 발명에 따른 데이터 수집 장치, 학습 장치 및 포즈 추정 모델의 학습 시스템을 설명하기 위한 개념도이고, 도 3은 본 발명에 따른 포즈 추정 모델의 학습 방법을 설명하기 위한 흐름도이다.

본 발명에 대한 설명에 앞서, 본 명세서에서 언급되는 “대상물, 객체”는, 그 종류에 제한이 없으며, 매우 다양한 물체로 해석되어 질 수 있다. 대상물 및 객체는 시각적 또는 물리적으로 구분이 가능한 구체적인 형태를 가지고 있는 것으로서, 물건 뿐만 아니라, 사람 또는 동물의 개념까지 포함하는 것으로 이해되어 질 수 있다. 이 때에, 상기 대상물은 학습 데이터를 수집하는 방법이나 장치에서 학습의 대상이 되는 물체를 지칭하며, 상기 객체는 학습된 모델을 이용하여 물체의 포즈를 추정하는 방법에서 포즈 추정의 대상이 되는 물체를 지칭한다.

도 2에 도시된 것과 같이, 본 발명에 따른 포즈 추정 모델의 학습 시스템은 데이터 수집장치(110), 제어부(120), 저장부(130), 입력부(140), 통신부(150) 및 학습장치(160) 중 적어도 하나를 포함할 수 있다.

데이터 수집장치(110)는 바디부(111), 구동부(112) 및 센싱부(113)을 구비할 수 있다. 상기 바디부(111)는 촬영의 대상이 되는 대상물과, 상기 대상물을 촬영하는 카메라를 상대 회전시키도록 이루어진다. 또한, 상기 바디부(111)는 상기 제어부(120)에 의하여 제어되어, 상기 대상물과 카메라를 설정각에 해당하는 크기로 상대 회전시킨다.

상기 대상물과 카메라의 상대 회전을 위하여, 상기 구동부(112)는 상기 바디부(111)에 장착되어 구동력을 제공한다. 이러한 예로서, 상기 구동부(112)는 모터, 베어링, 감속기 중에서 적어도 하나를 구비할 수 있다.

상기 센싱부(113)는 데이터 수집 장치 내 정보, 데이터 수집 장치를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다.

상기 센서의 예로서, 상기 센싱부(113)는 카메라를 구비할 수 있다. 상기 카메라는 영상을 촬영하기 위한 수단으로서, 본 발명에 따른 시스템 내에 포함되거나, 또는 별도로 구비될 수 있다. 본 발명에서 카메라는 “이미지 센서”라고도 명명될 수 있다.

카메라는 정적인 영상 및 동적인 영상 중 적어도 하나를 촬영하도록 이루어질 수 있으며, 단수 또는 복수로 구비될 수 있다.

카메라는 대상물(또는 피사체)의 뎁스 정보를 획득할 수 있는 3차원 뎁스 카메라(3D depth camera) 또는 RGB-depth 카메라 등으로 이루어질 수 있다. 카메라가 3차원 뎁스 정보를 획득할 수 있는 카메라로 이루어진 경우, 촬영된 영상을 이루는 각 픽셀(pixel)의 뎁스 값을 알 수 있으며, 이를 통하여 대상물의 뎁스 정보가 획득될 수 있다.

또한, 상기 센싱부(113)는, 상기 모터에 장착되는 엔코더나 대상물에 장착되는 IMU(Inertial Measurement Unit, 관성(慣性) 측정 장치) 등을 포함할 수 있다. 상기 엔코더의 경우에는 상기 모터의 회전 정도를 센싱할 수 있다. 이와 같이, 상기 센싱부(113)는 상기 데이터 수집 프로세스에서 발생할 수 있는 여러가지 센싱 인자들을 감지하는 기능을 수행한다.

본 발명에 의하면, 센싱부(113)를 통해 대상물의 3차원 자세(r(roll,롤), θpitch, 피치), φ(yaw,요))에 해당하는 자세 정보(또는 3차원 자세 정보(회전 운동의 자유도에 해당함))가 센싱될 수 있다.

다음으로, 저장부(130)는 본 발명에 따른 다양한 정보를 저장하도록 이루어질 수 있다. 저장부(130)의 종류는 매우 다양할 수 있으며, 적어도 일부는, 외부 서버(클라우드 서버 및 데이터베이스(database: DB) 중 적어도 하나)를 의미할 수 있다. 즉, 저장부(120)과 관련된 정보가 저장되는 공간이면 충분하며, 물리적인 공간에 대한 제약은 없는 것으로 이해될 수 있다.

저장부(130)에는 i)본 발명에 따른 데이터 수집 장치에 의해 수집된 학습 데이터, ii) 카메라를 통해 촬영된 영상, iii) 영상에 포함된 대상물에 대응되는 이미지 객체의 세그멘테이션 마스크, iv) 세그멘테이션 마스크의 라벨(label, 또는 라벨 정보), v) 센싱부(113)를 통해 수집된 센싱 정보(예를 들어, 자유도 정보) 중 적어도 하나가 저장될 수 있다.

다음으로, 상기 입력부(140)는, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 컴퓨터의 키보드, 태블릿 등의 터치키(touch key) 등)를 포함할 수 있다. 또한, 상기 입력부(140)는 오디오 신호 입력을 위한 마이크로폰(microphone), 또는 오디오 입력부를 구비하여, 수집한 음성 데이터를 분석하여 사용자의 제어명령으로 처리될 수 있다. 나아가, 카메라의 경우, 영상 입력부로서 상기 입력부(140)에 구비되는 것도 가능하다. 이 때에, 카메라에서 촬영한 영상 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.

다음으로, 통신부(150)는 유선 또는 무선 통신 중 적어도 하나를 수행하도록 이루어질 수 있다. 통신부(150)는 통신이 가능한 다양한 대상과 통신을 수행하도록 이루어질 수 있다. 예를 들어, 통신부(150)는 카메라 및 모터를 제어부에서 원격제어하기 위하여 이들 사이에서 통신을 수행할 수 있다.

나아가, 통신부(150)는 적어도 하나의 외부 서버와 통신하도록 이루어질 수 있다. 여기에서, 외부 서버는, 앞서 살펴본 것과 같이, 저장부(130)의 적어도 일부의 구성에 해당하는 클라우드 서버 또는 데이터베이스 중 적어도 하나를 포함할 수 있다. 한편, 외부 서버에서는, 제어부(120)의 적어도 일부의 역할을 수행하도록 구성될 수 있다. 즉, 데이터 처리 또는 데이터 연산 등의 수행은 외부 서버에서 이루어지는 것이 가능하며, 본 발명에서는 이러한 방식에 대한 특별한 제한을 두지 않는다.

다음으로 제어부(120)는 본 발명과 관련된 포즈 추정 모델의 학습 시스템의 전반적인 동작을 제어하도록 이루어질 수 있다. 제어부(120)는 인공지능 알고리즘을 처리 가능한 프로세서(processor, 또는 인공지능 프로세서)를 포함할 수 있다. 제어부(120))는 딥러닝 알고리즘에 기반하여, 카메라를 통해 촬영되는 영상에서, 카메라에 의해 촬영된 대상물을 검출할 수 있다.

이 경우에, 상기 제어부는 상기 대상물의 이미지와 이에 대응되는 특정 회전각을 이용하여, 상기 특정 회전각에 대응되는 자세정보를 상기 대상물의 이미지에 라벨링할 수 있다.

상기 학습장치(160)는 자세정보가 라벨링된 상기 대상물의 이미지를 이용하여 객체의 포즈를 추정하는 모델을 학습하도록 이루어진다.

상기 학습장치(160)는 포즈 추정 모델(161)과 학습부(162)를 구비할 수 있다.

상기 포즈 추정 모델(161)은 영상으로부터 대상물을 인식하고 자세를 추정하는 모델로서, 매우 다양한 딥러닝 기법이 될 수 있으며, 본 발명에서는 이에 대한 특별한 한정을 두지 않는다.

상기 학습부(162)는 상기 포즈 추정 모델과 자세정보가 라벨링된 상기 대상물의 이미지를 이용하여 실제 학습을 수행하는 기능을 수행한다.

본 예시에서는, 포즈 추정 모델의 학습 시스템이 상기 데이터 수집장치(110), 제어부(120), 저장부(130), 입력부(140), 통신부(150) 및 학습장치(160)를 포함하는 것으로 예시하였으나, 본 발명은 이에 한정되지 않는다. 예를 들어, 상기 데이터 수집장치(110), 제어부(120), 저장부(130), 입력부(140), 통신부(150)는 서로 조합되어 학습 데이터 수집 시스템을 구성할 수 있다.

이하에서는, 위에서 살펴본 본 발명에 따른 학습 데이터 수집 시스템과 학습장치의 구성에 기반하여, 포즈 추정 모델의 학습 방법에 대하여 보다 구체적으로 살펴본다.

도 3은 본 발명에 따른 포즈 추정 모델의 학습 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 본 발명의 포즈 추정 모델의 학습 방법은 대상물을 촬영하는 단계(S110), 라벨링 단계(S120), 모델의 학습 단계(S130) 및 객체의 포즈를 추정하는 단계(S140)를 구비할 수 있다.

이 경우에, 대상물을 촬영하는 단계(S110)와 라벨링 단계(S120)는 본 발명에서 설명하는 학습 데이터를 수집하는 방법에 해당한다. 상기 학습 데이터를 수집하는 방법에 상기 모델의 학습 단계(S130)가 더해져서 상기 포즈 추정 모델의 학습 방법이 구성될 수 있다. 나아가, 상기 포즈 추정 모델의 학습 방법에 상기 객체의 포즈를 추정하는 단계(S140)가 더해지면, 딥러닝을 이용하여 쿼리 이미지로부터 객체의 포즈를 추정하는 방법이 구성될 수 있다.

먼저, 대상물을 촬영하는 단계(S110)에서는 대상물과 카메라를 순차적으로 상대 회전시키면서, 각각의 회전 지점에서 상기 카메라를 이용하여 상기 대상물을 촬영한다.

이 때에, 상기 대상물과 카메라는 어느 하나를 고정하고 다른 하나를 순차적으로 회전하면서, 각각의 회전 지점에서 상기 대상물을 촬영할 수 있다. 이를 위하여, 본 발명에서는 새로운 데이터 수집장치가 구비되며, 이에 대해서는 후술한다.

또한, 상기 대상물은 단일 물체가 될 수 있으며, 상기 상대 회전에 의하여 상기 카메라를 기준으로 상기 대상물의 자세가 정의될 수 있다. 예를 들어, 상기 데이터 수집장치에 회전각을 입력하면, 상기 회전각에 해당하는 크기로 상기 상대 회전을 발생할 수 있으며, 이를 이용하여 상기 카메라를 기준으로 상기 대상물의 자세가 변화할 때마다 이미지들을 획득할 수 있다.

상기 대상물을 촬영하는 단계(S110)의 다음에는 상기 라벨링 단계(S120)가 진행될 수 있다.

상기 라벨링 단계(S120)는 상기 각각의 회전 지점에서 촬영된 상기 대상물의 이미지와 상기 각각의 회전 지점에 대응되는 특정 회전각을 이용하여, 상기 특정 회전각에 대응되는 자세정보를 상기 대상물의 이미지에 라벨링한다.

상기 자세는 상기 대상물의 6자유도 자세가 될 수 있다. 보다 구체적으로, 상기 6자유도 자세는 x축, y축 및 z축 방향에 해당하는 3차원 위치와, 롤(roll) 방향, 피치(pitch) 방향 및 요(yaw) 방향에 해당하는 3차원 자세가 될 수 있다.

상기 각각의 회전 지점에는 상기 데이터 수집장치에 입력한 롤(roll) 방향, 피치(pitch) 방향 및 요(yaw) 방향의 회전각에 의하여, 롤, 피지, 요에 해당하는 3자유도의 자세가 매칭될 수 있다. 이를 이용하여, 상기 특정 회전각에 대응되는 자세정보를 상기 대상물의 이미지에 라벨링한다.

다음으로, 상기 모델의 학습 단계(S130)는 상기 자세정보가 라벨링된 상기 대상물의 이미지를 이용하여 학습 데이터를 생성하고, 상기 학습 데이터를 이용하여 객체의 포즈를 추정하는 모델을 학습하는 단계가 될 수 있다.

예를 들어, 딥러닝을 이용하여 객체의 포즈를 추정하는 모델에서, 상기 대상물을 촬영하는 단계(S110)와 라벨링 단계(S120)에서 구축한 자세정보가 라벨링된 대상물의 이미지를 학습데이터로 이용하여 객체의 포즈(pose)를 추정(estimate)하는 알고리즘을 학습할 수 있다.

예를 들어, 객체 포즈 추정을 분류(classify) 방식 또는 복귀 방식으로 정의하며, 라벨을 포함하는 샘플을 통해 트레이닝을 진행하고 트레이닝 모델을 획득하게 된다.

마지막으로, 객체의 포즈를 추정하는 단계(S140)에서는 획득된 객체의 포즈를 추정하는 모델을 이용하여 쿼리 이미지로부터 객체의 포즈를 추정한다.

예를 들어, 로봇이 물체를 잡기 위하여 로봇 비전을 통하여 물체의 포즈를 정확하게 추정하며, 이를 이용하여 로봇이 제어될 수 있다.

한편, 본 발명의 학습 데이터를 수집하는 방법에서는 회전 대상에 따라 2가지 촬영 방식이 가능하다. 또한, 2가지 촬영 방식 각각에 대하여 새로운 형태의 데이터 수집장치가 구현될 수 있다.

이하에서는, 본 발명의 학습 데이터를 수집하는 방법에서 활용가능한 새로운 데이터 수집장치에 대하여 도면을 참조하여 보다 상세히 설명한다.

도 4 및 도 5는 각각 본 발명과 관련된 학습 데이터의 수집 장치를 나타내는 개념도들이다.

본 도면들을 참조하면, 도 4에 도시된 학습 데이터의 수집장치는 대상물이 회전하는 구조이고, 도 5에 도시된 학습 데이터의 수집장치는 카메라가 회전하는 구조가 될 수 있다. 본 예시에서는 도 4에 도시된 학습 데이터의 수집장치에 대하여 먼저 설명하고, 도 5에 도시된 학습 데이터의 수집장치는 도 4의 학습 데이터의 수집장치와의 차이점을 위주로 이어서 설명한다.

도 4를 참조하면, 학습 데이터의 수집 장치(210)는, 상기 대상물(171)이 장착되는 바디부(211)를 구비한다. 상기 바디부(211)는 복수의 링부재를 구비하며, 상기 복수의 링부재들은 서로 회전 가능하게 연결될 수 있다. 상기 링부재는 환형으로 형성되어, 내부에 중공이 있는 형상을 가질 수 있다.

예를 들어, 상기 바디부(211)는 순차적으로 연결되는 제1링부재(211a), 제2링부재(211b) 및 제3링부재(211c)를 구비할 수 있다. 제1링부재(211a), 제2링부재(211b) 및 제3링부재(211c)는 순차적으로 직경이 작아지며, 서로 교차하게 배치되어 전체적으로 구형상을 형성할 수 있다. 보다 구체적으로, 상기 제1링부재(211a)는 제1축을 따라 회전하고, 상기 제2링부재(211b)는 상기 제1링부재(211a)와 연결되며, 상기 제1축과 교차하는 제2축을 따라 회전하도록 이루어진다. 또한, 상기 제3링부재(211c)는 상기 제2링부재(211b)와 연결되며, 상기 제2축과 교차하는 제3축을 따라 회전하도록 형성된다.

이 때에, 상기 제1축, 제2축 및 제3축은 서로 수직하게 배치되는 회전축이 될 수 있다. 이러한 구조에 의하면, 직경이 가장 큰 제1링부재(211c)의 내부를 관통하여 제2링부재(211b)가 수직하게 배치되고, 상기 제2링부재(211b)의 내부를 관통하여 직경이 가장 작은 제3링부재(211c)가 상기 제1링부재(211a) 및 제2링부재(211b)와 각각 수직하게 배치될 수 있다.

본 예시에서는, 상기 제1축, 제2축 및 제3축은 각각 롤(roll) 방향, 피치(pitch) 방향 및 요(yaw) 방향 중 어느 하나에 대한 회전축으로 설정될 수 있다. 따라서, 상기 제1링부재(211a), 제2링부재(211b) 및 제3링부재(211c)의 회전을 이용하면, 롤(roll) 방향, 피치(pitch) 방향 및 요(yaw) 방향으로 3자유도의 자세를 설정할 수 있게 된다.

도시에 의하면, 대상물(171) 또는 카메라(213) 중 어느 하나가 결합되도록, 상기 제1링부재(211a), 제2링부재(211b) 및 제3링부재(211c) 중 어느 하나에는 제1결합부(218)가 형성될 수 있다. 또한, 상기 데이터 수집 장치는 상기 대상물(171) 또는 카메라(213) 중 다른 하나가 결합되는 제2결합부(220)를 구비할 수 있다.

본 예시에서는, 제1결합부(218)가 상기 제3링부재(211c)에 연결되고, 상기 제2결합부(220)는 상기 바디부(211)와 이격 배치되어 상기 카메라(213)가 결합되도록 이루어진다.

도 4를 참조하면, 상기 제3링부재(211c)의 내주면에서 연결부(219)가 돌출되어, 상기 제3링부재(211c)의 중심을 향하여 연장되며, 상기 연결부(219)의 단부에 상기 제1결합부(218)가 배치될 수 있다. 상기 제1결합부(218)에는 상기 대상물을 고정할 수 있는 고정장치(미도시)가 구비될 수 있다. 이러한 구조에 의하면, 상기 제1결합부(218)는 상기 제1링부재(211a), 제2링부재(211b) 및 제3링부재(211c)의 중심에 배치되어 상기 링부재들의 회전에 의하여 롤 방향, 피치 방향 및 요 방향을 따라 3자유도로 회전하게 된다. 즉, 상기 제1링부재(211a), 제2링부재(211b) 및 제3링부재(211c)가 형성하는 구체(Sphere)의 중앙영역에 상기 대상물(171)이 배치되어, 3축을 따라 3자유도로 회전한다.

상기 제2결합부(220)는 상기 바디부(211)의 외부에서 상기 카메라(213)를 고정하도록 이루어지며, 상기 카메라(213)는 상기 제1결합부(218)를 바라보도록 배치될 수 있다. 이 경우에, 상기 카메라(213)가 상기 대상물(171)을 촬영하는 시야에 가림이 없도록, 상기 링부재들(211a, 211b, 211c)과 상기 제1결합부(218), 연결부(219)는 각각 광투과성 재질, 예를 들어 투명 플라스틱, 아크릴 등으로 형성될 수 있다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 상기 카메라의 시야에 따라 상기 링부재들(211a, 211b, 211c)과 상기 제1결합부(218), 연결부(219) 중 일부가 광투과성 재질로 이루어지는 것도 가능하다.

보다 구체적인 예로써, 상기 제1결합부(218)는 광투과성 재질의 하우징과, 상기 하우징에 배치되는 고정장치를 구비하며, 상기 고정장치를 통하여 상기 대상물(171)이 고정될 수 있다. 상기 하우징은 상기 대상물(171)이 안착될 수 있도록 형성되어, 상기 하우징이 상기 대상물(171)과 카메라(213)의 사이에 위치하는 경우에 상기 대상물(171)을 가리게 된다. 하지만, 이러한 경우에도 상기 하우징이 광투과성 재질이므로 상기 카메라(213)에서 상기 대상물(171)을 촬영할 수 있게 된다.

상기 데이터 수집 장치는 상기 대상물(171)과 카메라(213)가 상대 회전하도록, 상기 제1링부재(211a), 제2링부재(211b) 및 제3링부재(211c)의 회전각을 제어하며, 각각의 회전 지점에서 상기 카메라(213)를 이용하여 상기 대상물(171)을 촬영하는 제어부(120, 도 2 참조)를 포함할 수 있다.

상기 제어부는, 상기 각각의 회전 지점에서 촬영된 상기 대상물의 이미지와 상기 각각의 회전 지점에 대응되는 특정 회전각을 이용하여, 상기 특정 회전각에 대응되는 자세정보를 상기 대상물의 이미지에 라벨링한다. 이와 같이, 상기 제어부가 상기 특정 회전각만큼 상기 대상물을 회전시키기 위하여, 상기 데이터 수집 장치는 구동부(112, 도 2 참조)를 구비할 수 있다.

상기 구동부(112)는 복수의 모터를 구비하며, 상기 모터와 상기 링부재들이 연결되어 상기 링부재들이 회전될 수 있다.

예를 들어, 상기 제1링부재(211a)는 제1모터(212a)와 연결되어, 상기 제1축을 중심으로 회전할 수 있다. 보다 구체적으로, 상기 제1모터(212a)는 지지판(216)에 결합되며, 상기 제1모터(212a)의 회전축은 상기 제1링부재의 중심축과 평행하게 배치될 수 있다. 상기 제1모터(212a)의 회전축에는 제1모터기어(214a)가 결합되며, 상기 제1모터(212a)의 회전에 따라 상기 제1모터기어(214a)가 회전한다. 상기 제1링부재(211a)의 외주면을 따라 제1기어(G1)가 형성되며, 상기 제1모터기어(214a)가 상기 제1기어(G1)에 기어 연결된다. 이러한 구조에 의하면, 상기 제1링부재의 외주를 따라 레일이 형성되며, 상기 레일이 상기 모터의 구동에 의하여 회전하게 된다.

상기 제1모터(212a)에는 엔코더가 장착되며, 이를 통하여 사용자가 임의로 회전각을 먼저 설정하면, 그에 해당하는 각도로 상기 대상물을 회전시키게 된다.

이 경우에, 상기 제1링부재를 한바퀴 회전시키는데 필요한 모터의 회전수를 A라고 하고, 상기 사용자가 상기 제1축을 기준으로 설정한 회전각(본 예시에서는 롤 방향 회전각)을 B라고 하면, 필요한 모터의 회전수는 A/360*B 가 될 수 있다. 또한, 이러한 구동을 위하여 상기 제1모터(212a)는 스텝 모터가 될 수 있다. 상기 1모터(212a)에 대한 제어는 이후 설명되는 제2모터(212c) 및 제3모터(212b)에도 동일하게 적용될 수 있다.

상기 제1링부재(211a)의 지지를 위하여, 상기 제1링부재(211a)를 기준으로 상기 제1모터(212a)의 반대측에는 제1회전 지지륜(215a)이 배치될 수 있다. 상기 제1회전 지지륜(215a)의 외주에는 지지기어가 형성되어 상기 제1기어(G1)와 기어 연결될 수 있다.

본 도면을 참조하면, 상기 제2링부재(211b)는 상기 제1링부재(211a)에 장착된 제2모터(212b)와 연결되어 상기 제2축을 중심으로 회전할 수 있다. 예를 들어, 상기 제2모터(212b)는 상기 제1링부재(211a)의 내주면에 결합되어, 상기 제1링부재(211a)와 함께 상기 제1축을 기준으로 회전할 수 있다. 이를 위하여, 상기 제1링부재(211a)의 내주면에는 모터 결합부(217b)가 형성되며, 상기 모터 결합부(217b)에 상기 제2모터(212b)가 장착될 수 있다. 상기 모터 결합부(217b)는 상기 제1링부재(211a)의 내주면을 따라 상기 제1모터(212a)로부터 90도로 이격된 위치에 배치될 수 있다. 또한, 상기 제2모터(212b)는 상기 제1모터(212a)와 수직하게 배치되어, 상기 제2링부재(211b)와 연결될 수 있다.

상기 제1모터(212a) 및 제1링부재(211a)의 연결구조와 마찬가지로, 상기 제2모터(212b)의 회전축에는 제2모터기어(214b)가 결합되며, 상기 제2모터(212b)의 회전에 따라 상기 제2모터기어(214b)가 회전한다. 상기 제2링부재(211b)의 외주면을 따라 제2기어(G2)가 형성되며, 상기 제2모터기어(214b)가 상기 제2기어(G2)에 기어 연결된다. 이러한 구조에 의하면, 상기 제2링부재의 외주를 따라 레일이 형성되며, 상기 레일이 상기 제2모터(212b)의 구동에 의하여 회전하게 된다.

한편, 상기 제2모터(212b)의 반대측에는 제2회전 지지륜(215b)이 배치될 수 있다. 상기 제2회전 지지륜(215b)의 외주에는 지지기어가 형성되어 상기 제2기어(G2)와 기어 연결될 수 있다. 이와 같은 구조에 의하여, 상기 제2링부재(211b)는 상기 제1링부재(211a)를 내부에서 상기 제1링부재(211a)와 수직하게 배치된다. 또한, 상기 제어부가 상기 제2모터(212b)를 제어함에 따라, 사용자가 상기 제2축을 기준으로 설정한 회전각(본 예시에서는 피치 방향 회전각)으로 상기 제2링부재(211b)가 회전하게 된다.

도시에 의하면, 상기 제3링부재(211c)는 상기 제2링부재(211b)에 장착된 제3모터(212c)와 연결되어 상기 제3축을 중심으로 회전하며, 상기 제1결합부(218)는 상기 제3링부재(211c)에 형성된다. 상기 제3축을 기준으로 설정한 회전각은 요 방향의 회전각이 될 수 있으며, 상기 제3링부재(211c)는 상기 제2링부재(211b)의 내부에서 상기 제2링부재(211b)와 수직하게 배치되어 상기 요 방향으로 회전한다. 이를 위하여, 상기 제2링부재(211b)에는 상기 제3모터(212c)가 장착되는 모터 결합부(217c)가 형성되며, 상기 모터 결합부(217c)는 상기 제2링부재(211b)의 내주면을 따라 상기 제2모터(212b)로부터 90도로 이격된 위치에 배치될 수 있다. 상기 제3모터(212c)는 상기 제1모터(212a) 및 제2모터(212b)와 수직하게 배치되어, 상기 제3링부재(211c)와 연결될 수 있다.

다른 모터와 링부재의 연결구조와 마찬가지로, 상기 제3모터(212c)의 회전축에는 제3모터기어(214c)가 결합되며, 상기 제3모터(212c)의 회전에 따라 상기 제3모터기어(214c)가 회전한다. 상기 제3링부재(211c)의 외주면을 따라 제3기어(G3)가 형성되며, 상기 제3모터기어(214c)가 상기 제3기어(G3)에 기어 연결된다. 이러한 구조에 의하면, 상기 제3링부재의 외주를 따라 레일이 형성되며, 상기 레일이 상기 제3모터(212c)의 구동에 의하여 회전하게 된다.

상기 제3링부재(211c)의 지지를 위하여, 상기 제3모터(212c)의 반대측에는 제3회전 지지륜(215c)이 배치될 수 있다. 상기 제3회전 지지륜(215c)의 외주에는 지지기어가 형성되어 상기 제3기어(G3)와 기어 연결될 수 있다.

이 때에, 상기 제어부는 상기 각각의 회전 지점에 대응되는 특정 회전각을 수신하고, 상기 제1모터(212a), 제2모터(212b) 및 제3모터(212c)의 회전정도를 제어하여 상기 특정 회전각에 해당하도록 상기 대상물(171)과 카메라(213)를 상대 회전시킨다. 특히, 도 4의 데이터 수집 장치(210)는 상기 제2결합부(220)에 고정된 카메라(213)를 기준으로 상기 제1결합부(218)에 고정되어 회전하는 상기 대상물(171)을 촬영한다. 한편, 도 5에 도시된 데이터 수집 장치(310)는 이와 반대로, 카메라(313)가 회전하면서 고정된 위치에 있는 대상물(171)을 촬영하도록 이루어진다.

도 5를 참조하면, 데이터 수집 장치(310)는 순차적으로 연결되는 제1링부재(311a), 제2링부재(311b) 및 제3링부재(311c)를 구비한다. 상기 제1링부재(311a), 제2링부재(311b) 및 제3링부재(311c)의 구조, 크기나 위치에 대한 설명은 도 4를 참조하여 설명한 구조, 크기나 위치에 대한 설명으로 갈음한다.

다만, 상기 제3링부재(311c)에 형성되는 제1결합부(320)에는 카메라(313)가 장착될 수 있다. 따라서, 상기 카메라(313)가 설정된 회전각만큼 롤 방향, 피치 방향 및 요 방향으로 회전하게 된다. 이 때에, 상기 제1링부재(311a), 제2링부재(311b) 및 제3링부재(311c)는 각각 제1모터(312a), 제2모터(312b), 제3모터(312c)와 연결되어 구동력을 전달받을 수 있다. 상기 모터들과 상기 링부재들의 연결구조에 대한 설명은 도 4를 참조하여 전술한 내용으로 갈음한다.

도 5를 참조하면, 상기 제1링부재(311a), 제2링부재(311b) 및 제3링부재(311c)가 형성하는 구체(Sphere)의 중앙영역에 제2결합부(318)가 배치되며, 상기 제2결합부(318)에 상기 대상물이 고정된다.

상기 제3링부재(311c)와 연결되지 않으면서, 상기 대상물을 고정하기 위하여 상기 제2결합부(318)는 별도의 고정 메커니즘을 구비할 수 있다. 이러한 예로서, 상기 데이터 수집장치(310)는 자기력을 발생하는 자기력 발생부(317)를 구비하며, 상기 제2결합부(318)는 상기 자기력에 의하여 척력을 받아 상기 제3링부재(311c)의 내측에 배치될 수 있다.

예를 들어, 상기 자기력 발생부(317)는 자기부상 솔레노이드를 구비하며, 상기 제1링부재(311a)의 하측에 배치될 수 있다. 또한, 상기 자기력 발생부(317)는 상기 제1링부재(311a)의 원활한 회전을 위하여, 상측에 볼 베어링을 구비하여 상기 제1링부재(311a)의 하측 외주면을 지지하도록 이루어진다.

상기 자기력의 영향을 받지 않도록, 상기 제1링부재(311a), 제2링부재(311b) 및 제3링부재(311c)는 비자성 재질로 이루어지고, 상기 자기력에 의하여 부상하도록 상기 제2결합부(318)는 자성 재질로 형성된다. 이러한 예로서, 상기 제2결합부(318)는 솔레노이드 자석판이 될 수 있다.

상기에서 설명한 데이터 수집장치(310)를 이용하는 경우에도, 상기 제어부는 상기 링부재들의 회전각을 제어하면서 상기 카메라를 이용하여 상기 대상물을 촬영하고, 상기 각각의 회전 지점에서 촬영된 상기 대상물의 이미지와 상기 각각의 회전 지점에 대응되는 특정 회전각을 이용하여, 상기 특정 회전각에 대응되는 자세정보를 상기 대상물의 이미지에 라벨링할 수 있다.

이하에서는, 상기 데이터 수집장치들(210, 310)을 이용하여 학습 데이터를 수집하는 데이터 수집 방법의 각 단계에 대하여 예시와 함께 보다 상세히 설명한다.

도 6은 본 발명에 따른 학습 데이터 수집 방법을 구체적으로 설명하기 위한 흐름도이며, 도 7, 도 8 및 도 9는 학습 데이터를 수집하는 방법을 설명하기 위한 개념도들이다.

도 6을 참조하면, 본 발명의 학습 데이터 수집 방법에서 대상물을 촬영하는 단계(S110)는 회전각을 설정 또는 입력하는 단계(S111), 대상물과 카메라를 상대 회전하는 단계(S112) 및 대상물을 촬영하는 단계(S113)를 구비할 수 있다.

상기 회전각을 설정 또는 입력하는 단계(S111)는 적어도 일축을 기준으로 특정 회전각을 설정한다. 상기 적어도 일축은 롤(roll) 방향, 피치(pitch) 방향 및 요(yaw) 방향의 회전 중심축을 구비할 수 있다. 예를 들어, 학습 데이터 수집 장치에서, 제1링부재, 제2링부재 및 제3링부재의 회전 중심축이 상기 적어도 일축이 될 수 있다.

상기 회전각을 설정 또는 입력하는 단계(S111)에서는 학습 데이터 수집 시스템에 회전각을 입력하며, 사용자가 입력부(140, 도 2 참조)를 이용하여 직접 입력하는 방법, 제어부(120, 도2 참조)에서 랜덤하게 회전각을 생성하는 방법 등이 이용될 수 있다. 이 경우에, 랜덤하게 회전각을 생성하는 기준을 사용자가 지정하는 것도 가능하다. 다른 예로서, 상기 학습 데이터 수집 시스템에는 일정 간격만큼 각도를 이동하면서 반복적으로 입력 및 촬영을 수행하는 제어 프로세스가 설정될 수 있다.

상기 대상물과 카메라를 상대 회전하는 단계(S112)에서는 상기 특정 회전각에 해당하는 회전 지점으로 상기 일축을 따라 상기 대상물 및 카메라 중 어느 하나를 회전한다. 도 4를 참조하여 설명한 데이터 수집장치는 모터를 구동하여 대상물을 회전하는 경우에, 도 5를 참조하여 설명한 데이터 수집장치는 모터를 구동하여 카메라를 회전하는 경우에 각각 이용될 수 있다. 즉, 카메라가 고정된 상태에서 상기 특정 회전각만큼 대상물이 회전하도록 모터를 구동하거나, 대상물이 고정된 상태에서 상기 특정 회전각만큼 카메라가 회전하도록 모터를 구동한다. 이 경우에, 회전각을 설정 또는 입력하는 단계(S111)에서 사용자가 대상물의 회전각을 입력한 경우, 제어부는 상기 대상물의 회전각을 카메라의 회전각으로 변환하는 처리를 추가로 수행할 수 있다.

이 때에, 학습 데이터 수집 장치에서, 상기 특정 회전각은 제1축, 제2축 및 제3축을 기준으로 각각 설정될 수 있다. 따라서, 상기 특정 회전각은 상기 롤 방향, 피치 방향 및 요 방향 중 적어도 하나를 따라 상기 대상물과 카메라가 형성하는 각도로 설정되며, 이를 통하여, 롤 방향, 피치 방향 및 요 방향의 3자유도의 자세가 특정될 수 있다.

다음으로, 대상물을 촬영하는 단계(S113)에서는 각각의 회전지점에서 상기 카메라가 상기 대상물을 촬영한다. 도 7의 (a)의 상태, (b)의 상태 및 (c)의 상태에 해당하는 각각의 회전지점에서 상기 대상물이 촬영될 수 있다.

이 경우에, 대상물의 롤 방향, 피치 방향 및 요 방향의 3자유도의 자세는 변화하게 되나, 상기 대상물과 카메라의 상대 위치는 고정될 수 있다.

본 발명에서는 대상물과 카메라 중 어느 하나는 구체의 원주를 따라 회전하고, 다른 하나는 구체의 중심에 배치되는 메커니즘을 이용하므로, 도 7의 (a)의 상태, (b)의 상태 및 (c)의 상태와 관계없이 x축, y축 및 z축 방향에 해당하는 3차원의 상대 위치는 항상 일정하게 설정할 수 있다. 따라서, 본 발명에서는 대상물의 이미지에 6자유도의 정보를 매칭시킬 수 있다.

본 도면들을 참조하면, 본 발명의 학습 데이터 수집 방법에서 라벨링 단계(S120)는 대상물의 이미지를 추출하는 단계(S121), 대상물의 이미지와 특정 회전각을 연계하는 단계(S122) 및 대상물의 이미지를 배경 이미지의 특정 위치에 합성하는 단계(S123)를 구비할 수 있다.

상기 대상물의 이미지를 추출하는 단계(S121)는 상기 카메라를 통하여 상기 각각의 회전 지점에서 촬영된 영상에서 상기 대상물의 이미지를 추출한다. 예를 들어, 대상물을 촬영한 RGB 이미지에서 상기 대상물을 아이솔레이션(isolation)하며, 모터, 레일, 결합부, 카메라, 그 외 모든 배경은 영상처리를 통하여 제거할 수 있다. 예를 들어, 상기 대상물 외의 이미지들은 녹색으로 영상 처리하여 제거되고, 상기 대상물의 윤곽선 정보가 캐니 에지 디텍터(Canny Edge Detector), 소벨 에지 디텍터(Sobel Edge Detector) 등의 알고리즘을 이용하여 검출 또는 생성될 수 있다.

다음으로, 상기 대상물의 이미지와 특정 회전각을 연계하는 단계(S122)에서는 상기 추출된 대상물의 이미지와 상기 특정 회전각을 연계하여 저장한다. 이 때에, 촬영 순간에 명령으로 내린 3축의 특정 회전각이 상기 대상물의 이미지(특히, 윤곽선 정보)에 라벨링될 수 있다.

이 때에, 도 5를 참조하여 설명한 데이터 수집장치를 이용하여, 카메라의 회전각이 입력된 경우에는, 제어부는 카메라의 회전각을 물체의 회전각으로 변환하는 처리를 수행할 수 있다.

또한, 제어부는 상기 대상물의 뎁스(Depth) 정보를 상기 추출된 대상물의 이미지 및 특정 회전각과 함께 저장할 수 있다. 이와 같이, 저장되는 정보에는 상기 특정 회전각 뿐만 아니라, 대상물의 뎁스 정보가 포함될 수 있다. 상기 대상물의 뎁스 정보는 상기 카메라가 3차원 뎁스 정보를 획득할 수 있는 카메라로 짐에 따라 획득될 수 있다.

또한, 상기 저장되는 정보에는 상기 특정 회전각 및 대상물의 뎁스 정보에 더하여 대상물의 클래스 정보가 포함될 수 있다.

상기 클래스 정보를 획득하기 위하여, 서로 다른 대상물에 각각 대응되는 서로 다른 이미지 객체를 별개의 종류 또는 클래스(class)로 인식하는 세그멘테이션(segmentation)이 수행될 수 있다. 상기 대상물의 클래스는 예를 들어, 컵, 텀블러, 샤프, 지우개, 풀, 자, 스템플러, 책 등등 물체의 종류에 따라 설정될 수 있다.

다음으로, 대상물의 이미지를 배경 이미지의 특정 위치에 합성하는 단계(S123)에서는 상기 대상물의 이미지를 배경 이미지의 특정 위치에 합성하여 학습 이미지를 생성한다.

이 때에, 합성하는 대상물의 이미지는 데이터 수집장치의 중앙 위치(X, Y)에 해당하여 촬영 당시 원본 데이터의 위치가 (0, 0)이지만, 학습 이미지를 생성할 때에 임의 장소로 이동시킨다. 이 경우에, 배경 이미지에서 상기 대상물의 이미지가 합성되는 위치로부터 상기 대상물의 합성 위치정보(X, Y)가 설정될 수 있다.

전술한 라벨링 단계(S120)에서 획득한 3축의 특정 회전각(roll, pitch, yaw), 대상물의 뎁스 정보(Depth)를 이용하면, 도 8에 도시된 바와 같이 대상물의 회전에 따른, RGB 이미지와 6자유도의 위치 및 자세 정보가 연계될 수 있다. 이와 같이, 대상물의 이미지를 배경 이미지의 특정 위치에 합성하는 단계(S123)에 이어서, 학습 이미지에서 대상물의 위치와 자세를 특정하는 단계(S131)가 수행될 수 있다.

상기 특정하는 단계(S131)에서 제어부는 상기 특정 위치의 위치 정보와 상기 라벨링된 자세 정보를 이용하여 상기 학습 이미지에서 상기 대상물의 위치와 자세를 특정할 수 있다. 보다 구체적으로, 상기 대상물의 이미지를 배경 이미지의 특정 위치에 합성하여 학습 이미지가 생성된 후에, 상기 특정 위치의 위치 정보와 상기 라벨링된 자세 정보를 이용하여 상기 학습 이미지에서 상기 대상물의 위치와 자세가 특정될 수 있다.

상기 학습 이미지에는 도 9의 (a)에 도시된 RGB 이미지에 더하여, 도 9의 (b)에 도시된 뎁스 이미지가 상기 대상물의 위치와 자세 정보와 함께 구비될 수 있다.

이 경우에, 상기 배경 이미지에는 식탁 또는 싱크대가 포함되고, 상기 대상물의 이미지는 상기 식탁 또는 싱크대와 중첩되거나 인접하여 위치할 수 있다. 예를 들어, 학습 이미지에는 도 9의 (a) 및 (b)에 도시된 바와 같이, 여러가지 물체(192)와 함께 상기 대상물(171)의 이미지가 식탁(191)에 배치될 수 있다. 이 경우에, 뎁스 이미지는 학습 이미지로부터 생성되어, 상기 대상물(171)의 뎁스 윤곽(172), 물체(192)의 뎁스 윤곽(194), 식탁(191)의 뎁스 윤곽(193) 등을 구비할 수 있다. 이로부터, 식탁(191)에서 상기 대상물(171)의 이미지, 위치(뎁스 포함), 자세 등이 특정된다. 이 때에, 기저장된 6자유도 정보가, 상기 식탁에서 상기 대상물의 이미지에 자동으로 라벨링될 수 있다. 이와 같이, 사용자가 원하는 배경 이미지와 대상물의 여러가지 자세를 합성하여, 다량의 학습 데이터가 구축될 수 있다.

상기에서 설명한 바와 같이, 본 발명의 학습 데이터 수집 방법은 회전각을 설정 또는 입력하는 단계(S111)에서 학습 이미지에서 대상물의 위치와 자세를 특정하는 단계(S131)까지의 일련의 프로세스로 구축될 수 있다.

이렇게 학습 데이터가 수집되고 나면, 학습 이미지를 이용하여 객체의 포즈를 추정하는 모델을 학습하는 단계(S132)가 수행될 수 있다. 예를 들어, 상기 식탁에서 설거지 로봇이 작업의 대상이 되는 객체의 포즈를 추정하는 모델에 입력되는 학습 데이터가 매우 풍부하게 구축되며, 이를 통하여 인공지능이 상기 모델을 보다 용이하게 학습할 수 있게 된다. 한편, 객체의 포즈를 추정하는 딥러닝 기법은 매우 다양하며, 본 발명에서는 이에 대한 특별한 한정을 두지 않는다.

이상에서 설명한 바와 같이, 본 발명에 따른 인공지능 네트워크의 학습을 위한 학습 데이터를 수집하는 학습 데이터 수집 장치 및 방법은, 각각의 회전 지점에서 촬영된 이미지와 특정 회전각을 이용하여, 자세정보를 대상물의 이미지에 라벨링하여, 보다 많은 데이터를 정확하게 라벨링할 수 있게 된다.

상기와 같이 설명된 학습 데이터 수집 장치 및 방법, 이를 이용한 포즈 추정 모델의 학습 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

한편, 위에서 살펴본 본 발명은, 컴퓨터에서 하나 이상의 프로세스에 의하여 실행되며, 이러한 컴퓨터로 판독될 수 있는 매체(또는 기록 매체)에 저장 가능한 프로그램으로서 구현될 수 있다.

나아가, 위에서 살펴본 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드 또는 명령어로서 구현하는 것이 가능하다. 즉, 본 발명은 프로그램의 형태로 제공될 수 있다.

한편, 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.

나아가, 컴퓨터가 읽을 수 있는 매체는, 저장소를 포함하며 전자기기가 통신을 통하여 접근할 수 있는 서버 또는 클라우드 저장소일 수 있다. 이 경우, 컴퓨터는 유선 또는 무선 통신을 통하여, 서버 또는 클라우드 저장소로부터 본 발명에 따른 프로그램을 다운로드 받을 수 있다.

나아가, 본 발명에서는 위에서 설명한 컴퓨터는 프로세서, 즉 CPU(Central Processing Unit, 중앙처리장치)가 탑재된 전자기기로서, 그 종류에 대하여 특별한 한정을 두지 않는다.

한편, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (18)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 순차적으로 연결되는 제1링부재, 제2링부재 및 제3링부재;
   대상물 또는 카메라 중 어느 하나가 결합되도록, 상기 제1링부재, 제2링부재 및 제3링부재 중 어느 하나에 형성되는 제1결합부;
   상기 대상물 또는 카메라 중 다른 하나가 결합되는 제2결합부; 및
   상기 대상물과 카메라가 상대 회전하도록, 상기 제1링부재, 제2링부재 및 제3링부재의 회전각을 제어하며, 각각의 회전 지점에서 상기 카메라를 이용하여 상기 대상물을 촬영하는 제어부를 포함하고,
   상기 제1링부재, 제2링부재 및 제3링부재는 순차적으로 직경이 작아지고,
   상기 제1링부재는 제1모터와 연결되어, 제1축을 중심으로 회전하고,
   상기 제2링부재는 상기 제1링부재에 장착된 제2모터와 연결되어 상기 제1축과 교차하는 제2축을 중심으로 회전하고,
   상기 제3링부재는 상기 제2링부재에 장착된 제3모터와 연결되어 상기 제2축과 교차하는 제3축을 중심으로 회전하는 데이터 수집 장치.
9. 제8항에 있어서,
   상기 제어부는,
   상기 각각의 회전 지점에서 촬영된 상기 대상물의 이미지와 상기 각각의 회전 지점에 대응되는 특정 회전각을 이용하여, 상기 특정 회전각에 대응되는 자세정보를 상기 대상물의 이미지에 라벨링하는 것을 특징으로 하는 데이터 수집 장치.
10. 삭제
11. 삭제
12. 제8항에 있어서,
    상기 제1결합부는 상기 제3링부재에 형성되는 것을 특징으로 하는 데이터 수집 장치.
13. 제12항에 있어서,
    상기 제어부는 상기 각각의 회전 지점에 대응되는 특정 회전각을 수신하고,
    상기 제1모터, 제2모터 및 제3모터의 회전정도를 제어하여 상기 특정 회전각에 해당하도록 상기 대상물과 카메라를 상대 회전시키는 것을 특징으로 하는 데이터 수집 장치.
14. 제8항에 있어서,
    상기 제1축, 제2축 및 제3축은 각각 롤(roll) 방향, 피치(pitch) 방향 및 요(yaw) 방향 중 어느 하나에 대한 회전축으로 설정되는 것을 특징으로 하는 데이터 수집 장치.
15. 제8항에 있어서,
    상기 제1결합부는 광투과성 재질의 하우징을 구비하는 것을 특징으로 하는 데이터 수집 장치.
16. 제8항에 있어서,
    자기력을 발생하는 자기력 발생부를 더 포함하고,
    상기 제2결합부는 상기 자기력에 의하여 척력을 받아 상기 제3링부재의 내측에 배치되는 것을 특징으로 하는 데이터 수집 장치.
17. 데이터 수집 장치; 및 학습 장치를 구비하는 포즈 추정 모델의 학습 시스템에 있어서,
    상기 데이터 수집 장치는,
    순차적으로 연결되는 제1링부재, 제2링부재 및 제3링부재;
    이미지를 촬영하는 카메라; 및
    대상물이 상기 카메라와 상대 회전하도록, 상기 제1링부재, 제2링부재 및 제3링부재의 회전각을 제어하며, 각각의 회전 지점에서 상기 카메라를 이용하여 상기 대상물을 촬영하는 제어부를 포함하고,
    상기 제1링부재, 제2링부재 및 제3링부재는 순차적으로 직경이 작아지고,
    상기 제1링부재는 제1모터와 연결되어, 제1축을 중심으로 회전하고,
    상기 제2링부재는 상기 제1링부재에 장착된 제2모터와 연결되어 상기 제1축과 교차하는 제2축을 중심으로 회전하고,
    상기 제3링부재는 상기 제2링부재에 장착된 제3모터와 연결되어 상기 제2축과 교차하는 제3축을 중심으로 회전하고,
    상기 학습 장치는,
    상기 각각의 회전 지점에서 촬영된 상기 대상물의 이미지와 상기 각각의 회전 지점에 대응되는 특정 회전각을 이용하여, 상기 특정 회전각에 대응되는 자세정보를 상기 대상물의 이미지에 라벨링하는 단계; 및
    상기 자세정보가 라벨링된 상기 대상물의 이미지를 이용하여 학습 데이터를 생성하고, 상기 학습 데이터를 이용하여 객체의 포즈를 추정하는 모델을 학습하는 단계를 수행하는 것을 특징으로 하는 포즈 추정 모델의 학습 시스템.
18. 삭제

Images