KR102573020B1

KR102573020B1 - 로봇팔을 이용한 학습 데이터셋 생성 장치 및 방법

Info

Publication number: KR102573020B1
Application number: KR1020210029254A
Authority: KR
Inventors: 김용은; 노형주
Original assignee: 한국자동차연구원
Priority date: 2021-03-05
Filing date: 2021-03-05
Publication date: 2023-08-31
Also published as: KR20220125876A

Abstract

로봇팔을 이용한 학습 데이터 생성 장치 및 방법이 개시된다. 본 발명의 일 측면에 따른 로봇팔을 이용한 학습 데이터 생성 장치는, 대상물의 다양한 각도를 구현하기 위한 회전체, 복수의 링크와 복수의 관절부를 포함하는 다관절 구조로 이루어지고, 제어신호에 따라 각 관절부를 회전구동하면서 각 링크를 소정각도로 회동시키는 로봇팔, 상기 로봇팔의 종단링크에 장착되어, 상기 대상물을 감지하는 센서부, 상기 로봇팔 및 회전체 중 적어도 하나의 구동을 제어하기 위한 제어 신호를 생성하고, 상기 제어 신호에 따라 이동 및 회전하는 상기 센서부로부터 영상 데이터를 획득하며, 상기 대상물에 대한 기준 3D 모델을 이용하여 상기 영상 데이터로부터 상기 대상물에 대한 바운딩 박스(bounding box)를 생성함으로써 상기 대상물에 대한 학습 데이터를 생성하는 제어 장치를 포함한다.

Description

로봇팔을 이용한 학습 데이터셋 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING TRAINING DATA SET USING ROBOT ARM}

본 발명은 로봇팔을 이용한 학습 데이터셋 생성 장치 및 방법에 관한 것으로서, 보다 상세하게는 로봇팔을 이용하여 대상물에 대한 학습 데이터를 자동으로 생성할 수 있도록 하는 로봇팔을 이용한 학습 데이터셋 생성 장치 및 방법에 관한 것이다.

인공지능의 한분야인 머신러닝은 사람이 학습하듯이 데이터를 제공하여 학습하게 함으로써 지식을 얻어내게 하는 분야이다. 이를 위해서는 많은 데이터를 라벨링하여 데이터셋을 구성하여 학습을 시켜야 하는 것이 필요하다.

이는 학습시키기 위한 데이터를 분류하여 데이터셋을 구성하여 학습시킴으로써, 학습된 패턴의 양과 정확성에 따라 인공지능의 성과와 연결된다고 볼 수 있다.

기존에는 데이터셋을 구성하기 위해 데이터를 증가(data augmentation)시키거나, 데이터를 수작업으로 분류(labeling, 라벨링)하였다.

데이터 증가 시키는 방법은 원본 이미지에 대하여 상하나 좌우를 반전시키거나 일부 영역을 잘라내는 등을 통해 데이터셋을 확장하는 방식이며, 데이터 수작업 분류 방식은 수작업을 통해 데이터를 일일이 지정하여 처리하는 방식이다.

이러한 작업은 수작업으로 수행하기 때문에 학습을 위한 사전 준비 시간이 많이 소요됨으로써 실제 인공지능을 접목한 서비스의 효용성이 낮아지게 되는 결과가 나타나게 되는 단점이 있다.

본 발명과 관련된 선행기술로는 대한민국등록특허 제10-2175531호(2020.11.06. 공고)가 있다.

본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 본 발명의 목적은 로봇팔을 이용하여 대상물에 대한 학습 데이터를 자동으로 생성할 수 있도록 하는 로봇팔을 이용한 학습 데이터셋 생성 장치 및 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 측면에 따른 로봇팔을 이용한 학습 데이터 생성 장치는, 대상물의 다양한 각도를 구현하기 위한 회전체, 복수의 링크와 복수의 관절부를 포함하는 다관절 구조로 이루어지고, 제어신호에 따라 각 관절부를 회전구동하면서 각 링크를 소정각도로 회동시키는 로봇팔, 상기 로봇팔의 종단링크에 장착되어, 상기 대상물을 감지하는 센서부, 상기 로봇팔 및 회전체 중 적어도 하나의 구동을 제어하기 위한 제어 신호를 생성하고, 상기 제어 신호에 따라 이동 및 회전하는 상기 센서부로부터 영상 데이터를 획득하며, 상기 대상물에 대한 기준 3D 모델을 이용하여 상기 영상 데이터로부터 상기 대상물에 대한 바운딩 박스(bounding box)를 생성함으로써 상기 대상물에 대한 학습 데이터를 생성하는 제어 장치를 포함한다.

본 발명에서 상기 로봇팔은, 6축 다관절 로봇팔일 수 있다.

본 발명에서 상기 로봇팔은, 몸체부, 상기 몸체부의 상부에 복수의 링크와 복수의 관절부를 포함하는 다관절 구조로 이루어지고, 각 관절부는 상기 제어신호에 따라 회전구동하면서 각 링크를 소정각도로 회동시키는 로봇암부, 상기 몸체부 내부에 설치되고, 상기 로봇암부의 구동에 따른 각 링크 및 관절부의 위치를 공간 좌표값으로 변환하며, 상기 센서부를 통해 획득된 영상 데이터 및 그 영상 데이터 획득 시점의 상기 로봇암부의 공간 좌표값을 상기 제어 장치로 전송하는 제어부를 포함할 수 있다.

본 발명에서 상기 제어장치는, 통신부, 상기 대상물에 대한 기준 3D 모델이 획득된 로봇암부의 공간 좌표값을 초기값으로 저장하는 저장부, 상기 로봇팔 및 회전체 중 적어도 하나를 구동시키기 위한 제어 신호를 상기 통신부를 통해 전송하고, 상기 로봇팔로부터 상기 센서부를 통해 획득된 영상 데이터 및 로봇암부의 공간 좌표값을 수신하며, 상기 기준 3D 모델을 이용하여 상기 영상 데이터로부터 상기 대상물을 검출하고, 상기 대상물에 대한 바운딩 박스를 생성하는 제어부를 포함할 수 있다.

본 발명에서 상기 제어부는, 상기 로봇팔로부터 수신한 로봇암부의 공간 좌표값을 상기 초기값과 비교하여 x축, y축, z축, 피치(pitch), 롤(roll), 및 요(yaw) 중 적어도 하나의 변경값을 산출하고, 상기 변경값을 상기 기준 3D 모델에 적용하여 변경된 3D 모델을 생성하며, 상기 변경된 3D 모델의 외곽선을 추출하고, 상기 추출된 외곽선을 상기 검출된 대상물에 적용함으로써 세그먼테이션 바운딩 박스를 생성할 수 있다.

본 발명에서 상기 제어부는, 상기 로봇팔로부터 수신한 로봇암부의 공간 좌표값을 상기 초기값과 비교하여 x축, y축, z축, 피치(pitch), 롤(roll), 및 요(yaw) 중 적어도 하나의 변경값을 산출하고, 상기 변경값을 상기 기준 3D 모델에 적용하여 변경된 3D 모델을 생성하며, 상기 변경된 3D 모델의 중심으로부터 가장 먼 X축값 및 Y축값, 가장 가까운 X축값 및 Y축값을 각각 직선으로 그려 만나는 4개의 점을 상기 검출된 대상물에 적용함으로써 바운딩 박스를 생성할 수 있다.

본 발명에서 상기 회전체는, 상기 제어신호에 따라 수평방향으로 회전할 수 있다.

본 발명의 일 측면에 따른 로봇팔을 이용한 학습 데이터 생성 방법은, 제어장치가 로봇팔의 구동을 제어하기 위한 제어 신호를 상기 로봇팔로 전송하는 단계, 상기 로봇팔이 상기 제어 신호에 따라 구동하면서 센서부를 통해 대상물을 포함하는 영상 데이터를 획득하고, 상기 획득된 영상 데이터를 상기 제어장치로 전송하는 단계, 상기 제어장치가 상기 대상물에 대한 기준 3D 모델을 이용하여 상기 영상 데이터로부터 상기 대상물에 대한 바운딩 박스(bounding box)를 생성함으로써 상기 대상물에 대한 학습 데이터를 생성하는 단계를 포함한다.

본 발명에서 상기 학습 데이터를 생성하는 단계는, 상기 제어장치가 상기 로봇팔로부터 상기 영상 데이터를 수신하는 단계, 상기 제어장치가 상기 영상 데이터 획득 시점의 상기 로봇팔의 공간 좌표값을 기 저장된 초기값과 비교하여 x축, y축, z축, 피치(pitch), 롤(roll), 및 요(yaw) 중 적어도 하나의 변경값을 산출하는 단계, 상기 제어장치가, 상기 변경값을 기준 3D 모델에 적용하여 변경된 3D 모델을 생성하는 단계, 및 상기 제어장치가 상기 변경된 3D 모델을 이용하여 상기 영상 데이터로부터 상기 대상물을 검출하며, 상기 대상물에 대한 바운딩 박스를 생성하는 단계를 포함할 수 있다.

본 발명은 상기 바운딩 박스를 생성하는 단계에서, 상기 제어장치는, 상기 변경된 3D 모델의 외곽선을 추출하고, 상기 추출된 외곽선을 상기 검출된 대상물에 적용함으로써 세그먼테이션 바운딩 박스를 생성할 수 있다.

본 발명은 상기 바운딩 박스를 생성하는 단계에서, 상기 제어장치는, 상기 변경된 3D 모델의 중심으로부터 가장 먼 X축값 및 Y축값, 가장 가까운 X축값 및 Y축값을 각각 직선으로 그려 만나는 4개의 점을 상기 검출된 대상물에 적용함으로써 바운딩 박스를 생성할 수 있다.

본 발명의 일 실시예에 따른 로봇팔을 이용한 학습 데이터셋 생성 장치 및 방법은, 로봇팔을 이용하여 대상물에 대한 학습 데이터셋을 자동으로 생성함으로써, 빠른 속도로 정확한 학습 데이터를 생성할 수 있다. 이를 통해 인공지능 머신 러닝의 학습 효율은 물론, 인공지능을 접목한 서비스의 효용성을 확대시킬 수 있다.

한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다.

도 1은 본 발명의 일 실시예에 따른 로봇팔을 이용한 학습 데이터 생성 장치를 나타낸 도면이다.
도 2는 도 1에 도시된 제어 장치의 구성을 개략적으로 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 기준 3D 모델을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 기준 3D 모델을 이용하여 영상 데이터에서 대상물을 검출하는 방법을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 기준 3D 모델을 이용하여 세그먼테이션 바운딩 박스를 생성하는 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 기준 3D 모델을 이용하여 사각형 바운딩 박스를 생성하는 방법을 설명하기 위한 예시도이다.

이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 로봇팔을 이용한 학습 데이터셋 생성 장치 및 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.

또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

또한, 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.

도 1은 본 발명의 일 실시예에 따른 로봇팔을 이용한 학습 데이터 생성 장치를 나타낸 도면, 도 2는 도 1에 도시된 제어장치의 구성을 개략적으로 나타낸 블록도, 도 3은 본 발명의 일 실시예에 따른 기준 3D 모델을 설명하기 위한 예시도, 도 4는 본 발명의 일 실시예에 따른 기준 3D 모델을 이용하여 영상 데이터에서 대상물을 검출하는 방법을 설명하기 위한 예시도, 도 5는 본 발명의 일 실시예에 따른 기준 3D 모델을 이용하여 세그먼테이션 바운딩 박스를 생성하는 방법을 설명하기 위한 예시도, 도 6은 본 발명의 일 실시예에 따른 기준 3D 모델을 이용하여 사각형 바운딩 박스를 생성하는 방법을 설명하기 위한 예시도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 로봇팔을 이용한 학습 데이터셋 생성 장치는 대상물(10)에 대한 학습 데이터를 생성할 수 있는 장치로, 대상물(10)이 올려지는 회전체(100), 센서부(300)가 장착된 로봇팔(200), 및 제어장치(400)를 포함할 수 있다.

회전체(100)는 대상물(10)의 다양한 각도를 구현하기 위한 구성으로, 제어장치(400)로부터의 제어신호에 따라 수평방향으로 회전할 수 있다. 즉, 회전체(100)는 제어신호에 따라 수평방향으로 회동동가능하게 장착되는 프레임 구조물로서, 대상물(10)을 수평방향으로 360도 회전시킬 수 있다. 도시되지 않았으나 회전체(100)에는 제어장치(400)의 제어신호에 따라 회전구동하면서 수평회전에 필요한 구동력을 제공하기 위한 전기모터 등의 구동수단이 구비된다. 이러한 구동수단으로는 회전각 및 회전속도 등을 정밀하게 조절할 수 있는 스테핑모터 또는 서보모터를 이용할 수 있다.

회전체(100)는 대상물(10)을 다양한 방향에서 센싱되도록 할 수 있다.

로봇팔(200)은 센서부(300)를 통해 영상 데이터를 획득하면서 종래의 매니퓰레이터 기능을 구현하는 로봇장치로서, 복수의 링크(220)와 복수의 관절부(230)를 포함하는 다관절 구조로 이루어져 있다. 로봇팔(200)은 6축 다관절 로봇팔(200)로 구현될 수 있다.

이러한 로봇팔(200)은 몸체부(210), 로봇암부(220,230) 및 제어부(미도시)를 포함할 수 있다. 또한, 로봇팔(200)은 제어장치(400)와 통신하기 위한 통신부(미도시)를 더 포함할 수 있다.

몸체부(210)는 로봇팔(200)을 고정시키기 위한 구성일 수 있다.

로봇암부(220,230)는 몸체부(210)의 상부에 복수의 링크(220)와 복수의 관절부(230)를 포함하는 다관절 구조로 이루어질 수 있다. 각 관절부(230)는 제어장치(400)의 제어신호에 따라 회전구동하면서 각 링크(220)를 소정 각도로 회동시키며 상단에 배치된 종단링크의 단부에는 제어신호에 따라 회전하여 대상물(10)을 촬영(센싱)하는 센서부(300)가 장착될 수 있다.

여기서, 로봇암부(220,230)는 요구되는 매니퓰레이터 기능에 따라 2관절 이상의 링크 구조로 이루어질 수 있으며, 관절부(230)는 수평방향 회전(패닝) 동작이외에 수직방향 회전(틸팅, Tilting)이 가능하도록 구비되는 것이 바람직하다.

또한, 도시되지 않았으나 각 관절부(230)에는 제어부(160)의 제어신호에 따라 회전구동하면서 회전구동에 필요한 구동력을 제공하기 위한 전기모터 등의 구동수단이 구비되며, 상기 구동수단으로는 스테핑모터 또는 서보모터를 이용할 수 있고, 회전각의 정밀제어를 위해 일측에는 엔코더가 배치될 수 있다.

제어부는 로봇팔(200)을 중앙제어하는 마이크로 컨트롤러로서, 제어장치(400)로부터의 제어신호에 따라 로봇암부(220,230)를 구동제어할 수 있다. 여기서, 제어신호는 로봇팔의 자세를 변경하는 신호일 수 있다.

제어부는 몸체부(210) 내부에 설치되고, 로봇암부(220,230) 의 구동에 따른 각 링크(220) 및 관절부(230)의 위치(자세)를 공간 좌표값으로 변환하며, 센서부(300)를 통해 획득된 영상 데이터 및 그 영상 데이터 획득 시점의 로봇암부(220,230) 의 공간 좌표값을 제어장치(400)로 전송할 수 있다. 여기서, 공간 좌표값은 x축, y축, z축, 피치(pitch), 롤(roll), 및 요(yaw) 값을 포함할 수 있다.

제어부는 제어장치(400)로부터의 제어신호에 따라 관절부(230)를 구동 제어함으로써, 센서부(300)를 통한 영상 데이터 획득 동작을 보다 용이하고 정밀하게 수행할 수 있다.

센서부(300)는 대상물(10)을 감지하고, 감지된 데이터를 제어장치(400)로 전송할 수 있다. 여기서, 대상물(10)은 학습 데이터를 생성하기 위한 객체일 수 있다.

이러한 센서부(300)는 영상 센서(미도시), 라이다 센서(미도시) 및 레이더 센서(미도시) 등을 포함할 수 있다.

영상 센서는 대상물(10)을 촬영하고, 촬영된 영상 데이터를 제어장치(400)로 전송할 수 있다. 영상 센서는 예컨대, 카메라나 기타 영상 데이터를 입력받을 수 있는 장치 등이 포함될 수 있다. 영상 센서는 정지영상이나 동영상 등의 영상 데이터를 처리할 수 있으며, 동일한 대상물(10)을 포함하는 시간적으로 연속성 있는 이미지를 출력할 수 있다. 라이다 센서는 빛을 발산하고 대상물(10)에 반사되는 빛을 측정하여 대상물(10)과의 거리 및 다양한 물성을 감지하고, 이를 3D 영상으로 모델링할 수 있다.

영상 센서만을 이용하는 것보다 라이다 센서를 같이 이용함으로써 보다 정확하게 대상물(10)에 대한 학습 데이터를 생성할 수 있다.

상기와 같이 구성된 센서부(300)가 장착된 로봇팔(200)은 제어장치(400)로부터의 제어신호에 따라 구동하면서 센서부(300)를 통해 대상물(10)을 포함하는 영상 데이터를 획득하고, 획득된 영상 데이터를 제어장치(400)로 전송할 수 있다.

제어장치(400)는 로봇팔(200) 및 회전체(100) 중 적어도 하나의 구동을 제어하기 위한 제어 신호를 생성하고, 제어 신호에 따라 이동 및 회전하는 센서부(300)로부터 영상 데이터를 획득하며, 대상물(10)에 대한 기준 3D 모델을 이용하여 영상 데이터로부터 대상물(10)에 대한 바운딩 박스(bounding box)를 생성함으로써 대상물(10)에 대한 학습 데이터를 생성할 수 있다.

대상물(10)에 대한 학습 데이터를 생성하기 위해서는 다양한 각도의 위치에서 대상물(10)을 촬영할 필요가 있다. 이에, 제어장치(400)는 로봇팔(200)의 구동을 제어하여 센서부(300)를 이동시키고, 회전체(100)의 구동을 제어하여 회전체(100) 상면에 올려진 대상물(10)을 회전시킨 후, 센서부(300)를 통해 획득된 영상 데이터에서 실제 대상물(10) 영역에 바운딩 박스를 입력하여 대상물(10)에 대한 학습 데이터를 생성할 수 있다.

이러한 제어장치(400)는 도 2에 도시된 바와 같이 저장부(410), 통신부(420) 및 제어부(430)를 포함할 수 있다.

통신부(420)는 회전체(100) 및 로봇팔(200)과의 통신을 위한 구성으로, 제어신호를 회전체(100) 및 로봇팔(200)로 전송하거나 로봇팔(200)로부터 영상 데이터 및 공간 좌표값을 수신할 수 있다. 이러한 통신부(420)는 근거리 통신모듈, 무선 통신모듈, 이동통신 모듈, 유선 통신모듈 등 다양한 형태로 구현될 수 있다.

저장부(410)는 대상물(10)에 대한 기준 3D 모델이 획득된 로봇암부(220,230) 의 공간 좌표값을 초기값으로 저장할 수 있다. 여기서, 초기값은 로봇팔(200)을 이용하여 기준 3D 모델과 동일한 형상의 대상물(10)을 획득할 시 로봇암부(220,230) 의 공간 좌표값(x축, y축, z축, 피치(pitch), 롤(roll), 및 요(yaw) 값)일 수 있다.

또한, 저장부(410)에는 회전체(100) 및 로봇팔(200)의 이동 및 회전에 대한 시나리오를 저장할 수 있다. 이 경우, 회전체(100) 및 로봇팔(200)은 저장부(410)에 저장된 시나리오에 따라 스스로 이동 및 회전할 수 있고, 제어장치(400)는 로봇팔(200)로부터의 영상 데이터를 이용하여 대상물(10)에 대한 학습 데이터를 자동으로 생성할 수 있다.

또한, 저장부(410)는 대상물(10)에 대한 기준 3D 모델을 저장할 수 있다. 예를 들어 도 3의 (a)와 같은 영상 데이터의 경우, 저장부(410)는 도 3의 (b)와 같은 기준 3D 모델을 저장할 수 있다. 기준 3D 모델은 3D 스캔 모델링 데이터일 수 있다.

제어부(430)는 회전체(100) 및 로봇팔(200) 중 적어도 하나의 구동을 제어하기 위한 제어 신호를 생성하여 회전체(100) 및 로봇팔(200) 중 적어도 하나의 구동을 제어할 수 있다.

제어부(430)는 회전체(100) 및 로봇팔(200)의 구동 시나리오를 미리 저장하고, 그 구동 시나리오에 따라 회전체(100) 및 로봇팔(200)의 구동을 제어할 수 있다. 여기서, 구동 시나리오는 이동 및 움직임 경로는 관리자에 의해 미리 설정될 수 있다.

제어부(430)는 회전체(100) 및 로봇팔(200)의 구동에 따라 센서부(300)로부터 영상 데이터를 수신하고, 기준 3D 모델을 이용하여 영상 데이터로부터 대상물(10)을 검출하며, 대상물(10)에 대한 바운딩 박스를 생성함으로써, 학습 데이터를 생성할 수 있다.

제어부(430)의 제어에 따라 로봇팔(200)이 구동하여 센서부(300)가 이동 및 회전하게 되면, 제어부(430)는 제어 신호에 따른 로봇암부(220,230) 의 공간 좌표값을 초기값과 비교하여 x축, y축, z축, 피치(pitch), 롤(roll), 및 요(yaw) 중 적어도 하나의 변경값을 산출할 수 있다. 여기서, 로봇암부(220,230) 의 공간 좌표값은 로봇암부(220,230) 의 x축, y축, z축, 피치(pitch), 롤(roll), 및 요(yaw) 중 적어도 하나의 값을 포함할 수 있다.

변경값이 산출되면, 제어부(430)는 변경값을 기준 3D 모델에 적용하여 변경된 3D 모델을 생성할 수 있고, 변경된 3D 모델의 외곽선을 추출하며, 추출된 외곽선을 영상 데이터에서 검출된 대상물(10)에 적용함으로써 세그먼테이션 바운딩 박스를 생성할 수 있다.

제어부(430)의 제어로 회전체(100)가 회전하고 로봇팔(200)이 구동하면, 대상물(10)에 대한 센서부(300)의 관측점(시야각)이 변하므로, 제어부(430)는 변하는 관측점(시야각)을 기준 3D 모델에 적용할 수 있다. 그러면, 기준 3D 모델의 모양이 변하게 되고, 제어부(430)는 변화된 3D 모델을 이용하여 센서부(300)로부터의 영상 데이터에서 어느 영역이 대상물(10)인지를 인지할 수 있다.

예를 들어, 액추에이터의 동작으로 기준 3D 모델이 도 4의 (a)와 같이 변한 경우에 대해 설명하기로 한다. 이 경우, 제어부는 도 4의 (b)의 영상 데이터에서 (a)의 3D 모델에 대응되는 대상물(A)을 검출할 수 있다.

제어부(430)는 변경된 3D 모델의 외곽선을 추출하고, 추출된 외곽선을 검출된 대상물(10)에 적용함으로써 세그먼테이션 바운딩 박스를 생성할 수 있다. 예를 들어, 도 5의 (a)와 같은 3D 모델의 외곽선(B)이 추출된 경우, 제어부(430)는 3D 모델의 외곽선을 도 5의 (b)와 같이 대상물(10)의 외곽선(B')으로 적용할 수 있다. 이는 제어부(430)가 이동체 하우징의 이동 거리, 센서부(300)의 움직인 각도 및 높이 변경값을 기준 3D 모델에 적용하기 때문에, 변경된 3D 모델은 영상 데이터 내 대상물(10)의 크기 및 모양과 동일할 수 있다. 이에, 3D 모델의 외곽선을 대상물(10)의 외곽선으로 적용할 수 있다.

또한, 제어부(430)는 제어 신호에 따른 로봇암부(220,230) 의 공간 좌표값을 초기값과 비교하여 x축, y축, z축, 피치(pitch), 롤(roll), 및 요(yaw) 중 적어도 하나의 변경값을 산출하고, 변경값을 기준 3D 모델에 적용하여 변경된 3D 모델을 생성하며, 변경된 3D 모델의 중심으로부터 가장 큰 X축값 및 Y축값, 가장 작은 X축값 및 Y축값을 각각 직선으로 그려 만나는 4개의 점을 검출된 대상물(10)에 적용함으로써 바운딩 박스를 생성할 수 있다.

예를 들어, 도 6의 (a)와 같은 3D 모델의 중심점으로부터 가장 큰 X축, 가장 작은 X축, 가장 큰 y축, 및 가장 큰 y축을 직선으로 그리고, 그 직선이 만나는 4개의 점을 센서부(300)로부터의 영상 데이터에 적용하면, 도 6의 (b)와 같은 바운딩 박스를 생성할 수 있다.

상술한 바와 같이 제어부(430)는 영상 데이터 내의 대상물(10)에 바운딩 박스(bounding box)를 생성하고, 바운딩 박스에 대상물(10)을 특정하는 클래스(ex. 소파, 액자, 책, 카펫, 커튼 등)를 영상 데이터에 레이블링하여 학습 데이터 DB(미도시)에 저장할 수 있다.

한편, 본 발명의 실시예에서는 제어장치(400)를 로봇팔(200) 외부에 존재하는 장치로 설명하였으나, 제어장치(400)는 로봇팔(200) 내부에 존재하는 장치일 수도 있다.

또한, 본 발명의 실시예에서는 로봇암부(220,230) 의 공간 좌표값을 로봇팔(200)에서 산출하는 것으로 설명하였으나, 로봇암부(220,230) 의 공간 좌표값은 제어장치(400)에서 산출할 수도 있다.

상술한 바와 같이 자동적으로 생성한 레이블된 학습데이터를 이용하여 다양한 기계 학습에 응용할 수 있다.

상술한 바와 같이, 본 발명의 일 실시예에 따른 로봇팔을 이용한 학습 데이터셋 생성 장치 및 방법은, 로봇팔을 이용하여 대상물(10)에 대한 학습 데이터셋을 자동으로 생성함으로써, 빠른 속도로 정확한 학습 데이터를 생성할 수 있다. 이를 통해 인공지능 머신 러닝의 학습 효율은 물론, 인공지능을 접목한 서비스의 효용성을 확대시킬 수 있다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.

10 : 대상물
100 : 회전체
200 : 로봇팔
210 : 몸체부
220 : 링크
230 : 관절부
300 : 센서부
400 : 제어장치
410 : 저장부
420 : 통신부
430 : 제어부

Claims

대상물의 다양한 각도를 구현하기 위한 회전체;
복수의 링크와 복수의 관절부를 포함하는 다관절 구조로 이루어지고, 제어신호에 따라 각 관절부를 회전구동하면서 각 링크를 소정각도로 회동시키는 로봇팔;
상기 로봇팔의 종단링크에 장착되어, 상기 대상물을 감지하는 센서부; 및
상기 로봇팔 및 회전체 중 적어도 하나의 구동을 제어하기 위한 제어 신호를 생성하고, 상기 제어 신호에 따라 이동 및 회전하는 상기 센서부로부터 영상 데이터를 획득하며, 상기 대상물에 대한 기준 3D 모델을 이용하여 상기 영상 데이터로부터 상기 대상물에 대한 바운딩 박스(bounding box)를 생성함으로써 상기 대상물에 대한 학습 데이터를 생성하는 제어 장치를 포함하되,
상기 제어 장치는,
상기 대상물에 대한 기준 3D 모델이 획득된 로봇암부의 공간 좌표값을 초기값으로 저장하는 저장부; 및
제어부를 포함하고,
상기 제어부는,
상기 로봇팔로부터 수신한 로봇암부의 공간 좌표값을 상기 초기값과 비교하여 x축, y축, z축, 피치(pitch), 롤(roll), 및 요(yaw) 중 적어도 하나의 변경값을 산출하고, 상기 변경값을 상기 기준 3D 모델에 적용하여 변경된 3D 모델을 생성하는 것을 특징으로 하는 로봇팔을 이용한 학습 데이터 생성 장치.
제1항에 있어서,
상기 로봇팔은,
6축 다관절 로봇팔인 것을 특징으로 하는 로봇팔을 이용한 학습 데이터 생성 장치.
제1항에 있어서,
상기 로봇팔은,
몸체부;
상기 몸체부의 상부에 복수의 링크와 복수의 관절부를 포함하는 다관절 구조로 이루어지고, 각 관절부는 상기 제어신호에 따라 회전구동하면서 각 링크를 소정각도로 회동시키는 로봇암부; 및
상기 몸체부 내부에 설치되고, 상기 로봇암부의 구동에 따른 각 링크 및 관절부의 위치를 공간 좌표값으로 변환하며, 상기 센서부를 통해 획득된 영상 데이터 및 그 영상 데이터 획득 시점의 상기 로봇암부의 공간 좌표값을 상기 제어 장치로 전송하는 제어부를 포함하는 것을 특징으로 하는 로봇팔을 이용한 학습 데이터 생성 장치.
제1항에 있어서,
상기 제어 장치는,
통신부;를 더 포함하고,
상기 제어부는,
상기 로봇팔 및 회전체 중 적어도 하나를 구동시키기 위한 제어 신호를 상기 통신부를 통해 전송하고, 상기 로봇팔로부터 상기 센서부를 통해 획득된 영상 데이터 및 로봇암부의 공간 좌표값을 수신하며, 상기 기준 3D 모델을 이용하여 상기 영상 데이터로부터 상기 대상물을 검출하고, 상기 대상물에 대한 바운딩 박스를 생성하는 것을 특징으로 하는 로봇팔을 이용한 학습 데이터 생성 장치.
제1항에 있어서,
상기 제어부는,
상기 변경된 3D 모델의 외곽선을 추출하고, 상기 추출된 외곽선을 상기 영상 데이터로부터 검출된 대상물에 적용함으로써 세그먼테이션 바운딩 박스를 생성하는 것을 특징으로 하는 로봇팔을 이용한 학습 데이터 생성 장치.
제1항에 있어서,
상기 제어부는,
상기 변경된 3D 모델의 중심으로부터 가장 먼 X축값 및 Y축값, 가장 가까운 X축값 및 Y축값을 각각 직선으로 그려 만나는 4개의 점을 상기 영상 데이터로부터 검출된 대상물에 적용함으로써 바운딩 박스를 생성하는 것을 특징으로 하는 로봇팔을 이용한 학습 데이터 생성 장치.
제1항에 있어서,
상기 회전체는,
상기 제어신호에 따라 수평방향으로 회전하는 것을 특징으로 하는 로봇팔을 이용한 학습 데이터 생성 장치.
제어장치가 로봇팔의 구동을 제어하기 위한 제어 신호를 상기 로봇팔로 전송하는 단계;
상기 로봇팔이 상기 제어 신호에 따라 구동하면서 센서부를 통해 대상물을 포함하는 영상 데이터를 획득하고, 상기 획득된 영상 데이터를 상기 제어장치로 전송하는 단계; 및
상기 제어장치가 상기 대상물에 대한 기준 3D 모델을 이용하여 상기 영상 데이터로부터 상기 대상물에 대한 바운딩 박스(bounding box)를 생성함으로써 상기 대상물에 대한 학습 데이터를 생성하는 단계를 포함하고,
상기 학습 데이터를 생성하는 단계는,
상기 제어장치가 상기 로봇팔로부터 상기 영상 데이터를 수신하는 단계;
상기 제어장치가 상기 영상 데이터 획득 시점의 상기 로봇팔의 공간 좌표값을 기 저장된 초기값과 비교하여 x축, y축, z축, 피치(pitch), 롤(roll), 및 요(yaw) 중 적어도 하나의 변경값을 산출하는 단계;
상기 제어장치가, 상기 변경값을 기준 3D 모델에 적용하여 변경된 3D 모델을 생성하는 단계; 및
상기 제어장치가 상기 변경된 3D 모델을 이용하여 상기 영상 데이터로부터 상기 대상물을 검출하며, 상기 대상물에 대한 바운딩 박스를 생성하는 단계를 포함하는 것을 특징으로 하는 로봇팔을 이용한 학습 데이터 생성 방법.
삭제
제8항에 있어서,
상기 바운딩 박스를 생성하는 단계에서,
상기 제어장치는, 상기 변경된 3D 모델의 외곽선을 추출하고, 상기 추출된 외곽선을 상기 검출된 대상물에 적용함으로써 세그먼테이션 바운딩 박스를 생성하는 것을 특징으로 하는 로봇팔을 이용한 학습 데이터 생성 방법.
제8항에 있어서,
상기 바운딩 박스를 생성하는 단계에서,
상기 제어장치는, 상기 변경된 3D 모델의 중심으로부터 가장 먼 X축값 및 Y축값, 가장 가까운 X축값 및 Y축값을 각각 직선으로 그려 만나는 4개의 점을 상기 검출된 대상물에 적용함으로써 바운딩 박스를 생성하는 것을 특징으로 하는 로봇팔을 이용한 학습 데이터 생성 방법.