KR20220089463A - 피킹 로봇을 위한 비젼 분석 장치 - Google Patents

Abstract

본 발명의 피킹 로봇을 위한 비젼 분석 장치에 관한 것으로서, 더욱 상세히는 파지 대상물을 파지하는 피킹 로봇의 종단에 구성되어 파지 대상물을 촬영한 영상으로부터 파지 대상물의 배치 상태를 학습 기반으로 분석하여 피킹 로봇의 파지 정확도 및 효율을 높일 수 있도록 한 피킹 로봇을 위한 비젼 분석 장치에 관한 것이다. 본 발명은 파지 대상물을 파지하는 피킹 로봇의 종단에 결합 구성되어 피킹 로봇의 자세 변경에 따라 다양한 관찰 시점에서 영상을 획득할 수 있으며, 영상에 관심 영역을 선별하여 얻어진 이미지에 포함되는 파지 대상물에 대한 분석 대상 속성을 태깅한 태깅 정보와 해당 이미지를 이용하여 학습시킨 딥러닝 모델을 통해 이미지로부터 파지 대상물의 객체 종류와 배치 영역 및 자세가 정확하게 검출되어 파지 대상물에 대한 정확한 파지가 이루어지도록 지원함으로써 피킹 로봇의 정확도 및 효율을 향상시킴과 아울러, 단일 카메라의 영상에서 관심 영역을 선별한 이미지만으로 학습이 가능한 경량화된 딥러닝 모델을 통해 파지 대상물에 대한 정확한 분석이 가능하도록 지원함으로써, 연산 부하를 줄이면서도 신속하고 정확한 피킹 로봇의 파지 대상물에 대한 파지가 이루어지도록 지원하는 효과가 있다.

Description

피킹 로봇을 위한 비젼 분석 장치{Vision analysis apparatus for picking robot}

본 발명의 피킹 로봇을 위한 비젼 분석 장치에 관한 것으로서, 더욱 상세히는 파지 대상물을 파지하는 피킹 로봇의 종단(엔드 포인트)에 구성되어 파지 대상물을 촬영한 영상으로부터 파지 대상물의 배치 상태를 학습 기반으로 분석하여 피킹 로봇의 파지 정확도 및 효율을 높일 수 있도록 한 피킹 로봇을 위한 비젼 분석 장치에 관한 것이다.

현재 로봇을 이용한 자동화 시스템의 개발이 활성화되고 있으며, 이를 현장에 적용하여 작업 효율을 개선시킴과 아울러 인건비 절감을 도모하고 있다.

이러한 로봇들 중에서 피킹 로봇(picking robot)은 제조업이나 물류 관리업 등과 같은 다양한 업종에 필수적인 로봇으로서, 이러한 피킹 로봇은 작업 대상물의 분류나 공정 이동 등과 같은 다양한 작업에 적용될 수 있어 효용 가치가 높은 로봇에 속한다.

현재 피킹 로봇을 이용한 자동화 시스템은 대부분 로봇이 위치한 영역에 인접하여 고정 배치된 하나 이상의 카메라를 토대로 파지 대상물의 상태를 촬영하고, 파지 대상물을 촬영하여 생성된 영상을 서버에서 분석하여 파지 대상물의 배치와 자세 등을 파악한 후 피킹 로봇을 제어하여 해당 파지 대상물을 잡도록 하고 있다.

그러나, 기존의 피킹 로봇을 이용한 자동화 시스템은 대부분 복수 혹은 한장의 고정 위치 영상으로 대상을 파악하는 방식이어서, 복수개의 파지 대상물이 작업 영역에 배치되어 파지 대상물이 다른 파지 대상물이 가려져 식별이 어려운 경우가 빈번히 발생하며 이로 인해 파지 대상물을 파지하지 않고 지나치는 오류가 빈번히 발생한다.

이에 더하여, 기존 자동화 시스템은 상술한 바와 같이 고정 위치의 카메라로부터 수신된 영상에 의존한 분석을 수행하므로, 파지 대상물의 배치 상태를 정확하게 파악하지 못해 파지 대상물을 파지하기 적당한 자세로 피킹 로봇을 제어하는데 상당한 분석 시간이 요구될 뿐만 아니라 분석된 자세에 대한 정확도가 떨어져 피킹 로봇의 피킹 정확도가 저하되는 문제가 있다.

한국공개특허 제10-2016-0114992호

본 발명은 피킹 로봇을 구성하는 로봇 팔의 종단에 해당하는 핸드 영역에 카메라를 포함하는 비젼 분석 장치를 구비하고, 상기 핸드 영역의 자세에 따라 다양한 각도에서 파지 대상물을 촬영한 영상을 획득한 후 이를 기반으로 학습을 통해 파지 대상물의 자세와 배치를 정확하게 파악할 수 있도록 지원하고, 특정 영상에서 식별이 어려운 파지 대상물이 존재하는 경우 학습 기반으로 파지 대상물의 식별이 가능한 관찰 시점에 대응되는 피킹 로봇의 자세를 분석하여 피킹 로봇의 파지 정확도를 높이면서 피킹 로봇의 자세 분석에 필요한 연산 부하를 낮추는데 그 목적이 있다.

본 발명의 실시예에 따른 액츄에이터 제어를 통해 파지 대상물을 파지하는 다관절 피킹 로봇을 위한 비젼 분석 장치는, 영상을 촬영하는 카메라부와, 카메라부의 영상을 수신하여 관심 영역을 선별 크롭하는 사전 영상 처리부와, 상기 사전 영상 처리부를 통해 얻어진 관심 영역 이미지 내의 파지 대상물에 대한 객체 종류와 배치 영역 및 자세를 미리 설정된 제 1 딥러닝 모델을 통해 파악하되, 기준 미만의 정확도로 파악되는 파지 대상물이 존재하는 경우 분석 결과와 상기 카메라부의 관찰 시점 사이의 상관 관계가 학습된 상태로 미리 설정된 제 2 딥러닝 모델에 상기 제 1 딥러닝 모델의 분석 결과를 적용하여 상기 비젼 분석 장치의 최적 관찰 시점에 대한 최적화 정보를 생성하는 영상 분석부 및 상기 영상 분석부에서 상기 관심 영역 이미지 내 파지 대상물별로 객체 종류와 배치 영역 및 자세가 기준 이상의 정확도로 파악된 분석 결과가 산출되면 상기 분석 결과에 대한 분석 결과 정보를 상기 피킹 로봇을 제어하는 외부 제어 장치에 전송하고, 상기 영상 분석부에서 상기 최적화 정보가 생성되는 경우 상기 최적화 정보에 따른 상기 최적 관찰 시점에 대응되도록 상기 피킹 로봇의 자세를 변경하기 위한 자세 제어 정보를 상기 외부 제어 장치에 제공하는 제어부를 포함할 수 있다.

본 발명과 관련된 일 예로서, 상기 비젼 분석 장치는 상기 피킹 로봇을 구성하는 다관절 로봇 팔의 종단인 핸드 영역에 구성되어 상기 로봇 팔의 자세에 따라 상기 카메라부의 관찰 시점이 변경되도록 구성된 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 사전 영상 처리부는, 상기 관심 영역의 광원을 강조하도록 영상처리를 수행하여 상기 관심 영역 이미지를 생성하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 제어부는, 파지 대상물에 대응되는 객체 종류와 상기 파지 대상물의 배치 영역 및 자세 중 적어도 하나가 상이한 복수의 서로 다른 영상과 각각 대응되는 복수의 관심 영역 이미지를 상기 카메라부 및 사전 영상 처리부를 통해 획득하고, 상기 복수의 관심 영역 이미지와 각각 대응되는 상기 관심 영역 이미지 내의 파지 대상물별 객체 종류와 배치 영역 및 자세에 대한 복수의 태깅 정보를 수신한 후 상기 복수의 관심 영역 이미지 및 복수의 태깅 정보를 기초로 생성한 복수의 제1차 학습용 데이터를 상기 영상 분석부를 통해 상기 제 1 딥러닝 모델에 학습시켜 상기 관심 영역 이미지와 상기 태깅 정보 사이의 상관관계가 상기 제 1 딥러닝 모델에 설정되도록 하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 외부 입력 장치와 통신하는 통신부를 더 포함하고, 상기 제어부는 상기 통신부를 통해 상기 외부 입력 장치로부터 상기 태깅 정보를 수신하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 외부 입력 장치는 사용자 입력을 기초로 상기 태깅 정보를 생성하여 전송하는 사용자 입력 장치이거나 상기 파지 대상물을 스캔하여 상기 태깅 정보를 생성하는 3차원 센서 또는 3차원 스캐너이거나 상기 비젼 분석 장치로부터 상기 관심 영역 이미지를 수신하여 영상 분석을 통해 상기 태깅 정보를 생성하는 영상 분석 장치 중 어느 하나인 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 제어부는 상기 피킹 로봇의 서로 다른 복수의 자세와 각각 대응되는 상기 카메라부에 대한 복수의 서로 다른 관찰 시점이 미리 설정되며, 상기 카메라부의 관찰 시점을 변경하기 위한 제어 요청 정보를 상기 외부 제어 장치로 전송하여 상기 외부 제어 장치의 상기 제어 요청 정보에 따른 상기 피킹 로봇의 자세 변경을 통해 상기 카메라부의 관찰 시점을 변경하면서 서로 다른 관찰 시점별로 상기 제1차 학습용 데이터를 생성하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 제어부는, 상기 영상 분석부와 연동하여 상기 학습 완료된 상기 제 1 딥러닝 모델에 상기 사전 영상 처리부를 통해 얻어진 특정 관찰 시점에 대응되는 관심 영역 이미지를 적용하여 파지 대상물별로 산출된 객체 종류와 배치 영역 및 자세에 대한 정확도를 포함하는 특정 분석 결과를 산출하고, 상기 특정 분석 결과에 미리 설정된 기준치 미만인 정확도가 존재하는 경우 상기 특정 관찰 시점과 상이한 미리 설정된 나머지 관찰 시점인 서로 다른 하나 이상의 관찰 시점으로 순차 변경하면서 관찰 시점별로 상기 카메라부 및 사전 영상 처리부를 통해 얻어진 관심 영역 이미지를 상기 제 1 딥러닝 모델에 적용하여 상기 하나 이상의 관찰 시점 중 상기 정확도가 가장 높게 산출되는 관찰 시점과 상기 특정 분석 결과를 매칭한 제2차 학습용 데이터를 생성한 후 상기 영상 분석부에 미리 설정된 제 2 딥러닝 모델에 학습시키며, 미리 설정된 기준치 미만인 정확도가 포함된 분석 결과가 산출될 때마다 상기 제2차 학습용 데이터를 생성하여 상기 제 2 딥러닝 모델에 학습시켜 상기 분석 결과와 상기 관찰 시점 사이의 상관관계가 상기 제 2 딥러닝 모델에 설정되도록 하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 영상 분석부는 기준 미만의 정확도로 파악되는 파지 대상물이 존재하는 분석 결과를 학습 완료된 상기 제 2 딥러닝 모델에 적용하여 최적 관찰 시점에 대한 최적화 정보를 산출하여 상기 제어부에 전송하고, 상기 제어부는 상기 최적화 정보 수신시 상기 최적화 정보에 따른 최적 관찰 시점에 대응되어 미리 설정된 피킹 로봇의 자세에 대한 상기 자세 제어 정보를 생성하여 상기 외부 제어 장치에 전송하는 것을 특징으로 할 수 있다.

본 발명은 파지 대상물을 파지하는 피킹 로봇의 종단에 결합 구성되어 피킹 로봇의 자세 변경에 따라 다양한 관찰 시점에서 영상을 획득할 수 있으며, 영상에 관심 영역을 선별하여 얻어진 이미지에 포함되는 파지 대상물에 대한 분석 대상 속성을 태깅한 태깅 정보와 해당 이미지를 이용하여 학습시킨 딥러닝 모델을 통해 이미지로부터 파지 대상물의 객체 종류와 배치 영역 및 자세가 정확하게 검출되어 파지 대상물에 대한 정확한 파지가 이루어지도록 지원함으로써 피킹 로봇의 정확도 및 효율을 향상시킴과 아울러, 단일 카메라의 영상에서 관심 영역을 선별한 이미지만으로 학습이 가능한 경량화된 딥러닝 모델을 통해 파지 대상물에 대한 정확한 분석이 가능하도록 지원함으로써, 연산 부하를 줄이면서도 신속하고 정확한 피킹 로봇의 파지 대상물에 대한 파지가 이루어지도록 지원하는 효과가 있다.

또한, 본 발명은 딥러닝 모델을 통해 분석한 분석 결과에서 정확도가 떨어지는 파지 대상물이 존재할 때마다 피킹 로봇의 자세 변경을 통해 정확도가 떨어지는 기존 시점을 제외한 다양한 시점에서 파지 대상물을 촬영한 하나 이상의 영상 각각으로부터 관심 영역을 선별하여 얻은 하나 이상의 이미지 각각을 상기 딥러닝 모델에 적용하여 가장 높은 정확도로 산출된 분석 결과에 대응되는 관찰 시점과 정확도가 낮은 기존 시점의 분석 결과를 매칭하여 학습시킨 추가 딥러닝 모델을 통해 정확도가 떨어지는 분석 결과가 산출되는 기존 관찰 시점을 대체할 최적의 관찰 시점을 도출하고, 이러한 최적 관찰 시점으로 파지 대상물의 객체 종류와 배치 영역 및 자세를 정확하게 검출하여 분석 결과로 제공할 수 있어 파지 대상물이 다른 파지 대상물에 가려진 경우에도 가려진 파지 대상물의 정확한 식별이 가능한 최적 관찰 시점으로 변경하여 분석한 결과를 피킹 로봇에 제공하여 피킹 로봇의 파지 정확도를 크게 개선할 수 있음과 아울러 기존과 같이 복수의 카메라를 설치할 필요 없이 단일 카메라로 파지 대상물의 파지를 위해 필요한 파지 대상물의 배치 상태에 대한 정확한 분석이 가능하여 피킹 로봇의 운용 효율을 크게 개선시키는 효과가 있다.

도 1 내지 도 3은 본 발명의 실시예에 따른 피킹 로봇을 위한 비젼 분석 장치의 구성 환경도.
도 4는 본 발명의 실시예에 따른 피킹 로봇을 위한 비젼 분석 장치의 구성도.
도 5는 본 발명의 실시예에 따른 피킹 로봇을 위한 비젼 분석 장치의 학습 과정에 대한 동작 예시도.
도 6은 본 발명의 실시예에 따른 피킹 로봇을 위한 비젼 분석 장치의 파지 대상물 분석 과정에 대한 동작 순서도.
도 7은 본 발명의 실시예에 따른 피킹 로봇을 위한 비젼 분석 장치의 사전 영상 처리 과정에 대한 예시도.

이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.

도 1 내지 도 3은 본 발명의 실시예에 따른 피킹 로봇을 위한 비젼 분석 장치의 구성 환경도이다.

도시된 바와 같이, 피킹 로봇(picking robot)(10)은 다관절의 로봇 팔로 구성되며, 이러한 로봇 팔의 종단(엔드 포인트)에는 파지 대상물(A)을 파지하도록 동작하는 파지 수단이 구성될 수 있다. 이러한 파지 수단의 일례로, 상기 파지 수단은 집게로 구성될 수 있다.

또한, 상기 피킹 로봇(10)은 상기 로봇 팔의 구동을 제어하는 구동부(20)를 포함하여 구성될 수 있으며, 상기 구동부(20)는 외부 제어 장치(1)와 통신 가능하도록 구성되어 상기 외부 제어 장치(1)로부터 수신되는 제어 신호를 기초로 상기 로봇 팔에 구성된 액츄에이터(actuator)의 제어를 통해 상기 로봇 팔의 자세를 변경 제어하면서 상기 로봇 팔의 종단에 위치하는 파지 수단을 제어하여 파지 대상물을 파지할 수 있다.

이때, 상기 구동부(20)는 상기 외부 제어 장치(1)와 통신망을 통해 통신하여 상기 피킹 로봇(10)의 자세 및 파지를 제어하는 제어 모듈로 구성되거나 해당 제어 모듈을 포함하여 구성될 수 있다.

또한, 본 발명의 실시예에 따른 피킹 로봇(10)을 위한 비젼 분석 장치(100)(이하, 비젼 분석 장치(100))는 피킹 로봇(10)에서 상기 파지 수단이 구성된 상기 로봇 팔의 핸드(hand) 영역에 결합되거나 상기 파지 수단에 구성될 수 있다.

또한, 상기 비젼 분석 장치(100)는 상기 외부 제어 장치(1)와의 통신을 위한 통신부(110)가 구성되어 상기 외부 제어 장치(1)와 통신망을 통해 통신할 수 있다.

이때, 상기 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.

또한, 상기 외부 제어 장치(1)는 서버로 구성될 수 있다.

상술한 바와 같은 피킹 로봇(10)을 제어하기 위해 기존 시스템은 외부 제어 장치(1)에서 피킹 로봇(10)과 분리되어 고정 위치된 하나 이상의 카메라로부터 파지 대상물을 촬영한 영상을 수신한 후 해당 영상에 대한 영상 분석을 통해 파지 대상물의 배치 영역과 자세를 분석하여 피킹 로봇(10)이 파지 대상물을 파지하도록 제어 신호를 전송하는 방식으로 동작하였으나, 이러한 기존 시스템은 피킹 로봇(10)의 관찰 시점과 무관한 고정 위치의 카메라로부터 수신된 영상에서 파지 대상물에 대한 배치 영역과 자세를 파악하므로 관찰 시점이 고정된 복수의 카메라가 촬영하여 생성한 영상 모두에서 파지 대상물의 배치 영역 및 자세가 정확하게 검출되지 않으면 피킹 로봇(10)의 파지 정확도가 떨어질 뿐만 아니라 이를 보완하기 위해 다른 관찰 시점의 카메라를 추가 배치해야 하므로 비용 증가와 더불어 시스템 효율성이 떨어지게 된다.

이에 반해, 본 발명은 피킹 로봇(10)에 카메라가 구비된 비젼 분석 장치(100)를 구성하여 카메라의 관찰 시점을 피킹 로봇(10)의 자세 변경에 따라 다양하게 변경할 수 있을 뿐만 아니라 이를 통해 파지 대상물의 객체 종류와 배치 영역 및 자세를 가장 정확하게 검출할 수 있는 영상을 생성할 수 있는 관찰 시점을 학습 기반으로 분석하여 산출할 수 있어 파지 정확도를 향상시킬 수 있음과 아울러, 단일 카메라의 영상에 대한 분석만으로 파지 정확도를 향상시킬 수 있어 피킹 로봇(10)의 제어에 대한 효율 향상 및 비용 절감을 도모할 수 있는 비젼 분석 장치(100)를 제공할 수 있는데, 이를 상술한 구성을 토대로 이하 내용을 통해 상세히 설명한다.

도 4는 본 발명의 실시예에 따른 비젼 분석 장치(100)의 구성도이고, 도 5는 본 발명의 실시예에 따른 비젼 분석 장치(100)의 학습 과정에 대한 동작 예시도이며, 도 6은 본 발명의 실시예에 따른 비젼 분석 장치(100)의 파지 대상물 분석 과정에 대한 동작 순서도이다.

도시된 바와 같이, 상기 비젼 분석 장치(100)는, 통신부(110), 카메라부(120), 사전 영상 처리부(130), 영상 분석부(140), 제어부(150) 및 저장부(160)를 포함하는 복수의 구성부를 포함하여 구성될 수 있다.

이때, 상기 비젼 분석 장치(100)를 구성하는 구성부 중 적어도 하나가 다른 구성부에 포함되어 구성될 수도 있으며, 일례로 상기 사전 영상 처리부(130) 및 영상 분석부(140)가 상기 제어부(150)에 포함되어 구성될 수 있다.

또한, 도시된 바와 같이, 상기 비젼 분석 장치(100)는 상술한 바와 같이 상기 복수의 구성부를 내부에 탑재한 모듈로 구성될 수 있으며, 상기 모듈이 물리적으로 상기 로봇 팔의 종단에 위치하는 핸드 영역 또는 파지 수단에 결합되어 구성될 수 있다. 이때, 상기 카메라부(120)는 파지 대상물에 대한 영상 촬영이 가능하도록 상기 모듈로부터 일부(또는 렌즈)가 노출되어 구성될 수 있다.

이에 따라, 상기 비젼 분석 장치(100)는 상기 피킹 로봇(10)을 구성하는 로봇 팔의 자세 변경시 상기 카메라부(120)의 관찰 시점이 변경되어 다양한 관찰 시점에서 파지 대상물(A)을 촬영한 영상을 생성할 수 있다.

또한, 상기 제어부(150)는 상기 저장부(160)에 저장된 프로그램 및 데이터를 이용하여 상기 비젼 분석 장치(100)의 전반적인 제어 기능을 실행할 수 있으며, 제어부(150)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있고, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다.

또한, 상기 통신부(110)는 상기 외부 제어 장치(1)와 통신망을 통해 통신할 수 있다.

또한, 상기 카메라부(120)는 피킹 로봇(10)의 파지 대상인 파지 대상물이 놓여지는 플레이트 상에 안착된 하나 이상의 파지 대상물을 촬영하여 영상을 생성할 수 있다.

또한, 상기 사전 영상 처리부(130)는 상기 카메라부(120)가 생성한 영상을 수신하고, 상기 영상에서 하나 이상의 파지 대상물과 각각 대응되는 하나 이상의 객체가 포함된 관심 영역을 선별한 후 상기 영상에서 선별된 관심 영역을 상기 영상으로부터 크롭(crop)하여 관심 영역 이미지를 생성할 수 있다.

이때, 상기 사전 영상 처리부(130)는 상기 영상으로부터 미리 설정된 크기 또는 해상도로 상기 관심 영역을 크롭하여 관심 영역 이미지를 생성할 수 있다.

이때, 도 7에 도시된 바와 같이, 상기 사전 영상 처리부(130)는 상기 하나 이상의 파지 대상물에 대한 식별 용이성을 위해 상기 관심 영역 이미지에서 관심 영역의 광원을 강조한 영상 처리를 수행할 수 있다.

한편, 상기 제어부(150)는 상기 관심 영역 이미지로부터 파지 대상물의 객체 종류와 배치 영역 및 자세에 대한 분석 결과를 산출할 수 있도록 상기 영상 분석부(140)에 미리 설정된 제 1 딥러닝 모델을 학습시킬 수 있다.

또한, 상기 영상 분석부(140)에는 관심 영역 이미지에 대응되는 특정 관찰 시점에서 촬영되어 생성된 영상에서 일부 파지 대상물의 객체 종류와 배치 영역 및 자세 중 적어도 하나가 정확하게 검출되지 않는 경우 상기 제 1 딥러닝 모델이 상기 특정 관찰 시점에서 산출한 분석 결과의 정확도를 높일 수 있는 다른 최적의 관찰 시점을 분석하기 위한 제 2 딥러닝 모델이 미리 설정될 수 있다.

이때, 상기 제 1 딥러닝 모델 및 제 2 딥러닝 모델은 각각 딥러닝(Deep Learning) 알고리즘으로 구성될 수 있으며, 상호 분리된 모델로 구성될 수 있다.

또한, 상기 딥러닝 알고리즘은 하나 이상의 신경망 모델로 구성될 수 있다.

또한, 본 발명에서 설명하는 신경망 모델(또는 신경망)은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성될 수 있으며, 상기 신경망 모델에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network) 등과 같은 다양한 종류의 신경망이 적용될 수 있다.

상기 제 1 및 제 2 딥러닝 모델에 대한 학습 과정을 상세히 설명하면, 우선 상기 제어부(150)는 상기 카메라부(120)로부터 상기 플레이트 상에 안착된 하나 이상의 파지 대상물에 대한 영상을 수신할 수 있으며, 상기 사전 영상 처리부(130)에 상기 영상을 전송하여 상기 사전 영상 처리부(130)를 통해 관심 영역 이미지를 생성할 수 있다.

다음, 상기 제어부(150)는 상기 관심 영역 이미지에 대응되는 상기 플레이트 상에 안착된 하나 이상의 파지 대상물별로 객체 종류와 배치 영역 및 자세 각각에 대한 파라미터값이 설정된(포함된) 태깅 정보를 상기 통신부(110)를 통해 외부 입력 장치로부터 수신할 수 있다.

이때, 상기 외부 입력 장치는 사용자 입력을 기초로 상기 태깅 정보를 생성하여 전송하는 사용자 입력 장치이거나, 상기 파지 대상물을 스캔하여 상기 태깅 정보를 생성하는 3차원 센서 또는 3차원 스캐너(scanner)이거나, 상기 비젼 분석 장치(100)로부터 상기 관심 영역 이미지를 수신하여 영상 분석을 통해 상기 태깅 정보를 생성하는 영상 분석 장치일 수 있다.

또한, 상기 제어부(150)는 상기 관심 영역 이미지에 대응되는 태깅 정보 및 상기 관심 영역 이미지를 매칭하여 제1차 학습용 데이터를 생성할 수 있으며, 상기 제1차 학습용 데이터는 상호 매칭되는 상기 태깅 정보 및 관심 영역 이미지를 포함할 수 있다.

이때, 상기 제어부(150)는 상기 플레이트 상에 안착된 파지 대상물이 복수인 경우 복수의 파지 대상물과 각각 대응되는 복수의 태깅 정보를 상기 통신부(110)를 통해 외부 입력 장치로부터 수신하고, 상기 복수의 태깅 정보를 각각 상기 관심 영역 이미지와 매칭하여 상기 복수의 태깅 정보별로 상기 제1차 학습용 데이터를 생성하거나 상기 복수의 태깅 정보 및 관심 영역 이미지를 포함하는 제1차 학습용 데이터를 생성할 수 있다.

또한, 상기 제어부(150)는 상기 제1차 학습용 데이터 생성시 상기 영상 분석부(140)로 전송하고, 상기 영상 분석부(140)는 상기 제1차 학습용 데이터를 상기 제 1 딥러닝 모델에 학습시킬 수 있다.

이때, 상기 제어부(150)는 복수의 태깅 정보와 각각 대응되는 복수의 제1차 학습용 데이터를 생성하여 상기 영상 분석부(140)를 통해 상기 제 1 딥러닝 모델에 학습시킬 수 있다.

상술한 구성에 따라, 상기 제어부(150)는 상기 플레이트 상에 안착되는 파지 대상물의 객체 종류, 배치 영역 및 자세 중 적어도 하나를 변경하면서 상기 카메라부(120)를 통해 상기 플레이트 상에 안착된 하나 이상의 파지 대상물을 촬영하여, 파지 대상물에 대응되는 객체 종류와 배치 영역 및 자세 중 적어도 하나가 상이한 복수의 서로 다른 영상을 생성할 수 있으며, 상기 카메라부(120) 및 사전 영상 처리부(130)를 제어하여 상기 복수의 서로 다른 영상과 각각 대응되는 복수의 관심 영역 이미지를 획득할 수 있다.

또한, 상기 제어부(150)는 상기 관심 영역 이미지 획득시마다 상기 관심 영역 이미지에 대응되는 하나 이상의 태깅 정보를 상기 통신부(110)를 통해 외부 입력 장치로부터 수신할 수 있다.

또한, 상기 제어부(150)는 상기 하나 이상의 태깅 정보별로 태깅 정보와 매칭되는 관심 영역 이미지와 매칭하여 제1차 학습용 데이터를 생성한 후 상기 영상 분석부(140)를 통해 상기 제 1 딥러닝 모델에 학습시키거나, 관심 영역 이미지와 매칭되는 하나 이상의 태깅 정보 모두와 관심 영역 이미지가 포함된 제1차 학습용 데이터를 생성한 후 상기 영상 분석부(140)를 통해 상기 제 1 딥러닝 모델에 학습시킬 수 있다.

이때, 상기 제어부(150)는 상기 제1차 학습용 데이터를 상기 저장부(160)에 저장할 수도 있으며, 상기 영상 분석부(140)는 상기 저장부(160)에 저장된 복수의 제1차 학습용 데이터를 상기 저장부(160)로부터 추출하여 상기 제 1 딥러닝 모델에 학습시킬 수 있다.

상술한 구성에 더하여, 상기 제어부(150)는 상기 카메라부(120)에 대한 서로 다른 복수의 관찰 시점이 미리 설정될 수 있으며, 상기 복수의 관찰 시점과 각각 대응되는 상기 피킹 로봇(10)의 자세에 대한 복수의 서로 다른 자세 정보가 미리 설정될 수 있다. 이때, 상기 관찰 시점은 상기 카메라부(120)의 촬영 각도를 의미할 수 있다.

즉, 카메라부(120)가 특정 관찰 시점에 대응되는 영상을 생성하도록 하기 위한 피킹 로봇(10)의 특정 자세에 대한 자세 정보가 상기 제어부(150)에 미리 설정될 수 있다.

이때, 상기 복수의 관찰 시점 및 복수의 자세 정보를 상호 매칭된 상태로 포함하는 설정 정보가 상기 제어부(150)에 설정되거나 상기 저장부(160)에 미리 저장되어 상기 제어부(150)에 의해 로드될 수 있다.

이에 따라, 상기 제어부(150)는 상기 관찰 시점을 변경하기 위해 변경된 관찰 시점에 매칭되는 자세 정보가 포함된 제어 요청 정보를 상기 통신부(110)를 통해 상기 피킹 로봇(10)의 로봇 팔을 제어하는 외부 제어 장치(1)로 전송할 수 있으며, 상기 외부 제어 장치(1)는 상기 제어 요청 정보 수신시 상기 제어 요청 정보에 포함된 자세 정보에 따라 상기 로봇 팔의 자세를 변경하기 위한 제어 신호를 상기 피킹 로봇(10)의 구동부(20)에 전송하여 구동부(20)에서 상기 제어 신호를 기초로 상기 피킹 로봇(10)의 로봇 팔을 구동시켜 상기 제어 요청 정보에 대응되는 자세로 상기 피킹 로봇(10)의 로봇 팔에 대한 자세를 변경시킬 수 있다.

이를 통해, 상기 피킹 로봇(10)의 로봇 팔 종단에 결합 구성되는 상기 비젼 분석 장치(100)에 구성된 카메라부(120)의 관찰 시점이 변경될 수 있다.

또한, 상기 제어부(150)는 상술한 바와 같이 상기 관찰 시점을 변경하면서 상기 제1차 학습용 데이터를 복수의 서로 다른 관찰 시점별로 하나 이상 생성할 수 있으며, 상기 관찰 시점별로 생성된 복수의 서로 다른 제1차 학습용 데이터를 상기 영상 분석부(140)를 통해 상기 제 1 딥러닝 모델에 학습시킬 수 있다.

상술한 구성을 통해, 상기 비젼 분석 장치(100)는 내부의 제 1 딥러닝 모델에 관찰 시점별 관심 영역 이미지와 태깅 정보 사이의 상관관계를 학습시킬 수 있다.

한편, 상기 제어부(150)는 상기 영상 분석부(140)에 구성되거나 설정된 제 1 딥러닝 모델에 대한 학습이 완료되면, 상기 영상 분석부(140)에 구성되거나 설정된 제 2 딥러닝 모델에 대한 학습을 수행할 수 있다.

일례로, 상기 제어부(150)는, 상기 영상 분석부(140)와 연동하여 상기 학습 완료된 상기 제 1 딥러닝 모델에 상기 사전 영상 처리부(130)를 통해 얻어진 특정 관찰 시점에 대응되는 관심 영역 이미지를 적용하여, 상기 제 1 딥러닝 모델을 통해 상기 관심 영역 이미지에 포함된 하나 이상의 객체와 각각 대응되는 하나 이상의 파지 대상물별로 산출된 객체 종류와 배치 영역 및 자세 각각에 대한 파라미터의 정확도 및 해당 파라미터를 포함하는 분석 결과에 대한 분석 결과 정보를 산출할 수 있다.

이때, 상기 영상 분석부(140)는 파라미터별로 정확도를 산출하는 대신 분석 결과 정보 전체에 대해 정확도를 산출하고, 이를 상기 분석 결과 정보에 포함시킬 수도 있다.

또는, 상기 영상 분석부(140)는 상기 관심 영역 이미지가 적용된 제 1 딥러닝 모델을 통해 상기 관심 영역 이미지에 포함된 하나 이상의 객체와 각각 대응되는 하나 이상의 파지 대상물별로 객체 종류와 배치 영역 및 자세 각각에 대한 파라미터를 포함하는 객체 분석 정보를 산출하고, 상기 하나 이상의 파지 대상물과 각각 대응되는 하나 이상의 객체 분석 정보를 포함하는 분석 결과 정보를 생성할 수 있으며, 상기 제 1 딥러닝 모델을 통해 상기 객체 분석 정보 산출시 상기 분석 결과 정보에 포함되는 상기 하나 이상의 객체 분석 정보 각각의 정확도를 함께 상기 제 1 딥러닝 모델을 통해 산출하여 상기 분석 결과 정보에 포함시킬 수도 있다.

이때, 본 발명에서 설명하는 정확도는 상기 제 1 딥러닝 모델에 학습된 상관 관계에 따라 상기 제 1 딥러닝 모델에 입력으로 수신된 관심 영역 이미지에 대응되도록 상기 제 1 딥러닝 모델에 의해 산출된 상기 객체 종류, 배치 영역 및 자세와 각각 대응되는 복수의 파라미터 각각의 상기 관심 영역 이미지와의 관련 정도 또는 유사도에 대한 상관 수치를 의미할 수 있으며, 이러한 정확도(또는 상관 수치)는 상기 상관 관계에 따라 상기 제 1 딥러닝 모델에 의해 산출되고, 상기 정확도(또는 상관 수치)는 파라미터 단위로 산출되는 것 이외에도 상술한 바와 같이 객체 분석 정보 단위로 산출되거나 분석 결과 정보 단위로 상기 제 1 딥러닝 모델에 의해 산출될 수도 있다.

또한, 상기 제어부(150)는 상기 영상 분석부(140)가 상기 제 1 딥러닝 모델을 통해 생성한 상기 분석 결과 정보를 확인하여 분석 결과 정보에서 미리 설정된 기준치 미만인 정확도가 존재하는 경우 상기 특정 관찰 시점과 상이한 미리 설정된 나머지 관찰 시점인 서로 다른 하나 이상의 관찰 시점으로 순차 변경하면서 관찰 시점별로 상기 카메라부(120) 및 사전 영상 처리부(130)를 통해 얻어진 관심 영역 이미지를 상기 제 1 딥러닝 모델에 적용하여 상기 하나 이상의 관찰 시점 중 상기 분석 결과 정보에 대한 정확도가 가장 높게 산출되는 관찰 시점을 상기 특정 관찰 시점에 대응되어 얻어진 분석 결과에 대응되는 분석 결과 정보와 매칭하여 생성한 제2차 학습용 데이터를 생성할 수 있다.

이때, 상기 제어부(150)는, 상기 분석 결과 정보에 포함된 모든 정확도를 분석하여 최종 정확도를 산출하고, 상기 최종 정확도가 가장 높게 산출된 분석 결과 정보에 대응되는 관찰 시점을 선택하여 상기 특정 관찰 시점에 대응되는 분석 결과 정보와 매칭함으로써 상기 제2차 학습용 데이터를 생성할 수 있다.

예를 들어, 상기 제어부(150)는 상기 카메라부(120)를 통해 플레이트 상에 안착된 하나 이상의 파지 대상물을 촬영하여 얻어진 영상을 상기 사전 영상 처리부(130)에 제공하여 분석 대상인 관심 영역 이미지를 분석 대상 이미지로 획득하고, 상기 분석 대상 이미지를 상기 영상 분석부(140)에 전송하여 상기 영상 분석부(140)에 설정된 제 1 딥러닝 모델에 적용시킬 수 있다.

이에 따라, 상기 영상 분석부(140)는 상기 제 1 딥러닝 모델에 적용된 상기 분석 대상 이미지에 대응되도록 분석 결과 정보를 상기 제 1 딥러닝 모델을 통해 산출할 수 있다.

이때, 상기 분석 결과 정보는 분석 대상 이미지(또는 관심 영역 이미지)에 나타난 파지 대상물별로 상기 제 1 딥러닝 모델에 미리 설정된 복수의 서로 다른 분석 대상 속성인 객체 종류, 배치 영역 및 자세 각각에 대한 결과 파라미터를 포함하면서 상기 분석 대상 속성별 정확도를 포함할 수 있다.

여기서, 상기 태깅 정보 또는 분석 결과 정보에 포함되는 배치 영역에 대한 파라미터는 2차원 좌표 또는 3차원 좌표로 구성된 배치 위치일 수 있으며, 상기 태깅 정보 또는 분석 정보에 포함되는 자세에 대한 파라미터는 파지 대상물의 중심점을 기준으로 측정된 파지 대상물의 기울기, 벡터값, 좌표(2차원 또는 3차원) 등을 포함할 수 있다.

또한, 상기 영상 분석부(140)는 상기 분석 결과 정보를 확인하여 상기 분석 결과 정보에서 파지 대상물별로 산출된 상기 분석 대상 속성별 정확도 중 상기 정확도가 미리 설정된 기준치 미만인 정확도가 상기 분석 결과 정보에 존재하면, 상기 기준치 미만인 정확도가 산출된 특정 파지 대상물의 분석 대상 속성별 파라미터값에 오류가 발생하여 신뢰할 수 없는 것으로 판단할 수 있다.

또는, 상기 영상 분석부(140)는 상기 분석 결과 정보에 포함된 분석 결과 정보 자체에 대한 정확도가 미리 설정된 기준치 미만인 경우 상기 분석 결과 정보를 신뢰할 수 없는 정보로 판단할 수 있다.

또는, 상기 영상 분석부(140)는 상기 분석 결과 정보에 포함된 하나 이상의 파지 대상물과 각각 대응되는 하나 이상의 객체 분석 정보별 정확도를 상기 분석 결과 정보에서 확인하고, 상기 하나 이상의 객체 분석 정보와 각각 대응되는 하나 이상의 정확도 중 정확도가 미리 설정된 기준치 미만인 정확도가 존재하면 상기 분석 결과 정보를 신뢰할 수 없는 정보로 판단할 수 있다.

일례로, 상기 영상 분석부(140)는 복수의 파지 대상물이 각각 객체로 포함된 분석 대상 이미지(또는 관심 영역 이미지)를 제 1 딥러닝 모델에 적용하여 제 1 딥러닝 모델을 통해 복수의 파지 대상물 중 특정 파지 대상물의 자세에 대해 파라미터 및 상기 파라미터에 대한 정확도로 75%가 산출되어 상기 분석 결과 정보에 포함된 경우 상기 특정 파지 대상물의 자세로 산출된 파라미터에 대한 정확도가 미리 설정된 기준치인 80%보다 낮은 것으로 판단하고, 이에 따라 해당 특정 파지 대상물의 자세로 산출된 파라미터값에 오류가 발생되거나 해당 특정 파지 대상물의 자세를 입력으로 수신된 상기 분석 대상 이미지(또는 관심 영역 이미지)로부터 식별하기 어려운 것으로 판단할 수 있다.

이와 같은 정확도가 산출되는 경우의 일례로서, 상기 특정 파지 대상물이 다른 파지 대상물에 가려진 경우 상기 특정 파지 대상물의 자세를 특정하기 어려워 상술한 바와 같이 낮은 정확도로 분석 결과가 산출될 수 있다.

이에 따라, 상기 영상 분석부(140)는 상기 분석 대상 이미지에 대해 제 1 딥러닝 모델을 통해 산출된 분석 결과 정보에서 미리 설정된 기준치 미만의 정확도가 존재하면 상기 분석 대상 이미지에 대응되는 특정 관찰 시점을 식별하고, 상기 특정 관찰 시점을 제외한 상기 제어부(150) 또는 상기 설정 정보에 미리 설정된 관찰 시점별로 상기 특정 관찰 시점으로 촬영할 당시의 플레이트 상에 배치된 하나 이상의 파지 대상물에 대한 영상을 생성하기 위해, 상기 관찰 시점 변경을 위한 제어 요청 정보를 생성하여 상기 외부 제어 장치(1)로 전송하면서 관찰 시점이 변경될 때마다 카메라부(120)를 제어하여 관찰 시점별로 영상을 생성할 수 있다.

또한, 상기 제어부(150)는 상기 특정 관찰 시점을 제외한 미리 설정된 나머지 관찰 시점별로 해당 관찰 시점의 영상으로부터 관심 영역 이미지를 상기 사전 영상 처리부(130)를 통해 획득하고, 상기 영상 분석부(140)를 통해 상기 관찰 시점별로 획득된 관심 영역 이미지를 각각 상기 제 1 딥러닝 모델에 적용할 수 있다.

이에 따라, 제어부(150)는 상기 나머지 관찰 시점에 해당되는 하나 이상의 관찰 시점과 각각 대응되는 하나 이상의 분석 결과 정보를 상기 제 1 딥러닝 모델을 통해 획득하고, 상기 하나 이상의 분석 결과 정보를 상호 비교하여 미리 설정된 기준치 미만의 정확도가 존재하지 않으면서 정확도가 가장 높은 분석 결과 정보가 산출된 관찰 시점을 최적 관찰 시점으로 선택할 수 있다.

일례로, 제어부(150)는 상기 나머지 관찰 시점에 대응되는 하나 이상의 분석 결과 정보 중 기준치 미만인 정확도가 포함되지 않은 분석 결과 정보 각각에 대해 분석 결과 정보에 포함된 모든 정확도를 평균한 평균값을 산출하고, 상기 평균값이 가장 높은 분석 결과 정보에 대응되는 관찰 시점을 최적 관찰 시점으로 선택할 수 있다.

또한, 상기 제어부(150)는 최적 관찰 시점을 상기 나머지 관찰 시점이 아닌 상기 특정 관찰 시점에 대응되도록 산출된 분석 결과 정보와 매칭하여 제2차 학습용 데이터를 생성할 수 있다.

즉, 상기 제어부(150)는 상기 분석 대상 이미지에 대응되는 분석 결과 정보를 상기 최적 관찰 시점과 매칭하여, 상기 최적 관찰 시점 및 상기 분석 대상 이미지에 대응되는 분석 결과 정보가 포함된 제2차 학습용 데이터를 생성할 수 있다.

또한, 상기 제어부(150)는 상기 제2차 학습용 데이터를 상기 영상 분석부(140)를 통해 상기 영상 분석부(140)에 미리 설정된 제 2 딥러닝 모델에 학습시킬 수 있다.

또한, 상기 제어부(150)는 상술한 구성에 따라 서로 다른 분석 대상 이미지를 제 1 딥러닝 모델에 적용하여 미리 설정된 기준치 미만인 정확도가 포함된 분석 결과 정보가 상기 제 1 딥러닝 모델을 통해 산출될 때마다 상술한 바와 동일한 방식으로 동작하여 상기 제2차 학습용 데이터를 생성한 후 상기 제 2 딥러닝 모델에 학습시켜 상기 분석 결과와 상기 관찰 시점 사이의 상관관계가 상기 제 2 딥러닝 모델에 설정되도록 할 수 있다.

이를 통해, 상기 제 2 딥러닝 모델은 특정 관찰 시점(또는 임의의 관찰 시점)에서 정확도가 기준치 미만으로 떨어지는 분석 결과 정보에 대해 해당 분석 결과 정보의 정확도를 높일 수 있는 가장 최적의 다른 관찰 시점을 산출하도록 학습될 수 있다.

즉, 상기 제 2 딥러닝 모델은 상기 특정 관찰 시점에서 관찰이 어려운 상태로 플레이트 상에 배치된 하나 이상의 파지 대상물에 대해 기준치 미만인 정확도가 포함되지 않는 분석 결과 정보를 산출할 수 있으면서 가장 높은 정확도의 분석 결과 정보를 산출할 수 있는 다른 최적의 관찰 시점을 산출하도록 학습될 수 있다.

한편, 상기 제어부(150)는 상기 제 1 및 제 2 딥러닝 모델에 대한 학습이 모두 완료되면, 피킹 로봇(10)의 자세에 따라 미리 설정된 복수의 서로 다른 관찰 시점 중 미리 설정된 기준 관찰 시점에서 상기 카메라부(120)를 통해 촬영된 영상을 수신한 후(S1) 상기 사전 영상 처리부(130)를 통해 상기 기준 관찰 시점에 대응되는 관심 영역 이미지를 획득할 수 있다(S2).

또한, 상기 제어부(150)는 상기 관심 영역 이미지를 상기 영상 분석부(140)에 제공하고, 상기 영상 분석부(140)는 상기 관심 영역 이미지를 상기 제 1 딥러닝 모델에 적용하여 상기 제 1 딥러닝 모델을 통해 상기 관심 영역 이미지에 대응되는 분석 결과에 대한 분석 결과 정보를 산출할 수 있다(S3).

또한, 상기 제어부(150)는 상기 영상 분석부(140)로부터 수신된 분석 결과 정보를 확인하여 파지 대상물 각각에 대해 상기 미리 설정된 분석 대상 속성별로 산출된 파라미터의 정확도를 식별(확인)하고, 미리 설정된 기준치 미만인 정확도가 상기 분석 결과 정보에 존재하지 않으면(S4) 상기 분석 결과 정보를 상기 피킹 로봇(10)을 제어하는 외부 제어 장치(1)에 통신부(110)를 통해 전송할 수 있다(S5).

이때, 상기 제어부(150)는 상기 분석 결과 정보에 포함된 하나 이상의 객체 분석 정보별 정확도를 확인하거나 상기 분석 결과 정보에 포함된 분석 결과 정보 자체에 대한 정확도를 확인하여, 상기 분석 결과 정보에 미리 설정된 기준치 미만인 정확도가 존재하지 않으면 상기 분석 결과 정보를 상기 외부 제어 장치(1)에 전송할 수도 있다.

즉, 상기 제어부(150)는 상기 영상 분석부(140)에서 상기 관심 영역 이미지 내 파지 대상물별로 객체 종류와 배치 영역 및 자세가 기준 이상의 정확도로 파악된 분석 결과가 산출되면 상기 분석 결과에 대한 분석 결과 정보를 상기 피킹 로봇(10)을 제어하는 외부 제어 장치(1)에 전송할 수 있다.

이에 따라, 상기 외부 제어 장치(1)는 상기 분석 결과 정보를 기초로 상기 플레이트 상에 안착된 파지 대상물별로 객체 종류와 배치 영역 및 자세를 확인하여 상기 플레이트 상의 파지 대상물을 정확하게 파지하도록 제어 신호를 상기 피킹 로봇(10)의 구동부(20)에 전송하고, 상기 피킹 로봇(10)에 구성된 구동부(20)는 피킹 로봇(10)을 상기 제어 신호에 따라 제어하여 플레이트 상의 파지 대상물을 정확하게 파지할 수 있다.

또한, 상기 제어부(150)는 상기 분석 결과 정보에 미리 설정된 기준치 미만의 정확도가 포함되어 기준 미만의 정확도로 파악되는 파지 대상물이 존재하는 경우(S4) 상기 영상 분석부(140)에서 상기 분석 결과 정보를 상기 제 2 딥러닝 모델에 적용하도록 상기 영상 분석부(140)를 제어할 수 있다.

이에 따라, 상기 영상 분석부(140)는 상기 제 1 딥러닝 모델이 산출한 상기 분석 결과 정보를 상기 제 2 딥러닝 모델의 입력으로 분석 결과와 관찰 시점 사이의 상관 관계가 학습된 상태로 미리 설정된 상기 제 2 딥러닝 모델에 적용할 수 있으며, 이를 통해 상기 제 2 딥러닝 모델을 통해 상기 분석 결과 정보에 대응되는 최적 관찰 시점에 대한 최적화 정보를 생성하여 상기 제어부(150)에 제공할 수 있다(S6).

상기 제어부(150)는 상기 영상 분석부(140)로부터 상기 최적화 정보 수신시 상기 최적화 정보에 대응되는 최적 관찰 시점을 식별하고, 상기 기준 시점으로부터 최적 관찰 시점으로 카메라의 관찰 시점을 변경하기 위한 상기 최적 관찰 시점에 대응되어 미리 설정된 피킹 로봇(10)의 자세에 대한 자세 정보를 포함하는 자세 제어 정보(또는 제어 요청 정보)를 생성하여 상기 외부 제어 장치(1)로 전송할 수 있다(S7).

이때, 상기 제어부(150)는 미리 설정된 상기 설정 정보를 기초로 상기 최적 관찰 시점에 대응되는 피킹 로봇(10)의 자세에 대한 자세 정보를 식별하고, 상기 식별된 자세 정보를 포함하는 자세 제어 정보를 상기 외부 제어 장치(1)로 통신부(110)를 통해 전송할 수 있다.

이에 따라, 상기 외부 제어 장치(1)는 상기 자세 제어 정보(또는 제어 요청 정보) 수신시 상기 자세 제어 정보에 포함된 자세 정보에 따른 자세로 상기 피킹 로봇(10)의 자세를 변경하기 위한 제어 신호를 생성한 후 상기 피킹 로봇(10)의 구동부(20)에 전송하여, 상기 피킹 로봇(10)의 자세가 상기 최적 관찰 시점에 대응되는 자세로 변경되도록 할 수 있다.

이를 통해, 상기 제어부(150)는 상기 피킹 로봇(10)의 자세가 변경되면 기준 시점에서 촬영될 당시에 플레이트 상에 놓여진 하나 이상의 파지 대상물을 다시 카메라부(120)를 통해 촬영하여 상기 사전 영상 처리부(130) 및 영상 분석부(140)의 제어를 통해 분석 결과를 산출할 수 있으며, 이에 따라 상기 기준 시점에서 객체 종류, 배치 영역 및 자세 중 적어도 하나가 제대로 분석되지 않은 파지 대상물에 대해 최적 관찰 시점에서 촬영된 영상을 기반으로 정확한 분석 결과를 산출할 수 있다.

이때, 상기 제어부(150)는 상기 최적 관찰 시점에서도 최적 관찰 시점에서 생성된 분석 결과 정보에 미리 설정된 기준치 미만인 정확도로 산출된 파지 대상물이 존재하면, 다른 관찰 시점을 상기 제 2 딥러닝 모델을 통해 최적 관찰 시점으로 산출하여 상기 피킹 로봇(10)의 자세를 다시 변경시킬 수 있으며, 플레이트 상에 배치된 파지 대상물 모두에 대해 객체 종류, 배치 영역 및 자세가 높은 정확도로 산출되는 분석 결과가 산출될 때까지 상술한 과정을 반복할 수 있다.

상술한 바와 같이, 본 발명은 파지 대상물을 파지하는 피킹 로봇(10)의 종단에 결합 구성되어 피킹 로봇의 자세 변경에 따라 다양한 관찰 시점에서 영상을 획득할 수 있으며, 영상에 관심 영역을 선별하여 얻어진 이미지에 포함되는 파지 대상물에 대한 분석 대상 속성을 태깅한 태깅 정보와 해당 이미지를 이용하여 학습시킨 딥러닝 모델을 통해 이미지로부터 파지 대상물의 객체 종류와 배치 영역 및 자세가 정확하게 검출되어 파지 대상물에 대한 정확한 파지가 이루어지도록 지원함으로써 피킹 로봇의 정확도 및 효율을 향상시킴과 아울러, 단일 카메라의 영상에서 관심 영역을 선별한 이미지만으로 학습이 가능한 경량화된 딥러닝 모델을 통해 파지 대상물에 대한 정확한 분석이 가능하도록 지원함으로써, 연산 부하를 줄이면서도 신속하고 정확한 피킹 로봇의 파지 대상물에 대한 파지가 이루어지도록 지원할 수 있다.

또한, 본 발명은 딥러닝 모델을 통해 분석한 분석 결과에서 정확도가 떨어지는 파지 대상물이 존재할 때마다 피킹 로봇의 자세 변경을 통해 정확도가 떨어지는 기존 시점을 제외한 다양한 시점에서 파지 대상물을 촬영한 하나 이상의 영상 각각으로부터 관심 영역을 선별하여 얻은 하나 이상의 이미지 각각을 상기 딥러닝 모델에 적용하여 가장 높은 정확도로 산출된 분석 결과에 대응되는 관찰 시점과 정확도가 낮은 기존 시점의 분석 결과를 매칭하여 학습시킨 추가 딥러닝 모델을 통해 정확도가 떨어지는 분석 결과가 산출되는 기존 관찰 시점을 대체할 최적의 관찰 시점을 도출하고, 이러한 최적 관찰 시점으로 파지 대상물의 객체 종류와 배치 영역 및 자세를 정확하게 검출하여 분석 결과로 제공할 수 있어 파지 대상물이 다른 파지 대상물에 가려진 경우에도 가려진 파지 대상물의 정확한 식별이 가능한 최적 관찰 시점으로 변경하여 분석한 결과를 피킹 로봇에 제공하여 피킹 로봇의 파지 정확도를 크게 개선할 수 있음과 아울러 기존과 같이 복수의 카메라를 설치할 필요 없이 단일 카메라로 파지 대상물의 파지를 위해 필요한 파지 대상물의 배치 상태에 대한 정확한 분석이 가능하여 피킹 로봇의 운용 효율을 크게 개선시킬 수 있다.

본 발명의 실시예들에서 설명된 구성요소는, 예를 들어, 메모리 등의 저장부(160), 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서 등의 하드웨어, 명령어 세트를 포함하는 소프트웨어 내지 이들의 조합 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

1: 외부 제어 장치 10: 피킹 로봇
20: 구동부 100: 비젼 분석 장치
110: 통신부 120: 카메라부
130: 사전 영상 처리부 140: 영상 분석부
150: 제어부 160: 저장부

Claims (9)

1. 액츄에이터 제어를 통해 파지 대상물을 파지하는 다관절 피킹 로봇을 위한 비젼 분석 장치에 있어서,
   영상을 촬영하는 카메라부;
   카메라부의 영상을 수신하여 관심 영역을 선별 크롭하는 사전 영상 처리부;
   상기 사전 영상 처리부를 통해 얻어진 관심 영역 이미지 내의 파지 대상물에 대한 객체 종류와 배치 영역 및 자세를 미리 설정된 제 1 딥러닝 모델을 통해 파악하되, 기준 미만의 정확도로 파악되는 파지 대상물이 존재하는 경우 분석 결과와 상기 카메라부의 관찰 시점 사이의 상관 관계가 학습된 상태로 미리 설정된 제 2 딥러닝 모델에 상기 제 1 딥러닝 모델의 분석 결과를 적용하여 상기 비젼 분석 장치의 최적 관찰 시점에 대한 최적화 정보를 생성하는 영상 분석부; 및
   상기 영상 분석부에서 상기 관심 영역 이미지 내 파지 대상물별로 객체 종류와 배치 영역 및 자세가 기준 이상의 정확도로 파악된 분석 결과가 산출되면 상기 분석 결과에 대한 분석 결과 정보를 상기 피킹 로봇을 제어하는 외부 제어 장치에 전송하고, 상기 영상 분석부에서 상기 최적화 정보가 생성되는 경우 상기 최적화 정보에 따른 상기 최적 관찰 시점에 대응되도록 상기 피킹 로봇의 자세를 변경하기 위한 자세 제어 정보를 상기 외부 제어 장치에 제공하는 제어부
   를 포함하는 피킹 로봇을 위한 비젼 분석 장치.
   
2. 청구항 1에 있어서,
   상기 비젼 분석 장치는 상기 피킹 로봇을 구성하는 다관절 로봇 팔의 종단인 핸드 영역에 구성되어 상기 로봇 팔의 자세에 따라 상기 카메라부의 관찰 시점이 변경되도록 구성된 것을 특징으로 하는 피킹 로봇을 위한 비젼 분석 장치.
   
3. 청구항 1에 있어서,
   상기 사전 영상 처리부는, 상기 관심 영역의 광원을 강조하도록 영상처리를 수행하여 상기 관심 영역 이미지를 생성하는 것을 특징으로 하는 피킹 로봇을 위한 비젼 분석 장치.
   
4. 청구항 1에 있어서,
   상기 제어부는, 파지 대상물에 대응되는 객체 종류와 상기 파지 대상물의 배치 영역 및 자세 중 적어도 하나가 상이한 복수의 서로 다른 영상과 각각 대응되는 복수의 관심 영역 이미지를 상기 카메라부 및 사전 영상 처리부를 통해 획득하고, 상기 복수의 관심 영역 이미지와 각각 대응되는 상기 관심 영역 이미지 내의 파지 대상물별 객체 종류와 배치 영역 및 자세에 대한 복수의 태깅 정보를 수신한 후 상기 복수의 관심 영역 이미지 및 복수의 태깅 정보를 기초로 생성한 복수의 제1차 학습용 데이터를 상기 영상 분석부를 통해 상기 제 1 딥러닝 모델에 학습시켜 상기 관심 영역 이미지와 상기 태깅 정보 사이의 상관관계가 상기 제 1 딥러닝 모델에 설정되도록 하는 것을 특징으로 하는 피킹 로봇을 위한 비젼 분석 장치.
   
5. 청구항 4에 있어서,
   외부 입력 장치와 통신하는 통신부를 더 포함하고,
   상기 제어부는 상기 통신부를 통해 상기 외부 입력 장치로부터 상기 태깅 정보를 수신하는 것을 특징으로 하는 피킹 로봇을 위한 비젼 분석 장치.
   
6. 청구항 5에 있어서,
   상기 외부 입력 장치는 사용자 입력을 기초로 상기 태깅 정보를 생성하여 전송하는 사용자 입력 장치이거나 상기 파지 대상물을 스캔하여 상기 태깅 정보를 생성하는 3차원 센서 또는 3차원 스캐너이거나 상기 비젼 분석 장치로부터 상기 관심 영역 이미지를 수신하여 영상 분석을 통해 상기 태깅 정보를 생성하는 영상 분석 장치 중 어느 하나인 것을 특징으로 하는 피킹 로봇을 위한 비젼 분석 장치.
   
7. 청구항 4에 있어서,
   상기 제어부는 상기 피킹 로봇의 서로 다른 복수의 자세와 각각 대응되는 상기 카메라부에 대한 복수의 서로 다른 관찰 시점이 미리 설정되며, 상기 카메라부의 관찰 시점을 변경하기 위한 제어 요청 정보를 상기 외부 제어 장치로 전송하여 상기 외부 제어 장치의 상기 제어 요청 정보에 따른 상기 피킹 로봇의 자세 변경을 통해 상기 카메라부의 관찰 시점을 변경하면서 서로 다른 관찰 시점별로 상기 제1차 학습용 데이터를 생성하는 것을 특징으로 하는 피킹 로봇을 위한 비젼 분석 장치.
   
8. 청구항 7에 있어서,
   상기 제어부는, 상기 영상 분석부와 연동하여 상기 학습 완료된 상기 제 1 딥러닝 모델에 상기 사전 영상 처리부를 통해 얻어진 특정 관찰 시점에 대응되는 관심 영역 이미지를 적용하여 파지 대상물별로 산출된 객체 종류와 배치 영역 및 자세에 대한 정확도를 포함하는 특정 분석 결과를 산출하고, 상기 특정 분석 결과에 미리 설정된 기준치 미만인 정확도가 존재하는 경우 상기 특정 관찰 시점과 상이한 미리 설정된 나머지 관찰 시점인 서로 다른 하나 이상의 관찰 시점으로 순차 변경하면서 관찰 시점별로 상기 카메라부 및 사전 영상 처리부를 통해 얻어진 관심 영역 이미지를 상기 제 1 딥러닝 모델에 적용하여 상기 하나 이상의 관찰 시점 중 상기 정확도가 가장 높게 산출되는 관찰 시점과 상기 특정 분석 결과를 매칭한 제2차 학습용 데이터를 생성한 후 상기 영상 분석부에 미리 설정된 제 2 딥러닝 모델에 학습시키며, 미리 설정된 기준치 미만인 정확도가 포함된 분석 결과가 산출될 때마다 상기 제2차 학습용 데이터를 생성하여 상기 제 2 딥러닝 모델에 학습시켜 상기 분석 결과와 상기 관찰 시점 사이의 상관관계가 상기 제 2 딥러닝 모델에 설정되도록 하는 것을 특징으로 하는 피킹 로봇을 위한 비젼 분석 장치.
   
9. 청구항 1에 있어서,
   상기 영상 분석부는 기준 미만의 정확도로 파악되는 파지 대상물이 존재하는 분석 결과를 학습 완료된 상기 제 2 딥러닝 모델에 적용하여 최적 관찰 시점에 대한 최적화 정보를 산출하여 상기 제어부에 전송하고,
   상기 제어부는 상기 최적화 정보 수신시 상기 최적화 정보에 따른 최적 관찰 시점에 대응되어 미리 설정된 피킹 로봇의 자세에 대한 상기 자세 제어 정보를 생성하여 상기 외부 제어 장치에 전송하는 것을 특징으로 하는 피킹 로봇을 위한 비젼 분석 장치.

Images