KR20150106718A

KR20150106718A - 물체 피킹 시스템, 물체 검출 장치 및 그 방법

Info

Publication number: KR20150106718A
Application number: KR1020140029137A
Authority: KR
Inventors: 김계경; 강상승; 이재연; 김재홍; 김중배; 박종현
Original assignee: 한국전자통신연구원
Priority date: 2014-03-12
Filing date: 2014-03-12
Publication date: 2015-09-22
Also published as: KR102081139B1; US20150262012A1; US9576363B2

Abstract

본 발명은 임의로 쌓여있는 물체를 검출하기 위한 장치 및 방법, 그리고 검출한 물체를 피킹하기 위한 장치 및 방법에 관한 것이다.
본 발명의 물체 검출 장치는 시각 센서로부터 물체들의 영상을 획득하는 영상 획득부, 상기 영상으로부터 적어도 하나의 국소 특징 부분을 추출하는 국소 특징 추출부, 추출된 적어도 하나의 국소 특징 부분의 조합으로 적어도 하나의 물체 영역을 검출하는 물체 영역 검출부, 상기 물체들에 대한 물체 모델의 회전각 및 소정의 회전각마다 획득된 물체 모델의 물체 영역을 각각 저장하는 저장부, 물체 영역 검출부로부터 검출된 상기 적어도 하나의 물체 영역과 상기 저장부에 저장된 상기 물체 모델의 물체 영역들을 대조하여 적어도 하나의 물체 후보 영역을 추출하는 물체 영역 대조부, 상기 적어도 하나의 물체 후보 영역 중에서 소정의 판단 기준에 부합하는 물체 후보 영역을 작업 물체 영역으로 선택하는 작업 물체 영역 선택부, 및 작업 물체 영역과 대조된 물체 모델의 회전각을 작업 물체 정보로서 출력하는 출력부를 포함하는 것을 특징으로 한다.

Description

물체 피킹 시스템, 물체 검출 장치 및 그 방법{OBJECT PEAKING SYSTEM, OBJECT DETECTING DEVICE AND METHOD THEREOF}

본 발명은 물체 피킹(peaking) 시스템, 물체 검출 장치 및 그 방법에 관한 발명으로서, 더욱 상세하게는 임의로 쌓여있는 물체를 검출하고 검출한 물체를 피킹하기 위한 물체 피킹 시스템, 물체 검출 장치 및 그 방법에 관한 것이다.

최근에는 시각 센서 및 인식 기술의 성능 향상에 따라서 생산 라인 구축에 대한 부담감을 줄이고 보다 효과적인 방법으로 생산성을 향상시키기 위해, 시각 센서를 기반으로 한 셀 생산 방식이 도입되고 있다. 시각 센서를 기반으로 한 셀 생산 방식은 작업자가 수행하는 것과 유사하게 로봇이 작업자 대신 로봇 근처에 놓여있는 물품들을 자동으로 인식하여 포장 공정이나 조립 공정 등을 자동으로 실행하도록 하는 것으로서, 이를 실제로 현장에서 구현하려는 움직임이 활발하다.

셀 생산 방식에서는 여러 개의 물체가 무더기로 쌓여있는 환경에서 하나의 물체 영역을 검출하고 분할하는 이른바 빈피킹(bin-peaking)이 주로 사용된다. 빈피킹에 있어서는 현장의 조명 조건, 무작위로 쌓인 물체의 다양한 자세 및 물체 표면 재질의 다양성으로 인해 피킹하려는 하나의 물체 영역 및 물체의 표면 회전각을 추출하기 매우 어렵다. 따라서, 기존에 개발된 스테레오 카메라나 3차원 시각 센서를 이용한 빈피킹 기술은 낮은 인식 성능과 신뢰도로 인하여 현장에서 적용되기 어려운 실정이다.

특히, 무작위로 쌓인 물체들은 물체끼리 서로 겹쳐져 물체의 일부 영역이 가려지거나 물체 표면이 회전되어 있어 물체가 가지는 고유의 국소 특징이 왜곡되고, 이로 인하여 물체 영역의 검출 및 물체 자세를 추정이 곤란하다는 문제점이 있었다.

본 발명은 상기 문제점을 감안하여 이루어진 것으로서, 시각 센서를 이용하여 물체가 가지는 고유한 국소 특징 부분을 추출하여 물체 영역을 검출하고 이로부터 자세를 추정할 수 있는 물체 검출 장치 및 방법을 제공할 수 있다.

또한 이와 함께, 셀 생산 방식에서의 조립이나 포장 등 실제 생산 공정에 적용할 수 있는 물체 피킹 시스템을 제공할 수도 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 물체 검출 장치는 시각 센서로부터 물체들의 영상을 획득하는 영상 획득부, 상기 영상으로부터 적어도 하나의 국소 특징 부분을 추출하는 국소 특징 추출부, 상기 추출된 적어도 하나의 국소 특징 부분의 조합으로 적어도 하나의 물체 영역을 검출하는 물체 영역 검출부, 상기 물체들에 대한 물체 모델의 회전각 및 소정의 회전각마다 획득된 상기 물체 모델의 물체 영역을 각각 저장하는 저장부, 상기 물체 영역 검출부로부터 검출된 상기 적어도 하나의 물체 영역과 상기 저장부에 저장된 상기 물체 모델의 물체 영역들을 대조하여 적어도 하나의 물체 후보 영역을 추출하는 물체 영역 대조부, 상기 적어도 하나의 물체 후보 영역 중에서 소정의 판단 기준에 부합하는 물체 후보 영역을 작업 물체 영역으로 선택하는 작업 물체 영역 선택부, 및 상기 작업 물체 영역과 대조된 물체 모델의 회전각을 작업 물체 정보로서 출력하는 출력부를 포함하는 것을 특징으로 한다.

또한, 본 발명의 다른 실시예에 따른 물체 검출 장치에 있어서, 상기 물체 영역 대조부는 상기 검출된 상기 적어도 하나의 물체 영역과 상기 저장부에 저장된 상기 물체 모델의 물체 영역들을 대조하여 소정의 오차 범위 내인지 여부를 판단하고, 상기 소정의 오차 범위 내인 물체 영역을 상기 적어도 하나의 물체 후보 영역으로 추출하는 것을 특징으로 한다.

또한, 본 발명의 다른 실시예에 따른 물체 검출 장치에 있어서, 상기 작업 물체 영역 선택부는 상기 적어도 하나의 물체 후보 영역이 단수인 경우 상기 단수의 물체 후보 영역을 상기 작업 물체 영역으로 선택하고, 상기 적어도 하나의 물체 후보 영역이 복수인 경우 상기 복수의 물체 후보 영역과 대조된 물체 모델들의 회전각 중에서 회전각의 절대값이 가장 작은 물체 후보 영역을 상기 작업 물체 영역으로 선택하는 것을 특징으로 한다.

또한, 본 발명의 다른 실시예에 따른 물체 검출 장치에 있어서, 상기 저장부는 상기 물체들에 대한 물체 모델의 회전각, 상기 물체 모델의 시각 센서로부터의 거리, 및 소정의 회전각 및 소정의 거리마다 검출된 상기 물체 모델의 물체 영역을 각각 저장하는 것을 특징으로 한다.

또한, 본 발명의 다른 실시예에 따른 물체 검출 장치에 있어서, 상기 작업 물체 영역 선택부는 상기 적어도 하나의 물체 후보 영역이 단수인 경우 상기 단수의 물체 후보 영역을 상기 작업 물체 영역으로 선택하고, 상기 적어도 하나의 물체 후보 영역이 복수인 경우 상기 복수의 물체 후보 영역과 대조된 물체 모델들의 회전각 및 상기 시각 센서로부터의 거리를 기초로 상기 작업 물체 영역을 선택하고,상기 출력부는 상기 작업 물체 영역과 대조된 물체 모델의 회전각 및 상기 시각 센서로부터의 거리를 상기 작업 물체 정보로서 출력하는 것을 특징으로 한다.

또한, 본 발명의 다른 실시예에 따른 물체 검출 장치에 있어서, 상기 작업 물체 영역 선택부는 상기 물체 후보 영역이 복수인 경우 상기 복수의 물체 후보 영역과 대조된 물체 모델들의 회전각이 소정 범위 내이고 상기 시각 센서로부터의 거리가 가장 작은 물체 후보 영역을 상기 작업 물체 영역으로 선택하는 것을 특징으로 한다.

또한, 본 발명의 다른 실시예에 따른 물체 검출 장치에 있어서, 상기 획득한 영상을 전처리하는 영상 전처리부를 더 포함하고, 상기 국소 특징 추출부는 상기 영상 전처리부에 의하여 전처리된 영상으로부터 상기 적어도 하나의 국소 특징 부분을 추출하는 것을 특징으로 한다.

또한, 본 발명의 일 실시예에 따른 물체 피킹 시스템은 상기 다른 실시예에 따른 물체 검출 장치와, 피킹 로봇 컨트롤러와, 상기 피킹 로봇 컨트롤러와 접속된 피킹 로봇을 포함하고, 상기 피킹 로봇 컨트롤러는 상기 출력부로부터 출력된 상기 작업 물체 정보를 기초로, 상기 피킹 로봇이 상기 작업 물체 정보에 대응하는 작업 물체를 피킹하도록 제어하는 것을 특징으로 한다.

본 발명의 물체 검출 장치 및 물체 검출 방법에 의하면 물체가 가지는 고유한 국소 특징 부분으로 형성되는 물체 영역의 회전각 및 시각 센서로부터의 거리를 고려하므로 물체 검출에 대한 신뢰도를 높일 수 있다.

또한, 스테레오 카메라나 3차원 시각 센서가 아닌 통상의 2차원의 시각 센서를 이용함으로써 물체 검출 내지 빈 피킹 작업 환경 구축의 비용면에서 유리하다.

또한, 국소 특징 부분으로 형성되는 물체 영역을 기 저장된 데이터 베이스의 데이터와 비교하므로 피킹하려는 물체를 검출할 때마다 물체의 회전각, 거리를 측정할 필요가 없어 측정에 소요되는 시간을 감축할 수 있다.

아울러, 본 발명에 따른 물체 피킹 시스템 및 물체 피킹 방법에 의하면 정밀도 높게 검출된 작업 물체를 실제로 피킹할 수 있으므로 실제 생산 공정에 적용할 수 있는 시각 기반 빈피킹 시스템이 구현될 수 있다.

도 1은 본 발명의 물체 피킹 시스템을 나타낸 도면이다.
도 2는 본 발명의 실시예 1에 따른 물체 검출 장치의 구성을 나타낸 도면이다.
도 3은 시각 센서로부터 얻어지는 물체들의 영상의 일례를 나타낸 도면이다.
도 4는 도 3의 영상을 전처리한 후 국소 특징 부분들에 의하여 형성되는 물체 영역을 나타낸 도면이다.
도 5는 본 발명의 실시예 1에 따른 물체 검출 장치의 저장부에 저장된 데이터 베이스에 관한 테이블을 나타낸 도면이다.
도 6은 본 발명에 따른 물체 검출 방법을 나타낸 흐름도이다.
도 7은 본 발명의 실시예 1에 따른 물체 검출 방법을 나타낸 흐름도이다.
도 8은 본 발명의 실시예 2에 따른 물체 검출 방법을 나타낸 흐름도이다.

이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다. 참고로, 본 설명에서 동일한 번호는 실질적으로 동일한 요소를 지칭하며, 이러한 규칙하에서 다른 도면에 기재된 내용을 인용하여 설명할 수 있다. 그리고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명하다고 판단되거나 반복되는 내용은 생략될 수 있다.

[물체 피킹 시스템]

도 1은 본 발명의 물체 피킹 시스템을 나타낸 도면이다. 이하 본 발명에 따른 물체 피킹 시스템(1000)을 도 1을 참조하여 설명한다.

도 1에 있어서, 본 발명에 따른 물체 피킹 시스템(1000)은 물체 검출 장치(100), 피킹 로봇 컨트롤러(200), 피킹 로봇(300), 물체 검출을 위한 시각 센서(400) 및 빛 반사 영향을 줄일 수 있는 조명 장치(500)를 포함한다.

물체 검출 장치(100)는 시각 센서(400)로부터 얻어진 임의로 쌓여진 검출 대상 물체들(600)의 영상 처리를 실시하고, 후술할 작업 물체 정보를 피킹 로봇 컨트롤러(200)로 전송한다. 피킹 로봇 컨트롤러(200)는 상기 작업 물체 정보를 기초로 피킹 로봇(300)을 제어한다. 피킹 로봇(300)은 작업 물체를 피킹한 후 목적 빈(bin)(700)으로 이동시킨다. 이때 목적 빈(700)은 피킹한 작업 물체를 포장하기 위한 표장 용기일 수 있으며, 피킹한 작업 물체가 조립되는 피조립 대상물일 수도 있다.

물체 피킹 시스템(1000)에 의하면 정밀도 높게 작업 물체를 실제로 피킹할 수 있어 실제 생산 공정에 적용할 수 있는 시각 기반 빈피킹 시스템이 구현될 수 있다. 이하에서는 물체 피킹 시스템(1000)의 물체 검출 장치(100)에 대한 구성 및 물체 검출 방법을 설명한다.

[실시예 1]

도 2는 본 발명의 실시예 1에 따른 물체 검출 장치(100)의 구성을 나타낸 도면이고, 도 3은 시각 센서(400)로부터 얻어지는 물체들의 영상의 일례를 나타낸 도면이다. 도 4는 도 3의 영상을 전처리한 후 국소 특징 부분들에 의하여 형성되는 물체 영역을 나타낸 도면이다.

도 2를 참조하면, 물체 검출 장치(100)는 영상 획득부(101), 영상 전처리부(102), 국소 특징 부분 추출부(103), 물체 영역 검출부(104), 물체 영역 대조부(105), 작업 물체 영역 선택부(106), 출력부(107) 및 저장부(108)를 포함한다.

영상 획득부(101)는 시각 센서(400)로부터 얻어진 영상, 예를 들어 도 3과 같은 영상을 획득한다. 시각 센서(400)는 스테레오 카메라나 3차원 시각 센서가 아닌 통상의 2차원 시각 센서(혹은 카메라)로서, 획득되는 영상 또한 2차원의 영상일 수 있다. 영상 획득부(101)는 상기 2차원의 영상(예를 들어 도 3의 영상)을 획득하여 이를 영상 전처리부(102)로 전송한다.

영상 전처리부(102)는 물체의 국소 특징 부분들을 왜곡없이 추출하기 위하여 영상 개선 및 전처리를 한다. 실제 현장에서는 조명의 영향 및 물체 표면의 재질에 따라 물체를 구성하는 형태나 국소 특징 부분에 관한 정보들이 소실될 수 있다. 따라서, 영상 전처리부(102)는 조명에 의한 영향을 줄이면서 물체의 국소 특징 부분들을 손실없이 보존할 수 있는 영상 필터링과 국소 영역별 화소의 명암값에 대한 분석 등을 포함하는 영상 전처리를 실행한다. 이러한 영상 전처리를 거친 결과의 일례로서 그레이 혹은 이진 영상이 생성된다.

한편, 영상 전처리부(102)는 조명의 영향 등에 의하여 물체의 국소 특징 부분에 대한 정보가 소실되지 않는 경우 생략될 수 있다.

국소 특징 부분 추출부(103)는 영상 전처리부(102)로부터 전송받은 영상에서 적어도 하나의 국소 특징 부분을 추출한다. 상기 국소 특징 부분은 2차원 영상 상의 블럽, 에지, 코너점을 포함하는 개념으로서, 임의로 쌓여있는 물체들 검출하기 위한 일차적인 정보로서 활용된다. 이리하여 추출된 적어도 하나의 국소 특징 부분은 하나의 물체의 물체 영역을 형성하기 위하여 물체 영역 검출부(104)로 전송된다.

물체 영역 검출부(104)는 상기 전송받은 적어도 하나의 국소 특징 부분을 조합하여 상기 획득된 2차원 영상에 있어서의 물체 영역들을 검출한다. 물체 영역이란 국소 특징 부분들의 조합으로 하나의 물체로 식별되는 영역으로서, 예를 들어 도 3의 영상의 경우에는 도 4에 나타낸 4개의 물체 영역(ⅰ~ⅳ)이 이에 해당한다. 즉, 물체 영역 검출부(104)는 국소 특징 부분을 분석하여 물체의 일부분이 겹쳐서 가려지는 등, 하나의 물체 영역을 이루기 위한 소정의 임계치에 미치지 못하면 당해 국소 특징 부분을 물체 영역에서 배제하고 남겨진 국소 특징 부분만으로 물체 영역을 검출한다.

물체 영역 대조부(105)는 물체 영역 검출부(104)로부터 검출된 상기 적어도 하나의 물체 영역과, 이하에서 설명할 저장부(108)에 저장된 물체 모델의 물체 영역들을 대조하여 적어도 하나의 물체 후보 영역을 추출한다. 대조의 방법으로서, 챔퍼 매칭(chamfer matching) 또는 화상 모멘트 대조 등의 방법을 이용할 수 있다. 즉, 물체 영역 대조부(106)는 상기 검출된 적어도 하나의 물체 영역과 저장부(108)에 저장된 물체 모델의 물체 영역들을 상기 대조 방법 등을 이용하여 대조하고, 소정의 오차 범위 내인지 여부를 판단한다. 이러한 판단에 따라서 소정의 오차 범위 내인 물체 영역을 상기 적어도 하나의 물체 후보 영역으로 추출한다.

작업 물체 영역 선택부(106)는 추출된 적어도 하나의 물체 후보 영역 중에서 소정의 판단 기준에 부합하는 물체 후보 영역을 작업 물체 영역으로 선택한다. 이때 작업 물체 영역을 선택하는 판단 기준으로서, 저장부(108)에 저장된 상기 적어도 하나의 물체 후보 영역과 대조된 물체 모델의 회전각을 판단 기준으로서 이용할 수 있다. 예를 들어, 상기 적어도 하나의 물체 후보 영역과 대조된 물체 모델의 물체 영역과 대응지어진 z축 회전각 중에서 가장 작은 회전각를 가지는 물체 후보 영역을 물체 영역으로 선택할 수 있다. 이 경우, z축 회전각에 한하지 않고, x, y, 또는 z축 방향의 회전각 중에서 어느 하나를 정하여, 그 정해진 축 방향의 회전각에 있어서 최소인 각을 가진 물체 후보 영역을 상기 작업 물체 영역으로 선택할 수도 있다. 또한, x, y, z축 방향의 회전각에 대한 산술 평균을 산출하고 이를 기초로 상기 작업 물체 영역을 선택할 수도 있다.

한편 물체 후보 영역이 하나만이 검출된 경우 그 검출된 하나의 물체 후보 영역을 상기 작업 물체 영역으로 선택하여도 좋다.

출력부(107)는 작업 물체 영역 선택부(106)에서 선택된 작업 물체 영역에 대응하는 작업 물체에 대한 회전각을 포함하는 작업 물체 정보를 피킹 로봇 컨트롤러(200)로 전송한다.

저장부(108)는 검출해야할 상기 물체들(600)의 물체 모델에 대한 물체 영역과, x, y, z축 방향 회전에 따른 회전각과, 시각 센서(400)로부터의 거리를 데이터 베이스화 하여 저장한다(데이터 베이스에 대하여는 후술). 저장된 상기 물체 모델의 물체 영역은 물체 영역 대조부(106)에 의하여 참조되어 이용되고, 회전각 및 시각 센서(400)로부터의 거리는 작업 물체 영역 선택부(107)에 있어서 작업 물체 영역 선택에 이용된다.

[데이터 베이스의 예시]

도 5는 본 발명의 실시예 1에 따른 물체 검출 장치(100)의 저장부(108)에 저장된 데이터 베이스에 관한 테이블을 나타낸 도면으로서, 검출해야할 물체의 물체 모델에 대한 물체 영역과, x, y, z축 방향 회전에 따른 회전각과 시각 센서(400)로부터의 거리를 데이터 베이스화한 테이블을 나타낸다.

도 5의 테이블은 물체 모델과 시각 센서(400)와의 거리가 50~100cm 이내이고, x, y, z축 회전각이 -30°~30°인 경우에 있어서, 각각 1cm 마다 이동시키고, 0.5°마다 회전시켜서, 물체 모델의 물체 영역을 검출한 것이다.

이때 x, y, z축 회전각 -30°~30°은 피킹 로봇(300)이 물체를 피킹할 수 있는 x, y, z 축 회전각 범위를 의미하는 것으로서 피킹 로봇(300)에 따라서는 상기 회전각 범위가 달라질 수 있다. 또한, 물체 모델과 시각 센서(400)와의 거리가 50~100cm인 것도 사용자의 판단에 따라 다르게 설정될 수도 있다.

한편, 물체 모델의 물체 영역은 해당하는 물체 모델과 시각 센서(400)와의 거리, x, y, z 축 회전각에 있어서, 시각 센서(400)로 촬영된 영상을 전처리하고 이로부터 추출된 국소 특징 부분의 조합으로 이루어진 것이다.

이러한 물체 영역은 각각 자동 혹은 수동으로 검출한 것을 이용하여도 좋으나, 지나치게 많은 레코드가 생성되는 것을 방지하기 위해 3D 스캐닝 내지 3D CAD를 이용하여 구하는 것도 고려될 수 있다.

[물체 검출 방법]

도 6은 본 발명에 따른 물체 검출 방법을 나타낸 흐름도이다. 본 발명에 따른 물체 검출 방법의 흐름을 도 6을 참조하여 설명한다.

본 발명에 따른 물체 검출 방법은 시각 센서로부터 물체들의 영상을 획득하는 단계(S001), 상기 영상으로부터 적어도 하나의 국소 특징 부분을 추출하는 단계(S002), 상기 추출된 적어도 하나의 국소 특징 부분의 조합으로 적어도 하나의 물체 영역을 검출하는 단계(S003), 상기 검출된 적어도 하나의 물체 영역과 기 저장된 상기 물체들에 대한 물체 모델의 물체 영역들을 대조하여 적어도 하나의 물체 후보 영역을 추출하는 단계(S004), 상기 적어도 하나의 물체 후보 영역 중에서 소정의 판단 기준에 부합하는 물체 후보 영역을 작업 물체 영역으로 선택하는 단계(S005) 및 상기 작업 물체 영역과 대조된 물체 모델에 대한 기 저장된 회전각을 작업 물체 정보로서 출력하는 단계(S006)를 포함하는 것을 특징으로 한다.

이하에서는 본 발명에 따른 물체 검출 방법을 실시예로써 더욱 상세히 설명하기로 한다.

[실시예 1에 따른 물체 검출 방법]

도 7은 본 발명의 실시예 1에 따른 물체 검출 방법을 나타낸 흐름도이다. 도 7을 참조하여 이하 실시예 1에 따른 물체 검출 방법을 설명한다.

실시예 1에 따른 물체 검출 방법은 임의로 쌓인 물체를 촬영하는 단계(단계 S101), 임의로 쌓인 물체의 영상을 획득하는 단계(단계 S102), 획득된 영상을 전처리하는 단계(단계 S103), 전처리된 영상으로부터 국소 특징 부분이 추출되었는지 판단하는 단계(단계 S104), 국소 특징의 조합으로 물체 영역을 검출하는 단계(단계 S105), 검출된 물체 영역과 물체 모델의 물체 영역을 대조하는 단계(단계 S106), 대조 결과가 소정의 오차 범위 내 인지 판단하는 단계(단계 S107), 상기 검출된 물체 영역들을 물체 후보 영역으로 하는 단계(단계 S108), 물체 후보 영역이 단수/복수 인지 판단하는 단계(단계 S109), 물체 후보 영역이 단수인 경우 당해 물체 후보 영역을 작업 물체 영역으로 선택하는 단계(단계 S110), 물체 후보 영역이 복수인 경우 복수의 물체 후보 영역과 대조된 물체 모델들의 회전각 중에서 z축 회전각의 절대값이 가장 작은 물체 후보 영역을 작업 물체 영역으로 선택하는 단계(단계 S111), 작업 물체 영역과 대조된 물체 모델의 회전각을 작업 물체 정보로 하는 단계(단계 S112) 및 작업 물체 정보를 출력하는 단계(단계 S113)를 포함한다.

먼저 시각 센서(400)가 임의로 쌓여진 물체들(600)의 2차원 영상을 촬영하고(단계 S101), 당해 영상을 본 실시예 1에 따른 물체 검출 장치(100)의 영상 획득부(101)가 획득한다(단계 S102). 획득된 영상은 예를 들어 도 3의 영상일 수 있다.

다음으로 단계 S103에서는 촬영된 물체들의 국소 특징 부분들을 왜곡없이 추출하기 위하여 영상 전처리부(102)가 상기 획득된 영상을 전처리한다. 한편, 조명의 영향 등에 의하여 물체의 국소 특징 부분에 대한 정보가 소실되지 않는 경우 등에는 이 단계 S103을 생략할 수 있다.

단계 S104에서는 단계 S103에서 전처리된 영상으로부터 국소 특징 부분 추출부(103)가 적어도 하나의 국소 특징 부분, 예를 들어 블럽, 에지, 코너점 등을 추출한다. 국소 특징 부분이 추출되지 않은 경우에는 처리를 종료하고(단계 S104에서 No), 국소 특징 부분이 적어도 하나 추출된 경우(단계 S104에서 Yes)에는 단계 S105로 진행한다.

단계 S105에서는 물체 영역 검출부(104)가 단계 S104에서 추출된 적어도 하나의 국소 특징 부분을 조합하여 적어도 하나의 물체 영역을 검출한다. 이때, 검출된 적어도 하나의 물체 영역은 도 4에 도시한 물체 영역(ⅰ~ⅳ)일 수 있다.

이어서, 물체 영역 대조부(105)는 검출된 적어도 하나의 물체 영역과 저장부(108)(데이터 베이스)에 저장된 물체 모델의 물체 영역들을 대조하고(단계 S106), 대조 결과가 소정의 오차 범위 내인지 여부를 판단한다(단계 S107). 당해 판단에 의하여 상기 소정의 오차 범위 내인 물체 모델의 물체 영역이 저장부(108)에 존재하는 경우(단계 S107에서 Yes), 단계 S108로 진행하여 소정의 오차 범위 내에 있는 상기 검출된 물체 영역을 물체 후보 영역으로 하며, 그렇지 않은 경우(단계 S107에서 No) 처리를 종료한다.

단계 S109에서는 단계 S108에 의한 물체 후보 영역이 단수인지 복수인지 판단한다. 작업 물체 영역 선택부(106)는 상기 추출된 물체 후보 영역이 단수인 경우 상기 단수의 물체 후보 영역을 그대로 작업 물체 영역으로 선택하며(단계 S110), 추출된 물체 후보 영역이 복수인 경우 단계 S111로 진행한다.

단계 S111에서, 작업 물체 영역 선택부(106)는 복수의 물체 후보 영역과 대조된 물체 모델들의 물체 영역에 각각 대응지어진 x, y, z축 회전각들을 저장부(108)로부터 참조하고, 각각의 물체 후보 영역과 대조된 물체 모델들의 z축 회전각 중에서 그 절대값이 가장 작은 값을 가진 물체 후보 영역을 작업 물체 영역으로서 선택한다.

다만, 단계 S111에서는 작업 물체 영역 선택시 z축 회전각이 가장 작은 것을 선택하는 것으로 설명하였으나, z축 회전각에 한하지 않고, x축 회전각 또는 y축 회전각의 절대값이 가장 작은 것으로 선택하여도 좋으며, x, y, z축 회전각의 산술 평균값이 가장 작은 것으로 선택하여도 좋다. 어떠한 기준으로 선택하여도, 피킹 로봇이 가장 적합하게 파지 및 피킹할 수 있는 각도를 가지는 것으로 선택하면 족하다.

이어서, 단계 S112에서는 선택된 작업 물체 영역과 대조된 물체 모델의 회전각을 작업 물체 정보로 하고, 출력부(107)가 당해 작업 물체 정보를 물체 검출 장치(100)와 접속된 피킹 로봇 컨트롤러(200)로 출력함(단계 S113)으로써 방법이 종료된다.

상기 실시예 1의 물체 검출 장치 및 물체 검출 방법에 의하면 물체가 가지는 고유한 국소 특징 부분으로 형성되는 물체 영역의 회전각을 고려하므로 물체 검출에 대한 신뢰도를 높일 수 있다.

또한, 스테레오 카메라나 3차원 시각 센서가 아닌 통상의 2차원의 시각 센서를 이용함으로써 물체 검출 내지 빈 피킹 작업 환경 구축의 비용면에서 유리하다,

또, 국소 특징 부분으로 형성되는 물체 영역을 기 저장된 데이터 베이스의 물체 영역과 비교하므로 피킹하려는 물체를 검출할 때마다 물체의 회전각, 거리를 측정할 필요가 없어 측정에 소요되는 시간을 감축할 수 있다.

[실시예 2에 따른 물체 검출 방법]

도 8은 본 발명의 실시예 2에 따른 물체 검출 방법을 나타낸 흐름도이다. 이하 실시예 2에 따른 물체 검출 방법을 도 8을 참조하여 설명한다.

본 실시예 2에 따른 물체 검출 장치의 구성은 실시예 1과 동일하므로 그 설명을 생략한다. 또한, 실시예 2에 따른 물체 검출 방법은 실시예 1의 물체 검출 방법과 유사하나(도 7의 단계 S101~S110 및 S113과, 도 8의 단계 S201~S210 및 S213은 각각 동일), 도 7의 단계 S111 및 S112와 도 8의 단계 S211 및 S212은 각각 서로 다르다. 실시예 1의 물체 검출 방법과 동일한 단계에 대하여는 설명을 생략한다.

단계 S211에서는 작업 물체 영역 선택부(106)가 복수의 물체 후보 영역과 대조된 물체 모델들의 물체 영역에 각각 대응지어진 x, y, z축 회전각 및 시각 센서(400)로부터의 거리를 저장부(108)로부터 참조하고, 이를 기초로 작업 물체 영역을 선택한다.

구체적으로는 z축 회전각의 소정의 각도 범위를 미리 설정해두고, 이 회전각 범위 내에 드는 z축 회전각을 가지는 물체 후보 영역과 대조된 물체 모델 중에서 시각 센서(400)로부터의 거리가 가장 작은 값을 가진 것을 작업 물체 영역으로서 선택할 수 있다.

다만, 단계 S211에서는 작업 물체 영역 선택시 z축 회전각이 소정의 각도 범위 내인 것 중에서 선택하는 것으로 설명하였으나, z축 회전각에 한하지 않고, x축 회전각 또는 y축 회전각이 소정의 각도 범위 내인 것 중에서 선택하여도 좋으며, 하나 이상의 회전각의 범위을 제한하여도, 또 시각 센서(400)로부터의 거리를 먼저 제한하여도 좋다. 어떠한 기준으로 선택하여도, 피킹 로봇이 가장 적합하게 파지 및 피킹할 수 있는 각도 및 시각 센서(400)로부터의 거리를 가지는 것을 작업 물체 영역으로서 선택하면 족하다.

이어서, 단계 S212에서는 상기 선택된 작업 물체 영역과 대조된 물체 모델의 회전각 및 시각 센서(400)로부터의 거리를 작업 물체 정보로 하고 단계 S213으로 이행한다.

상기 실시예 2의 물체 검출 장치 및 물체 검출 방법에 의하면 실시예 1로부터 얻어지는 이점에 더하여, x, y, z축 회전각뿐만 아니라 시각 센서(400)로부터의 거리도 물체 검출함에 있어서 이용하므로 보다 정밀도 높은 물체 검출이 가능해진다.

상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 본 발명을 설명하였지만 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서 본 발명 사상은 아래에 기재된 특허청구범위에 의해서 파악되어야 하고, 이의 균등 또는 등가적 변형 모두가 본 발명 사상의 범주에 속한다고 할 것이다.

1000 : 물체 피킹 시스템 100 : 물체 검출 장치
101 : 영상 획득부 102 : 영상 전처리부
103 : 국소 특징 부분 추출부 104 : 물체 영역 검출부
105 : 물체 영역 대조부 106 : 작업 물체 영역 선택부
107 : 출력부 108 : 저장부
200 : 피킹 로봇 컨트롤러 300 : 피킹 로봇
400 : 시각 센서 500 : 조명 장치
600 : 물체 700 : 목적 빈
ⅰ~ⅳ : 물체 영역

Claims

시각 센서로부터 물체들의 영상을 획득하는 영상 획득부;
상기 영상으로부터 적어도 하나의 국소 특징 부분을 추출하는 국소 특징 추출부;
상기 추출된 적어도 하나의 국소 특징 부분의 조합으로 적어도 하나의 물체 영역을 검출하는 물체 영역 검출부;
상기 물체들에 대한 물체 모델의 회전각 및 소정의 회전각마다 획득된 상기 물체 모델의 물체 영역을 각각 저장하는 저장부;
상기 물체 영역 검출부로부터 검출된 상기 적어도 하나의 물체 영역과 상기 저장부에 저장된 상기 물체 모델의 물체 영역들을 대조하여 적어도 하나의 물체 후보 영역을 추출하는 물체 영역 대조부;
상기 적어도 하나의 물체 후보 영역 중에서 소정의 판단 기준에 부합하는 물체 후보 영역을 작업 물체 영역으로 선택하는 작업 물체 영역 선택부; 및
상기 작업 물체 영역과 대조된 물체 모델의 회전각을 작업 물체 정보로서 출력하는 출력부를 포함하는 것을 특징으로 하는 물체 검출 장치.
청구항 1에 있어서,
상기 물체 영역 대조부는 상기 검출된 상기 적어도 하나의 물체 영역과 상기 저장부에 저장된 상기 물체 모델의 물체 영역들을 대조하여 소정의 오차 범위 내인지 여부를 판단하고, 상기 소정의 오차 범위 내인 물체 영역을 상기 적어도 하나의 물체 후보 영역으로 추출하는 것을 특징으로 하는 물체 검출 장치.
청구항 1에 있어서,
상기 작업 물체 영역 선택부는 상기 적어도 하나의 물체 후보 영역이 단수인 경우 상기 단수의 물체 후보 영역을 상기 작업 물체 영역으로 선택하고, 상기 적어도 하나의 물체 후보 영역이 복수인 경우 상기 복수의 물체 후보 영역과 대조된 물체 모델들 중 상기 회전각의 절대값이 가장 작은 물체 후보 영역을 상기 작업 물체 영역으로 선택하는 것을 특징으로 하는 물체 검출 장치.
청구항 1에 있어서,
상기 저장부는 상기 물체들에 대한 물체 모델의 회전각, 상기 물체 모델의 상기 시각 센서로부터의 거리, 소정의 회전각 및 소정의 거리마다 획득된 상기 물체 모델의 물체 영역을 각각 저장하는 것을 특징으로 하는 물체 검출 장치.
청구항 4에 있어서,
상기 작업 물체 영역 선택부는 상기 적어도 하나의 물체 후보 영역이 단수인 경우 상기 단수의 물체 후보 영역을 상기 작업 물체 영역으로 선택하고, 상기 적어도 하나의 물체 후보 영역이 복수인 경우 상기 복수의 물체 후보 영역과 대조된 물체 모델들의 회전각 및 상기 시각 센서로부터의 거리를 기초로 상기 작업 물체 영역을 선택하고,
상기 출력부는 상기 작업 물체 영역과 대조된 물체 모델의 회전각 및 상기 시각 센서로부터의 거리를 상기 작업 물체 정보로서 출력하는 것을 특징으로 하는 물체 검출 장치.
청구항 5에 있어서,
상기 작업 물체 영역 선택부는 상기 물체 후보 영역이 복수인 경우 상기 복수의 물체 후보 영역과 대조된 물체 모델들의 회전각이 소정 범위 내이고 상기 시각 센서로부터의 거리가 가장 작은 물체 후보 영역을 상기 작업 물체 영역으로 선택하는 것을 특징으로 하는 물체 검출 장치.
청구항 1에 있어서,
상기 획득한 영상을 전처리하는 영상 전처리부를 더 포함하고,
상기 국소 특징 추출부는 상기 영상 전처리부에 의하여 전처리된 영상으로부터 상기 적어도 하나의 국소 특징 부분을 추출하는 것을 특징으로 하는 물체 검출 장치.
물체 피킹 시스템으로서,
청구항 1 내지 청구항 7 중 어느 한 항의 물체 검출 장치와,
피킹 로봇 컨트롤러와,
상기 피킹 로봇 컨트롤러와 접속된 피킹 로봇을 포함하고,
상기 피킹 로봇 컨트롤러는 상기 출력부로부터 출력된 상기 작업 물체 정보를 기초로 상기 피킹 로봇이 상기 작업 물체 정보에 대응하는 작업 물체를 피킹하도록 제어하는 것을 특징으로 하는 물체 피킹 시스템.
시각 센서로부터 물체들의 영상을 획득하는 단계(S01);
상기 영상으로부터 적어도 하나의 국소 특징 부분을 추출하는 단계(S02);
상기 추출된 적어도 하나의 국소 특징 부분의 조합으로 적어도 하나의 물체 영역을 검출하는 단계(S03);
상기 검출된 적어도 하나의 물체 영역과 기 저장된 상기 물체들에 대한 물체 모델의 물체 영역들을 대조하여 적어도 하나의 물체 후보 영역을 추출하는 단계(S04);
상기 적어도 하나의 물체 후보 영역 중에서 소정의 판단 기준에 부합하는 물체 후보 영역을 작업 물체 영역으로 선택하는 단계(S05); 및
상기 작업 물체 영역과 대조된 물체 모델에 대한 기 저장된 회전각을 작업 물체 정보로서 출력하는 단계(S06)를 포함하는 것을 특징으로 하는 물체 검출 방법.
청구항 9에 있어서,
상기 S04 단계는 상기 검출된 상기 적어도 하나의 물체 영역과 상기 기 저장된 물체 모델의 물체 영역들을 대조하여 소정의 오차 범위 내인지 여부를 판단하고, 상기 소정의 오차 범위 내인 물체 영역을 상기 적어도 하나의 물체 후보 영역으로 추출하는 것을 특징으로 하는 물체 검출 방법.
청구항 9에 있어서,
상기 S05 단계는 상기 적어도 하나의 물체 후보 영역이 단수인 경우 상기 단수의 물체 후보 영역을 상기 작업 물체 영역으로 선택하고, 상기 적어도 하나의 물체 후보 영역이 복수인 경우 상기 복수의 물체 후보 영역과 대조된 물체 모델들 중 상기 회전각의 절대값이 가장 작은 물체 후보 영역을 상기 작업 물체 영역으로 선택하는 것을 특징으로 하는 물체 검출 방법.
청구항 9에 있어서,
상기 S05 단계는 상기 적어도 하나의 물체 후보 영역이 단수인 경우 상기 단수의 물체 후보 영역을 상기 작업 물체 영역으로 선택하고, 상기 적어도 하나의 물체 후보 영역이 복수인 경우 상기 복수의 물체 후보 영역과 대조된 물체 모델들에 대한 기 저장된 회전각 및 기 저장된 상기 시각 센서로부터의 거리를 기초로 상기 작업 물체 영역을 선택하는 것을 특징으로 하는 물체 검출 방법.
청구항 12에 있어서,
상기 S05 단계는 상기 적어도 하나의 물체 후보 영역이 복수인 경우 상기 복수의 물체 후보 영역과 대조된 물체 모델들에 대한 상기 기 저장된 회전각이 소정 범위 내이고 상기 기 저장된 시각 센서로부터의 거리가 가장 작은 물체 후보 영역을 상기 작업 물체 영역으로 선택하는 것을 특징으로 하는 물체 검출 방법.
청구항 12에 있어서,
상기 S06 단계는 상기 작업 물체 영역과 대조된 물체 모델에 대한 상기 기 저장된 회전각 및 상기 기 저장된 시각 센서로부터의 거리를 상기 작업 물체 정보로서 출력하는 것을 특징으로 하는 물체 검출 방법.
청구항 9에 있어서,
상기 S01 단계에서 획득한 영상을 전처리하는 단계를 더 포함하고,
상기 S02 단계는 상기 전처리된 영상으로부터 상기 국소 특징 부분을 추출하는 것을 특징으로 하는 물체 검출 방법.