KR20160114992A - 빈피킹 시스템 및 빈피킹 수행 방법 - Google Patents

빈피킹 시스템 및 빈피킹 수행 방법 Download PDF

Info

Publication number
KR20160114992A
KR20160114992A KR1020150041588A KR20150041588A KR20160114992A KR 20160114992 A KR20160114992 A KR 20160114992A KR 1020150041588 A KR1020150041588 A KR 1020150041588A KR 20150041588 A KR20150041588 A KR 20150041588A KR 20160114992 A KR20160114992 A KR 20160114992A
Authority
KR
South Korea
Prior art keywords
picking
empty
binning
bin
empty picking
Prior art date
Application number
KR1020150041588A
Other languages
English (en)
Inventor
김계경
강상승
이재연
김재홍
김중배
신성웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150041588A priority Critical patent/KR20160114992A/ko
Priority to US15/079,261 priority patent/US10540567B2/en
Publication of KR20160114992A publication Critical patent/KR20160114992A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)

Abstract

본 발명의 실시 예들은, 빈피킹 시스템 및 빈피킹 수행 방법에 관한 것으로, 본 발명의 일 실시 예에 따른 빈피킹 시스템은, 변형 가능한 빈피킹 박스(bin-picking); 상기 빈피킹 박스의 하부를 지지하며, 상하 이동이 가능한 지지부; 및 상기 빈피킹 박스 내에 존재하며 상기 지지부 상에 위치한 적어도 하나의 빈피킹 후보 물체 중 빈피킹 대상 물체가 검출되지 않는 경우, 상기 지지부의 이동을 제어하여 상기 빈피킹 박스를 변형시킴으로써 상기 빈피킹 후보 물체의 정렬 상태를 변화시키는 제어부를 포함한다. 본 발명의 실시 예들에 따르면, 빈피킹 대상 물체의 검출 및 빈피킹이 용이하게 수행될 수 있다.

Description

빈피킹 시스템 및 빈피킹 수행 방법{Bin-picking system and method for bin-picking}
본 발명의 실시 예들은, 빈피킹 시스템 및 빈피킹 수행 방법에 관한 것이다.
생산 공정 자동화에 적용되기 시작한 산업용 로봇은, 일정한 위치에 배치되어 있는 물체(예를 들어, 부품)의 조립 또는 포장 공정에 사용되어 생산성을 향상시켜 왔다. 그러나 유동성 있는 생산 공정 라인에 대한 필요성이 증가되면서 셀 생산(cell manufacturing) 방식이 도입되었다. 이에 따라 빈피킹(bin-picking) 방식으로 물체들을 조립하거나 포장하기 위한 연구들이 활발히 진행 중이다. 빈피킹 방식은, 무작위로 쌓인 물체들 가운데 조립이나 포장할 물체의 위치를 검출하고, 검출된 물체를 집어내는 과정을 반복하여 포장이나 조립을 완성하는 방식이다.
기존의 빈피킹 방식은 주로 3D(3-dimension) 스캐너를 이용하여 물체의 위치 및 자세를 추정한 다음 제일 위쪽에 위치해 있는 물체를 빈피킹 박스 내에서 집어내는 방법을 이용한다.
그 밖에, 물체의 위치 및 자세 추정을 위하여, 구조광 방식 및 2D 카메라를 이용하는 스테레오 방식 등이 이용되고 있다.
빈피킹 박스 내에 존재하는 물체들은 놓인 자세가 다양하고, 이웃하는 물체끼리 서로 잘 겹치기 때문에 빈피킹을 수행할 빈피킹 대상 물체의 위치 및 자세를 추정함에 있어 오차가 흔히 발생한다. 특히, 비닐과 같이 물체의 표면 재질이 광을 반사하는 특성을 가진 경우, 서로 겹쳐 있는 물체로부터 하나의 물체 영역을 검출하는 것이 매우 어려울 뿐만 아니라, 빈피킹 대상 물체의 위치 및 자세 추정이 불가능하다.
본 발명의 실시 예들은, 빈피킹 대상 물체를 용이하게 검출할 수 있도록 하는 방안을 제공한다.
본 발명의 실시 예들은, 빈피킹 대상 물체의 위치 및 자세 추정의 정확도를 향상시킬 수 있도록 하는 방안을 제공한다.
본 발명의 실시 예들은, 빈피킹 대상 물체에 대한 빈피킹이 원활히 수행될 수 있도록 하는 방안을 제공한다.
본 발명의 일 실시 예에 따른 빈피킹 시스템은, 변형 가능한 빈피킹 박스(bin-picking); 상기 빈피킹 박스의 하부를 지지하며, 상하 이동이 가능한 지지부; 및 상기 빈피킹 박스 내에 존재하며 상기 지지부 상에 위치한 적어도 하나의 빈피킹 후보 물체 중 빈피킹 대상 물체가 검출되지 않는 경우, 상기 지지부의 이동을 제어하여 상기 빈피킹 박스를 변형시킴으로써 상기 빈피킹 후보 물체의 정렬 상태를 변화시키는 제어부를 포함한다.
일 실시 예에서, 상기 빈피킹 박스는, 유연 재질로 형성될 수 있다.
일 실시 예에서, 상기 빈피킹 박스는, 상기 빈피킹 후보 물체들에 광을 조사하는 배면 조명을 포함할 수 있다.
일 실시 예에서, 상기 빈피킹 박스는, 하단으로 갈수록 단면적이 좁게 형성될 수 있다.
일 실시 예에서, 상기 지지부는, 상기 빈피킹 박스 상단의 단면적보다 좁게 형성될 수 있다.
일 실시 예에서, 상기 빈피킹 시스템은, 상기 빈피킹 후보 물체를 촬영하여 촬영 영상을 획득하는 영상 획득부를 더 포함하며, 상기 제어부는 상기 영상 획득부로부터 수신되는 촬영 영상을 기반으로 상기 빈피킹 대상 물체를 검출할 수 있다.
일 실시 예에서, 상기 제어부는, 상기 영상 획득부로부터 수신되는 촬영 영상으로부터 상기 빈피킹 후보 물체에 대한 실루엣 및 에지 정보를 추출하고, 추출된 실루엣 및 에지 정보를 기반으로 상기 빈피킹 후보 물체 중 상기 빈피킹 대상 물체를 검출할 수 있다.
일 실시 예에서, 상기 제어부는, 상기 추출된 실루엣 및 에지 정보를 기반으로 상기 빈피킹 대상 물체의 위치 및 자세를 추정할 수 있다.
일 실시 예에서, 상기 빈피킹 시스템은, 상기 추정된 위치 및 자세를 기반으로 해당 빈피킹 대상 물체에 대한 빈피킹을 수행하는 빈피킹부를 더 포함할 수 있다.
일 실시 예에서, 상기 제어부는, 상기 빈피킹 후보 물체들 중 빈피킹 대상 물체가 검출되지 않는 경우, 상기 지지부를 제 1 위치에서 제 2 위치로 하강시킨 후, 상기 지지부를 제 2 위치에서 제 1 위치로 상승시킬 수 있다.
일 실시 예에서, 상기 제어부는, 상기 지지부가 제 1 위치에 위치한 상태에서 촬영 영상을 획득하도록 상기 영상 획득부를 제어할 수 있다.
일 실시 예에서, 상기 영상 획득부는, 상기 빈피킹 후보 물체를 촬영하는 시각 센서; 및 상기 빈피킹 후보 물체들에 광을 조사하는 전면 조명을 포함할 수 있다.
일 실시 예에서, 상기 영상 획득부는, 상기 시각 센서로 입사되는 광을 필터링하는 편광 필터; 및 상기 상단 조명으로부터 조사되는 광을 확산시키는 확산판 중 적어도 하나를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 빈피킹 수행 방법은, 하부가 지지부에 의하여 지지되며 상기 지지부의 상하 이동에 따라 변형 가능한 빈피킹 박스 내에 물체들이 수용된 상태에서, 상기 지지부 상에 적어도 하나의 빈피킹 후보 물체가 위치할 수 있도록 상기 지지부를 제 1 위치로 상승시키는 단계; 상기 빈피킹 후보 물체들을 촬영하여 촬영 영상을 획득하고, 획득된 촬영 영상을 기반으로 상기 빈피킹 후보 물체들 중 빈피킹 대상 물체를 검출하는 단계; 및 상기 빈피킹 대상 물체가 검출되지 않는 경우, 상기 지지부를 제 2 위치로 하강시킨 후 다시 제 1 위치로 상승시킴으로써 빈피킹 후보 물체를 재정렬하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 방법은, 상기 빈피킹 대상 물체가 검출되지 않는 경우, 상기 빈피킹 박스 내의 하부에 위치하는 배면 조명을 온 시키는 단계를 더 포함할 수 있다.
일 실시 예에서, 상기 빈피킹 대상 물체를 검출하는 단계는, 상기 촬영 영상으로부터 상기 빈피킹 후보 물체에 대한 실루엣 및 에지 정보를 추출하고, 추출된 실루엣 및 에지 정보를 기반으로 상기 빈피킹 후보 물체들 중 상기 빈피킹 대상 물체를 검출하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 방법은, 상기 추출된 실루엣 및 에지 정보를 기반으로 상기 빈피킹 대상 물체의 위치 및 자세를 추정하는 단계를 더 포함할 수 있다.
일 실시 예에서, 상기 방법은, 상기 추정된 위치 및 자세를 기반으로 해당 빈피킹 대상 물체에 대한 빈피킹을 수행하는 단계를 더 포함할 수 있다.
본 발명의 실시 예들에 따르면, 빈피킹 대상 물체의 위치 및 자세 추정의 정확도를 향상시킬 수 있다.
본 발명의 실시 예들에 따르면, 빈피킹 대상 물체의 검출 및 빈피킹이 용이하게 수행될 수 있다.
본 발명의 실시 예들은, 셀 생산방식의 공정에 적용되어 생산성을 향상시킬 수 있다.
본 발명의 실시 예들은, 조립 또는 포장 공정에 적용되어 생산성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 빈피킹 시스템을 설명하기 위한 예시도,
도 2의 (a) 내지 도 2의 (c)는 본 발명의 일 실시 예에 따른 물체 재정렬 과정을 설명하기 위한 예시도,
도 3은 본 발명의 일 실시 예에 따른 영상 획득부를 설명하기 위한 예시도,
도 4의 (a) 및 도 4의 (b)는 본 발명의 일 실시 예에 따른 빈피킹 박스를 설명하기 위한 예시도,
도 5는 본 발명의 일 실시 예에 따른 빈피킹 방법을 설명하기 위한 흐름도,
도 6은 본 발명의 일 실시 예에 따른 빈피킹 대상 물체를 검출하는 방법을 설명하기 위한 흐름도.
이하에서, 본 발명의 실시 예들을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
이하, 첨부되는 도면을 참조하여 본 발명의 실시 예들을 설명한다.
도 1은 본 발명의 일 실시 예에 따른 빈피킹 시스템을 설명하기 위한 예시도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 빈피킹 시스템은, 빈피킹 박스(100), 지지부(210), 영상 획득부(300) 및 빈피킹부(500)를 포함한다. 실시 예에 따라, 전술한 구성 요소 중 적어도 일부는 생략될 수 있다.
빈피킹 박스(100)는, 적어도 하나의 물체(10)를 수용할 수 있다. 빈피킹 박스(100)는, 비정형의 유연 재질, 예를 들어 직물, 비닐 또는 실리콘 등으로 형성될 수 있다.
빈피킹 박스(100)의 하부는 지지부(210)에 의하여 지지될 수 있으며, 이에 따라 빈피킹 박스(100)가 변형될 수 있다. 빈피킹 박스(100)의 하부가 지지부(210)에 의하여 지지된다는 것은, 빈피킹 박스(100)의 하부가 지지부(210)에 의하여 가압되는 것을 의미할 수 있다. 빈피킹 박스(100)가 지지부(210)에 의하여 가압되는 경우, 일부 물체(10)들은 지지부(210) 상에 위치할 수 있다. 물체(10)들이 지지부(210) 상에 위치한다는 것은, 해당 물체(10)들이 빈피킹 박스(100) 내에 존재하는 상태로 지지부(210)에 의하여 지지되는 것을 의미한다. 이하, 설명의 편의를 위하여, 빈피킹 박스(100) 내에 존재하며 지지부(210) 상에 위치하는 물체들을 빈피킹 후보 물체라 한다.
빈피킹 후보 물체들은, 빈피킹 대상 물체를 검출하기 위한 영상 촬영의 대상이 될 수 있다. 빈피킹 대상 물체는, 빈피킹 후보 물체들 중 빈피킹부(500)에 의하여 빈피킹될 물체를 의미한다.
지지부(210)는, 빈피킹 공정에서 작업대의 역할을 수행하며, 구동부(200)의 구동에 의하여 상하 이동이 가능하게 형성될 수 있다. 구동부(200)는, 제어부(400)의 제어 하에 지지부(210)를 상하 이동시킬 수 있다.
지지부(210)는, 제어부(400)의 제어 하에 상승 및 하강 이동하여 빈피킹 박스(100)의 형태를 변화시킬 수 있다.
영상 획득부(300)는, 빈피킹 후보 물체들을 촬영하여 촬영 영상을 획득할 수 있다. 촬영 영상의 획득은, 지지부(210)가 설정된 제 1 위치에 위치한 경우에 이루어질 수 있다. 즉, 빈피킹 후보 물체들에 대한 촬영 영상의 획득은, 항상 일정한 거리에 이루어질 수 있다. 따라서, 촬영 영상을 이용한 빈피킹 대상 물체의 위치 및 자세 추정에 대한 정확도가 향상될 수 있다.
제어부(400)는, 영상 획득부(300)로부터 수신되는 촬영 영상에 대한 전처리를 수행하고, 전처리된 영상으로부터 빈피킹 후보 물체의 특징을 추출할 수 있다. 촬영 영상에 대한 전처리를 수행한다는 것은, 예를 들어 촬영 영상으로부터 이진 영상 및 에지 영상 중 적어도 하나를 생성하는 것을 의미할 수 있다. 빈피킹 후보 물체의 특징은, 예를 들어 빈피킹 후보 물체의 에지(edge) 정보 및 실루엣 중 적어도 하나를 포함할 수 있다. 물체의 에지 정보 및 실루엣은, 이진 영상 및 에지 영상 중 적어도 하나로부터 추출될 수 있다. 물체의 에지 정보는, 예를 들어, 물체의 표면에 인쇄된 이미지 또는 텍스트에 대한 정보를 포함할 수 있다. 물체 외부의 실루엣은, 예를 들어 물체 전체의 외곽선일 수 있다.
제어부(400)는, 추출된 특징들을 기반으로 빈피킹 후보 물체들 중 빈피킹 대상 물체를 검출할 수 있다. 빈피킹 대상 물체를 검출한다는 것은, 빈피킹 대상 물체가 존재하는 물체 영역을 검출하는 것을 의미할 수 있다. 제어부(400)는, 검출된 물체 영역에 포함된 빈피킹 대상 물체의 위치 및 자세를 추정할 수 있다. 그리고, 추정된 위치 및 자세에 따라 빈피킹 대상 물체에 대한 빈피킹이 수행되도록 빈피킹부(500)를 제어할 수 있다.
만약, 다수의 빈피킹 후보 물체가 서로를 구분하기 힘들 정도로 겹쳐있는 등의 이유로 빈피킹 대상 물체가 검출되지 않는 경우, 제어부(400)는 지지부(210)의 이동을 제어하여 빈피킹 박스(100) 내에 존재하는 물체(10)들의 정렬 상태를 변화시킬 수 있다.
예를 들어, 제어부(400)는, 지지부(210)를 하강 및 상승시킴으로써 빈피킹 박스(100)를 변형시킬 수 있다. 지지부(210)의 하강 및 상승 과정에서 빈피킹 박스(100) 내에 존재하는 물체(10)들이 재정렬될 수 있다. 따라서, 빈피킹 후보 물체의 위치 및 자세가 변할 수 있다. 이에 따라, 빈피킹 대상 물체의 검출이 용이해질 수 있다.
도 2의 (a) 내지 도 2의 (c)는 본 발명의 일 실시 예에 따른 물체 재정렬 과정을 설명하기 위한 예시도이다.
먼저, 도 2의 (a)에 도시된 바와 같이, 빈피킹 박스(100) 내에 4개의 물체(10)가 존재하고, 빈피킹 박스(100)의 하부가 지지부(210)에 의하여 지지되는 상황을 가정한다. 여기서, 지지부(210)가 영상 획득부(300)와 거리(d1)만큼 이격되어 있는 경우를, 지지부(210)가 제 1 위치에 있다고 하기로 한다. 그리고, 빈피킹 후보 물체가 서로 겹쳐있어 특징 추출이 어려운 상황을 가정한다.
이러한 경우, 제어부는, 도 2의 (b)에 도시된 바와 같이, 지지부(210)가 영상 획득부와 거리(d2)만큼 이격되도록 지지부(210)를 하강시켜 빈피킹 박스(100)가 변형되도록 할 수 있다. 여기서, 지지부(210)가 영상 획득부(300)와 거리(d2)만큼 이격되어 있는 경우를, 지지부(210)가 제 2 위치에 있다고 하기로 한다. 빈피킹 박스가 유연한 직물 재질이라 가정할 때, 지지부(210)가 하강하면 빈피킹 박스(100)가 중력 방향으로 늘어지게 되고 이에 따라 빈피킹 박스(100) 내에 존재하는 물체들이 뒤섞일 수 있다.
이후, 제어부는, 도 2의 (c)에 도시된 바와 같이, 지지부(210)를 제 1 위치로 상승시켜 빈피킹 박스(100)가 변형되도록 할 수 있다. 이에 따라, 빈피킹 박스(100) 내에 존재하는 물체(10)들이 재정렬될 수 있다. 이에 따라 빈피킹 후보 물체의 위치 및 자세가 변화할 수 있다. 도 2의 (c)를 참조하면, 빈피킹 후보 물체의 위치 및 자세가, 재정렬 이전 상태 즉 도 2의 (a)에 도시된 상태와 비교하였을 때 변화하였음을 알 수 있다.
도 2의 (a) 내지 도 2의 (c)를 참조하여 설명한 바와 같이, 본 발명의 일 실시 예에 따르면, 지지부(210)가 영상 획득부(300)와 일정한 거리(d1)에 있을 때 영상 촬영이 수행될 수 있다.
종래의 일반적인 빈피킹 시스템은, 고정된 정형의 빈피킹 박스 내에 존재하는 물체들에 대한 검출 및 피킹이 수행된다. 따라서, 피킹이 수행될수록 빈피킹 박스 내에 존재하는 물체들의 개수가 줄어들게 되며, 이에 따라 맨 위에 위치하는 물체와 영상 획득을 위한 카메라 간의 거리가 멀어지게 된다. 이는, 빈피킹 대상 물체의 위치 추정 시에 오차가 증가하는 요인으로 작용할 수 있다.
전술한 본 발명의 실시 예에서 따르면, 지지부(210)가 영상 획득부(300)와 일정한 거리(d1)에 있을 때 영상 촬영을 수행하므로, 빈피킹 대상 물체의 위치 추정 시에 오차가 감소될 수 있다. 즉, 본 발명의 일 실시 예에 따르면, 빈피킹 대상 물체에 대한 거리 추정 정확도가 개선될 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 빈피킹 박스(100)는, 하부로 갈수록 단면적이 작아지도록 형성될 수 있다. 예를 들어, 빈피킹 박스(100)는, 하부로 갈수록 단면적이 작아지는 고깔 형태일 수 있다.
종래의 일반적인 빈피킹 박스는, 직육면체 형태로 형성되기 때문에 모서리 부분에 위치한 물체의 검출 및 피킹이 용이하지 않다.
본 발명의 실시 예에서처럼, 빈피킹 박스(100)가 하부로 갈수록 단면적이 작아지도록 형성되는 경우, 물체의 검출 및 피킹이 용이해질 수 있다. 예를 들어, 지지부(210)가 하강하면 빈피킹 박스(100)가 중력 방향으로 늘어지게 되고 이에 따라 물체(10)들이 한 군데로 모일 수 있다. 그리고, 지지부(210)가 다시 상승하면, 빈피킹 후보 물체들이 지지부(210) 상에 위치하게 되므로 빈피킹 대상 물체(10)의 검출 및 피킹을 위한 동작들이 용이하게 이루어질 수 있다.
또한, 자세 추정의 정확도를 위하여, 빈피킹 박스(100) 내에 존재하는 물체(10)들 중 일부 물체만이 지지부(210) 상에 위치할 수 있도록, 지지부(210)는 빈피킹 박스(100) 상단의 단면적 보다 좁게 형성될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 영상 획득부를 설명하기 위한 예시도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 영상 획득부는 시각 센서(310) 및 전면 조명(320)을 포함한다. 실시 예에 따라, 전면 조명(320)은 생략될 수 있다.
시각 센서(310)는, 빈피킹 후보 물체들을 촬영하여 촬영 영상을 획득할 수 있다. 시각 센서(310)는, 2D 또는 3D 센서일 수 있다. 시각 센서(310)는, 물체의 에지 정보 및 물체 외부의 실루엣을 정확하게 획득할 수 있는 고해상도 산업용 카메라일 수 있다.
전면 조명(320)은, 제어부의 제어 하에 온/오프 되거나, 운용자의 조작에 따라 온/오프 될 수 있다. 전면 조명(320)이 빈피킹 후보 물체로 광을 조사하는 경우 빈피킹 후보 물체의 에지 정보가 좀 더 용이하게 추출될 수 있다.
한편, 영상 획득부는, 물체의 표면 특성에 따른 광 반사 영향과 전면 조명(320)으로부터 조사되는 조명의 영향을 최소화 하도록 구성될 수 있다.
예를 들어, 시각 센서(310)의 렌즈 부위, 즉 시각 센서(310)로 광이 입사되는 부분에는 편광 필터가 형성될 수 있다. 편광 필터에 의하여 시각 센서(310)로 입사되는 광이 필터링됨으로써 광 반사로 인한 하이라이트가 제거될 수 있다. 따라서, 물체의 표면 특성에 따른 빛 반사 영향이 최소화될 수 있다.
또한, 예를 들어, 전면 조명(320)의 주변에는 광 확산을 위한 확산판이 형성될 수 있다. 확산판은, 전면 조명(320)으로부터 조사되는 광을 확산시켜, 전면 조명(320)으로부터 조사되는 광이 시각 센서(310)에 미치는 영향을 최소화할 수 있다.
도 4의 (a) 및 도 4의 (b)는 본 발명의 일 실시 예에 따른 빈피킹 박스를 설명하기 위한 예시도이다.
도 4의 (a)를 참조하면 빈피킹 박스(100)의 하부에 배면 조명(110)이 형성되어 있음을 알 수 있다.
시각 센서를 이용하여 물체를 검출하는 경우, 물체가 가지고 있는 고유의 표면 특징을 검출하여 물체의 위치 및 자세를 추정한다. 만약, 물체가 비닐과 같이 광을 굴절 또는 반사시키는 특성을 갖는 포장지에 쌓여있는 경우, 물체의 실루엣 및 에지 정보를 제대로 검출하기 어렵다.
배면 조명(110)은, 물체의 위치 및 자세 추정을 용이하게 하기 위하여 설치될 수 있다. 배면 조명(110)은, 제어부의 제어 하에 또는 운용자의 조작에 따라 온/오프 될 수 있다.
도 4의 (b)에 도시된 바와 같이, 배면 조명(110)은, 지지부(210) 상에 위치한 빈피킹 후보 물체들로 광을 조사함으로써, 빈피킹 후보 물체들의 윤곽이 잘 드러나도록 할 수 있다. 이에 따라, 빈피킹 후보 물체의 실루엣이 좀 더 정확하게 추출될 수 있다.
한편, 배면 조명(110)은, 지지부(210)의 단면적과 유사한 면적을 갖도록 형성될 수 있다.
도 5는 본 발명의 일 실시 예에 따른 빈피킹 방법을 설명하기 위한 흐름도이다. 실시 예에 따라, 도 5에 도시된 단계들 중 적어도 하나의 단계는 생략될 수 있다.
단계(501)에서, 지지부가 제 1 위치에 위치한 상태에서 빈피킹 후보 물체에 대한 촬영 영상이 획득될 수 있다. 빈피킹 후보 물체는, 빈피킹 박스 내에 존재하며 지지부 상에 위치한 물체일 수 있다. 빈피킹 후보 물체는, 다수일 수 있다. 촬영 영상의 획득은, 전면 조명의 온 상태에서 수행될 수 있다.
단계(503)에서, 촬영 영상으로부터 빈피킹 대상 물체를 검출하기 위한 동작이 이루어질 수 있으며, 빈피킹 대상 물체가 검출된 경우 단계(503)로 진행하고, 그렇지 않으면 단계(511)로 진행한다. 빈피킹 대상 물체는, 빈피킹 후보 물체들 중 빈피킹의 대상이 되는 물체일 수 있다. 빈피킹 대상 물체를 검출하기 위한 동작은 도 6을 참조하여 후술한다.
빈피킹 대상 물체가 검출되어 진행한 단계(505)에서, 빈피킹 대상 물체에 대한 빈피킹이 이루어질 수 있다.
한편, 빈피킹 대상 물체가 검출되지 않아 진행한 단계(511)에서, 지지부가 제 2 위치로 하강할 수 있고, 이에 따라 빈피킹 박스가 변형될 수 있다. 이에 따라, 빈피킹 박스 내에 존재하는 물체들이 뒤섞일 수 있다.
단계(513)에서, 빈피킹 박스가 다시 제 1 위치로 이동할 수 있고, 이에 따라 빈피킹 박스 내에 존재하는 물체들이 재정렬될 수 있다. 따라서, 지지부 상에 위치한 빈피킹 후보 물체들도 재정렬될 수 있다. 즉, 빈피킹 후보 물체들의 위치 및 자세가 변화할 수 있다.
단계(515)에서, 빈피킹 박스 내의 하부에 위치하는 배면 조명이 온 될 수 있다. 만약, 이미 배면 조명이 온 상태라면, 배면 조명의 온 상태가 계속하여 유지될 수 있다.
이후, 다시 단계(501)로 진행하여 빈피킹을 위한 일련의 과정들이 반복될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 빈피킹 대상 물체를 검출하는 방법을 설명하기 위한 흐름도이다. 실시 예에 따라, 도 6에 도시된 단계들 중 적어도 하나의 단계는 생략될 수 있다. 또한, 실시 예에 따라, 도 6에 도시된 단계들 중 적어도 하나의 단계는, 다른 단계의 이전에 수행되거나 이후에 수행될 수 있다.
단계(601)에서, 촬영 영상에 대한 전처리 과정이 수행될 수 있다. 촬영 영상에 대한 전처리 과정은, 예를 들어 촬영 영상에 대한 왜곡 보정 및 영상 필터링 과정을 포함할 수 있다. 촬영 영상에 대한 전처리 과정 시에 적응적 이진화 알고리즘(Adaptive Binarization Algorithm)이 적용되어 이진 영상이 생성될 수 있다.
단계(603) 및 단계(605)에서, 촬영 영상(전처리된 영상일 수 있다)으로터 빈피킹 후보 물체의 실루엣 및 에지 정보가 획득될 수 있다. 실루엣 및 에지 정보의 획득에는 종래 이용되는 일반적인 방법이 이용될 수 있다.
단계(607)에서, 빈피킹 대상 물체가 검출될 수 있다. 빈피킹 대상 물체가 검출된다는 것은, 빈피킹 대상 물체가 존재하는 물체 영역이 검출되는 것을 의미할 수 있다. 빈피킹 후보 물체가 다수인 경우, 물체의 특징 예를 들어, 실루엣 및 에지 정보가 가장 잘 나타난 빈피킹 후보 물체가 빈피킹 대상 물체로서 검출될 수 있다.
전술한 바와 같이, 촬영 영상은 전면 조명 및 배면 조명 중 적어도 하나의 온 상태에서 획득된 것일 수 있다. 촬영 영상이 전면 조명의 온 상태에서 획득된 것인 경우, 그렇지 않은 경우에 비하여 더 정확한 에지 정보가 획득될 수 있다. 또한, 촬영 영상이 배면 조명의 온 상태에서 획득된 것인 경우, 그렇지 않은 경우에 비하여 물체의 더 정확한 실루엣이 획득될 수 있다. 따라서, 촬영 영상이 전면 조명 및 배면 조명의 온 상태에서 획득된 것인 경우, 매우 정확한 빈피킹 대상 물체의 검출이 이루어질 수 있다.
단계(609)에서, 빈피킹 대상 물체의 위치 및 자세가 추정될 수 있다. 빈피킹 대상 물체의 위치 및 자세를 추정함에 있어, 이전 단계들에 획득된 실루엣 및 에지 정보가 이용될 수 있다.
일 실시 예에서, 빈피킹 대상 물체에 대한 변형 파라미터가 추출될 수 있고, 추출된 변형 파라미터를 기반으로 빈피킹 대상 물체의 위치 및 자세가 추정될 수 있다. 빈피킹 대상 물체의 위치는, 영상 획득부 또는 지지부를 기준으로 하는 3차원 좌표일 수 있다. 빈피킹 대상 물체의 자세는 물체의 3차원 회전각일 수 있다. 빈피킹 대상 물체의 자세는, 빈피킹 대상 물체의 어느 일면을 기준으로 하는 회전각을 포함할 수 있다.
일 실시 예에서, 빈피킹 대상 물체의 자세 추정은 학습을 통하여 이루어질 수 있다. 예를 들어, 여러 빈피킹 대상 물체들에 대한 촬영이 지속적으로 수행되면서 자세에 따른 특징 유형(실루엣 및 에지 정보 중 적어도 하나를 포함한다)이 세분화되어 저장될 수 있다. 따라서, 빈피킹 대상 물체의 특징 유형이 인식되는 경우 인식된 특징 유형에 대응하여 저장된 위치 및 자세가 현재 촬영된 빈피킹 대상 물체의 위치 및 자세인 것으로 추정할 수 있다.
단계(611)에서, 빈피킹 대상 물체에 대한 빈피킹이 수행될 수 있다.
이상에서 설명된 본 발명의 실시 예들은 임의의 다양한 방법으로 구현될 수 있다. 예를 들어, 본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 그 조합을 이용하여 구현될 수 있다. 소프트웨어로 구현되는 경우에, 다양한 운영 체제 또는 플랫폼을 이용하는 하나 이상의 프로세서 상에서 실행되는 소프트웨어로서 구현될 수 있다. 추가적으로, 그러한 소프트웨어는 다수의 적합한 프로그래밍 언어들 중에서 임의의 것을 사용하여 작성될 수 있고, 또한 프레임워크 또는 가상 머신에서 실행 가능한 기계어 코드 또는 중간 코드로 컴파일 될 수 있다.
또한, 본 발명의 실시 예들이 하나 이상의 프로세서 상에서 실행되는 경우 이상에서 논의된 본 발명의 다양한 실시 예들을 구현하는 방법을 수행하기 위한 하나 이상의 프로그램이 기록된 프로세서 판독 가능 매체(예를 들어, 메모리, 플로피 디스크, 하드 디스크, 콤팩트 디스크, 광학 디스크 또는 자기 테이프 등)로 구현될 수 있다.

Claims (18)

  1. 변형 가능한 빈피킹 박스(bin-picking);
    상기 빈피킹 박스의 하부를 지지하며, 상하 이동이 가능한 지지부; 및
    상기 빈피킹 박스 내에 존재하며 상기 지지부 상에 위치한 적어도 하나의 빈피킹 후보 물체 중 빈피킹 대상 물체가 검출되지 않는 경우, 상기 지지부의 이동을 제어하여 상기 빈피킹 박스를 변형시킴으로써 상기 빈피킹 후보 물체의 정렬 상태를 변화시키는 제어부
    를 포함하는 빈피킹 시스템.
  2. 제 1 항에 있어서, 상기 빈피킹 박스는,
    유연 재질로 형성되는
    빈피킹 시스템.
  3. 제 1 항에 있어서, 상기 빈피킹 박스는,
    상기 빈피킹 후보 물체들에 광을 조사하는 배면 조명을 포함하는
    빈피킹 시스템.
  4. 제 1 항에 있어서, 상기 빈피킹 박스는,
    하단으로 갈수록 단면적이 좁게 형성되는
    빈피킹 시스템.
  5. 제 1 항에 있어서, 상기 지지부는,
    상기 빈피킹 박스 상단의 단면적보다 좁게 형성되는
    빈피킹 시스템.
  6. 제 1 항에 있어서,
    상기 빈피킹 후보 물체를 촬영하여 촬영 영상을 획득하는 영상 획득부를 더 포함하며,
    상기 제어부는, 상기 영상 획득부로부터 수신되는 촬영 영상을 기반으로 상기 빈피킹 대상 물체를 검출하는
    빈피킹 시스템.
  7. 제 6 항에 있어서, 상기 제어부는,
    상기 영상 획득부로부터 수신되는 촬영 영상으로부터 상기 빈피킹 후보 물체에 대한 실루엣 및 에지 정보를 추출하고, 추출된 실루엣 및 에지 정보를 기반으로 상기 빈피킹 후보 물체 중 상기 빈피킹 대상 물체를 검출하는
    빈피킹 시스템.
  8. 제 7 항에 있어서, 상기 제어부는,
    상기 추출된 실루엣 및 에지 정보를 기반으로 상기 빈피킹 대상 물체의 위치 및 자세를 추정하는
    빈피킹 시스템.
  9. 제 8 항에 있어서,
    상기 추정된 위치 및 자세를 기반으로 해당 빈피킹 대상 물체에 대한 빈피킹을 수행하는 빈피킹부
    를 더 포함하는 빈피킹 시스템.
  10. 제 6 항에 있어서, 상기 제어부는,
    상기 빈피킹 후보 물체들 중 빈피킹 대상 물체가 검출되지 않는 경우, 상기 지지부를 제 1 위치에서 제 2 위치로 하강시킨 후, 상기 지지부를 제 2 위치에서 제 1 위치로 상승시키는
    빈피킹 시스템.
  11. 제 10 항에 있어서, 상기 제어부는,
    상기 지지부가 제 1 위치에 위치한 상태에서 촬영 영상을 획득하도록 상기 영상 획득부를 제어하는
    빈피킹 시스템.
  12. 제 6 항에 있어서, 상기 영상 획득부는,
    상기 빈피킹 후보 물체를 촬영하는 시각 센서; 및
    상기 빈피킹 후보 물체들에 광을 조사하는 전면 조명
    을 포함하는 빈피킹 시스템.
  13. 제 6 항에 있어서, 상기 영상 획득부는,
    상기 시각 센서로 입사되는 광을 필터링하는 편광 필터; 및
    상기 상단 조명으로부터 조사되는 광을 확산시키는 확산판 중 적어도 하나를 더 포함하는
    빈피킹 시스템.
  14. 하부가 지지부에 의하여 지지되며 상기 지지부의 상하 이동에 따라 변형 가능한 빈피킹 박스 내에 물체들이 수용된 상태에서, 상기 지지부 상에 적어도 하나의 빈피킹 후보 물체가 위치할 수 있도록 상기 지지부를 제 1 위치로 상승시키는 단계;
    상기 빈피킹 후보 물체들을 촬영하여 촬영 영상을 획득하고, 획득된 촬영 영상을 기반으로 상기 빈피킹 후보 물체들 중 빈피킹 대상 물체를 검출하는 단계; 및
    상기 빈피킹 대상 물체가 검출되지 않는 경우, 상기 지지부를 제 2 위치로 하강시킨 후 다시 제 1 위치로 상승시킴으로써 빈피킹 후보 물체를 재정렬하는 단계
    를 포함하는 빈피킹 수행 방법.
  15. 제 14 항에 있어서,
    상기 빈피킹 대상 물체가 검출되지 않는 경우, 상기 빈피킹 박스 내의 하부에 위치하는 배면 조명을 온 시키는 단계
    를 더 포함하는 빈피킹 수행 방법.
  16. 제 14 항에 있어서, 상기 빈피킹 대상 물체를 검출하는 단계는,
    상기 촬영 영상으로부터 상기 빈피킹 후보 물체에 대한 실루엣 및 에지 정보를 추출하고, 추출된 실루엣 및 에지 정보를 기반으로 상기 빈피킹 후보 물체들 중 상기 빈피킹 대상 물체를 검출하는 단계
    를 포함하는 빈피킹 수행 방법.
  17. 제 16 항에 있어서,
    상기 추출된 실루엣 및 에지 정보를 기반으로 상기 빈피킹 대상 물체의 위치 및 자세를 추정하는 단계
    를 더 포함하는 빈피킹 수행 방법.
  18. 제 17 항에 있어서,
    상기 추정된 위치 및 자세를 기반으로 해당 빈피킹 대상 물체에 대한 빈피킹을 수행하는 단계
    를 더 포함하는 빈피킹 수행 방법.
KR1020150041588A 2015-03-25 2015-03-25 빈피킹 시스템 및 빈피킹 수행 방법 KR20160114992A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150041588A KR20160114992A (ko) 2015-03-25 2015-03-25 빈피킹 시스템 및 빈피킹 수행 방법
US15/079,261 US10540567B2 (en) 2015-03-25 2016-03-24 Bin-picking system and method for bin-picking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150041588A KR20160114992A (ko) 2015-03-25 2015-03-25 빈피킹 시스템 및 빈피킹 수행 방법

Publications (1)

Publication Number Publication Date
KR20160114992A true KR20160114992A (ko) 2016-10-06

Family

ID=56975749

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150041588A KR20160114992A (ko) 2015-03-25 2015-03-25 빈피킹 시스템 및 빈피킹 수행 방법

Country Status (2)

Country Link
US (1) US10540567B2 (ko)
KR (1) KR20160114992A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102030040B1 (ko) * 2018-05-09 2019-10-08 한화정밀기계 주식회사 빈 피킹을 위한 빈 모델링 방법 및 그 장치
KR20220089463A (ko) 2020-12-21 2022-06-28 주식회사 노비텍 피킹 로봇을 위한 비젼 분석 장치
KR20230075746A (ko) 2021-11-23 2023-05-31 주식회사 노비텍 광환경 변화를 고려한 피킹 로봇용 비젼 분석 장치
KR20240081692A (ko) 2022-11-30 2024-06-10 주식회사 노비텍 비젼 기반 피킹 로봇을 위한 학습 데이터 생성 시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10133942B2 (en) 2016-07-05 2018-11-20 Nauto Global Limited System and method for automatic driver identification
EP3497405B1 (en) * 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
EP3535646A4 (en) 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
WO2018229550A1 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for adverse vehicle event determination
EP3759700B1 (en) 2018-02-27 2023-03-15 Nauto, Inc. Method for determining driving policy
WO2022015863A1 (en) 2020-07-14 2022-01-20 Vicarious Fpc, Inc. Method and system for monitoring a container fullness

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09292349A (ja) * 1996-04-25 1997-11-11 Bridgestone Sports Co Ltd ゴルフボールの外観検査方法及びその装置
US7272254B2 (en) * 2003-07-09 2007-09-18 General Electric Company System and method for analyzing and identifying flaws in a manufactured part
US20060262112A1 (en) * 2005-05-23 2006-11-23 Carnegie Mellon University System and method for three-dimensional shape generation from partial and incomplete views, and interactive design system using same
CN101122457B (zh) * 2006-08-09 2010-09-29 鸿富锦精密工业（深圳）有限公司 影像边界扫描系统及方法
JP5664152B2 (ja) * 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
KR20110095700A (ko) 2010-02-19 2011-08-25 현대중공업 주식회사 작업대상물 픽업을 위한 산업용 로봇 제어방법
US9451810B2 (en) * 2011-11-18 2016-09-27 Nike, Inc. Automated identification of shoe parts
KR101901961B1 (ko) 2011-12-21 2018-09-28 한국전자통신연구원 부품을 인식하기 위한 장치 및 그 방법
EP2958052B1 (en) * 2012-04-10 2020-10-07 Idex Asa Biometric sensing
WO2014012100A1 (en) * 2012-07-13 2014-01-16 Constitution Medical, Inc. Controlled dispensing of samples onto substrates
KR102056664B1 (ko) 2012-10-04 2019-12-17 한국전자통신연구원 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
EP3958241A1 (en) * 2013-03-12 2022-02-23 Arizona Board of Regents, a Body Corporate of the State of Arizona acting for and on behalf of Arizona State University Dendritic structures and tags
US9218660B2 (en) * 2014-03-13 2015-12-22 Southwest Research Institute Machine vision systems and methods for analysis and tracking of strain in deformable materials
CN105472233B (zh) * 2014-09-09 2019-01-18 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
US10108872B2 (en) * 2016-07-29 2018-10-23 Conduent Business Services, Llc Multi-angle product imaging device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102030040B1 (ko) * 2018-05-09 2019-10-08 한화정밀기계 주식회사 빈 피킹을 위한 빈 모델링 방법 및 그 장치
WO2019216474A1 (ko) * 2018-05-09 2019-11-14 한화정밀기계 주식회사 빈 피킹을 위한 빈 모델링 방법 및 그 장치
KR20220089463A (ko) 2020-12-21 2022-06-28 주식회사 노비텍 피킹 로봇을 위한 비젼 분석 장치
KR20230075746A (ko) 2021-11-23 2023-05-31 주식회사 노비텍 광환경 변화를 고려한 피킹 로봇용 비젼 분석 장치
KR20240081692A (ko) 2022-11-30 2024-06-10 주식회사 노비텍 비젼 기반 피킹 로봇을 위한 학습 데이터 생성 시스템

Also Published As

Publication number Publication date
US20160284078A1 (en) 2016-09-29
US10540567B2 (en) 2020-01-21

Similar Documents

Publication Publication Date Title
KR20160114992A (ko) 빈피킹 시스템 및 빈피킹 수행 방법
US11754392B2 (en) Distance determination of a sample plane in a microscope system
CN108475145B (zh) 图像识别装置、图像识别方法以及图像识别单元
US10192301B1 (en) Method and system for detecting line defects on surface of object
CN110941462B (zh) 自动学习产品操纵的系统和方法
JP2007254128A (ja) 物品移載装置
JP2011089981A (ja) 検査システム及び検査方法
EP3379333A3 (en) Detection apparatus, pattern forming apparatus, obtaining method, detection method, and article manufacturing method
JP5686012B2 (ja) 表面欠陥検査装置及び方法
CN111337516B (zh) 玻璃盖板检查装置
CN108414197B (zh) 一种面板点灯测试装置
US9977948B2 (en) Method for the localization of gripping points of objects
US20170069110A1 (en) Shape measuring method
CN104516098B (zh) 一种显微装置及成像方法
KR20170068071A (ko) 형상측정장치와 이를 이용한 형상측정방법
EP3605466B1 (en) Image processing method and image processing device
US9917996B2 (en) Image pickup device
CN104406986A (zh) 一种药瓶机器视觉检测系统
US20180045937A1 (en) Automated 3-d measurement
US12073506B2 (en) Methods, systems, and media for generating images of multiple sides of an object
EP3209007A1 (en) An image scanner and a component feeder comprising an image scanner
KR20240043743A (ko) 오브젝트에 심볼을 할당하기 위한 시스템들 및 방법들
JP2017138176A (ja) 三次元情報取得システム、三次元情報取得方法及びピッキングシステム
JP6460944B2 (ja) 被測定物の位置姿勢測定方法
JP2022070392A (ja) 画像認識方法、画像認識装置、検査方法、検査装置、プログラム、記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination