KR101822505B1 - 위치 정보 기반의 수확 장치 및 방법 - Google Patents

위치 정보 기반의 수확 장치 및 방법 Download PDF

Info

Publication number
KR101822505B1
KR101822505B1 KR1020170122893A KR20170122893A KR101822505B1 KR 101822505 B1 KR101822505 B1 KR 101822505B1 KR 1020170122893 A KR1020170122893 A KR 1020170122893A KR 20170122893 A KR20170122893 A KR 20170122893A KR 101822505 B1 KR101822505 B1 KR 101822505B1
Authority
KR
South Korea
Prior art keywords
image
target object
position information
end effector
unit
Prior art date
Application number
KR1020170122893A
Other languages
English (en)
Inventor
이대원
이봉기
화지호
Original Assignee
성균관대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교 산학협력단 filed Critical 성균관대학교 산학협력단
Priority to KR1020170122893A priority Critical patent/KR101822505B1/ko
Application granted granted Critical
Publication of KR101822505B1 publication Critical patent/KR101822505B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/24—Devices for picking apples or like fruit
    • A01D46/253—Portable motorised fruit pickers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • H04N13/0203—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 위치 정보 기반의 수확 장치 및 방법에 관한 것으로서, 대상 객체의 제1 영상 및 제2 영상을 획득하는 스테레오 영상 인식부, 스테레오 영상 인식부에 의해 획득된 제1 영상 및 제2 영상을 정합하여 대상 객체의 위치 정보를 획득하는 위치 정보 획득부, 대상 객체를 수확하는 엔드이펙터(End Effector)의 이동 제어를 위한, 대상 객체의 자세 영상을 획득하는 엔드이펙터 영상 인식부, 및 위치 정보 획득부에 의해 획득된 대상 객체의 위치 정보에 근거하여 엔드이펙터가 대상 객체의 수확 위치로 이동되도록 제어하고, 엔드이펙터 영상 인식부에 의해 획득되는 자세 영상에 근거하여 엔드이펙터가 대상 객체를 수확하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

위치 정보 기반의 수확 장치 및 방법{HAVERSTING APPARATUS BASED ON POSITION INFORMATION AND METHOD THEREOF}
본 발명은 위치 정보 기반의 수확 장치 및 방법에 관한 것으로서, 더욱 상세하게는 위치 정보를 기반으로 대상 객체를 수확하는 위치 정보 기반의 수확 장치 및 방법에 관한 것이다.
과일, 채소 등의 농작물 수확과 관련하여, 최근에는 작업자가 직접 수확하지 않고 농작물을 자동으로 수확할 수 있도록 하는 자동 수확 시스템이 연구되고 있으며, 특히 영상처리기술 및 로봇기술이 크게 발달함에 따라서 자동 수확 시스템은 보다 정교화되고 있다.
상술한 바와 같이 농작물을 자동으로 수확하기 위한 기술은 카메라 등을 이용하여 피수확물의 위치를 정확하게 파악하는 영상 처리 기술과, 매니퓰레이터(Manipulator) 및 엔드이펙터(End Effector)와 같은 수확 기계를 피수확물의 위치로 이동시켜 피수확물을 정확하게 수확하는 로봇 기술이 요구된다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2002-0037209호(2002.05.18. 공개)에 개시되어 있다.
본 발명의 목적은 피수확물의 위치를 정확하게 파악하고, 파악된 위치를 기반으로 엔드이펙터의 이동을 제어하여 피수확물에 대한 정확한 수확을 가능하게 하는 위치 정보 기반의 수확 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 위치 정보 기반의 수확 장치는 대상 객체의 제1 영상 및 제2 영상을 획득하는 스테레오 영상 인식부, 상기 스테레오 영상 인식부에 의해 획득된 제1 영상 및 제2 영상을 정합하여 상기 대상 객체의 위치 정보를 획득하는 위치 정보 획득부, 상기 대상 객체를 수확하는 엔드이펙터(End Effector)의 이동 제어를 위한, 상기 대상 객체의 자세 영상을 획득하는 엔드이펙터 영상 인식부, 및 상기 위치 정보 획득부에 의해 획득된 상기 대상 객체의 위치 정보에 근거하여 상기 엔드이펙터가 상기 대상 객체의 수확 위치로 이동되도록 제어하고, 상기 엔드이펙터 영상 인식부에 의해 획득되는 자세 영상에 근거하여 상기 엔드이펙터가 상기 대상 객체를 수확하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 위치 정보 획득부는, 스테레오 비전(Stereo Vision) 방식을 기반으로, 상기 제1 영상 및 상기 제2 영상의 특징점을 각각 추출하고, 상기 추출된 각 특징점을 기준으로 에피폴라 기하(Epipolar Geometry)를 이용하여 상기 제1 영상 및 상기 제2 영상을 정합하여 상기 대상 객체의 위치 정보를 획득하는 것을 특징으로 한다.
본 발명에 있어 상기 위치 정보 획득부는, SURF(Speeded-Up Robust Features) 알고리즘을 적용하는 방법, 및 상기 대상 객체에 광을 조사하는 방법 중 어느 하나의 방법을 이용하여 상기 특징점을 각각 추출하는 것을 특징으로 한다.
본 발명에 있어 상기 위치 정보 획득부는, 상기 제1 영상 및 상기 제2 영상의 각 에피폴라 선(Epipolar line)이 제1축에 평행하도록 상기 제1 영상 및 상기 제2 영상을 변환하여 상기 제1 영상 및 상기 제2 영상을 정합하는 것을 특징으로 한다.
본 발명에 있어 상기 위치 정보 획득부는, 상기 추출된 각 특징점을 이용하여 상기 제1 영상 및 상기 제2 영상 간의 기초행렬(Fundamental Matrix)를 계산하고, 상기 계산된 기초행렬을 이용하여 상기 제1 영상의 제1 에피폴라 선 및 제1 에피폴을 계산하고, 상기 제1 에피폴을 이용하여 상기 제1 에피폴라 선이 상기 제1축에 평행하도록 상기 제1 영상을 변환하는 제1 변환행렬을 계산하고, 상기 계산된 제1 변환행렬(Homegeneity Matrix)을 이용하여 상기 제2 영상이 상기 제1 영상과 정합되도록 상기 제2 영상을 변환하는 제2 변환행렬을 계산한 후, 상기 제1 변환행렬 및 상기 제2 변환행렬을 이용하여 상기 제1 영상 및 상기 제2 영상을 정합하는 것을 특징으로 한다.
본 발명에 있어 상기 위치 정보 획득부는, 상기 정합된 제1 영상 및 제2 영상에 대하여 삼각 측량 방법을 적용하여 상기 대상 객체의 위치 정보를 획득하는 것을 특징으로 한다.
본 발명에 있어 상기 위치 정보 획득부는, 상기 스테레오 영상 인식부의 내부 파라미터 행렬에 기초하여 상기 대상 객체의 3차원 공간 좌표를 획득하고, 미리 획득된 캘리브레이션 보드 영상을 이용하여 상기 3차원 공간 좌표에 대한 캘리브레이션을 수행하여 상기 대상 객체의 위치 정보를 획득하는 것을 특징으로 한다.
본 발명에 있어 상기 엔드이펙터는, 수직, 회전 및 수평의 3축을 갖는 실린더형의 매니퓰레이터(Manipulator)에 결합되어 그 이동이 제어되고, 상기 스테레오 영상 인식부 및 상기 엔드이펙터 영상 인식부는 상기 매니퓰레이터에 결합되어 그 이동이 제어되면서 상기 대상 객체의 제1 및 제2 영상과 자세 영상을 각각 획득하는 것을 특징으로 한다.
본 발명에 있어 상기 제어부는, 상기 대상 객체의 자세 영상을 통해 상기 대상 객체의 ROI(Region Of Interest)를 추출하여 상기 스테레오 영상 인식부가 상기 ROI의 중심을 향하도록 상기 매니퓰레이터의 이동을 제어한 후, 상기 스테레오 영상 인식부가 상기 ROI의 중심을 향하는 상태에서 상기 위치 정보 획득부를 통해 상기 대상 객체의 위치 정보를 획득하는 것을 특징으로 한다.
본 발명에 있어 상기 제어부는, 비주얼 서보(Visual Servo) 제어 방식을 기반으로, 상기 자세 영상을 통해 확인되는 상기 대상 객체의 자세에 근거하여 상기 매니퓰레이터의 3축 방향 이동을 제어함으로써 상기 엔드이펙터가 상기 대상 객체를 수확하도록 제어하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 위치 정보 기반의 수확 방법은 엔드이펙터 영상 인식부가, 대상 객체를 수확하는 엔드이펙터(End Effector)의 이동 제어를 위한, 상기 대상 객체의 자세 영상을 획득하는 단계, 제어부가, 상기 엔드이펙터 영상 인식부에 의해 획득된 자세 영상을 토대로 스테레오 영상 인식부가 상기 대상 객체를 향하도록 제어하는 단계, 상기 스테레오 영상 인식부가, 상기 대상 객체의 제1 영상 및 제2 영상을 획득하는 단계, 위치 정보 획득부가, 상기 스테레오 영상 인식부에 의해 획득된 제1 영상 및 제2 영상을 정합하여 상기 대상 객체의 위치 정보를 획득하는 단계, 상기 제어부가, 상기 위치 정보 획득부에 의해 획득된 상기 대상 객체의 위치 정보에 근거하여 상기 엔드이펙터가 상기 대상 객체의 수확 위치로 이동되도록 제어하는 단계, 및 상기 제어부가, 상기 엔드이펙터 영상 인식부에 의해 획득되는 자세 영상에 근거하여 상기 엔드이펙터가 상기 대상 객체를 수확하도록 제어하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 스테레오 비전 시스템을 통해 피수확물의 위치를 정확하게 파악하고, 파악된 피수확물의 위치를 토대로 비주얼 서보 제어 방식에 따라 피수확물을 수확함으로써, 보다 정교하고 안정적으로 피수확물을 수확할 수 있다.
도 1은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치를 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 스테레오 영상 인식부의 화각을 나타낸 예시도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 매니퓰레이터, 엔드이펙터, 스테레오 영상 인식부 및 엔드이펙터 영상 인식부의 설치 구조를 도시한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 매니퓰레이터의 구조를 설명하기 위한 예시도이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 매니퓰레이터의 3축 구조를 도시한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 대상 객체에 광을 조사하여 특징점을 추출하는 과정을 나타낸 예시도이다.
도 11은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 기초행렬을 계산하기 위해 사용되는 캘리브레이션 보드에 대한 스테레오 영상을 나타낸 예시도이다.
도 12는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 기초행렬을 계산하기 위해 사용되는 32쌍의 대응점을 나타낸 예시도이다.
도 13은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 LmedS(Least median of Squares), Normalized 8 points, 및 RANSAC(RANdom SAmple Consensus) 알고리즘을 사용하여 계산한 에피폴라 선을 나타낸 예시도이다.
도 14 및 도 15는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 스테레오 영상 인식부의 내부 파라미터 행렬을 계산하기 위해 사용되는 캘리브레이션 보드 영상을 도시한 예시도이다.
도 16은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 위치 정도 획득부가 획득한 3차원 공간 좌표를 나타낸 예시도이다.
도 17은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 엔드이펙터가 대상 객체의 수확 위치로 이동하는 과정을 설명하기 위한 예시도이다.
도 18 및 도 19는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 제어부가 엔드이펙터가 대상 객체를 수확하는 과정을 설명하기 위한 예시도이다.
도 20은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 방법을 설명하기 위한 흐름도이다.
도 21은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 방법에서 대상 객체의 위치 정보를 획득하는 과정을 구체적으로 설명하기 위한 흐름도이다.
도 22는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 방법에서 제1 영상 및 제2 영상을 정합하는 과정을 구체적으로 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 위치 정보 기반의 수확 장치 및 방법의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치를 설명하기 위한 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 스테레오 영상 인식부의 화각을 나타낸 예시도이며, 도 3 내지 도 5는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 매니퓰레이터, 엔드이펙터, 스테레오 영상 인식부 및 엔드이펙터 영상 인식부의 설치 구조를 도시한 예시도이고, 도 6은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 매니퓰레이터의 구조를 설명하기 위한 예시도이며, 도 7 내지 도 9는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 매니퓰레이터의 3축 구조를 도시한 예시도이고, 도 10은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 대상 객체에 광을 조사하여 특징점을 추출하는 과정을 나타낸 예시도이며, 도 11은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 기초행렬을 계산하기 위해 사용되는 캘리브레이션 보드에 대한 스테레오 영상을 나타낸 예시도이고, 도 12는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 기초행렬을 계산하기 위해 사용되는 32쌍의 대응점을 나타낸 예시도이며, 도 13은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 LmedS(Least median of Squares), Normalized 8 points, 및 RANSAC(RANdom SAmple Consensus) 알고리즘을 사용하여 계산한 에피폴라 선을 나타낸 예시도이고, 도 14 및 도 15는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 스테레오 영상 인식부의 내부 파라미터 행렬을 계산하기 위해 사용되는 캘리브레이션 보드 영상을 도시한 예시도이며, 도 16은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 위치 정도 획득부가 획득한 3차원 공간 좌표를 나타낸 예시도이고, 도 17은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 엔드이펙터가 대상 객체의 수확 위치로 이동하는 과정을 설명하기 위한 예시도이며, 도 18 및 도 19는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치에서 제어부가 엔드이펙터가 대상 객체를 수확하는 과정을 설명하기 위한 예시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 장치는 스테레오 영상 인식부(100), 엔드이펙터 영상 인식부(200), 위치 정보 획득부(300) 및 제어부(400)를 포함할 수 있다.
이하에서 설명하는 실시예에서 엔드이펙터가 수확하는 대상 객체는 그 이해를 돕기 위해 파프리카를 그 예시로서 설명하지만 이에 한정되지 않는다.
스테레오 영상 인식부(100)는 대상 객체의 제1 영상 및 제2 영상을 획득하여 후술할 위치 정보 획득부(300)로 전달할 수 있다. 스테레오 영상 인식부(100)는 제1 영상 및 제2 영상을 각각 획득하기 위해 제1 카메라(110) 및 제2 카메라(130)를 포함하는 스테레오 카메라로 구현될 수 있으며, 제1 카메라(110) 및 제2 카메라(130)는 소정 간격 이격되어 상호 평행하게 배치될 수 있다. 스테레오 영상 인식부(100)는 제1 카메라(110) 및 제2 카메라(130)를 통해 대상 객체의 제1 영상 및 제2 영상을 각각 획득할 수 있다.
스테레오 영상 인식부(100)에 포함되는 제1 카메라(110) 및 제2 카메라(130)에 대하여 구체적으로 설명하면, 제1 카메라(110) 및 제2 카메라(130)는 본 실시예에 따른 수확 로봇의 작업 거리(WD: Working Distance)에 의해 요구되는 화각(FOV: Feild Of View), 제1 카메라(110) 및 제2 카메라(130) 간의 이격 거리, 및 대상 객체의 크기에 따라 그 렌즈의 크기가 결정될 수 있다.
도 2에 도시된 예시로서 설명하면, 도 2는 8mm 렌즈가 1/3" CCD 센서에 사용되었을 때 작업 거리(WD: Working Distance)에 따른 렌즈의 화각(FOV: Feild Of View)을 도시하고 있다. 수확 로봇의 작업 거리가 350mm ~ 600mm이고, 제1 카메라(110) 및 제2 카메라(130) 간의 이격 거리가 70mm이며, 대상 객체인 파프리카의 크기가 국내 파프리카의 외형 특성에 따라 그 직경이 최대 90mm, 평균 80.92±1.08mm인 것으로 가정하면, 작업거리 350mm 지점에서 제1 카메라(110) 및 제2 카메라(130)의 화각 중첩 범위는 140mm로서, 상기한 크기를 갖는 파프리카에 대한 제1 영상 및 제2 영상을 획득하기에 충분함을 확인할 수 있다.
엔드이펙터 영상 인식부(200)는 대상 객체를 수확하는 엔드이펙터(EF: End Effector)의 이동 제어를 위한, 대상 객체의 자세 영상을 획득하여 후술할 제어부(400)로 전달할 수 있다. 엔드이펙터 영상 인식부(200)는 카메라와 같은 영상 인식 센서를 통해 대상 객체의 자세 영상을 획득할 수 있다.
본 실시예에서 스테레오 영상 인식부(100)는 제1 카메라(110) 및 제2 카메라(130)의 중심과 엔드이펙터(EF)의 중심이 일치하는 위치에 설치되어 각각 제1 영상 및 제2 영상을 획득할 수 있고, 엔드이펙터 영상 인식부(200)는 엔드이펙터(EF)에 설치되어 대상 객체의 자세 영상을 획득할 수 있다. 한편, 엔드이펙터(EF)는 매니퓰레이터(MP: Manipulator)에 결합되어 제어부(400)가 매니퓰레이터(MP)의 이동을 제어함에 따라 매니퓰레이터(MP)와 함께 그 이동이 제어되면서 대상 객체를 수확할 수 있으며, 그 일 단부에는 파프리카의 과병이 위치하게 되는 절단부가 형성되어 공압 실린더를 통해 움직이는 칼날에 의해 파프리카가 수확되는 구조로 구성될 수 있다. 스테레오 영상 인식부(100) 및 엔드이펙터 영상 인식부(200)도 매니퓰레이터(MP)에 결합되어 매니퓰레이터(MP)와 함께 그 이동이 제어되면서 제1 및 제2 영상과 자세 영상을 각각 획득할 수 있다. 도 3 내지 도 5는 매니퓰레이터(MP), 엔드이펙터(EF), 스테레오 영상 인식부(100) 및 엔드이펙터 영상 인식부(200)의 설치 구조의 예시를 도시하고 있다.
한편, 본 실시예에서 매니퓰레이터(MP)는 도 6에 도시된 것과 같이 좁은 공간에서 대상 객체를 수확하기 적합하도록 수직, 회전 및 수평의 3축을 갖는 실린더형 매니퓰레이터(MP) 구조를 채용한다. 이에 따라, 매니퓰레이터(MP)는 수직 제어 변수인 L1, 회전 제어 변수인 θ2, 및 수평 제어 변수인 L3를 제어 변수로 하여 제어부(400)에 의해 그 이동이 제어될 수 있다. 도 7 내지 도 9는 각각 매니퓰레이터(MP)의 수직축, 회전축 및 수평축의 구조의 예시를 도시하고 있다.
위치 정보 획득부(300)는 스테레오 영상 인식부(100)에 의해 획득된 제1 영상 및 제2 영상을 정합하여 대상 객체의 위치 정보를 획득할 수 있다. 본 실시예에서 스테레오 영상 인식부(100)는 스테레오 비전(Stereo Vision) 방식을 기반으로 제1 영상 및 제2 영상을 정합할 수 있으며, 구체적으로 제1 영상 및 제2 영상의 특징점을 각각 추출하고, 추출된 각 특징점을 기준으로 에피폴라 기하(Epipolar Geometry)를 이용하여 제1 영상 및 제2 영상을 정합하여 대상 객체의 위치 정보를 획득할 수 있다.
위치 정보 획득부(300)는 제1 영상 및 제2 영상의 정합을 위해, 우선 제1 영상 및 제2 영상의 특징점을 각각 추출할 수 있다. 위치 정보 획득부(300)는 SURF(Speeded-Up Robust Features) 알고리즘을 적용하는 방법, 및 대상 객체에 광원을 조사하는 방법 중 어느 하나의 방법을 이용하여 특징점을 각각 추출할 수 있다. 위치 정보 획득부(300)는 특정점이 추출된 영역에 대해 마스크를 적용하여 정합 오차의 합이 최소가 되는 마스크의 중심을 제1 영상 및 제2 영상의 대응점으로 결정할 수 있다.
특징점을 추출하는 방법에 대하여 구체적으로 설명하면, SURF 알고리즘은 가우시안 필터를 적용한 후 영상의 2차 미분을 수행하고 지역 최대값이 되는 점을 특징점으로 추출하는 알고리즘으로서, 영상의 2차 미분 값으로 이루어진 Hessian 행렬을 이용하여 함수의 지역 곡률을 측정하고 해당 곡률을 크기와 방향의 성분으로 나타낸다. 위치 정보 획득부(300)가 SURF 알고리즘을 적용하여 특징점을 추출하는 경우, 명도 영상에서는 파프리카 내부에 존재하는 특징을 구하기 어렵기 때문에 색상 및 채도 영상에 대해서도 특징점을 추출함이 바람직할 수 있다. 이를 위하여 색상 및 채도값이 0~255의 크기로 정규화되어 위치 정보 획득부(300)에 미리 설정되어 있을 수 있으며, 또한 파프리카 주변 영역의 잎, 줄기 등에 특징점이 상대적으로 많기 때문에 파프리카 영역만을 추출한 후 특징점 추출이 수행되도록 SURF 알고리즘이 미리 설계되어 있을 수 있다.
한편, 파프리카 영역 내의 특징점 빈도수가 낮은 점을 고려하여, 본 실시예에서는 도 10에 도시된 것과 같이 소정의 광원부(500)를 통해 대상 객체에 광원을 조사하고, 파프리카에 조사된 광을 특징점으로 추출하는 방법을 채용할 수 있다. 광원부(500)는 직진성이 있는 레이저 광원을 사용할 수 있고, 파프리카 영역에서 그 특징점 추출이 용이하도록 특정 색(예: 녹색)의 레이저 광원을 사용할 수 있으며, 제1 영상 및 제2 영상의 정합 오차 발생 시 보정을 위해서 복수 개(예: 3개)의 레이저 광원을 포함할 수 있다. 광원부(500)는 도 3에 도시된 것과 같이 스테레오 영상 인식부(100)의 제1 카메라(110) 및 제2 카메라(130) 사이에 어레이 형태로 배열되는 복수 개의 레이저 광원을 통해 대상 객체에 광을 조사할 수 있다.
제1 영상 및 제2 영상의 특징점이 추출된 경우, 위치 정보 획득부(300)는 추출된 각 특징점을 기준으로 에피폴라 기하(Epipolar Geometry)를 이용하여 제1 영상 및 제2 영상을 정합할 수 있다. 이때, 위치 정보 획득부(300)는 제1 영상 및 제2 영상의 각 에피폴라 선(Epipolar line)이 제1축에 평행하도록 제1 영상 및 제2 영상을 변환하여 제1 영상 및 제2 영상을 정합할 수 있으며, 상기 제1축은 x축이 될 수 있다.
위치 정보 획득부(300)가 제1 영상 및 제2 영상을 정합하는 과정을 구체적으로 설명하면, 먼저 위치 정보 획득부(300)는 추출된 각 특징점을 이용하여 제1 영상 및 제2 영상 간의 기초행렬(Fundamental Matrix)를 계산할 수 있다. 기초행렬을 계산하는 실시예로서, 250mm ~ 600mm의 범위에서 50mm 간격으로 설정된 캘리브레이션 보드에 대한 8쌍의 스테레오 영상을 미리 확보해 두고(도 11은 450mm 및 500mm의 캘리브레이션 보드에 대한 스테레오 영상을 도시하고 있다), 8쌍의 스테레오 영상에서 각각 4쌍식 대응점을 추출하여 마련된 총 32쌍의 대응점(도 12)을 이용하여 기초행렬을 계산할 수 있다. 위치 정보 획득부(300)는 LmedS(Least median of Squares), Normalized 8 points, 및 RANSAC(RANdom SAmple Consensus) 알고리즘을 사용하여 기초행렬을 계산할 수 있으며, 각 알고리즘을 이용하여 기초행렬을 각각 계산한 후, 계산된 기초행렬을 이용하여 에피폴라 선을 구할 수 있으며(도 13은 각 알고리즘에 따른 에피폴라 선을 도시하고 있다), 각 에피폴라 선과 대응점 간의 거리를 구하고 오차를 계산하여 오차가 최소가 되는 기초행렬을 최종적인 기초행렬로 결정할 수 있다.
기초행렬이 계산되면, 위치 정보 획득부(300)는 계산된 기초행렬을 이용하여 제1 영상의 제1 에피폴라 선 및 제1 에피폴을 계산할 수 있다. 제1 영상의 제1 에피폴라 선 및 제1 에피폴은 각각 하기 수학식 1 및 2에 의해 계산될 수 있다.
Figure 112017092990810-pat00001
Figure 112017092990810-pat00002
수학식 1 및 2에서 l'는 제1 에피폴라선, F는 기초행렬, x는 대응점, e'는 제1 에피폴을 의미한다.
위치 정보 획득부(300)는 계산된 제1 에피폴을 이용하여 제1 에피폴라 선이 제1축(x축)에 평행하도록 제1 영상을 변환하는 제1 변환행렬을 계산할 수 있으며, 즉 제1 에피폴을 무한대의 위치(∞,∞)로 이동시키는 투영 변환을 수행하는 제1 변환행렬을 계산할 수 있다. 제1 에피폴의 좌표가 ex'(-2.387320360446864e+003, 3.887696117114289e+002)로 계산된 예시로서 설명하면, 제1 변환행렬은 하기 수학식 3에 의해 계산될 수 있다.
Figure 112017092990810-pat00003
수학식 3에서 H'는 제1 변환행렬을, α는 제1 에피폴라 선의 회전각도(즉, 제1 에피폴라 선이 x축과 평행하도록 회전해야 하는 각도(radian))를 의미한다.
제1 변환행렬이 계산되면, 위치 정보 획득부(300)는 계산된 제1 변환행렬(Homegeneity Matrix)을 이용하여 제2 영상이 제1 영상과 정합되도록 제2 영상을 변환하는 제2 변환행렬을 계산할 수 있다. 제2 변환행렬은 하기 수학식 4를 최소화하는 조건에 따라 계산될 수 있다.
Figure 112017092990810-pat00004
여기서, H'는 제1 변환행렬을, H는 제2 변환행렬을 의미하고, 대응점 xi, xi'는 기초행렬 계산에 사용된 대응점 쌍들을 사용할 수 있다.
위치 정보 획득부(300)는 제1 변환행렬 및 제2 변환행렬을 이용하여 제1 영상 및 제2 영상의 각 에피폴라 선이 x축에 평행하도록 제1 영상 및 제2 영상을 변환함으로써 제1 영상 및 제2 영상을 정합할 수 있다.
제1 영상 및 제2 영상 간의 정합이 완료되면, 위치 정보 획득부(300)는 정합 결과를 토대로 대상 객체의 위치 정보를 획득할 수 있다. 이때, 위치 정보 획득부(300)는 정합된 제1 영상 및 제2 영상에 대하여 삼각 측량 방법을 적용하여 대상 객체의 위치 정보를 획득할 수 있다. 구체적으로, 위치 정보 획득부(300)는 스테레오 영상 인식부(100)의 내부 파라미터 행렬에 기초하여 대상 객체의 3차원 공간 좌표를 획득하고, 미리 획득된 캘리브레이션 보드 영상을 이용하여 3차원 공간 좌표에 대한 캘리브레이션을 수행하여 대상 객체의 위치 정보를 획득할 수 있다.
보다 구체적으로, 위치 정보 획득부(300)는 미리 획득되어 있는 캘리브레이션 보드에 대한 영상(도 14)을 이용하여 스테레오 영상 인식부(100)의 제1 카메라(110) 및 제2 카메라(130)의 내부 파라미터 행렬을 각각 계산할 수 있다. 위치 정보 획득부(300)는 제1 카메라(110) 및 제2 카메라(130)의 각 내부 파라미터 행렬을 이용하여 필수행렬(Essential Matrix)을 계산하고 특이값 분해(SVD: Singular Value Decomposition)하여 회전행렬(R) 및 이동행렬(t)을 구한 후, 제1 카메라(110) 및 제2 카메라(130)의 카메라 행렬(P, P')을 계산할 수 있다. 계산된 카메라 행렬과, 제1 영상 및 제2 영상의 대응점을 이용하여 대상 객체의 3차원 공간 좌표를 획득할 수 있다. 획득된 3차원 공간 좌표는 단위가 없기 때문에, 미리 획득된 캘리브레이션 보드 영상을 이용하여 3차원 공간 좌표에 대한 캘리브레이션을 수행하여 대상 객체의 위치 정보를 획득할 수 있다. 캘리브레이션 보드 영상은 250mm ~ 700mm까지 50mm 간격으로 설정된 10쌍의 캘리브레이션 보드에 대한 영상을 사용할 수 있다. 도 15는 250mm 캘리브레이션 보드 영상을 도시하고 있으며, 두 개의 삼각형으로 표시된 점이 캘리브레이션 보드의 중심으로 설정된 점으로서, 해당 점의 영상 좌표는 (668, 425)로 실제 영상의 중심 (644, 482)와 차이가 있기 때문에 소프트웨어적인 보정이 필요할 수 있다. 도 16은 도 15의 우측 하단 출력 상태를 확대한 것으로서, 3차원 공간 좌표 (-0.6488, 0.2258, -4.7061)가 출력되는 것을 확인할 수 있다. 획득된 3차원 공간 좌표는 단위가 없어 캘리브레이션 과정이 필요하며, 해당 좌표는 250mm 캘리브레이션 보드 영상을 사용하였을 때 (0, 0, 250)의 3차원 공간 좌표로 볼 수 있다. 이러한 과정을 각 거리에서 중심을 기준으로 9개점을 추출하여 수행할 수 있으며, 각 점은 캘리브레이션 보드의 3 x 3 격자로 실제 크기는 30mm x 30mm이다. Z축 방향의 캘리브레이션을 우선 수행하고 그 수행 결과를 기반으로 X축, Y축 방향의 캘리브레이션을 수행할 수 있으며, 각 거리별로 X, Y에 대하여 캘리브레이션을 수행하고 해당 회귀식의 기울기와 절편을 거리에 대한 상관 관계를 구하는 방식을 통해 3차원 공간 좌표의 캘리브레이션을 수행할 수 있다.
위치 정보 획득부(300)에 의해 대상 객체의 위치 정보가 획득되면, 제어부(400)는 획득된 대상 객체의 위치 정보에 근거하여 엔드이펙터(EF)가 대상 객체의 수확 위치로 이동되도록 제어하고, 엔드이펙터 영상 인식부(200)에 의해 획득되는 자세 영상에 근거하여 엔드이펙터(EF)가 대상 객체를 수확하도록 제어할 수 있다.
이때, 제어부(400)는 대상 객체의 위치 정보에 근거하여 엔드이펙터(EF)가 대상 객체의 수확 위치로 이동되도록 제어하기 전에, 먼저 대상 객체의 자세 영상을 통해 대상 객체의 ROI(Region Of Interest)를 추출하여 스테레오 영상 인식부(100)가 ROI의 중심을 향하도록 매니퓰레이터(MP)의 이동을 제어할 수 있다. 이는 스테레오 영상 인식부(100)가 제1 카메라(110) 및 제2 카메라(130)를 통해 대상 객체의 제1 영상 및 제2 영상을 모두 획득할 수 있도록 함과 동시에, 광원부(500)에 의해 대상 객체에 광이 조사될 수 있도록 하기 위한 것이다. 대상 객체의 ROI는 대상 객체의 다양한 부분으로 설계될 수 있으며, 이를 테면 대상 객체의 하단 중심이 될 수 있다.
제어부(400)는 스테레오 영상 인식부(100)가 대상 객체의 ROI의 중심을 향하는 상태에서 위치 정보 획득부(300)를 통해 대상 객체의 위치 정보를 획득할 수 있으며, 획득된 대상 객체의 위치 정보에 근거하여 엔드이펙터(EF)가 대상 객체의 수확 위치로 이동되도록 매니퓰레이터(MP)의 이동을 제어할 수 있다. 이때, 도 17에 도시된 것과 같이 제어부(400)는 대상 객체의 위치 정보에 근거하여 매니퓰레이터(MP)의 수평 방향 이동을 제어하여 엔드이펙터(EF)가 대상 객체의 하단에 위치하도록 제어할 수 있다.
제어부(400)는 엔드이펙터 영상 인식부(200)에 의해 획득되는 자세 영상에 근거하여 엔드이펙터(EF)가 대상 객체를 수확하도록 매니퓰레이터(MP)의 이동을 제어할 수 있다. 이때, 제어부(400)는 비주얼 서보(Visual Servo) 제어 방식을 기반으로, 자세 영상을 통해 확인되는 대상 객체의 자세에 근거하여 매니퓰레이터(MP)의 3축 방향 이동을 제어함으로써 엔드이펙터(EF)가 대상 객체를 수확하도록 제어할 수 있다.
도 18에 도시된 예시로서 설명하면, 제어부(400)는 엔드이펙터(EF) 및 파프리카의 각 중심을 일치시키면서 파프리카가 자세 영상에 나타나지 않을 때까지 매니퓰레이터(MP)의 수직축을 상승시킴으로써 파프리카의 과병 부위가 엔드이펙터(EF)의 절단부에 위치되도록 할 수 있다. 그리고, 자세 영상에 파프리카가 나타나지 않을 경우, 매니퓰레이터(MP)의 수평축을 제어하여(당겨) 엔드이펙터(EF)가 파프리카를 당기도록 제어할 수 있다. 파프리카의 과병은 주줄기 또는 가지에 고정되어 있기 때문에 수평 방향으로 이동시키면 과병을 중심으로 회전하게 되며, 이 과정에서 파프리카가 회전하는 만큼 수직 방향으로 엔드이펙터(EF)를 이동시키면 절단부에 과병을 위치시킬 수 있다. 이때, 제어부(400)는 회전축을 이용하여 과병을 엔드이펙터(EF)의 중심에 유지되도록 제어할 수 있다. 도 19는 상기한 일련의 과정의 예시를 도시하고 있다.
도 20은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 방법을 설명하기 위한 흐름도이고, 도 21은 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 방법에서 대상 객체의 위치 정보를 획득하는 과정을 구체적으로 설명하기 위한 흐름도이며, 도 22는 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 방법에서 제1 영상 및 제2 영상을 정합하는 과정을 구체적으로 설명하기 위한 흐름도이다.
도 20을 참조하여 본 발명의 일 실시예에 따른 위치 정보 기반의 수확 방법을 설명하면, 먼저 엔드이펙터 영상 인식부(200)는 대상 객체를 수확하는 엔드이펙터(End Effector)의 이동 제어를 위한, 대상 객체의 자세 영상을 획득한다(S100). S100 단계에서, 엔드이펙터 영상 인식부(200)는 대상 객체의 자세 영상을 통해 대상 객체의 ROI를 추출할 수 있으며, ROI는 대상 객체의 하단 중심이 될 수 있다.
이어서, 제어부(400)는 엔드이펙터 영상 인식부(200)에 의해 획득된 자세 영상을 토대로 스테레오 영상 인식부(100)가 대상 객체를 향하도록 제어한다(S200). S200 단계에서 제어부(400)는 스테레오 영상 인식부(100)가 ROI의 중심을 향하도록 매니퓰레이터(MP)의 이동을 제어할 수 있으며, 이는 스테레오 영상 인식부(100)가 제1 카메라(110) 및 제2 카메라(130)를 통해 대상 객체의 제1 영상 및 제2 영상을 모두 획득할 수 있도록 함과 동시에, 광원부(500)에 의해 대상 객체에 광이 조사될 수 있도록 하기 위한 것이다.
이어서, 스테레오 영상 인식부(100)는 대상 객체의 제1 영상 및 제2 영상을 획득한다(S300).
이어서, 위치 정보 획득부(300)는 스테레오 영상 인식부(100)에 의해 획득된 제1 영상 및 제2 영상을 정합하여 상기 대상 객체의 위치 정보를 획득한다(S400).
도 21을 참조하여 S400 단계를 구체적으로 설명하면, 위치 정보 획득부(300)는 스테레오 비전(Stereo Vision) 방식을 기반으로, 제1 영상 및 제2 영상의 특징점을 각각 추출하고(S410), 추출된 각 특징점을 기준으로 에피폴라 기하(Epipolar Geometry)를 이용하여 제1 영상 및 제2 영상을 정합하여(S430) 그 정합 결과를 토대로 대상 객체의 위치 정보를 획득한다(S450).
S410 단계에서, 위치 정보 획득부(300)는 SURF(Speeded-Up Robust Features) 알고리즘을 적용하는 방법, 및 대상 객체에 광을 조사하는 방법 중 어느 하나의 방법을 이용하여 특징점을 각각 추출할 수 있다.
그리고 S430 단계에서, 위치 정보 획득부(300)는 제1 영상 및 제2 영상의 각 에피폴라 선(Epipolar line)이 제1축에 평행하도록 제1 영상 및 제2 영상을 변환하여 제1 영상 및 제2 영상을 정합할 수 있다.
도 22를 참조하여 S430 단계를 구체적으로 설명하면, S410 단계에서 추출된 각 특징점을 이용하여 제1 영상 및 제2 영상 간의 기초행렬(Fundamental Matrix)을 계산하고(S431), 계산된 기초행렬을 이용하여 제1 영상의 제1 에피폴라 선 및 제1 에피폴을 계산하고(S433), 제1 에피폴을 이용하여 제1 에피폴라 선이 제1축에 평행하도록 제1 영상을 변환하는 제1 변환행렬을 계산하고(S435), 계산된 제1 변환행렬(Homegeneity Matrix)을 이용하여 제2 영상이 제1 영상과 정합되도록 제2 영상을 변환하는 제2 변환행렬을 계산한 후(S437), 제1 변환행렬 및 제2 변환행렬을 이용하여 제1 영상 및 제2 영상을 정합할 수 있다(S439).
다음으로, 위치 정보 획득부(300)는 S430 단계의 정합 결과를 토대로 대상 객체의 위치 정보를 획득한다(S450). S450 단계에서, 위치 정보 획득부(300)는 정합된 제1 영상 및 제2 영상에 대하여 삼각 측량 방법을 적용하여 대상 객체의 위치 정보를 획득할 수 있으며, 구체적으로 스테레오 영상 인식부(100)의 내부 파라미터 행렬에 기초하여 대상 객체의 3차원 공간 좌표를 획득하고, 미리 획득된 캘리브레이션 보드 영상을 이용하여 3차원 공간 좌표에 대한 캘리브레이션을 수행하여 대상 객체의 위치 정보를 획득할 수 있다.
이어서, 제어부(400)는 S400 단계에서 획득된 대상 객체의 위치 정보에 근거하여 엔드이펙터(EF)가 대상 객체의 수확 위치로 이동되도록 매니퓰레이터(MP)의 이동을 제어한다(S500).
이어서, 제어부(400)는 엔드이펙터 영상 인식부(200)에 의해 획득되는 자세 영상에 근거하여 엔드이펙터(EF)가 대상 객체를 수확하도록 제어한다(S600). S600 단계에서, 제어부(400)는 비주얼 서보(Visual Servo) 제어 방식을 기반으로, 자세 영상을 통해 확인되는 대상 객체의 자세에 근거하여 매니퓰레이터(MP)의 3축 방향 이동을 제어함으로써 엔드이펙터(EF)가 대상 객체를 수확하도록 제어한다.
이와 같이 본 발명은 스테레오 비전 시스템을 통해 피수확물의 위치를 정확하게 파악하고, 파악된 피수확물의 위치를 토대로 비주얼 서보 제어 방식에 따라 피수확물을 수확함으로써, 보다 정교하고 안정적으로 피수확물을 수확할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 스테레오 영상 인식부
110: 제1 카메라
130: 제2 카메라
200: 엔드이펙터 영상 인식부
300: 위치 정보 획득부
400: 제어부
500: 광원부
EF: 엔드이펙터
MP: 매니퓰레이터

Claims (20)

  1. 대상 객체의 제1 영상 및 제2 영상을 획득하는 스테레오 영상 인식부;
    상기 스테레오 영상 인식부에 의해 획득된 제1 영상 및 제2 영상을 정합하여 상기 대상 객체의 위치 정보를 획득하는 위치 정보 획득부;
    상기 대상 객체를 수확하는 엔드이펙터(End Effector)의 이동 제어를 위한, 상기 대상 객체의 자세 영상을 획득하는 엔드이펙터 영상 인식부; 및
    상기 위치 정보 획득부에 의해 획득된 상기 대상 객체의 위치 정보에 근거하여 상기 엔드이펙터가 상기 대상 객체의 수확 위치로 이동되도록 제어하고, 상기 엔드이펙터 영상 인식부에 의해 획득되는 자세 영상에 근거하여 상기 엔드이펙터가 상기 대상 객체를 수확하도록 제어하는 제어부;
    를 포함하고,
    상기 위치 정보 획득부는, 스테레오 비전(Stereo Vision) 방식을 기반으로, 상기 제1 영상 및 상기 제2 영상의 특징점을 각각 추출하고, 상기 추출된 각 특징점을 기준으로 에피폴라 기하(Epipolar Geometry)를 이용하여 상기 제1 영상 및 상기 제2 영상을 정합하여 상기 대상 객체의 위치 정보를 획득하고,
    상기 위치 정보 획득부는, 상기 정합된 제1 영상 및 제2 영상에 대하여 삼각 측량 방법을 적용하여 상기 대상 객체의 위치 정보를 획득하고,
    상기 위치 정보 획득부는, 상기 스테레오 영상 인식부의 내부 파라미터 행렬에 기초하여 상기 대상 객체의 3차원 공간 좌표를 획득하고, 미리 획득된 캘리브레이션 보드 영상을 이용하여 상기 3차원 공간 좌표에 대한 캘리브레이션을 수행하여 상기 대상 객체의 위치 정보를 획득하는 것을 특징으로 하는 위치 정보 기반의 수확 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 위치 정보 획득부는, SURF(Speeded-Up Robust Features) 알고리즘을 적용하는 방법, 및 상기 대상 객체에 광을 조사하는 방법 중 어느 하나의 방법을 이용하여 상기 특징점을 각각 추출하는 것을 특징으로 하는 위치 정보 기반의 수확 장치.
  4. 제1항에 있어서,
    상기 위치 정보 획득부는, 상기 제1 영상 및 상기 제2 영상의 각 에피폴라 선(Epipolar line)이 제1축에 평행하도록 상기 제1 영상 및 상기 제2 영상을 변환하여 상기 제1 영상 및 상기 제2 영상을 정합하는 것을 특징으로 하는 위치 정보 기반의 수확 장치.
  5. 제4항에 있어서,
    상기 위치 정보 획득부는, 상기 추출된 각 특징점을 이용하여 상기 제1 영상 및 상기 제2 영상 간의 기초행렬(Fundamental Matrix)를 계산하고, 상기 계산된 기초행렬을 이용하여 상기 제1 영상의 제1 에피폴라 선 및 제1 에피폴을 계산하고, 상기 제1 에피폴을 이용하여 상기 제1 에피폴라 선이 상기 제1축에 평행하도록 상기 제1 영상을 변환하는 제1 변환행렬을 계산하고, 상기 계산된 제1 변환행렬(Homegeneity Matrix)을 이용하여 상기 제2 영상이 상기 제1 영상과 정합되도록 상기 제2 영상을 변환하는 제2 변환행렬을 계산한 후, 상기 제1 변환행렬 및 상기 제2 변환행렬을 이용하여 상기 제1 영상 및 상기 제2 영상을 정합하는 것을 특징으로 하는 위치 정보 기반의 수확 장치.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 엔드이펙터는, 수직, 회전 및 수평의 3축을 갖는 실린더형의 매니퓰레이터(Manipulator)에 결합되어 그 이동이 제어되고,
    상기 스테레오 영상 인식부 및 상기 엔드이펙터 영상 인식부는 상기 매니퓰레이터에 결합되어 그 이동이 제어되면서 상기 대상 객체의 제1 및 제2 영상과 자세 영상을 각각 획득하는 것을 특징으로 하는 위치 정보 기반의 수확 장치.
  9. 제8항에 있어서,
    상기 제어부는, 상기 대상 객체의 자세 영상을 통해 상기 대상 객체의 ROI(Region Of Interest)를 추출하여 상기 스테레오 영상 인식부가 상기 ROI의 중심을 향하도록 상기 매니퓰레이터의 이동을 제어한 후, 상기 스테레오 영상 인식부가 상기 ROI의 중심을 향하는 상태에서 상기 위치 정보 획득부를 통해 상기 대상 객체의 위치 정보를 획득하는 것을 특징으로 하는 위치 정보 기반의 수확 장치.
  10. 제8항에 있어서,
    상기 제어부는, 비주얼 서보(Visual Servo) 제어 방식을 기반으로, 상기 자세 영상을 통해 확인되는 상기 대상 객체의 자세에 근거하여 상기 매니퓰레이터의 3축 방향 이동을 제어함으로써 상기 엔드이펙터가 상기 대상 객체를 수확하도록 제어하는 것을 특징으로 하는 위치 정보 기반의 수확 장치.
  11. 엔드이펙터 영상 인식부가, 대상 객체를 수확하는 엔드이펙터(End Effector)의 이동 제어를 위한, 상기 대상 객체의 자세 영상을 획득하는 단계;
    제어부가, 상기 엔드이펙터 영상 인식부에 의해 획득된 자세 영상을 토대로 스테레오 영상 인식부가 상기 대상 객체를 향하도록 제어하는 단계;
    상기 스테레오 영상 인식부가, 상기 대상 객체의 제1 영상 및 제2 영상을 획득하는 단계;
    위치 정보 획득부가, 상기 스테레오 영상 인식부에 의해 획득된 제1 영상 및 제2 영상을 정합하여 상기 대상 객체의 위치 정보를 획득하는 단계;
    상기 제어부가, 상기 위치 정보 획득부에 의해 획득된 상기 대상 객체의 위치 정보에 근거하여 상기 엔드이펙터가 상기 대상 객체의 수확 위치로 이동되도록 제어하는 단계; 및
    상기 제어부가, 상기 엔드이펙터 영상 인식부에 의해 획득되는 자세 영상에 근거하여 상기 엔드이펙터가 상기 대상 객체를 수확하도록 제어하는 단계;
    를 포함하고,
    상기 대상 객체의 위치 정보를 획득하는 단계에서, 상기 위치 정보 획득부는, 스테레오 비전(Stereo Vision) 방식을 기반으로, 상기 제1 영상 및 상기 제2 영상의 특징점을 각각 추출하고, 상기 추출된 각 특징점을 기준으로 에피폴라 기하(Epipolar Geometry)를 이용하여 상기 제1 영상 및 상기 제2 영상을 정합하여 상기 대상 객체의 위치 정보를 획득하고,
    상기 대상 객체의 위치 정보를 획득하는 단계에서, 상기 위치 정보 획득부는, 상기 정합된 제1 영상 및 제2 영상에 대하여 삼각 측량 방법을 적용하여 상기 대상 객체의 위치 정보를 획득하고,
    상기 대상 객체의 위치 정보를 획득하는 단계에서, 상기 위치 정보 획득부는, 상기 스테레오 영상 인식부의 내부 파라미터 행렬에 기초하여 상기 대상 객체의 3차원 공간 좌표를 획득하고, 미리 획득된 캘리브레이션 보드 영상을 이용하여 상기 3차원 공간 좌표에 대한 캘리브레이션을 수행하여 상기 대상 객체의 위치 정보를 획득하는 것을 특징으로 하는 위치 정보 기반의 수확 방법.
  12. 삭제
  13. 제11항에 있어서,
    상기 대상 객체의 위치 정보를 획득하는 단계에서, 상기 위치 정보 획득부는, SURF(Speeded-Up Robust Features) 알고리즘을 적용하는 방법, 및 상기 대상 객체에 광을 조사하는 방법 중 어느 하나의 방법을 이용하여 상기 특징점을 각각 추출하는 것을 특징으로 하는 위치 정보 기반의 수확 방법.
  14. 제11항에 있어서,
    상기 대상 객체의 위치 정보를 획득하는 단계에서, 상기 위치 정보 획득부는, 상기 제1 영상 및 상기 제2 영상의 각 에피폴라 선(Epipolar line)이 제1축에 평행하도록 상기 제1 영상 및 상기 제2 영상을 변환하여 상기 제1 영상 및 상기 제2 영상을 정합하는 것을 특징으로 하는 위치 정보 기반의 수확 방법.
  15. 제14항에 있어서,
    상기 대상 객체의 위치 정보를 획득하는 단계에서, 상기 위치 정보 획득부는, 상기 추출된 각 특징점을 이용하여 상기 제1 영상 및 상기 제2 영상 간의 기초행렬(Fundamental Matrix)를 계산하고, 상기 계산된 기초행렬을 이용하여 상기 제1 영상의 제1 에피폴라 선 및 제1 에피폴을 계산하고, 상기 제1 에피폴을 이용하여 상기 제1 에피폴라 선이 상기 제1축에 평행하도록 상기 제1 영상을 변환하는 제1 변환행렬을 계산하고, 상기 계산된 제1 변환행렬(Homegeneity Matrix)을 이용하여 상기 제2 영상이 상기 제1 영상과 정합되도록 상기 제2 영상을 변환하는 제2 변환행렬을 계산한 후, 상기 제1 변환행렬 및 상기 제2 변환행렬을 이용하여 상기 제1 영상 및 상기 제2 영상을 정합하는 것을 특징으로 하는 위치 정보 기반의 수확 방법.
  16. 삭제
  17. 삭제
  18. 제11항에 있어서,
    상기 엔드이펙터는, 수직, 회전 및 수평의 3축을 갖는 실린더형의 매니퓰레이터(Manipulator)에 결합되어 그 이동이 제어되고,
    상기 스테레오 영상 인식부 및 상기 엔드이펙터 영상 인식부는 상기 매니퓰레이터에 결합되어 그 이동이 제어되면서 상기 대상 객체의 제1 및 제2 영상과 자세 영상을 각각 획득하는 것을 특징으로 하는 위치 정보 기반의 수확 방법.
  19. 제18항에 있어서,
    상기 대상 객체의 자세 영상을 획득하는 단계에서, 상기 엔드이펙터 영상 인식부는, 상기 대상 객체의 자세 영상을 통해 상기 대상 객체의 ROI(Region Of Interest)를 추출하고,
    상기 대상 객체를 향하도록 제어하는 단계에서, 상기 제어부는, 상기 스테레오 영상 인식부가 상기 추출된 ROI의 중심을 향하도록 상기 매니퓰레이터의 이동을 제어하고,
    상기 대상 객체의 수확 위치로 이동되도록 제어하는 단계에서, 상기 제어부는, 상기 스테레오 영상 인식부가 상기 ROI의 중심을 향하는 상태에서 상기 위치 정보 획득부를 통해 상기 대상 객체의 위치 정보를 획득하는 것을 특징으로 하는 위치 정보 기반의 수확 방법.
  20. 제18항에 있어서,
    상기 대상 객체를 수확하는 단계에서, 상기 제어부는, 비주얼 서보(Visual Servo) 제어 방식을 기반으로, 상기 자세 영상을 통해 확인되는 상기 대상 객체의 자세에 근거하여 상기 매니퓰레이터의 3축 방향 이동을 제어함으로써 상기 엔드이펙터가 상기 대상 객체를 수확하도록 제어하는 것을 특징으로 하는 위치 정보 기반의 수확 방법.
KR1020170122893A 2017-09-22 2017-09-22 위치 정보 기반의 수확 장치 및 방법 KR101822505B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170122893A KR101822505B1 (ko) 2017-09-22 2017-09-22 위치 정보 기반의 수확 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170122893A KR101822505B1 (ko) 2017-09-22 2017-09-22 위치 정보 기반의 수확 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101822505B1 true KR101822505B1 (ko) 2018-01-26

Family

ID=61025502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170122893A KR101822505B1 (ko) 2017-09-22 2017-09-22 위치 정보 기반의 수확 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101822505B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000262128A (ja) 1999-03-18 2000-09-26 Natl Res Inst Of Vegetables Ornamental Plants & Tea ナスの自動収穫方法及び装置
JP2011179910A (ja) 2010-02-26 2011-09-15 Canon Inc 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2014151377A (ja) * 2013-02-06 2014-08-25 Seiko Epson Corp ロボット制御方法、ロボット制御装置、ロボットシステム、ロボット及びプログラム
JP2015111128A (ja) * 2014-12-19 2015-06-18 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
KR101706511B1 (ko) * 2016-08-29 2017-02-15 성균관대학교산학협력단 스테레오 영상을 이용한 피수확물의 위치정보 획득방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000262128A (ja) 1999-03-18 2000-09-26 Natl Res Inst Of Vegetables Ornamental Plants & Tea ナスの自動収穫方法及び装置
JP2011179910A (ja) 2010-02-26 2011-09-15 Canon Inc 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2014151377A (ja) * 2013-02-06 2014-08-25 Seiko Epson Corp ロボット制御方法、ロボット制御装置、ロボットシステム、ロボット及びプログラム
JP2015111128A (ja) * 2014-12-19 2015-06-18 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
KR101706511B1 (ko) * 2016-08-29 2017-02-15 성균관대학교산학협력단 스테레오 영상을 이용한 피수확물의 위치정보 획득방법

Similar Documents

Publication Publication Date Title
JP6966582B2 (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
JP6505729B2 (ja) 視覚センサを用いるロボットシステムのための自動較正方法
JP6180087B2 (ja) 情報処理装置及び情報処理方法
US8244402B2 (en) Visual perception system and method for a humanoid robot
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
US8095237B2 (en) Method and apparatus for single image 3D vision guided robotics
KR102056664B1 (ko) 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
CN107192331A (zh) 一种基于双目视觉的工件抓取方法
US20130230235A1 (en) Information processing apparatus and information processing method
CN111278608B (zh) 用于3d视觉机器人系统的校准物品
EP3157715A1 (en) Method for calibrating a robot and a robot system
KR20160044432A (ko) 가동 타겟 오브젝트의 위치 탐색을 위한 시스템 및 방법
Li et al. Vision-based pest detection and automatic spray of greenhouse plant
Kohan et al. Robotic harvesting of rosa damascena using stereoscopic machine vision
CN113172659B (zh) 基于等效中心点识别的柔性机器人臂形测量方法及系统
CN109489558A (zh) 距离测量系统和距离测量方法
Sangeetha et al. Implementation of a stereo vision based system for visual feedback control of robotic arm for space manipulations
JP2022183032A (ja) カメラガイド装置のハンドアイ較正
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
Bao et al. 3D perception-based collision-free robotic leaf probing for automated indoor plant phenotyping
JP2003136465A (ja) 検出対象物の３次元位置・姿勢決定方法とロボット用視覚センサ
KR101822505B1 (ko) 위치 정보 기반의 수확 장치 및 방법
Fan et al. An automatic robot unstacking system based on binocular stereo vision
JPH0679671A (ja) ロボットの把持手段を案内するための方法と装置
Xia et al. A stereo vision based method for autonomous spray of pesticides to plant leaves

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant