KR101963643B1 - 식물의 표현형 분석을 위한 3d 영상 생성 방법 및 그 시스템 - Google Patents

식물의 표현형 분석을 위한 3d 영상 생성 방법 및 그 시스템 Download PDF

Info

Publication number
KR101963643B1
KR101963643B1 KR1020170031378A KR20170031378A KR101963643B1 KR 101963643 B1 KR101963643 B1 KR 101963643B1 KR 1020170031378 A KR1020170031378 A KR 1020170031378A KR 20170031378 A KR20170031378 A KR 20170031378A KR 101963643 B1 KR101963643 B1 KR 101963643B1
Authority
KR
South Korea
Prior art keywords
sensor
robot
image
coordinate system
posture
Prior art date
Application number
KR1020170031378A
Other languages
English (en)
Other versions
KR20180104504A (ko
Inventor
김준식
김형석
이운석
오종우
노주원
오상록
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020170031378A priority Critical patent/KR101963643B1/ko
Priority to CN201810202788.2A priority patent/CN108573504B/zh
Publication of KR20180104504A publication Critical patent/KR20180104504A/ko
Application granted granted Critical
Publication of KR101963643B1 publication Critical patent/KR101963643B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098—Plants or trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

본 발명은 식물의 표현형 분석을 위한 3D 영상 생성 방법 및 그 시스템에 관한 것으로, 본 발명에 따른 식물의 표현형 분석을 위한 3D 영상 생성 시스템은 영상 챔버의 내측벽에 패턴을 형성하여 설치되는 복수의 마커; 식물의 영상을 획득하는 3D 센서; 상기 영상 챔버의 피설치부에 장착되는 로봇베이스와, 상기 3D 센서가 장착되는 엔드이펙터를 포함하고, 상기 3D 센서가 상기 식물의 주위를 회전하면서 영상을 획득할 수 있도록 구동하는 로봇; 및 상기 복수의 마커의 위치정보를 이용하여 상기 영상 챔버의 좌표계, 상기 로봇의 좌표계, 및 상기 3D 센서의 좌표계를 상호 정합하여 상기 3D 센서의 자세를 추정하는 센서자세추정부를 포함한다.
이에 의해, 작고 가는 식물에 대해 실시간으로 정밀 3D 영상 구조 복원을 할 수 있으며, 기존의 3D 캘리브레이션에 비해서 3D 구조 복원의 정밀도가 높고, 속도가 빠르다.

Description

식물의 표현형 분석을 위한 3D 영상 생성 방법 및 그 시스템{3D Image Generating Method And System For A Plant Phenotype Analysis}
본 발명은 식물의 표현형 분석을 위한 3D 영상 생성 방법 및 그 시스템에 관한 것으로, 보다 구체적으로는 식물의 영상을 획득하는 3D 센서의 위치를 정확히 추정하는 기술에 관한 것이다.
식물의 표현형 분석은 식물의 키, 잎의 수량, 색상 및 모양 등 생육정보를 측정하여 분석하는 기술을 의미한다.
식물은 잎, 줄기, 가지, 과실 등의 구조가 대부분 얇고 불규칙한 구조를 갖고, 잎의 경우 겹쳐져 있는 것이 일반적이기 때문에 다양한 뷰포인트에서 식물 구조를 관찰해야 하며, 식물이 시간별, 시기별로 생육조건이 상이하기 때문에 실시간 관찰이 필요하다는 특수성이 있다.
종래에는 사람이 직접 측정하는 방법을 사용하였으나, 최근에는 영상 및 통신 기술의 발달로 인해 3D 센서를 이용한 자동 측정 및 분석 기술이 시도되고 있다.
3D 센서를 이용한 식물 측정 기술은 3D 센서가 고정되고 식물이 이동하는 방식과, 식물이 고정되고 3D 센서가 이동하는 방식 2가지로 나눌 수 있다.
3D 센서가 고정되고 식물이 회전 이동하는 방식은 센서의 위치는 쉽게 얻을 수 있으나 식물의 움직임으로 인해 잎이 흔들리거나 하는 문제 때문에 정확한 이미지를 획득하기 위해서는 식물 이동 후 잎 등이 움직이지 않을 때까지 기다려야 하는 등 시간이 오래 걸리기 때문에 고속 센싱에는 부적합하다.
식물이 고정되고 3D 센서가 이동하는 방식은 전술한 방식의 문제는 해결될 수 있으나, 이동하는 3D 센서의 정확한 위치를 얻기 어려운 문제가 있으며, 이 때문에 정합과 3D 모델링에 있어 시간이 오래 걸리는 한계가 있다.
전술한 바와 같은 문제점을 해결하기 위하여, 본 발명에서는 영상 챔버 내측벽에 패턴을 형성하는 복수의 마커를 설치하고, 이를 이용하여 두 단계의 좌표 정합을 통해 3D 센서의 정확한 자세를 추정하는 방법과 시스템을 제공하는데 목적이 있다.
상기 목적은 식물의 표현형 분석을 위한 3D 영상 생성 시스템에 있어서, 영상 챔버의 내측벽에 패턴을 형성하여 설치되는 복수의 마커; 식물의 영상을 획득하는 3D 센서; 상기 영상 챔버의 피설치부에 장착되는 로봇베이스와, 상기 3D 센서가 장착되는 엔드이펙터를 포함하고, 상기 3D 센서가 상기 식물의 주위를 회전하면서 영상을 획득할 수 있도록 구동하는 로봇; 및 상기 복수의 마커의 위치정보를 이용하여 상기 영상 챔버의 좌표계, 상기 로봇의 좌표계, 및 상기 3D 센서의 좌표계를 상호 정합하여 상기 3D 센서의 자세를 추정하는 센서자세추정부를 포함하는 것을 특징으로 하는 식물의 표현형 분석을 위한 3D 영상 생성 시스템에 의해 달성될 수 있다.
이때, 상기 센서자세추정부는 상기 복수의 마커의 위치정보를 이용하여 상기 3D 센서와 상기 로봇, 상기 로봇과 상기 영상 챔버 간의 좌표계 변환을 추정하여 좌표를 정합하는 좌표정합부; 및 상기 좌표정합부의 정합에 기초하여 상기 로봇의 자세정보를 이용하여 상기 3D 센서의 자세를 추정하고, 검출된 상기 복수의 마커의 위치정보에 따라 상기 3D 센서의 자세를 최적화하는 센서자세최적화부를 포함할 수 있다.
그리고, 상기 좌표정합부는, 상기 로봇베이스의 좌표계와 상기 엔드이펙터의 좌표계를 상기 로봇의 키네틱 정보를 이용하여 변환하는 제1좌표변환부; 및 상기 복수의 마커의 위치정보를 이용하여 상기 영상 챔버의 좌표계와 상기 3D 센서 간의 좌표계를 변환하는 제2좌표변환부를 포함할 수 있다.
또한, 상기 좌표정합부는 상기 로봇의 자세정보에 의한 3D 센서의 제한된 움직임 정보를 이용하여 상기 로봇을 다양한 자세로 움직이면서 검출된 상기 복수의 마커의 위치정보를 이용하여 상기 로봇의 엔드이펙터와 상기 3D 센서 간의 좌표계 변환 및 상기 영상 챔버와 상기 로봇베이스 간의 좌표계의 변환을 추정하는 제3좌표변환부를 포함할 수 있다.
더 나아가, 상기 센서자세최적화부는 상기 3D 센서의 촬영 신호 발생 시점과 촬영 시점의 차이에 의한 상기 3D 센서의 자세의 부정합을 최소화하기 위해 촬영한 영상 내에서 상기 복수의 마커의 위치를 검색하여 상기 3D 센서의 자세를 최적화할 수 있다.
그리고, 상기 복수의 마커는 역반사 스티커(Retroreflector Sticker)를 포함할 수 있다.
한편, 상기 목적은 식물의 표현형 분석을 위한 3D 영상 생성 방법에 있어서,상기 3D 센서가 장착되는 엔드이펙터를 포함하는 로봇을 구동시켜 상기 3D 센서로부터 다양한 자세에서 영상 챔버의 내측벽에 형성된 패턴을 촬영하는 단계; 및 상기 패턴의 위치정보를 이용하여 상기 영상 챔버의 좌표계, 상기 로봇의 좌표계, 및 상기 3D 센서의 좌표계를 상호 정합하여 상기 3D 센서의 자세를 추정하는 단계를 포함하는 것을 특징으로 하는 식물의 표현형 분석을 위한 3D 영상 생성 방법에 의해서도 달성될 수 있다.
여기서, 상기 3D 센서의 자세를 추정하는 단계는, 상기 패턴의 위치정보를 이용하여 상기 3D 센서와 상기 로봇, 상기 로봇과 상기 영상 챔버 간의 좌표계 변환을 추정하는 좌표를 정합하는 단계; 및 상기 로봇의 자세에 따른 상기 3D 센서의 자세를 추정하고 검출된 상기 패턴의 위치정보에 따라 상기 3D 센서의 자세를 최적화하는 단계를 포함할 수 있다.
그리고, 상기 좌표를 정합하는 단계는 상기 로봇의 로봇베이스의 좌표계와 상기 엔드이펙터의 좌표계를 상기 로봇의 키네틱 정보를 이용하여 변환하는 단계, 상기 패턴의 위치정보를 이용하여 상기 영상 챔버의 좌표계와 상기 3D 센서 간의 좌표계를 변환하는 단계, 및 상기 로봇을 다양한 자세로 움직이면서 검출된 상기 패턴의 위치정보를 이용하여 상기 로봇의 엔드이펙터의 좌표와 상기 3D 센서 간의 좌표를 정합하는 단계를 포함하고, 상기 3D 센서의 자세를 최적화하는 단계는 상기 3D 센서의 촬영 신호 발생 시점과 촬영 시점의 차이에 의한 상기 3D 센서의 자세의 부정합을 최소화하기 위해 촬영한 영상 내에서 상기 패턴의 위치를 재검색하여 상기 3D 센서의 자세를 최적화할 수 있다.
상기한 바와 같이, 본 발명에 의한 식물의 표현형 분석을 위한 3D 영상 생성 방법 및 그 시스템은 영상 챔버 내측벽에 패턴을 형성하는 복수의 마커를 설치하고, 이를 이용하여 두 단계의 좌표 정합을 통해 3D 센서의 정확한 자세를 추정할 수 있다.
또한, 작고 가는 식물에 대해 실시간으로 정밀 3D 영상 구조 복원을 할 수 있으며, 기존의 3D 캘리브레이션에 비해서 3D 구조 복원의 정밀도가 높고, 속도가 빠르다.
더 나아가, 본 발명은 특히 가늘고 다형성을 가진 식물에 대해 3D 영상 구조 복원의 정밀도를 높임으로써, 이후 3D 분할(segmentation), 질감 매핑(texture mapping) 등 3D 영상 후처리의 정확도를 높여서 더욱 정밀한 3D 분석이 가능해 준다.
도 1은 본 발명의 일 실시예에 따른 식물의 표현형 분석을 위한 3D 영상 생성 시스템의 개략도이고, 도 2는 도 1의 구성의 좌표계를 나타낸 것이다.
도 3은 도 1의 센서자세추정부의 상세 구성도이다.
도 4는 도 1의 식물의 표현형 분석을 위한 3D 영상 생성 시스템을 이용한 식물의 표현형 분석을 위한 3D 영상 생성 방법의 흐름도이다.
도 5는 도 4에서 좌표계 정합과 3D 센서의 자세 최적화 방법 관한 보다 구체적인 방법에 관한 흐름도이다.
도 6은 전술한 실시예에 따른 식물 영상 생성 시스템 및 방법의 구현예를 도시한 것이다.
이하, 도면을 참조하여 본 발명의 구체적인 실시예들에 대해 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 식물의 표현형 분석을 위한 3D 영상 생성 시스템의 개략도이고, 도 2는 도 1의 구성의 좌표계를 나타낸 것이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 식물의 표현형 분석을 위한 3D 영상 생성 시스템은 영상 챔버(1)에 일정 패턴을 형성하며 설치되는 복수의 마커(10), 로봇(20), 3D 센서(30), 및 센서자세추정부(40)를 포함한다.
복수의 마커(10)는 영상 챔버(1)의 내측벽에 설치되며 일정 패턴을 형성하도록 설치될 수 있다. 복수의 마커(10)는 3D 센서의 자세를 추정할 때 기준이 되는 것으로, 역반사 스티커(Retroreflector Sticker)로 구현될 수 있다. 패턴의 경우, 3D 센서(30)가 주로 센싱하는 위치를 중심으로 검출되기 쉬운 위치나 매칭하기 쉬운 형태의 패턴을 고려할 수 있다.
로봇(20)은 3D 센서(30)가 결합되어 식물의 주위를 회전하면서 영상을 획득할 수 있도록 구동하는 것으로, 영상 챔버(1)의 피설치부에 장착되는 로봇베이스(21)와, 3D 센서(30)가 장착되는 엔드이펙터(23)를 포함한다.
로봇베이스(21)는 피설치부에 고정되어 설치되는 것으로 그 위치는 변하지 않으며, 엔드이펙터(23)는 3D 센서(30)가 장착되어 식물을 중심으로 360도 회전하도록 구동된다. 로봇(20)은 도 1에 도시하지 않았으나 로봇베이스(21)와 엔드이펙터(23) 이외에 횡프레임(미도시), 횡프레임회전수단(미도시), 횡구동부(미도시) 등을 더 포함하여 구성되며, 이 구성들이 상호결합되어 로봇베이스(21)를 회전중심으로 하여 엔드이펙터(23)가 식물 주위를 회전하도록 구동된다. 또한, 엔드이펙터(23)는 상하좌우로 이동 가능하게 설치되며, 식물의 종류, 생장시기, 크기에 따라 촬영 위치를 적절히 달리하여 설정할 수 있다.
3D 센서(30)는 식물의 영상을 획득하기 위한 것으로, 로봇(20)의 엔드이펙터(23)에 장착된다. 3D 센서(30)는 로봇(20)의 엔드이펙터(23)의 움직임에 따라 6자유도(X, Y, Z, Pitch, Yaw, Roll)의 자세를 갖는다.
센서자세추정부(40)는 3D 카메라로 획득한 이미지에서 복수의 마커(10)의 위치정보를 이용하여 영상 챔버(1)의 좌표계, 로봇(20)의 좌표계, 및 3D 센서(30)의 좌표계를 상호 정합하여 3D 센서(30)의 자세를 추정하기 위한 것으로, 좌표정합 및 추정을 위한 소프트웨어와 소프트웨어가 실행되는 프로세서로 구현될 수 있다.
도 3은 도 1의 센서자세추정부(40)의 상세 구성도로서, 도 3을 참조하면, 본 발명의 일 실시예에 따른 센서자세추정부(40)는 좌표정합부(41) 및 센서자세최적화부(43)를 포함한다.
좌표정합부(41)는 영상 내에서 복수의 마커(10)의 위치정보를 이용하여 3D 센서(30)와 상기 로봇(20), 로봇(20)과 영상 챔버(1) 간의 좌표계 변환을 추정하여 좌표를 정합하기 위한 것으로, 로봇(20)을 다양한 자세로 움직이면서 복수의 마커(10)의 위치를 관찰하고, 로봇(20) 자세에 의한 3D 센서(30)의 제약된 움직임 정보를 이용하여 정밀 좌표계를 정합한다.
도 2를 참조하면, 식물의 이미지 획득 시 고려해야 하는 좌표계는 영상 챔버(1) 좌표계, 로봇베이스(21) 좌표계, 엔드이펙터(23) 좌표계 및 3D 센서(30) 좌표계 4가지가 존재한다. 여기서, 영상 챔버(1)의 공간 좌표계는 임의로 설정 가능하고 고정되는 값이며, 영상 챔버(1)의 내측벽에 설치되는 복수의 마커(10)의 위치 측정에 사용된 좌표계를 영상 챔버(1)의 좌표계로 사용한다. 로봇(20)의 좌표계는 영상 챔버(1)의 좌표계와는 별개로서 설치시에 고정되지만 영상 챔버(1)와의 상호관계는 알려지지 않은 값이다. 3D 센서(30)는 로봇(20)의 엔드이펙터(23)에 장착되어 고정되며, 광학 원점 또는 센서 평면의 방향으로 좌표계가 설정되며, 엔드이펙터(23)의 좌표계와의 변환은 고정되어 있으나 상호관계는 알려지지 않은 값이다.
도 3을 참조하면, 좌표정합부(41)는 제1좌표변환부(41a) 및 제2좌표변환부(41b)를 포함한다.
제1좌표변환부(41a)는 로봇베이스(21)의 좌표계와 엔드이펙터(23)의 좌표계를 로봇(20)의 키네틱 정보를 이용하여 변환하기 위한 것으로, 이미 로봇(20)의 키네틱 정보는 알고 있으므로, 이를 이용하여 로봇베이스(21)와 엔드이펙터(23)의 좌표를 변환할 수 있다.
제2좌표변환부(41b)는 복수의 마커(10)의 위치정보를 이용하여 영상 챔버(1)의 좌표계와 3D 센서(30) 간의 좌표계를 변환한다.
제3좌표변환부(41c)는 로봇(20)의 자세정보에 의한 3D 센서(30)의 제한된 움직임 정보를 이용하여 로봇(20)을 다양한 자세로 움직이면서 검출된 상기 복수의 마커(10)의 위치정보를 이용하여 로봇(20)의 엔드이펙터(23)와 3D 센서(30) 간의 좌표계 변환 및 영상 챔버(1)와 로봇베이스(21) 간의 좌표계의 변환을 추정하여 정밀 좌표계를 정합한다.
센서자세최적화부(43)는 이동에 따른 로봇(20)의 자세정보를 이용하여 3D 센서(30)의 자세를 대략적으로 추정하고, 이 정보를 이용하여 복수의 마커(10)의 위치를 검출한 후에 로봇(20) 자세 정보를 수정하면서 3D 센서(30)의 자세를 최적화한다.
3D 센서(30)의 자세는 영상 챔버(1)에 배치된 복수의 마커(10)를 관찰하면서 대략적으로 얻을 수 있으나, 3D 센서(30)의 시야각의 부족이나 관찰된 마커(10)의 위치 검출 정밀도가 떨어지는 문제, 3D 센서(30)가 식물 이미지를 스캐닝할 때 센서의 데이터 취득 명령을 내렸을 때와 실제 취득된 시간과의 차이로 인한 정밀한 동기화의 부족 등의 문제로 인해 로봇(20) 자세로 예상한 위치에서 마커(10)가 관찰되지 않을 수 있다.
본 발명에서는 센서자세최적화부(43)가 이러한 3D 센서(30)의 자세의 부정합을 최소화하기 위해 촬영한 영상 내에서 이동 방향을 기준으로 복수의 마커(10)의 위치를 재검색하여 3D 센서(30)의 자세를 최적화하여 3D 센서(30)의 현재 위치를 정확히 알아낼 수 있다.
도 4는 도 1의 식물의 표현형 분석을 위한 3D 영상 생성 시스템을 이용한 식물의 표현형 분석을 위한 3D 영상 생성 방법의 흐름도이다. 전술한 실시예와 중복되는 설명은 필요에 따라 생략하기로 한다.
먼저 영상 챔버(1) 내측벽에 역반사 스티커를 이용하여 일정한 패턴을 형성한다. 이때, 역반사 스티커의 위치는 내부적으로 알려진 값이다.
도 4를 참조하면, 로봇(20)을 구동하여 3D 센서(30)로부터 로봇(20)의 다양한 자세에서 영상 챔버(1)의 내측벽에 형성된 패턴을 촬영한다(S10). 예컨대, 식물의 3D 영상을 생성하기 위해서 식물 주위를 360도 회전하면서 이미지를 획득하는데, 10도 간격으로 이미지를 촬영한다.
이때, 영상 내의 패턴의 위치정보를 이용하여 로봇(20)과 영상 챔버(1), 로봇(20)과 3D 센서(30) 간의 좌표계의 변환을 추정하여 상호 정합한다(S20). 그리고, 로봇 자세 정보를 수정하면서 3D 센서(30)의 자세를 최적화한다(S30).
도 5는 도 4에서 좌표계 정합과 3D 센서(30)의 자세 최적화 방법 관한 보다 구체적인 방법에 관한 흐름도이다.
도 5를 참조하면, 먼저 로봇(20)의 키네틱 정보를 이용하여 로봇베이스(21) 좌표계와 엔드이펙터(23)의 좌표계를 변환한다(S21). 그리고, 복수의 마커(10)에 의한 패턴의 위치정보를 이용하여 영상 챔버(1)의 좌표계와 3D 센서(30) 간의 좌표계를 변환한다(S23). 그리고, 로봇(20)을 다양한 자세로 움직이면서 검출된 패턴의 위치정보를 이용하여 로봇(20)의 엔드이펙터(23)의 좌표와 3D 센서(30) 간의 좌표를 정합한다(S25).
마지막으로, 좌표 정합에 의해 로봇(20)의 자세에 따른 상기 3D 센서(30)의 자세를 추정하고, 촬영한 영상 내에서 이동 방향을 기준으로 복수의 마커(10)의 위치를 재검색하여 3D 센서(30)의 자세를 최적화한다(S31).
이하에서는 본 발명의 일 실시예에 따른 좌표정합 및 자세추정의 일 예를 설명하기로 한다.
아래 수학식 1은 본 발명의 일 실시예에 따른 좌표정합부(41)의 좌표정합의 초기해 계산식을 나타낸 것이다.
[수학식 1]
Ti CSTSETi ERTRC = 1
→ Ti CSTSETi ER = TRC -1
여기서,TRC -1 는 모든 자세에서 불변이므로,
Ti CSTSETi ER = Ti CSTSETi ER
→(Ti CS)-1Ti CSTSE = TSETi ER(Ti ER)-1
(위 식에서, TRC : 영상 챔버(1)와 로봇베이스(21) 간의 변환, TSE: 엔드이펙터(23)와 3D 센서(30) 간의 변환, Ti ER : i번째 자세에서 로봇베이스(21)와 엔드이펙터(23) 간의 변환, Ti CS : i번째 자세에서 3D 센서(30)와 영상 챔버(1) 간의 변환을 의미함)
로봇(20)을 구동하여 얻은 다양한 자세에서, 위 수학식 1을 이용하여 TSE의 초기해를 구한다. TRC , TSE 는 고정된 값이나 알지 못하는 값이고, Ti ER , Ti CS 는 측정에 의해 알 수 있는 값으로, 전술한 바와 같이, Ti ER는 로봇(20)의 키네틱정보로부터 제1좌표변환부(41a)에 의해 산출되며, Ti CS 는 제2좌표변환부(41b)에 의해 패턴기반으로 산출되는 값이다.
따라서, 위 수학식 1의 (Ti CS)-1Ti CSTSE = TSETi ER(Ti ER)-1에서, TSE만 모르는 값이기 때문에 행렬방정식을 이용하여 그 초기해를 구할 수 있다.
좌표정합부(41)는 초기해를 구한 후 정밀 캘리브레이션을 수행하는데, 이때 로봇 구동식을 이용한 제한된 3D 센서(30) 자세 추정 방식을 이용한다. 이는 3D 센서(30)의 위치가 로봇(20)의 움직임에 의해 결정되기 때문에 임의의 위치에 있을 수 없음을 이용하는 것이다.
i번째 자세에서 영상 챔버(1)와 3D 센서(30) 간의 변환 즉, (Ti CS)-1 은 다음과 같이 나타낼 수 있다.
[수학식 2]
(Ti CS) = TSETi ER(vi)TRC
(여기서, Vi: i번째 자세에서의 로봇 구동 파라미터를 의미함)
마커(10) k가 i번째 자세에서 3D 센서(30)에 의해 관찰된 경우, 실제 관찰된 위치는
Figure 112017024909141-pat00001
로 표현할 수 있고 예측된 관찰위치는 아래와 같이 나타낼 수 있다.
[수학식 3]
pi k = Proj(K,d,(Ti CS)-1)
(여기서, Proj(...) : 영상투영식, k: 3D 센서 intrinsic parameter, d: 3D 센서 disortion parameter를 의미함)
코스트 함수는 아래와 같이 나타낼 수 있으며, 비선형 최적화를 통해 TSE와 TRC를 산출할 수 있다.
[수학식 4]
Figure 112017024909141-pat00002
[수학식 5]
Figure 112017024909141-pat00003
본 발명의 일 실시예에 따른 센서자세최적화부(43)의 동작에 대해서는 아래에서 설명한다. 영상 촬영시 촬영 취득 신호 발생 시점과 실제 촬영시점과 차이가 없는 경우, 즉 3D 센서(30)를 특정 위치에 세우고 찍는 경우에는 3D 센서(30)의 자세를 위 수학식 2에 의해 산출할 수 있다.
그러나, 3D 센서(30)가 이동 중 영상을 획득하는 경우에는 촬영 취득 신호 발생 시점과 실제 촬영 시점에 차이가 있으므로, 이러한 3D 센서(30)의 자세 부정합을 해소하기 위해, 취득 시의 로봇 구동 파라미터를 미지수(unknown)로 두고 위 수학식 5의 최적화를 수행한다.
이를 위해서는 특정 관찰 위치인
Figure 112017024909141-pat00004
를 영상 내에서 3D 센서(30)의 이동방향을 기준으로 재검색하여 수행한다. 이때, 식물의 영역을 깊이(depth) 정보를 이용하여 제거하고, 로봇 구동 파라미터 중에서 고정된 값이 있으면 최적화에서 제외한다.
센서자세최적화부(43)는 최적화를 위한 알고리즘은 다양한 방식이 적용될 수 있으며, 예컨대, Levenberg-Marquardt 알고리즘 등의 local optimization 방법이 사용될 수 있다.
도 6은 전술한 실시예에 따른 식물 영상 생성 시스템 및 방법의 구현예를 도시한 것으로, 도 6의 (a)는 영상 챔버(1) 내벽에 복수의 마커(10, 붉은 점)가 설치된 것과 영상 챔버(1) 내에서 식물 주위를 360도 회전하면서 영상을 획득하는 로봇(20)과 카메라를 개략적으로 도시한 사진이고, (b)는 본 시스템 및 방법에 의해 획득한 식물의 3D 영상을 도시한 것이다.
전술한 바와 같이, 본 발명은 영상 챔버(1)의 공간 좌표계와 로봇(20)의 좌표계, 3D 센서(30)의 좌표계 등 3개의 좌표계를 상호 정합하고, 영상 챔버(1)의 공간좌표계 상에서 특정 시점에서의 정확한 3D 센서(30)의 6자유도 자세를 정밀하게 추정할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1: 영상 챔버 10: 복수의 마커
20: 로봇 21: 로봇베이스
23: 엔드이펙터 30: 3D 센서
40: 센서자세추정부 41: 좌표정합부
43: 센서자세최적화부

Claims (9)

  1. 식물의 표현형 분석을 위한 3D 영상 생성 시스템에 있어서,
    영상 챔버의 내측벽에 패턴을 형성하여 설치되는 복수의 마커;
    식물의 영상을 획득하는 3D 센서;
    상기 영상 챔버의 피설치부에 장착되는 로봇베이스와, 상기 3D 센서가 장착되는 엔드이펙터를 포함하고, 상기 3D 센서가 상기 식물의 주위를 회전하면서 영상을 획득할 수 있도록 구동하는 로봇; 및
    상기 복수의 마커의 위치정보를 이용하여 상기 영상 챔버의 좌표계, 상기 로봇의 좌표계, 및 상기 3D 센서의 좌표계를 상호 정합하여 상기 3D 센서의 자세를 추정하는 센서자세추정부를 포함하고;
    상기 센서자세추정부는 상기 복수의 마커의 위치정보를 이용하여 상기 3D 센서와 상기 로봇, 상기 로봇과 상기 영상 챔버 간의 좌표계 변환을 추정하여 좌표를 정합하는 좌표정합부, 및 좌표 정합에 의해 상기 로봇의 자세에 따른 상기 3D 센서의 자세를 추정하고, 촬영한 영상 내에서 이동 방향을 기준으로 상기 복수의 마커의 위치를 재검색하여 특정시점에서의 상기 로봇의 구동 파라미터 및 상기 3D 센서의 자세를 최적화하는 센서자세최적화부를 포함하는 것을 특징으로 하는 식물의 표현형 분석을 위한 3D 영상 생성 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 좌표정합부는,
    상기 로봇베이스의 좌표계와 상기 엔드이펙터의 좌표계를 상기 로봇의 키네틱 정보를 이용하여 변환하는 제1좌표변환부; 및
    상기 복수의 마커의 위치정보를 이용하여 상기 영상 챔버의 좌표계와 상기 3D 센서 간의 좌표계를 변환하는 제2좌표변환부를 포함하는 것을 특징으로 하는 식물의 표현형 분석을 위한 3D 영상 생성 시스템.
  4. 제1항에 있어서,
    상기 좌표정합부는 상기 로봇의 자세정보에 의한 3D 센서의 제한된 움직임 정보를 이용하여 상기 로봇을 다양한 자세로 움직이면서 검출된 상기 복수의 마커의 위치정보를 이용하여 상기 로봇의 엔드이펙터와 상기 3D 센서 간의 좌표계 변환 및 상기 영상 챔버와 상기 로봇베이스 간의 좌표계의 변환을 추정하는 제3좌표변환부를 포함하는 것을 특징으로 하는 식물의 표현형 분석을 위한 3D 영상 생성 시스템.
  5. 제1항에 있어서,
    상기 센서자세최적화부는 상기 3D 센서의 촬영 신호 발생 시점과 촬영 시점의 차이에 의한 상기 3D 센서의 자세의 부정합을 최소화하기 위해 촬영한 영상 내에서 상기 복수의 마커의 위치를 검색하여 상기 3D 센서의 자세를 최적화하는 것을 특징으로 하는 식물의 표현형 분석을 위한 3D 영상 생성 시스템.
  6. 제1항에 있어서,
    상기 복수의 마커는 역반사 스티커(Retroreflector Sticker)를 포함하는 것을 특징으로 하는 식물의 표현형 분석을 위한 3D 영상 생성 시스템.
  7. 식물의 표현형 분석을 위한 3D 영상 생성 방법에 있어서,
    3D 센서가 장착되는 엔드이펙터를 포함하는 로봇을 구동시켜 상기 3D 센서로부터 다양한 자세에서 영상 챔버의 내측벽에 형성된 패턴을 촬영하는 단계; 및
    상기 패턴의 위치정보를 이용하여 상기 영상 챔버의 좌표계, 상기 로봇의 좌표계, 및 상기 3D 센서의 좌표계를 상호 정합하여 상기 3D 센서의 자세를 추정하는 단계를 포함하고;
    상기 3D 센서의 자세를 추정하는 단계는,
    상기 패턴의 위치정보를 이용하여 상기 3D 센서와 상기 로봇, 상기 로봇과 상기 영상 챔버 간의 좌표계 변환을 추정하는 좌표를 정합하는 단계, 및 좌표 정합에 의해 상기 로봇의 자세에 따른 상기 3D 센서의 자세를 추정하고, 촬영한 영상 내에서 이동 방향을 기준으로 상기 패턴을 형성하는 복수의 마커의 위치를 재검색하여 특정시점에서의 상기 로봇의 구동 파라미터 및 상기 3D 센서의 자세를 최적화하는 단계를 포함하는 것을 특징으로 하는 식물의 표현형 분석을 위한 3D 영상 생성 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 좌표를 정합하는 단계는 상기 로봇의 로봇베이스의 좌표계와 상기 엔드이펙터의 좌표계를 상기 로봇의 키네틱 정보를 이용하여 변환하는 단계, 상기 패턴의 위치정보를 이용하여 상기 영상 챔버의 좌표계와 상기 3D 센서 간의 좌표계를 변환하는 단계, 및 상기 로봇을 다양한 자세로 움직이면서 검출된 상기 패턴의 위치정보를 이용하여 상기 로봇의 엔드이펙터의 좌표와 상기 3D 센서 간의 좌표를 정합하는 단계를 포함하고,
    상기 3D 센서의 자세를 최적화하는 단계는 상기 3D 센서의 촬영 신호 발생 시점과 촬영 시점의 차이에 의한 상기 3D 센서의 자세의 부정합을 최소화하기 위해 촬영한 영상 내에서 상기 패턴의 위치를 재검색하여 상기 3D 센서의 자세를 최적화하는 것을 특징으로 하는 식물의 표현형 분석을 위한 3D 영상 생성 방법.
KR1020170031378A 2017-03-13 2017-03-13 식물의 표현형 분석을 위한 3d 영상 생성 방법 및 그 시스템 KR101963643B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170031378A KR101963643B1 (ko) 2017-03-13 2017-03-13 식물의 표현형 분석을 위한 3d 영상 생성 방법 및 그 시스템
CN201810202788.2A CN108573504B (zh) 2017-03-13 2018-03-12 用于分析植物的表型的3d影像生成方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170031378A KR101963643B1 (ko) 2017-03-13 2017-03-13 식물의 표현형 분석을 위한 3d 영상 생성 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20180104504A KR20180104504A (ko) 2018-09-21
KR101963643B1 true KR101963643B1 (ko) 2019-04-01

Family

ID=63573895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170031378A KR101963643B1 (ko) 2017-03-13 2017-03-13 식물의 표현형 분석을 위한 3d 영상 생성 방법 및 그 시스템

Country Status (2)

Country Link
KR (1) KR101963643B1 (ko)
CN (1) CN108573504B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102296308B1 (ko) * 2018-12-31 2021-09-01 서울대학교산학협력단 3차원 식물 구조 모델과 광추적 시뮬레이션에 기초한 식물 분석 장치 및 그 방법
CN114184123A (zh) * 2021-12-15 2022-03-15 西南林业大学 一种测算草地样方三维绿量的装置及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014180720A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1080882A (ja) * 1996-09-06 1998-03-31 Fujitsu Ltd ロボット用座標変換パラメータ測定方法
US6033415A (en) * 1998-09-14 2000-03-07 Integrated Surgical Systems System and method for performing image directed robotic orthopaedic procedures without a fiducial reference system
DE10003611A1 (de) * 2000-01-28 2001-08-09 Duerr Systems Gmbh Verfahren zum Einmessen eines Roboters
JP4801893B2 (ja) * 2004-10-12 2011-10-26 中央精機株式会社 単一細胞操作支援ロボット用細胞培養器具
US8930009B2 (en) * 2011-10-20 2015-01-06 Kabushiki Kaisha Yaskawa Denki Robot system and processed object manufacturing method
JP2014176923A (ja) * 2013-03-14 2014-09-25 Yaskawa Electric Corp ロボットシステムおよび被加工物の製造方法
JP6106803B2 (ja) * 2013-04-12 2017-04-05 アセルサン・エレクトロニク・サナイ・ヴェ・ティジャレット・アノニム・シルケティＡｓｅｌｓａｎ Ｅｌｅｋｔｒｏｎｉｋ Ｓａｎａｙｉ ｖｅ Ｔｉｃａｒｅｔ Ａｎｏｎｉｍ Ｓｉｒｋｅｔｉ 基準マーカーとカメラの位置／方向を最適化するためのシステム及び方法
CN104959982A (zh) * 2013-10-10 2015-10-07 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法
JP2016221645A (ja) * 2015-06-02 2016-12-28 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014180720A (ja) * 2013-03-19 2014-09-29 Yaskawa Electric Corp ロボットシステム及びキャリブレーション方法

Also Published As

Publication number Publication date
CN108573504A (zh) 2018-09-25
CN108573504B (zh) 2022-10-04
KR20180104504A (ko) 2018-09-21

Similar Documents

Publication Publication Date Title
EP3333538B1 (en) Scanner vis
KR102257610B1 (ko) 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법
US9163940B2 (en) Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium
JP5393318B2 (ja) 位置姿勢計測方法及び装置
US8446492B2 (en) Image capturing device, method of searching for occlusion region, and program
CN103020952B (zh) 信息处理设备和信息处理方法
CN110456330B (zh) 一种相机与激光雷达之间外参无目标自动标定方法及系统
CN110261870A (zh) 一种用于视觉-惯性-激光融合的同步定位与建图方法
JP6370038B2 (ja) 位置姿勢計測装置及び方法
US9317735B2 (en) Information processing apparatus, information processing method, and program to calculate position and posture of an object having a three-dimensional shape
JP6782903B2 (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
KR20160037972A (ko) 카메라 모션 추정 및 정정 방법
CN103649680A (zh) 用于3d扫描的传感器定位
CN108413917B (zh) 非接触式三维测量系统、非接触式三维测量方法及测量装置
KR101715780B1 (ko) 복셀 맵 생성기 및 그 방법
US20070076096A1 (en) System and method for calibrating a set of imaging devices and calculating 3D coordinates of detected features in a laboratory coordinate system
KR101963643B1 (ko) 식물의 표현형 분석을 위한 3d 영상 생성 방법 및 그 시스템
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN115526914A (zh) 基于多传感器的机器人实时定位和彩色地图融合映射方法
Mi et al. A vision-based displacement measurement system for foundation pit
CN113316503A (zh) 使用机器人装置的状态来映射环境
Voges et al. Finding timestamp offsets for a multi-sensor system using sensor observations
KR101972432B1 (ko) 레이저비전 센서 및 그 보정방법
Elseberg et al. Automatic and full calibration of mobile laser scanning systems
CN111780744B (zh) 移动机器人混合导航方法、设备及存储装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant