KR20110027460A

KR20110027460A - 모노 비전 기반의 팔레트 위치 및 자세 측정 방법

Info

Publication number: KR20110027460A
Application number: KR1020090085563A
Authority: KR
Inventors: 김민환; 변성민
Original assignee: 부산대학교 산학협력단
Priority date: 2009-09-10
Filing date: 2009-09-10
Publication date: 2011-03-16
Also published as: KR101095579B1

Abstract

본 발명은 지게차의 포크 캐리지(fork carriage)에 설치된 한 대의 카메라를 이용하여 지게차의 전방에 있는 팔레트의 3차원 위치와 자세를 측정할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법에 관한 것으로, 카메라 외부 검정(external calibration) 과정을 수행하는 단계;카메라로부터 영상이 입력되면, 표준 팔레트 영역을 검출하여 인식하는 단계;상기 인식된 표준 팔레트 영역에서 상단 및 하단 특징선을 추출하는 단계;사영기하 기반의 팔레트 자세 측정을 하고, 특징선의 역 투영(back projection)을 통한 팔레트 위치 측정을 하는 단계;를 포함한다.

팔레트 인식, 팔레트 위치, 팔레트 자세 측정, 팔레트 자동 하역, 사영기하

Description

모노 비전 기반의 팔레트 위치 및 자세 측정 방법{A method for positioning and orienting of a pallet based on monocular vision}

본 발명은 지게차의 포크 캐리지(fork carriage)에 설치된 한 대의 카메라를 이용하여 지게차의 전방에 있는 팔레트의 3차원 위치와 자세를 측정할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법에 관한 것이다.

일반적으로 부피가 크고 중량이 무거운 화물을 지게차나 크레인으로 들어올려 차량에 적재 또는 하역을 하거나 운반 및 보관시에 화물을 받쳐주기 위해서 팔레트가 널리 사용되고 있다.

지게차는 팔레트 화물을 하역(선반/차량에서 화물을 내림, unloading), 운반, 적재(선반/차량에 화물을 올림, loading) 작업을 수행하는 장비이며, 이 중에서 하역 작업은 대상(target) 팔레트 근처로의 이동 작업, 지게차의 포크를 팔레트에 끼우는 팔레트 인게이징(engaging) 작업, 적재 위치에서 팔레트를 들어내는 작업으로 세분화 할 수 있다.

최근 비용절감과 생산성 향상을 위해 많은 물류창고들이 자동화 되고 있는데, 이러한 기존의 자동화 방식은 대형 물류창고를 대상으로 하고 있어, 지게 차만으로 운영되는 중소형 물류창고에 적용하기 어렵다. 이러한 중소형 물류창고들을 자동화하기 위해서 가장 중요한 것은 지게차를 무인 자동화 하는 것이다.

팔레트 인게이징 작업의 자동화를 위한 팔레트 위치 측정에 관한 종래 기술은 레이저 거리 측정기(Laser Range Finder) 사용 방식, 스테레오 비전(stereo vision) 사용 방식, 모노 비전(monocular vision) 사용 방식 등으로 구분할 수 있다.

먼저, 레이저 거리 측정기를 사용하는 방식은 측정기로부터 수집한 3차원 점 데이터 집합을 분석하여 팔레트를 인식하고 그 위치를 측정하는 것이다.

레이저 거리 측정기로는 비교적 정확한 3차원 점 데이터 집합을 얻을 수 있지만, 좌우 스캐닝에 의해 측정할 수 있는 영역이 1차원이므로 한 번의 탐색으로 팔레트를 인식할 수 없는 문제가 발생한다.

이 문제를 해결하기 위해 지게차가 정지한 상태에서 측정기를 수직으로 움직이면서 연속적으로 측정해야 한다. 이에 따라 대상 팔레트 영역을 검출하기 위해 상대적으로 많은 시간이 소요된다.

이와 같은 레이저 거리 측정기를 사용하는 방식에서 팔레트에 레이저 반사 마커를 부착하여 사용하는 경우에는 반사 마커를 부착하는 별도의 작업이 필요하고, 유지 관리 측면에서 불리하다.

또한 레이저 거리 측정기가 매우 고전력을 필요로 하며 고비용이므로 실제 활용에 있어서 매우 큰 부담이 된다.

그리고 스테레오 비전을 사용하는 방식의 경우에는 두 대의 카메라를 지게차 의 오버헤드 가드(overhead guard)에 설치하여 대상 팔레트의 위치를 측정한다.

이 방식은 스테레오 영상 정합(matching)을 위해 특징점(feature point)이 잘 추출될 수 있는 형태의 팔레트에 국한하여 사용하거나 별도의 인식 마커를 팔레트에 부착하여 사용하여야 한다. 한편, 스테레오 카메라가 지게차 상단에 고정 부착되어 있어 화물창고 바닥면에 놓인 팔레트만을 인식하여 처리할 수 있으며, 높은 선반 위의 팔레트 화물은 다룰 수 없는 한계가 있다.

그리고 모노 비전을 사용하는 방식은 미리 저장해 둔 팔레트의 색상정보를 이용하여 팔레트 영역을 검출한 후, 미리 측정해 둔 화물창고 바닥 평면과 카메라 간의 상호 관계식을 이용하여 팔레트의 위치를 측정한다.

이에 따라 카메라의 높이가 변할 경우 그 높이를 모르면 위치측정이 불가능하며, 높은 곳의 팔레트 측정도 불가능하다. 또한 미리 저장한 색상정보를 이용하므로 팔레트의 색상이나 조명 변화에도 민감한 방식이다.

실제 물류산업 현장에서의 팔레트 인게이징 작업을 고려할 때, 자동화를 위한 팔레트 인식 기술은 다음과 같은 기능을 갖추어야 한다.

먼저, '표준 팔레트의 자동 인식 기능'을 갖추어야 한다.

물류산업 분야에서 활용되고 있는 팔레트는 매우 다양한 크기, 재질, 형태를 가지고 있으며, 실제로는 수백여 가지가 된다고 한다. 이에, 정부에서는 물류산업의 효율화를 위해 한국 산업표준 KS A 2169에 표준 팔레트를 정의하고 있다. 표준 팔레트는 플라스틱제 평-팔레트로 단단한 단색의 플라스틱 재료를 사용하며 상단과 하단의 모서리를 제외한 모든 모서리가 둥근 것이 특징이다.

한편, 팔레트 인게이징 작업의 자동화를 위해서는 통일된 형식의 팔레트를 대상으로 할 수밖에 없는데, 이 목적에 표준 팔레트가 가장 적합하다. 따라서 팔레트 인게이징 자동화를 위해서는 표준 팔레트를 자동으로 인식하는 기능이 필수적이다.

그리고 '특정 마커나 표식을 사용하지 않는 인식 기능'을 갖추어야 한다.

실제 물류작업 현장에서는 팔레트가 상대적으로 거칠게 다루어지는 것이 일반적이다. 따라서 팔레트에 특정 마커를 부착하거나 표식을 사용하게 되면, 사용하려는 팔레트에 별도의 작업을 해 주어야 하는 부담이 있으며 아울러 사용 중에 훼손될 우려도 높다. 따라서 특정 마커나 표식을 사용하는 것을 지양할 필요가 있다.

그리고 '조명 및 색상 변화에 강인한 인식 기능'이다.

표준 팔레트를 사용하는 경우에도 작업 현장의 조명은 위치별로 차이가 날 수 있으며 다양한 색상의 팔레트가 사용될 수도 있다. 따라서 조명 변화나 색상 변화에 무관하게 팔레트를 인식하는 기능이 필요하다.

그리고 '팔레트 높이에 무관한 인식 기능을 갖추어야 한다.

물류창고에서는 팔레트 화물을 효율적으로 배치하기 위해서 일반적으로 선반 위에 정렬해 놓는 방식을 사용한다. 즉, 선반의 높은 위치에도 팔레트 화물이 놓일 수 있다. 따라서 기존의 인식 방법들 중에서 창고 바닥에 놓인 팔레트의 특징을 이용하거나 지게차 본체(body)에 장착한 센서를 사용하는 방법은 실제 현장에서 활용할 수 없다.

그리고 '저가의 저전력 시스템 기반의 실시간 인식 기능'을 갖추는 것이 필 요하다.

지게차는 독립적으로 운행되는 장비로서 에너지 공급 장치를 연결하여 사용할 수 없다. 따라서 배터리와 같은 별도의 에너지 공급 장치를 장착하고 있다. 이 경우에 레이저 거리 측정기와 같은 고전력을 필요로 하는 센서 장비를 장시간 활용하는 것은 부적절하다.

한편, 경제성을 고려할 때 저가로 시스템을 구현할 필요가 있으며, 또한 인식 과정에서 기계적인 동작을 최대한 배제하여 실시간 인식 처리가 가능하게 할 필요가 있다.

본 발명은 이와 같은 종래 기술의 팔레트 인식 기술의 문제를 해결하기 위한 것으로, 지게차의 포크 캐리지(fork carriage)에 설치된 한 대의 카메라를 이용하여 지게차의 전방에 있는 팔레트의 3차원 위치와 자세를 측정할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.

본 발명은 하나의 카메라 영상 기반으로 무인 지게차 전방의 대상 팔레트를 자동으로 검출하여 그것의 3차원 위치 및 자세를 측정하여 측정된 팔레트 정보를 그래픽 디스플레이를 통해 수동 지게차의 운전자에게 제공할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.

본 발명은 운전자가 시야 확보가 어려운 위치의 팔레트에 대한 인게이징 작업도 쉽고 안전하게 처리할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.

본 발명은 단일 카메라 영상을 이용해 별도의 마커나 표식을 사용하지 않고서 표준 팔레트를 검출하고 인식할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.

본 발명은 팔레트의 상단 및 하단에서 특징적으로 나타나는 직선을 이용하여 팔레트의 자세를 사영기하 기반으로 측정할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.

본 발명은 팔레트 자세 정보와 표준 팔레트의 높이 정보를 바탕으로, 역 투 영과 비례관계식을 이용하여 팔레트의 위치를 측정할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.

본 발명은 지게차 포크 영상을 이용하여 지게차 포크 캐리지에 장착된 카메라에 대한 외부변수를 검정할 수 있도록 한 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 제공하는데 그 목적이 있다.

이와 같은 목적을 달성하기 위한 본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법은 카메라 외부 검정(external calibration) 과정을 수행하는 단계;카메라로부터 영상이 입력되면, 표준 팔레트 영역을 검출하여 인식하는 단계;상기 인식된 표준 팔레트 영역에서 상단 및 하단 특징선을 추출하는 단계;사영기하 기반의 팔레트 자세 측정을 하고, 특징선의 역 투영(back projection)을 통한 팔레트 위치 측정을 하는 단계;를 포함하는 것을 특징으로 한다.

그리고 상기 표준 팔레트 영역을 검출하여 인식하는 단계에서,팔레트 인식을 위한 문턱치의 결정을 위하여,문턱치를 초기화하고, 입력 영상을 받음 --> 팔레트 인식 모듈을 수행 -->인식 여부와 현재 문턱치를 같이 저장 -->문턱치를 증가시키는 과정들을 반복하고,팔레트 인식에 성공한 문턱치들을 나열하고 중간값(median)을 구하여 사용하는 과정을 포함하는 것을 특징으로 한다.

그리고 상기 상단 및 하단 특징선을 추출하는 단계에서,특징선 추출에 필요한 이진화에 사용될 문턱치의 결정을 위하여,문턱치를 초기화하고, 입력 영상을 받음 --> 평행선 추출 모듈을 수행 --> 직선 피팅 에러와 문턱치를 같이 저장 -->문 턱치를 증가시키는 과정들을 반복하고, 직선 피팅 에러가 가장 작은 문턱치를 사용하는 과정을 포함하는 것을 특징으로 한다.

그리고 상기 카메라 외부 검정(external calibration) 과정에서,카메라 영상에서의 포크 모서리 선들에 대한 소멸점을 기반으로 포크 벡터를 구해 카메라 외부 검정을 하는 것을 특징으로 한다.

그리고 상기 영상을 제공하는 카메라는,포크 캐리지에 장착되는 한개의 카메라인 것을 특징으로 한다.

그리고 상기 표준 팔레트 영역을 검출하여 인식하기 위하여,입력 영상에서 팔레트 포크 삽입홀 후보를 검출하는 과정,표준 팔레트의 기하정보에 기반한 표준 팔레트 후보를 검출하는 과정,표준 팔레트의 단일 색상 속성에 기반한 표준 팔레트 인식 과정을 포함하는 것을 특징으로 한다.

그리고 상기 입력 영상에서 팔레트 포크 삽입홀 후보를 검출하는 과정 이전에, 카메라 렌즈의 방사 왜곡(radial distortion)을 보정, 흑백 및 이진 영상으로의 변환, 잡영 제거를 수행한 후, 연결요소(connected component) 레이블링 결과를 구하는 전처리 과정을 수행하는 것을 특징으로 한다.

그리고 상기 팔레트 포크 삽입홀 후보를 검출하는 과정에서,전처리 과정에서 레이블링 된 각 연결요소에 대하여 최소 바운딩 박스(minimum bounding box)를 구한 후, 박스의 가로/세로 비율이 표준 팔레트 포크 삽입홀의 가로/세로 비율과 유사한 연결요소들만을 포크 삽입홀 후보로 등록하는 것을 특징으로 한다.

그리고 상기 표준 팔레트 후보를 검출하는 과정에서, 포크 삽입홀 후보들을 두 개씩 짝을 지어, 두 포크 삽입홀의 크기 및 회전 유사도와 포크 삽입홀 크기 대비 삽입홀 간의 거리 비율이 표준 팔레트의 규격과 유사한 구멍 후보 쌍(pair)만을 선정하는 것을 특징으로 한다.

그리고 상기 표준 팔레트 인식 과정에서,선정된 포크 삽입홀 후보 쌍에 대하여 두 삽입홀의 왼쪽, 중간, 오른쪽 영역의 색상의 유사도를 비교하여 결정하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법은 다음과 같은 효과를 갖는다.

첫째, 인식에 유용한 특징이 별로 없는 표준 팔레트에 대하여 하나의 카메라 영상만으로 팔레트의 3차원 위치 및 자세를 측정할 수 있다.

둘째, 팔레트 영상에서 상단 및 하단에서 안정적으로 추출할 수 있는 직선만을 이용하고 있으며 특별한 마커나 표식은 사용하지 않고도 지게차의 전방에 있는 팔레트의 3차원 위치와 자세를 측정할 수 있다.

셋째, 사영기하 기반의 팔레트 자세 측정 방법과 역 투영 및 비례관계식에 의한 팔레트 위치 측정 등의 새로운 개념의 팔레트의 3차원 위치 및 자세 측정 방식을 제안한다.

넷째, 레이저 기반 기법보다 빠른 속도로 처리가 가능하며 실시간 처리가 가능하고 저전력 시스템의 구현이 가능하다.

다섯째, 팔레트 인식을 위한 표식을 사용하지 않고 높은 선반 위의 팔레트도 처리할 수 있어 현장 적용성이 높다.

이하, 본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법의 바람직한 실시예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법의 특징 및 이점들은 이하에서의 각 실시예에 대한 상세한 설명을 통해 명백해질 것이다.

도 1은 지게차와 팔레트 간의 좌표계 및 팔레트의 위치,자세를 정의하는 구성도이다.

그리고 도 2는 포크 좌표계와 카메라 좌표계를 정의하기 위한 구성도이고, 도 3은 팔레트의 상단 및 하단 특징선을 나타낸 구성도이다.

본 발명은 실제 물류산업 현장에서의 팔레트 인게이징 작업에서 고려해야 할 기능을 모두 갖춘 팔레트 인식 기술에 관한 것으로 지게차에 장착하여 활용할 수 있도록 한 것이다.

본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 위하여 다음과 같은 사항들을 고려한다.

첫째, 특정 마커나 표식이 없는 표준 팔레트의 검출이 가능하도록 한다.

표준 팔레트에 대한 정의에서 인식에 활용할 수 있는 것은 규격 정보와 단색으로 구성되어 있다는 정보뿐이다.

따라서, 본 발명에서는 팔레트 앞면과 뒷면을 관통하는 두 구멍(hole)(포크 삽입홀)의 배치 및 크기 정보만을 활용하여 한 대의 카메라로부터 획득한 영상에서 팔레트 후보 영역을 검출한 후, 두 포크 삽입홀 사이의 색상 정보를 활용하여 팔레트 전체 영역을 결정하는 접근 방법을 사용한다.

둘째, 팔레트의 적재 높이에 무관한 처리가 가능하도록 한다.

지게차의 구성 장치 중에서 하역 대상 팔레트에 가장 가까이 근접 이동하는 것이 포크 캐리지(fork carriage)이므로, 이 장치에 한 대의 카메라를 장착하여 사용함으로써 팔레트의 적재 위치에 무관하게 처리가 가능하도록 한다.

셋째, 팔레트의 자세에 대한 가정 기반의 인식을 가능하게 한다.

하역 대상 팔레트 화물이 정해지면 선반에서의 대략적인 팔레트 적재 위치에 대한 정보가 주어진다. 그러나 팔레트 인게이징을 위해서는 대상 팔레트의 정확한 위치 및 자세를 측정하여야 한다.

이때, 팔레트의 적재 자세는 물류창고 바닥면과 평행하게 놓여 있다는 가정을 한다. 이러한 가정은 실제 물류창고에서 일반적으로 적용할 수 있는 것이다. 이에 따라, 팔레트 자세 측정 문제는 팔레트의 좌우 회전 정보만을 측정하는 것으로 간략화 된다.

넷째, 팔레트 위치 및 자세의 정밀 측정을 가능하도록 한다.

표준 팔레트의 외곽 모서리 및 구멍 모서리가 둥글게 처리되어 있어 측정에 활용할 수 있는 특징 및 속성은 별로 많지 않다.

따라서, 본 발명에서는 하역 대상 팔레트보다 약간 높은 위치에 놓이게 되는 카메라로부터 획득된 영상에서, 팔레트 앞면의 하단 직선과 두 구멍(포크 삽입홀)의 상단 부분을 잇는 직선을 안정적으로 구할 수 있다는 사실과 이러한 두 직선이 실제적으로는 3차원 공간에서 평행하다는 속성만을 활용하여 팔레트의 위치 및 자세를 정밀하게 측정한다.

이에 따라, 측정을 위한 별도의 마커나 표식을 사용할 필요가 없게 된다.

다섯째, 저가의 저전력 시스템 기반의 실시간 처리를 가능하게 한다.

카메라는 레이저 거리 측정기에 비해 상대적으로 가격이 매우 저렴하며 저전력을 사용한다. 그러나 복잡한 영상처리 기법을 사용할 경우에는 연산처리 시간이 길어지는 단점이 있다.

예를 들어, 팔레트 측정시에 반복적인(iterative) 연산 처리 기반의 방법을 사용하는 경우에는 연산처리 시간의 부담을 해결하고자 높은 사양의 PC를 사용하여야 한다.

본 발명에서는 사영기하학(projective geometry)에 기반한 간단한 수식을 이용하여 처리하도록 개선함으로써 낮은 사양의 PC에서도 실시간 처리가 가능하도록 한다.

본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법은 도 1에서와 같이 지게차의 포크 캐리지에 장착한 한 대의 카메라로 입력된 영상을 분석하여 하역 대상 팔레트의 3차원 위치와 자세를 측정해 내는 것이다.

보다 정확하게 말하면, 포크 좌표계에서의 팔레트 기준 위치의 좌표값과 팔레트 앞면의 법선 벡터(normal vector)를 구하는 것이다. 이때, 측정 센서로서 카 메라를 사용하는데, 카메라 좌표계와 포크 좌표계는 도 2에서와 같이 정의한다.

이하에서, 본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법의 구현을 위한 기술구성을 구체적으로 설명한다.

먼저, 본 발명은 포크 좌표계에서 카메라 좌표계의 원점 위치와 각 좌표축의 방향을 결정하는 카메라 외부 검정 기술을 갖는다. 카메라 좌표계에서 계산한 팔레트 위치와 자세 데이터를 포크 좌표계로 변환하기 위해 필요하다.

그리고 카메라로부터 입력된 영상을 분석하여 하역 대상 팔레트의 영역을 자동으로 검출하고 인식하는 표준 팔레트 인식 기술을 포함한다.

그리고 카메라의 위치와 자세를 측정하는데 유용하게 사용할 수 있는 특징을 추출하는 팔레트 측정용 특징 추출 기술을 포함한다.

그리고 본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법은 도 3에서와 같이 팔레트 하단의 경계로부터 추출할 수 있는 하단 특징선(characteristic line)과 두 구멍(포크 삽입홀)의 상단을 연결하는 상단 특징선을 사용한다.

그리고 팔레트 자세 측정은 영상에서의 팔레트 상하단 특징선에 해당하는 실제 팔레트의 직선이 평행하다는 특성을 이용하여 팔레트의 자세를 측정한다. 팔레트는 바닥면과 평행하게 놓여 있다고 가정함에 따라 팔레트 자세는 좌우 회전각에 의해 정해진다.

그리고 팔레트 위치 측정은 표준 팔레트의 높이(height) 정보를 이용하여 팔레트 앞면에 해당하는 평면을 결정한 후 두 구멍(포크 삽입홀)의 중심점을 팔레트 의 위치로 결정한다.

이와 같은 원리를 이용한 본 발명에 따른 모노 비전 기반의 팔레트 위치 및 자세 측정 방법을 구체적으로 설명하면 다음과 같다.

도 4는 본 발명에 따른 표준 팔레트의 위치와 자세 측정 과정을 나타낸 플로우차트이다.

먼저, 도 4에서와 같이, 팔레트 측정 작업을 위한 전처리 과정으로서 카메라 외부 검정(external calibration) 과정을 수행한다.(S400)

그리고 팔레트 측정 작업을 시작함에 따라 카메라로부터 영상이 입력되면, 먼저 표준 팔레트 영역을 검출하여 인식한다.(S410)

다음에는 인식된 표준 팔레트 영역에서 상단 및 하단 특징선을 추출하는 과정을 수행한다.(S420)

이어서 사영기하 기반의 팔레트 자세 측정 과정을 수행하고(S430), 특징선의 역 투영(back projection)을 통한 팔레트 위치 측정 과정을 수행한다.(S440)

상기와 같은 본 발명에 따른 표준 팔레트의 위치와 자세 측정 과정에서 팔레트 인식 단계(S410)에서 문턱치를 자동으로 결정하는 방법과, 평행 특징선 추출 단계(S420)에서 문턱치를 자동으로 결정하는 방법을 적용할 수 있다.

인게이지 할 때 단계를, 지게차가 대상 팔레트 앞에 도착 --> 지게차가 정지한 상태에서 두 문턱치를 자동 결정 --> 결정된 문턱치를 이용하여 차후의 인게이지 작업 수행으로 구분할 수 있다.

먼저 팔레트 인식을 위한 문턱치의 자동 결정은 지게차가 정지한 상태에서 다음 과정을 수행하는 것에 의해 결정된다.

(1)문턱치를 초기화한다.

(2)입력 영상을 받아온다 --> 팔레트 인식 모듈을 수행 -->인식 여부와 현재 문턱치를 같이 저장 -->문턱치를 증가시키는 과정들을 반복한다.

(3)그리고 팔레트 인식에 성공한 문턱치들을 나열하고 중간값(median)을 구하여 사용한다.

그리고 특징선 추출에 필요한 이진화에 사용될 문턱치의 자동 결정은 다음과 같은 과정으로 정해진다.

(1)문턱치를 초기화한다

(2)입력 영상을 받아온다 --> 평행선 추출 모듈을 수행한다 --> 직선 피팅 에러와 문턱치를 같이 저장한다 -->문턱치를 증가시키는 과정들을 반복한다.

(3)직선 피팅 에러가 가장 작은 문턱치를 사용한다.

카메라 외부 검정 작업(S100)을 하기 위해서는 먼저 3차원 작업공간을 나타내기 위한 도 1에서의 기준 좌표계(world coordinate system)에서 포크 좌표계를 명확하게 정의하여야 한다.

포크 좌표계는 오른손 좌표계로 정의하되 원점은 도 2에서와 같이 두 포크가 시작되는 점들을 연결한 직선 위의 중간 지점으로 정의한다.

축은 도 5a와 도 5b에서와 같이 바닥면 법선 벡터

의 반대 방향으로 정의한다.

즉,

.

바닥면 법선 벡터는 기술보고서 Z.Zhang, "A Flexible New Technique for Camera Calibration," MSR-TR-98-71, Technical Report, Microsoft Research, 1998에 공개되어 있는 방법을 응용하여 결정한다.

평면은 바닥면과 평행하게 설정하되,

축의 방향은 지게차 정면 방향으로 설정한다. 그러나 지게차 정면 방향을 직접 구할 수 없으므로, 지게차 정면을 향하지만 바닥면과 평행하지는 않은 포크 벡터

를 구해 이용한다.

이 포크 벡터는 도 6에서와 같이 포크의 네 모서리 변들이 카메라의 영상평면에서 교차하는 점 P의 좌표값(x, y)를 이용하여 결정할 수 있다.

여기에서, 점 P는 평행한 포크 모서리 선들의 소멸점(vanishing point)이다.

카메라 내부 검정에 의해 결정되는 내부변수 행렬을

라고 하면, 포크 벡터는

로 결정된다.

그러면

축을 나타내는 벡터

는

와

의 외적(vector product)

×

로 결정되며,

축을 나타내는 벡터

는

와

의 외적

로 결정된다.

카메라 좌표계에서의 한 점

를 포크 좌표계에서의 좌표값으로 변환하는 수식은

와 같이 쓸 수 있다.

여기에서, R 은 좌표계 간의 회전 행렬이며, T 는 포크 좌표계 원점을 카메라 좌표계 원점으로 이동시키는 벡터이다. 회전 행렬 R 은 다음과 같이 구한다.

여기에서, 단위벡터

은 각각 포크 좌표계의 세 축을 나타내는

의 단위벡터를 의미한다.

표준 팔레트 검출 및 인식 과정에서는 도 7에서와 같은 세부 과정을 거친다.

먼저 카메라 렌즈의 방사 왜곡(radial distortion)을 보정, 흑백 및 이진 영상으로의 변환, 잡영 제거 등을 수행한 후, 연결요소(connected component) 레이블링 결과를 구하는 전처리 과정을 수행한다.(S411)

다음에는 레이블링 된 각 연결요소에 대하여 최소 바운딩 박스(minimum bounding box)를 구한 후, 박스의 가로/세로 비율이 표준 팔레트 구멍의 가로/세로 비율과 유사한 연결요소들만을 구멍 후보로 등록하는 팔레트 구멍 후보 검출 과정을 수행한다.(S412)

이어, 구멍 후보들을 두 개씩 짝을 지어 조사하되, 두 구멍(포크 삽입홀)의 크기 및 회전 유사도와 구멍 크기 대비 구멍 간의 거리 비율이 표준 팔레트의 규격과 매우 유사한 구멍 후보 쌍(pair)만을 선정하는 표준 팔레트 검출 과정을 수행한 다.(S413)

그리고 표준 팔레트가 단일 색상으로 구성되어 있다는 속성을 활용하여 표준 팔레트 여부를 최종 검증하는 과정으로서, 앞 과정에서 선정된 구멍 후보 쌍에 대하여 두 구멍의 왼쪽, 중간, 오른쪽 영역의 색상의 유사도를 비교하여 결정한다.(S414)

도 8a내지 도 8b는 전처리 과정을 거쳐 표준 팔레트를 인식한 결과에 대한 하나의 예제 영상이다.

도 8a는 왜곡 보정과 흑백변환을 수행한 영상이고, 도 8b는 이진화 및 잡음 처리를 거친 영상이고, 도 8c는 인식된 팔레트와 관심 영역을 나타낸 영상이다.

상기한 팔레트 상단 및 하단 특징선 추출 단계(S420)에서는 먼저 표준 팔레트 검출 및 인식 단계(S410)에서 구한 팔레트를 포함하는 관심영역을 도 8에서와 같이 개략적으로 설정한다.

다음에는 표준 팔레트의 검증 과정(S414)에서 구한 색상 정보를 이용하여 도 9의 상단 영상에서와 같이 관심영역의 픽셀(pixel)을 팔레트 픽셀과 배경 픽셀로 구분하는 이진 영상을 만든다.

이진 영상에서 팔레트 하단의 경계를 구성하는 픽셀들을 결정하고, 아울러 두 구멍의 상단을 구성하는 픽셀도 결정한다.

마지막으로, 하단 구성 픽셀들에 대하여 Least Square Line Fitting 알고리즘을 적용하여 팔레트 하단 특징선을 결정한다. 이와 유사하게, 팔레트 두 구멍의 상단을 연결하는 상단 특징선을 도 9의 하단 영상에서와 같이 결정한다.

그리고 사영기하(projective geometry) 기반 팔레트 자세 측정 과정(S430)에서는 팔레트 상단 및 하단 특징선에 해당하는 3차원 작업 공간에서의 직선이 평행하다는 특성과 팔레트는 바닥면과 평행하게 놓여 있다는 가정을 이용하여 팔레트의 자세를 계산한다.

먼저 팔레트 상단 및 하단 특징선을 이용하여 3차원 작업공간에서의 평행 직선의 방향을 결정하는 원리는 도 10에서와 같다.

평행한 두 직선

와 이들의 영상평면 투영 직선

는 각각 원점을 지나는 평면

상에 놓이게 된다.

이 두 평면이 교차하는 직선은 원점을 통과하면서 두 직선

와 평행하게 된다. 따라서 두 평면 위에 놓여 있는 두 직선

의 교차점은 두 평면 교차 직선 위에 있게 된다.

사영기하 측면에서 보면, 3차원 공간에서의 두 평행 직선이 영상평면에 투영되었을 때, 투영된 직선의 소멸점(vanishing point)과 카메라 원점을 지나는 직선은 3차원 공간에서의 두 직선과 평행하다고 말할 수 있다.

카메라 좌표계의 원점에서 소멸점으로 향하는 도 10에서의 벡터

는 다음과 같은 외적 연산에 의해 쉽게 구할 수 있다.

이미지 상에서,

직선

을 지나는 임의의 두 점을

,

직선

를 지나는 임의의 두 점을

라 하면, 이미지 좌표계에서의 점

를 카메라 내부변수 역행렬인

에 곱하여 카메라 좌표계에서의 각 해당점

들의 방향을 나타내는 벡터

를 구할 수 있다.

이 때,

의 법선벡터는

마찬가지로,

의 법선벡터는

와 같이 구할 수 있으며 최종적으로 팔레트 특징선 방향벡터

는

와 같이 구할 수 있으며, 여기에서 내부변수 행렬인

는 full rank 의 정방행렬 이므로

이며

가 항상 존재한다. 그러므로 각 직선

를 결정하는 두 점이 동일하지만 않으면

상기 수식의 결과값은 언제나 유효하다. 이는, 특히 영상에 투영된 두 특징선이 평행한 경우에도 벡터

를 결정할 수 있음을 의미한다.

즉, 어떠한 상황에서도

와 같이 간단히 구할 수 있다.

한편, 벡터

를 포크 좌표계로 변환한 벡터

는 팔레트가 바닥면에 평행하다는 가정에 의해

평면에 놓이게 된다. 따라서 팔레트의 자세 벡터는 도 11에서와 같이

평면에서 시계 방향으로 90도 회전하여 결정할 수 있다.

역 투영 기반 팔레트 위치 측정 과정(S440)에서는 표준 팔레트의 높이 정보를 이용하여 먼저 팔레트 앞면에 대한 평면 식을 결정한 후 팔레트 기준 위치는 두 구멍의 모서리로부터 구할 수 있는 특징점을 이용하여 결정한다.

그리고 팔레트 자세 측정 과정(S430)에서 구한 카메라 좌표계에서의 단위 자세 벡터를

라고 하면, 카메라 좌표계에서의 팔레트 평면 식은

로 표현할 수 있다.

여기에서,

은 단위 벡터이므로

는 카메라 원점에서 팔레트 평면까지의 거리를 나타낸다. 한편, 팔레트 상단 및 하단 특징선을 팔레트 평면에 역 투영하면 평행한 두 직선이 되며, 이 직선 간의 거리는 표준 팔레트 앞면의 밑에서부터 구멍 상단까지의 높이

와 같아야 한다.

도 12에 팔레트 평면과 동일한 법선 벡터

을 가지며 카메라 원점에서

만큼 떨어져 있는 가상 평면에 팔레트 상단 및 하단 특징선을 역 투영하는 방법을 이용하여 팔레트 평면 식에서의

값을 결정하는 원리를 나타내었다.

역 투영된 특징선은 평행하므로 이들 간의 거리를

이라고 하면, 비례 관계

에 의해 이 된다. 여기에서,

는 가상 평면을 정할 때 결정하는 상수이다. 따라서 역 투영된 특징선 간의 거리

을 구하면 팔레트 평면 식을 결정할 수 있다.

그리고 팔레트 상단 특징선이 영상평면의 왼쪽과 오른쪽 모서리와 교차하는 점을 카메라 좌표계에서 각각

라고 하고, 하단 특징선이 교차하는 점은 각각

라고 하면, 이 교차점들을 가상 평면에 역 투영한 점들을 각각

이라고 하면, 이들은 수식

에 의해 결정된다.

여기에서,

는

과

의 내적(dot product) 연산을 의미한다.

도 13에서와 같이, 두 벡터

를 정하면, 거리

은 아래 수식들에 의해

로 구해진다.

여기에서,

은

벡터의 크기를 의미한다.

이와 같이 팔레트 평면이 결정되었으므로 팔레트 위치를 마지막으로 결정한다.

먼저, 팔레트 평면의 수평방향 중앙선(center line, CL)을 도 14a와 도 14b에서와 같이 결정한다.

이 중앙선은 영상에서의 하단 특징선이 팔레트 평면에 역 투영된 직선보다 팔레트 높이

의 절반인

만큼 높은 위치로 결정한다.

다음에는, 중앙선을 영상평면에 재 투영하여 CL^* 을 결정한다. 재 투영된 CL^* 와 팔레트 구멍의 좌우 경계선과의 교차점

를 구한다. 마지막으로, 교차점

를 팔레트 평면에 역 투영하여 구한 특징점

를 평균하여 최종 팔레트 위치를 결정한다.

이와 같이 결정된 팔레트의 위치는 카메라 좌표계 기준의 값이므로 카메라-포크 자세검정 과정에서 측정된 외부변수를 이용하여 포크 좌표계 기준으로 변환하 여 사용한다.

본 발명에 따른 팔레트 위치 및 자세 측정 방법은 실제 작업현장에서 요구되는 사항을 최대한 고려한 것으로 아래와 같이 강인한 팔레트 인식 성능을 구현한다.

먼저, 표준 팔레트의 강인한 인식이 가능한 것으로, 표준 팔레트에 특정 마커나 표식을 사용하지 않고서도 인식이 가능하고, 표준 팔레트의 색상에 무관하게 인식 가능하고, 조명 변화에도 강인하게 인식 가능하다.

또한, 팔레트의 적재 높이에 무관하게 인식 가능한 것으로, 지게차 포크 캐리지에 한 대의 카메라를 장착함에 따라 팔레트가 적재되어 있는 높이에 무관하게 팔레트 인식이 가능하다.

그리고 수동 지게차의 운전자에게 높은 위치의 팔레트에 대한 위치 및 자세 정보를 그래픽 인터페이스를 통해 제공함으로써 안전하고 수월한 팔레트 화물 작업에 도움을 줄 수 있다.

그리고 팔레트 위치 및 자세의 신속한 측정이 가능한 것으로, 검증된 간단한 수식에 대한 연산을 통해 처리하므로 매우 신속하게 팔레트 위치 및 자세를 측정 가능하고, 실시간으로 팔레트 화물의 인게이징(engaging)이 가능하다.

그리고 저가의 저전력 시스템 구현을 가능하도록 한 것으로, 카메라 한 대만을 사용하므로 고가의 레이저 거리 측정기에 비해 가격이 매우 저렴하다.

그리고 카메라 한 대를 구동하기 위한 전력만 필요하므로 저전력 시스템 구현이 가능하고, 저가의 낮은 사양의 산업용 PC를 사용하여 시스템 구현이 가능하다.

본 발명에 따른 팔레트 위치 및 자세 측정 방법을 실제 작업현장에서 구현하기 위해서는 표준 팔레트를 촬영하기 위한 한 대의 비전 카메라와 지게차에서 운용될 수 있는 산업용 PC를 지게차에 설치하여야 한다.

비전 카메라는 VGA 규격 이상의 해상력을 가지면서 초당 10장 이상의 영상을 전송할 수 있어야 하고, 수동 밝기 조절이 가능한 칼라 카메라인 것이 바람직하다.

또한, 카메라에 부착할 렌즈는 팔레트의 인게이징 작업시 팔레트가 시야를 벗어날 확률을 줄이기 위해 약 70도 정도의 가로 화각을 갖는 것이 바람직하다.

그리고 카메라의 설치 위치는 포크 좌표계 원점으로 부터 상단으로 약 30cm정도의 지점이 바람직하고, 카메라의 각도는 지평면과 평행에 가까우며 포크의 끝부분이 영상 하단의 1/3 이상을 차지하지 않을 정도로 정하는 것이 바람직하다.

또한, 카메라는 포크 캐리지의 상하 이동과 일치되게 이동해야 하므로 반드시 포크 캐리지에 장착해야 한다. 이때, 포크의 틸트(tilt) 동작에 의해 상하로 회전 움직임이 없는 부분에 고정 설치하여야 한다.

그리고 산업용 PC는 지게차의 자체 전원으로 무리가 없을 정도로 저전력으로 동작하는 사양이어야 하며, 원활한 팔레트 적재를 위하여 본 발명을 구현한 소프트웨어 모듈이 초당 10번 이상의 팔레트 위치 측정을 수행할 수 있을 정도의 성능을 갖는 것이 바람직하다.

이와 같은 설치 기준 및 사양들은 한정되는 것이 아니고, 현장 상황, 기기 상태 등에 따라 다르게 할 수 있음은 당연하다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

도 1은 지게차와 팔레트 간의 좌표계 및 팔레트의 위치,자세를 정의하는 구성도

도 2는 포크 좌표계와 카메라 좌표계를 정의하기 위한 구성도

도 3은 팔레트의 상단 및 하단 특징선을 나타낸 구성도

도 4는 본 발명에 따른 표준 팔레트의 위치와 자세 측정 과정을 나타낸 플로우차트

도 5a와 도 5b는 포크 좌표계를 정의하기 위한 구성도

도 6은 포크 모서리들의 소멸점으로부터 포크 방향 벡터를 결정을 위한 구성도

도 7은 본 발명에 따른 표준 팔레트의 인식 과정을 나타낸 플로우차트

도 8a내지 도 8c는 본 발명에 따른 표준 팔레트의 인식 방법에 의한 처리결과를 나타낸 구성도

도 9는 팔레트의 상단 및 하단 특징선을 결정하는 과정을 나타낸 구성도

도 10은 팔레트 상단 및 하단 특징선으로부터 사영기하 속성을 이용하여 팔레트 앞면의 가로 평행선을 결정하는 원리를 나타낸 구성도

도 11은 팔레트 앞면 가로 평행선 방향으로부터 팔레트의 자세를 결정하는 방법을 나타낸 구성도

도 12는 팔레트 상단 및 하단 특징선의 역 투영에 의해 팔레트 평면을 결정하는 원리를 나타낸 구성도

도 13은 역 투영된 특징선 간의 거리를 결정하는 원리를 나타낸 구성도

도 14a와 도 14b는 팔레트 구멍 모서리와 중앙을 통과하는 직선을 이용하여 역 투영과 재 투영을 통해 팔레트 위치를 계산하는 방법을 나타낸 구성도

Claims

카메라 외부 검정(external calibration) 과정을 수행하는 단계;

카메라로부터 영상이 입력되면, 표준 팔레트 영역을 검출하여 인식하는 단계;

상기 인식된 표준 팔레트 영역에서 상단 및 하단 특징선을 추출하는 단계;

사영기하 기반의 팔레트 자세 측정을 하고, 특징선의 역 투영(back projection)을 통한 팔레트 위치 측정을 하는 단계;를 포함하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.
제 1 항에 있어서, 상기 표준 팔레트 영역을 검출하여 인식하는 단계에서,

팔레트 인식을 위한 문턱치의 결정을 위하여,

문턱치를 초기화하고, 입력 영상을 받음 --> 팔레트 인식 모듈을 수행 -->인식 여부와 현재 문턱치를 같이 저장 -->문턱치를 증가시키는 과정들을 반복하고,

팔레트 인식에 성공한 문턱치들을 나열하고 중간값(median)을 구하여 사용하는 과정을 포함하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.
제 1 항에 있어서, 상기 상단 및 하단 특징선을 추출하는 단계에서,

특징선 추출에 필요한 이진화에 사용될 문턱치의 결정을 위하여,

문턱치를 초기화하고, 입력 영상을 받음 --> 평행선 추출 모듈을 수행 --> 직선 피팅 에러와 문턱치를 같이 저장 -->문턱치를 증가시키는 과정들을 반복하고,

직선 피팅 에러가 가장 작은 문턱치를 사용하는 과정을 포함하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.
제 1 항에 있어서, 상기 카메라 외부 검정(external calibration) 과정에서,

카메라 영상에서의 포크 모서리 선들에 대한 소멸점을 기반으로 포크 벡터를 구해 카메라 외부 검정을 하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.
제 1 항에 있어서, 상기 영상을 제공하는 카메라는,

포크 캐리지에 장착되는 한개의 카메라인 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.
제 1 항에 있어서, 상기 표준 팔레트 영역을 검출하여 인식하기 위하여,

입력 영상에서 팔레트 포크 삽입홀 후보를 검출하는 과정,

표준 팔레트의 기하정보에 기반한 표준 팔레트 후보를 검출하는 과정,

표준 팔레트의 단일 색상 속성에 기반한 표준 팔레트 인식 과정을 포함하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.
제 6 항에 있어서, 상기 입력 영상에서 팔레트 포크 삽입홀 후보를 검출하는 과정 이전에,

카메라 렌즈의 방사 왜곡(radial distortion)을 보정, 흑백 및 이진 영상으로의 변환, 잡영 제거를 수행한 후, 연결요소(connected component) 레이블링 결과를 구하는 전처리 과정을 수행하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.
제 6 항에 있어서, 상기 팔레트 포크 삽입홀 후보를 검출하는 과정에서,

전처리 과정에서 레이블링 된 각 연결요소에 대하여 최소 바운딩 박스(minimum bounding box)를 구한 후, 박스의 가로/세로 비율이 표준 팔레트 포크 삽입홀의 가로/세로 비율과 유사한 연결요소들만을 포크 삽입홀 후보로 등록하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.
제 6 항에 있어서, 상기 표준 팔레트 후보를 검출하는 과정에서,

포크 삽입홀 후보들을 두 개씩 짝을 지어, 두 포크 삽입홀의 크기 및 회전 유사도와 포크 삽입홀 크기 대비 삽입홀 간의 거리 비율이 표준 팔레트의 규격과 유사한 구멍 후보 쌍(pair)만을 선정하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.
제 6 항에 있어서, 상기 표준 팔레트 인식 과정에서,

선정된 포크 삽입홀 후보 쌍에 대하여 두 삽입홀의 왼쪽, 중간, 오른쪽 영역의 색상의 유사도를 비교하여 결정하는 것을 특징으로 하는 모노 비전 기반의 팔레트 위치 및 자세 측정 방법.