KR20170092734A - 컬러 정보를 이용한 팔레트 검출 방법, 및 무인 운송 로봇의 팔레트 적재 상태 인식용 비전 모듈 - Google Patents

Abstract

팔레트의 컬러 정보와 물리적인 형상에 대해서 오프라인에서 처리한 팔레트의 기준 영상과, 물류 센터 내에서 이동하는 무인 운송 로봇에 장착된 카메라로부터의 입수된 팔레트의 비교 영상으로부터, 기준 영상 및 비교 영상에 대해서, HSV 원뿔(conic) 컬러 모델을 사용하여, 기준 영상 및 비교 영상의 공간 좌표에 대해서, 컬러 디스턴스를 계산하고, 이 컬러 디스턴스에 기초하여 비교 영상을 그레이 영상으로 변환하고, 변환된 그레이 영상을 이진화하여 팔레트의 외곽선을 검출하여, 비교 영상 중의 팔레트를 검출하는 방법이 제공된다.
또한, 물류 센터 내에서 이동하는 무인 운송 로봇에 장착된 비전 카메라로부터 입수되는 영상으로부터, 팔레트 또는 상기 팔레트에 적재된 화물의 최상단을 이루는 좌표 집합으로부터, 소정의 편평도를 계산하고, 계산된 편평도가 소정의 범위 내이면, 팔레트 상에 이중 적재가 가능하다고 결정하는, 무인 운송 로봇의 팔레트 상태 인식용 비전 모듈도 제공한다.

Description

컬러 정보를 이용한 팔레트 검출 방법, 및 무인 운송 로봇의 팔레트 적재 상태 인식용 비전 모듈{METHOD FOR EXTRACTING PALLET IMAGE USING COLOR INFORMATION, AND RACK OR PALLET LOADING CONDITION RECOGNITION MODULE USING VISION RECOGNITION FOR AUTOMATIC GUIDED VEHICLE}

본 발명은 랙(rack) 또는 팔레트(pallet, 이하, 집합적으로 "팔레트"라 함)를 검출하는 방법, 및 팔레트 적재 상태 인식용 비전 모듈에 관한 것으로, 특히 무인 운송 로봇(AGV, Automatic Guided Vehicle)에서 사용되는 비전 카메라를 이용하여 비전 카메라로부터 입수되는 컬러 정보를 이용하여 팔레트를 검출하고, 또한, 랙 또는 팔레트의 수평 상태를 정확하게 추출하고, 이에 기반하여, 화물이 적재된 랙 또는 팔레트 위에 또 다른 화물을 이중으로 적재하려는 경우, 아래에 적재된 화물이 수평 상태인지를 판별할 수 있는 무인 운송 로봇용 랙 상태 인식 비전 모듈에 관한 것이다.

택배의 증가로 인한 물류량의 폭증은 피할 수 없는 추세가 되었으며, 이에 대응하기 위해서, 기업들은 점점 더 대형화되는 물류 센터(또는 물류 터미널, 물류 창고로 불리기도 함)를 구축하고 있다.

이와 같은, 대형 물류 센터의 경우, 관리의 용이를 위해서 무인 운송 로봇의 사용은 필수이다.

예를 들면, 특히, 미합중국의 아마존(Amazon)과 같은 거대 물류 기업의 경우, 작업자의 일일 처리 용량이 지나치게 과도해지고 있기 때문에 이미 무인 운송 로봇을 도입한 바가 있다.

이와 같이, 물류 센터가 대형화되면서, 필수적으로 팔레트(pallet)를 사용하여 급증하는 물류 흐름에 대응하고 있다.

한편, 물류 센터 내에서의 무인 운송 로봇은 물류 센터 바닥 또는 기둥과 같은 특정한 공간에 형성한 마커(marker)를 추종하여 이동하거나, 전파나 레이저와 같은 무선을 이용하여 이동하거나, 또는 로봇 전면에 부착한 카메라 모듈을 이용하여 비전 인식을 통해서 이동하고 있다.

이들 방식 중에서 첫번째의 방식은 시설에 투자되는 비용이 과도할 뿐만 아니라 마커가 삭제되는 등의 오류가 발생하면 물류 센터 전체의 운용이 마비될 우려가 있었고, 두번째의 방식은 무선 잡음 또는 이동시 연산이 복잡한 경우에는 무인 운송 로봇이 잠시 정지해야 하는 등의 불요한 과부하가 발생할 우려가 있었기 때문에, 최근의 무인 운송 로봇은 카메라를 이용하는 비전 인식용 모듈을 사용하고 있다.

이와 같이, 비전 인식용 모듈을 사용하는 경우에, 무인 운송 로봇에 소요되는 모듈의 크기 및 연산량이 최소화되는 것이 바람직하다.

한편, 상술한 팔레트 이외에도 물류 센터에서는 화물을 적재하기 위한 랙(rack)도 사용되고 있으며, 후술하는 본 발명의 바람직한 설명에서는, 팔레트와 랙이 모두 화물을 그 상단에 적재하는 기능을 수행하고 있으므로, 이들 구성을 집합적으로 지칭하여 단순히 '팔레트'라고 언급하기로 한다.

이와 같이, 물류 센터에서는 팔레트가 이용되고 있지만, 단순히 일단만 적재하는 경우, 즉 하나의 팔레트 상에만 화물을 적재하는 경우에는 물류 센터의 공간을 과도하게 낭비하는 결과가 초래되며, 따라서 물류 센터의 공간 효율성을 위해서는 화물을 이중으로 적재할 수 있어야 한다.

여기에서, 이중 적재의 경우에 발생할 수 있는 문제점에 대해서 간단하게 설명하기로 한다.

도 1은, 무인 운송용 로봇이 취급하는 랙(rack) 또는 팔레트(pallet)에 화물이 적재된 상태를 설명하는 도면으로, 도 1(a)는 랙 또는 팔레트 상에 화물이 일단으로 적재된 상태를 나타내고, 도 1(b)는 랙 또는 팔레트 상에 화물이 이단으로 적재된 상태를 나타내는 도면이며, 도 2(a) 내지 도 2(c)는, 도 1(a)에 나타낸 상태와 유사한 상태의 화물 적재 상태를 나타내는 도면으로, 각각, 랙 또는 팔레트를 이단으로 적재할 수 없는 경우를 나타내는 도면이다.

도 1, 특히 도 1(a)에 따르면, 팔레트 상에 화물을 일단, 즉 팔레트(10) 상에만 화물(14)을 쌓는 경우에는, 상술한 바와 같이, 물류 센터에 있어서, 팔레트(10) 상측의 공간 낭비가 초래되었다.

도 1(a)에 있어서, 도면 부호 10은 팔레트를, 도면 부호 12는 무인 운송 로봇에 부착되는 포크가 삽입되는 포크 구멍으로 통상 도시한 바와 같이 팔레트의 일측면에 두 개씩 형성될 수 있다.

도 1(a)에서, 화물(14)은 이중으로 적재되어 있지만, 그 상측면은 모두 편평하다는 것에 주목하여야 한다.

한편, 도 1(b)에서는, 하단의 팔레트(10) 상에 다수의 화물(14)을 적재한 다음, 그 위에 또 다른 팔레트(20)를 올린 다음, 이 팔레트(20) 위에 다른 화물(24)을 적재하는 경우에 대해서 도시하고 있으나, 이 경우에도 하단의 팔레트(10) 상에 적재된 화물(14)의 최상단면이 편평, 즉 지면에 대해서 수평을 이루고 있는 상태인 것을 알 수 있으며, 이와 같이, 화물(14)이 편평하게 적재된 경우에만 안전하게 팔레트(20)를 적재할 수 있다.

이때의 팔레트(20)는 이중 적재시 상측 랙 또는 팔레트로 이해하는 것이 바람직하다.

또한, 경우에 따라서는, 적재되는 화물(12 또는 14)이 도시한 경우와는 달리 적재되는 경우, 예를 들면, 취급 수량이 적은 경우에는 팔레트(10 또는 20) 상의 일부분에만 적재되는 경우도 발생하고 있었다.

한편, 도 2(a) 내지 도 2(c)에 따르면, 하단에 위치하는 팔레트(10) 상에 적재된 화물(14)에 대해서, 화물(14)이 배치되지 않은 빈 공간(16)이 하나 이상 형성되어 있음을 알 수 있으며, 이와 같이, 빈 공간(16)에 의해서 화물(14)의 최상단을 이루는 수평선이 편평하지 않게 되면, 도 1(b)에 나타낸 바와 같이, 팔레트(10) 상에 또 다른 팔레트(20)를 추가 적재하는 경우, 하단부에 적재된 화물(14)이 경사를 이루고, 이에 의해서, 화물(14) 또는 팔레트(20)가 한쪽 방향으로 이동하여 붕괴할 우려가 있기 때문에 이는 바람직하지 않다.

다르게는, 도 2에서는 모두 동일한 크기의 화물(14)을 적재한 경우를 상정하였으나, 경우에 따라서는 가로 및/또는 세로 폭이 다른 화물이 적재되는 경우가 발생할 수도 있으며, 이 때에는 팔레트(20)를 올리는 경우, 상술한 바와 같이, 팔레트(20)가 한쪽 방향으로 이동하게 되면, 미끄러져 떨어질 우려가 있으며, 이와 같은 일이 발생하면, 무인 운송 로봇의 포크가 팔레트(20)를 제대로 취급할 수 없을 우려가 높아지게 된다.

이와 같은 문제를 극복하기 위해서는, 팔레트 상에, 이 팔레트의 가로와 세로 크기를 고려하고, 또한 팔레트가 적재되는 공간의 높이를 고려하여 별도의 상자(box)를 적재하여 사용하거나, 이와 같은 크기를 고려하여 물류 센터 내에 소정의 크기를 갖는 랙(rack)을 설치하여 두고 있었다.

이와 같이, 전용 박스나 소정 크기의 랙을 설치하는 경우에, 표준 크기를 벗어나는 크기의 물류품은 별도의 공간에 배치해야 하는 등의 번거로운 절차를 밟아야 하여 경제적으로 불리하였다.

본 발명과 관련한 배경 기술로서의 특허문헌 1은, 카메라로부터 입수된 영상으로부터 표준 팔레트 영역을 검출하여 인식하고, 인식된 표준 팔레트 영역에 대해서 상단 및 하단의 특징선을 추출한 다음, 사영 기하학에 기반하여 팔레트의 자세를 측정하는 구성에 대해서 개시하고 있다.

그러나, 특허문헌 1에 개시된 구성은, 팔레트의 자세를 측정함에 있어서 사영 기하학에 기반하는 복잡한 연산 처리가 요구되며, 또한 팔레트(또는 랙)에 화물을 이중으로 적재하는 문제에는 적절하게 대응할 수 없었다.

이에, 본 발명의 발명자들은 각고의 노력 끝에, 무인 운송 로봇(AGV, Automatic Guided Vehicle)에서 사용하고 있는 기존의 비전 카메라를 이용하여 팔레트의 컬러 정보를 이용하여 팔레트를 검출하는 방법, 및 랙 또는 팔레트, 특히 적재된 화물 최상단의 수평 상태를 정확하게 추출하고, 이에 기반하여, 화물이 적재된 랙 또는 팔레트 위에 또 다른 화물을 이중으로 적재하려는 경우, 아래에 적재된 화물이 수평 상태인지를 판별할 수 있는 무인 운송 로봇용 랙 상태 인식 비전 모듈을 창출하였다.

대한민국 공개특허공보 제10-2011-0027460호(2011년 03월 16일 공개, 발명의 명칭: 모노 비전 기반의 팔레트 위치 및 자세 측정 방법)

본 발명의 일 목적은, 기존의 무인 운송 로봇(AGV, Automatic Guided Vehicle)에서 사용하고 있는 비전 카메라를 그대로 이용하여 팔레트의 컬러 정보로부터 팔레트를 검출하는 방법, 및 랙 또는 팔레트, 특히 적재된 화물 최상단의 수평 상태를 정확하게 추출하고, 이에 기반하여, 화물이 적재된 랙 또는 팔레트 위에 또 다른 화물을 이중으로 적재하려는 경우, 아래에 적재된 화물이 수평 상태인지를 판별할 수 있는 무인 운송 로봇용 랙 상태 인식 비전 모듈을 제공하는 것이다.

또한, 본 발명의 다른 목적은, 물류 센터에 있어서, 물류 센터 내의 공간의 낭비를 최소화하고, 또한 별도의 박스 또는 소정 크기의 공간을 갖는 랙을 구축하는 비용을 절감하는 것이다.

본 발명이 "해결하고자 하는 과제"는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)는 이하의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 본 발명이 "해결하고자 하는 과제"의 해결 수단으로서, 본 발명의 바람직한 일 실시예에 따른 컬러 정보를 이용한 팔레트 검출 방법은, 물류 센터에서 사용되는 팔레트를 검출하는 방법으로서, 상기 팔레트의 컬러 정보와 물리적인 형상에 대해서 오프라인에서 처리한 상기 팔레트의 기준 영상과, 물류 센터 내에서 이동하는 무인 운송 로봇에 장착된 카메라로부터의 입수된 팔레트의 비교 영상으로부터,

상기 기준 영상 및 상기 비교 영상에 대해서, HSV 원뿔 컬러 모델을 사용하여, h, s, v에 대응하는 공간 좌표를 계산하고;

상기 기준 영상 및 상기 비교 영상의 상기 공간 좌표에 대해서, 하기 수학식 1에 기초하여 컬러 디스턴스를 계산하고;

상기 컬러 디스턴스에 기초하여, 하기 수학식 2에 기초하여 상기 비교 영상을 그레이 영상으로 변환하고;

상기 그레이 영상으로 변환된 상기 비교 영상에 대해서, 하기 수학식 3에 기초하여 이진화하여 팔레트를 검출하고; 또한

이진화되어 검출된 상기 팔레트에 대해서, 그 외곽선을 검출하여, 상기 비교 영상 중의 팔레트를 검출하는 방법.

[수학식 1]

여기에서, x_r, y_r, 및 z_r은 상기 기준 영상의 색상 좌표, x_i, y_i, 및 z_i는 상기 기준 영상의 색상 좌표로부터 가장 먼 거리의 색상 좌표.

[수학식 2]

여기에서, gray(i)는 비교 영상의 각 색상 좌표의 그레이 영상값.

[수학식 3]

여기에서, B(i)는 비교 영상의 색상 좌표의 이진화값, gray(i)는 비교 영상의 각 색상 좌표의 그레이 영상값, threshold는 소정의 값.

또한, 상술한 본 발명이 "해결하고자 하는 과제"의 해결 수단으로서, 본 발명의 바람직한 다른 실시예에 따른 무인 운송 로봇의 팔레트 적재 상태 인식용 비전 모듈은, 물류 센터 내에서 이동하는 무인 운송 로봇에 장착된 비전 카메라로부터 입수되는 영상으로부터, 팔레트 또는 상기 팔레트에 적재된 화물의 최상단을 이루는 좌표 집합으로부터, 하기 수학식 4를 이용하여, 편평도를 계산하고; 또한 상기 계산된 편평도가 소정의 범위 내이면, 팔레트 상에 이중 적재가 가능하다고 결정할 수 있다.

[수학식 4]

여기에서, y_i는 좌표 집합을 이루는 좌표 중의 i번째 y 축 좌표, E(y_i)는 상기 y 축 좌표 집합의 y_i에 대한 평균.

기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.

그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 "청구범위"의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.

이상과 같은 구성을 갖는 본 발명의 컬러 정보를 이용한 팔레트 검출 방법, 및 무인 운송 로봇의 팔레트 적재 상태 인식용 비전 모듈에 따르면, 물류 센터에 있어서, 팔레트의 자세를 항상 정확하게 검출하여, 무인 운송 로봇의 작업용 포크가 정확하게 결합될 수 있도록 하여 안전한 작업을 가능하게 하고, 또한, 검출된 팔레트(또는 랙) 상에 이중으로 화물을 적재할 수 있는 경우를 검출하고, 이에 기초하여 팔레트 상에 안전하게 이중으로 화물을 적재할 수 있게 된다.

또한, 이상과 같은 구성을 갖는 본 발명의 무인 운송 로봇의 팔레트 상태 인식용 비전 모듈에 따르면, 물류 센터에 있어서, 공간의 낭비를 적극적으로 방지할 수 있으며, 별도의 박스 또는 소정의 크기를 갖는 랙을 구축하는 비용 또한 절감할 수 있다.

도 1은, 무인 운송용 로봇이 취급하는 랙(rack) 또는 팔레트(pallet)에 화물이 적재된 상태를 설명하는 도면으로, 도 1(a)는 랙 또는 팔레트 상에 화물이 일단으로 적재된 상태를 나타내고, 도 1(b)는 랙 또는 팔레트 상에 화물이 이단으로 적재된 상태를 나타내는 도면이다.
도 2(a) 내지 도 2(c)는, 도 1(a)에 나타낸 상태와 유사한 상태의 화물 적재 상태를 나타내는 도면으로, 각각, 랙 또는 팔레트를 이단으로 적재할 수 없는 경우를 나타내는 도면이다.
도 3은, 본 발명의 바람직한 일 실시예에 따른, 랙 또는 팔레트 검출 방법에 있어서, 오프라인에서 이루어지는 팔레트 컬러 학습 단계에 의해서 얻어지는 팔레트 영상과, 비전 처리용 카메라로부터 입력되는 입력 영상으로부터, 팔레트의 외곽선을 검출하는 방법을 순차적으로 설명하는 순서도이다.
도 4a 내지 도 4e는, 본 발명의 바람직한 일 실시예에 따른, 랙 또는 팔레트 검출 방법에 있어서, 도 3에 나타낸 팔레트의 외곽선을 검출하는 방법에서의 대응하는 각각의 영상을 나타낸 도면이다.
도 5는, 본 발명의 바람직한 일 실시예에 따른, 랙 또는 팔레트 검출 방법에 있어서, 카메라 좌표계와 이에 대응되는 팔레트 좌표계를 단순하게 설명하기 위한 설명도이다.
도 6은, 본 발명의 바람직한 다른 실시예에 따른, 랙 또는 팔레트 상태 인식용 비전 모듈에 있어서, 편평도 및 이를 도출하기 위한 수식을 설명하기 위한 예시적인 설명도이다.
도 7은, 본 발명의 바람직한 다른 실시예에 따른, 랙 또는 팔레트 상태 인식용 비전 모듈에 있어서, 편평도를 도출함에 있어서 더욱 구체적으로 설명하기 위한 설명도이다.
도 8은, 본 발명의 바람직한 다른 실시예에 따른, 랙 또는 팔레트 상태 인식용 비전 모듈이 구한 편평도의 일례를 나타내는 도면이다.
도 9는, 본 발명의 바람직한 다른 실시예에 따른, 랙 또는 팔레트 상태 인식용 비전 모듈에 있어서, 급격한 조명의 변화에도 편평도를 제대로 추출할 수 있음을 나타내는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하기로 한다.

본 발명을 상세하기 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.

즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.

또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.

본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.

더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.

반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.

마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.

또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.

또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.

더욱이, 본 발명의 명세서에서는, "…부", "…기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.

또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.

본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.

또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.

도 3은, 본 발명의 바람직한 일 실시예에 따른, 랙 또는 팔레트 검출 방법에 있어서, 오프라인에서 이루어지는 팔레트 컬러 학습 단계에 의해서 얻어지는 팔레트 영상과, 비전 처리용 카메라로부터 입력되는 입력 영상으로부터, 팔레트의 외곽선을 검출하는 방법을 순차적으로 설명하는 순서도이다.

본 발명의 일 측면에 따르면, 본 발명은 물류 센터에서 사용되는 팔레트를 검출하는 방법에 관한 것으로서, 컬러 정보를 이용하며, 예를 들면, (오프라인 상의) 팔레트 학습 단계(S10), 컬러 디스턴스 계산 단계(S20), 그레이 영상 변환 단계(S30), 팔레트 검출 (이진화) 단계(S40), 및 팔레트 외곽선 검출 단계(S50)를 포함하고 있을 수 있다.

이때, 물류 센터 내에서 사용되는, 바람직하게는 도 1에서 나타낸 팔레트(10)에 대해서, 사전에 이들 팔레트(10)의 특징, 예를 들면, 그 물리적인 형상이나 컬러 정보에 대해서 학습할 수 있다(단계 S10).

사전 학습은 별도의 비전 인식 모듈, 예를 들면, 유무선 네트워크를 통해서 온라인에 접속된 비전 인식 시스템을 사용하여 수행될 수 있다.

사전 학습된 영상은 기준 영상(reference image)으로 간주하고, 이하의 설명에서는 이 기준 영상을 이용하여, 팔레트를 인식하는 방법에 대해서 설명함을 알아야 한다.

또한, 물류 센터 내에서 이동하는 무인 운송 로봇(미도시)에 장착된 비전 인식용 카메라(미도시)로부터의 매순간 입력된 영상은 비교 영상으로 간주될 수 있으며, 본 발명의 바람직한 일 실시예에 따르면, 상술한 기준 영상 및 비교 영상에 대해서, HSV 원뿔 컬러 모델을 사용하여, h, s, v에 대응하는 공간 좌표(x, y, z)를 계산할 수 있다.

여기에서, h, s, v에 대응하는 공간 좌표(x, y, z)는 다음과 같은 간단한 수학식에 의해서 계산될 수 있다.

이와 같은, 좌표 변환은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게는 공지된 기술이며, 따라서 이 컬러 모델에 대해서는 더 이상의 설명을 생략하기로 한다.

참고로, HSV 원뿔(conic) 컬러 모델은 인간의 색감을 가장 유사하게 표현하는 컬러 모델이며, v가 작은 경우, 즉 컬러 모델에 있어서 하단측에 위치하는 검은색에 가까운 경우에는 h, s 값에 관계없이 최종 컬러는 모두 유사한 색으로 간주할 수 있으므로 경우에 따라서는 좌표 변환과 관련된 계산이 매우 용이해짐을 알아야 한다.

다음으로, 기준 영상 및 비교 영상에 대해서 얻은 공간 좌표에 대해서, 다음 수학식을 이용하여 컬러 디스턴스(color distance)를 계산할 수 있다(단계 S20).

[수학식]

여기에서, x_r, y_r, 및 z_r은 상기 기준 영상의 색상 좌표를 나타내고, x_i, y_i, 및 z_i는 상기 기준 영상의 색상 좌표로부터 가장 먼 거리의 색상 좌표를 나타낸다.

이때, 본 발명에 따르면, HSV 기준 컬러값(h, s, v)으로부터 공간 좌표(x, y, z)를 얻은 다음에, hsv 컬러값으로 표현될 수 있는 가장 먼 거리에 있는 색상의 좌표까지의 컬러 디스턴스(color distance, 색상 거리)가 계산될 수 있다.

이때, 예를 들면, 8 비트 HSV 원뿔 컬러 모델에서의 최소값은 (0, 0, 0)이며, 그 최대값은 (180, 255, 255)로 설정될 수 있다.

이를 통해서, 상술한 컬러 디스턴스의 수학식을 이용하여 이 컬러 디스턴스의 최대값을 계산한다.

이어서, 위의 수학식을 사용하여 얻은 컬러 디스턴스로부터, 다음 수학식을 사용하여 비교 영상을 그레이 영상으로 변환할 수 있다(단계 S30).

[수학식]

여기에서, gray(i)는 비교 영상의 각 색상 좌표의 그레이 영상값을 나타낸다.

상술한 수학식은, 계산에 의해서 구한 컬러 디스턴스의 값이 0인 경우에는, 해당 화소의 그레이 영상값을 255로 두고, 다른 경우에 컬러 디스턴스가 max(예컨대, 영상을 8 비트로 처리하는 경우에는 255)에 도달하는 경우에는 0으로 둔다는 것을 의미할 수 있다.

이를 더욱 구체적으로 설명하자면, gray(i) 값은 다음의 간단한 수학식에 의해서 결정되는 것으로 이해하면 바람직하다.

이때, 사용되는 각종 기호는 상술한 수학식에서 사용된 기호와 동일하다.

예를 들면, 기준 영상 중의 색상 좌표의 값이 (10, 10, 10)이라고 하면, h 71, s 254, v 254와의 거리가 가장 먼 거리가 되며, 이때의 컬러 디스턴스는 (최대값으로서) 361로 계산될 수 있다.

이 상태에서 hsv(71, 254, 254)와의 거리를 계산하면, 345의 값을 얻을 수 있고, 따라서 gray(i)의 값은 10이 될 수 있다.

다음으로, 그레이 영상으로 변환된 비교 영상에 대해서, 다음 수학식에 기초하여 이진화하여 팔레트를 검출할 수 있다(단계 S40).

[수학식]

여기에서, B(i)는 비교 영상의 각 색상 좌표의 이진화값을, gray(i)는 비교 영상의 각 색상 좌표의 그레이 영상값을, 또한 threshold는 소정의 값을 나타낸다.

소정의 값은, 노이즈에 강한 값으로 정해질 수 있으며, 통상의 물류 센터는 거의 항상 일정한 밝기의 조명 상태로 유지되고 있기 때문에, 그레이 영상으로 변환하였을 때 이 소정의 값에 기초하여 이진화 처리하는 경우에, 노이즈에 강한 로버스트한 이진화 영상을 얻을 수 있으며, 조명 환경이나 팔레트의 컬러 등이 변동되는 경우에는, 소정의 값 역시 적절하게 조정하는 것이 바람직하다.

이진화 기법 역시 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 잘 알 수 있는 기법이라 판단되어 그 구체적인 설명은 생략한다.

다음으로, 이와 같이 이진화되어 검출된 팔레트의 이미지에 대해서, 그 외곽선을 검출하는 것에 의해서 비교 영상 중의 팔레트를 검출할 수 있다(단계 S50).

외곽선을 검출하는 기법 역시 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 잘 알 수 있는 기법이라 판단되어 그 구체적인 설명은 생략한다.

이상과 같이 하여 검출된 팔레트(10 및/또는 20)의 외곽선에 대해서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 알고 있는 3 차원 객체(object) 위치 추정 방법에 의해서, 팔레트(10; 20)의 3 차원 상에서의 위치에 대해서 추정할 수 있다.

이때, 3 차원 상에서의 객체의 위치 추정은, 카메라 좌표계와 이에 대응되는 팔레트 좌표계를 설명하는 도 5에 나타낸 바와 같이, 3 차원 상에서의 위치 추정에 필요한 카메라측과 객체, 예를 들면 팔레트(10; 20)의 좌표계, 그리고 이때 사용되는 각종 파라미터 등을 사용하는 호모그래피(homography) 기법에 따른 카메라 보정 알고리즘에 의해서 수행될 수 있으며, 이와 같은 기법에 대한 설명은 본 발명의 범위를 벗어나므로 그 구체적인 설명은 생략한다.

본 발명은, 이상 설명한 바와 같이, 사전 학습된 팔레트에 대한 기준 영상과 무인 운송 로봇에 부착된 카메라로부터 입력되는 비교 영상에 대해서, 컬러 디스턴스를 계산하고, 이와 같이 하여 얻은 컬러 디스턴스를 사용하여, 팔레트의 외곽선을 추출하는 기법을 사용하고 있으므로, 최종적으로 검출되는 팔레트의 외곽선을 얻기까지에 소요되는 연산량이나 연산 시간과 같은 과부하 요소를 현저하게 감소시킨 것을 일 장점으로 한다는 것을 알아야 한다.

다음으로, 도 4a 내지 도 4e를 참조하여, 도 3에서 설명한 팔레트 검출 방법에서의 각 단계에 대응하는 실제 영상을 비교하여 설명한다.

도 4a 내지 도 4e는, 본 발명의 바람직한 일 실시예에 따른, 랙 또는 팔레트 검출 방법에 있어서, 도 3에 나타낸 팔레트의 외곽선을 검출하는 방법에서의 대응하는 각각의 영상을 나타낸 도면이다.

도 4a는, 도 3에서 최상단에 나타낸 입력 영상(x_i, y_i, z_i)을 나타내는 도면이며, 도 4a에 나타낸 바와 같이, 청색으로 표현된 팔레트(40)는 사람의 눈으로는 인식할 수 있지만, 무인 운송 로봇에 부착한 카메라에서는 이 팔레트(40)를 바로 인식할 수 없음을 알아야 한다.

따라서, 도 4b에 나타낸 바와 같이, 기준 영상과 비교 영상에 대해서 컬러 디스턴스를 적용한 영상을 생성할 수 있다.

이 영상에서는 팔레트(40) 부분이 주변의 영상에 대해서 상대적으로 백색으로 표시되어 있음을 알 수 있다.

다음으로, 도 4c에 나타낸 바와 같이, 해당 영상을 그레이 영상으로 변환하게 되면, 팔레트(40)의 이미지가 더욱 선명하게 나타나게 되며, 다음으로 도 4d에 나타낸 바와 같이, 이 영상에 대해서 팔레트만 검출하기 위한 이진화 처리를 가하게 되면, 선명한 팔레트(40)의 이미지를 얻을 수 있으며, 이때, 팔레트(40)를 제외한 부분의 일부 잡음 영상에 대해서는, 상술한 기준 영상의 이미지와 대조하여 적절하게 삭제 처리할 수 있다.

이와 같이, 팔레트(40)의 이미지를 얻을 수 있으므로, 도 4e에서, 청색으로 표현된 팔레트(40)의 외곽을 나타내는 노란색의 외곽선(42)만 추출할 수 있다.

참고로, 도 5는, 본 발명의 바람직한 일 실시예에 따른, 랙 또는 팔레트 검출 방법에 있어서, 카메라 좌표계와 이에 대응되는 팔레트 좌표계를 단순하게 설명하기 위한 설명도이며, 상술한 바와 같이, 도 5에서 나타낸 좌표계를 이용하고, 본 발명이 속한 기술 분야에서 공지된 호모그래피 기법을 사용하면, 팔레트(10)의 3 차원 공간 상에서의 위치를 정확하게 추정할 수 있다.

따라서, 무인 운송 로봇은 팔레트(10)의 3 차원 위치로부터, 특히 팔레트(10; 20)의 포크 삽입부(12; 22)와의 비틀린 각도를 계산할 수 있고, 이로부터 적절한 보정값을 산출하여, 해당 팔레트(10; 20) 및/또는 화물(14; 24)을 효과적으로 적재(load) 및 하역(unload)할 수 있다.

다음으로는, 본 발명의 바람직한 다른 실시예에 따라서, 랙 또는 팔레트의 최상단의 상태, 구체적으로는 최상단의 편평도를 검출하여 화물을 이중으로 적재할 수 있는 지를 판별할 수 있는, 무인 운송 로봇의 팔레트 적재 상태 인식용 비전 모듈에 대해서 설명하기로 한다.

도 6은, 본 발명의 바람직한 다른 실시예에 따른, 랙 또는 팔레트 상태 인식용 비전 모듈에 있어서, 편평도 및 이를 도출하기 위한 수식을 설명하기 위한 예시적인 설명도이다.

도 6은, 팔레트(10) 상에 다수의 화물(14)이 수평으로 적재되어 있고, 그 위에 다른 팔레트(20)가 놓여져 있는 상태를 도시하고 있다.

따라서, 도 6은 가장 바람직한 경우에 있어서의 화물 최상단 기준선(26)이 편평한 경우에 대해서 나타내고 있음을 알아야 한다.

그러나, 도 2(a) 내지 도 2(c)에 나타낸 바와 같이, 팔레트(10) 상에 다수의 화물(14)이 적재되는 경우라고 하더라도, 일부분에 빈 공간(16)이 발생하는 경우에는, 다른 팔레트(20)를 적재하는, 즉 이중 적재하게 되면, 화물(14) 또는 팔레트(20)가 한쪽 방향으로 쓸려 내리는, 즉 붕괴하는 일이 발생할 우려가 있다.

따라서, 모든 경우에 있어서, 팔레트(10) 상의 화물(14)이 항상 수평을 이루고 있는, 즉 평탄한 지를 검사하고, 그 결과에 따라서, 다른 팔레트(20)를 추가로 적재할 수 있는 지를 판단하는 것이 매우 바람직하다.

이를 위해서, 본 발명의 발명자들은, 화물 최상단 기준선(26)이 평탄한 지의 여부를 간단한 수식에 의해서 검사할 수 있는 방법을 찾아냈다.

본 발명의 바람직한 다른 실시예에 따른 무인 운송 로봇의 팔레트 상태 인식용 비전 모듈은, 물류 센터 내에서 이동하는 무인 운송 로봇에 장착된 비전 카메라로부터 입수되는 영상으로부터, 팔레트 또는 이 팔레트에 적재된 화물의 최상단을 이루는 좌표 집합으로부터 상술한 화물 최상단 기준선(26)이 편평하게 위치하고 있는 지, 즉 편평도를 이하의 수학식을 사용하여 계산할 수 있다.

[수학식]

여기에서, y_i는 좌표 집합을 이루는 좌표 중의 i번째 y 축 좌표를, E(y_i)는 상기 y 축 좌표 집합의 y_i에 대한 평균을 나타낸다.

상기 수학식을 사용하는 구체적인 경우에 대해서, 도 7을 참조하여 더욱 상세하게 설명하기로 한다.

도 7은, 본 발명의 바람직한 다른 실시예에 따른, 랙 또는 팔레트 상태 인식용 비전 모듈에 있어서, 편평도를 도출함에 있어서 더욱 구체적으로 설명하기 위한 설명도이다.

도 7은, 예시적인 나타낸, 특히 팔레트(10) 좌표계를 나타내는 도면이며, 가로 방향 좌측에서 우측으로 x 축이 배치되고, 도면의 상측에서 하측으로 y 축이 배치되어 있다.

도 7에서, 화물(14)은 일부 불균등하게 적재되어 있어며, 도 2(a)에 나타낸 바와 같이, 최상단 우측에 화물(14)이 미처 적재되어 있지 않은 상황을 나타내고 있다.

한편, 도 7에서, 도면 부호 28은 도면 부호 26이 나타내는 화물 최상단 기준선의 평균(E(y_i))을 나타내며, 구체적으로는 11.25의 값을 가지고 있다.

본 발명의 바람직한 다른 실시예에 따르면, 팔레트(10)의 화물 최상단 기준선(26)의 평균(28)은, 예를 들어, 화물 최상단의 좌표가, 도 7에 도시한 바와 같이, (1, 10), (2, 10), (3, 10), (4, 15)인 경우, y 축에 대한 좌표값만 사용하여 결정될 수 있으며, 이하와 같이 계산될 수 있다.

E(y) = (10 + 10 + 10 + 15) / 4 = 11.25.

이때, 4로 나누는 것은 좌표의 개수가 4 개이기 때문이다.

따라서, 본 발명의 바람직한 다른 실시예에 따른 편평도는, 화물 최상단 기준선(26)의 분산으로부터 얻어질 수 있으며, 상술한 수학식, 즉

를 이용하여 계산하면, 편평도는 4.7을 나타내게 된다.

이와 같이 하여, 얻어지는 편평도에 대해서, 도 7에 나타낸 바와 같이 이 수치는 명백하게도 화물(14) 중의 하나가 존재하지 않은 상태에서 얻어진 것이므로, 무인 운송 로봇이 팔레트(10) 상에 다른 팔레트(20)를 이중 적재하려는 경우에, 쓰러지는 등의 불상사가 발생할 우려가 크며, 따라서 도 7에 나타낸 경우에서는, 이중 적재는 허용되어서는 아니된다는 것을 잘 알 것이다.

따라서, 본 발명에서는, 편평도의 값에 대해서 특정한 값을 갖는 소정의 범위 이내이면 팔레트(10) 상에 다른 팔레트(20)를 이중 적재할 수 있다고 판단할 수 있기 때문에, 화물(14)의 크기, 특히 높이가 상이한 경우에 대해서 단 하나의 값으로 정해질 수 없음을 알아야 한다.

참고로, 도 6에 나타낸 바와 같이, 최상단의 객체가 팔레트(20)인 경우에는, 상술한 도 3 내지 도 4(도 4a ~ 도 4e)에서 설명한 바와 같이, 팔레트(20)만 화물(14)의 최상단에 놓여진 경우라면, 별도의 연산 처리없이도 화물 최상단 기준선(26)은 편평하다고 판단할 수 있다.

한편, 이상과 같은 방법에 의해서 계산된 편평도가 소정의 범위 내이면, 본 발명의 다른 실시예에 따른 무인 운송 로봇의 팔레트 상태 인식용 비전 모듈은 무인 운송 로봇이 팔레트(10) 상에 이중 적재할 수 있다고 판단할 수 있다.

여기에서, 소정의 범위는, 후술하는 도 8 및, 특히 도 9에 나타낸 바와 같이, 화물(14)이 불균등하게 위치하는 경우에 계산되는 값을 감안하여 결정될 수 있으며, 도 9에서는, 편평도 값이 15를 초과하고 있어, 확실하게 편평하지 않다고 결정될 수 있다.

다음으로, 본 발명의 바람직한 다른 실시예에 따른, 랙 또는 팔레트 상태 인식용 비전 모듈이 구한 편평도의 실제 사례에 대해서 알아 보기로 한다.

도 8은, 본 발명의 바람직한 다른 실시예에 따른, 랙 또는 팔레트 상태 인식용 비전 모듈이 구한 편평도의 일례를 나타내는 도면이며, 도 9는, 본 발명의 바람직한 다른 실시예에 따른, 랙 또는 팔레트 상태 인식용 비전 모듈에 있어서, 급격한 조명의 변화에도 편평도를 제대로 추출할 수 있음을 나타내는 도면이다.

도 8 및 도 9는, 본 발명의 내용을 설명하는데, 필요한 각종 영상 처리 화면들은 모아둔 도면이다.

도 8의 좌상단으로부터, 팔레트(10)는 단일 상태로 위치하고 있으며, 도 8의 우상단으로부터는 해당 팔레트(10)의 이미지를 이진화 처리하여 팔레트(10)를 검출한 상태임을 알 수 있다.

또한, 도 8의 좌하단에서, 적색 사각형으로 표시한 부분은, 상술한 본 발명의 바람직한 일 실시예에 따른 컬러 정보를 이용한 팔레트 검출 방법에 의해서 얻어진 팔레트(10)의 정면 이미지이며, 청색은 이 팔레트(10)가 정면에서 보았을 때, 원단측이 아래 방향으로 경사져 있음을 나타내고, 녹색은 팔레트(10)의 숨겨진 원단측의 형상을 역투영과 같은 방법에 의해서 계산하여 표시한 부분을 나타낸다.

따라서, 도 8로부터, 본 발명의 바람직한 다른 실시예에 따르면, 팔레트(10)는, 도 6에 나타낸 바와 같이, 최상단의 객체가 팔레트(10)인 경우이며, 따라서 편평도(Flatness)(70)는, 당연하게도 0.00으로 표시됨을 알 수 있다.

그러므로, 도 8에 나타낸 경우에는 팔레트(10) 상에 다른 팔레트(20, 예를 들면 도 2 참조)를 울려서 이중으로 적재할 수 있다.

다음으로, 본 발명의 발명자들은, 예시적인 의미에서, 팔레트(10) 상에 화물(도면 번호 미기재)을 하나만 적재한 상태에서, 예를 들면, 도 5에서의 화물 최상단 기준선(26)과 유사한 편평도 추출 기준선(82, 도 9 참조)을 사용하여, 화물 적재 상태에서의 최상단의 편평도를 검사하였다.

도 9에 따르면, 편평도 추출 기준선(82)에 대한 편평도(80)는, 상술한 바와 같이, 15.70로 계산되며, 이와 같은 경우에 팔레트(10) 상에 적재된 화물로 인해서 이 팔레트(10) 위에 다른 팔레트(20)를 올리는 경우에, 쓰러지거나 무너질 우려가 매우 높다는 것을 알 수 있다.

이때, 상술한 바와 같이, 계산된 편평도는 소정의 범위 내에 속하는 지가 관건이 될 수 있으며, 이 경우, 소정의 범위는 화물(14; 24)의 치수 중에서, 특히 높이가 서로 다른 화물(14; 24), 예컨대 서적과 같이 납작한 형상을 하고 있어서 화물(14; 24)의 높이가 낮은 경우에는 이에 상응하여 낮은 수치가 계산될 수 있으며, 다르게는 화병이나 화분과 같이 가로폭에 비해서 세로폭이 큰, 즉 높이가 높은 화물(14; 24)의 경우에는 이에 상응하여 큰 수치가 계산될 수 있다.

따라서, 물류 센터 내에서는, 입고되는 각각의 화물(14; 24)에 대해서 적절한 소정의 범위를 설정하여 두는 것이 바람직하며, 이 경우에 있어서, 매번 이와 같은 연산을 수행하는 것을 피하기 위해서, 화물(14; 24)의 표면 상에, 소정의 마커, 예를 들면, QR 코드와 같은 코드를 부착하여 연산에 필요한 데이터량을 획기적으로 감소시키는 방법을 강구할 수도 있다.

이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.

또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.

10, 40 : (하측) 랙 또는 팔레트
12, 22 : 무인 운송 로봇의 포크 삽입부
14, 24 : 랙 또는 팔레트에 적재되는 화물
16 : 빈 공간
20 : (이중 적재시 상측) 랙 또는 팔레트
26 : 화물 최상단 기준선
28 : (화물 최상단 기준선의) 평균
42 : 검출된 팔레트 외곽선
70, 80 : 편평도
82 : 편평도 추출 기준선
S10 : (오프라인 상의) 팔레트 학습 단계
S20 : 컬러 디스턴스 계산 단계
S30 : 그레이 영상 변환 단계
S40 : 팔레트 검출 (이진화) 단계
S50 : 팔레트 외곽선 검출 단계

Claims (2)

1. 물류 센터에서 사용되는 팔레트를 검출하는 방법에 있어서,
   상기 팔레트의 컬러 정보와 물리적인 형상에 대해서 오프라인에서 처리한 상기 팔레트의 기준 영상과, 물류 센터 내에서 이동하는 무인 운송 로봇에 장착된 카메라로부터의 입수된 팔레트의 비교 영상으로부터,
   상기 기준 영상 및 상기 비교 영상에 대해서, HSV 원뿔 컬러 모델을 사용하여, h, s, v에 대응하는 공간 좌표를 계산하고;
   상기 기준 영상 및 상기 비교 영상의 상기 공간 좌표에 대해서, 하기 수학식 1에 기초하여 컬러 디스턴스를 계산하고;
   상기 컬러 디스턴스에 기초하여, 하기 수학식 2에 기초하여 상기 비교 영상을 그레이 영상으로 변환하고;
   상기 그레이 영상으로 변환된 상기 비교 영상에 대해서, 하기 수학식 3에 기초하여 이진화하여 팔레트를 검출하고; 또한
   이진화되어 검출된 상기 팔레트에 대해서, 그 외곽선을 검출하여, 상기 비교 영상 중의 팔레트를 검출하는 방법.
   
   [수학식 1]
   

   

   
   여기에서, x_r, y_r, 및 z_r은 상기 기준 영상의 색상 좌표, x_i, y_i, 및 z_i는 상기 기준 영상의 색상 좌표로부터 가장 먼 거리의 색상 좌표.
   
   [수학식 2]
   

   

   
   여기에서, gray(i)는 비교 영상의 각 색상 좌표의 그레이 영상값.
   
   [수학식 3]
   

   

   
   여기에서, B(i)는 비교 영상의 색상 좌표의 이진화값, gray(i)는 비교 영상의 각 색상 좌표의 그레이 영상값, threshold는 소정의 값.
   
2. 무인 운송 로봇의 팔레트 상태 인식용 비전 모듈에 있어서,
   물류 센터 내에서 이동하는 무인 운송 로봇에 장착된 비전 카메라로부터 입수되는 영상으로부터, 팔레트 또는 상기 팔레트에 적재된 화물의 최상단을 이루는 좌표 집합으로부터, 하기 수학식 4를 이용하여, 편평도를 계산하고; 또한
   상기 계산된 편평도가 소정의 범위 내이면, 팔레트 상에 이중 적재가 가능하다고 결정하는, 무인 운송 로봇의 팔레트 상태 인식용 비전 모듈.
   
   [수학식 4]
   

   

   
   여기에서, y_i는 좌표 집합을 이루는 좌표 중의 i번째 y 축 좌표, E(y_i)는 상기 y 축 좌표 집합의 y_i에 대한 평균.

Images