KR20110136761A

KR20110136761A - 로봇의 물체 인식 방법

Info

Publication number: KR20110136761A
Application number: KR1020110113851A
Authority: KR
Inventors: 서일홍; 이상훈; 방희범
Original assignee: 한양대학교 산학협력단
Priority date: 2011-11-03
Filing date: 2011-11-03
Publication date: 2011-12-21
Also published as: KR101247136B1

Abstract

본 발명은 로봇의 물체 인식 방법에 관한 것으로서, 더욱 상세하게는, 목표 물건의 영상을 다수의 영역으로 구분하여 선택된 다수의 패치 영상을 기초로, 주변을 촬영하여 획득한 주변 영상의 프레임에서 상기 목표 물건을 탐색하는 로봇의 물체 인식 방법에 있어서, 상기 프레임의 부분 영역에 대한 컬러 히스토그램과 상기 다수의 패치 영상의 컬러 히스토그램을 비교하여 유사도를 수치화하는 단계; 상기 컬러 히스토그램의 유사도와 미리 결정된 기준치를 비교하여, 상기 패치 영상별 상기 컬러 히스토그램이 유사한 상기 부분 영역을 1차 후보 영역으로 결정하는 단계; 상기 1차 후보 영역의 컬러 동시발생 히스토그램과 상기 패치 영상의 컬러 동시발생 히스토그램을 비교하여 유사도를 수치화하는 단계; 상기 패치 영상별 상기 컬러 동시발생 히스토그램의 유사도가 가장 큰 1차 후보 영역을 2차 후보 영역으로 결정하는 단계; 상기 다수의 패치 영상 중 선택된 기준 패치 영상에 대한 상기 2차 후보 영역과 다른 패치 영상들에 대한 상기 1차 후보 영역들 또는 상기 2차 후보 영역들의 상대적 변위를, 상기 기준 패치 영상과 상기 다른 패치 영상들간의 상대적 위치 차이를 기초로 수치화하는 단계; 상기 다수의 패치 영상 각각을 상기 기준 패치 영상으로 하여 상기 상대적 변위를 수치화하는 단계; 상기 컬러 동시발생 히스토그램의 유사도 및 상기 상대적 변위를 기초로 상기 목표 물건의 위치를 결정하는 단계를 포함하고, 상기 목표 물건의 영상을 다수의 영역으로 구분하는 다수의 패치 영상은, 크기가 다른 상기 목표 물건의 영상들을 동일한 크기의 부분 영역으로 구분하는 패치 영상들을 포함하는 것을 특징으로 한다.
본 발명에 의해 로봇에 있어 물체 인식의 속도와 정확도가 크게 향상되고, 동시에 로봇의 연속적임 행동이 보장될 수 있다. 또한, 다양한 크기의 패치 영상을 기준으로 물체를 탐색하므로 인식률을 더욱 높일 수 있으며, 목표하는 물체가 가려진 경우에도 신속한 물체 인식이 가능하다.
따라서, 본 발명은 서비스 로봇에 요구되는 물체 인식의 신속성, 정확성, 로봇 동작의 연속성 등을 보장할 수 있다.

Description

로봇의 물체 인식 방법{OBJECT RECOGNITION METHOD OF ROBOT}

본 발명은 로봇의 물체 인식 방법에 관한 것으로서, 더욱 상세하게는, 로봇이 미리 저장하고 있는 목표 물건의 영상을 기초로, 주변을 촬영한 영상으로부터 목표 물건을 찾는 로봇의 물체 인식 방법에 관한 것이다.

로봇의 물체 인식 능력은 로봇이 제공할 수 있는 서비스의 질을 결정하는 중요한 열쇠다.

종래 산업 로봇과 같이, 반복적이고 단순한 작업을 수행하는 로봇에게 고차원적인 물체 인식 능력이 요구되지 않았지만, 예컨대 앞으로 가정에서 사람에게 직접적인 서비스를 제공할 것으로 기대되는 서비스 로봇은 정확하고 신속한 물체 인식 능력이 필수적인 것으로 여겨지고 있다.

최근 개발되고 있는 로봇도 이러한 추세에 맞추어 비전 센서를 이용해 여러 가지 명령을 수행하도록 디자인되었다. 예컨대, 사람이 물건을 찾아오라고 지시하면, 로봇은 비전 센서를 이용하여 열심히 물건을 찾고, 물건을 가지고 명령한 사람에게 옴으로써 명령을 수행하도록 디자인되어 있다.

이 예에서, 로봇이 지시한 물건을 정확히 찾지 못했다면 혹은 물건을 찾는데 지나치게 오랜 시간이 걸렸다면, 로봇이 제공하는 서비스는 실망 자체일 것이다. 따라서, 로봇의 연속적인 행동과 더불어 물체 인식의 정확성 및 신속성은 로봇의 서비스 품질을 좌우하는 중요한 요소로 여겨지고 있다.

이에, 많은 연구자가 강인한 물체 인식을 수행할 수 있도록 하기 위해 많은 노력을 경주해 왔다.

먼저, 특징점 자체를 강인하게 하기 위한 연구를 간략히 살펴본다.

컬러를 이용한 가장 보편적인 특징점으로 컬러 히스토그램을 들 수 있다. 컬러 히스토그램은 손쉽게 구할 수 있는 강점이 있지만, 강인하지 못한 단점이 있다.

이러한 컬러 히스토그램의 단점을 보완하기 위해 기존의 컬러 히스토그램에 거리 정보가 포함된 컬러 동시발생 히스토그램(color cooccurence histrogram)을 특징점으로 이용한 모델이 제안된 바 있다.

이 모델의 단점은 물건이 부분적으로 가려져 있는 경우에 인식이 어렵다는 문제점과 계산량이 많아 신속한 데이터 처리가 어렵다는 점, 그리고 조명의 변화에 취약하다는 점에 있다.

이러한 문제를 극복하기 위해 패치를 기반으로 한 인식 알고리즘이 제안된 바 있으나, 이 알고리즘은 영상에 포함된 다양한 물체의 크기에 적절히 이용되기 어려운 면이 있다.

또다른 대표적인 특징점으로 SIFT를 들 수 있다. SIFT 또한 수행시간이 긴 것이 단점으로 알려져 있다.

한편, 새로운 모델을 제안하는 방법 대신 강인한 매칭 방법을 연구하는 경향도 있다. 예컨대, 좀 더 좋은 성능을 위해 학습을 기반으로 한 물체 인식 알고리즘이 제안된 바 있다. 학습을 통해 인식의 성능을 향상시킬 수는 있지만 학습을 위해 많은 시간이 요구된다는 점은 여전히 단점으로 남아 있다.

그 밖에, 매우 짧은 시간 안에 인식을 완료해야 하는 로봇에 사용하기 위한 컬러 기반의 물체 인식도 이용되고 있다. 축구 게임을 수행하는 로봇과 같이 특수 용도의 로봇을 위한 것인데, 에지(edge)를 찾거나 단순한 색을 찾기에 적합한 알고리즘이지만 서비스 로봇에 사용하기에는 부적합한 것으로 평가된다.

또한, 로봇은 조명 조건에 의해 인식의 결과가 많이 달라질 수 있기 때문에, 조명 조건을 조절할 수 있는 방법도 연구되고 있다.

이상 논의한 바와 같이, 로봇이 카메라를 통해 얻은 영상 정보를 통해 특정 물건을 잘 찾기 위해서는 환경의 변화에 강인한 물체 인식 알고리즘이 있어야 한다. 또한, 부분적으로 물체가 가려져 있는 상황에서도 물체를 잘 인식할 수 있어야 한다.

사람은 물체가 가려져 있을 때 찾고자 하는 물체가 맞는지 확인하기 위해 가려지지 않은 곳으로 이동하는데, 로봇 역시 가려진 물체에 대한 행동을 정의해 주어야 한다. 로봇은 알고리즘이 끝날 때까지 멈춰있으면 안 되며, 연속적으로 들어오는 영상에 대해 대처해야 한다. 즉, 물체 인식의 수행시간은 짧을수록 좋다. 하지만, 수행시간을 줄여서 인식의 성능이 떨어진다면, 짧은 시간은 아무런 의미를 갖지 못한다.

따라서, 로봇은 인식의 결과를 통해 연속적인 행동을 보이면서 인식의 성능을 높여야 한다. 연속적으로 들어오는 영상에 대해서는 어떤 영상의 정보를 신뢰해야 하는지의 판단 역시 중요하다.

본 발명은 다양한 환경의 변화, 즉 물체의 크기 변화, 조명의 변화, 관점의 변화, 및 부분 가려짐 등에 대해 강인한 물체 인식이 가능한 방법을 제공한다.

알고리즘의 수행시간을 줄이면서 로봇의 성능을 떨어뜨리지 않는 것은 한계가 있지만, 본 발명은 알고리즘의 중간 중간에 결과를 도출해 내고 이를 이용하여 로봇의 행동을 판단하게 해주는 방법을 제공한다. 즉, 본 발명은 연속적으로 촬영된 영상에서 신뢰할 수 있는 영상을 선택하여, 가려짐이 발견될 때 로봇의 경로를 정해주는 방법을 제공한다.

상기 목적은 본 발명의 일 양태에 따른, 목표 물건의 영상을 다수의 영역으로 구분하여 선택된 다수의 패치 영상을 기초로, 주변을 촬영하여 획득한 주변 영상의 프레임에서 상기 목표 물건을 탐색하는 로봇의 물체 인식 방법에 있어서, 상기 프레임의 부분 영역에 대한 컬러 히스토그램과 상기 다수의 패치 영상의 컬러 히스토그램을 비교하여 유사도를 수치화하는 단계; 상기 컬러 히스토그램의 유사도와 미리 결정된 기준치를 비교하여, 상기 패치 영상별 상기 컬러 히스토그램이 유사한 상기 부분 영역을 1차 후보 영역으로 결정하는 단계; 상기 1차 후보 영역의 컬러 동시발생 히스토그램과 상기 패치 영상의 컬러 동시발생 히스토그램을 비교하여 유사도를 수치화하는 단계; 상기 패치 영상별 상기 컬러 동시발생 히스토그램의 유사도가 가장 큰 1차 후보 영역을 2차 후보 영역으로 결정하는 단계; 상기 다수의 패치 영상 중 선택된 기준 패치 영상에 대한 상기 2차 후보 영역과 다른 패치 영상들에 대한 상기 1차 후보 영역들 또는 상기 2차 후보 영역들의 상대적 변위를, 상기 기준 패치 영상과 상기 다른 패치 영상들간의 상대적 위치 차이를 기초로 수치화하는 단계; 상기 다수의 패치 영상 각각을 상기 기준 패치 영상으로 하여 상기 상대적 변위를 수치화하는 단계; 상기 컬러 동시발생 히스토그램의 유사도 및 상기 상대적 변위를 기초로 상기 목표 물건의 위치를 결정하는 단계를 포함하고, 상기 목표 물건의 영상을 다수의 영역으로 구분하는 다수의 패치 영상은, 크기가 다른 상기 목표 물건의 영상들을 동일한 크기의 부분 영역으로 구분하는 패치 영상들을 포함하는 것을 특징으로 하는 로봇의 물체 인식 방법에 의해 달성될 수 있다.

여기에서, 상기 컬러 동시발생 히스토그램의 유사도 및 상기 상대적 변위를 기초로 상기 목표 물건의 위치를 결정하는 단계는, (a) 하나의 기준 패치 영상에 대해 결정된, 다른 패치 영상들에 대응하는 상기 2차 후보 영역들 각각의 상대적 변위와 컬러 동시발생 히스토그램의 유사도를 곱한 후 덧셈하는 단계; (b) 상기 덧셈 결과에 상기 기준 패치 영상에 대한 2차 후보 영역의 컬러 동시발생 히스토그램의 유사도를 곱하는 단계; (c) 나머지 상기 다수의 패치 영상들 각각을 기준 패치 영상으로 하여 상기 (a) 단계 및 (b) 단계를 반복하는 단계; 및 (d) 상기 (b) 단계의 곱셈 결과가 최대인 패치 영상을 상기 목표 물건의 위치로 결정하는 단계를 포함할 수 있다. 또는, 상기 컬러 동시발생 히스토그램의 유사도 및 상기 상대적 변위를 기초로 상기 목표 물건의 위치를 결정하는 단계는, 모든 패치 영상들에 대해, 상기 상대적 변위에 관계된 상기 패치 영상들의 상기 컬러 동시발생 히스토그램의 유사도와 상기 상대적 변위의 곱셈을 구하는 단계; 및 상기 곱셈 결과가 가장 큰 상기 패치 영상들의 위치를 상기 목표 물건의 위치로 결정하는 단계를 포함할 수 있다.

상기 본 발명의 로봇의 물체 인식 방법은, 상기 주변 영상에 대한 다수의 프레임 각각에 대한 상기 컬러 히스토그램의 유사도, 상기 컬러 동시발생 히스토그램의 유사도, 및 상기 상대적 변위를 기초로 상기 프레임 각각에 대한 신뢰도를 수치화하는 단계; 및 상기 신뢰도가 높은 프레임에 대해 결정된 상기 목표 물건의 위치에 따라 로봇의 행동을 결정하는 단계를 포함할 수 있다. 여기에서, 상기 신뢰도는 각각의 프레임에 대해 목표 물건의 위치로 결정된 영역의 상기 컬러 히스토그램의 유사도, 상기 컬러 동시발생 히스토그램의 유사도, 및 상기 상대적 변위를 기초로 수치화되도록 할 수 있다. 그리고, 상기 신뢰도는 상기 컬러 히스토그램의 유사도, 상기 컬러 동시발생 히스토그램의 유사도, 및 상기 상대적 변위 각각에 대한 가중치를 부여한 후 덧셈하여 수치화되는 것으로 할 수 있다.

또한, 상기 본 발명의 로봇의 물체 인식 방법은, 상기 다수의 패치 영상 중 하나의 패치 영상에 대응하는 2차 후보 영역의 상기 주변 영상에서의 위치를 기준으로, 다른 패치 영상들이 각각에 대응하는 상기 1차 후보 영역에 위치하게 될 1차 위치 확률을 산정하는 단계; 수치화된 상기 컬러 동시발생 히스토그램의 유사도를 해당 상기 1차 위치 확률에 곱하는 단계; 및 상기 패치 영상별로 상기 곱셈 결과가 가장 큰 1차 후보 영역을 3차 후보 영역으로 결정하는 단계를 포함할 수 있다. 여기에서, 상기 다수의 패치 영상 중 하나의 패치 영상에 대응하는 2차 후보 영역의 상기 주변 영상에서의 위치를 기준으로, 다른 패치 영상들이 각각에 대응하는 상기 3차 후보 영역에 위치하게 될 3차 위치 확률을 산정하는 단계; 및 다음의 수식에 의한 최종 벡터(R)를 상기 목표 물건의 위치로 결정하는 단계를 더 포함할 수 있다:

(여기에서, S_CCH는 컬러 동시발생 히스토그램의 유사도, q는 패치 영상, m은 2차 후보 영역, V는 3차 후보 영역, G는 가우션 분포 함수, n은 3차 후보 영역의 개수, i,j는 매개 변수)

본 발명에 의해 로봇에 있어 물체 인식의 속도와 정확도가 크게 향상되고, 동시에 로봇의 연속적임 행동이 보장될 수 있다. 또한, 다양한 크기의 패치 영상을 기준으로 물체를 탐색하므로 인식률을 더욱 높일 수 있으며, 목표하는 물체가 가려진 경우에도 신속한 물체 인식이 가능하다.

따라서, 본 발명은 서비스 로봇에 요구되는 물체 인식의 신속성, 정확성, 로봇 동작의 연속성 등을 보장할 수 있다.

도1은 로봇의 일반적인 구성을 나타내는 개략적인 모식도이다.
도2는 본 발명의 실시예에 따른 로봇의 물체 인식 방법을 나타내는 순서도이다.
도3a~도3c는 목표 물건의 크기에 따라 다양한 패치 영상들이 마련되는 예를 나타내는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하도록 한다.

도1은 로봇의 일반적인 구성을 나타내는 개략적인 모식도이다.

도1에 도시되 바와 같이, 일반적인 서비스 로봇은 센서부(1), 구동부(2), 메모리(3) 및 제어부(4) 정도로 대별할 수 있다.

센서부(1)는 주변의 상황들을 인지하기 위한 수단으로서, 온도, 압력, 가스, 열 등을 감지하기 위한 센서 또는 주변의 영상을 획득하기 위한 비전 센서, 적외선 센서 등을 포함할 수 있다. 실제 어떠한 센서를 장착하고 이용할 것인지는 로봇의 제작자가 로봇의 용도에 따라 취사 선택할 부분이다.

구동부(2)는 로봇의 팔, 다리, 관절, 혹은 바퀴 등을 포함하고, 또한 이들을 이동시키기 위한 모터, 기어 등을 포함한 메카니즘을 포함한다. 이 또한, 로봇의 용도 또는 목적에 따라 취사 선택할 수 있는 부분임은 자명하다.

메모리(3)는 정보의 저장을 위해 필수적이다. 후술하는 바와 같이, 본 발명에서 메모리(3)는 적어도 여러 아이템들의 부분적인 패치 영상을 저장하고 있고, 입력되는 이미지를 임시 저장하기 위한 버퍼 기능을 수행한다.

제어부(4)는 센서부(1)로부터 수집된 정보를 분석하고, 행동을 결정한 후 구동부(2)를 제어하여 행동을 수행하기 위한 것으로, 사람의 뇌에 해당하는 부분이다.

센서부(1), 구동부(2), 메모리(3) 및 제어부(4)로 대별되는 로봇의 일반적인 구성이 실제 어떠한 부품들로 실현될 수 있는지는 주지된 것이므로, 본 명세서에서는 이에 대해 자세한 언급은 하지 않도록 한다.

다만, 본 발명은 주변을 촬영한 영상으로부터 목표하는 물체를 탐색하는 방법 내지 알고리즘에 관한 것이므로, 주변 영상을 촬영하기 위한 이미지 센서와 메모리(3), 제어부(4)를 필수적으로 구비한 것을 전제로 하며, 그 밖의 다른 구성요소는 생략이 가능하다는 것에 주의한다.

도2는 본 발명의 실시예에 따른 로봇의 물체 인식 방법을 나타내는 순서도이다.

도2를 참조하면, 먼저 로봇은 목표 물건에 대한 영상을 다수의 영역으로 구분하는 다수의 패치 영상을 메모리(3)에 저장한다(S1).

여기에서, 목표 물건은 사용자가 지정하거나 미리 저장된 다양한 아이템일 수 있는데, 예컨대, 컵, 주전자, 가방, 재떨이, 휴대폰, 지갑 등일 수 있다. 또한, 영역은 일정한 크기로 선택되어 패치 영상들이 크기가 균일하도록 하고, 이들이 목표 물건의 영상을 완성하는 하나의 세트가 되도록 한다.

여기에서, 패치 영상의 세트는 도3a~도3c에 도시된 바와 같이 크기가 다른 목표 물건의 영상을 일정한 크기로 구분한 다수의 세트들로 마련되는 것이 바람직하다. 왜냐하면, 로봇과 목표 물건의 원근에 따라 촬영된 영상 내에서 목표 물건의 크기가 달라져 다양한 크기의 패치 영상들을 이용하는 것이 더욱 효과적이기 때문이다. 그리고, 패치 영상의 크기를 일정하게 하는 것이 알고리즘의 복잡성을 줄일 수 있기 때문이다.

또한, 패치 영상은 하나의 아이템에 대해 다양한 방향에서 바라본 영상에 대해 마련되는 것이 바람직하다. 따라서, 하나의 아이템에 대해 정면, 배면, 측면 등에서 바라본 영상을 마련하고, 이들 각각에 대한 패치 영상의 세트들을 미리 결정하는 것이 바람직하다.

다음, 특정 물건에 대한 탐색이 필요한 이벤트가 발생하면(S2), 예컨대 유저로부터 특정 물건을 가지고 오라는 명령을 입력받은 경우, 로봇은 목표 물건의 위치를 파악하기 위해 주변을 촬영하기 시작한다(S3).

센서부(1)의 CCD 혹은 CMOS 이미지 센서로부터 입력된 영상은 프레임 단위로 연속적으로 메모리(3)에 저장된다(S4).

제어부(4)는 목표 물건의 다수의 패치 영상들의 컬러 히스토그램을 추출한다(S5). 여기에서, 상이한 크기를 갖는 패치 영상 세트들이 있다면 각각의 세트에 대해서 컬러 히스토그램을 추출해야 하고, 컬러 히스토그램은 R,G,B 외에 미리 결정된 수 개의 대표 컬러를 중심으로 산출될 수 있음에 주의한다. 또한, 메모리(3)가 허용한다면 패치 영상들에 대한 컬러 히스토그램은 대표 컬러를 중심으로 미리 산출되어 메모리(3)에 저장하고 있는 것이 가능하며, 이때 S5 단계는 생략하는 것이 가능하다는 것을 주의한다.

다음으로, 주변 영상의 일 프레임으로부터 이 패치 영상과 동일한 크기를 갖는 부분 영역들을 선택하고, 부분 영역들의 컬러 히스토그램을 추출한 후 저장한다(S6). 여기에서, 부분 영역은 패치 영상들이 서로 다른 크기의 세트들로 마련된 경우 패치 영상들의 크기들에 맞추어 선택되고, 부분 영역은 일정 크기의 창(window)를 일정한 간격으로 슬라이딩하면서 선택할 수 있다.

다음, 패치 영상들의 컬러 히스토그램과 프레임의 부분 영역들 간의 컬러 히스토그램을 비교하여 그 유사도를 수치화하여 저장한다(S7).

여기에서, 컬러 히스토그램의 유사도는 다양한 방식으로 수치화 혹은 평가될 수 있음에 주의한다. 예컨대, 대표 컬러들에 대응하는 값들의 차들의 합을 유사도로 볼 수 있고, 혹은 아래 <수식1>과 같이 두 컬러 히스토그램 결과들을 비교하여 두 대표 컬러들에 대응하는 값들 중 최소값들의 합을 유사도로 평가할 수도 있다.

<수식 1>

<수식 1>에서, r은 입력 영상에서의 부분 영역, q는 목표 물건의 패치 영상, n_c는 컬러 집합 원소 개수 혹은 대표 컬러의 수, η는 정규화 인자, CH(c)는 컬러 c의 컬러 히스토그램, Min은 최소값, S_CH(r,q)을 나타낸다.

수치화된 유사도와 미리 결정된 임계값을 비교하여, 부분 영역들 중 각각의 패치 영상들에 대해 유사한 것으로 평가되는 부분 영역을 1차 후보 영역으로 선택한다(S8). 여기에서, 1차 후보 영역은 하나의 패치 영상에 대해 하나 이상일 수 있고, 조건을 만족하지 못한다면 존재하지 않을 수도 있다는 것을 주의한다. 또한, 미리 결정된 임계값은 유사도의 수치화된 방식에 따라 달라진다는 것에 주목할 필요가 있다. 예컨대, 유사도가 컬러 히스토그램들의 차의 합으로 결정된다면 유사도가 일정 임계값 이하인 때에 유사한 것으로 평가될 수 있고, <수식 1>을 이용하는 경우라면 다음 <수식 2>와 같이 일정 임계값 이상인 때에 유사한 것으로 평가될 수 있다.

<수식 2>

<수식 2>에서, Pj는 부분 영역들 중에서 패치 영상 q_j에 대한 컬러 히스토그램 유사도가 임계값 θ보다 큰 부분 영역으로서, 패치 영상 q_j에 대한 1차 후보 영역을 나타낸다.

다음으로, 1차 후보 영역의 컬러 동시발생 히스토그램과 대응하는 패치 영상의 컬러 동시발생 히스토그램을 비교하여 유사도를 수치화한다(S9). 앞서 설명한 바와 같이, 컬러 동시발생 히스토그램은 컬러 히스토그램에 컬러간 거리를 부가한 특징점이다.

컬러 동시발생 히스토그램의 유사도는 컬러간 거리가 포함되어 있어, 프레임의 모든 영역에 대해 산출하는 경우 많은 계산량과 시간이 소요된다. 그러나, 본 발명은 컬러 히스토그램의 유사도를 통해 유사한 것으로 평가되는 1차 후보 영역에 대해 컬러 동시발생 히스토그램의 유사도를 산출하기 때문에, 계산량을 줄일 수 있을 뿐만 아니라 신속한 계산이 가능한 효과가 있다.

전술한 바와 같이, 유사도는 여러 가지 방법으로 평가될 수 있다. 그 일 예로, 컬러 히스토그램 및 거리의 차이를 기초로, 이들을 합산한 값을 유사도로 수치화하는 것이 가능할 수 있다. 또는, <수식 1> 및 <수식 2>와 연관하여, 다음의 <수식 3>과 같이 유사도를 수치화할 수 있다.

<수식 3>

변수는 <수식 1>에서와 동일하며, 다만 d는 컬러 c₁,c₂간의 거리를 나타내는 것에 주의한다.

다음으로, 컬러 동시발생 히스토그램의 유사도를 기초로 1차 후보 영역 중 목표 물건이 존재할 개연성이 큰 2차 후보 영역을 결정한다(S10). 즉, S9 단계에서 산출된 컬러 동시발생 히스토그램의 유사도 중 가장 큰 값을 갖는 1차 후보 영역을 패치 영상별로 구한다.

전술한 바와 같이, 히스토그램의 유사도를 두 비교 대상간 차이로 산출하는 경우, 차가 적을수록 유사도는 큰 것으로 판단될 수 있지만, <수식 1> 내지 <수식 3>의 경우에는 <수식 3>의 결과가 가장 큰 1차 후보 영역이 유사도가 가장 큰 것을 판단할 수 있다. 따라서, 다음의 <수식 4>와 같이 2차 후보 영역을 구할 수 있다:

<수식 4>

여기에서, n은 패치 영상의 개수이며, 다양한 크기의 패치 영상들의 세트가 마련된 경우 모든 세트에 대한 패치 영상의 수를 나타낸다.

argmax 연산자는 연산의 결과를 최대로 만드는 변수를 결과로 출력하는 것을 의미하므로, <수식 4>는 S_CCH를 최대로 하는 1차 후보 영역 내의 부분 영역(r)을 결과로 반환한다. 따라서, M은 n개의 패치 영상 각각에 대한 2차 후보 영역을 갖게 되며, 1차 후보 영역이 없었던 패치 영상에 대해서는 당연히 2차 후보 영역도 존재하지 않게 된다.

다음으로, 패치 영상 각각에 대해 결정된 2차 후보 영역들을 중심으로 다른 1차 후보 영역들 혹은 2차 후보 영역들 사이의 상대적 위치가 원래 목표 물건과 비교하여, 그 상대적 위치가 후보 영역들이 목표 물건을 구성하는 것으로 볼 수 있는 타당성을 제공하는지를 평가한다(S11).

즉, 패치 영상들은 하나의 목표 물건을 구성하는 것이고, 이들 패치 영상들은 상호 상대적 위치를 갖게 된다. 따라서, 이러한 패치 영상들 사이의 상대적 위치를 기준으로 2차 후보 영역들간 혹은 1차 후보 영역들과의 상대적 위치에 대한 평가를 수치화하는 것이 가능하다.

물론, 후보 영역들간 상대적 위치에 대한 평가 방법은 여러 가지가 존재할 수 있다. 예를 들어, 후보 영역들간 픽셀 좌표들 사이의 차이를 벡터로 측정하고, 벡터의 크기를 상대적 위치에 해당하는 값으로 수치화할 수 있을 것이다. 또는, 기준이 되는 패치 영상들의 상대적 위치를 평균 위치로 보고, 그 밖의 다른 위치에 대해서는 확률값을 부여하는 방법이 가능할 수 있다.

예컨대, 패치 영상들의 상대적 위치에 대한 확률 분포로서 가우션 분포가 선택하는 경우, 다음과 같은 <수식 5>를 정의할 수 있다:

<수식 5>

여기에서, σ는 실험적으로 로봇의 프로그래머가 미리 결정하여 입력하는 값이고, u는 다음의 <수식 6>과 같다.

<수식 6>

u는 패치 영상들 q_i, q_j 사이의 상대적 위치에, 기준이 되는 q_i에 대응하는 2차 후보 영역 m_i의 위치를 더함으로써 q_j에 대응하는 부분 영역이 존재해야하는 평균적 위치를 나타낸다.

그러므로, 결국 <수식 5>의 G 함수는 이러한 qj의 평균적 위치에 대한 상대적 위치를 수치화하고자 하는 후보 영역 r의 확률값을 반환하게 된다.

다음으로, 이렇게 수치화된 상대적 위치의 평가값과 컬러 동시발생 히스토그램의 유사도에 기초하여, 목표 물건의 위치를 최종적으로 결정하게 된다(S12).

여기에서, 상대적 위치의 평가값과 유사도를 이용하여 목표 물건의 위치를 결정하는 방법 내지 규칙은 다양하게 선택될 수 있다는 것을 이해해야 한다.

예를 들어, 컬러 동시발생 히스토그램의 유사도가 가장 높은 것을 기준으로, 즉, 가장 높은 컬러 동시발생 히스토그램 유사도를 갖는 2차 후보 영역을 q_i 및 m_i로 두고, 다른 2차 후보 영역들에 대한 상대적 위치의 수치화된 평가값이 일정 임계 수준 이상을 만족하는 후보 영역이 3개 이상 있을 때 해당 2차 후보 영역들을 목표 물건의 위치로 결정하는 것이 가능할 것이다.

이와는 다른 방법으로, 이하의 수식들과 같이 유사도와 상대적 위치의 평가값을 곱하여 가장 적절한 결정을 내리는 방법들을 생각할 수 있을 것이다.

*첫 번째 방법으로, 다음의 <수식 7>을 생각해 볼 수 있다.

<수식 7>

여기에서, j와 i는 1~n, i≠j의 조건에서 선택된 값이며, 이러한 범위에서 가장 큰 연산 결과를 만드는 m_i의 위치가 최종적인 물건의 위치 벡터(

)가 된다.

<수식 7>의 연산은 상대적 변위를 이루는 두 2차 후보 영역들 또는 이에 대응하는 두 패치 영상들에 있어서, 이들 각각의 2차 후보 영역에 대한 컬러 동시발생 히스토그램의 유사도들과 상대적 변위의 평가값을 곱한 것이다.

<수식 7>은 이러한 연산이 모든 패치 영상들에 대해 반복적으로 수행되고, 그 결과들 중 가장 큰 결과를 만들어 내는 2차 후보 영역을 최종 물건의 위치로 결정하는 일련의 과정을 하나의 수식으로 보여준다.

다른 두 번째 방법으로, 다음의 <수식 8>을 생각해 볼 수 있다.

<수식 8>

<수식 8>은 하나의 2차 후보 영역 또는 이에 대응하는 패치 영상 하나를 기준으로 선택하고, 나머지 패치 영상들에 대응하는 2차 후보 영역들 각각에 대한 컬러 동시발생 히스토그램의 유사도와 상대적 변위값을 나타내는 확률을 곱한 후 곱셈 결과들을 모두 곱한다. 그리고, 최종적인 덧셈 값에 기준으로 삼았던 2차 후보 영역의 컬러 동시발생 히스토그램의 유사도를 곱하여, 각각의 패치 영상에 대해 최종 평가값을 산출한다.

이러한 연산은 모든 패치 영상들을 기준으로 선택하도록 반복적으로 수행하게 되고, <수식 8>은 이러한 반복 수행된 결과들 중 최대값을 나타내는 기준으로 삼았던 2차 후보 영역을 목표 물건의 위치 벡터로 반환한다.

다른 세 번째 방법으로, 다음 일련의 수식들을 생각해 볼 수 있다.

<수식 9>

상기 수식은 하나의 2차 후보 영역을 기준으로 하여, 다른 패치 영상들 각각에 대응하는 1차 후보 영역들 각각에 대해 컬러 동시발생 히스토그램의 유사도와 상대적 변위 평가값의 곱하고, 그 결과가 최대값을 나타내는 1차 후보 영역을 Vⁱ 벡터로 나타낸다.

그 결과로서, 하나의 2차 후보 영역에 대해, 나머지 모든 패치 영상들(j=1~n, j≠i)에 대응하는 V 벡터가 생성되므로 n-1개의 성분을 갖는 다음과 같은 벡터가 생성된다:

<수식 10>

이러한 벡터를 3차 후보 영역이라 부르도록 하고, 이를 바탕으로 다음의 <수식 11>로 최종적인 목표 물건의 위치를 결정할 수 있다:

<수식 11>

<수식 11>은 2차 후보 영역 중 하나를 기준으로 선택한 후, 나머지 패치 영상들에 대응하는 3차 후보 영역들에 대한 컬러 동시발생 히스토그램의 유사도와 상대적 변위의 평가값의 곱들의 합을 구한다. 다음, 덧셈 결과와 기준으로 선택한 2차 후보 영역의 컬러 동시발생 히스토그램 유사도를 곱한다.

이러한 일련의 연산은 모든 2차 후보 영역들에 대해 수행되고, 최대값을 나타내는 2차 후보 영역의 위치가 최종적인 목표 물체의 위치로 결정된다.

지금까지 컬러 동시발생 히스토그램의 유사도와 상대적 위치 또는 변위의 평가값을 이용하여 물체의 최종적인 위치를 결정하는 몇몇 방법들을 살펴 보았다.

어느 경우나 1차 후보 영역 내에서 수행되기 때문에 그 연산량이 대폭 감소되는 것을 알 수 있다. 또한, 각각의 1차 후보 영역에 대해 이미 컬러 동시발생 히스토그램의 유사도가 산출되어 저장되기 때문에, 최종 결정을 내릴 때의 연산은 단순한 곱셈과 덧셈으로만 이루어질 뿐이며, 따라서 적은 연산량과 연산시간이 요구될 뿐이다.

전술한 본 발명의 실시예들을 간략하게 정리하면, 본 발명의 실시예는 크게 세 단계로 구분될 수 있다.

하나는 컬러 히스토그램의 유사도를 이용하여 적은 연산량으로 1차 후보 영역을 신속하게 결정하는 단계이다. 나머지 연산은 이제 1차 후보 영역의 범위 내에서 수행된다.

두 번째는 1차 후보 영역에 대해 컬러 동시발생 히스토그램의 유사도를 구하여, 패치 영상들에 1:1 대응하는 2차 후보 영역을 결정한다.

세 번째는 상대적 변위를 고려하여, 2차 후보 영역 중에서 목표 물체의 위치를 최종적으로 결정하는 것이다. 상대적 변위를 고려함으로써, 물체가 부분적으로 가려 보이지 않는 경우에도 물체 인지 가능성이 높아지는 반면, 적은 연산량으로 신속하게 찾을 수 있는 장점이 있다.

물체의 위치를 최종적으로 결정하는 방법 또는 규칙은 다양하게 결정될 수 있다는 것을 이해할 수 있을 것이다. 앞서, 4 가지의 방법 또는 규칙들에 대해 예시적으로 설명한 바 있으나, 본 발명은 이러한 실시예에 국한되는 것은 아니다.

한편, 로봇은 도2의 순서도에 따라 목표 물건의 위치를 결정하고 행동을 결정한다. 로봇이 이동한다면, 로봇에서 촬영되는 주변 영상은 연속적으로 입력될 것이며, 따라서 상이한 다수의 프레임들이 입력될 것이다.

새롭게 입력되는 주변 영상의 프레임은 신속하게 처리되어야 하고, 로봇의 다음 행동이 또다시 결정되어야 한다. 그러나, 이러한 결정 과정은 많은 시간과 연산을 요하기 때문에, 해당 프레임의 영상 정보를 이용할 것인지 혹은 해당 프레임의 영상 정보를 이전 프레임의 영상 정보보다 더 신뢰해야 하는지를 판단할 필요가 있다.

따라서, 도2에 도시된 바와 같이, 다음 단계는 현재 프레임에 대한 신뢰도를 평가하는 것이다(S13). 프레임의 신뢰도는 여러 규칙들에 의해 판단될 수 있지만, 판단 규칙의 최적화 또는 적정성을 평가하는 것은 쉽지 않다. 그러므로, 프레임의 신뢰도에 대한 규칙은 알고리즘을 결정하는 엔지니어의 자의적 판단에 따라 자유롭게 결정될 수 있다.

일 예로서, 각각의 프레임에 대한 신뢰도는 다음의 <수식 12>에 의해 평가할 수 있을 것이다:

<수식 12>

Bel(Frame)= w₁CH_MV + w₂CCH_MV + w₃GEO_MV

여기에서, w₁,w₂,w₃는 가중치이고, CH_MV는 컬러 히스토그램의 매칭값, CCH_MV는 컬러 동시발생 히스토그램의 매칭값, GEO_MV는 상대적 변위의 매칭값이다.

이들 매칭값은 컬러 히스토그램의 유사도, 컬러 동시발생 히스토그램의 유사도, 상대적 변위의 정도를 대표하는 적정한 값에서 선택될 수 있다.

예컨대, CH_MV는 앞서 프레임 영상에서 목표 물건의 위치로 최종 판단된 2차 후보 영역들 또는 부분 영역들의 평균적인 컬러 히스토그램의 유사도로 선택될 수 있다. 유사하게, CCH_MV는 CH_MV가 산출된 부분 영역들의 평균적인 컬러 동시발생 히스토그램의 유사도로 선택될 수 있고, GEO_MV는 동일 영역들에 대한 수치화된 상대적 위치의 정확성을 나타낼 수 있다.

한편, 가중치 w₁,w₂,w₃는 매칭값들 중 상대적으로 신뢰성 내지 중요성이 있는 것에 더 높은 가중치를 두도록 임의로 정해질 수 있는 값이다. 예컨대, 컬러 히스토그램보다는 컬러 동시발생 히스토그램의 매칭값이 신뢰성이 더 높기 때문에, 일반적으로 w₂가 w₁보다 더 크게 선택될 것이다.

또다른 방법으로, 가중치 w₁,w₂,w₃는 엔트로피의 개념을 사용하여 결정할 수 있는데, i) 컬러 히스토그램을 결정하는 대표 컬러의 수를 기반으로 엔트로피를 산출하여 w₁을 결정할 수 있고, ii) 컬러 동시발생 히스토그램의 경우의 수를 기반으로 엔트로피를 산출하여 w₂를 결정할 수 있고, iii) 마찬가지로, 부분 영역들의 상대적 변위의 경우를 기반으로 엔트로피를 산출하여 w₃를 결정할 수 있을 것이다.

전술한 바와 같이, <수식 12>와 같은 신뢰도가 매 프레임마다 측정 비교되고, 그 결과에 따라 로봇의 행동을 결정하게 된다(S14).

신뢰도가 이전 프레임보다 높지 못하다면, 로봇의 행동은 이전 프레임에서 결정된 대로 유지될 것이다(S15).

반면, 신뢰도가 더 높은 새로운 프레임이 입력되었다면, 목표 물건의 위치는 새로운 프레임을 기반으로 결정되고, 따라서 그에 따라 물체의 행동이 새롭게 결정된다(S16).

로봇의 행동 중에는 물체를 향한 이동이 포함되어 있고, 로봇이 이동하면서 연속적인 촬영이 가능하기 때문에, 새로운 프레임들이 연속적으로 입력될 것이다. 도2의 순서도는 로봇이 새로운 프레임들 내에서 목표 물건을 인식하는 방법과, 어느 프레임을 더욱 신뢰하고 행동을 결정할 것인지를 함께 보여주고 있다. 연속적인 촬영에 발맞추어, 신속한 물체 인식과 프레임의 신뢰도가 측정되어야 연속적인 로봇의 행동을 보장할 수 있다.

본 발명은 패치 영상들에 대한 컬러 히스토그램 또는 컬러 동시발생 히스토그램 정보가 고정되어 있고, 유사도를 측정함에 있어 연산량이 적은 방법으로부터 후보 영역을 줄이고, 그 범위 내에서 연산량이 많으나 정확성을 기할 수 있는 방법을 수행한다.

따라서, 로봇의 물체 인식의 정확성과 신속성을 보장할 수 있고, 이에 따른 로봇의 자연스런 행동을 보장할 수 있다.

지금까지 본 발명의 몇몇 실시예들에 대해서만 설명하였으나, 당업자는 이들에 대해 본 발명의 사상 및 범위를 벗어나지 않는 수준에서 다양한 변형, 치환 등이 가능한 것을 이해할 수 있을 것이다.

예를 들어, 본 발명의 실시예들에서 유사도를 수치화하는 방법은 다양하게 선택될 수 있고, 상대적 변위를 수치화하는 방식도 확률 분포를 이용하는 방법 외에도 다양하게 선택될 수 있는 것이다.

또한, 프레임 신뢰도를 평가하는 방법 및 그 순서는 본 발명의 실시예에 한정되는 것이 아니며, 다양한 방법으로 평가될 수 있을 뿐만 아니라, 도2와 다른 순서에서 수행될 수 있는 것임에 주의할 필요가 있다.

따라서, 본 발명의 실시예는 본 발명을 한정하는 것으로 해석되어서는 안 되며, 다만 본 발명의 예시적인 양태로서 이해되는 것이 합리적이다. 본 발명의 사상 및 그 범위는 이하의 특허청구범위에 의해서 정해지며, 그 범위는 균등의 범위까지 포함하는 것으로 해석되어야 할 것이다.

Claims

목표 물건의 영상을 다수의 영역으로 구분하여 선택된 다수의 패치 영상을 기초로, 주변을 촬영하여 획득한 주변 영상의 프레임에서 상기 목표 물건을 탐색하는 로봇의 물체 인식 방법에 있어서,
상기 프레임의 부분 영역에 대한 컬러 히스토그램과 상기 다수의 패치 영상의 컬러 히스토그램을 비교하여 유사도를 수치화하는 단계;
상기 컬러 히스토그램의 유사도와 미리 결정된 기준치를 비교하여, 상기 패치 영상별 상기 컬러 히스토그램이 유사한 상기 부분 영역을 1차 후보 영역으로 결정하는 단계;
상기 1차 후보 영역의 컬러 동시발생 히스토그램과 상기 패치 영상의 컬러 동시발생 히스토그램을 비교하여 유사도를 수치화하는 단계;
상기 패치 영상별 상기 컬러 동시발생 히스토그램의 유사도가 가장 큰 1차 후보 영역을 2차 후보 영역으로 결정하는 단계;
상기 다수의 패치 영상 중 선택된 기준 패치 영상에 대한 상기 2차 후보 영역과 다른 패치 영상들에 대한 상기 1차 후보 영역들 또는 상기 2차 후보 영역들의 상대적 변위를, 상기 기준 패치 영상과 상기 다른 패치 영상들간의 상대적 위치 차이를 기초로 수치화하는 단계;
상기 다수의 패치 영상 각각을 상기 기준 패치 영상으로 하여 상기 상대적 변위를 수치화하는 단계;
상기 컬러 동시발생 히스토그램의 유사도 및 상기 상대적 변위를 기초로 상기 목표 물건의 위치를 결정하는 단계를 포함하고,
상기 목표 물건의 영상을 다수의 영역으로 구분하는 다수의 패치 영상은, 크기가 다른 상기 목표 물건의 영상들을 동일한 크기의 부분 영역으로 구분하는 패치 영상들을 포함하는 것을 특징으로 하는 로봇의 물체 인식 방법.
제1항에 있어서, 상기 컬러 동시발생 히스토그램의 유사도 및 상기 상대적 변위를 기초로 상기 목표 물건의 위치를 결정하는 단계는,
(a) 하나의 기준 패치 영상에 대해 결정된, 다른 패치 영상들에 대응하는 상기 2차 후보 영역들 각각의 상대적 변위와 컬러 동시발생 히스토그램의 유사도를 곱한 후 덧셈하는 단계;
(b) 상기 덧셈 결과에 상기 기준 패치 영상에 대한 2차 후보 영역의 컬러 동시발생 히스토그램의 유사도를 곱하는 단계;
(c) 나머지 상기 다수의 패치 영상들 각각을 기준 패치 영상으로 하여 상기 (a) 단계 및 (b) 단계를 반복하는 단계; 및
(d) 상기 (b) 단계의 곱셈 결과가 최대인 패치 영상을 상기 목표 물건의 위치로 결정하는 단계를 포함하는 것을 특징으로 하는 로봇의 물체 인식 방법.
제1항에 있어서, 상기 컬러 동시발생 히스토그램의 유사도 및 상기 상대적 변위를 기초로 상기 목표 물건의 위치를 결정하는 단계는,
모든 패치 영상들에 대해, 상기 상대적 변위에 관계된 상기 패치 영상들의 상기 컬러 동시발생 히스토그램의 유사도와 상기 상대적 변위의 곱셈을 구하는 단계; 및
상기 곱셈 결과가 가장 큰 상기 패치 영상들의 위치를 상기 목표 물건의 위치로 결정하는 단계를 포함하는 것을 특징으로 하는 로봇의 물체 인식 방법.
제1항에 있어서,
상기 주변 영상에 대한 다수의 프레임 각각에 대한 상기 컬러 히스토그램의 유사도, 상기 컬러 동시발생 히스토그램의 유사도, 및 상기 상대적 변위를 기초로 상기 프레임 각각에 대한 신뢰도를 수치화하는 단계; 및
상기 신뢰도가 높은 프레임에 대해 결정된 상기 목표 물건의 위치에 따라 로봇의 행동을 결정하는 단계를 포함하는 것을 특징으로 하는 로봇의 물체 인식 방법.
제4항에 있어서,
상기 신뢰도는 각각의 프레임에 대해 목표 물건의 위치로 결정된 영역의 상기 컬러 히스토그램의 유사도, 상기 컬러 동시발생 히스토그램의 유사도, 및 상기 상대적 변위를 기초로 수치화되는 것을 특징으로 하는 로봇의 물체 인식 방법.
제5항에 있어서,
상기 신뢰도는 상기 컬러 히스토그램의 유사도, 상기 컬러 동시발생 히스토그램의 유사도, 및 상기 상대적 변위 각각에 대한 가중치를 부여한 후 덧셈하여 수치화되는 것을 특징으로 하는 로봇의 물체 인식 방법.
제1항에 있어서,
상기 다수의 패치 영상 중 하나의 패치 영상에 대응하는 2차 후보 영역의 상기 주변 영상에서의 위치를 기준으로, 다른 패치 영상들이 각각에 대응하는 상기 1차 후보 영역에 위치하게 될 1차 위치 확률을 산정하는 단계;
수치화된 상기 컬러 동시발생 히스토그램의 유사도를 해당 상기 1차 위치 확률에 곱하는 단계; 및
상기 패치 영상별로 상기 곱셈 결과가 가장 큰 1차 후보 영역을 3차 후보 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 로봇의 물체 인식 방법.
제7항에 있어서,
상기 다수의 패치 영상 중 하나의 패치 영상에 대응하는 2차 후보 영역의 상기 주변 영상에서의 위치를 기준으로, 다른 패치 영상들이 각각에 대응하는 상기 3차 후보 영역에 위치하게 될 3차 위치 확률을 산정하는 단계; 및
다음의 수식에 의한 최종 벡터(R)를 상기 목표 물건의 위치로 결정하는 단계를 더 포함하는 것을 특징으로 하는 로봇의 물체 인식 방법:

(여기에서,
, S_CCH는 컬러 동시발생 히스토그램의 유사도, q는 패치 영상, m은 2차 후보 영역, V는 3차 후보 영역, n은 3차 후보 영역의 개수, i,j는 매개 변수, position은 변수의 위치를 나타냄)