KR100608650B1

KR100608650B1 - 로봇의 목표물 추적방법

Info

Publication number: KR100608650B1
Application number: KR1020040106571A
Authority: KR
Inventors: 단병주
Original assignee: 엘지전자 주식회사
Priority date: 2004-12-15
Filing date: 2004-12-15
Publication date: 2006-08-08
Also published as: KR20060068001A

Abstract

본 발명은 로봇의 목표물 추적방법에 관한 것으로, 로봇의 카메라를 이용하여 목표물을 추적하다가, 그 목표물이 카메라의 시야각에서 벗어나면, 이전 화상을 방향 결정 블록으로 구분하고, 그 방향 결정블록에서의 목표물이 위치한 영역에 따라, 회전방향을 결정하여 그 결정된 회전방향으로 카메라 또는 로봇을 회전시키거나, 일정 거리만큼 이동시킨후, 결정된 회전방향으로 카메라 또는 로봇을 회전시킴킴으로써, 지속적으로 목표물을 추적할 수 있도록 한 것이다. 이를 위하여 본 발명은 카메라를 통해 화상을 수신하는 과정과; 상기 수신된 화상내에서 목표물이 검출되지 않으면 목표물 추정모드로 전환하는 과정과; 이전에 수신된 화상에서 검출된 대표값을 방향 결정블록과 비교하고, 그 비교결과에 근거하여 목표물을 추적하는 과정으로 이루어진다.

Description

로봇의 목표물 추적방법{OBJECTIVE TRACE METHOD FOR ROBOT}

도1은 일반적인 로봇의 구성을 보인 개략도.

도2는 종래 로봇의 목표물 추적방법에 대한 동작 흐름도.

도3은 로봇이 목표물을 추적하는 모습을 보인 개략도.

도4는 로봇이 목표물을 추적하는 과정을 보인 개략도.

도5는 본 발명 로봇의 목표물 추적방법에 대한 동작흐름도.

도6는 도5에 있어서, 방향 결정블록의 실시예를 보인도.

본 발명은 로봇의 목표물 추적방법에 관한 것으로, 특히 로봇의 카메라를 이용하여 목표물을 추적하다가, 그 목표물이 카메라의 시야각에서 벗어나면, 이전 화상을 방향 결정 블록으로 구분하고, 그 방향 결정블록에서의 목표물이 위치한 영역에 따라, 회전방향을 결정하여 그 결정된 회전방향으로 카메라 또는 로봇을 회전시키거나, 일정 거리만큼 이동시킨후, 결정된 회전방향으로 카메라 또는 로봇을 회전시킴으로써, 지속적으로 목표물을 추적할 수 있도록 한 로봇의 목표물 추적방법에 관한 것이다.

일반적으로, 엔터테인먼트 로봇 제품군은 사용자의 목적에 의해서만 작업을 수행하는 산업로봇과 달리 인공지능을 가지고 있어 생명체와 같이 자율적으로 행동할 수 있다.

즉 로봇은 자율적으로 공간을 이동할 수 있도록, 도1과 같이 로봇 동체에 바퀴를 장착되며,장애물을 피하거나 특정의 목표물을 쫓아갈 수 있도록 카메라를 이용하는 경우가 많다.

상기 카메라를 통해 캡쳐된 화상을 화상처리(vision processing)를 통해 특정 색깔의 공이나 사람얼굴등의 목표물을 추적하는 기능을 가지고 있어서 사용자가 원하는 방향으로 로봇을 유도할 수 있으며, 로봇의 내부 감정상태나 외부로 나타나는 행동들이 물체의 탐지 및 추적과 관련되어 변하기 때문에 사용자에게 다양한 즐거움을 주는 수단으로 사용되고 있다.

상기 카메라는 보통 로봇의 머리부에 장착되며, 물체의 움직임에 따라 이를 인식해서 로봇의 머리를 회전시켜 물체를 항상 화상의 중심에 두도록 함으로써 머리를 항상 물체가 있는 방향을 향하도록 하는 방법을 쓰고 있는데, 이와같은 로봇의 목표물 추정방법을 첨부한 도2를 참조하여 설명한다.

먼저, 카메라를 통해 화상이 캡쳐되면, 그 화상의 색정보를 계산한다.

만약, 그 화상의 색정보가 물체 색정보의 확률분포내에 존재하지 않으면, 상기 카메라를 통해 화상을 캡쳐하는 동작을 반복수행하고, 화상의 색정보가 물체 색정보의 확률분포내에 존재하면, 물체의 중심좌표를 계산한다.

이후, 상기 물체를 화상의 중심으로 이동하기 위한 머리 회전각도를 계산하 여, 그 머리 회전각도로 머리를 회전한다.

여기서, 도3은 로봇이 목표물을 추적하는 모습을 보인 개략도이다.

이때, 상기 로봇에 장착되는 카메라는 유한한 시야각을 가지고 있으므로, 물체가 시야각을 벗어나서 존재하는 경우에, 로봇은 물체의 현재 위치를 파악할 수 없다.

즉, 로봇의 머리가 물체를 따라 움직이고 있는 경우에 물체의 속도가 화상처리 속도보다 커서 카메라의 시야각을 벗어나게 되면 로봇은 물체를 더 이상 트레킹 할 수 없게 되는 문제점이 있다.

이러한 문제점을 해결하기 위하여, 기출원된 대한민국 공개특허공보 특 2003-69710에서는 추적을 위한 좌표 이력 테이블을 사용하였는데, 즉 좌표 이력테이블을 사용하여, 목표물이 화상을 이탈하였을 경우에도, 정상적인 트랙킹시에 기저장된 목표물의 좌표이력을 검출하여 이탈한 목표물의 현재 위치를 추정함으로써 목표를 트랙킹하도록 한다.

그러나, 이렇게 목표물의 좌표이력을 이용하는 경우에도 목표물 추적의 에러가 발생할 수 있는데, 즉 이탈한 목표물의 속도가 틀려지거나, 또는 현재 목표물의 진행방향과 다른방향으로 이탈한 경우에는, 이전의 좌표이력을 가지고도 목표물의 현재 위치를 추정하지 못하는 문제점이 있다.

또한, 추적을 위한 목표물의 위치 계산 추정시, 최소 두개의 프레임이 필요한데, 이 두 프레임의 시간 간격이 일치하지 않는 경우에는 원하지 않는 추정결과가 나오게 되는 문제점이 있다.

또한, 도4와 같이 카메라 시야각내에서, 갑자기 추적중이던 물체나 사람이 사라지는 경우, 예를 들어, 기둥이나 벽뒤로 추적중이던 물체나 사람이 사라지거나, 추적중이던 사람이 다른 방으로 이동한 경우에는, 계속하여 목표물을 추적하지 못하는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 로봇의 카메라를 이용하여 목표물을 추적하다가, 그 목표물이 카메라의 시야각에서 벗어나면, 이전 화상을 방향 결정 블록으로 구분하고, 그 방향 결정블록에서의 목표물이 위치한 영역에 따라, 회전방향을 결정하여 그 결정된 회전방향으로 카메라 또는 로봇을 회전시키거나, 일정 거리만큼 이동시킨후, 결정된 회전방향으로 카메라 또는 로봇을 회전시킴으로써, 지속적으로 목표물을 추적할 수 있도록 한 로봇의 목표물 추적방법을 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위한 본 발명은, 카메라를 통해 화상을 수신하는 과정과;

상기 수신된 화상내에서 목표물이 검출되면 그 화상내에서 목표물의 위치 대표값을 계산하는 과정과;

상기 위치 대표값을 이용하여 목표물을 추적하는 과정으로 수행함을 특징으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명은, 카메라를 통해 화상을 수신하 는 과정과;

상기 수신된 화상내에서 목표물이 검출되지 않으면 목표물 추정모드로 전환하는 과정과;

이전에 수신된 화상에서 검출된 대표값을 방향 결정블록과 비교하고, 그 비교결과에 근거하여 목표물을 추적하는 과정으로 수행함을 특징으로 한다.

이하, 본 발명에 의한 로봇의 목표물 추적방법에 대한 작용 및 효과를 첨부한 도면을 참조하여 상세히 설명한다.

우선, 본 발명 로봇의 목표물 추적방법이 적용되는 장치는 도1과 동일하다.

도5는 본 발명 로봇의 목표물 추적방법에 대한 실시예의 동작흐름도이다.

도5에 도시한 바와같이 본 발명은, 카메라를 통해 화상을 수신하고, 그 수신된 화상내에 목표물이 존재하는지를 판단하는 과정(SP1,SP2)과; 상기 판단결과, 화상내에서 목표물이 검출되면 그 화상내에서 목표물의 위치 대표값을 계산하고, 그 계산된 값을 이용하여 목표물을 추적하는 과정(SP3,SP4,SP5)과; 상기 판단결과, 화상내에서 목표물이 검출되지 않으면, 목표물 추정모드로 전환한 다음, 이전화상에서 검출된 대표값을 방향 결정블록과 비교하고, 그 비교결과에 따라, 카메라 또는 로봇을 회전시키거나, 로봇을 기저장한 거리만큼 이동시킨후 카메라 또는 로봇을 회전시켜 목표물을 추적하는 과정(SP6~SP10)으로 이루어지며, 이와같은 본 발명의 동작을 설명한다.

먼저, 카메라를 통해 화상을 수신하고(SP1), 그 수신된 화상내에서 목표물 존재 여부를 판단한다(SP2).

상기 판단결과(SP2), 화상내에서 목표물이 검출되면 그 화상내에서 목표물의 위치 대표값을 계산하고(SP3), 그 계산된 값을 이용하여 목표물을 추적한다(SP4 ,SP50)

즉, 화상에서 검출된 목표물의 위치 대표값에 의해, 카메라 또는 로봇의 회전량을 계산하고(SP4), 그 회전량 만큼 소정 방향으로, 로봇 또는 카메라를 회전한다(SP5).

이때, 상기 카메라에 독립적인 자유도가 존재하면, 카메라를 상기 회전량 만큼 좌측 또는 우측으로 회전하고, 카메라에 독립적인 자유도가 존재하지 않으면, 로봇 본체를 상기 회전량 만큼 좌측 또는 우측으로 회전한다.

또한, 상기 카메라에 독립적인 자유도가 존재하면, 상기 카메라의 자유도 제한범위를 상기 회전량과 비교하고, 그 비교결과에 근거하여 카메라 또는 로봇 본체를 회전시키는데, 즉 상기 카메라의 자유도 제한범위가 상기 회전량 보다 크면, 카메라를 상기 회전량 만큼 회전시키고, 상기 카메라의 자유도 제한범위가 상기 회전량 보다 작으면, 상기 회전량 만큼 카메라와 로봇 본체를 동시에 회전시킨다.

상기 판단결과(SP2), 화상내에서 목표물이 검출되지 않으면, 목표물 추정모드로 전환한 다음, 이전화상에서 검출된 대표값을 방향 결정블록과 비교하고(SP6,SP7), 그 비교결과에 따라, 카메라 또는 로봇을 회전시키거나(SP8), 로봇을 기저장한 거리만큼 이동시킨후(SP9) 카메라 또는 로봇을 회전시켜 목표물을 추적한다(SP10).

일실시예로, 도6의 (a)와 같이 회전만 고려한 방향 결정 블록을 사용하는 경 우에, 이전 화상을 레프트존(Left Zone), 라이트존(Right Zone), 블랑크존(Blank Zone)을 가진 세개의 방향 결정 블록으로 구분하고, 그 세개의 방향 결정 블록에서, 이전 화상으로부터 검출된 대표값의 위치 영역을 검출한후, 그 검출된 위치영역을 기준으로, 카메라 또는 로봇 본체의 회전방향을 결정하여 그 결정된 회전방향으로 카메라 또는 로봇 본체를 회전시키거나, 로봇을 기저장한 거리(이전화상에서 목표물과 로봇사이의 거리)만큼 이동시킨후, 카메라 또는 로봇을 회전시켜 목표물을 추적한다.

여기서, 상기 이전 화상으로부터 검출된 대표값의 위치영역이 레프트존(Left Zone)에 존재하면, 카메라 또는 로봇본체를 반시계 방향으로 회전시킨다.

상기 이전 화상으로부터 검출된 대표값의 위치영역이 라이트존(Right Zone)에 존재하면, 카메라 또는 로봇 본체를 시계방향으로 회전시킨다.

만약, 상기 이전 화상으로부터 검출된 대표값의 위치영역이 블랑크존(Blank Zone)에 존재하면, 이전 화상에서의 로봇과 목표물까지의 거리만큼을 이동시킨다(SP9).

그 다음, 상기 블랑크존을 블랑크 레프트존과 블랑크 라이트존으로 구분하여 상기 이전화상으로부터 검출된 대표값의 위치영역이 블랑크 레프트존에 존재하면 카메라 또는 로봇 본체를 반시계방향으로 회전시킨다(SP10).

상기 이전화상으로부터 검출된 대표값의 위치영역이 블랑크 라이트존에 존재하면 카메라 또는 로봇 본체를 시계방향으로 회전시킨다(SP10).

다른 실시예로, 도6의 (b)와 같이 회전 및 거리를 고려한 방향 결정블록을 적용하는 경우, 이전화상을, 레프트존(Left Zone), 라이트존(Right Zone), 블랑크존(Blank Zone), 레프트 어퍼존(Left Upper Zone),라이트 어퍼존(Right Upper Zone),어퍼존(Upper Zone)을 가진 여섯개의 방향 결정 블록으로 구분한 다음, 그 여섯개의 방향결정 블록에서, 이전 화상으로부터 검출된 대표값의 위치 영역을 검출하고, 그 검출된 위치영역을 기준으로, 카메라 또는 로봇 본체의 회전방향을 결정하여 그 결정된 회전방향으로 카메라 또는 로봇 본체를 회전시키거나, 로봇을 기저장한 거리(이전화상에서 목표물과 로봇사이의 거리)만큼 이동시킨후 카메라 또는 로봇을 회전시켜 목표물을 추적한다.

여기서, 상기 이전 화상으로부터 검출된 대표값의 위치영역이 레프트존(Left Zone)에 존재하면, 카메라 또는 로봇본체를 반시계방향으로 회전시킨다.

상기 이전 화상으로부터 검출된 대표값의 위치영역이 블랑크존(Blank Zone)에 존재하면, 이전 화상에서의 로봇과 목표물까지의 거리만큼을 이동시킨다(SP9).

상기 이전화상으로부터 검출된 대표값의 위치영역이 레프트 어퍼존(Left Upper Zone)에 존재하면, 로봇을 일정거리 만큼 뒤로 이동시키면서, 카메라 또는 로봇 본체를 반시계방향으로 회전시킨다(SP8).

상기 이전화상으로부터 검출된 대표값의 위치영역이, 라이트 어퍼존(Right Upper Zone)에 존재하면, 로봇을 뒤로 이동시키면서, 카메라 또는 로봇 본체를 시계방향으로 회전시킨다(SP8).

상기 이전화상으로 검출된 대표값의 위치영역이, 어퍼존(Upper Zone)에 존재하면 로봇을 일정거리 만큼 뒤로 이동시킨후, 변경된 카메라 시야로 화상을 획득한다(SP8).

다시 말해서, 본 발명은 로봇의 카메라를 이용하여 목표물을 추적하다가, 그 목표물이 카메라의 시야각에서 벗어나면, 이전 화상을 방향 결정 블록으로 구분하고, 그 방향 결정블록에서의 목표물이 위치한 영역에 따라, 회전방향을 결정하여 그 결정된 회전방향으로 카메라 또는 로봇을 회전시키거나, 일정 거리만큼 이동시킨후, 결정된 회전방향으로 카메라 또는 로봇을 회전시키도록 한 것이다.

상기 본 발명의 상세한 설명에서 행해진 구체적인 실시 양태 또는 실시예는 어디까지나 본 발명의 기술 내용을 명확하게 하기 위한 것으로 이러한 구체적 실시예에 한정해서 협의로 해석해서는 안되며, 본 발명의 정신과 다음에 기재된 특허 청구의 범위내에서 여러가지 변경 실시가 가능한 것이다.

이상에서 상세히 설명한 바와같이 본 발명은, 로봇의 카메라를 이용하여 목표물을 추적하다가, 그 목표물이 카메라의 시야각에서 벗어나면, 이전 화상을 방향 결정 블록으로 구분하고, 그 방향 결정블록에서의 목표물이 위치한 영역에 따라, 회전방향을 결정하여 그 결정된 회전방향으로 카메라 또는 로봇을 회전시키거나, 일정 거리만큼 이동시킨후, 결정된 회전방향으로 카메라 또는 로봇을 회전시킴으로써, 지속적으로 목표물을 추적할 수 있는 효과가 있다.

Claims

카메라를 통해 화상을 수신하는 과정과;

상기 수신된 화상내에서 목표물이 검출되면 상기 수신된 화상을 방향 결정블록으로 구분하고, 상기 화상내에서 목표물이 위치한 영역에 대한 정보를 의미하는 목표물의 위치 대표값을 계산하는 과정과;

상기 위치 대표값이 상기 방향 결정블록에서 어느 곳에 위치하는지에 따라 목표물을 추적하는 과정으로 수행함을 특징으로 하는 로봇의 목표물 추적방법.
제1 항에 있어서, 목표물을 추적하는 과정은,

목표물의 위치 대표값에 의해, 로봇의 회전량을 계산하는 단계와;

카메라에 독립적인 자유도가 존재하면, 카메라의 자유도 제한범위를 상기 회전량과 비교하는 단계와;

상기 비교결과, 상기 카메라의 자유도 제한범위가 상기 회전량 보다 크면, 카메라를 상기 회전량 만큼 회전시키고, 상기 카메라의 자유도 제한범위가 상기 회전량 보다 작으면, 상기 회전량 만큼 카메라와 로봇 본체를 동시에 회전시키는 단계를 포함하는 것을 특징으로 하는 로봇의 목표물 추적방법.
카메라를 통해 화상을 수신하는 과정과;

상기 수신된 화상내에서 목표물이 검출되지 않으면 목표물 추정모드로 전환하는 과정과;

이전에 수신된 화상을 방향 결정블록으로 구분하고, 상기 방향 결정블록에서의 목표물이 위치한 영역에 대한 정보를 의미하는 목표물의 위치 대표값에 따라 목표물을 추적하는 과정으로 수행함을 특징으로 하는 로봇의 목표물 추적방법.
제3 항에 있어서, 목표물을 추적하는 과정은,

이전화상을, 레프트존, 라이트존, 블랑크존을 가진 세개의 방향 결정 블록으로 구분하는 단계와;

상기 세개의 방향결정 블록에서, 이전 화상으로부터 검출된 대표값의 위치 영역을 검출하는 단계와;

상기 검출된 위치영역을 기준으로, 카메라 또는 로봇 본체의 회전방향을 결정하여 그 결정된 회전방향으로 카메라 또는 로봇 본체를 회전시키거나, 기저장된 일정거리만큼 이동시킨후, 카메라 또는 로봇 본체를 회전시키는 단계를 포함하는 것을 특징으로 하는 로봇의 목표물 추적방법.
제 4항에 있어서, 카메라 또는 로봇 본체를 회전시키는 단계는,

이전 화상으로부터 검출된 대표값의 위치영역이 레프트존에 존재하면, 카메라 또는 로봇본체를 반시계방향으로 회전시키는 단계와;

이전 화상으로부터 검출된 대표값의 위치영역이 라이트존에 존재하면, 카메라 또는 로봇 본체를 시계방향으로 회전시키는 단계를 포함하는 것을 특징으로 하는 목표물 추적방법.
제4 항에 있어서, 카메라 또는 로봇 본체를 회전시키는 단계는,

이전 화상으로부터 검출된 대표값의 위치영역이 블랑크존에 존재하면, 그 블랑크존을 블랑크 레프트존과 블랑크 라이트존으로 구분하는 단계와;

상기 이전화상으로부터 검출된 대표값의 위치영역이 블랑크 레프트존에 존재하면 카메라 또는 로봇 본체를 반시계방향으로 회전시키는 단계와;

상기 이전화상으로부터 검출된 대표값의 위치영역이 블랑크 라이트존에 존재하면 카메라 또는 로봇 본체를 시계방향으로 회전시키는 단계를 더 포함하는 것을 특징으로 하는 로봇의 목표물 추적방법.
제 3항에 있어서, 목표물을 추적하는 과정은

이전화상을, 레프트존, 라이트존, 블랑크존, 레프트 어퍼존,라이트 어퍼존,어퍼존을 가진 여섯개의 방향 결정 블록으로 구분하는 단계와;

상기 여섯개의 방향결정 블록에서, 이전 화상으로부터 검출된 대표값의 위치 영역을 검출하는 단계와;

상기 검출된 위치영역을 기준으로, 카메라 또는 로봇 본체의 회전방향을 결정하여 그 결정된 회전방향으로 카메라 또는 로봇 본체를 회전시키거나, 기저장된 일정거리만큼 이동시킨후, 카메라 또는 로봇 본체를 회전시키는 단계를 포함하는 것을 특징으로 하는 로봇의 목표물 추적방법.
제7 항에 있어서, 카메라 또는 로봇 본체를 회전시키는 단계는,

이전 화상으로부터 검출된 대표값의 위치영역이 레프트존에 존재하면, 카메라 또는 로봇본체를 반시계방향으로 회전시키는 단계와;

이전 화상으로부터 검출된 대표값의 위치영역이 라이트존에 존재하면, 카메라 또는 로봇 본체를 시계방향으로 회전시키는 단계와;

이전화상으로부터 검출된 대표값의 위치영역이 레프트 어퍼존에 존재하면, 로봇을 일정거리 만큼 뒤로 이동시키면서, 카메라 또는 로봇 본체를 반시계방향으로 회전시키는 단계와;

이전화상으로부터 검출된 대표값의 위치영역이, 라이트 어퍼존에 존재하면, 로봇을 뒤로 이동시키면서, 카메라 또는 로봇 본체를 시계방향으로 회전시키는 단계와;

이전화상으로 검출된 대표값의 위치영역이, 어퍼전에 존재하면 로봇을 일정거리만큼 뒤로 이동시키는 단계를 포함하는 것을 특징으로 하는 로봇의 목표물 추적방법.
제7 항에 있어서, 카메라 또는 로봇 본체를 회전시키는 단계는,

이전 화상으로부터 검출된 대표값의 위치영역이 블랑크존에 존재하면, 상기 블랑크존을 블랑크 레프트존과 블랑크 라이트존으로 구분하는 단계와;

상기 이전화상으로부터 검출된 대표값의 위치영역이 블랑크 레프트존에 존재하면 카메라 또는 로봇 본체를 반시계방향으로 회전시키는 단계와;

상기 이전화상으로부터 검출된 대표값의 위치영역이 블랑크 라이트존에 존재하면 카메라 또는 로봇 본체를 시계방향으로 회전시키는 단계를 더 포함하는 것을 특징으로 하는 로봇의 목표물 추적방법.