KR20090062881A - 이동 로봇 및 그 이동 객체 검출 방법 - Google Patents

Abstract

본 발명은 이동 로봇 및 그 이동 객체 검출 방법에 관한 것으로, 본 발명은 이동 로봇에서 촬영된 전방위 영상을 파노라마 영상으로 변환하고, 상기 파노라마 영상을 이전 파노라마 영상과 비교하여 이동 객체의 움직임 영역을 추정하고, 상기 추정된 움직임 영역의 면적이 기준면적을 초과하면 그 영역에 이동 객체의 움직임이 있는 것으로 확인한다.

이동 로봇, 전방위 카메라, 이동 객체

Description

이동 로봇 및 그 이동 객체 검출 방법{A Moving Robot and a Moving Object Detecting Method thereof}

본 발명은 이동 로봇 및 그 이동 객체 검출 방법에 관한 것으로, 더욱 상세하게는 이동로봇의 움직임과 상관없이 움직이는 객체를 검출하는 이동 로봇 및 이동 객체 검출 방법에 관한 것이다.

전방위 카메라는 카메라 주위의 360°영상을 얻을 수 있는 카메라로, 최근 전술한 전방위 카메라를 이동 로봇에 장착하고, 전방위 카메라에서 촬영된 전방위 영상을 이용하여 움직이는 객체를 검출하는 기술이 소개되었다.

종래의 이동 로봇은 전방위 시야를 갖는 전방위 시각 센서를 탑재하고 특정한 경로로 이동하면서 전방위 시각 센서를 통해 이동 로봇 주변의 영상을 취득하였다. 그리고, 이동 로봇은 이 취득된 영상을 이전에 취득된 과거 영상의 몇몇 분산된 특징점들과 매칭시켜 이동 객체의 움직임을 검출하였다.

그러나, 이와 같은 종래의 이동 객체 검출 방법은 로봇의 이동을 고려하지 않고 몇몇 분산된 특징점 영역의 추적을 통하여 이동 객체의 움직임을 추정함으로써, 움직이는 물체를 효과적으로 검출하지 못한 문제점이 있었다.

또한, 이동 로봇이 감시용으로 사용될 때 감시하고자 하는 이동 객체의 크기가 정해지지 않아 이동하는 모든 객체를 검출함으로써, 그 사용하는 목적에 따른 이동 객체를 구분하지 못한 문제점이 있었다.

본 발명은 전술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 이동 로봇의 움직임과 상관없이 움직이는 객체를 정확하게 검출할 수 있는 이동 로봇 및 그 이동 객체 검출 방법을 제공함에 있다.

또한, 본 발명은 이동 로봇이 감시용으로 사용될 때 감시하고자 하는 이동 객체의 크기에 따라 이동 객체를 검출하는 이동 로봇 및 그 이동 객체 검출 방법을 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명은 이동 로봇에서 촬영된 전방위 영상을 파노라마 영상으로 변환하고, 상기 파노라마 영상을 이전 파노라마 영상과 비교하여 이동 객체의 움직임 영역을 추정하고, 상기 추정된 움직임 영역의 면적이 기준면적을 초과하면 그 영역에 이동 객체의 움직임이 있는 것으로 확인한다.

또한, 상기 파노라마 영상을 이전 파노라마 영상과 비교시 광류 매칭을 이용 한다.

또한, 상기 광류 매칭은 상기 두 파노라마 영상에서 이전 파노라마 영상을 복수의 블록으로 나누고, 상기 블록들의 특징점을 설정하여 상기 특징점이 현재 파노라마 영상의 어느 곳으로 이동하였는지 확인한다.

또한, 상기 특징점은 상기 블록의 코너 픽셀 중 밝기가 가장 어두운 픽셀이다.

또한, 상기 파노라마 영상을 이전 파노라마 영상과 비교시 광류 매칭을 수행하고, 상기 광류 매칭을 통해 매칭된 블록들의 SAD(Sum of Absolute Difference)값을 구한다.

또한, 상기 SAD 값이 기준값 보다 큰 블록을 이동 객체의 움직임 영역으로 추정한다.

또한, 상기 기준면적은 신체 크기에 비례한다.

그리고 본 발명은 이동 로봇에서 촬영된 복수의 전방위 영상을 파노라마 영상으로 변환하고, 상기 복수의 파노라마 영상을 서로 비교하여 한 파노라마 영상의 소정 블록이 매칭되는 블록을 다른 파노라마 영상에서 찾고, 상기 매칭된 블록간의 SAD(Sum of Absolute Difference)를 구하여 이동 객체를 검출한다.

또한, 상기 복수의 전방위 영상은 시간의 연속인 두 영상이다.

또한, 단위면적 내의 블록들 중에 상기 SAD가 기준값을 초과하는 블록들의 면적이 기준면적을 초과하면, 상기 단위면적에 이동 객체가 있는 것으로 검출한다.

또한, 상기 기준면적은 상기 이동 객체의 크기에 비례한다.

또한, 상기 이동 객체는 사람인 것을 특징으로 한다.

그리고 본 발명의 이동 로봇은 전방위 영상을 파노라마 영상으로 변환시키는 영상 처리부, 상기 영상 처리부에서 변환된 파노라마 영상을 저장하는 메모리, 상기 영상 처리부에서 변환된 파노라마 영상과 상기 메모리에 저장된 이전 파노라마 영상을 비교하여 이동 객체의 움직임 영역을 추정하고, 상기 추정된 움직임 영역의 면적이 기준면적을 초과하면 그 영역에 이동 객체가 있다고 검출하는 제어부를 포함한다.

또한, 상기 제어부는 상기 파노라마 영상을 이전 파노라마 영상과 비교시 광류 매칭을 이용한다.

또한, 상기 기준면적은 검출하고자 하는 이동 객체의 크기에 비례한다.

이상에서 상세히 설명한 바와 같이, 본 발명은 로봇이 이동시 전방위 카메라에서 촬영된 배경의 움직임을 제거하여 실제 이동하는 객체만을 정확하게 검출할 수 있게 한다.

또한, 본 발명은 감시하고자 하는 이동 객체의 움직임을 좀더 정확히 검출할 수 있는 효과가 있다.

이하에서는 본 발명의 바람직한 실시예를 참조하여 본 발명을 상세하게 설명하도록 한다.

도1에 도시한 바와 같이 본 발명이 적용되는 이동 로봇(10)은 로봇 본체(12) 와, 로봇 본체(12)에 장착된 전방위 카메라(11)를 포함한다.

전방위 카메라(11)는 도2에 도시된 바와 같이 전방위 렌즈(11a)와 CCD 소자(11b)로 구성되며, 전방위 카메라(11)의 전면부에는 곡면 거울이 장착되어 도3에 예시한 것과 같이 전방위 카메라 주변의 360° 영상을 얻을 수 있다. 즉, 임의의 공간상의 점 Xmir는 곡면거울 면의 점 xmir에서 반사되어 CCD 소자(11b)에 결상되고 최종적으로는 영상면의 점 ximg로 나타나는데, 전술한 Xmir는 전방위에 분포하므로 전방위 카메라가 360° 영상을 획득할 수 있는 것이다.

도 4 에 도시한 바와 같이 본 발명의 일실시예에 따른 이동 로봇(10)은 도 1 또는 도 2 에 도시한 구성요소 외에 전방위 카메라(11)에서 촬영한 영상을 입력받아 파노라마 영상으로 구현하는 영상 처리부(20), 영상 처리부(20)에서 구현된 파노라마 영상을 이용하여 이동 객체를 인식하는 제어부(30), 파노라마 영상을 저장하는 메모리(30)를 더 포함한다.

전방위 카메라(11)는 도 3 에 예시된 것과 같이 360°의 전방위 영상을 촬영한다. 이 전방위 영상은 구면좌표계로써 표현이 되지만, 구면좌표계는 사람의 눈으로 확인하기 어렵고, 객체의 움직임 검출시 전방위 영상을 그대로 사용할 경우 영상이 곡선으로 휘는 영상의 왜곡 현상이 발생하다. 따라서, 구면좌표계로 표현된 전방위 영상을 원근좌표계로 표현된 파노라마 영상으로 변환하는 과정이 요구필요하며, 이 과정을 영상 처리부(20)가 담당한다.

영상 처리부(20)에는 구면좌표계에서 원근좌표계로의 위치변환 룩-업 테이블(Look-up Table)이 설정되어 있어, 영상 처리부(20)는 이 룩-업 테이블을 이용하 여 전방위 카메라(11)에서 입력받은 구면좌표계의 전방위 영상을 도 5 에 예시된 바와 같이 원근좌표계의 파노라마 영상으로 변환한다. 상기 룩-업 테이블을 이용하여 구면좌표계로 표현된 전방위 영상을 원근좌표계로 표현된 파노라마 영상으로 변환하는 과정은 대한민국 공개특허 특2002-0028853에 기술되어 있어, 본 발명에서는 자세한 설명은 생략한다.

영상 처리부(20)에서 생성된 파노라마 영상은 메모리(40)에 저장되며, 제어부(30)는 메모리(40)에 저장된 이전 파노라마 영상(이하 'T-1 영상'이라 칭함) 및 영상 처리부(20)에서 전송되는 현재 파노라마 영상(이하 'T 영상'이라 칭함)을 이용하여 이동 객체의 움직임을 검출한다.

이동 로봇(10)의 움직임은 크게 두 종류로써 평면이동과 회전이동이 있으며, 이 두 종류의 움직임은 동시에 일어날 수 있다. 객체의 움직임이 없는 장소에서 이동 로봇(10)이 이동시 전방위 카메라(11)가 촬영한 영상의 배경은 같은 화면이 촬영되지 않고 시간의 흐름에 따라 서로 다른 화면이 촬영된다. 예를 들어, 이동 로봇(10)이 전,후,좌,우 중 어느 하나의 방향으로 이동하는 평면이동시 T-1 영상에서 T 영상은 부분별로 확장 또는 축소된다. 즉, 이동 로봇(10)이 평면이동시 배경의 정적인 객체는 확대되거나 축소되어 시간의 연속으로 촬영된 두 영상(T-1 및 T 영상)에서 같은 위치에 존재하지 않는다. 또한, 이동로봇(10)이 어느 한 점을 중심으로 회전이동을 하면 두 영상의 정적인 객체는 이동로봇(10)의 회전 방향에 따라 좌 또는 우로의 평행이동을 하고, 이동 로봇(10)이 회전하면서 이동을 하게 되면 정적인 객체는 이동, 확대 또는 축소되어 움직임이 있는 것처럼 감지된다.

제어부(30)는 이동 로봇(10)이 움직임에 따라 정적 객체가 함께 움직이는 것처럼 보이는 착시현상을 해소하기 위하여 광류매칭을 수행한다.

광류 매칭(Optical Flow Matching)이란, 시간적 차를 두고 같은 배경이 촬영된 2개의 영상에서 나타나는 외견상 움직음을 벡터로 나타낸 것을 말한다. 더욱 자세히 설명하면, 이전 촬영된 영상을 복수의 블록으로 나누고, 각 블록마다 특징점을 설정하여 이 특징점이 현재 촬영된 영상의 어느 위치로 이동하였는지 추적하는 것이다. 그리고, 각 블록의 특징점은 블록의 코너 픽셀 중 밝기가 가장 어두운 픽셀로 설정된다.

광류 매칭을 통하여 T-1 영상의 각 블록 특징점들이 T 영상의 어느 위치로 이동하였는지 추적되면, 제어부(30)는 T-1영상과 T영상의 서로 매칭되는 블록들의 SAD(Sum of Absolute Difference)를 구하여 객체의 움직임을 확인한다.

이동 객체의 움직임이 있는 블록의 SAD는 이동 객체의 움직임이 없는 블록의 SAD보다 큰 값으로 나타난다. 하지만, 이동 로봇(10)이 이동을 하게 되면 정적인 배경 또한 이동, 확대 또는 축소되어 이 블록들의 SAD 또한 증가하게 된다.

제어부(30)에는 SAD 기준값이 설정되어 있어, 이 기준값을 초과하는 SAD를 가지는 블록을 이동 객체의 움직임 영역으로 추정한다. 또한, 제어부(30)에는 상기 추정된 이동 객체의 움직임 영역 중 이동 로봇(10)의 이동에 따른 정적 배경의 움직임을 제거하기 위하여 사람의 신체 면적에 비례하는 기준면적이 설정되어 있다. 제어부(30)는 단위면적 내에 위치하는 블록들 중 상기 SAD가 기준값을 초과하는 블록들의 면적이 기준면적을 초과하면 상기 단위면적에 이동 객체가 있는 것으로 검 출한다.

이하에서는 도 6 을 참조하여 본 발명의 일실시예에 따른 이동로봇의 이동 객체 검출 방법을 설명하도록 한다.

이동 로봇(10)이 정지 또는 이동 중, 전방위 카메라(11)는 설정된 시간간격마다 전방위 영상을 촬영한다(600).

촬영된 전방위 영상은 영상 처리부(20)로 전송되고, 영상 처리부(20)는 저장된 위치변환 룩-업 테이블을 이용하여 구면좌표계로 표현된 전방위 영상을 도 5 에 예시된것처럼 원근좌표계로 표현된 파노라마 영상으로 변환한다(610).

610 단계에서 전방위 영상이 파노라마 영상으로 변환되면, 영상 처리부(20)는 변환된 파노라마 영상을 제어부(30) 및 메모리(40)로 전송한다. 제어부(30)는 현재의 파노라마 영상(T영상)이 전송되면 T-1 영상과 비교하여 객체의 이동이 있었는지 판단하기 위하여 메모리(40)에 저장되어 있는 T-1 영상을 불러온다(620).

T-1 영상 및 T 영상이 제어부(30)로 입력되면, 제어부(30)는 T-1영상을 20*20 픽셀 크기의 단위 블록으로 나누고, 각 단위블록의 특징점을 설정한다(630).

630 단계에서 T-1 영상 블록들의 특징점이 설정되면, 제어부(30)는 각 특징점이 T 영상의 어느 곳으로 이동되었는지 확인하기 위하여 광류매칭을 수행한다(640).

640 단계에서 광류 매칭을 통하여 T-1 영상의 특징점과 T 영상의 특징점이 매칭되면, 제어부(30)는 T-1 영상의 특징점이 위치하는 블록과 매칭된 T 영상의 특징점이 위치하는 블록과의 SAD를 구한다(650).

제어부(30)는 이동 객체의 움직임을 추정하기 위하여 650 단계에서 구한 SAD 값이 기준값을 초과하는 블록이 있는지 비교하고, SAD 값이 기준값을 초과하는 블록을 있다면, 이 블록을 이동 객체의 움직임이 추정되는 영역으로 판단한다(660).

660 단계에서 추정된 이동 객체의 움직임 영역 중 로봇의 이동으로 인하여 SAD가 높게 나오는 배경영역을 제거하기 위하여, 제어부(30)는 단위면적 내에 위치하는 블록들 중 상기 SAD가 기준값을 초과하는 블록들의 면적이 기준면적을 초과하는지 비교한다(670).

670 단계의 비교결과 단위면적 내에 위치하는 블록들 중 상기 SAD가 기준값을 초과하는 블록들의 면적이 기준면적을 초과한다면, 상기 단위면적내에 이동 객체가 있다고 판단하고 이동 로봇(10)을 그 영역으로 이동시키거나 사이렌을 울린다(680).

도 1은 본 발명의 일실시예에 다른 이동 로봇의 외형도이다.

도 2는 도 1의 이동 로봇에 설치된 전방위 카메라의 단면도이다.

도 3은 도 2의 전방위 카메라에서 촬영된 전방위 영상을 예시한 도면이다.

도 4는 본 발명의 일실시예에 따른 이동 로봇의 블록도이다.

도 5는 도 3의 전방위 영상을 파노라마 영상으로 변환한 도면이다.

도 6은 본 발명의 일실시예에 따른 이동 로봇의 이동 객체 검출 방법을 도시한 흐름도이다.

* 도면의 주요 기능에 대한 부호의 설명 *

10 : 이동 로봇 11 : 전방위 카메라

20 : 영상 처리부 30 : 제어부

40 : 메모리

Claims (15)

1. 이동 로봇에서 촬영된 전방위 영상을 파노라마 영상으로 변환하고,

   상기 파노라마 영상을 이전 파노라마 영상과 비교하여 이동 객체의 움직임 영역을 추정하고,

   상기 추정된 움직임 영역의 면적이 기준면적을 초과하면 그 영역에 이동 객체의 움직임이 있는 것으로 확인하는 이동 로봇의 이동 객체 검출 방법.
2. 제 1 항에 있어서,

   상기 파노라마 영상을 이전 파노라마 영상과 비교시 광류 매칭을 이용하는 이동 로봇의 이동 객체 검출 방법.
3. 제 2 항에 있어서,

   상기 광류 매칭은 상기 두 파노라마 영상에서 이전 파노라마 영상을 복수의 블록으로 나누고,

   상기 블록들의 특징점을 설정하여 상기 특징점이 현재 파노라마 영상의 어느 곳으로 이동하였는지 확인하는 이동 로봇의 이동 객체 검출 방법.
4. 제 3 항에 있어서,

   상기 특징점은 상기 블록의 코너 픽셀 중 밝기가 가장 어두운 픽셀인 이동 로봇의 이동 객체 검출 방법.
5. 제 2 항에 있어서,

   상기 파노라마 영상을 이전 파노라마 영상과 비교시 광류 매칭을 수행하고,

   상기 광류 매칭을 통해 매칭된 블록들의 SAD(Sum of Absolute Difference)값을 구하는 이동 로봇의 이동 객체 검출 방법.
6. 제 5 항에 있어서,

   상기 SAD 값이 기준값 보다 큰 블록을 이동 객체의 움직임 영역으로 추정하는 이동 로봇의 이동 객체 검출 방법.
7. 제 1 항에 있어서,

   상기 기준면적은 신체 크기에 비례하는 이동 로봇의 이동 객체 검출 방법.
8. 이동 로봇에서 촬영된 복수의 전방위 영상을 파노라마 영상으로 변환하고,

   상기 복수의 파노라마 영상을 서로 비교하여 한 파노라마 영상의 소정 블록이 매칭되는 블록을 다른 파노라마 영상에서 찾고,

   상기 매칭된 블록간의 SAD(Sum of Absolute Difference)를 구하여 이동 객체를 검출하는 이동 로봇의 이동 객체 검출 방법.
9. 제 8 항에 있어서,

   상기 복수의 전방위 영상은 시간의 연속인 두 영상인 이동 로봇의 이동 객체 검출 방법.
10. 제 8 항에 있어서,

    단위면적 내의 블록들 중에 상기 SAD가 기준값을 초과하는 블록들의 면적이 기준면적을 초과하면,

    상기 단위면적에 이동 객체가 있는 것으로 검출하는 이동 로봇의 이동 객체 검출 방법.
11. 제 10 항에 있어서,

    상기 기준면적은 상기 이동 객체의 크기에 비례하는 이동 로봇의 이동 객체 검출 방법.
12. 제 11 항에 있어서,

    상기 이동 객체는 사람인 것을 특징으로 하는 이동 로봇의 이동 객체 검출 방법.
13. 전방위 영상을 파노라마 영상으로 변환시키는 영상 처리부;

    상기 영상 처리부에서 변환된 파노라마 영상을 저장하는 메모리;

    상기 영상 처리부에서 변환된 파노라마 영상과 상기 메모리에 저장된 이전 파노라마 영상을 비교하여 이동 객체의 움직임 영역을 추정하고, 상기 추정된 움직임 영역의 면적이 기준면적을 초과하면 그 영역에 이동 객체가 있다고 검출하는 제어부를 포함하는 이동로봇.
14. 제 13 항에 있어서,

    상기 제어부는 상기 파노라마 영상을 이전 파노라마 영상과 비교시 광류 매칭을 이용하는 이동로봇
15. 제 13 항에 있어서,

    상기 기준면적은 검출하고자 하는 이동 객체의 크기에 비례하는 이동 로봇.

Images