KR100902343B1 - 로봇 영상 시스템 및 검출 방법 - Google Patents

Abstract

본 발명은 로봇 영상 시스템 및 검출 방법에 관한 것으로, 이동형 로봇이 사람의 위치를 검출하고, 움직이는 사람의 방향으로 장애물을 피해 접근하도록 하는 서비스를 제공함으로써, 이동형 로봇의 주의를 끌고자 손을 흔들거나 로봇 앞에서 움직이는 사람을 찾는 일을 비교적 적은 연산만으로도 수행하여 메인 프로세서와 배터리를 적게 소모하므로 이동형 로봇의 대기시간을 향상시킬 수 있다.

이동형 로봇, 영상, 사람, 장애물

Description

로봇 영상 시스템 및 검출 방법{ROBOT VISION SYSTEM AND DETECTION METHOD}

본 발명은 로봇 영상 시스템 및 검출 방법에 관한 것으로, 보다 상세하게는 스테레오 카메라의 원 영상과 양안시차 영상을 출력하는 이동형 로봇 영상 시스템에 있어서, 장애물을 피해 움직이는 사람의 방향으로 접근하기 위한 시스템 및 검출 방법에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-033-03, 과제명: URC를 위한 내장형 컴포넌트 기술 및 표준화 기술].

주지된 바와 같이 종래 이동형 로봇은 사람과의 대화를 위한 카메라 이외에도 장애물까지의 거리를 감지하기 위해 초음파 센서나 적외선 센서를 추가로 사용한다.

이러한 경우, 하나의 센서당 감지할 수 있는 범위가 매우 제한되기 때문에 로봇 주위를 모두 감지하기 위해서는 동종의 센서를 로봇의 둘레에 일정한 간격으로 여러개 장착하여 써야 하므로 로봇의 내부 구성과 기능 구현이 복잡해진다.

이에, 여러개의 센서들을 사용하지 않으면서도 쟁애물까지의 거리를 감지하기 위해 서로 거리를 두어 장착된 두 개 이상의 카메라에 서로 다르게 영상이 찍힌 양안시차 영상에서 거리 정보를 추출하는 스테레오 카메라 시스템을 이동형 로봇에 장착하여 사용할 수 있다.

초음파 센서 1개의 수평 방향 탐지각보다 카메라 1개의 수평 시야각이 2∼3배 넓은 데다가 스테레오 카메라는 보통 로봇의 팬틸트 기구부 위에 장착되어 매 순간 임의의 방향을 향할 수 있으므로, 스테레오 카메라를 이용한 이동형 로봇은 초음파 센서나 적외선 센서를 생략할 수 있으므로 로봇의 내부 구성을 간단히 하고 유지 보수에 있어서 유리하다.

그러나 상술한 스테레오 카메라 시스템의 상용 제품 대부분은 개인용 컴퓨터(Personal Computer, 이하, PC라 함)와의 연결만을 고려하여 양안시차 영상만 출력하기 때문에 필터링 및 세그멘테이션, 라벨링(labeling, 레이블링) 등의 데이터 처리는 상위 모듈 프로세서에서 처리해야 한다.

한편, 상술한 바와 같이, 다수의 초음파 센서를 사용하거나, 혹은 스테레오 카메라 시스템을 사용하는 경우, 거리 정보만으로는 그 거리에 있는 것이 이동형 로봇이 피해야 할 장애물인지, 아니면 이동형 로봇이 서비스를 제공해야 하는 원하는 목표물(예컨대, 사람)인지를 구분할 수가 없다.

이에, 종래 기술의 이동형 로봇들은 목표물인 사람을 찾아 내기 위해 예컨대, 초음파 센서 거리정보를 이용해서 미리 맵을 생성한 후 현재 거리 정보를 맵과 비교하여 그 차이로부터 사람을 찾든지, 카메라의 원 영상을 해석하여 사람을 찾아 내는 연산을 추가로 수행해야 하는데 이 과정에서 상위 모듈 프로세서의 계산 과정이 매우 복잡하다는 결점이 있다. 특히, 원 영상에서 사람을 찾아내는 계산 과정은, 영상 내에서 사람의 얼굴과 비슷한 영역을 찾는 방법과 움직임에 기반하여 찾는 방법들이 있다.

이중, 영상 내에서 사람의 얼굴을 찾는 방법은, 얼굴과 비슷한 영역을 찾고 다른 사물과 패턴을 비교하여 배제하는 방식을 사용하는데 통상의 공개 라이브러리를 이용할 경우 펜티엄4급 프로세서에서 320×240 해상도의 영상을 초당 10회 분석하기도 어려운 계산 집약적인 기능으로서 이동형 로봇에서 이 기능을 수행하려면 현재의 최신 PC를 내장하여도 부족함이 있다.

다음으로, 움직임에 기반하여 찾는 방법은, 인접한 프레임간 차영상을 구하는 방법과, 하나의 기준 영상에 대한 현재 프레임 영상의 차영상 결과를 누적하는 방법으로 구분된다. 이러한 움직임에 기반한 방법은 하나의 정지한 카메라에서 서로 다른 시점에 촬영된 영상간 차이점을 찾는 것으로서, 실내에서 사용하는 이동형 로봇의 경우 실내에서 움직이는 물체가 사람 아니면 애완동물 정도이기 때문에 충분히 실용성이 있으나, 카메라의 원 영상에 대한 화소 단위의 차영상은 영상내 노이즈에 영향을 받는 근본적인 단점이 있어 이를 보완하기 위한 추가적인 계산 과정이 필요한데 이러한 모든 과정에서 이동형 로봇의 다른 작업에 필요한 상위 모듈 프로세서 자원을 매우 많이 소모한다.

한편, 영상을 통한 사람 인식 이외에도, 영상을 이용해 장애물을 인식하고 경로를 파악하는 비전 기반 네비게이션도 연구되고 있는데, 이 역시 화소 데이터 영역에서의 스케일 불변 특징점(scale invariant feature)을 찾을 때 상위 모듈 프로세서 자원이 많이 소모된다.

상술한 바와 같이, 이동형 로봇에서 어떠한 목적으로든 영상을 처리하기 위해서는 상위 모듈 프로세서(예컨대, 주 제어기의 CPU), 전력 등 많은 자원을 소모하기 때문에 최근에는 네트워크 기반 로봇의 개념이 도입되고 있다. 영상처리를 위한 복잡한 계산은 네트워크로 연결된 고성능의 원격서버에서 담당하도록 하고, 이동형 로봇에서는 무선 네트워크를 통해 영상을 보내고 그 결과만 돌려받는 것이다.

이러한 네트워크 기반 이동형 로봇은 네트워크를 통해서 영상을 보내야 하는데, 통상의 로봇을 위한 영상 해석은 가로 320화소, 세로 240화소 이상의 해상도의 컬러 이미지를 필요로 하고, 사용자 동작 인식은 초당 15프레임 이상의 프레임 레이트(frame rate)를 필요로 하며, 영상 기반 네비게이션은 그 이상의 프레임 레이트를 필요로 하기 때문에 영상 데이터의 전송량은 매우 많게 된다.

그러나 이동형 로봇은 유선보다 신뢰성이 낮은 무선 네트워크를 사용해야 하므로, 원래의 대용량 데이터를 그대로 보내기가 사실상 불가능하다. 따라서 네트워크 기반 이동형 로봇이 고급 영상 인식 기능을 수행하려면 영상 데이터를 압축하여 전송하고 원격 서버에서 압축을 해제하여 영상을 복원한 후 영상을 처리하는 구조가 된다. 여기서, 영상의 압축은 MPEG4나 H.263, H.264 등과 같이 이전 프레임과의 차이점을 가로 세로 각 16화소씩 또는 가로 세로 각 8화소씩의 블록 단위로 부호화하는 동영상 포맷을 사용하며, 동영상 하드웨어 인코더는 통상의 동영상 인코더 칩이거나, 프로세서에 내장된 하드웨어 로직일 수 있다.

상기한 바와 같이 동작되는 종래의 배경 기술에 있어서, 네트워크 기반 이동형 로봇은 동영상 인코더를 단지 영상 데이터량의 압축만을 위해 사용한다. 하지만 네트워크 기반 이동형 로봇에 필수적으로 이용되는 동영상 하드웨어 인코더는 인코딩 과정중에 몇가지 정보를 만들어 낸다.

즉 동영상 인코더들이 이전 프레임과 현재 프레임의 차이를 인코딩할 때, 비디오 오브젝트가 화면내 이동을 한 경우에는 화소 데이터를 그대로 저장하지 않고 일정한 화소들의 집합인 매크로 블록의 이동으로 처리함에 따라 동영상 인코딩 과정에서 움직임에 관한 정보인 모션벡터가 새롭게 생성된다. 매크로 블록의 움직임으로는 완벽히 처리할 수 없는 국부적인 사소한 변화나 노이즈의 영향은 DCT계수의 형태로 변환 압축된다. 이렇게 노이즈의 영향은 모션벡터에서 분리가 되므로, 모션벡터 정보는 일반적인 화소 단위 차영상 연산보다 노이즈의 영향이 적은 차영상 데이터라 할 수 있다.

동영상 하드웨어 인코더나, 소프트웨어적인 모션벡터 계산을 이용하여 움직임을 검출하는 것은 교차로 감시 카메라나 보안 카메라 분야에서도 다루어진다. 그러나, 카메라가 고정되어 있어 짧은 시간 내에 배경이 크게 변하지 않는다는 가정에서 동작하기 때문에 그 분야의 선행기술은 이동형 로봇이 이동하거나 사람과 상호작용할 때마다 시야가 계속해서 변하는 이동형 로봇 분야에는 직접 적용할 수 없다.

또한, 동영상의 모션벡터를 이용하여 움직임을 검출하는 기술은 동영상 인코더 자체의 성능을 개선하기 위해서도 많이 다루어진다. 그 분야에서는 전경과 배경을 더 정확히 분리하여 데이터를 줄이기 위한 목적으로 사용하기 때문에 이동형 로봇이 이동하거나 사람과 상호작용할 때마다 시야가 계속해서 변하는 이동형 로봇 분야에는 직접 적용할 수 없으며, 특히 이동형 로봇에서 필수인 거리 측정 및 장애물 검출에 관한 고려가 전혀 없다는 문제점이 있다.

이에, 본 발명의 기술적 과제는 상술한 문제점들을 해결하기 위해 안출한 것으로서, 스테레오(좌측 및 우측) 카메라의 원 영상과 양안시차 영상을 출력하는 이동형 로봇 영상 시스템에 있어서, 이동형 로봇이 사람의 위치를 검출하고, 움직이는 사람의 방향으로 장애물을 피해 접근하기 위한 로봇 영상 시스템 및 검출 방법을 제공한다.

본 발명의 일 관점에 따른 로봇 영상 시스템은, 좌/우측 영상을 입력받아 두 영상간의 양안시차 영상을 출력하는 스테레오 카메라 수단과, 좌/우측 영상 둘 중 하나를 움직임 보상 기반 동영상 비트스트림으로 인코딩하는 인코딩 수단과, 동영상 비트스트림에서 영상 블록의 인코딩 타입과 모션벡터와 DCT계수를 추출하는 디코딩 수단과, 좌/우측 영상간의 양안시차 영상과 블록 인코딩 타입, 모션벡터를 이용하여 영상내 사람 블록들을 검출하여 라벨링하고, 라벨링된 사람으로부터 카메라까지의 거리를 검출하는 사람 검출 수단과, 동영상 비트스트림에서 추출된 블록 인 코딩 타입과 모션벡터와 DCT계수와, 양안시차 영상을 이용하여 사람보다 더 가깝게 있는 장애물을 검출하는 장애물 검출 수단을 포함하는 것을 특징으로 한다.

본 발명의 다른 관점에 따른 로봇 영상 시스템에서의 검출 방법은, 좌/우측 영상을 재구성하는 단계와, 재구성된 영상을 입력받아 움직임 보상 기반 동영상 비트스트림으로 인코딩하는 단계와, 동영상 비트스트림에서 영상 블록의 인코딩 타입과 모션벡터와 DCT계수를 추출하도록 부분 디코딩하는 단계와, 좌/우측 영상간의 양안시차 영상과 블록 인코딩 타입과 모션벡터를 이용하여 영상내 사람의 블록들을 검출하여 라벨링하고 라벨링된 사람으로부터 카메라 까지의 거리를 검출하는 단계와, 동영상 비트스트림에서 추출된 영상 인코딩 타입과 모션벡터와 DCT계수와, 양안시차 영상을 이용하여 사람보다 더 가깝게 있는 장애물을 검출하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 관점에 따른 이동형 로봇 영상 시스템에서의 검출 방법은, 좌/우측 영상을 각각 촬상하고, 촬상된 두 영상을 이용하여 좌/우측 영상간의 양안시차 영상을 계산하는 단계와, 촬상된 좌/우측 영상 중에서 한 쪽 영상만을 이용하여 인코딩 가능 해상도의 영상으로 재구성하는 단계와, 재구성된 영상을 입력받아 동영상 비트스트림으로 인코딩하는 단계와, 동영상 비트스트림에서 영상의 인코딩 타입과 모션벡터와 DCT계수를 추출하도록 디코딩하는 단계와, 좌/우측 영상간의 양안시차 영상과 모션벡터를 이용하여 영상내 움직이는 사람의 블록들을 검출하여 라벨링하고, 라벨링된 사람으로부터 카메라 까지의 거리를 검출하는 단계와, 추출된 영상의 인코딩 타입과 모션벡터와 DCT계수와, 좌/우측 영상간의 양안시차 영상을 이용하여 사람보다 더 가깝게 있는 장애물을 검출하는 단계를 포함하는 것을 특징으로 한다.

본 발명은 스테레오 카메라의 원 영상과 양안시차 영상을 출력하는 이동형 로봇 영상 시스템에 있어서, 이동형 로봇의 주의를 끌고자 로봇 앞에서 손을 흔들거나 움직이는 사람을 찾고 사람 앞의 장애물을 판단하는 일을 비교적 적은 연산만으로도 수행하므로 메인 프로세서와 배터리를 적게 소모하여 이동형 로봇의 대기시간을 늘릴 수 있다.

또한, 본 발명은 스테레오 카메라의 원 영상과 양안시차 영상을 출력하는 이동형 로봇 영상 시스템에 있어서, 이동형 로봇이 사람의 위치를 검출하고, 움직이는 사람의 방향으로 장애물을 피해 접근하는 기능을 이동형 로봇에서 간단히 수행할 수 있게 함으로써, 네트워크를 이용하는 이동형 로봇 시스템일 경우 대기시간 내내 서버에 영상을 보낼 필요가 없으므로 네트워크 트래픽을 줄이고 서버의 가용성을 높일 수 있다.

또한, 본 발명은 스테레오 카메라의 원 영상과 양안시차 영상을 출력하는 이동형 로봇 영상 시스템에 있어서, 로봇 서버에 일시적으로 트래픽이 과도하여 서버의 도움을 받을 수 없거나, 로봇이 사람을 따라서 전파 음영지역을 통과하는 중에 네트워크가 단절되어 로봇 서버의 기능을 이용할 수 없을 때에도, 로봇 단말 자체만으로도 사람을 계속하여 추종하여 네트워크 사용 가능 지역까지 이동할 수 있으 므로 서비스를 연속적으로 제공할 수 있는 효과가 있다.

이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 바람직한 일 실시예에 따른 시선 이동중에도 사람과 장애물을 검출하기 위한 로봇 영상 시스템의 블록 구성도로서, 스테레오 카메라(101)와 영상 재구성부(103)와 인코딩부(105)와 디코딩부(107) 그리고 시선 이동 검출부(109)와 시선 이동 전처리부(111)와 사람 검출부(113)와 장애물 검출부(115)를 포함한다.

스테레오 카메라(101)는 좌측 카메라에 의해 로봇의 좌측 시야 영상과 우측 카메라에 의해 로봇의 우측 시야 영상을 각각 촬상하고, 이 촬상된 두 영상의 차이점인 양안시차 영상(disparity map)(예컨대, 좌/우측 영상간의 시차영상)을 계산한 다음에, 각각 촬상된 좌측 시야 영상 및 우측 시야 영상을 영상 재구성부(103)에 제공하고, 계산된 양안시차 영상을 사람 검출부(113) 및 장애물 검출부(115)에 각각 제공한다.

영상 재구성부(103)는 스테레오 카메라(101)로부터 입력되는 좌측 시야 영상 및 우측 시야 영상을 이용하여 임의의 배율로 확대 또는 축소하고 배치하여 동영상으로 인코딩 가능한 해상도와 형식으로 재구성하여 인코딩부(105)에 제공한다.

인코딩부(105)는 영상 재구성부(103)로부터 한 프레임 단위로 영상을 입력받아 인코딩 수단과 같은 움직임 보상 기술에 기반한 동영상 포맷의 비트스트림으로 인코딩하여 디코딩부(107)에 제공한다.

동영상 인코딩 과정에서 만들어지는 몇 가지 정보를 이동형 로봇에서 사용할 수 있다. 즉, 이동형 로봇은 정지한 상태에서 스테레오 카메라(101) 시선이 왼쪽으로 돌아가는(패닝) 저속 패닝인 경우, 패턴이 충분히 있는 대부분의 블록들은 현재 블록의 왼쪽에서 이동해 오게 됨에 따라 블록들은 P 블록이 되며, 모션벡터는 왼쪽을 향한다. 맨 오른쪽의 블록들은 대체로 P 블록으로 인코딩되지만, 맨 왼쪽의 블록들의 경우에는, 새로운 영상이 포함되기 때문에 움직임 보상이 불가능하다. 일부 동영상 포맷의 인코더 수단은 영상 바깥을 가리킬 수 있는 UMV(Unrestricted Motion Vector, 이하, UMV라 함) 기능을 제공하는데 이 기능을 사용하는 경우에는 맨 왼쪽의 블록도 P블록으로 인코딩된다. 이 기능을 사용하지 않도록 설정을 하면, 맨 왼쪽의 블록들은 모션벡터가 없는 I 블록(혹은, 인트라 모드 블록)으로 인코딩된다. 이와는 반대로 스테레오 카메라(101) 시선이 오른쪽으로 돌리는(패닝) 저속 패닝인 경우, 맨 오른쪽의 블록들이 I 블록으로 인코딩되고 맨 왼쪽 블록들은 오른 쪽을 향한 모션벡터를 갖는 P 블록으로 인코딩된다.

보다 상세하게 설명하면, 화각 60°인 스테레오 카메라(101)를 이용해서 320×240이미지를 엠펙4로 인코딩할 경우, 8×8블록이 가로로 40개이며 한 블록의 가로 시야각은 60(카메라의 가로 시야각)/40(가로해상도/8)=1.5°정도이다. 즉, 초당 프레임 수를 N이라고 하면 이 로봇 영상 시스템은 초당(블록의 가로시야각)*N°이하의 회전 속도에서도 사용할 수 있으며, 또한 입력 영상의 가로 해상도를 M분의 1로 비례 축소시키면 회전속도(블록의 가로 시야각 )*N*M°까지도 적용 가능함에 따라 초당 30프레임의 실시간 320×240 해상도인 경우 초당 45°정도의 가로방향 속도로 회전하여도 사용 가능하다.

또한, 이동형 로봇이 카메라 시선 방향으로 전진하면, 화면이 전체적으로 확대되지만 전진하는 방향에서 방위각이 멀어질수록 확대되고 이동하는 경향이 커짐에 따라 이동방향에 있는 블록들은 P 블록으로 인코딩되며 그 주위로는 이동방향의 중심을 향하는 모션벡터의 P 블록, 그 바깥으로는 움직임 보상이 불가능하여 생긴 I 블록들이 있게 된다. 이와는 반대로, 이동형 로봇이 카메라 시선 방향의 반대편으로 후진하면, 이동축 상에 있는 블록들은 P 블록으로 인코딩되고 그 주위로는 이동축의 중심에서 방사상으로 밖을 향하는 모션벡터의 P 블록, 그 바깥으로는 움직임 보상이 불가능하여 생긴 I 블록, 그리고 새로 시야에 들어와서 생긴 I 블록이 있게 된다. 즉, 전진과 후진의 경우에 속도가 빠르면 빠를수록 P 블록으로 코딩된 블록의 영역은 줄어들게 된다.

여기서, 인코딩부(105)는 하나의 칩(Chip) 또는 임베디드 프로세서의 내부 하드웨어 블록 형태일 수 이므로 메인 프로세서(CPU)를 거의 소모하지 않는다. 통상의 인코딩부에는 UMV 기능이 포함되어 있을 수 있다. 하지만 본 발명은 데이터의 양이 다소 늘어나더라도 UMV 기능을 사용하지 않는다.

또한 인코딩부는 카메라의 패닝과 줌에 따른 영상의 전체적인 변화를 나타낼 수 있는 global motion vector 옵션을 구비하고 있을 수 있다. 그러나 통상 인코딩부에서는 global motion vector 기능을 영상 데이터의 압축에만 효과적인 사용하기 때문에 실제적인 카메라 조작과는 다른 벡터값을 나타낼 수 있다. 따라서, 본 발명에서는 global motion vector 기능을 사용하지 않는다.

디코딩부(107)는 인코딩부(105)로부터 한 프레임에 대한 동영상 비트스트림을 입력받아 각 영상 블록의 인코딩 타입과 모션벡터와 DCT(Discrete Cosine Transform, 이하, DCT라 함) 계수만을 추출하여 시선 이동 검출부(109)와 사람 검출부(113) 및 장애물 검출부(115)에 각각 제공한다. 여기서, 인코딩 수단이 예컨대, 엠펙4 또는 H.263인 경우 IDCT(Inverse Discrete Cosine Transform, 이하, IDCT라 함) 과정을 생략할 수 있다.

시선 이동 검출부(109)는 이동형 로봇의 이동이나 카메라 팬 틸트 기능에 의해 카메라의 원점과 방향이 바뀌는 것을 검출하는 블록으로서, 디코딩부(107)로부터 입력되는 각 영상 블록의 인코딩 타입과 모션벡터와 DCT계수에 의해 얻은 영상의 좌/우 양끝의 매크로 블록의 타입과 모션벡터의 방향을 통해 스테레오 카메라(101)의 패닝 방향을 알 수 있고, 상/하 양단의 블록 타입과 모션벡터의 방향을 통해 스테레오 카메라(101)의 틸트 방향을 알 수 있으며, 이 패닝 방향 및 틸트 방 향을 이용하여 카메라의 원점과 방향이 바뀌는 모션벡터의 변화를 검출하여 시선 이동 전처리부(111)에 제공한다. 여기서, 시선 이동 검출부(109)는 이동형 로봇내 메인 프로세서로부터 이전 영상과 현재 영상 사이에 카메라의 원점과 시선이 얼마나 변했는지 그 변화량을 통해 입력되는 로봇의 이동 정보 및 카메라 팬 틸트 정보를 이용하여 카메라의 원점과 방향이 바뀌는 모션벡터의 변화를 검출하여 시선 이동 전처리부(111)에 제공할 수도 있다.

시선 이동 전처리부(111)는 시선 이동 검출부(109)에 의해 검출되어 입력되는 카메라의 원점과 방향이 바뀌는 모션벡터의 변화를 분석하여 그 변화로부터 카메라의 시선이 회전하고 있다고 판단될 경우, 양단 경계 블록의 타입에 따라 결정되는 방향과 일치하는 모션벡터들의 평균을 취해서 전체 블록의 모션벡터들마다에서 그 평균값을 빼 주는 시선 이동량에 기반한 보정을 한 후 사람 검출부(113)에 제공한다. 여기서, 모션벡터들의 평균을 취하는 과정에서 추적부(117)에 기록된 사람의 모션벡터는 제외한다.

사람 검출부(113)는 스테레오 카메라(101)로부터 입력되는 양안시차 영상과 원영상의 동영상 부분 디코딩 결과를 이용하는데, 양안시차 영상이 왼쪽 카메라 영상이나 오른쪽 카메라 영상에 맞춰져 있지 않은 경우 임의의 한 쪽 카메라 영상에 맞게 보정하고, 또한 디코딩부(107)로부터 입력되는 디코딩 결과중에서 모션벡터가 있는 블럭을 '1'로 하고, 없는 블럭을 '0'으로 하여 이진 영상을 만들고, 이 만들어진 이진 영상에 대해 팽창과 침식을 순서대로 적용하여 내부의 빈 블록을 채우는데, 채우는 이유는 모션벡터가 충분하게 복잡한 패턴이 있어야 만들어지기 때문에 주로 사람과 배경의 경계에 모션벡터가 만들어지고 내부에는 생기지 않는 경향이 있기 때문에 채우며, 채운 다음에 이진 영상에 대해 침식을 한 번 더 수행하여, 고립된 랜덤 벡터 블럭을 제거하며, 서로 인접하지 않은 블럭들을 라벨링하고, 라벨링된 블럭에 해당하는 양안시차 영상 블럭들의 대표값을 구하여 거리정보로 변환하고, 각 라벨 블럭들의 거리를 저장한 다음에 이 라벨링된 블록을 사람으로 간주하고 그 간주된 사람 검출 결과를 장애물 검출부(115)를 통해 메인 프로세서에 제공한다. 여기서, 320×240인 해상도의 원 영상에 대해 4MV(motion vector) 엠펙4 인코딩을 수행하면 상술한 과정에 의해 만들어지는 이진영상의 해상도가 40×30이므로 사람을 검출하기 위한 바이너리 모폴로지 연산량은 그다지 크지 않다.

장애물 검출부(115)는 디코딩부(107)로부터 입력되는 디코딩 결과중에서 모션벡터가 있는 블록, 이동체로 최종 판별된 블록, 팽창, 침식 과정 중에서 이동체에 포함되는 블록은 사람을 뜻하는 '1'로 하고 나머지는 '0'으로 하는 그레이 영상을 만든 다음에, 현재 값이 '0'인 화소에 대해서 해당 블록의 양안시차값이 사람의 양안시차값보다 작은 것들은 '2'으로 바꾸고 블록의 양안시차값이 사람의 양안시차값보다 큰 것들은 '3'으로 바꾸며, 그 값이 '3'인 화소를 이용해서 이진 영상을 만들고 침식과 팽창을 적용한 그 결과를 라벨링하면 사람보다 가까이 있는 장애물이 차지하는 라벨링 블록을 장애물로 간주하고 그 간주된 장애물 검출 결과를 메인 프로세서에 제공한다.

추적부(117)는 사람 검출부(113)가 모션벡터에 기반하여 사람을 검출하고 장애물 검출부(115)는 검출된 사람의 거리에 기반하여 장애물을 찾기 때문에, 사람의 움직임이 없으면 장애물 검출부도 동작하지 않는 문제를 해결하는 기능을 한다. 추적부(117)는 마지막으로 검출된 사람의 모션 벡터, 이진 영상과 거리 정보를 유지하고, 사람이 움직임을 멈추어 더 이상 검출되지 않을 때에는 이전에 저장한 사람의 정보를 대신 장애물 검출부에 출력하여 장애물 검출부가 장애물을 계속해서 검출할 수 있도록 하며, 또한 그 모션벡터 정보를 시선 이동 전처리부(111)에 제공한다.

따라서, 본 발명은 스테레오(좌측 및 우측) 카메라의 원 영상과 양안시차 영상을 출력하는 이동형 로봇 영상 시스템에 있어서, 이동형 로봇이 사람의 위치를 검출하고, 장애물을 피해 움직이는 사람의 방향으로 접근함으로써, 이동형 로봇의 주의를 끌고자 손을 흔들거나 로봇 앞에서 움직이는 사람을 찾는 일을 영상 노이즈에 강건하면서도 비교적 적은 연산만으로도 수행하므로 메인 프로세서와 배터리를 적게 소모하여 결과적으로 이동형 로봇의 대기시간을 늘릴 수 있다.

도 2는 본 발명의 바람직한 일 실시예에 따른 시선 이동중에도 사람과 장애물을 검출하기 위한 로봇 영상 시스템의 검출 방법에 대하여 상세하게 설명한 흐름도이다.

먼저, 이동형 로봇의 좌측 및 우측에 장착된 스테레오 카메라(101)를 이용하여 로봇의 좌측 시야 영상과 우측 시야 영상을 각각 촬상하고(S201), 이 촬상된 두 영상의 차이점인 양안시차 영상(disparity map)을 계산(S203)한다. 여기서, 촬상된 두 영상 및 양안시차 영상은, 엠펙(MPEG)4 형식에서 지원하는 해상도 중의 한가지 해상도, 예를 들어 320×240 해상도일 수 있다.

다음에, 스테레오 카메라(101)는 각각 촬상된 좌측 시야 영상 및 우측 시야 영상을 영상 재구성부(103)에 제공하고, 계산된 양안시차 영상을 사람 검출부(113) 및 장애물 검출부(115)에 각각 제공한다.

영상 재구성부(103)에서는 스테레오 카메라(101)로부터 입력되는 좌측 시야 영상 및 우측 시야 영상을 이용하여 임의의 배율로 확대 또는 축소하고 배치하여 동영상으로 인코딩 가능한 해상도와 형식으로 재구성(S205)하여 인코딩부(105)에 제공한다.

그러면, 인코딩부(105)에서는 영상 재구성부(103)로부터 한 프레임 단위로 영상을 입력받아 매크로 블록당 4개의 모션벡터를 사용하도록 세팅하고, b 픽처(picture)는 사용하지 않고, 시선 이동 검출부(109)를 사용하기 위해 엠펙4의 옵션인 UMV는 사용하지 않도록 하며, 매크로 블록은 20×15의 해상도가 있으며, 한 개의 매크로 블록당 4개의 모션벡터를 사용하도록 설정한 모드와 모션벡터를 저장할 어레이와 이진영상들은 40×30의 해상도 크기를 갖도록 하기 위해 인코딩 수단(엠펙4, 엠펙2, H.264, H263중 일 예로, 엠펙4를 사용함)과 같은 움직임 보상 기술에 기반하여 동영상 포맷의 비트스트림으로 인코딩(S207)하여 디코딩부(107)에 제공한다.

그러면, 디코딩부(107)에서는 인코딩부(105)로부터 한 프레임에 대한 동영상 비트스트림을 입력받아 각 영상 블록의 인코딩 타입과 모션벡터와 DCT계수만을 추출(S209)하여 시선 이동 검출부(109)와 사람 검출부(113) 및 장애물 검출부(115)에 각각 제공한다.

이후, 시선 이동 검출부(109)에서는 디코딩부(107)로부터 입력되는 각 영상 블록의 인코딩 타입과 모션벡터와 DCT계수에 의해 얻은 영상의 좌/우 양끝의 매크로 블록의 타입과 모션벡터의 방향을 통해 스테레오 카메라(101)의 패닝 방향을 알 수 있고, 상/하 양단의 블록 타입과 모션벡터의 방향을 통해 스테레오 카메라(101)의 틸트 방향을 알 수 있으며, 이 패닝 방향 및 틸트 방향을 이용하여 카메라의 원점과 방향이 바뀌는 모션벡터의 변화를 검출(S211)하여 시선 이동 전처리부(111)에 제공한다.

보다 상세하게 설명하면, 시선 이동 검출부(109)는 블록 모드와 모션벡터 어레이와 추적부(117)의 결과를 입력받은 다음에, 영상의 왼쪽 가장자리 블록들 중에서 I 블록의 개수와 P 블록(혹은, 인터모드인 블록)의 개수를 각각 센 다음에, 영상의 오른쪽 가장자리 블록에 대해서도 마찬가지로 계수하며, 추적부(117)에서 검출된 사람 영역을 제외한 나머지 블록의 모션벡터의 수평 성분을 좌, 우, 0으로 나누어 계수하며, 가장자리의 I 블록 개수, 가장자리의 P 블록 개수, 좌를 향한 모션벡터의 개수, 우를 향한 모션벡터 개수를 이용하여 카메라의 패닝 방향을 결정하는데, 일 예로, 도 9에 도시된 바와 같이, 왼쪽 가장자리에 I 블록이 나타나고 오른쪽 가장자리에 P 블록이 나타나며 전반적인 모션벡터가 왼쪽을 향한 경우에는 로봇의 시야가 왼쪽으로 움직였다고 판단하며, 또한 상하 가장자리에도 마찬가지 방법을 적용하여 카메라의 틸트 방향을 결정하며, 팬 틸트 방향에 맞는 모션벡터 중에서 추적수단의 사람 영역의 모션벡터를 제외한 나머지를 평균내어 팬 틸트 변화량을 추정할 수 있다.

시선 이동 전처리부(111)는 시선 이동 검출부(109)에 의해 검출되어 입력되는 카메라의 원점과 방향이 바뀌는 모션벡터의 변화를 분석하여 그 변화가 회전하고 있다고 판단될 경우, 양단 경계 블록의 타입에 따라 결정되는 방향과 일치하는 모션벡터들의 평균을 취해서 전체적으로 빼 주는 시선 이동량에 기반하여 보정(S213)하여 사람 검출부(113)에 제공하다. 여기서, 모션벡터들의 평균을 취하는 과정에서 추적부(117)에 기록된 사람의 모션벡터는 제외하고, 추적부(117)로부터 입력되는 추적결과는 포함한다.

사람 검출부(113)는 스테레오 카메라(101)로부터 입력되는 양안시차 영상과 원영상의 동영상 부분 디코딩 결과를 이용하는데, 양안시차 영상이 왼쪽 카메라 영상이나 오른쪽 카메라 영상에 맞춰져 있지 않은 경우 임의의 한 쪽 카메라 영상에 맞게 보정하고, 또한 디코딩부(107)로부터 입력되는 디코딩 결과중에서 모션벡터가 있는 블럭을 전경값 '1'로 하고, 없는 블럭을 배경값 '0'으로 하여 이진 영상을 만든다.

다음에, 사람 검출부(113)는 이 만들어진 이진 영상에 대해 팽창과 침식을 순서대로 적용하여 전경값 '1'로 둘러싸인 내부의 빈 블록을 전경값 '1'로 채우며, 채운 다음에 이진 영상에 대해 침식을 한 번 더 수행하여, 배경값 '0'에 의해 둘러싸여 고립된 랜덤 벡터 블록(전경값 '1')을 제거하며, 그 값을 배경값 '0'으로 한다. 서로 인접한 블록들을 하나의 객체로 묶어주는 라벨링을 수행하여, 라벨링된 객체에 대응되는 위치에 있는 양안시차 영상 블럭들의 대표값을 구하여 거리정보로 변환하고, 각 객체의 거리로서 저장한다. 이 라벨링된 객체는 이동체인데, 움직이 는 사람의 전신 또는 신체 일부, 애완동물, 자동차 등일 수 있다. 객체의 거리 정보와 카메라 시야각, 객체의 가로값, 세로값을 이용하여 영상내 객체의 실제 크기를 계산 할 수 있다.

이를 이용해서 통상의 사람보다 큰 객체는 사람 후보에서 제외할 수 있다. 통상의 사람보다 작은 객체는 애완동물 또는 사람의 팔, 얼굴 등 신체 일부일 수 있다. 이 객체에 해당하는 양안시차 영상 위치에서부터 세그멘테이션을 수행하면 움직이지 않는 부분을 포함한 전체 크기를 알 수 있다. 이를 통해서 이 객체가 사람의 일부인지 아니면 애완동물인지 구분을 할 수 있다. 그러나, 통상의 가정이나 사무실 환경에서는 움직이는 객체는 사람이라고 간주할 수 있다. 특히나, 사용자는 로봇의 주의를 끌기 위해서 일부러 손짓을 할 수 있으므로, 움직이는 객체는 곧 사람이라고 가정할 수 있다. 따라서, 라벨링된 이동체(객체)를 사람으로 간주하고 그 간주된 사람 검출 결과들을 장애물 검출부(115)를 통해 메인 프로세서에 제공(S215)한다.

장애물 검출부(115)는 디코딩부(107)로부터 입력되는 디코딩 결과중에서 모션벡터가 있는 블록들, 이동체에 포함된 블록들, 팽창, 침식 과정 중에서 이동체에 포함었던 블록들은 사람을 뜻하는 '1'로 하고 나머지는 '0'으로 하는 그레이 영상을 만든다.

다음에, 장애물 검출부(115)는 현재 값이 '0'인 화소에 대해서 해당 블록의 양안시차값이 사람(이동체)의 양안시차값보다 작은 것들(사람보다 먼 블록들)은 '2'으로 바꾸고 블록의 양안시차값이 사람의 양안시차값보다 큰 것들(사람보다 가 까운 블록들)은 '3'으로 바꾸며, 그 값이 '3'인 화소를 전경으로 하고, 나머지 0,1,2를 배경으로 하는 이진 영상을 만들고 침식과 팽창을 적용하여 고립된 블록을 제거하고 그 결과를 라벨링하면, 움직이는 사람보다 가까이 있고 움직이지는 않는 물체들이 객체로서 검출된다. 이 객체들을 장애물로 간주하고 그 간주된 장애물들의 영역과 거리 정보를 메인 프로세서에 제공(S217)한다.

따라서, 본 발명은 스테레오 카메라의 원 영상과 양안시차 영상을 출력하는 이동형 로봇 영상 시스템에 있어서, 움직이는 사람의 위치를 이동형 로봇에서 직접 검출하고, 이동형 로봇 스스로 장애물을 피해 사람의 방향으로 접근함으로써, 네트워크를 이용하는 이동형 로봇 시스템일 경우 대기시간 내내 서버에 영상을 보낼 필요가 없으므로 네트워크 트래픽을 줄이고 서버의 가용성을 높일 수 있다.

한편, 도 3은 본 발명의 바람직한 다른 실시예에 따른 시야가 정지한 경우에 사람과 장애물을 검출하기 위한 로봇 영상 시스템의 블록 구성도로서, 스테레오 카메라(301)와 영상 재구성부(303)와 인코딩부(305)와 디코딩부(307) 그리고 사람 검출부(309)와 장애물 검출부(311)를 포함한다.

스테레오 카메라(301)는 좌측 카메라에 의해 로봇의 좌측 시야 영상을, 우측 카메라에 의해 로봇의 우측 시야 영상을 각각 촬상하고, 이 촬상된 두 영상의 차이점인 양안시차 영상을 계산한 다음에, 각각 촬상된 좌측 시야 영상 및 우측 시야 영상을 영상 재구성부(303)에 제공하고, 계산된 양안시차 영상을 사람 검출부(309) 및 장애물 검출부(311)에 각각 제공한다.

영상 재구성부(303)는 스테레오 카메라(301)로부터 입력되는 영상 중 한 쪽 시야 영상만을 이용하여 임의의 배율로 확대 또는 축소하고 배치하여 동영상으로 인코딩 가능한 해상도와 형식으로 재구성하여 인코딩부(305)에 제공한다.

인코딩부(305)는 영상 재구성부(303)로부터 한 프레임 단위로 영상을 입력받아 인코딩 수단(엠펙(MPEG)4, 엠펙2, H.264, H263중 어느 하나임)과 같은 움직임 보상 기술에 기반한 동영상 포맷의 비트스트림으로 인코딩하여 디코딩부(307)에 제공한다.

여기서, 인코딩부(305)는 첫 영상에 대하여 I picture(I vop)로 인코딩하고, 이후 프레임부터는 P picture(P vop)로 인코딩한다.

디코딩부(307)는 인코딩부(305)로부터 한 프레임에 대한 동영상 비트스트림을 입력받은 다음에 블록 모드 저장 어레이를 준비한다. 4MV(motion vector)가 없는 동영상 포맷이든지 메모리 절약을 위해 4MV를 사용하지 않는 경우라면, 블록은 매크로 블록당 1개이므로 어레이의 크기는 매크로 블록의 개수와 같다. 또한 모션벡터 어레이도 같은 크기로 준비하며, 각 매크로 블록의 모드가 P 블록인지 아니면 I 블록인지를 블록 모드 저장 어레이에 기록하고, P 블록인 경우 대응되는 모션벡터 어레이에 모션벡터를 기록한다. 또한 모션벡터 어레이와 같은 크기의 블록 이진 영상을 만들어 사람 검출부(309) 및 장애물 검출부(311)에 제공한다.

사람 검출부(309)는 모션벡터의 크기가 0이 아닌 블록은 사람이 있는 것으로 간주하는데, 이동하는 사람의 경우, 옷에 패턴이 없어 블록마다 구분이 되지 않으면 주로 몸의 경계에서만 모션벡터가 나타나고 내부는 발생하지 않을 수 있다. 사람 검출부는 이러한 이유로 모션벡터가 없는 블록은 포함해야 하는 것으로 간주한 다.

사람 검출부(309)는 배경에 해당하는 하나의 블록에 적절한 패턴이 없거나 혹은 있더라도 주위에 비슷한 패턴이 있으면, 실제 대상이 움직이지 않더라도 모션벡터가 발생하기 때문에 배제해야 하는 것으로 간주한다. 또한, 사람 검출부(309)는 하나의 블록이 움직여서 새롭게 드러난 배경은 보통 I 블록으로 인코딩 되어야 하는데, 이전 프레임의 인근 블록과 비슷한 패턴이면 이 역시 P 블록으로 인코딩되며 따라서 모션벡터가 발생하게 됨에 따라 이러한 모션벡터들은 대개 주위 블록의 모션벡터와의 연관성이 없고 이전 프레임의 인근 블록의 모션벡터와도 연관성이 없이 그 방향과 크기가 랜덤하게 나타나는 것으로 간주한다.

사람 검출부(309)는 올바른 모션벡터 매크로 블록 인근에 나타났어야 할 모션벡터를 보완해주고, 랜덤 벡터 매크로 블록을 제거해 주기 위해서 이진영상을 만들고 바이너리 모폴로지를 적용하고, 매크로 블록 모드 저장 어레이의 값이 P 블록이고, 모션벡터 어레이의 벡터 크기가 0보다 큰 매크로 블록에 대해서, 매크로 블록 이진영상의 대응 화소의 값을 전경값 1로 하고, 나머지 화소는 배경값 0으로 간주한다.

또한, 사람 검출부(309)는, 매크로 블록 이진영상에 대해서, 전경값에 대한 팽창(dilation)과 침식(erosion)을 순서대로 적용하여, 누락된 매크로 블록에 대응되는 화소를 전경값 1로 한다. 이 과정에서 I 블록 모드 매크로 블록도 1로 바뀌었을 수 있으므로 I 블록에 해당하는 화소값은 0으로 되돌린다. 이 과정을 통해서 움직이는 사람 내부를 채운다.

여기서, 모션벡터는 주로 사람과 배경의 경계에서 발생함에 따라 경계 블록에 대응되는 양안시차 영상 블록을 이용하여 사람까지의 거리를 계산하면 배경까지의 거리가 영향을 끼치므로 경계 블록은 배제해야 한다. 그러므로 이진영상을 한 번 더 침식시켜 경계가 포함된 블록을 제거한다. 이 과정에서 랜덤벡터들도 일부 사라지게 된다.

또한, 사람 검출부(309)는 이진 영상에 대해 라벨링을 하여 인접한 화소들을 하나의 객체로 묶어주며, 각각의 객체에 포함된 화소들의 좌, 우 경계를 카메라의 화각에 대응시켜 객체의 방위각으로 삼으며, 각각의 객체에 포함된 화소들에 대응되는 양안시차값들을 통계적으로 처리하여 움직이는 대상, 즉 사람까지의 거리로 간주하고 그 간주된 사람 검출 결과를 장애물 검출부(311)에 제공한다.

장애물 검출부(311)는 사람 검출부(309)에서 검출된 사람까지의 거리 중 가장 가까운 거리를 장애물 검출 거리의 문턱치로 간주하는데, 우선 전체 블록 중에서 모션벡터가 있는 블록과, 사람으로 판별된 블록을 제외하며, 또한 사람 검출부(309)의 팽창과정 중에 포함되었던 블록도 제외한 다음에, 남은 블록들 중에서 양안시차 대표값에 의한 거리가 문턱치보다 먼 블록도 역시 제외하며, 남은 블록에 대응하는 이진영상을 만들며, 팽창과 침식을 통해 중간의 블록을 메꾸어준다.

또한, 장애물 검출부(311)는 제외했던 사람 검출부(309)에 포함되었던 블록들을 배제한 다음에 남은 영상에 대해 라벨링을 하여 인접화소들을 하나의 객체로 묶어주며, 화소에 대응되는 양안시차들을 통계처리하여 장애물까지의 거리로 삼고, 객체의 좌 우 화소를 카메라 화각에 대응시켜 장애물의 방위각으로 간주하고 그 간 주된 장애물 검출 결과를 메인 프로세서에 제공한다.

따라서, 본 발명은 스테레오 카메라의 원 영상과 양안시차 영상을 출력하는 이동형 로봇 영상 시스템에 있어서, 이동형 로봇이 사람의 위치를 검출하고, 장애물을 피해 움직이는 사람의 방향으로 접근함으로써, 로봇 서버에 일시적으로 트래픽이 과도하여 서버의 도움을 받을 수 없거나, 로봇이 사람을 따라서 전파 음영지역을 통과하는 중에 네트워크가 단절되어 로봇 서버의 기능을 이용할 수 없을 때에도, 로봇 단말 자체만으로도 사람을 계속하여 추종하여 네트워크 사용 가능 지역까지 이동할 수 있으므로 서비스를 연속적으로 제공할 수 있다.

도 4는 본 발명의 바람직한 다른 실시예에 따른 시야가 정지한 경우에 사람과 장애물을 검출하기 위한 로봇 영상 시스템의 검출 방법에 대하여 상세하게 설명한 흐름도이다.

먼저, 이동형 로봇의 좌측 및 우측에 장착된 스테레오 카메라(301)를 이용하여 로봇의 좌측 시야 영상과 우측 시야 영상을 각각 촬상(S401)하고, 이 촬상된 두 영상(예컨대, H263 인코딩 해상도인 352ㅧ288)의 차이점인 양안시차 영상을 계산(S403)한다.

다음에, 스테레오 카메라(301)는 도 12에 도시된 바와 같이 각각 촬상된 좌측 시야 영상 및 우측 시야 영상을 영상 재구성부(303)에 제공하고, 계산된 양안시차 영상을 사람 검출부(313) 및 장애물 검출부(315)에 각각 제공한다.

영상 재구성부(303)에서는 스테레오 카메라(301)로부터 입력되는 영상 중에서 도 5의 좌측에 도시된 좌측 시야 영상만을 이용하여 임의의 배율로 확대 또는 축소하고 배치하여 동영상으로 인코딩 가능한 해상도와 형식으로 재구성(S405)하여 인코딩부(305)에 제공한다.

인코딩부(305)는 영상 재구성부(303)로부터 한 프레임 단위로 영상을 입력받아 인코딩 수단(엠펙(MPEG)4, 엠펙2, H.264, H263중 일 예로, H263을 사용함)과 같은 움직임 보상 기술에 기반한 동영상 포맷의 비트스트림으로 인코딩(S407)하여 디코딩부(307)에 제공한다.

여기서, 인코딩부(305)는 첫 영상에 대하여 I picture(I vop)로 인코딩하고, 이후 프레임부터는 P picture(P vop)로 인코딩한다.

디코딩부(307)는 인코딩부(305)로부터 한 프레임에 대한 동영상 비트스트림을 입력받아 디코딩할 경우, 도 10에 도시된 통상적인 디코딩 과정과 비교해서 도 11에서와 같이 역방향 DCT 이후 단계는 생략(Skip)함에 따라 디코딩 과정 시간의 대부분을 차지하는 역DCT와 움직임 보상, 영상 복원을 하지 않기 때문에 프로세서의 부담이 발생되지 않도록 디코딩(S409)하는 것으로, 매크로 블록 모드 저장 어레이를 매크로 블록 개수(예컨대, 352ㅧ288 해상도이므로 16ㅧ16 화소 크기인 매크로 블록은 22ㅧ18개 임) 만큼 준비하고, 또한 모션벡터 어레이도 같은 크기로 준비하며, 각 매크로 블록의 모드가 P 블록인지 아니면 I 블록인지를 매크로 블록 모드 저장 어레이에 기록하고, P 블록인 경우 모션벡터 어레이에 모션벡터를 기록하며, 또한 모션벡터 어레이와 같은 크기의 매크로 블록 이진 영상을 만들어 사람 검출부(309) 및 장애물 검출부(311)에 제공한다.

사람 검출부(309)는 모션벡터의 크기가 0이 아닌 매크로 블록은 사람이 있는 것으로 간주하는데, 이동하는 사람의 경우, 옷에 패턴이 없어 블록마다 구분이 되지 않으면 주로 몸의 경계에서만 모션벡터가 나타나고 내부는 발생하지 않는 것으로 간주한다.

사람 검출부(309)는 배경에 해당하는 하나의 블록에 적절한 패턴이 없거나 혹은 있더라도 주위에 비슷한 패턴이 있으면, 실제 대상이 움직이지 않더라도 모션벡터가 발생하기 때문에 배제해야 하는 것으로 간주한다. 또한, 사람 검출부(309)는 하나의 블록이 움직여서 새롭게 드러난 배경은 보통 I 블록으로 인코딩 되어야 하는데, 이전 프레임의 인근 블록과 비슷한 패턴이면 이 역시 P 블록으로 인코딩되며 따라서 모션벡터가 발생하게 됨에 따라 이러한 모션벡터들은 대개 주위 블록의 모션벡터와의 연관성이 없고 이전 프레임의 인근 블록의 모션벡터와도 연관성이 없이 그 방향과 크기가 랜덤하게 나타나는 것으로 간주한다.

사람 검출부(309)는 도 6에 도시된 바와 같이 올바른 모션벡터 매크로 블록 인근에 나타났어야 할 모션벡터를 보완해주고, 랜덤 벡터 매크로 블록을 제거해 주기 위해서 이진영상을 만들고 바이너리 모폴로지를 적용하고, 매크로 블록 모드 저장 어레이의 값이 P 블록이고, 모션벡터 어레이의 벡터 크기가 0보다 큰 매크로 블록에 대해서, 매크로 블록 이진영상의 대응 화소의 값을 전경값 1로 하고, 나머지 화소는 배경값 0으로 간주한다.

또한, 사람 검출부(309)는 매크로 블록 이진영상에 대해서, 전경값에 대한 팽창(dilation)과 침식(erosion)을 순서대로 적용하여, 누락된 매크로 블록에 대응되는 화소를 전경값 1로 하며, 이 과정에서 I 블록 매크로 블록도 1로 바뀌었을 수 있으므로 I 블록에 해당하는 화소값은 0으로 되돌리며, 이 과정을 통해서 움직이는 사람 내부를 채운다.

이후, 사람 검출부(309)는 블록 단위로 사람을 검출하는데, 모션벡터는 주로 사람과 배경의 경계에서 발생함에 따라 경계 블록에 대응되는 양안시차 영상 블록을 이용하여 사람까지의 거리를 계산하면 배경까지의 거리가 영향을 끼치므로 경계 블록은 배제한 다음에, 이진영상을 한 번 더 침식시켜 경계가 포함된 블록을 제거하면 이 과정에서 랜덤벡터들도 일부 사라지게 된다.

또한, 사람 검출부(309)는 도 7에 도시된 바와 같이 이진 영상에 대해 라벨링을 하여 인접한 화소들을 하나의 객체로 묶어주며, 각각의 객체에 포함된 화소들의 좌, 우 경계를 카메라의 화각에 대응시켜 객체의 방위각으로 삼으며, 각각의 객체에 포함된 화소들에 대응되는 양안시차값들을 통계적으로 처리하여 움직이는 대상, 즉 사람까지의 거리로 간주하고 그 간주된 사람 검출 결과를 장애물 검출부(311)에 제공(S411)한다.

장애물 검출부(311)는 사람 검출부(309)에서 검출된 사람까지의 거리 중 가장 가까운 거리를 장애물 검출 거리의 문턱치로 간주하는데, 도 8에 도시된 바와 같이 우선 전체 블록 중에서 모션벡터가 있는 블록과, 사람으로 판별된 블록을 제외하며, 또한 사람 검출부(309)의 팽창과정 중에 포함되었던 블록도 제외한 다음에, 남은 블록들 중에서 양안시차 대표값에 의한 거리가 문턱치보다 먼 블록도 역시 제외하며, 남은 블록에 대응하는 이진영상을 만들며, 팽창과 침식을 통해 중간의 블록을 메꾸어준다.

또한, 장애물 검출부(311)는 제외했던 사람 검출부(309)에 포함되었던 블록들을 배제한 다음에 남은 영상에 대해 라벨링을 하여 인접화소들을 하나의 객체로 묶어주며, 화소에 대응되는 양안시차값들을 통계처리하여 장애물까지의 거리로 삼고, 객체의 좌 우 화소를 카메라 화각에 대응시켜 장애물의 방위각으로 간주하고 그 간주된 장애물 검출 결과를 메인 프로세서에 제공(S413)한다.

따라서, 본 발명은 스테레오 카메라의 원 영상과 양안시차 영상을 출력하는 이동형 로봇 영상 시스템에 있어서, 이동형 로봇이 사람의 위치를 검출하고, 장애물을 피해 움직이는 사람의 방향으로 접근하기 위해 동영상 인코더를 사용하기 때문에 모션벡터는 통상 상하좌우 16픽셀의 범위를 가리키는 선으로 한정된다.

다시 말하여, 실시간 동영상에 해당하는 초당 30프레임의 속도에서 16픽셀이 넘는 움직임이 자주 발생할 정도로 이동형 로봇의 시야 이동 속도가 빠르거나, 동영상 인코더가 통상적으로 매우 높은 해상도를 지원해서 한 블록에 해당하는 시야각이 매우 좁다면, 영상 재구성 수단을 이용해서 도 5의 오른쪽처럼 영상을 재구성할 수 있다.

이 경우, 가로 해상도는 그대로이고 세로 해상도만 절반으로 축소된 위쪽 영상은 세로로 두 배의 움직임을 검출할 수 있고, 가로 세로 절반으로 축소된 왼쪽 아래 영상은 가로 세로 두 배의 움직임을 검출할 수 있다. 가로 세로 1/4로 축소된 도 5의 오른쪽 아래 영상은 가로 세로 네 배의 움직임을 검출할 수 있음에 따라 영상 재구성부(303)를 이용해서, 이동형 로봇의 매우 빠른 시야 변화에 대응할 수 있다.

한편, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 바람직한 일 실시예에 따른 시선 이동중에도 사람과 장애물을 검출하기 위한 로봇 영상 시스템의 블록 구성도,

도 2는 본 발명의 바람직한 일 실시예에 따른 시선 이동중에도 사람과 장애물을 검출하기 위한 로봇 영상 시스템의 검출 방법에 대하여 상세하게 설명한 흐름도,

도 3은 본 발명의 바람직한 다른 실시예에 따른 시야가 정지한 경우에 사람과 장애물을 검출하기 위한 로봇 영상 시스템의 블록 구성도,

도 4는 본 발명의 바람직한 다른 실시예에 따른 시야가 정지한 경우에 사람과 장애물을 검출하기 위한 로봇 영상 시스템의 검출 방법에 대하여 상세하게 설명한 흐름도,

도 5는 본 발명에 따른 영상 재구성을 위한 동작 사례도,

도 6은 본 발명에 따른 인코딩과 디코딩 그리고 이진 영상을 만드는 과정을 도시한 도면,

도 7은 본 발명에 따른 바이너리 모폴로지를 이용하여 검출한 사람 영역과 그에 대응하는 양안시차 블록을 도시한 도면,

도 8은 본 발명에 따른 사람보다 더 가까운 블록만 남긴 양안시차 영상을 도시한 도면,

도 9는 본 발명에 따른 좌우 경계 블록의 인코딩 모드와 배경 블록의 모션 벡터 양상을 도시한 도면,

도 10은 통상의 동영상 디코더 구조,

도 11은 본 발명에 따른 모션 벡터와 블록의 모드 정보만 추출하기 위해 동영상 디코더에서 생략할 기능블록과 실행해야할 기능블록을 구분하여 도시한 도면,

도 12는 본 발명에 따른 스테레오 카메라에서 출력되는 좌/우측 시야 영상과 양안시차 영상을 도시한 도면.

<도면의 주요부분에 대한 부호의 설명>

101, 301 : 스테레오 카메라 103, 303 : 영상 재구성부

105, 305 : 인코딩부 107, 307 : 디코딩부

109 : 시선 이동 검출부 111 : 시선 이동 전처리부

113, 309 : 사람 검출부 115, 311 : 장애물 검출부

Claims (13)

1. 양안시차 영상을 출력하는 로봇 영상 시스템으로서,

   좌/우측 영상을 입력받아 두 영상간의 양안시차 영상을 출력하는 스테레오 카메라 수단과,

   상기 좌/우측 영상 둘 중 하나를 움직임 보상 기반 동영상 비트스트림으로 인코딩하는 인코딩 수단과,

   상기 동영상 비트스트림에서 영상 블록의 인코딩 타입과 모션벡터와 DCT계수를 추출하는 디코딩 수단과,

   상기 좌/우측 영상간의 양안시차 영상과 블록 인코딩 타입, 모션벡터를 이용하여 영상내 사람 블록들을 검출하여 라벨링(labeling)하고, 상기 라벨링된 사람으로부터 카메라까지의 거리를 검출하는 사람 검출 수단과,

   상기 동영상 비트스트림에서 추출된 블록 인코딩 타입과 모션벡터와 DCT계수와, 상기 양안시차 영상을 이용하여 사람보다 더 가깝게 있는 장애물을 검출하는 장애물 검출 수단

   을 포함하는 로봇 영상 시스템.
2. 제 1 항에 있어서,

   상기 시스템은,

   상기 로봇의 이동이나 카메라 팬 틸트에 의해 카메라의 원점과 방향이 바뀌는 모션벡터의 변화를 검출하는 시선 이동 검출 수단과,

   상기 검출된 모션벡터의 변화에 기반하여 움직임이 정지된 사람의 위치를 추정하는 추적 수단과,

   상기 검출된 모션벡터의 변화를 분석하여 회전일 경우, 양단 경계 블록에 따라 방향과 일치하는 모션벡터들과 상기 추적 수단에 의해 추정된 움직임이 정지된 사람의 위치를 포함시켜 평균을 취해 전체적으로 빼 주는 시선 이동량에 기반하여 보정하는 시선 이동 전처리 수단

   을 더 포함하는 로봇 영상 시스템.
3. 제 2 항에 있어서,

   상기 시선 이동 검출 수단은,

   상기 디코딩된 모션벡터의 방향을 통해 상기 카메라의 패닝 방향을 얻고, 상기 디코딩된 모션벡터의 방향과 상/하 양단의 블록 타입을 통해 상기 카메라의 틸트 방향을 얻는 것을 특징으로 하는 로봇 영상 시스템.
4. 제 3 항에 있어서,

   상기 패닝 방향 및 틸트 방향을 이용하여 카메라의 원점과 방향이 바뀌는 모 션벡터의 변화를 검출하는 것을 특징으로 하는 로봇 영상 시스템.
5. 제 2 항에 있어서,

   상기 시선 이동 검출 수단은,

   상기 이동형 로봇내 메인 프로세서로부터 이전 영상과 현재 영상 사이에 카메라의 원점과 시선이 얼마나 변했는지 그 변화량을 통해 입력되는 로봇의 이동 정보 및 카메라 팬 틸트 정보를 이용하여 카메라의 원점과 방향이 바뀌는 모션벡터의 변화를 검출하는 것을 특징으로 하는 로봇 영상 시스템.
6. 제 2 항에 있어서,

   상기 영상 재구성 수단은,

   상기 스테레오 카메라중 한쪽의 원 영상을 입력받아 가로/세로 각각 기설정된 비율로 확대 또는 축소한 영상을 서로 다르게 만들어 인코딩 가능 해상도의 영상으로 재구성하는 것을 특징으로 하는 로봇 영상 시스템.
7. 제 1 항에 있어서,

   상기 인코딩은, 엠펙4, 엠펙2, H.264, H263중 어느 하나의 수단을 사용하는 것을 특징으로 하는 로봇 영상 시스템.
8. 제 1 항에 있어서,

   상기 시스템은,

   상기 모션 벡터의 범위를 재구성하는 영상 재구성 수단을 더 포함하는 로봇 영상 시스템.
9. 좌/우측 영상을 재구성하는 단계와,

   상기 재구성된 영상을 입력받아 움직임 보상 기반 동영상 비트스트림으로 인코딩하는 단계와,

   상기 동영상 비트스트림에서 영상 블록의 인코딩 타입과 모션벡터와 DCT계수를 추출하도록 부분 디코딩하는 단계와,

   상기 좌/우측 영상간의 양안시차 영상과 블록 인코딩 타입과 모션벡터를 이용하여 영상내 사람의 블록들을 검출하여 라벨링하고 상기 라벨링된 사람으로부터 카메라 까지의 거리를 검출하는 단계와,

   상기 동영상 비트스트림에서 추출된 영상 인코딩 타입과 모션벡터와 DCT계수와, 상기 양안시차 영상을 이용하여 사람보다 더 가깝게 있는 장애물을 검출하는 단계

   를 포함하는 로봇 영상 시스템의 검출 방법.
10. 제 9 항에 있어서,

    상기 방법은,

    움직임이 정지된 사람의 모션벡터 위치를 추정하는 단계와,

    이동형 로봇의 이동이나 카메라 팬 틸트에 의해 카메라의 원점과 방향이 바뀌는 모션벡터의 변화를 검출하는 단계와,

    상기 디코딩된 모션벡터의 변화를 분석하여 회전할 경우, 양단 경계 블록에 따라 방향과 일치하는 모션벡터들의 평균을 취해서 전체적으로 빼 주는 시선 이동량에 기반하여 보정하는 단계

    를 더 포함하는 로봇 영상 시스템의 검출 방법.
11. 제 10 항에 있어서,

    상기 모션벡터들의 평균을 취하는 과정은, 상기 추정된 움직임이 정지된 사람의 모션벡터를 제외하는 것을 특징으로 하는 로봇 영상 시스템의 검출 방법.
12. 좌/우측 영상을 각각 촬상하고, 상기 촬상된 두 영상을 이용하여 좌/우측 영 상간의 양안시차 영상을 계산하는 단계와,

    상기 촬상된 좌/우측 영상 중에서 한 쪽 영상만을 이용하여 인코딩 가능 해상도의 영상으로 재구성하는 단계와,

    상기 재구성된 영상을 입력받아 동영상 비트스트림으로 인코딩하는 단계와,

    상기 동영상 비트스트림에서 영상의 인코딩 타입과 모션벡터와 DCT계수를 추출하도록 디코딩하는 단계와,

    상기 좌/우측 영상간의 양안시차 영상과 모션벡터를 이용하여 영상내 움직이는 사람의 블록들을 검출하여 라벨링하고, 상기 라벨링된 사람으로부터 카메라 까지의 거리를 검출하는 단계와,

    상기 추출된 영상의 인코딩 타입과 모션벡터와 DCT계수와, 상기 좌/우측 영상간의 양안시차 영상을 이용하여 사람보다 더 가깝게 있는 장애물을 검출하는 단계

    를 포함하는 로봇 영상 시스템의 검출 방법.
13. 제 12 항에 있어서,

    상기 인코딩은, 엠펙4, 엠펙2, H.264, H263중 어느 하나인 것을 특징으로 하는 로봇 영상 시스템의 검출 방법.

Images