KR101040121B1 - 거리 측정 방법 및 스테레오 매칭 시스템 - Google Patents

Abstract

본 발명은 동영상 코덱을 이용한 거리 측정 방법 및 스테레오 매칭 시스템에관한 것으로서, 본 발명의 일면에 따른 거리 측정 방법은, 제1 및 제2 카메라를 캘리브레이션하여 기준 모션벡터를 설정하는 단계와, 제1 카메라 영상을 참조하여 제2 카메라 영상을 인코딩하는 단계와, 상기 제2 카메라 영상의 소정 블록이 인터 예측되어 인코딩된 경우 상기 소정 블록의 모션벡터와 상기 기준 모션벡터를 비교하는 단계와, 상기 비교 결과 상기 모션벡터가 상기 기준 모션벡터와 같지 않고 유효한 경우 상기 모션벡터의 크기값을 디스패리티값으로 결정하는 단계 및 상기 디스패리티값을 이용하여 상기 소정 블록의 영상으로 나타난 피사체와의 거리를 제1 산출하는 단계를 포함하는 것을 특징으로 한다.

스테레오 매칭, 디스패리티(disparity)

Description

거리 측정 방법 및 스테레오 매칭 시스템{Method for measuring distance and system for stereo matching}

본 발명은 두 카메라 입력을 받아 거리 측정을 하는 방법 및 스테레오 매칭 시스템에 관한 것으로 동영상 하드웨어 코덱을 갖춘 네트워크 기반 이동 로봇을 위한 것이다.

본 발명은 지식경제부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-037-01, 과제명: u-로봇 HRI 솔루션 및 핵심 소자 기술 개발].

네트워크 기반 이동 로봇은, 카메라 영상을 무선 네트워크를 통해 원격 서버에 보내어 영상 처리 결과를 받는다. 따라서 카메라 영상을 압축하는 동영상 하드웨어 인코더를 갖는다.

또한, 지능형 서비스 로봇은 이동을 위해 장애물의 위치를 검출하고, 서비스 제공을 위해 사람의 얼굴도 검출할 수 있어야 한다. 따라서, 영상 정보와 거리 정보를 동시에 취득할 수 있는 스테레오 카메라 시스템을 구비하는 것이 유리하다. 스테레오 카메라 시스템에서 거리 정보를 구하는 것을 스테레오 매칭 기술이라고 한다.

잘 알려진 바와 같이, 스테레오 매칭(Stereo Matching)은 좌측 및 우측에 설치된 두 대의 카메라에서 입력되는 두 개의 영상으로부터 입체 영상 정보를 추출하는 기법을 의미한다. 이러한 스테레오 매칭은 사람의 두 눈이 특정 사물 또는 영상 패턴까지의 거리 정보를 획득하는 방법과 마찬가지로, 한쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지 검출하여 두 위치의 차이 즉 양안차(disparity)를 추출함으로써, 카메라에서 그 패턴의 실제 위치까지의 거리값을 직접 계산하는 것이다.

스테레오 매칭 기법을 이용하는 스테레오 비전 시스템은 화면 내의 모든 물체에 대한 거리 정보를 획득할 수 있기 때문에 하나의 카메라 입력만을 이용하여 비전 처리하는 것에 비해 많은 분야에 응용될 수 있는데, 로봇의 시각, 자동차의 충돌 방지 장치, 게임, 군용 장비 등에서 이미 적용되어 있거나 향후 적용되어 유용한 정보를 획득할 수 있을 것으로 기대된다.

한편, 종래에 스테레오 비전 처리를 수행하는 과정에 대해 설명하면, 좌측 및 우측 카메라를 통해 좌측 및 우측 영상이 입력되면, 좌측 및 우측 영상에 대한 밝기 및 에피폴라 라인(epipolar line)을 일치시키는 스테레오 영상 입력에 대한 전처리 과정을 수행하고, 동일한 물체로 판단되는 좌측 및 우측 영상의 픽셀간 양안차(disparity)를 생성하는 스테레오 매칭을 수행하며, 이러한 양안차의 결과에서 노이즈 성분을 제거한 후에 그 스테레오 영상의 거리 정보에 대한 프로젝션(projection), 세그멘테이션(segmentation), 필터링(filtering) 등의 후처리 과 정을 수행하여 스테레오 영상 정보를 획득함으로써, 이러한 스테레오 영상 정보를 통해 물체와 배경의 거리, 모양, 방향 등의 정보를 활용하게 된다.

좌, 우 영상에서 대응되는 위치를 찾기 위해, 주사선 단위로 스테레오 매칭을 하는 시스템도 있고, 상하좌우 인근의 픽셀들을 모두 포함하여 매칭을 하는 SAD 기반의 시스템도 있다. SAD 기반의 알고리즘은 참조 메모리를 많이 소모하기 때문에, 주로 PC나 DSP등에서 소프트웨어적으로 구현되고, ASIC으로는 주로 주사선 단위의 알고리즘을 채택한다. 그러나 주사선 단위로 스테레오 매칭을 하는 시스템은 stripe 노이즈가 많이 발생한다.

저가형 이동 로봇을 위한 저렴한 스테레오 매칭 시스템은 주사선 단위로 매칭을 수행하는 ASIC이 가장 바람직하나 현재는 stripe 노이즈 때문에 여러가지 후처리가 필요한 상태이다. 또한, 주사선 단위로 매칭하는 스테레오 매칭 시스템은 카메라 캘리브레이션 상태에 매우 민감하다. 따라서, 스테레오 매칭 ASIC의 단가는 낮아도, 캘리브레이션된 스테레오 카메라 모듈 제작 단가는 높을 수 밖에 없다.

동영상 하드웨어 코덱을 이용해서 주사선 단위의 스테레오 매칭 시스템의 결과를 향상시키는 기술은 동영상 코덱과 스테레오 매칭 칩의 두 개의 구성요소를 필수로 하는데, 매우 저렴해야 하는 완구형 이동 로봇에서는 단가 부담이 될 수 있다.

발명은 전술한 종래기술의 문제점을 해결하기 위하여, 동영상 하드웨어 코덱을 구비한 네트워크 기반 이동로봇이 별도의 스테레오 매칭 칩을 구비하지 않고도 동영상 하드웨어 코덱만으로도 양안시차를 계산하여 거리 측정을 할 수 있는 방법 및 스테레오 매칭 시스템을 제공하는 데 그 목적이 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 목적을 달성하기 위한 본 발명의 일면에 따른 거리 측정 방법은, 제1 및 제2 카메라를 캘리브레이션하여 기준 모션벡터를 설정하는 단계와, 제1 카메라 영상을 참조하여 제2 카메라 영상을 인코딩하는 단계와, 상기 제2 카메라 영상의 소정 블록이 인터 예측되어 인코딩된 경우 상기 소정 블록의 모션벡터와 상기 기준 모션벡터를 비교하는 단계와, 상기 비교 결과 상기 모션벡터가 상기 기준 모션벡터와 같지 않고 유효한 경우 상기 모션벡터의 크기값을 디스패리티값으로 결정하는 단계 및 상기 디스패리티값을 이용하여 상기 소정 블록의 영상으로 나타난 피사체와의 거리를 제1 산출하는 단계를 포함한다.

본 발명의 다른 면에 따른 스테레오 매칭 시스템은, 제1 및 제2 카메라를 포함하는 스테레오 카메라와, 상기 스테레오 카메라로부터 제공된 상기 제1 및 제2 카메라 영상을 저장하는 프레임 저장기와, 상기 제1 카메라 영상을 I 프레임으로 인코딩하고, 상기 제2 카메라 영상을 P 프레임으로 인코딩하는 인코더와, 상기 제2 카메라 영상을 디코딩 하는 디코더 및 상기 제2 카메라 영상의 소정 블록이 인터 예측된 경우 상기 소정 블록의 모션벡터와 미리 설정된 기준 모션벡터를 비교하고, 상기 비교 결과 상기 모션벡터가 상기 기준 모션벡터와 같지 않고 유효한 경우 상기 소정 블록을 디스페리티 블록으로 분류하고 상기 모션벡터의 크기값을 디스패리티값으로 결정하는 분류기를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명에 따르면, 통상의 저가격 네트워크 이동 로봇도 별도의 스테레오 매칭 하드웨어나 추가적인 거리 센서 없이도 영상 기반의 거리 정보를 손쉽게 얻을 수 있다.

또한, 로봇이 심하게 움직이는 상황에서도 영상 내 배경 제거가 가능하므로 각종 인간 로봇 상호작용을 위한 영상 인식 알고리즘의 부하를 줄일 수 있다.

따라서, 저가격 로봇에서 기대할 수 없었던 네비게이션, 인간로봇 상호작용을 사용자에게 제공할 수 있는 이점이 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발 명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

도 1을 참조하여 본 발명의 일실시예에 따른 스테레오 매칭 시스템에 대해 설명한다. 도 1은 본 발명의 일실시예에 따른 스테레오 매칭 시스템을 나타내는 블록도이다.

도 1을 참조하면, 좌측 카메라(110), 우측 카메라(120)로 구성된 스테레오 카메라(100)와, 프레임 저장기(200)와, 영상 쉬프트기(300)와, 동영상 인코더(400)와, 동영상 디코더(500) 및 분류기(600)로 구성된다.

스테레오 카메라(100)는 같은 방향을 보고 있는 좌측 카메라(110)와 우측 카메라(120)로 구성된다. 스테레오 카메라(100)는 실시간으로 영상을 출력하는 CCD 또는 CMOS 카메라(100) 또는 USB 카메라(100)일 수 있다. 스테레오 카메라(100)는, 두 카메라(110, 120)의 광축이 평행한 평행축 카메라와, 광축이 어느 점에서 교차하는 교차축 카메라 중 어느 하나일 수 있다.

프레임 저장기(200)는 실시간으로 들어오는 일련의 두 카메라(110, 120) 영상에서 어느 순간의 영상을 각기 마련된 프레임 버퍼에 저장한다. 이는 동영상 인코더(400)에서 처리할 수 있는 YUV형태일 수도 있고, RGB형태일 수도 있다.

영상 쉬프트기(300)는 한 카메라(120) 영상을 선택적으로 소정의 s값만큼 픽셀단위로 수평으로 이동시킨다. 예컨대 영상 쉬프트기(300)는 우측 카메라(120)의 영상을 16 픽셀 또는 (16+32) 픽셀 또는 (16+32×2) 픽셀 또는 (16+32×N) 픽셀 단위로 수평이동 시킬 수 있다. 또는 16 픽셀, (16+32) 픽셀, (16+32×2) 픽셀, (16+32×N) 픽셀 단위로 순차적으로 이동시킬 수도 있다. 이와 같이 영상 쉬프트기(300)는 카메라(110, 120)와 근접한 물체(또는 피사체)의 거리를 측정하기 위해 영상을 쉬프트시킨다. 따라서 카메라(110, 120)와 멀리 있는 물체의 거리를 측정하는 경우에는 영상을 쉬프트시키지 않을 수도 있다. 즉, 거리를 측정하고자 하는 물체에 따라 선택적으로 영상을 쉬프트시킬 수 있다. 영상을 쉬프트하여 물체와의 거리를 측정하는 것에 대해서는 후술한다. 한편, 이동에 의해 비워지는 공간은 0의 값 등으로 채울 수 있다.

동영상 인코더(400)는 이번에 인코딩될 프레임을 I 프레임, P 프레임 중에서 선택하여 인코딩할 수 있다. 구체적으로는 좌측 카메라(110) 입력은 I 프레임으로 인코딩하고 우측 카메라(120) 입력은 P프레임으로 인코딩할 수 있다. 여기서 I 프레임(또는 I picture, 또는 I VOP)은, 한 프레임 내의 모든 매크로블록을 인트라 예측을 수행하여 인코딩하는 경우의 프레임을 말하며, P 프레임(또는 P picture 또는 P VOP)은 이전 프레임을 참조하여 인코딩되는 프레임을 말한다. 즉, 동영상 인 코더(400)는 우측 카메라(120)의 영상을 입력받아 이전 프레임의 좌측 카메라 영상을 참조하여 인터 예측을 수행하고 모션벡터와 모드 정보를 포함하는 비트스트림을 한 프레임 단위로 출력한다. 좌측 카메라(100)의 영상에 대해서는 인트라 예측을 수행한다. 여기서 모드 정보란 인코딩되는 단위, 예컨대 매크로블록 단위로 인터 예측되어 인코딩되는지 또는 인트라 예측되어 인코딩되는지 여부를 알리는 정보를 의미한다. 즉, 동영상 인코더(400)는, 우측 카메라 영상의 모든 블록에 인코딩되는 단위, 예컨대 매크로블록 단위별로 기본적으로 좌측 카메라 영상을 참조하여 인터 예측을 수행하여 인코딩하고, 모션벡터의 탐색 범위를 초과하는 매크로블록에 대해서는 인트라 예측을 수행하여 인코딩할 수 있다.

이러한 동영상 인코더(400)는 우측 카메라(120)의 한 프레임의 영상을 일정 크기의 매크로블록으로 잘게 나누어, 매크로블록 단위로 인코딩을 수행하거나, 또는 하나의 매크로블록을 4개의 블록으로 나누고 각각의 블록마다 인터 예측을 수행할 수 있다. 이 경우 하나의 매크로블록은 4개의 모션벡터를 갖는다. 또는 H.264와 같이, 가로 8픽셀, 세로 16픽셀의 두 파티션으로 나누거나 가로 16픽셀, 세로 8픽셀의 두 파티션으로 나누고, 각각의 파티션을 8x8, 4x8, 8x4, 4x4 크기의 서브 매크로블록 파티션으로 나누어 인터 예측을 수행할 수도 있다. 이를 트리 구조 움직임 보상(tree structured motion compensation)이라고 한다.

즉, 동영상 인코더(400)는 인터 예측 모드를 지원하는 블록 기반 동영상 하드웨어 인코더(400)이다. H.261, MPEG2, 통상의 H.263과 같은 예전의 동영상 규격에 따르면 가로 16화소 세로 16화소로 구성된 매크로블록당 1개의 모션벡터만 발생 시킨다. 또는 트리 구조 움직임 보상을 통해 한 매크로블록에서 더 많은 모션벡터를 발생시킬 수 있는 MPEG4, H.264, 일부 H.263(Advanced Prediction Mode를 지원하는 ITU-T H.263 Annex F), H.263+등 규격의 동영상 인코더(400)일 수도 있다.

한편, 저장과 읽기, 또는 전송과 수신을 거치는 통상의 동영상 사용 과정에서 발생하는 에러에 의해 복원된 화면이 완전하지 않을 수가 있다. 이러한 오류를 자동으로 복구하기 위하여, P 프레임과 B 프레임에 강제적으로 인트라 블록을 순환적으로 발생시켜 각 매크로블럭을 이 일정 주기마다 강제로 갱신되도록 하는 Cyclic Intra Refresh(이후 CIR)기능을 갖고 있다. 본 발명의 실시예에서 동영상 인코더(400)는 CIR 기능에 의해 한 프레임당 발생시킬 인트라 블록의 개수를 조절할 수 있으며, 본 발명의 실시예에서는 그 값을 최소로 한다.

동영상 디코더(500)는 동영상 인코더(400)에서 한 프레임 단위로 출력하는 비트스트림을 디코딩하여, 각 매크로블록의 블록 모드값과 모션벡터값을 추출하여 2차원 배열에 저장한다. 동영상 디코더(500)는 동영상 소프트웨어 디코더일 수 있다. 이 동영상 소프트웨어 디코더(500)가 완전한 영상을 복원할 필요는 없기 때문에 역 DCT등의 CPU 소모적인 연산을 할 필요는 없다. 이러한 동영상 디코더(500)는, I 프레임으로 인코딩된 프레임(좌측 카메라 영상)은 디코딩하지 않고 P 프레임으로 인코딩된 프레임(우측 카메라 영상)만 디코딩한다. P 프레임 내의 P 블록(우측 카메라 영상중 좌측 카메라 영상을 참조하여 인터 예측이 수행되어 인코딩된 블록)은 I 프레임을 참조하지만, 실제적으로 블록의 이미지를 복원하지 않으므로 이전의 I 프레임을 디코딩할 필요가 없다.

분류기(600)는 P 프레임 디코딩 결과로 얻은 블록 모드값과 모션벡터를 이용해서 각 블록에 나타난 영상이 배경에 속하는지, 거리값을 갖는지, 관심영역(Region of Interest)에 속하는지를 분류한다. 거리값을 갖는 경우, 거리정보를 갖는 2차원 배열에 모션벡터로부터 구한 거리값을 저장한다.

이하에서, 도 1에 도시된 스테레오 매칭 시스템의 각 기능 블록의 구체적인동작과, 이러한 스테레오 매칭 시스템을 이용하여 물체까지의 거리를 측정하는 방법에 대해 구체적으로 설명한다.

먼저 도 2 내지 도 4를 참조하여 스테레오 카메라(100)를 캘리브레이션하여 기준 모션벡터를 설정하는 단계를 설명한다. 도 2는 스테레오 카메라를 캘리브레이션하여 기준 모션벡터를 설정하는 단계를 나타내는 순서도이고, 도 3 및 도 4는 캘리브레이션 과정을 설명하기 위한 예시적인 좌측 및 우측 카메라 영상의 예시도이다.

이 단계는 스테레오 카메라(100)를 만드는 단계에서 수행하는 작업이다. 두 카메라(100)의 줌 설정, 화이트 밸런스(white balance), 노출값을 비슷하게 한 상태에서 정해진 베이스라인만큼 띄워 반 고정시킨다. 이 상태에서, 무한대 거리로 간주할 수 있는 피사체를 향하도록 두 카메라(110, 120)를 정렬한다(S210). 동영상 인코더(400)는 CIR값을 최소로 설정한다. 트리 구조 움직임 보상 기능이 있는 동영상포맷인 경우에, 트리 구조 움직임 보상 기능을 사용하도록 한다.

다음으로, 프레임 저장기(200)를 이용해서 두 카메라(100) 영상을 동시에 저장한다. 동영상 인코더(400)를 I 프레임 인코딩 모드로 설정해 놓고, 좌측 프레임 영상을 입력하여 I 프레임으로 인코딩한다(S220).

동영상 인코더(400)를 P 프레임 인코딩 모드로 설정해 놓고, 우측 프레임 영상을 P 프레임으로 인코딩한다(S230). 이하에서 동영상 인코더(400)에서 출력되는 비트스트림을 streamR로 칭한다.

동영상 디코더(500)를 이용해서 streamR을 디코딩하고, 이 과정에서 각 매크로블록의 모드값과 모션벡터값을 저장한다(S240).

모든 매크로블록이 I 블록(인트라 예측이 수행되어 인코딩된 블록)으로 인코딩된 경우(S250), 도 3과 같이 두 카메라(110, 120)의 영상이 현격하게 차이가 있음을 뜻할 수 있다. 이는 주로, 두 영상 사이에 모션벡터 각 성분의 최대값(세로방향의 경우 MV_Ymax)보다 큰 값의 offset이 발생했거나 추가로 두 영상이 상대적으로 심하게 회전된 상태라 인터 예측이 불가능했을 경우이다. 이 offset을 줄이기 위해, 두 카메라(110, 120)의 광축이나 카메라(110, 120) 원점을 조절하고(S255) 처음 단계(S210)부터 재실시한다.

만약 I 블록과 P 블록이 섞여 있는 상태라면(S260), 이는 도 4에 도시된 바와 같이 한 영상에 대해 나머지 영상이 회전된 상태임을 뜻할 수 있다. 회전 중심은 P 블록이 집중적으로 발생한 영역에 있다. 따라서, 이 현상이 없어질 때까지 카메라(110, 120)의 틸트(tilt) 각도 및 줌 설정을 변경한다(S265).

상기 단계를 통과하고 나면, 화면에는 전체적으로 P 블록만 존재하게 될 것이다. 각 P 블록의 모션벡터의 크기가 전체적으로 크다면(270), 카메라(100)를 재정렬(오프셋 조절)한다(S275). 이를 자동화하기 위해, 화면 전체에 분포된 모션벡 터를 이용한 목표함수값을 만들고 이 값을 최적화할 수도 있다. 완벽하게 정렬이 되었다면, 모션벡터 성분이 0인 P블록만 만들어질 것이다. 이 상태는, 동영상 포맷에 따라 skip모드로 인코딩될 수도 있다. 목표함수값이 어느 정도 수렴하였거나 화면 전체적으로 모션벡터의 크기가 무시할 수 있는 수준(1~2픽셀 정도)이라면, 이 단계에서 정렬을 끝내고 현재의 모션벡터들을 RefMV라는 모션벡터 변수에 저장한다(S280). 여기서 RefMV은 기준 모션벡터가 된다.

다음으로 거리 측정 단계를 도 5 내지 도 7을 참조하여 설명한다. 도 5는 거리 측정 방법을 나타내는 순서도이고, 도 6 및 도 7은 분류기의 동작을 설명하기 위한 개념적인 예시도이다.

도 5를 참조하면, 먼저 프레임 저장기(200)를 이용해서 두 카메라(110, 120) 영상을 동시에 저장한다.

동영상 인코더(400)를 I 프레임 인코딩 모드로 설정해 놓고, 좌측 프레임 영상을 입력하여 I 프레임으로 인코딩한다(S510).

우측 카메라(100) 영상을 선택적으로 소정의 픽셀만큼 수평이동한 영상을 만들 수 있다(S520). S520 단계는, 후술하는 관심영역에 대한 거리를 측정하고자 할 때 수행되는 단계이므로, 먼저, 수평 이동하지 않은 경우를 설명하고, 수평 이동한 경우(관심영역에 대한 거리를 측정하는 경우)는 후술한다.

동영상 인코더(400)를 P 프레임 모드로 놓고 우측 영상을 P 프레임으로 인코딩한다(S540). 동영상 인코더(400)가 출력한 비트스트림을 streamR이라 칭한다.

동영상 디코더(500)를 이용해서 streamR을 디코딩한다(S550). 이 과정에서 각 매크로블록의 모드값과 모션벡터값을 저장한다. 매크로블록은 영상에 대응되므로, 모드값과 모션벡터는 2차원 배열로서 저장된다.

모든 매크로블록에 대해서 모드값과 모션벡터값을 조사한다. 조사 결과, (i,j) 위치의 매크로블록이 I 블록인 경우와, (i,j) 위치의 매크로블록이 P블록이고, 그 모션벡터값이 RefMV(i,j)값과 같은 경우와, (i,j) 위치의 매크로블록이 P블록이지만, RefMV(i,j)값과 비교해서 서로 다른 방향을 가리키고 있는 경우와, (i,j) 위치의 매크로블록이 P블록이고 RefMV(i,j)와 같은 방향 중 어느 하나일 수 있다.

전술한 각 경우와, 그에 대한 처리 방법에 대해 좀더 구체적으로 설명한다.

먼저 (i,j)위치의 매크로블록이 I 블록이면(S560), 분류기(600)는 해당 매크로블록을 관심영역(Region of Interest, ROI)으로 분류한다(S565). 매크로블록이 I 블록이라는 것은 실제의 디스패리티값이 모션벡터의 최대값보다 큰 경우일 수 있다. 이동 로봇의 경우에는, 디스패리티가 제대로 나온 그 어떤 피사체보다 더 가깝게 위치하는 경우이다(도 6 참조). 따라서, 이 매크로블록들은 관심영역(Region of Interest, ROI)이 된다. 관심영역은, 전술한 과정에서는 거리 측정이 되지 않지만, 선택적으로 예컨대 물체의 거리를 측정하고자 하는 경우 전술한 바와 같이 우측 카메라(100) 영상을 소정의 픽셀만큼 수평 이동시켜 거리를 측정할 수 있는 영역을 의미한다. 관심영역에 대해 거리를 측정하는 방법은 후술한다.

다음으로 (i,j) 위치의 매크로블록이 P 블록이고, 그 모션벡터값이 RefMV(i,j)값과 같은 경우(S570), 분류기(600)는 해당 매크로블록에 나타난 영상을 배경으로 분류하여(S575) 처리한다(도 6 참조). 앞서의 캘리브레이션에서 무한대로써 사용한 거리와 같다. 따라서, 이동 로봇에 있어서는 배경으로서 간주할 수 있다. 통상의 영상처리에서는 배경을 제거하는 것이 도움이 되므로 이 정보를 이용해서 원 영상에서 해당 매크로블록 영역을 지울 수 있다.

다음으로 (i,j) 위치의 매크로블록이 P 블록이지만, RefMV(i,j)값과 비교해서 다른 값을 갖고 있고 그 값이 유효하지 않은 경우(S580), 이는 매크로블록 내 영상의 패턴이 부족해서 랜덤벡터가 발생한 경우일 수 있으므로, 분류기(600)는 해당 매크로블록을 무효처리를 한다(S585).

모션벡터의 값이 유효하지 않은 경우란 물리적으로 불가능한 경우로서, 예를 들면 다음과 같다. 제대로 캘리브레이션되어 모든 RefMV가 수평성분만 갖고 있는데도, (i,j)위치의 모션벡터에 수직성분이 발생한다면 물리적으로 불가능한 경우이다.

또는 평행축 스테레오 카메라에 있어서, 만약 그 블록이 무한대 거리에 있는 물체에 대해 완벽하게 정렬되었다면, 무한대보다 가까운 위치에 있는 물체는 오른쪽 카메라에 의해 최소한 왼쪽 카메라에 의해 촬영된 영상에서와 같은 위치에 찍히거나 상대적으로 더 왼쪽에 치우쳐서 촬영되므로 모든 P 블록 모션벡터의 수평성분은 (+)부호를 가져야 한다. 만약 그 블록이 무한대 거리에 있는 물체에 대해 완벽하게 정렬되지 않아서, ‘무한대 거리에 있는 물체가 왼쪽 카메라에 찍힌 위치’보다 ‘무한대 거리에 있는 물체가 오른쪽 카메라에 찍힌 위치’가 더 오른쪽이라면, 당해 RefMV의 수평성분은 (-)부호를 갖는다. 이 경우에, 무한대보다 가까운 위치에 있는 물체에 해당하는 P블록 모션벡터의 수평성분은 (-)를 가질 수 있으나 당해 RefMV의 수평성분보다 큰 값을 갖게 된다. 이 경우에, 무한대보다 가까운 위치에 있는 물체에 해당하는 P블록 모션벡터의 수평성분은 (-)를 가질 수 있으나 당해 RefMV의 수평성분보다 큰 값을 갖게 된다. 따라서 P 블록 모션벡터 수평성분이 같은 위치의 RefMV 수평성분보다 작다면 물리적으로 불가능한 경우이다.

역으로, 오른쪽 영상을 I 프레임으로 인코딩하고 왼쪽 영상을 P 프레임으로 인코딩한 경우에는, P 블록 모션벡터 수평성분은 당해 RefMV의 수평성분보다 작은 값이어야 한다. 평행축 스테레오 카메라에 있어서, P블록 모션벡터가 당해 위치의 RefMV와 비슷한 방향이고 그 벡터크기가 당해 RefMV보다 작은 경우도 물리적으로 불가능하다. 따라서 이러한 경우는 랜덤벡터로 간주하고 무효처리를 한다.

다음으로 (i,j) 위치의 매크로블록이 P블록이고 모션벡터가 RefMV(i,j)와 다른 값을 갖고 있고 그 값이 유효한 경우, 즉 물리적으로 가능한 경우(즉, 전술한 바와 같이 모션벡터가 물리적으로 불가능한 경우가 아닌경우), 분류기(600)는 해당 매크로블록은 거리값을 갖는 블록으로 분류하고(도 6 참조), 해당 매크로블록에 나타난 물체와의 거리(Distnace(i,j))를 측정한다(590). 평행축 스테레오 카메라가 완벽하게 캘리브레이션된 경우, 모션벡터의 크기값은 좌, 우 영상의 디스패리티값이 된다. 이 때 (i,j)위치의 모션벡터는 오로지 수평성분만 갖는다. 평행축 스테레오 카메라가 완벽하게 캘리브레이션되지 않은 상태라면, (i,j) 블록의 모션벡터의 크기값은 실제의 디스패리티값과 차이가 있는데, (i,j) 블록의 모션벡터가 가리키는 블록 위치의 RefMV값과 RefMV(i,j)값과 연관이 있다. 하지만, 모션벡터 탐색 범 위가 바로 인접 블록으로 한정되고, 인접한 블록 사이의 RefMV 차이는 무시할 수 있으므로, (i,j) 블록 모션벡터에서 RefMV(i,j)를 뺀 값의 크기를 디스패리티로 근사화할 수 있다.

좌측 영상을 I 프레임으로 인코딩하고, 우측 영상을 P 프레임으로 인코딩하면, 이 수평성분은 (+)값이 된다. 반대로 우측 영상을 I 프레임으로 인코딩하고 좌측 영상을 P 프레임으로 인코딩하면 여기서의 모션벡터 수평성분은 (-)값이 된다. 따라서, 이 디스패리티값의 절대값(D)과, 두 카메라(100) 사이의 거리인 베이스라인값(B), 핀홀 카메라로 모델링하였을 때의 초점거리(f; 주점과 촬상면 사이의 거리)를 알면 삼각측정법을 이용해서 그 매크로블록에 찍힌 피사체까지의 거리(Z)를 알아 낼 수 있다. (Z = Bf / D )

상기 단계를 거치면, 한 순간의 좌, 우 영상에 대해서, 매크로블록 단위로 디스패리티(또는 거리), 관심영역(ROI)이 도 7과 같이 결정되며, 디스패리티를 통해 거리를 측정할 수 있다.

한편, 만약 관심영역의 거리를 측정하고자 한다면, 다음 순간의 좌 우 영상에 대해 전술한 과정을 반복하되, 우측 영상을 우측으로 평행 이동시켜(도 5의 S520 참조) 동영상 인코더(400)에 입력하여, S540~S590 단계를 수행한다.

예를 들어, 동영상의 한 모션벡터 탐색 범위가 최대 ±16픽셀인 경우, 카메라(100)와 가까운 물체에 대한 좌우 영상의 차이는 16픽셀 이상(예컨대 20픽셀)일 수 있다. 따라서 그러한 경우의 물체에 대한 블록은 인트라 예측이 되지 않고 인터 예측이 수행되어 인코딩될 수 있다. 즉, 그러한 블록은 I 블록(전술한 관심영역, 도 6참조)이 될 수 있다. 거리 측정을 위해 P 블록이 되어야 하므로(도 6 참조), 즉 인터 예측이 수행되어야 하므로 우측 영상을 우측으로 16픽셀 이동시키면, 좌우 영상의 차이는 16픽셀 이하(예컨데 20-16=4픽셀)가 될 수 있다. 이러한 경우 모션벡터 수평성분 4의 값은 실제로는 디스패리티 20이 된다. 즉, 이와 같은 과정으로 얻어지는 모션벡터 수평성분 0의 값은 실제로는 디스패리티 16이 되고, 상기 과정에서의 모션벡터 수평성분 값 16은 실제 디스패리티 32가 된다. 상기 과정의 모션벡터 수평성분값 -16은 실제 디스패리티 0이 된다. 이를 일반적으로 표현하면, 우측 영상을 +s 픽셀만큼 우측으로 쉬프트시키면, 디스패리티값은 ‘모션벡터 수평성분+ s’가 된다. 이를 이용하면, 특정 거리 전후의 사물 분포를 ±16 디스패리티 범위 내로 측정할 수 있으며, 평행이동값을 적절히 반복 변경하면, 원하는 범위 내의 사물 분포를 알 수 있다.

실제로, 모션벡터 탐색 범위가 ±16인 경우, 최초 쉬프트값을 16, 다음 쉬프트값을 16+32, 그 다음을 16+32*2, …, 16+32*N의 형태로 차례로 적용하면서 디스패리티 출력을 저장하면, 가로 320해상도의 영상인 경우 10프레임 이내에 거리 분포를 파악할 수 있으며 이는 30fps 실시간 인코딩, 디코딩이 가능한 하드웨어 인코더(400)의 경우 2/3초가 소요됨을 뜻한다.

단, 상기 과정에서 수평이동시켜 생기는 빈 공간에 해당하는 매크로블록은 분류기(600) 처리 대상에서 제외해야 하는 것은 자명한 사실이다.

또한, 원 영상을 쉬프트시켰으므로 (i,j)블록의 모션벡터에서 RefMV(i,j)를 빼 주는 과정에 보정이 필요하지만, 두 카메라 사이에 상대적인 회전이 미미하여 RefMV가 거의 균일하다면 앞서와 마찬가지로 RefMV(i,j)를 단순히 빼 준 값에서 디스패리티를 취할 수 있다.

이하에서 본 발명의 다른 실시예를 설명한다.

앞서의 실시예에서는 좌측 프레임을 I 프레임으로 인코딩하고, 그 비트스트림은 디코딩하지 않았다. 본 실시예에서는 좌측 프레임 또한 P 프레임으로 인코딩하고, 그 출력 스트림 streamL을 디코딩한다. 이 과정에서 얻은 좌측 영상의 모션벡터를, streamR을 디코딩할 때에 얻은 오른쪽 영상의 모션벡터와 비교할 수 있다. 만약 관측계가 정지한 경우에, 두 벡터가 모두 유효한 벡터라면 두 벡터는 서로 반대 방향이고 크기는 같아야 한다. 그렇지 아니하면 랜덤벡터가 존재하는 것일 수 있으므로, 해당 블록을 무효처리한다. 또는 관측계가 움직이고 두 프레임이 저장된 시각에 약간이라도 차이가 있다면, 한쪽의 벡터 부호를 반전시키면 두 벡터의 크기와 방향은 매우 유사해야 한다. 그렇지 아니하면 랜덤벡터가 존재하는 것일 수 있으므로, 해당 블록을 무효처리한다. 즉 이러한 두 벡터의 상관관계를 이용해서, 선택적으로 해당 블록을 무효처리함으로써, 랜덤벡터의 영향을 배제하여 더 정확한 결과를 얻을 수 있다. 여기서 두 벡터의 차, 또는 두 벡터의 사이각(또는 사이각의 코사인값)을 이용하여 무효처리 여부를 결정할 수 있다.

전술한 실시예들에 따르면, 기본적으로 매크로블록 단위로 거리정보를 출력할 수 있다. 또는 320x240해상도 영상에 대해 H.263을 적용하면, 거리정보는 20x15 해상도로 출력이 되는 저해상도 스테레오 매칭 시스템이 된다. 하지만, 출력되는 거리정보는 노이즈에 강건한 SAD기반의 픽셀 단위의 디스패리티이므로 후처리의 부 담이 거의 없다. 따라서 성능이 매우 제한된 임베디드 시스템에서도 활용할 수가 있다. H.263대신 MPEG4를 적용하면, 하나의 매크로블록당 4개의 모션벡터 발생이 가능하므로 40x15해상도로 사용이 가능하다. 최신의 H.264를 사용하면, 4x4 크기의 블록단위로 모션벡터 생성이 가능하므로 80x60 해상도 사용이 가능하다.

또한, MPEG4 표준은 1/2픽셀 정밀도, 더 나아가 H.264는 1/4픽셀 정밀도의 모션벡터를 생성하므로, 이러한 동영상 표준의 코덱을 사용하면 별도의 노력 없이도 서브(sub) 픽셀 단위의 디스패리티 분해능을 얻을 수 있는 장점이 있다.

저가 이동 로봇을 위한 스테레오 매칭 시스템은 아직 보편화되지 않았지만, 동영상 하드웨어 인코더(400)/디코더(500)는 저가의 영상 통화 핸드폰, PDA, PMP, 영상회의 시스템에도 적용될 정도로 이미 보편화되어 있으므로 본 발명을 구현하는 비용은 매우 저렴하다. 그러므로, 본 발명의 구성에 따르면, 통상의 저가격 네트워크 이동 로봇도 별도의 스테레오 매칭 하드웨어나 추가적인 거리 센서 없이도 영상 기반의 거리 정보를 손쉽게 얻을 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어 본 발명의 제어 방법을 실현하기 위한 프로그램이 기록된 기록매체의 형태 등 다양한 형태로 구현될 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출 되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

도 1은 본 발명의 일실시예에 따른 스테레오 매칭 시스템을 나타내는 블록도 이다.

도 2는 스테레오 카메라를 캘리브레이션하여 기준 모션벡터를 설정하는 단계를 나타내는 순서도이다.

도 3 및 도 4는 캘리브레이션 과정을 설명하기 위한 예시적인 좌측 및 우측 카메라 영상의 예시도이다.

도 5는 거리 측정 방법을 나타내는 순서도이다.

도 6 및 도 7은 분류기의 동작을 설명하기 위한 개념적인 예시도이다.

(도면의 주요부분에 대한 부호의 설명)

100: 스테레오 카메라 200: 프레임 저장기

300: 영상 쉬프트기 400: 동영상 인코더

500: 동영상 인코더 600: 분류기

Claims (11)

1. 제1 및 제2 카메라를 포함하는 스테레오 카메라를 이용하여 거리를 측정하는 방법에 있어서,

   제1 및 제2 카메라를 캘리브레이션하여 기준 모션벡터를 설정하는 단계;

   제1 카메라 영상을 참조하여 제2 카메라 영상을 인코딩하는 단계;

   상기 제2 카메라 영상의 소정 블록이 인터 예측되어 인코딩된 경우 상기 소정 블록의 모션벡터와 상기 기준 모션벡터를 비교하는 단계;

   상기 비교 결과 상기 모션벡터가 상기 기준 모션벡터와 같지 않고 유효한 경우 상기 모션벡터의 크기값을 디스패리티값으로 결정하는 단계; 및

   상기 디스패리티값을 이용하여 상기 소정 블록의 영상으로 나타난 피사체와의 거리를 제1 산출하는 단계를 포함하는 거리 측정 방법.
2. 제 1항에 있어서,

   상기 비교 결과 상기 모션벡터와 상기 기준 모션벡터가 같은 경우,

   상기 소정 블록의 영상을 배경으로 분류하고, 상기 소정 블록의 영상을 삭제하는 단계를 더 포함하는 거리 측정 방법.
3. 제 1항에 있어서,

   상기 비교 결과 상기 모션벡터와 상기 기준 모션벡터가 같지 않고 상기 모션 벡터가 유효하지 않은 경우, 상기 소정 블록을 무효처리하는 단계를 더 포함하되,

   상기 모션벡터가 유효하지 않은 경우는

   상기 기준 모션벡터가 수평성분만을 갖고 있고 상기 모션벡터는 수직성분을 갖는 경우와,

   상기 제1 카메라가 상기 제2 카메라보다 왼쪽에 위치할 때, 상기 모션 벡터의 수평성분이 상기 기준 모션벡터의 수평성분보다 작은 경우와,

   상기 제1 카메라가 상기 제2 카메라보다 오른쪽에 위치할 때, 상기 모션 벡터의 수평성분이 상기 기준 모션벡터의 수평성분보다 큰 경우 중 어느 하나인 거리 측정 방법.
4. 제 1항에 있어서,

   상기 소정 블록이 인트라 예측되어 인코딩된 경우, 상기 제2 카메라를 소정 픽셀만큼 수평이동시킨 후 상기 소정 블록의 영상으로 나타난 피사체와의 거리를 제2 산출하는 단계를 더 포함하는 거리 측정 방법.
5. 제 1항에 있어서,

   상기 제2 카메라 영상을 참조하여 상기 제1 카메라 영상을 인코딩하는 단계와,

   상기 제2 카메라 영상의 소정 블록이 인터 예측되어 인코딩된 경우, 상기 소정 블록의 상기 제1 카메라 영상의 모션벡터와 상기 제2 카메라 영상의 모션벡터를 이용하여 상기 소정블록을 선택적으로 무효처리하는 단계를 더 포함하는 거리 측정 방법.
6. 제 4항에 있어서, 상기 제2 산출하는 단계는

   제1 카메라 영상을 참조하여 상기 수평이동후의 제2 카메라 영상을 인코딩하는 단계와,

   상기 수평이동에 따라 상기 기준 모션벡터와 상기 수평 이동후의 제2 카메라 영상의 상기 소정 블록의 모션벡터를 비교하는 단계와,

   상기 비교 결과 상기 모션벡터와 상기 기준 모션벡터가 같지 않고 상기 모션벡터가 유효한 경우 상기 모션벡터의 크기값을 디스패리티값으로 결정하는 단계; 및

   상기 디스패리티값을 이용하여 상기 소정 블록의 영상으로 나타난 피사체와의 거리를 산출하는 단계를 포함하는 거리 측정 방법.
7. 제1 및 제2 카메라를 포함하는 스테레오 카메라;

   상기 스테레오 카메라로부터 제공된 상기 제1 및 제2 카메라 영상을 저장하는 프레임 저장기;

   상기 제1 카메라 영상을 I 프레임으로 인코딩하고, 상기 제2 카메라 영상을 P 프레임으로 인코딩하는 인코더;

   상기 제2 카메라 영상을 디코딩 하는 디코더; 및

   상기 제2 카메라 영상의 소정 블록이 인터 예측된 경우 상기 소정 블록의 모션벡터와 미리 설정된 기준 모션벡터를 비교하고, 상기 비교 결과 상기 모션벡터와 상기 기준 모션벡터가 같지 않고 상기 모션벡터가 유효한 경우 상기 소정 블록을 디스패리티 블록으로 분류하고 상기 모션벡터의 크기값을 디스패리티값으로 결정하는 분류기를 포함하는 스테레오 매칭 시스템.
8. 제 7항에 있어서,

   상기 분류기는, 상기 비교 결과 상기 모션벡터와 상기 기준 모션벡터가 같은 경우,

   상기 소정 블록을 배경으로 분류하고, 상기 소정 블록의 영상을 삭제하는 스테레오 매칭 시스템.
9. 제 7항에 있어서,

   상기 분류기는, 상기 비교 결과 상기 모션벡터와 상기 기준 모션벡터가 같지 않고 상기 모션벡터가 유효하지 않은 경우, 상기 소정 블록을 무효처리하되,

   상기 모션벡터가 유효하지 않은 경우는

   상기 기준 모션벡터가 수평성분만을 갖고 있고 상기 모션벡터는 수직성분을 갖는 경우와,

   상기 제1 카메라가 상기 제2 카메라보다 왼쪽에 위치할 때, 상기 모션 벡터의 수평성분이 상기 기준 모션벡터의 수평성분보다 작은 경우와,

   상기 제1 카메라가 상기 제2 카메라보다 오른쪽에 위치할 때, 상기 모션 벡터의 수평성분이 상기 기준 모션벡터의 수평성분보다 큰 경우 중 어느 하나인 스테레오 매칭 시스템.
10. 제 7항에 있어서,

    상기 분류기는, 상기 소정 블록이 인트라 예측된 경우, 상기 소정 블록을 관심영역으로 분류하는 스테레오 매칭 시스템.
11. 제 10항에 있어서,

    상기 제2 카메라 영상을 소정 픽셀만큼 수평이동시키는 영상 쉬프트기를 더 포함하고,

    상기 관심영역의 거리를 측정할 때,

    상기 디코더는 제1 카메라 영상을 참조하여 소정 픽셀만큼 수평이동된 제2 카메라 영상을 디코딩하고,

    상기 분류기는 상기 수평이동에 따라 상기 기준 모션벡터와 상기 수평 이동후의 상기 소정 블록의 모션벡터를 비교하고, 상기 비교 결과 상기 모션벡터와 상기 기준 모션벡터가 같지 않고 상기 모션벡터가 유효한 경우 상기 모션벡터의 크기값을 디스패리티값으로 결정하는 스테레오 매칭 시스템.

Images