KR20070107543A

KR20070107543A - 스트리밍 스테레오 영상을 처리하여 깊이-지도를 실시간으로 생성하는 장치

Info

Publication number: KR20070107543A
Application number: KR1020060040192A
Authority: KR
Inventors: 조성제; 정문호; 유범재
Original assignee: 한국과학기술연구원
Priority date: 2006-05-03
Filing date: 2006-05-03
Publication date: 2007-11-07
Also published as: KR100795974B1

Abstract

본 발명은 양안시를 사용해 획득되어진 스테레오 영상을 처리하여 깊이-지도를 생성하는 장치에 관한 것으로서, 스트리밍 스테레오 영상을 처리하여 깊이-지도를 실시간으로 생성하는 장치에 있어서, 스트리밍되는 영상의 픽셀값을 비교하기 위해 상기 픽셀값이 파이프라이닝 처리되도록 하는 시프트 레지스터 블록과; 매칭 윈도우 단위의 차이(Difference) 연산 알고리즘을 수행하는 차이 연산 유닛들로 이루어진 차이 연산 블록으로서, 상기 차이 연산 유닛들의 수는 병렬 처리를 가능하게 하기 위해 디스페리티 범위의 수와 동일하거나 그 이상인 차이 연산 블록과; 상기 차이 연산 유닛들에서 제공되는 차이 결과값을 버퍼링하고 비교하여 디스페리티 (Disparity)를 계산하는 디스페리티 연산 블록과; 상기 각 블록의 동작을 제어하는 제어 블록을 포함하여 구성된다.

Description

스트리밍 스테레오 영상을 처리하여 깊이-지도를 실시간으로 생성하는 장치{APPARATUS FOR REALTIME-GENERATING A DEPTH-MAP BY PROCESSING STREAMING STREO IMAGES}

도 1은 양안시를 이용한 깊이-지도 획득 개념도.

도 2는 양안시에서 얻어진 스트리밍 스테레오 영상 도시도.

도 3은 윈도우 기반 디스페리티 비교대상 그룹의 출력 도시도.

도 4는 본 발명에 따른 깊이-지도 생성 장치 구성도.

도 5는 본 발명에 따른 윈도우 기반 차이 정보 연산 유닛의 세부 구성도.

본 발명은 영상기기 기술에 관한 것으로, 특히 양안시를 사용해 획득되어진 스테레오 영상을 처리하여 깊이-지도를 생성하는 장치에 관한 것이다.

양안시를 사용해 획득되어진 스테레오 영상을 처리하여 깊이-지도를 생성하는 것은 컴퓨터 비전 분야에서 외부 세계에 대한 3차원 정보를 수집하기 위해 널리 사용하는 방법이다. 일반적으로 퍼스널 컴퓨터 상에서 소프트웨어로 구현하며, 정지영상을 기반으로 그 처리 기법을 연구하는 것이 대부분이다. 깊이-지도를 이동로 봇과 같은 실제 응용에 적용하기 위해서는 초당 30프레임 이상으로 실시간 생성하는 것이 필수적이다.

따라서, 소프트웨어적인 연산 기법을 사용해 깊이-지도를 실시간으로 생성해 내려는 연구가 최근 이루어지고 있으나, 영상데이터와 그 연산의 방대함으로 인해 최대 초당 15프레임 정도의 처리만 가능한 상황이다. 또한 상용 그래픽 프로세서를 이용하여 깊이-지도를 생성하는 방법도 근접 실시간(near-realtime) 수준인 초당 20프레임 정도에 머물고 있는 실정이다.

기존의 이러한 방법들은 별도의 PC나 상용 그래픽 프로세서가 있어야 하므로 시스템의 크기나 비용 면에서도 문제점을 가지고 있으며, 초당 프레임수가 낮아서 실시간 응용에는 부적합하다.

본 발명은 상술한 문제를 해결하기 위해 안출한 것으로, 기존의 소프트웨어적인 연산이나, 상용 그래픽 프로세서를 사용하지 않고, 깊이-지도를 실시간 이상의 고속으로 생성할 수 있는 장치를 제공하는 것을 목적으로 한다.

본 발명의 다른 목적은, 제안한 깊이-지도 생성 장치를 타겟팅하는 하드웨어의(FPGA, ASIC 등) 특성이나 용량에 따라서 깊이-지도 생성의 변수들을 조정할수 있게 함으로서, 스테레오 비전 프로세서나 로봇비전 프로세서의 설계에 용이하게 임베드 될 수 있는 범용적인 구조를 가진 깊이-지도 생성 장치를 제공하는데 그 목적이 있다.

이를 위해 본 발명의 깊이-지도 생성 장치는, 스트리밍 스테레오 영상을 처리하여 깊이-지도를 실시간으로 생성하는 장치에 있어서, 스트리밍되는 영상의 픽셀값을 비교하기 위해 상기 픽셀값이 파이프라이닝 처리되도록 하는 시프트 레지스터 블록과; 매칭 윈도우 단위의 차이(Difference) 연산 알고리즘을 수행하는 차이 연산 유닛들로 이루어진 차이 연산 블록으로서, 상기 차이 연산 유닛들의 수는 병렬 처리를 가능하게 하기 위해 디스페리티 범위의 수와 동일하거나 그 이상인 차이 연산 블록과; 상기 차이 연산 유닛들에서 제공되는 차이 결과값을 버퍼링하고 비교하여 디스페리티 (Disparity)를 계산하는 디스페리티 연산 블록과; 상기 각 블록의 동작을 제어하는 제어 블록을 포함하는 것을 특징으로 한다.

또한, 본 발명의 깊이-지도 생성 장치는, 입력 영상의 크기, 매칭 윈도우의 크기, 디스페리티 범위, 또는 이들의 조합에 따라 스트리밍 스테레오 영상 처리의 변형 및 확장이 가능한 것을 특징으로 한다.

또한, 본 발명의 깊이-지도 생성 장치는, 별도의 클록(Clock)없이 입력 영상의 픽셀 클록(Pixel clock)을 사용하여 동작되고, 상기 픽셀 클록마다 하나의 깊이-지도 영상 픽셀을 생성하는 것을 특징으로 한다.

본 발명의 실시예에서, 상기 차이 연산 블록은, 각 픽셀간의 차이를 비교하는 ABSDIFF 블록과; 라인단위 마스크 연산을 위해 누적 연산하는 ADD_A, REG_A 블록과; 매칭 윈도우의 너비 만큼의 데이터를 버퍼링하는 FIFO_A 블록과; 라인 단위의 차이 연산 결과가 연속적으로 출력되도록 SUB_A의 연산 결과를 REG_A로 귀환 입력(Feedback)시켜 소정 형태의 데이터를 출력하는 SUB_A 블록과; 라인 단위의 차이 연산 결과를 누적 연산하는 ADD_B, FIFO_B 블록과; 매칭 윈도우의 폭 만큼의 데이터를 버퍼링하는 FIFO_C 블록과; 윈도우 단위의 차이 연산 결과가 연속적으로 출력되도록 SUB_B의 연산결과를 FIFO_B로 귀환 입력시켜 소정 형태의 데이터를 출력하는 SUB_B 블록을 포함하여 구성되는 것을 특징으로 한다.

본 발명의 실시예에서, 상기 디스페리티 연산 블록은, 각 유닛의 연산결과값을 순차적으로 비교하기 위해 계단형으로 구성된 CMP 블록들의 그룹과; 비교기에서 순차적으로 출력되는 디스페리티 정보의 시차를 정합하는 SR_C 블록들의 그룹과; 상기 SR_C 블록에서 출력되는 디스페리티 비교 정보를 영상으로 변환시키기 위한 DISPARITY_ENCODER 블록을 포함하여 구성되는 것을 특징으로 한다.

본 발명의 실시예에서, 상기 DISPARITY_ENCODER 블록은, 깊이(depth)가 가장 큰 SR_C를 최상위 비트로 하여 만든 튜플(tuple)에서, 유효한 최상위 비트의 위치가 순차적으로 감소하고 유효한 최상위 비트가 1이며 그 위치 이하의 비트는 모두 0인 것을 입력으로 할 때, 최상위 비트의 위치에 따라 그 값을 순차적으로 출력하는 방식을 가지는 인코더를 특징으로 한다.

이하, 본 발명의 실시예들을 수식과 첨부된 도면을 이용하여 구체적으로 설명한다.

먼저, 양안시(Stereo Vision)을 사용하여 깊이-지도를 생성하는 일반적인 이론을 설명한다.

도 1은 양안시를 이용한 깊이-지도 획득 개념도이다. 이에 도시된 바와 같이, 2개의 카메라를 이용하여 피사체를 촬영하면, 각 카메라에서 촬영된 영상(Left Image와 Right Image)은 2개의 카메라 위치의 디스페리티(disparity)에 따라 상이하게 된다. 이와 같이 상이한 2개의 영상을 하나의 영상으로 표현하기 위해 상기 디스페리티에 상응하는 깊이-지도를 생성한다.

이와 같은 깊이-지도는 다음의 수식 (1)에 근거하여 수평선 상에 놓인 두개의 카메라로부터 얻어진 스테레오 영상에서 디스페리티(disparity)에 대응하여 생성된다.

(1)

전술한 일반적인 깊이-지도 생성 방법은 보통 PC 상에서 소프트웨어로 구현되나, 본 발명에서는 스트리밍 영상을 기준으로 고속의 처리를 위해 하드웨어적으로 구현하려 하며, 따라서 구현을 위한 접근 방법론이 소프트웨어의 그것과는 매우 상이하다. 즉, 깊이-지도 생성을 위한 연산 형태를 분석하여 구조를 산출하고, 이를 반영하여 하드웨어를 구성한다. 단, 후술하는 예시는 용이한 설명을 위해 매칭 윈도우(Matching Window)는 3by3, 디스페리티 범위(Disparity Range)는 8인 것으로 가정한다.

도 2는 양안시에서 얻어진 스트리밍 스테레오 영상 도시도이다. 도 2를 참조하면, 2개의 카메라에서 얻어진 영상을 왼쪽 영상 픽셀 스트림(Left Image pixel stream)과 오른쪽 영상 픽셀 스트림(Right Image pixel stream)이 도시되어 있다.

이와 같은 도 2의 스트리밍 스테레오 영상은 다음의 수식(2)와 같은 표현식을 사용하여 도출된 것이다.

Rm(P) = R P, R P+1, R P+2 . Lm Q = L Q, L Q+1, L Q+2 (2)

단, 0≤P, Q＜W-M 이며, 원소의 개수는 매칭 윈도우의 폭(width)와 같다.

다음으로, 라인 기준 연산 결과 S를 수식(3)과 같이 정의하고, 차이(difference)를 구하는 방식을 SAD(Sum of Absolute Difference)라 가정한다.

(3)

이에 다른 라인 기준 연산 형태는 다음의 표 1과 같은 분석표로 나타낼 수 있다.

표 1. 라인 기준 연산형태 분석표

그러면, 라인기준의 차이 연산결과는 타원형으로 표시된 부분이며, 각 기준 픽셀별 디스페리티 비교대상 그룹들은 사선방향임을 알 수 있다. 또한, 이렇게 얻어진 라인 기준의 디스페리티는 카메라의 수평동기 신호(Horizontal Sync Signal) 의 증가에 따라 다음과 같은 표 2의 형태로 표현될 수 있다.

표 2. 윈도우 기준 연산형태 분석표

상기 표 2에서 각 라인 시작점에서의 동일한 픽셀클럭의 위치(T#)에서 누적값, 즉 연설선으로 표시된 부분을 누적 계산하면 윈도우 기반의 차이 연산결과가 얻어지며, 마찬가지로 사선 방향이 윈도우 기반 디스페리티 비교대상 그룹들이 얻어진다. 픽셀클럭과 수평동기 신호의 증가에 따라 연산값과 비교대상 그룹이 이러한 형태로 표현된 분석표들은, 하드웨어적인 파이프라이닝과 계단형 병렬처리 구조를 구성할 수 있는 근거가 된다.

이제 윈도우 기반 연산결과를 수식 (4)와 같이 표현하자.

(4)

그러면, 윈도우 기반 디스페리티 비교대상 그룹들은 다음의 수식 (5)와 같이 나타낼 수 있으며, 도 3은 이 결과를 도시한 것이다. 여기에서, 매칭윈도우는 3by3, 디스페리티 범위는 8, 입력영상은 VGA(640by480)으로 가정하였다.

(5)

다음으로, 전술한 픽셀클럭과 수평동기 신호의 증가에 따라 연산값과 비교대상 그룹이 이러한 형태로 표현된 분석표들에 따라 깊이-지도를 실시간으로 생성하는 하드웨어 구조, 즉 깊이-지도 생성 장치를 설명한다.

도 4는 본 발명에 따른 깊이-지도 연산 장치 구성도이다.

이에 도시된 바와 같이, 본 발명에 따른 깊이-지도 연산 장치는 디스페리티 범위를 병렬로 구성된 유닛들(UNIT_0 내지 UNIT_D-1)을 통해 연산하고 수식 (5)에 다른 파이프라이닝하여 출력한다.

계단 형태로 구성되어 있는 디스페리티 연산 블록은 픽셀클럭 기준 시차를 두고 출력되는 윈도우 기반 디스페리티 값들의 비교 결과들의 타이밍을 정합하여 디스페리티 범위 전체를 모두 스윕 하는 순간 최종적인 깊이 정보를 출력하게 된다.

도 5는 본 발명에 따른 윈도우 기반 차이 정보 연산 유닛의 세부 구성도이다.

도 5에 따른 연산 유닛은 SAD를 이용하여 차이 정보를 구하고, 여기에서 ABSDIFF, ADD_A, SUB_A, ADD_B, SUB_B 블록은 곱셈이나 나눗셈등의 다른 연산으로 치환될 수 있다. 도 5에 따른 연산 유닛을 구성하는 각 블록은 깊이-지도 연산을 위한 입력 변수에 따라 다음의 표 3과 같은 구체적인 사양을 가질 수 있다.

표 3. 각 블록의 사양과 입력 변수의 관계

이상, 본 발명을 실시예에 근거하여 구체적으로서 설명하였지만, 본 발명은 이러한 실시예에 한정되는 것이 아니라, 후술하는 특허 청구 범위의 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가능한 것은 물론이다.

상기와 같은 구조로 개발된 깊이-지도 생성 장치는 다음과 같은 장점 및/또는 효과가 있다.

첫째, 입력영상의 프레임 레이트(frame rate)가 가변하거나, 높아지더라도 완전히 동일한 속도로 동작할 수 있기 때문에 입력 영상을 위한 카메라가 바뀌어도 적응도 높게 활용 가능하다.

둘째, 기존에는 깊이-지도 생성을 위해서 별도의 PC나 그래픽 프로세서가 필요했으나, 이러한 별도 장비와 비 실간성을 모두 극복하고, 칩 레벨에서 30FPS(Frames Per a Second) 이상의 깊이-지도 생성이 가능해 짐으로써 이동로봇의 네비게이션, 물체 추적, 비주얼 서보잉 등의 실시간 응용에 효과적으로 활용 가능하다.

셋째, 스테레오 비전, 로봇 비전을 위한 전용의 프로세서 설계에 코어(core) 형태로 임베드 될 수 있다.

Claims

스트리밍 스테레오 영상을 처리하여 깊이-지도를 실시간으로 생성하는 장치에 있어서,

스트리밍되는 영상의 픽셀값을 비교하기 위해 상기 픽셀값이 파이프라이닝 처리되도록 하는 시프트 레지스터 블록과;

매칭 윈도우 단위의 차이(Difference) 연산 알고리즘을 수행하는 차이 연산 유닛들로 이루어진 차이 연산 블록으로서, 상기 차이 연산 유닛들의 수는 병렬 처리를 가능하게 하기 위해 디스페리티 범위의 수와 동일하거나 그 이상인 차이 연산 블록과;

상기 차이 연산 유닛들에서 제공되는 차이 결과값을 버퍼링하고 비교하여 디스페리티 (Disparity)를 계산하는 디스페리티 연산 블록과;

상기 각 블록의 동작을 제어하는 제어 블록을 포함하는 것을 특징으로 하는 깊이-지도 생성 장치.
제 1항에 있어서,

입력 영상의 크기, 매칭 윈도우의 크기, 디스페리티 범위, 또는 이들의 조합에 따라 스트리밍 스테레오 영상 처리의 변형 및 확장이 가능한 것을 특징으로 하는 깊이-지도 생성 장치.
제 1항에 있어서,

별도의 클록(Clock)없이 입력 영상의 픽셀 클록(Pixel clock)을 사용하여 동작되고, 상기 픽셀 클록마다 하나의 깊이-지도 영상 픽셀을 생성하는 것을 특징으로 하는 깊이-지도 생성 장치.
제 1 항에 있어서,

상기 차이 연산 블록은,

각 픽셀간의 차이를 비교하는 ABSDIFF 블록과;

라인단위 마스크 연산을 위해 누적 연산하는 ADD_A, REG_A 블록과;

매칭 윈도우의 너비 만큼의 데이터를 버퍼링하는 FIFO_A 블록과;

라인 단위의 차이 연산 결과가 연속적으로 출력되도록 SUB_A의 연산 결과를 REG_A로 귀환 입력(Feedback)시켜 소정 형태의 데이터를 출력하는 SUB_A 블록과;

라인 단위의 차이 연산 결과를 누적 연산하는 ADD_B, FIFO_B 블록과;

매칭 윈도우의 폭 만큼의 데이터를 버퍼링하는 FIFO_C 블록과;

윈도우 단위의 차이 연산 결과가 연속적으로 출력되도록 SUB_B의 연산결과를 FIFO_B로 귀환 입력시켜 소정 형태의 데이터를 출력하는 SUB_B 블록을 포함하여 구성되는 것을 특징으로 하는 깊이-지도 생성 장치.
제 1 항에 있어서,

상기 디스페리티 연산 블록은,

각 유닛의 연산결과값을 순차적으로 비교하기 위해 계단형으로 구성된 CMP 블록들의 그룹과;

비교기에서 순차적으로 출력되는 디스페리티 정보의 시차를 정합하는 SR_C 블록들의 그룹과;

상기 SR_C 블록에서 출력되는 디스페리티 비교 정보를 영상으로 변환시키기 위한 DISPARITY_ENCODER 블록을 포함하여 구성되는 것을 특징으로 하는 깊이-지도 생성 장치.
제 5 항에 있어서,

상기 DISPARITY_ENCODER 블록은,

깊이(depth)가 가장 큰 SR_C를 최상위 비트로 하여 만든 튜플(tuple)에서, 유효한 최상위 비트의 위치가 순차적으로 감소하고 유효한 최상위 비트가 1이며 그 위치 이하의 비트는 모두 0인 것을 입력으로 할 때, 최상위 비트의 위치에 따라 그 값을 순차적으로 출력하는 방식을 가지는 인코더를 특징으로 하는 깊이-지도 생성 장치.