KR100769460B1 - 실시간 스테레오 영상 정합 시스템 - Google Patents

Abstract

본 발명은 비디오 이미지를 입력으로 받아서 스테레오 정합 알고리즘을 통해 입체 영상 정보를 추출하는 실시간 스테레오 영상 정합 시스템에 관한 것이다.

본 발명은 2개의 디지털 영상 센서로부터 입력되는 신호를 픽셀 단위로 동기화하는 신호 동기화수단과; 다수의 프로세싱 장치로 이루어진 프로세싱 장치의 배열로서, 이 배열을 이루는 각각의 프로세싱 장치는 동기화된 픽셀 쌍으로부터 소정의 코스트를 계산하고 계산된 코스트와 상기 각각의 프로세싱 장치에 인접한 2 프로세싱 장치로부터 입력되는 2 코스트 중에서 하나의 코스트를 결정하여 그 결정값을 저장하는 다수의 프로세싱 장치 배열; 및 상기 각각의 프로세싱 장치에 저장된 결정값을 한꺼번에 입력값으로 받아서 바로 이전 클럭의 양안차 값을 선택신호로 사용하여 하나의 입력값을 선택한 후, 그 선택된 값을 바로 이전 클럭의 양안차와 더함으로써, 현재 클럭의 양안차 값을 계산하는 수단을 포함하는 실시간 스테레오 영상 정합 시스템을 제공한다.

본 발명에 의하면, 간단한 구조로 인해 상기 시스템을 반도체 칩으로 구현시 면적과 전력소모량이 현저히 줄어들게 된다.

스테레오 영상 정합 시스템, 입체영상, 반도체칩

Description

실시간 스테레오 영상 정합 시스템 {A REAL-TIME STEREO MATCHING SYSTEM}

도 1은 본 발명에 따른 실시간 스테레오 영상 정합 시스템의 블록도이다.

도 2는 도 1 중 프로세싱 엘리먼트의 상세도이다.

도 3은 도 1 중 후방 프로세서의 상세도이다.

스테레오 정합이란 두 대의 카메라에서 입력되는 두 영상으로부터 입체 영상 정보를 추출하는 방법이다. 즉 한쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지를 찾아내어 두 위치의 차이, 즉 양안차(兩眼差)를 추출하면 카메라에서 그 패턴의 위치까지의 거리 값을 직접 계산할 수 있다.

두 카메라가 나란히 놓여 있으면 이러한 문제는 통상 한쪽 카메라의 특정한 한 수평 스캔 라인과 다른 쪽 카메라의 같은 수직 위치의 한 수평 스캔 라인 만으로 문제를 풀 수 있게 된다. 즉 2차원의 문제가 1차원으로 간략화되어 통상의 컴퓨터로 처리할 수 있게 된다.

그런데 실시간으로 입력되는 영상을 처리하기 위해서는 많은 계산량으로 인해 전용 하드웨어를 설계하여 처리해야 하지만, 하드웨어의 병렬 구조를 효율적으 로 이용할 수 있는 방법은 매우 제한적이다. 공지된 방법 중 한국특허등록 제0374784호에 기술되어 있는 방법은 상대적으로 적은 면적으로 설계 가능한 칩으로 고해상도의 화면을 처리해서 높은 정도의 거리정보를 얻을 수 있는 효과적인 방법이다. 이와 같이 스테레오 정합을 FPGA(Field Programmable Gate Array)나 반도체 칩 등의 하드웨어로 구현하게 되면 제작단가가 줄어들고 시스템의 크기도 작아지며 전력소모도 줄어들어서 기존의 산업용 분야 외에도 게임, 로봇 등에 이용이 가능해 진다.

그런데, 전술한 공지문헌에 기술되어 있는 실시간 스테레오 영상 정합 칩의 하드웨어 구성을 살펴보면, 상기 영상 칩은 프로세싱 엘리먼트의 배열 구조로 되어있고, 각각의 프로세싱 엘리먼트는, 전방 프로세서, 결정 스택, 후방 프로세서의 세 요소로 구성되어 있다. 즉 후방 프로세서가 각 프로세싱 엘리먼트에 한 개씩 배치되어 영상 시스템이 N개의 프로세싱 엘리먼트로 이루어져 있다면 후방 프로세서도 총 N개가 포함되게 된다.

이 구조에서는 N개의 후방 프로세서가 동시에 작동되지만, 매 클럭마다 활성 비트가 활성화된 후방 프로세서는 1개이며, 이 1개 후방 프로세서의 출력만이 최종 양안차 값이 되고 나머지 후방 프로세서의 출력은 버려지게 되어, 영상 시스템의 구조가 복잡해지고 면적이 과대해질 뿐 아니라, 전력소모도 많아지는 문제점이 있다.

전술한 공지기술의 문제점을 해결하기 위한 본 발명의 주목적은, 각 프로세싱 엘리먼트 내부에 배치되는 다수의 후방 프로세서를 제거하는 대신, 전체 시스템에서 1개의 후방 프로세서만으로도 동작할 수 있는 스테레오 영상 정합 시스템을 제공하는 것이다.

또한 본 발명의 다른 목적은, 결정 스택의 구조가 간단해지고 일부분을 비활성화시킬 수도 있어, FPGA 또는 반도체 칩으로 제작할 때, 보다 적은 면적으로 저 전력 소모를 구현할 수 있는 스테레오 영상 정합 시스템을 제공하는 것이다.

전술한 목적을 달성하기 위한 구성으로 본 발명은, 2개의 디지털 영상 센서로부터 입력되는 신호를 픽셀 단위로 동기화하는 신호 동기화수단과; 다수의 프로세싱 장치로 이루어진 프로세싱 장치의 배열로서, 이 배열을 이루는 각각의 프로세싱 장치는 동기화된 픽셀 쌍으로부터 소정의 코스트를 계산하고 계산된 코스트와 상기 각각의 프로세싱 장치에 인접한 2 프로세싱 장치로부터 입력되는 2 코스트 중에서 하나의 코스트를 결정하여 그 결정값을 저장하는 다수의 프로세싱 장치 배열; 및 상기 각각의 프로세싱 장치에 저장된 결정값을 한꺼번에 입력값으로 받아서 바로 이전 클럭의 양안차 값을 선택신호로 사용하여 하나의 입력값을 선택한 후, 그 선택된 값을 바로 이전 클럭의 양안차와 더함으로써, 현재 클럭의 양안차 값을 계산하는 수단을 포함하는 실시간 스테레오 영상 정합 시스템을 제공한다.

이와 같이 본 발명의 시스템은 각각의 프로세싱 장치에 저장된 결정값을 한번에 입력값으로 받아서 현재 클럭의 양안차 값을 계산하는 것을 구성적 특징으로 한다. 따라서 본 발명의 시스템은 종래의 스테레오 영상 정합 시스템과 달리 후방 프로세서를 다수로 배치할 필요가 없이 하나만으로도 가능하므로, 종래에 비해 시스템이 보다 간단해지며, 전력소모가 낮아지게 된다.

또한, 상기 실시간 스테레오 영상 정합 시스템에 있어서, 각각의 프로세싱 장치는 현재 수평 영상라인에 대해서 입력 데이터가 쓰여지는 동작과 이전 수평 영상라인에 대해 쓰여진 데이터가 출력되는 동작이 동시에 일어날 수 있게 하는 듀얼포트 메모리를 포함할 수 있다.

또한, 상기 실시간 스테레오 영상 정합 시스템에 있어서, 상기 듀얼포트 메모리의 어드레스는 매 수평 영상라인이 바뀔 때 마다 증감의 방향이 바뀔 수 있다.

또한, 상기 실시간 스테레오 영상 정합 시스템에 있어서, 상기 듀얼포트 메모리는 서로 다른 읽기 클럭과 쓰기 클럭을 쓰고, 이중 읽기 클럭에는 쓰기 클럭에 입력되는 신호와 다수의 프로세싱 장치 중 하나에 대해서만 켜지는 신호를 논리곱(AND) 연산한 신호를 입력한다.

또한, 상기 실시간 스테레오 영상 정합 시스템에 있어서, 상기 양안차를 계산하는 수단은 계산된 양안차를 저장하는 레지스터를 포함하고, 상기 레지스터의 리셋 신호로 수평동기 신호가 입력되어 수평 영상라인의 첫번째 양안차 출력값이 0에서 시작하는 것을 특징으로 한다.

또한, 상기 실시간 스테레오 영상 정합 시스템에 있어서, 상기 하나의 입력값의 선택은 멀티플렉서에 의해 수행되며, 상기 멀티플렉서는 다수의 단계로 구성되어 그 중 입력에 가까운 하나 또는 다수의 단계가 상기 각각의 프로세싱 장치 가까이에 배치되게 함으로써, 배선 면적이 줄어들 수 있다.

또한, 상기 실시간 스테레오 영상 정합 시스템에 있어서, 다수의 프로세싱 장치의 배열 중에서 하나에 대해서만 켜지는 신호를 제어신호로 하는 삼상태(Tri-state) 버퍼에 상기 듀얼포트 메모리의 데이터 출력 신호를 통과시킨다.

상기 멀티플렉서를 사용하는 방법과 삼상태 버퍼를 사용하는 방법은 하나의 입력값을 선택하는 방법으로써, 상호 대체되어 사용될 수 있다.

본 발명에 따른 실시간 스테레오 영상 정합 시스템을 칩으로 구현하면, 그 구조는 좌우 두 개의 디지털 영상 센서로부터 입력되는 신호를 픽셀단위로 동기화시키는 회로, 전방 프로세서와 결정 스택으로 구성되는 프로세싱 엘리먼트 N개의 배열, 그리고 한 개의 후방 프로세서로 이루어진다.

여기서 전방 프로세서는 같은 수직위치에 있는 좌우 두 영상의 수평라인 중 각 한 픽셀을 입력 받아 소정의 코스트(cost)를 계산하여 정합인지, 좌영상 결손인지, 또는 우영상 결손인지를 결정하고, 결정 스택에는 그 결정값이 하나의 수평 영상라인에 대해서 저장되어 있다.

이전 수평 영상라인의 결정값을 읽는 동작과 현재 수평 영상라인에 대해 계산된 결정값을 쓰는 동작은 동시에 일어나며 매 수평 영상라인이 바뀔 때마다 어드레스의 증감이 반대방향이 된다. 또한 불필요한 읽기 동작을 비활성화시켜서 전력 소모를 줄일 수 있다.

후방 프로세서는 N개의 결정 스택으로부터 결정값을 한꺼번에 입력 받아서 최종 양안차 값을 출력하며 양안차 값으로부터 결정 스택의 읽기 동작을 비활성화시키는 제어신호를 생성한다.

이하, 본 발명의 바람직한 실시예를 통해 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명에 따른 실시간 스테레오 영상 정합 시스템의 블록도이다. 도 1에서와 같이 좌측 영상은 좌측 영상 레지스터(10)에, 우측 영상은 우측 영상 레지스터(11)에 임시로 저장되며, 알고리즘의 특성에 의해 우측 영상 레지스터의 출력은 좌측 영상 레지스터의 출력에 비해 N-1클럭 만큼 지연된다. 클럭 제어부(13)는 외부에서 클럭을 입력 받아서 위상이 서로 180도 차이가 나는 2분주된 두 클럭 Clko와 Clke를 출력한다. 이 중 Clko는 짝수번째의 프로세싱 엘리먼트의 클럭으로, Clke는 홀수번째의 프로세싱 엘리먼트의 클럭으로 입력된다.

프로세싱 엘리먼트(14)는 N개가 배열 구조로 되어 있으며 이때 최종 양안차는 0에서 N-1까지의 값 중 하나로 출력된다. 각 프로세싱 엘리먼트에서 좌측 영상은 바로 앞의 프로세싱 엘리먼트로, 우측 영상은 바로 뒤의 프로세싱 엘리먼트로 쉬프트시킨다. 또한 각 프로세싱 엘리먼트는 자신의 누적된 코스트 출력인 Uout을 앞 및 뒤의 프로세싱 엘리먼트로 전달한다.

영상센서의 수평동기신호 HSYNC는 수평동기신호 레지스터(12)를 통해 일반적으로 우측 영상이 우측 영상 레지스터에서의 지연되는 클럭 만큼 지연된다. 그러나 하드웨어의 구현 방법에 따라 더 지연될 수도 있다.

어드레스 생성기(15)는 이 지연된 HSYNC와 클럭을 입력 받아서 픽셀 어드레스 Aout을 생성한다. 이때 픽셀 어드레스의 값은 하나의 수평 영상 라인이 W개의 픽셀로 이루어져 있는 경우 일반적으로 0에서 2W-1까지의 값을 가지며 매 클럭마다 1씩 증가 또는 감소한다. 어드레스 생성기(15)는 또한 현재의 수평 영상라인이 짝수 번째 라인인 경우와 홀수 번째 라인인 경우를 구별하는 0 또는 1의 값을 갖는 U/D를 출력한다. 이 U/D 신호는 결정 스택으로 입력되어 어드레스를 증가(Up)시킬지 감소(Down)시킬지를 제어하는 데 쓰인다.

후방 프로세서(16)는 N개의 프로세싱 엘리먼트로부터 각각 Dout을 입력 받고 최종 양안차 Dout을 계산해서 출력하는 동시에 N개의 읽기제어신호 REn을 생성하여 각 프로세싱 엘리먼트로 전달한다.

도 2는 도 1 중 프로세싱 엘리먼트의 상세도이다.

도 2에서 전방 프로세서(17)는 Lin을 Lout으로 Rin을 Rout으로 각각 쉬프트시킨다. 그리고 좌측영상 픽셀 값 Lin, 우측영상 픽셀 값 Rin, 이전 클럭의 누적 코스트 Uout으로부터 새로운 정합 코스트 Um, 바로 앞 프로세싱 엘리먼트의 이전 클럭의 누적 코스트 Uin1으로부터 좌영상 결손 코스트 Ul, 바로 뒤 프로세싱 엘리먼트의 이전 클럭의 누적 코스트 Uin2로부터 우영상 결손 코스트 Ur을 계산한 후 Um, Ul, Ur 중 가장 작은 값을 새로운 Uout으로 출력한다. 그리고 Um, Ul, Ur이 각각 선택될 때 결정값 Dfout은 0, -1, 1이 각각 출력된다.

도 2에서 결정 스택(18)은 전방 프로세서로부터 결정값을 입력받아서 듀얼포트 메모리(21)에 저장하는 역할과 저장된 결정값을 출력하는 역할을 동시에 한다. 이때 듀얼포트 메모리는 2W개의 결정값을 저장할 수 있는 용량의 저장장치를 가지며 하나의 결정값은 2bit로 표현 가능하므로 총 4Wbit의 용량이 된다. 듀얼포트 메모리의 어드레스 입력 Addr은 어드레스 생성기(15)에서부터 입력되는 Ain과 2M-1- Ain 중에서 하나의 값이 된다.

이를 위해 멀티플렉서(19)가 U/D를 선택신호로 하여 Ain과 뺄셈기(20)을 거친 값 중 하나를 선택한다. 듀얼포트 메모리의 데이터 입력인 Min에는 전방 프로세서의 결정값 출력인 Dfout이 연결되며, 데이터 출력인 Mout은 이전 수평 영상라인의 결정값으로서 후방 프로세서(16)로 연결된다. 이렇게 구성하면 상기에 기술한 바와 같이 U/D 신호는 매 수평 영상라인마다 바뀌므로 듀얼포트 메모리의 어드레스는 0에서 1씩 증가하여 2W-1까지의 값이 되는 경우와 2W-1에서 1씩 감소하여 0까지의 값이 되는 경우가 교대로 반복된다. 따라서 Mout으로 출력되는 값의 순서는 Min으로 입력된 값이 저장되는 순서와 반대가 되어서 본래의 스테레오 영상 정합 알고리즘에 부합하게 된다.

듀얼포트 메모리(22)를 구현하는 방법은 1개의 공통된 읽기/쓰기 클럭을 쓰는 방법과 읽기 클럭과 쓰기 클럭을 따로 쓰는 방법이 있다. 그 중 도 2에 나타낸 것은 후자의 경우이며 읽기 클럭에 게이티드 클럭(Gated Clock)을 적용하여 회로의 활성도를 낮춰서 전력소모를 줄일 수 있다. 즉 클럭과 읽기제어 신호 REn을 앤드게이트(22)에 통과시켜서 ClkR로 입력시키면 듀얼포트 메모리의 읽기 동작은 REn이 1일 때만 활성화된다. REn은 후방 프로세서에서부터 입력되며 최종 양안차 값이 D이면 D번째 프로세싱 엘리먼트의 REn만 1이 된다.

도 3은 도 1 중 후방 프로세서(16)의 상세도이다.

후방 프로세서(16)는 N개의 프로세싱 엘리먼트로부터 각각 결정값 Din을 입력 받아서 양안차를 계산하여 출력한다. 이 N개의 결정값은 바로 이전 클럭의 양안차 값을 선택신호로 하는 멀티플렉서(23)를 통과하여 1개만이 선택된다. 이 멀티플렉서는 2 이상의 단계로 구성할 수 있으며 입력 쪽 단계를 프로세싱 엘리먼트에 가까이 위치시키면 N개의 Din 신호를 짧게 배선할 수 있어서 배선 면적을 줄일 수 있다.

또 다른 구현 방법으로 듀얼포트 메모리(21)의 Mout에 REn을 제어신호로 하는 삼상태(Tri-state) 버퍼를 달고 N개의 Dout 신호대신 1개의 공통 Dout 신호를 쓰면 멀티플렉서(23)을 대신할 수 있으며 배선 면적도 줄어든다.

멀티플렉서에 의해 선택된 결정값과 이전 클럭의 양안차 값을 덧셈기(24)를 통해 더하면 이전 클럭의 양안차 값과 같거나, 1이 작거나, 1이 많은 새로운 양안차 값이 계산되어 출력된다. 계산된 양안차 값은 다음 클럭에서 사용되기 위해 양안차 레지스터(26)에 저장된다. 이 과정이 2W 클럭 동안 반복되면 하나의 수평 영상라인에 대한 양안차 값이 출력된다. 한 수평 영상라인의 첫번째 클럭에서는 양안차 값은 0이 되어야 하는데 이를 위해 Hsync 신호가 양안차 레지스터의 리셋 신호인 Rst의 입력이 된다.

양안차 값은 또한 디코더(25)를 통과하여 N개의 REn 신호를 생성하며 각 프로세싱 엘리먼트로 입력된다. 디코더의 동작에 의해 N개의 REn 신호중 1개만 1이 되며 나머지는 모두 0이 된다. 이는 현재 양안차 값이 D라고 하면 필요한 D번째의 프로세싱 엘리먼트의 Dout 값만 가져오기 위한 것이다. 듀얼포트 메모리(21)가 한 개의 공통된 읽기/쓰기 클럭을 쓰는 구조이고 Mout에 삼상태 버퍼를 달지 않는다면 REn 신호는 필요하지 않으므로 이 디코더는 쓰지 않아도 된다.

본 발명의 실시간 스테레오 영상 정합 시스템에 따른 구조로 하드웨어 예컨대 칩을 구현하면, 칩의 제작단가가 줄어들어서 보다 저가격의 시스템을 구성할 수 있을 뿐 아니라, 칩의 전력 소모가 줄어서 휴대용 기기에의 적용이 매우 용이하게 된다.

Claims (7)

1. 2개의 디지털 영상 센서로부터 입력되는 신호를 픽셀 단위로 동기화하는 신호 동기화수단과;

   다수의 프로세싱 장치로 이루어진 프로세싱 장치의 배열로서, 이 배열을 이루는 각각의 프로세싱 장치는 동기화된 픽셀 쌍으로부터 소정의 코스트를 계산하고 계산된 코스트와 상기 각각의 프로세싱 장치에 인접한 2 프로세싱 장치로부터 입력되는 2 코스트 중에서 하나의 코스트를 결정하여 그 결정값을 저장하는 다수의 프로세싱 장치 배열(14); 및

   상기 각각의 프로세싱 장치에 저장된 결정값을 한꺼번에 입력값으로 받아서 바로 이전 클럭의 양안차 값을 선택신호로 사용하여 하나의 입력값을 선택한 후, 그 선택된 값을 바로 이전 클럭의 양안차와 더함으로써, 현재 클럭의 양안차 값을 계산하는 후방프로세서(16)를 포함하여, 상기 후방프로세서의 구조가 단순화된 것을 특징으로 하는 실시간 스테레오 영상 정합 시스템.
2. 제 1 항에 있어서, 상기 각각의 프로세싱 장치는 현재 수평 영상라인에 대해서 입력 데이터가 쓰여지는 동작과 이전 수평 영상라인에 대해 쓰여진 데이터가 출력되는 동작이 동시에 일어날 수 있게 하는 듀얼포트 메모리를 포함하는 것을 특징으로 하는 실시간 스테레오 영상 정합 시스템.
3. 제 2 항에 있어서, 상기 듀얼포트 메모리의 어드레스는 매 수평 영상라인이 바뀔 때 마다 증감의 방향이 바뀌는 것을 특징으로 하는 실시간 스테레오 영상 정합 시스템.
4. 제 2 항 또는 제 3 항에 있어서, 상기 듀얼포트 메모리는 서로 다른 읽기 클럭과 쓰기 클럭을 쓰고, 이중 읽기 클럭에는 쓰기 클럭에 입력되는 신호와 다수의 프로세싱 장치 중 하나에 대해서만 켜지는 신호를 논리곱(AND) 연산한 신호를 입력하는 것을 특징으로 하는 실시간 스테레오 영상 정합 시스템.
5. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 양안차를 계산하는 수단은 계산된 양안차를 저장하는 레지스터를 포함하고, 상기 레지스터의 리셋 신호로 수평동기 신호가 입력되어 수평 영상라인의 첫번째 양안차 출력값이 0에서 시작하는 것을 특징으로 하는 실시간 스테레오 영상 정합 시스템.
6. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 하나의 입력값의 선택은 멀티플렉서에 의해 수행되며, 상기 멀티플렉서는 다수의 단계로 구성되어 그 중 입력에 가까운 하나 또는 다수의 단계가 상기 각각의 프로세싱 장치 가까이에 배치됨으로써, 배선 면적이 줄어드는 것을 특징으로 하는 실시간 스테레오 영상 정합 시스템.
7. 제 2 항 또는 제 3 항에 있어서, 상기 다수의 프로세싱 장치의 배열 중에서 하나의 프로세싱 장치에 대해서만 켜지는 신호를 제어신호로 하는 삼상태(Tri-state) 버퍼에 상기 듀얼포트 메모리의 데이터 출력 신호를 통과시키는 것을 특징으로 하는 실시간 스테레오 영상 정합 시스템.

Images