KR100503820B1 - 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법 - Google Patents

시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법 Download PDF

Info

Publication number
KR100503820B1
KR100503820B1 KR10-2003-0006102A KR20030006102A KR100503820B1 KR 100503820 B1 KR100503820 B1 KR 100503820B1 KR 20030006102 A KR20030006102 A KR 20030006102A KR 100503820 B1 KR100503820 B1 KR 100503820B1
Authority
KR
South Korea
Prior art keywords
image
value
cost
real
output
Prior art date
Application number
KR10-2003-0006102A
Other languages
English (en)
Other versions
KR20040069623A (ko
Inventor
정홍
박성찬
Original Assignee
학교법인 포항공과대학교
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인 포항공과대학교 filed Critical 학교법인 포항공과대학교
Priority to KR10-2003-0006102A priority Critical patent/KR100503820B1/ko
Priority to US10/761,193 priority patent/US7545974B2/en
Priority to EP04001716A priority patent/EP1445964A2/en
Priority to JP2004019493A priority patent/JP2004234660A/ja
Publication of KR20040069623A publication Critical patent/KR20040069623A/ko
Application granted granted Critical
Publication of KR100503820B1 publication Critical patent/KR100503820B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상 정합 시스템 및 방법에 관한 것으로, 한 영상의 한 스캔라인에 대해 다른 쪽 영상의 여러 스캔라인 속에서 실시간으로 대응점을 찾아내어 공간상의 물체의 위치 및 형태를 알아내는 계측 시스템으로서, 영상을 획득하는 좌측 카메라 및 우측 카메라와, 좌측 및 우측 카메라의 디지털 영상 신호를 임시 저장하거나 아날로그 영상 신호를 디지털 변환 및 저장하여 각각 출력하는 영상 처리부와, 영상 처리부로부터 한쪽 영상의 한 스캔 라인 픽셀 데이터를 순차적으로 입력받고 반대쪽 영상의 상하 동시에 여러 스캔 라인들의 픽셀 데이터를 입력받아서 연산하여 3차원 거리를 나타내는 양안차 값을 출력하는 멀티레이어 영상 정합부와, 3차원 측정거리 값을 디스플레이하는 사용자 시스템을 포함하며, 정밀한 조정장치가 필요 없이 두 카메라를 간단히 고정하고, 카메라 위치나 방향의 오조정이나 카메라 렌즈의 디스톨션 영향도 적게 받게 하여 관측 공간의 3차원 거리 정보와 형태 정보를 측정할 수 있으므로, 제작 비용이 감소될 뿐만 아니라 시스템의 크기가 작아져 소형 장치로서 여러 응용 부분에 적용될 수 있는 이점이 있다.

Description

시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상 정합 시스템 및 방법{A MULTILAYERED REAL-TIME STEREO MATCHING SYSTEM USING THE SYSTOLIC ARRAY AND METHOD THEREOF}
본 발명은 실시간 입체 영상 정합 시스템에 관한 것으로, 더욱 상세하게는 한 영상의 한 스캔라인에 대해 다른 쪽 영상의 여러 스캔라인 속에서 실시간으로 대응점을 찾아내어 공간상의 물체의 위치 및 형태를 알아내는 계측 시스템으로서 카메라 위치나 방향의 오조정이나 카메라의 렌즈의 디스톨션의 영향에 적게 받는 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상 정합 시스템 및 방법에 관한 것이다.
일반적으로, 실시간 입체 영상 처리 시스템은 스테레오 정합(Stereo Matching)이 중심이 되는 프로세서를 채용한다. 이때, 한 쌍의 2차원 이미지로부터 3차원의 공간정보를 재창출하는 과정을 스테레오 정합(stereo matching)이라 한다. 실시간 입체 영상 정합 시스템은 좌우측 카메라의 광축이 평행한 두 영상의 스캔라인과 에피폴라 라인이 일치할 때 각각의 좌우측 라인에서 3차원 공간상에 같은 위치에 대응되는 좌우 픽셀을 찾아내는 방법을 사용한다.
상기 프로세서를 채용한 종래의 기술로는 연구 논문[Uemsh R. Dhond and J.K.Aggarwal. Structure from Stereo - a review. IEEE Transactions on Systems, Man, and Cybernetics, 19(6):553-572, nov/dec 1989]를 보면 스테레오 정합에 대한 기본적인 사항이 기술되어 있다. 또한, 이를 구현한 스테레오 정합 기술은 한국공개특허공보 제2002-007894호(한국특허출원 제2000-041424호)의 실시간 입체 영상 정합 시스템에 제시되어 있다.
동호에 제시된 실시간 입체 영상 정합 시스템은, 동일한 광학 특성을 가진 한 쌍의 카메라를 포함하며, 한 쌍의 카메라가 동일한 공간 영역을 비추면, 카메라 각각의 수평 이미지 스캔 라인들에 서로 유사한 공간 영역이 선택되기 때문에, 스캔라인들의 픽셀(pixel) 쌍들이 3차원 공간의 각각의 점들에 대응되는 것과 같이, 한 이미지에서의 픽셀들을 나머지 다른 이미지에서의 픽셀들로 정합(matching)시킨다.
상기의 픽셀간의 대응정보와 간단한 기하학적 특성들을 이용하여 한 쌍의 카메라로부터 3차원 공간내의 한 점까지의 거리를 알아낼 수 있다. 여기서, 하나의 카메라에서 선택된 이미지에서 소정 픽셀의 위치와, 나머지 카메라에서 선택된 이미지에 대응되는 소정 픽셀과의 차이를 양안차(Disparity)라 하고, 이러한 양안차로부터 계산된 기하학적 특성을 깊이(Depth)라고 한다. 즉, 3차원은 거리 정보를 포함한다. 따라서, 입력 영상으로부터 실시간으로 3차원값을 계산하면 관측 공간의 3차원 거리 정보와 형태 정보를 측정할 수 있다.
즉, 동일한 광학 특성을 가진 한 쌍의 카메라가 동일한 공간 영역을 비추면 좌우측 각각의 수평 이미지 스캔 라인들이 유사한 공간 영역을 취하기 때문에 각각 픽셀(pixel) 쌍들이 동일한 3차원 공간의 점들에 대응되는 것과 같이, 한 이미지에서의 픽셀들을 나머지 다른 이미지에서의 픽셀들로 매칭함으로써 간단한 기하학적 특성들을 이용하여 카메라로부터 그 점의 거리를 알아낼 수 있다.
한쪽 이미지에서 어느 한 픽셀의 위치와 다른 이미지의 대응되는 픽셀 위치간의 차이를 양안차(Disparity)라 하고 그로부터 계산된 기하학적 특성이 깊이(Depth)이다. 즉, 양안차가 거리 정보를 나타낸다고 볼 수 있는 것이다.
그러나, 위와 같은 조건에 있도록 하기 위해선 카메라의 내부 인자, 즉 촛점거리가 일치해야 하며 렌즈의 디스톨션이 작아야 되고, 정밀한 광학 장비에 의해 두 카메라를 원하는 위치에 정확히 위치 시켜야 한다. 이는 곧 정밀한 카메라와 장비를 필요로 하므로 장치 제작비용이 많이 소요되는 문제점이 있다.
한편, 이러한 실시간 입체 영상 정합 시스템은 산업분야에서는 로봇의 시각 기능을 하며, 무인자동차에서 도로를 인식하게 되고, 인공위성을 이용해 3차원 지도 제작에 쓰일 수 있으며, 가전 분야에선 완구 로봇의 시각장치 등등에 사용될 수 있다.
하지만, 종래 기술의 입체 영상 복원 시스템은 복잡한 3차원 복원 시스템을 ASIC으로 저렴하게 제작하더라도 위에서 언급했듯이 장치 제작 비용이 많이 들므로 전체 제품의 비용을 낮추는데는 한계가 있다. 또한 사이즈가 큰 정밀한 조정장치에 의해 시스템의 크기도 많이 커지게 되므로 저비용과 소형장치로 가는 길이 요원한 문제점이 있다.
본 발명은 이와 같은 종래의 문제점을 해결하기 위하여 제안한 것으로, 정밀한 조정장치가 필요 없이 두 카메라를 간단히 고정하고, 카메라 위치나 방향의 오조정이나 카메라 렌즈의 디스톨션 영향도 적게 받게 하여 관측 공간의 3차원 거리 정보와 형태 정보를 측정할 수 있는 멀티레이어 실시간 입체 영상 정합 시스템 및 방법을 제공하는 데 그 목적이 있다.
이와 같은 목적을 실현하기 위한 본 발명의 한 견지로서 실시간 입체 영상 정합 시스템은, 한 영상의 한 스캔라인에 대해 다른 쪽 영상의 여러 스캔라인 속에서 실시간으로 대응점을 찾아내어 공간상의 물체의 위치 및 형태를 알아내는 계측 시스템에 있어서, 상기 영상을 획득하는 좌측 카메라 및 우측 카메라와, 상기 좌측 및 우측 카메라의 디지털 영상 신호를 임시 저장하거나 아날로그 영상 신호를 디지털 변환 및 저장하여 각각 출력하는 영상 처리부와, 상기 영상 처리부로부터 한쪽 영상의 한 스캔 라인 픽셀 데이터를 순차적으로 입력받고 반대쪽 영상의 상하 동시에 여러 스캔 라인들의 픽셀 데이터를 입력받아서 연산하여 3차원 값을 출력하는 멀티레이어 영상 정합부와, 상기 3차원으로 계측된 거리 영상을 디스플레이하는 사용자 시스템을 포함한다.
본 발명의 다른 견지로서 실시간 입체 영상 정합 방법은, 공간 영역에 대해 서로 다른 방향에서 획득된 두 영상으로부터 한쪽 영상에서의 픽셀들을 다른 쪽 영상에서의 픽셀들로 정합시키는 실시간 입체 영상 정합 방법에 있어서, 한쪽 영상의 한 스캔라인 픽셀 데이터에 대해 다른 쪽 영상의 여러 스캔라인들의 픽셀 데이터 속에서 실시간으로 대응점을 찾아내는 것을 특징으로 한다.
본 발명의 실시예로는 다수개가 존재할 수 있으며, 이하에서는 첨부한 도면을 참조하여 바람직한 실시예에 대하여 상세히 설명하기로 한다. 이 실시예를 통해 본 발명의 목적, 특징 및 이점들을 보다 잘 이해할 수 있게 된다.
본 발명에 따른 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상 정합 시스템은, 한 쌍의 비디오 카메라로부터 나오는 비디오 영상을 고속 병렬로 처리하여 공간상의 모든 물체의 위치를 계산해 3차원으로 복원하는 것으로 ASIC 기반의 칩 개발 기술로서 칩에 최적화된 알고리즘을 개발하여 저전력 저가의 소형 장치를 구현하기 위해 원칩화하였다. 이러한 장점으로 인식분야에 중요기능을 할 수 있다.
아울러, 미스캘리브레이션 문제를 칩 내부에서 실시간 처리하는 새로운 아키텍쳐와 알고리즘을 제시한다. 이에 따라 정밀한 조정장치 필요 없이 두 카메라를 간단한 고정하고, 카메라 위치나 방향의 오조정이나 카메라 렌즈의 디스톨션의 영향도 적게 받게 된다. 따라서 제작 비용이 감소될 뿐만 아니라 시스템의 크기가 작아져 소형 장치로서 여러 응용 부분에 적용될 수 있다.
종래의 입체 영상 방법은 좌우측 영상의 각각의 하나씩의 스캔라인에 대해 3차원 공간상에 대응되는 픽셀쌍을 찾아내는데, 본 발명은 한 영상의 한 스캔라인에 대해 다른 쪽 영상의 여러 스캔라인 속에서 실시간으로 대응점을 찾아내는 우수한 새로운 기능을 가지므로, 실제 영상에서 에피폴라 라인이 정확히 스캔라인 상에 있지 않아도, 근처에만 있으면 대응점을 찾아 낼 수 있고, 렌즈의 오차율이나 카메라 간의 내부 파라미터가 정확히 일치하지 않아서 스캔라인 상에 대응점이 있지 않는 문제 역시 해결할 수 있는 것이다. 이를 위해 한 라인의 대응점을 찾기 위해 동시에 스캔하는 반대쪽 영상의 스캔라인 수만큼 레이어가 필요하다. 새로운 구조인 레이어는 여러 개의 프로세싱 엘리먼트로 이루어져 있는데 스캔라인들 사이에서 최적의 대응점을 찾아내기 위해 이웃한 레이어 간에 유기적으로 신호를 주고받는다.
본 발명에 따른 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상 정합 시스템은 도 1의 구성도에 나타낸 바와 같이, 영상을 획득하는 좌측 카메라(1000) 및 우측 카메라(2000)와, 좌측 및 우측 카메라(1000, 2000)의 디지털 영상 신호를 임시 저장하거나 아날로그 영상 신호를 디지털 변환 및 저장하여 각각 출력하는 영상 처리부(3000)와, 영상 처리부(3000)에서 출력되는 좌측 및 우측 디지털 영상으로부터 결정값을 계산하여 3차원값을 출력하는 멀티레이어 영상 정합부(MSMC ; Multilayered Stereo Matching Chip)(4000)와, 상기 양안차에 의한 거리 영상을 디스플레이하는 사용자 시스템(5000)으로 구성된다.
멀티레이어 영상 정합부(4000)는 도 2에 나타낸 바와 같이, 다수의 레이어(4100/k-1, 4100/k, 4100/k+1)와, 각각의 레이어(4100/k-1, 4100/k, 4100/k+1)로부터 출력된 데이터를 누적하여 양안차값을 출력하는 누산기(accumulator)(4200)로 구성된다. 레이어(4100/k-1, 4100/k, 4100/k+1)의 상단 또는 하단에서 좌우측 영상 중 하나의 스캔라인이 입력되고, 반대쪽 끝 쪽에는 다른 쪽 영상의 스캔라인들이 하나씩 각각 입력된다. 따라서 하나의 스캔라인에서 이에 대응되는 픽셀을 다른 쪽 영상의 스캔라인들 속에서 찾을 때 얼마나 많은 라인들 안에서 찾을 것인가는 레이어(4100/k-1, 4100/k, 4100/k+1)의 수에 따라서 달라지는 것이다. 이웃한 레이어(4100/k-1, 4100/k, 4100/k+1) 간에는 코스트 값(U)과 액티브 신호(a)를 서로 주고받는다. 각각의 레이어(4100/k-1, 4100/k, 4100/k+1)로부터 출력된 데이터는 누산기(4200)로 누적되어 최종적으로 양안차값이 출력된다.
임의의 k번째 레이어(4100/k)는 도 3에 나타낸 바와 같이, 각각 N/2개로 구성되어 영상 처리부(3000)의 디지털 좌측 및 우측 영상 신호를 각기 저장하는 좌측 및 우측 영상 레지스터(4110/n, 4110/n+1, 4120/n, 4120/n+1)와, 클럭 신호에 의해 좌측 및 우측 영상 레지스터(4110/n, 4110/n+1, 4120/n, 4120/n+1)의 픽셀값으로부터의 결정값을 계산하여 양안차값을 출력하는 각각 N개의 전방 프로세서(forward processor)(4130/j-1, 4130/j, 4130/j+1, 4130/j+2), 스택(stack)(4140/j-1, 4140/j, 4140/j+1, 4140/j+2), 후방 프로세서(backward processor)(4150/j-1, 4150/j, 4150/j+1, 4150/j+2)로 구성된다.
임의의 k번째 레이어(4100/k)의 임의의 j 번째 전방 프로세서(4130/j)는 도 4에 나타낸 바와 같이, 재귀되는 제 2 코스트 레지스터(4136)의 출력을 입력으로 받고 다른 쪽 k-1 레이어(4100/k-1)와 k+1 레이어(4100/k+1)로부터 코스트값을 입력받아 최소값을 결정하는 제 1 멀티플렉서(4131), 출력되는 최소값을 저장하는 제 1 코스트 레지스터(4132), k 번째 레이어(4100/k)에서 n 번째 좌우측 영상 레지스터(4110/n, 4120/n)의 픽셀 차로 정합 코스트를 계산하는 절대값 계산기(4133), 절대값 계산기(4133)에서 계산된 정합 코스트를 제 1 코스트 레지스터(4132)의 출력값에 가산하는 제 1 가산기(4134), 제 1 가산기(4134)의 출력과 동일 레이어상의 j-1번째 전방 프로세서(4130/j-1)와 j+1번째 전방 프로세서(4130/j+1)의 코스트들을 입력으로 3개의 코스트들 중 가장 작은 코스트를 출력하는 제 2 멀티플렉서(4135), 제 2 멀티플렉서(4135)가 출력하는 최소값을 저장하는 제 2 코스트 레지스터(4136), 제 2 코스트 레지스터(4136)에 저장된 코스트와 오클루션 정보를 가산하여 동일 레이어상의 이웃한 전방 프로세서(4130/j-1, 4130/j+1)로 출력하는 제 2 가산기(4137)를 포함하여 구성된다.
임의의 k 번째 레이어(4100/k)의 임의의 j 번째 후방 프로세서(4150/j)는 도 5에 나타낸 바와 같이, 이웃한 k-1, k+1 번째 레이어(4100/k-1, 4100/k+1)의 j 번째 후방 프로세서의 활성화 신호와 k 번째 레이어(4100/k)의 이웃한 j+1, j-1 번째 후방 프로세서(4150/j+1, 4150/j-1)의 활성화 신호와 k 번째 레이어(4100/k)의 j 번째 후방 프로세서(4150/j)의 디멀티플렉서(4153)의 출력으로부터 재귀되는 활성화신호를 입력받는 오아 게이트(or gate)(4151), 오아 게이트(4151)의 출력값을 저장하는 1비트 활성 레지스터(4152), 활성 레지스터(4152)로부터 입력받은 데이터를 스택(4140)으로부터 입력되는 결정값(V)에 따라 출력하는 디멀티플렉서(4153), 결정값(V)을 활성 레지스터(4152)의 출력에 따라 출력하는 3상태 버퍼(4154)를 포함하여 구성된다. 여기서 3상태 레지스터(4154)는 입력값이 "1"일 때 그 입력값을 그대로 출력하고 그 이외의 경우에는 하이 임피던스 상태가 되어 어느 것도 출력하지 않도록 구성한다.
이와 같이 구성된 본 발명에 따른 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상 정합 시스템에 의한 실시간 입체 영상 정합 방법을 도 1 내지 도 5를 참조하여 상세히 설명하기로 한다.
먼저, 좌측 카메라(1000) 및 우측 카메라(2000)로 물체의 영상을 얻으면 영상 처리부(3000)가 영상 처리를 하여 디지털로 변환한 좌측 영상과 우측 영상정보를 영상 정합부(4000)로 출력하게 된다.
영상 정합부(4000)는 한쪽 영상의 한 스캔 라인 픽셀 데이터를 순차적으로 입력받고 반대쪽 영상의 상하 동시에 여러 스캔 라인들의 픽셀 데이터를 입력받아서 연산하여 양안차 값을 계산하며 사용자 시스템(5000)으로 출력하게 되는데, 양안차를 출력하는 과정은 한 쌍의 영상의 모든 스캔 라인에 대하여 반복적으로 수행하게 된다.
영상 정합부(4000)가 좌우 스캔 라인을 처리하는 과정에 대하여 상세히 설명하면 다음과 같다.
영상 레지스터(4110, 4120)는 영상 처리부(3000)에서 디지털 변환된 우측 영상과 좌측 영상의 스캔 라인들의 픽셀 데이터를 동시에 입력받아 전방 프로세서(4130)에 출력하게 된다.
전방 프로세서(4130)는 영상 레지스터(4110, 4120)로부터 동시에 영상을 입력받는다.
각각의 전방 프로세서(4130), 스택(4140), 후방 프로세서(4150)를 묶어서 프로세싱 엘리먼트라 칭한다.
프로세싱 엘리먼트는 지정된 최대 양안차까지 선형 어레이 형태로 복제될 수 있고 각 프로세싱 엘리먼트는 이웃하는 프로세싱 엘리먼트와 정보를 교환할 수 있다. 이 구조는 프로세싱 엘리먼트의 갯수에 제한 없이 최대 속도로 동작할 수 있게 한다.
영상 레지스터(4110, 4120) 및 프로세싱 엘리먼트는 시스템 클럭이 2개로 나뉘어진 내부 클럭(CLKE)(CLKO)에 의해 제어된다. 클럭(CLKE)은 짝수 번째의 시스템 클럭 싸이클에 토글되어 우측 영상을 저장하기 위한 영상 레지스터(4120)에 공급되고 클럭(CLKO)은 홀수 번째의 시스템 클럭 싸이클에 토글되어 좌측 영상을 저장하기 위한 영상 레지스터(4110)에 공급된다.
또한, 프로세싱 엘리먼트 역시 이 신호에 동기 되어 작동하게 된다.
영상 레지스터(4110, 4120)에는 해당하는 매 시스템 클럭마다 영상 데이터가 순차적으로 저장되고 각각 활성화된 프로세싱 엘리먼트의 전방 프로세서(4130)는 좌측 및 우측 영상으로부터 결정값을 계산한다.
프로세싱 엘리먼트의 후방 프로세서(4150)는 스택(4140)으로부터 읽은 결정값을 연산하여 양안차값과 각각의 양안차값에 대응되는 레이어 위치를 계산하여 사용자 시스템(5000)으로 출력한다. 양안차값에 대응되는 레이어 위치는 여러 레이어(4100) 중 활성화된 프로세싱 엘리먼트가 있는 레이어(4100)를 의미하고, 이 정보와 양안차값을 이용하여, 좌우측 영상에서 대응되는 픽셀쌍을 알아낼 수 있다. 양안차 값은 "-1", "0", "+1"과 같이 증감 형태로 출력되거나 실제 양안차 값을 가질 수 있다.
초기에 0번째 프로세싱 엘리먼트는 전방 프로세서(4130)의 코스트 레지스터(4132)값이 "0"으로 되고 후방 프로세서(4150)의 활성 레지스터(4152)값이 "1"로 된다.
반대로, 초기에 다른 프로세싱 엘리먼트는 전방 프로세서(4130)의 코스트 레지스터(4132)값이 가능한 최대치가 되며 후방 프로세서(4150)의 활성 레지스터(4152)값이 "0"이 된다.
전방 프로세서(4130)는 좌/우 영상의 한 쌍의 스캔 라인을 클럭(CLKE)(CLKO)에 의해 처리하여 결정값(,)을 계산하고 그 결정값(,)을 스택(4140)에 저장한다.
후방 프로세서(4150)는 스택(4140)으로부터 읽은 결정값을 연산하여 양안차 값을 계산하고 그 양안차값을 클럭에 의해 출력한다.
전방 프로세서(4130)의 절대값 계산기(4133)는 우측 영상 레지스터(4120)의 픽셀(Rin) 및 좌측 영상 레지스터(4110)의 픽셀(Lin)의 절대값의 차로부터 정합 코스트를 계산하고 제 1 멀티플렉서(4131)는 도 2에서 보듯이 이웃한 레이어(4100)에서 오는 데이터와 전방 프로세서(4130)에서 오는 데이터 중 최소값을 결정해서 제 1 코스트 레지스터(4132)에 저장하고, 제 2 멀티플렉서(4135)는 동일한 레이어(4100)의 인접한 프로세싱 엘리먼트에서 오는 데이터들과 제 1 코스트 레지스터(4132)에 저장된 최소값과 절대값 계산기(4133)의 데이터가 합산된 데이터 사이에서 최소값을 결정한다.
또한, 후방 프로세서(4150)는 스택(4140)으로부터 읽어 들인 결정값(,)을 연산하여 최적의 양안차를 계산하는 동작을 수행한다.
후방 프로세서(4150)의 오아게이트(4151)는 동일 레이어 상의 인접한 프로세싱 엘리먼트로부터 입력되는 활성 비트 경로(, )와 인접한 레이어로부터 입력되는 활성 비트 경로(,)와 피드백된 활성 비트 경로()를 논리합하여 활성 레지스터(4152)로 출력한다.
디멀티플렉서(4153)의 출력 신호들은 스택(4140)으로부터 읽은 결정값(,)에 따라 출력 신호들 중에 선택된 신호가 활성 비트와 동일한 값을 가진다.
3상태 버퍼(4154)는 활성 레지스터(4152)에서의 활성 비트가 하이 상태이면 결정값(,)을 그대로 출력한다. 만일, 활성 레지스터(4152)에서의 활성 비트가 로우 상태이면 3상태 버퍼(4154)의 출력 신호는 하이 임피던스 상태가 되어 다른 프로세싱 엘리먼트에 구비된 다른 후방 프로세서(4150)의 출력을 방해하지 않도록 된다. 그리고, 결정값 대신에 양안차값을 출력할 수 있다.
이하 각 픽셀의 정합 과정을 위한 하드웨어 동작을 설명하면 다음과 같다. 아래는 좌측 영상 m 번째 스캔라인에 대해서 우측 영상의 여러 스캔라인 상의 대응점을 찾아서 양안차를 계산해 낸다.
: k 번째 레이어(4100/k)의 j번째 프로세싱 엘리먼트의 t번째 클럭에서의 전방 프로세서(4130/j)의 코스트 레지스터 값이다.
: t 번째 클럭에서의 k 번째 레이어(4100/k)의 n 번째 좌측 및 우측 영상 레지스터(4110/n, 4120/n) 값이다.
(,): k 번째 레이어(4100/k)의 j 번째 프로세싱 엘리먼트의 t 번째 클럭에서 전방 프로세서(4130/j)에서 스택(4140/j) 메모리로 저장된 결정값이다.
: 각각 좌우 영상에서 동일한 수평 라인 위치 상의 m 번째 라인의 n 번째 픽셀값을 나타낸다.
1. 전방 프로세싱 초기화 동작을 설명하면 다음과 같다.
우선, 초기화시에는 0 번째 코스트 레지스터를 제외한 모든 코스트 레지스터의 비용을 최대치로 설정한다.
각각의 레이어에 대해서 모든 좌측 영상 레지스터()에 영상 데이터를 아래와 같이 입력한다. K는 스캔라인에 대한 적절히 설정된 오프셋을 나타낸다.
2. 전방 프로세싱 동작을 설명하면 다음과 같다.
각 스텝 i에 대하여 각각의 프로세싱 엘리먼트마다 인접한 프로세싱 엘리먼트 사이에서 가장 낮은 코스트의 경로를 결정하여 결정값을 스택으로 출력한다.
: 레이어의 총 개수를 말한다.
여기서, 감마()는 오클루젼 코스트(Occlusion Cost)로서 각각의 이미지에서 어떤 픽셀들이 다른 이미지와 정합하지 않는 픽셀에 대응될 경우의 코스트인데 파라미터에 의해 정해진다.
3. 후방 프로세싱 초기화 동작을 설명하면 다음과 같다.
후방 프로세싱에서 최적의 양안차 값은 활성화된 프로세싱 엘리먼트 넘버를 뜻한다.
모든 레이어의 0번째 프로세싱 엘리먼트의 전방 프로세서들 중 최소 코스트를 가지는 레이어()를 결정하고 양안차값은 0부터 시작한다.
는 i 스텝별로 출력되는 양안차값을 나타내며, 는 i 스텝별로 활성화된 프로세싱 엘리먼트가 있는 레이어 넘버를 나타낸다.
4. 후방 프로세싱 동작을 설명하면 다음과 같다.
전방 프로세싱의 결과인 결정값(,)을 스택으로부터 읽어서 t 스텝별로 최적의 양안차값() 과 레이어 넘버()를 생성 출력한다.
이 알고리즘의 특성과 구현 방법에 의해서 전방 및 후방 프로세싱은 모든 프로세싱 엘리먼트들에서 병렬적으로 처리된다.
한편, 픽셀의 정합 과정을 위한 알고리즘을 설명하면 다음과 같다.
: k 번째 레이어의 j번째 프로세싱 엘리먼트의 i번째 클럭에서의 전방 프로세서의 코스트 메모리 값이다.
(,): k 번째 레이어의 j 번째 프로세싱 엘리먼트의 i 번째 클럭에서 전방 프로세서에서 스택 메모리로 저장된 결정값이다.
: 각각 좌우 영상에서 동일한 수평 라인 위치 상의 m 번째 라인의 n 번째 픽셀값을 나타낸다.
1. 전방 프로세싱 초기화 동작을 설명하면 다음과 같다.
우선, 초기화시에는 0 번째 코스트 값을 제외한 모든 코스트값을 무한대로 설정한다.
2. 전방 프로세싱 동작을 설명하면 다음과 같다.
각 스텝 i에 대하여 각각의 프로세싱 엘리먼트마다 인접한 프로세싱 엘리먼트 사이에서 가장 낮은 코스트의 경로를 결정하여 결정값을 스택으로 출력한다.
3. 후방 프로세싱 초기화 동작을 설명하면 다음과 같다.
사이의 레이어의 0번째 프로세싱 엘리먼트의 전방 프로세서 중 최소 코스트를 가지는 레이어()를 결정하고 양안차값은 0부터 시작한다.
는 i 스텝별로 출력되는 양안차값을 나타내며, 는 i 스텝별로 활성화된 프로세싱 엘리먼트가 있는 레이어 넘버를 나타낸다.
4. 후방 프로세싱 동작을 설명하면 다음과 같다.
전방 프로세싱의 결과인 결정값을 스택으로부터 읽어서 i 스텝별로 최적의 양안차값() 과 레이어 넘버()를 생성 출력한다.
상기에서는 본 발명의 일 실시예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.
전술한 바와 같이 본 발명은 정밀한 조정장치가 필요 없이 두 카메라를 간단히 고정하고, 카메라 위치나 방향의 오조정이나 카메라 렌즈의 디스톨션 영향도 적게 받게 하여 관측 공간의 3차원 거리 정보와 형태 정보를 측정할 수 있으므로, 제작 비용이 감소될 뿐만 아니라 시스템의 크기가 작아져 소형 장치로서 여러 응용 부분에 적용될 수 있다.
아울러, 한 영상의 한 스캔라인에 대해 다른 쪽 영상의 여러 스캔라인 속에서 실시간으로 대응점을 찾아내므로, 실제 영상에서 에피폴라 라인이 정확히 스캔라인 상에 있지 않아도, 근처에만 있으면 대응점을 찾아 낼 수 있고, 렌즈의 오차율이나 카메라 간의 내부 파라미터가 정확히 일치하지 않아서 스캔라인 상에 대응점이 있지 않는 문제 역시 해결할 수 있는 효과가 있다.
도 1은 본 발명에 따른 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상 정합 시스템의 블록도,
도 2는 도 1에 도시된 영상 정합부의 상세도,
도 3은 도 2에 도시된 레이어의 내부 상세도,
도 4는 도 3에 도시된 전방 프로세서의 상세도,
도 5는 도 3에 도시된 후방 프로세서의 상세도.

Claims (16)

  1. 삭제
  2. 공간 영역에 대해 서로 다른 방향에서 획득된 두 영상으로부터 한쪽 영상에서의 픽셀들을 다른 쪽 영상에서의 픽셀들로 정합시키는 실시간 입체 영상 정합 시스템에 있어서,
    상기 공간 영역에 대해 좌측 및 우측 방향에서 영상을 획득하는 좌측 및 우측 영상 취득 수단과,
    상기 좌측 및 우측 영상 취득 수단의 디지털 영상 신호를 임시 저장하거나 아날로그 영상 신호를 디지털 변환 및 저장하여 각각 출력하는 영상 처리부와,
    상기 영상 처리부로부터 상기 한쪽 영상의 한 스캔 라인 픽셀 데이터를 순차적으로 입력받고 상기 다른 쪽 영상의 상하 동시에 여러 스캔 라인들의 픽셀 데이터를 입력받아서 연산하여 양안차 값을 출력하는 멀티레이어 영상 정합부를 포함하는 실시간 입체 영상 정합 시스템.
  3. 제 2 항에 있어서, 상기 멀티레이어 영상 정합부는,
    상단 또는 하단에서 상기 좌우측 영상 중 하나의 스캔라인이 입력되고 반대쪽 끝 쪽에는 다른 쪽 영상의 스캔라인들이 하나씩 각각 입력되며 이웃한 레이어 간에는 코스트 값과 액티브 신호를 서로 주고받는 다수의 레이어와, 상기 각각의 레이어로부터 출력된 데이터를 누적하여 상기 양안차값을 출력하는 누산기를 포함하는 실시간 입체 영상 정합 시스템.
  4. 제 3 항에 있어서, 상기 레이어는,
    상기 좌측 영상 취득 수단의 영상 픽셀을 저장하는 제 1 저장 수단과, 상기 우측 영상 취득 수단의 영상 픽셀을 저장하는 제 2 저장 수단과, 클럭신호에 의해 상기 좌측 및 우측 영상으로부터 결정값 및 양안차를 출력하는 N개의 전방 프로세서, 스택, 후방 프로세서를 포함하는 실시간 입체 영상 정합 시스템.
  5. 제 4 항에 있어서, 상기 전방 프로세서는,
    재귀되는 제 2 코스트 레지스터의 출력을 입력으로 받고 인접한 상하 레이어들로부터 코스트값을 입력받아 최소값을 결정하는 제 1 멀티플렉서와, 상기 제 1 멀티플렉서에서 출력되는 최소값을 저장하는 제 1 코스트 레지스터와, 상기 제 1 및 제 2 영상 저장 수단의 픽셀 차로 정합 코스트를 계산하는 절대값 계산기와, 상기 절대값 계산기에서 계산된 정합 코스트를 상기 제 1 코스트 레지스터의 출력값에 가산하는 제 1 가산기와, 상기 제 1 가산기의 출력과 인접한 상하 전방 프로세서들의 코스트들을 입력으로 3개의 코스트들 중 가장 작은 코스트를 출력하는 제 2 멀티플렉서와, 상기 제 2 멀티플렉서에서 출력되는 최소값을 저장하는 상기 제 2 코스트 레지스터와, 상기 제 2 코스트 레지스터에 저장된 코스트와 오클루션 정보를 가산하여 이웃한 전방 프로세서로 출력하는 제 2 가산기를 포함하는 실시간 입체 영상 정합 시스템.
  6. 제 4 항에 있어서, 상기 후방 프로세서는,
    활성 레지스터와, 동일한 레이어상의 인접한 프로세싱 엘리먼트로부터 입력되는 활성 비트 경로와 인접한 레이어로부터 입력되는 활성 비트 경로와 피드백된 활성 비트 경로를 논리합하여 상기 활성 레지스터로 출력하는 논리 게이트와, 상기 스택으로부터 읽은 결정값에 의해 출력 신호들 중에 선택된 신호가 활성 비트와 동일한 값을 가지게 하는 디멀티플렉서와, 상기 활성 레지스터에서의 활성 비트가 하이 상태이면 결정값을 그대로 출력하는 3상태 버퍼를 포함하는 실시간 입체 영상 정합 시스템.
  7. 제 3 항에 있어서,
    상기 각각의 레이어에 대해서 한 쪽 영상의 동일한 스캔라인의 픽셀이 입력되고 다른 쪽 영상은 상기 레이어 별로 다른 스캔라인들의 픽셀이 입력되는 것을 특징으로 한 실시간 입체 영상 정합 시스템.
  8. 제 5 항에 있어서,
    상기 전방 프로세스의 초기화 시에 각각의 레이어에서 0 번째 코스트 레지스터를 제외한 모든 코스트 레지스터의 비용을 최대치로 설정하고 상기 제 2 영상 저장 수단을 상기 우측 영상 데이터로 초기화하는 실시간 입체 영상 정합 시스템.
  9. 제 5 항에 있어서,
    상기 전방 프로세스는 프로세싱 엘리먼트 넘버와 전방 프로세싱 스텝 넘버의 합이 짝수 일 때 동일 레이어의 인접한 전방 프로세서 코스트에 감마값을 더한 코스트와 재귀되는 코스트 레지스터의 값 중 최소 코스트를 결정하고 제 1 결정값을 상기 스택으로 출력하며, 상기 합이 홀수 일 때는 상기 결정된 최소 코스트값에 좌우 영상 픽셀 차이의 절대값을 가산한 코스트값과 인접한 레이어의 전방 프로세서의 코스트값 중 최소 코스트를 결정하며 제 2 결정값을 상기 스택으로 출력하는 것을 특징으로 한 실시간 입체 영상 정합 시스템.
  10. 제 6 항에 있어서,
    상기 후방 프로세스는 초기화시 모든 레이어의 0번째 전방 프로세서들 중 최소 코스트를 가지는 상기 레이어의 활성 레지스터를 활성화하고 다른 후방 프로세서의 활성 레지스터는 비활성화하는 것을 특징으로 한 실시간 입체 영상 정합 시스템.
  11. 제 6 항에 있어서,
    상기 후방 프로세스는 스텝별로 상기 3상태 버퍼로 출력되는 최적의 결정값을 더하여 최적의 양안차값과 레이어 넘버를 생성 출력하는 것을 특징으로 한 실시간 입체 영상 정합 시스템.
  12. 제 11 항에 있어서,
    상기 후방 프로세서는 후방 프로세싱 스텝별로 한쪽 영상의 스캔라인과 대응되는 반대쪽 영상의 여러 스캔라인들 중 대응 스캔라인 위치를 출력된 상기 최적의 레이어 넘버로 알 수 있으며, 대응되는 좌우 영상의 픽셀의 위치를 상기 출력된 최적의 양안차값으로 알 수 있는 것을 특징으로 한 실시간 입체 영상 정합 시스템.
  13. 제 11 항에 있어서,
    상기 후방 프로세서는 후방 프로세싱 초기화시 레이어별 초기 양안차값을 0으로 하고, 후방 프로세싱시 스텝별로 출력되는 상기 레이어 넘버의 레이어에 위치하며 상기 양안차값에 동일한 프로세싱 엘리먼트 넘버를 가지는 후방 프로세서에서 출력되는 결정값을 양안차값에 스텝별로 누산하는 것을 특징으로 한 실시간 입체 영상 정합 시스템.
  14. 삭제
  15. 공간 영역에 대해 서로 다른 방향에서 획득된 두 영상으로부터 한쪽 영상에서의 픽셀들을 다른 쪽 영상에서의 픽셀들로 정합시키는 실시간 입체 영상 정합 방법에 있어서,
    상기 공간 영역에 대해 좌측 및 우측 방향에서 영상을 획득하는 제 1 단계와,
    상기 획득된 영상 중에서 한쪽 영상의 한 스캔라인 픽셀 데이터에 대하여 상기 다른 쪽 영상의 상하 여러 스캔라인들의 픽셀 데이터 속에서 동시에 실시간으로 대응점을 찾아서 양안차 값을 산출하는 제 2 단계를 포함하는 실시간 입체 영상 정합 방법.
  16. 제 15 항에 있어서, 상기 제 2 단계는,
    상기 획득된 영상 중에서 한쪽 영상의 한 스캔라인 픽셀 데이터 및 다른 쪽 영상의 상하 여러 스캔라인 픽셀 데이터로부터 가장 낮은 코스트의 경로를 결정값으로 결정하는 제 21 단계와,
    상기 결정값을 연산하여 획득된 양안차값을 이용하여 좌우측 영상에서 대응되는 픽셀쌍을 알아내는 제 22 단계를 포함하는 실시간 입체 영상 정합 방법.
KR10-2003-0006102A 2003-01-30 2003-01-30 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법 KR100503820B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR10-2003-0006102A KR100503820B1 (ko) 2003-01-30 2003-01-30 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법
US10/761,193 US7545974B2 (en) 2003-01-30 2004-01-22 Multi-layered real-time stereo matching method and system
EP04001716A EP1445964A2 (en) 2003-01-30 2004-01-27 Multi-layered real-time stereo matching method and system
JP2004019493A JP2004234660A (ja) 2003-01-30 2004-01-28 多層実時間ステレオマッチング方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0006102A KR100503820B1 (ko) 2003-01-30 2003-01-30 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20040069623A KR20040069623A (ko) 2004-08-06
KR100503820B1 true KR100503820B1 (ko) 2005-07-27

Family

ID=32653319

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0006102A KR100503820B1 (ko) 2003-01-30 2003-01-30 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법

Country Status (4)

Country Link
US (1) US7545974B2 (ko)
EP (1) EP1445964A2 (ko)
JP (1) JP2004234660A (ko)
KR (1) KR100503820B1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060023714A (ko) * 2004-09-10 2006-03-15 학교법인 포항공과대학교 영상 정합 시스템 및 영상 정합 방법
EP1810220A4 (en) 2004-11-03 2008-04-30 Tyzx Inc INTEGRATED IMAGE PROCESSOR
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR100772319B1 (ko) * 2006-11-03 2007-10-31 포항공과대학교 산학협력단 메시지 전달 기반 스테레오 영상 정합 시스템
GB0708676D0 (en) * 2007-05-04 2007-06-13 Imec Inter Uni Micro Electr A Method for real-time/on-line performing of multi view multimedia applications
US8086060B1 (en) * 2007-10-11 2011-12-27 Adobe Systems Incorporated Systems and methods for three-dimensional enhancement of two-dimensional images
KR100926127B1 (ko) * 2007-10-25 2009-11-11 포항공과대학교 산학협력단 복수 카메라를 이용한 실시간 입체 영상 정합 시스템 및 그방법
JP4856611B2 (ja) * 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
US8576228B2 (en) 2008-01-18 2013-11-05 Sony Corporation Composite transition nodes for use in 3D data generation
CN101635052B (zh) * 2009-08-26 2012-09-05 中国人民解放军国防科学技术大学 一种直线立体匹配方法
CN102175169B (zh) * 2011-03-07 2016-05-11 南京理工大学 一种工程结构三维变形无线光学测量系统及其测量方法
KR101926498B1 (ko) * 2012-09-03 2019-03-12 엘지이노텍 주식회사 스테레오 영상 정합 장치 및 이의 정합 방법
KR101888969B1 (ko) 2012-09-26 2018-09-20 엘지이노텍 주식회사 영상특성을 이용한 스테레오 매칭장치
US10157439B2 (en) * 2015-07-20 2018-12-18 Qualcomm Incorporated Systems and methods for selecting an image transform
CN105023276B (zh) * 2015-08-22 2018-01-23 内蒙古科技大学 一种医用微波热疗天线sar图与肿瘤ct图像的匹配方法
TW201742001A (zh) * 2016-05-30 2017-12-01 聯詠科技股份有限公司 影像雜訊估測方法及裝置與影像擷取裝置
US10462445B2 (en) 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps
US10839535B2 (en) 2016-07-19 2020-11-17 Fotonation Limited Systems and methods for providing depth map information
WO2018160395A1 (en) * 2017-02-28 2018-09-07 Sri International A systolic processor system for a light ranging system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5383013A (en) * 1992-09-18 1995-01-17 Nec Research Institute, Inc. Stereoscopic computer vision system
JP3242529B2 (ja) * 1994-06-07 2001-12-25 松下通信工業株式会社 ステレオ画像対応付け方法およびステレオ画像視差計測方法
JP3539788B2 (ja) * 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
CA2184561C (en) * 1995-09-12 2001-05-29 Yasuyuki Michimoto Object detecting apparatus in which the position of a planar object is estimated by using hough transform
US6046763A (en) * 1997-04-11 2000-04-04 Nec Research Institute, Inc. Maximum flow method for stereo correspondence
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3284190B2 (ja) * 1998-05-14 2002-05-20 富士重工業株式会社 ステレオカメラの画像補正装置
US20020012459A1 (en) * 2000-06-22 2002-01-31 Chips Brain Co. Ltd. Method and apparatus for detecting stereo disparity in sequential parallel processing mode
KR100374784B1 (ko) * 2000-07-19 2003-03-04 학교법인 포항공과대학교 실시간 입체 영상 정합 시스템
KR100424287B1 (ko) * 2001-09-10 2004-03-24 주식회사 제이앤에이치테크놀러지 비평행 광축 실시간 입체 영상 처리 시스템 및 방법

Also Published As

Publication number Publication date
KR20040069623A (ko) 2004-08-06
US20040151380A1 (en) 2004-08-05
JP2004234660A (ja) 2004-08-19
US7545974B2 (en) 2009-06-09
EP1445964A2 (en) 2004-08-11

Similar Documents

Publication Publication Date Title
KR100503820B1 (ko) 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법
US6862035B2 (en) System for matching stereo image in real time
US6215898B1 (en) Data processing system and method
US7194126B2 (en) Realtime stereo and motion analysis on passive video images using an efficient image-to-image comparison algorithm requiring minimal buffering
US10621446B2 (en) Handling perspective magnification in optical flow processing
Hadjitheophanous et al. Towards hardware stereoscopic 3D reconstruction a real-time FPGA computation of the disparity map
Miyajima et al. A real-time stereo vision system with FPGA
JP4991873B2 (ja) メッセージ伝達基盤ステレオ映像整合システム
KR100424287B1 (ko) 비평행 광축 실시간 입체 영상 처리 시스템 및 방법
Jawed et al. Real time rectification for stereo correspondence
WO2017096384A1 (en) Quasi-parametric optical flow estimation
Kalomiros et al. Comparative study of local SAD and dynamic programming for stereo processing using dedicated hardware
KR100769460B1 (ko) 실시간 스테레오 영상 정합 시스템
Morris et al. Intelligent vision: A first step–real time stereovision
Naoulou et al. A 3D real-time vision system based on passive stereovision algorithms: Application to laparoscopic surgical manipulations
Xicoténcatl-Pérez et al. Real Time Stereo Vision with a modified Census transform in FPGA
CN109739651B (zh) 一种低资源消耗的立体匹配硬件架构
Sundararajan et al. A Combined Approach for Stereoscopic 3D Reconstruction Model based on Improved Semi Global Matching.
CN110274573B (zh) 双目测距方法、装置、设备、存储介质及计算设备
KR20040002041A (ko) 창간 유사도 측정방법과, 이를 이용한 스테레오 변위결정장치 및 방법
Cuadrado et al. VHDL description of a synthetizable and reconfigurable real-time stereo vision processor
Ambrosch et al. Design Considerations for Embedded Stereo Vision Systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120710

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee