KR100772319B1 - 메시지 전달 기반 스테레오 영상 정합 시스템 - Google Patents

메시지 전달 기반 스테레오 영상 정합 시스템 Download PDF

Info

Publication number
KR100772319B1
KR100772319B1 KR1020060108525A KR20060108525A KR100772319B1 KR 100772319 B1 KR100772319 B1 KR 100772319B1 KR 1020060108525 A KR1020060108525 A KR 1020060108525A KR 20060108525 A KR20060108525 A KR 20060108525A KR 100772319 B1 KR100772319 B1 KR 100772319B1
Authority
KR
South Korea
Prior art keywords
message
value
processor
cost
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020060108525A
Other languages
English (en)
Inventor
정홍
박성찬
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020060108525A priority Critical patent/KR100772319B1/ko
Priority to JP2009536152A priority patent/JP4991873B2/ja
Priority to US12/312,246 priority patent/US8427524B2/en
Priority to PCT/KR2007/005377 priority patent/WO2008054109A1/en
Priority to EP07833685A priority patent/EP2078425A1/en
Application granted granted Critical
Publication of KR100772319B1 publication Critical patent/KR100772319B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 한 쌍의 2차원 이미지로부터 3차원의 공간 정보를 재창출하는 메시지 전달 기반 스테레오 영상 정합 시스템에 관한 것으로, 스테레오 영상 정합의 결과는 양안차 영상으로 출력이 되는데, 종래 기술에 따른 스테레오 영상 정합 방식에서는 좌우 영상의 단일 라인 내에서 정합함으로 인해 양안차값이 에러가 크고 주변환경에 영향을 많이 받으나 본 발명에서는 정합 시 여러 영상 라인들을 사용함으로 인해 주변환경에 강건하고 낮은 매칭에러를 가지는 동시에 새로운 병렬 파이프라인 VLSI 구조를 가짐으로써 O(N)의 시간 복잡도를 가져 실시간 처리가 되는 이점이 있다.
영상, 정합, 양안차, 삼차원, 다중 영상 라인 정합, 고속처리, 노이즈

Description

메시지 전달 기반 스테레오 영상 정합 시스템{SYSTEM FOR STEREO IMAGE MATCHING BASED ON MESSAGE PROPAGATION}
도 1은 스테레오 영상 정합의 개념도,
도 2는 본 발명에 따른 다중 라인 또는 풀 영상 라인 처리 방식의 메시지 전달 기반 실시간 병렬 스테레오 정합 시스템의 블록 구성도,
도 3은 본 발명의 제 1 실시 예에 따라 알고리즘 I을 수행하는 영상 정합부의 구성도,
도 4는 본 발명의 제 2 실시 예에 따라 알고리즘 Ⅱ을 수행하는 영상 정합부의 구성도,
도 5는 본 발명의 제 3 실시 예에 따라 알고리즘 Ⅲ을 수행하는 영상 정합부의 구성도,
도 6a는 본 발명의 제 4 실시 예에 따라 알고리즘 Ⅳ을 수행하는 영상 정합부의 구성도,
도 6b는 본 발명의 제 4 실시 예에 따라 알고리즘 Ⅳ을 수행하는 영상 정합부에서 각각의 라인을 처리하는 프로세서들의 내부 구성도,
도 7은 본 발명에 따른 실시간 병렬 스테레오 정합 시스템에서 영상 정합부를 구성하는 전방, 후방, 상방, 하방 프로세서의 내부 구성도,
도 8은 본 발명에 따른 전방 코스트 프로세서의 내부 구성도,
도 9는 본 발명에 따른 후방 코스트 프로세서의 내부 구성도,
도 10은 본 발명에 따른 매칭 코스트 프로세서의 내부 구성도,
도 11은 본 발명에 따른 실시간 병렬 스테레오 정합 시스템에서 영상 정합부에 포함되는 양안차 계산 프로세서의 내부 구성도,
도 12는 본 발명의 제 1 실시 예에 따라 알고리즘 I을 수행하는 영상 정합부의 동작 과정을 나타낸 흐름도,
도 13은 본 발명의 제 2 실시 예에 따라 알고리즘 Ⅱ을 수행하는 영상 정합부의 동작 과정을 나타낸 흐름도,
도 14는 본 발명의 제 3 실시 예에 따라 알고리즘 Ⅲ을 수행하는 영상 정합부의 동작 과정을 나타낸 흐름도,
도 15는 본 발명의 제 4 실시 예에 따라 알고리즘 Ⅳ을 수행하는 영상 정합부의 동작 과정을 나타낸 흐름도,
도 16은 본 발명에 의한 알고리즘 Ⅰ 내지 Ⅳ에서 양안차 계산 알고리즘의 처리 과정을 나타낸 흐름도,
도 17은 본 발명에 의한 알고리즘 Ⅰ 내지 Ⅳ에서 전방, 후방, 상방, 하방 메시지 프로세싱의 동작 과정을 나타낸 흐름도,
도 18은 도 17의 전방 코스트 계산 알고리즘의 처리 과정을 보인 흐름도,
도 19는 도 17의 후방 코스트 계산 알고리즘의 처리 과정을 보인 흐름도,
도 20은 본 발명에 따른 실시간 병렬 스테레오 정합 시스템에서 매칭 코스트 계산 알고리즘의 처리 과정을 보인 흐름도,
도 21a 내지 도 21g는 종래 기술에 따른 영상 정합에 의한 양안차 출력 영상과 본 발명에 따른 영상 정합에 의한 양안차 출력 영상을 비교 설명하기 위한 도면이다.
본 발명은 메시지 전달 기반 스테레오 영상 정합 시스템에 관한 것으로, 더욱 상세하게는 다중 라인 또는 풀 영상 라인 처리 방식의 메시지 전달 기반 실시간 병렬 스테레오 정합 시스템에 관한 것이다.
주지하는 바와 같이, 스테레오 정합 방법은 한 쌍의 2차원 이미지로부터 3차원의 공간 정보를 재창출하는 방법이다. 도 1에 나타낸 바와 같이, 좌측 및 우측 영상의 에피폴라 선(epipolar line)상의 영상 라인에서 삼차원 공간상에서 같은 위치(X, Y, Z)에 대응되는 좌우 픽셀을 찾아내는 방법이다. 여기서 대응되는 픽셀 쌍에 대한 양안차(d)는 다음의 수학식 1과 같이 정의된다.
Figure 112006080815642-pat00001
양안차는 거리 정보를 포함하며, 이러한 양안차로부터 계산된 기하학적 특성을 깊이(depth)라 한다. 따라서 입력 영상으로부터 실시간으로 양안차값을 계산하면 관측 공간의 삼차원 거리 정보와 형태 정보를 측정할 수 있다.
이러한 스테레오 정합 방법에 대해서는 Dhond 등의 논문(Umesh R. Dhond and J.K.Aggarwal, Structure from Stereo - a review, IEEE Transactions on Systems, Man, and Cybernetics, 19(6):553-572, nov/dec 1989)에 기본적인 개념이 개시되어 있으며, 최신 스테레오 매칭 알고리즘은 Szeliski의 논문(D. Scharstein and R. Szeliski. A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms. IJCV 47(1/2/3):7-42, April-June 2002)에 잘 정리되어 있다.
스테레오 매칭은 로컬 코스트를 이용하여 위너-테이크-올(Winner-take-all) 방식으로 매칭하는 기법이 있고, global engegy 모델을 세우고 이를 바탕으로 에너지 최소화(energy minimization) 하는 기법이 있다. 위너-테이크-올 방식은 단일 스캔라인 내에서 스테레오 정합을 하며 고속으로 처리가 가능한 대신에 양안차 에러가 아주 크다. global engegy 모델 기법으로는 대표적으로 그래프 컷(Graph cut), 신뢰도 확산(Belief Propagation) 등이 있다. 그래프 컷과 신뢰도 확산 기법은 에너지 최소화 기법으로 결과가 매우 잘 나오고 있으나 처리시간이 오래 걸린다. 즉 신뢰도 확산 기법은 아래 위 라인의 관계를 이용하여 에러가 적은 좋은 스테레오 매칭 결과를 나타낸다. 또한 신뢰도 확산 기법은 각각 시퀀스마다 반복적으로 이웃한 프로세서로부터 메시지를 받고 동시에 메시지를 계산해서 이웃한 프로세서로 보내주는 방식이므로 하드웨어화하여 고속병렬처리 하게 되면 짧은 시간 내에 처리가 가능하다. 그리고 각각의 메시지는 전방, 후방, 상방, 하방으로 해서 영상의 픽셀위치에서 이웃한 방향으로 메시지를 주고받는 구조를 가진다.
전술한 바와 같이 종래의 실시간 알고리즘들은 고속으로 처리가 가능한 대신 에 양안차 매칭 에러가 크고, 신뢰도 확산 기법은 순차적 소프트웨어 알고리즘으로서 양안차 매칭 에러가 적으나 처리시간이 많이 걸리는 문제점이 있었다.
본 발명은 이와 같은 종래의 문제점을 해결하기 위하여 제안한 것으로, 주변환경에 강인하고 적은 양안차 노이즈를 가지는 영상 정합 방법을 제공하기 위해서 단일 스캔라인 이상의 여러 스캔라인들을 스테레오 매칭에 사용하는 신뢰도 확산 알고리즘의 원리를 기본적으로 사용하고 이를 고속화하고 칩으로 개발을 용이하도록 하기 위해 이전의 순차적 소프트웨어 알고리즘과 다른 새로운 병렬 파이프라인 구조의 알고리즘을 제공하는데 그 목적이 있다.
이와 같은 목적을 실현하기 위한 본 발명에 따른 메시지 전달 기반 스테레오 영상 정합 시스템은, 제 1 및 제 2 영상취득수단으로부터 입력되는 영상을 디지털 신호로 변환하여 제 1 및 제 2 픽셀 데이터를 출력하는 영상 처리부와, 동일 에피폴라 선상의 상기 제 1 및 제 2 픽셀 데이터로부터 상방, 하방, 정방, 후방 메시지 중에서 적어도 둘 이상의 메시지를 계산하고 계산한 메시지를 이웃한 픽셀과 주고받아 양안차값을 계산하는 영상 정합부를 포함한다.
이하, 본 발명의 바람직한 실시 예를 첨부된 도면들을 참조하여 상세히 설명한다. 아울러 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
본 발명은 영상에서 각각의 픽셀마다 양안차값을 계산하기 위해서 상방, 하방, 정방, 후방 메시지를 계산하고 이웃한 픽셀과 메시지를 주고받는 병렬 파이프라인 구조를 가진다. 그리고 각각 메시지 계산 역시 VLSI 구현에 적합한 구조를 가지게 된다.
도 2는 본 발명에 따른 다중 라인 또는 풀 영상 라인 처리 방식의 메시지 전달 기반 실시간 병렬 스테레오 정합 시스템의 블록 구성도이다.
이에 도시된 바와 같이 본 발명에 의한 병렬 스테레오 정합 시스템은, 영상취득수단인 제 1, 2 카메라(10, 20)로부터 입력되는 영상을 디지털 신호로 변환하여 제 1 및 제 2 픽셀 데이터를 출력하는 영상 처리부(30)와, 동일 에피폴라 선상의 제 1 및 제 2 픽셀 데이터로부터 소정의 메시지를 계산하고 계산된 메시지를 이용하여 결정값을 사용자 시스템(50)으로 출력하는 영상 정합부(40)를 포함한다. 여기서, 제 1 및 제 2 픽셀 데이터는 각각 동일 에피폴라 선상의 좌측 및 우측 영상 라인의 픽셀 데이터인 것이 바람직하다.
영상 정합부(40)는 크게 알고리즘 I, Ⅱ, Ⅲ, Ⅳ에 따라 각각 달라진다.
먼저, 이하의 설명에서 사용될 약호를 정리하면 아래와 같다.
tf는 전방 프로세싱 시간을 의미하고, tb는 후방 프로세싱 시간을 의미하며, tu는 상방 프로세싱 시간을 의미하고, td는 하방 프로세싱 시간을 의미하며, to는 양안차 계산(Disparity Computation) 시간을 의미하고, tall는 전방, 후방, 상방, 하방 프로세싱 및 양안차 계산 시간을 의미한다. 이러한 시간들(tf, tb, tu, td, to, tall)은 병렬로 처리될 시 같은 타이밍이 될 수도 있다.
도 3은 본 발명의 제 1 실시 예에 따라 알고리즘 I을 수행하는 영상 정합부(40)의 구성도이다.
좌우 영상 픽셀 데이터(gr(j+d(tall),i), gl(j,i))를 스캔라인 버퍼(4011)로 저장하고, 전방 프로세서(PEf)(4012)가 좌우 영상 픽셀 데이터값을 받아서 계산된 전방 메시지(mf(tf,j))를 스택(4013)에 저장하며, 후방 프로세서(PEb)(4014) 역시 좌우 영상 픽셀 데이터(gr(j+d(tall),i), gl(j,i))값을 받아서 계산된 메시지(mb(tf))를 양안차 계산 프로세서(PEo)(4015)로 보내면, 양안차 계산 프로세서(PEo)(4015)에서 스택(4013)으로부터 저장된 전방 메시지(mf(tf,j))를 받고 후방 메시지(mb(tb)) 그리고 좌우 영상 픽셀 데이터를 받아서 양안차값을 출력한다.
도 4는 본 발명의 제 2 실시 예에 따라 알고리즘 Ⅱ을 수행하는 영상 정합부(40)의 구성도이다.
좌우 영상 픽셀 데이터(gr(j+d(tall),i), gl(j,i))를 스캔라인 버퍼(4021)로 저장하고, 전방 프로세서(PEf)(4022)가 스캔라인 버퍼(4021)로부터 좌우 영상 픽셀 데이터값을 받고 버퍼(4026)로부터 윗라인에서 계산된 하방 메시지(md(tall,j,i-1))를 받아서 계산된 메시지(mf(tf,j))를 스택(4023)에 저장하며, 후방 프로세서(PEb)(4024) 역시 좌우 영상 픽셀 데이터(gr(j+d(tall),i), gl(j,i)) 값 및 하방 메시지(md(tall,j,i-1))를 받아서 계산된 메시지값(mb(tf))을 양안차 계산 프로세서(PEo)(4025)로 보내면, 양안차 계산 프로세서(PEo)(4025)에서 스택(4023)으로부터 저장된 전방 메시지(mf(tf,j))를 받고 후방 메시지(mb(tb)), 하방 메시지, 좌우 영상 픽셀 데이터를 입력받아서 양안차값을 출력한다. 하방 프로세서(PEd)(4027)에서는 이전 라인의 하방 메시지와 후방 메시지, 전방 메시지, 영상 픽셀 데이터를 입력받아서 하방 메시지(md(td,j,i)를 계산하여 버퍼(4026)에 저장한다.
도 5는 본 발명의 제 3 실시 예에 따라 알고리즘 Ⅲ을 수행하는 영상 정합부(40)의 구성도이다. 알고리즘 Ⅲ은 반복적 계산 구조를 가지며, 반복 스텝(iteration step)을 f로 나타내었다.
좌우 영상 픽셀 데이터(gr(j+d(tall),i), gl(j,i))를 스캔라인 버퍼(4031)로 저장하고, 전방 프로세서(PEf)(4032)가 스캔라인 버퍼(4031)로부터 좌우 영상 픽셀 데이터값(gr(j+d(tall),i), gl(j,i))을 받고 버퍼(4036)로부터 이전 반복 스텝에서 계산된 윗라인과 아랫라인의 상방 메시지값(mu(tall,j,i+1,f-1)) 및 하방 메시지값(md(tall,j,i-1,f-1))을 받아서 메시지값(mf(tf,j))을 계산하여 스택(4033)에 저장하고, 후방 프로세서(PEb)(4034) 역시 좌우 영상 픽셀 데이터값 및 상방, 하방 메시지를 받아서 계산된 메시지(mb(tf))를 양안차 계산 프로세서(PEo)(4035)로 보내면, 양안차 계산 프로세서(PEo)(4035)에서 스택(4033)으로부터 저장된 전방 메시지와 후방 상방 하방 메시지 그리고 좌우 영상 픽셀 데이터를 받아서 양안차값을 출력한다. 하방 프로세서(PEd)(4037)에서는 윗라인의 하방 메시지와 후방 전방 메시지, 영상 픽셀 데이터를 입력받아서 새로운 하방 메시지(md(td,j,i,f)를 계산하여 버퍼(4036)에 저장한다. 상방 프로세서(PEu)(4038)에서는 아랫라인의 상방 메시지와 후방 전방 메시지, 영상 픽셀 데이터를 입력받아서 새로운 상방 메시지(mu(tu,j,i,f)를 계산하여 버퍼(4036)에 저장한다.
도 6a는 본 발명의 제 4 실시 예에 따라 알고리즘 Ⅳ을 수행하는 영상 정합부(40)의 구성도이다. 알고리즘 Ⅳ은 반복적 계산 구조를 가지며, 반복 스 텝(iteration step)을 f로 나타내었다. 그리고, 고속처리를 위해 P개의 프로세서(PE0, PE1, PE2…)가 병렬로 처리가 된다.
좌우 영상 픽셀 데이터는 카메라 영상으로부터 입력받아서 스캔라인 버퍼(4031)에 저장이 된다. P개의 각각의 라인에 대해 프로세서(PE0, PE1, PE2…)들이 병렬로 놓여져서 동시에 처리가 되며 처리가 끝나면 그 다음 P개의 라인을 동시에 처리하는 방식으로 수행된다. 따라서 P개의 라인에서 도 6a에서 나타나듯 첫 번째 프로세서는 첫 번째 라인을 수행하고 p번째 프로세서는 p번째 라인을 수행한다. 이러한 방식으로 해서 하나의 영상은 영상 라인수가 N개이면 총 N/P만큼 수행을 해야 전체 영상이 처리가 된다. 영상 픽셀 데이터(gr(j+d(tall),q*P+p), gl(j,q*P+p))를 스캔라인 버퍼(4031)로부터 입력받고 이웃한 프로세서와 통신을 위해서 상위 버퍼(4046)로부터 하방 메시지(md(td,j,q*P+p,f)를 받고 하위 버퍼(4046)로부터 상방 메시지(mu(tu,j,q*P+p,f)를 받아 처리한 다음 상위 버퍼(4046)에 상방 메시지를 저장하고 하위 버퍼(4046)에 하방 메시지를 저장한다. 모든 프로세서에 대해서 이런 방식으로 고속으로 서로 메시지를 주고받으며, 병렬 처리가 된다.
도 6b는 본 발명의 제 4 실시 예에 따라 알고리즘 Ⅳ을 수행하는 영상 정합부(40)에서 각각의 라인을 처리하는 프로세서들(PE0, PE1, PE2…)의 내부 구성도이다.
좌우 영상 픽셀 데이터(gr(j+d(tall),q*P+p), gl(j, q*P+p))를 입력받아서 전방 프로세서(PEf)(4042)가 이전 반복 스텝에서 계산된 윗라인과 아랫라인의 상방 메시지값(mu(tall,j, q*P+p+1,f-1)) 및 하방 메시지값(md(tall,j, q*P+p-1,f-1))을 입력받아서 메시지값(mf(tf,j))을 계산하여 스택(4043)에 저장하고 후방 프로세서(PEb)(4044) 역시 좌우 영상 픽셀 데이터값 및 상방, 하방 메시지를 받아서 계산된 메시지(mb(tf))를 양안차 계산 프로세서(PEo)(4045)로 보내면, 양안차 계산 프로세서(PEo)(4045)에서 스택(4043)으로부터 저장된 전방 메시지와 후방 상방 하방 메시지 그리고 좌우 영상 픽셀 데이터를 받아서 양안차값을 출력한다. 하방 프로세서(PEd)(4047)에서는 윗라인의 하방 메시지와 후방 전방 메시지, 영상 픽셀 데이터를 입력받아서 새로운 하방 메시지를 계산한다. 상방 프로세서(PEu)(4048)에서는 아랫라인의 상방 메시지와 후방 전방 메시지, 영상 픽셀 데이터를 입력받아서 새로운 상방 메시지를 계산한다.
도 7은 본 발명에 따른 실시간 병렬 스테레오 정합 시스템에서 영상 정합부(40)를 구성하는 전방, 후방, 상방, 하방 프로세서의 내부 구성도이다.
메시지를 계산하는 프로세서로서 좌우 영상 픽셀 데이터(gr(j+d(ti)), gl(j)) 를 입력받아 매칭 코스트를 계산하는 매칭 코스트 프로세서(4051)와, 매칭 코스트와 다중 메시지 값들을 입력받아서 전방 코스트를 계산하는 전방 코스트 프로세서(4052)와, 전방 코스트를 입력받아 저장하는 스택(4053)과, 스택(4053)으로부터 전방 코스트를 입력받아 후방 코스트를 계산하는 후방 코스트 프로세서(4054)와, 후방 코스트를 다음 수행때 재귀적으로 이용 가능하게 하는 리커시브 버퍼(recursive buffer)(4055)로 구성된다.
도 8은 본 발명에 따른 전방 코스트 프로세서(4052)의 내부 구성도이다. 도 8은 편의를 위해 두 개의 회로로 나누어 도시하였으나 신호값(
Figure 112006080815642-pat00002
)에 의해 판별할 수 있는 바와 같이 실제로는 하나의 회로이다.
입력받은 메시지로부터 입력 파라미터를 빼는 감산기(40521)들과, 각각의 감산기(40521) 출력과 매칭 코스트를 더하는 제 1 가산기(40522)와, 제 1 가산기(40522) 출력값과 제 2 가산기(40525) 출력값 중에서 작은 값을 출력하는 비교기(40523)와, 비교기(40523) 값을 1클럭 딜레이 시키는 제 1 딜레이 버퍼(40524)와, 제 1 딜레이 버퍼(40524)의 출력에 코스트 C0 를 더하는 제 2 가산기(40525)와, 제 1 가산기(40522) 출력값과 다른 입력값을 비교하여 작은 값을 출력하는 제 2 비교기(40526)와, 제 2 비교기(40526) 결과값을 1클럭 딜레이 시켜서 제 2 비교기(40526)의 다른 입력값으로 제공하는 제 2 딜레이 버퍼(40527)와, 제 2 비교기(40526) 출력에 코스트 K1를 더하여 출력하는 제 3 가산기(40528)로 구성된다.
도 9는 본 발명에 따른 후방 코스트 프로세서(4054)의 내부 구성도이다. 도 9는 편의를 위해 두 개의 회로로 나누어 도시하였으나 신호값(
Figure 112006080815642-pat00003
)에 의해 판별할 수 있는 바와 같이 실제로는 하나의 회로이다.
입력받은 코스트와 제 1 가산기(40543)의 출력값에서 작은 값은 선택하는 제 1 비교기(40541)와, 제 1 비교기(40541) 출력을 1클럭 딜레이 시켜 제 1 가산기(40543)로 제공하는 제 1 딜레이 버퍼(40542)와, C0 값과 제 1 딜레이 버퍼(40542) 출력을 더하는 제 1 가산기(40543)와, 제 1 비교기(40541) 출력과 입력 파라미터값을 비교하여 최소값을 출력하는 제 2 비교기(40544)와, 제 2 비교기(40544) 출력값과 제 2 딜레이 버퍼(40546) 출력값을 더하는 제 2 가산기(40545)와, 제 2 가산기(40545) 출력값을 1클럭 딜레이 시켜서 제 2 가산기(40545)의 입력값으로 제공하는 제 2 딜레이 버퍼(40546)와, 제 2 가산기(40544) 출력값을 임의의 수만큼 쉬프트시켜 파라미터로 출력하는 쉬프트부(40547)로 구성된다.
도 10은 본 발명에 따른 매칭 코스트 프로세서(4051)의 내부 구성도이다.
좌우 영상 픽셀 데이터를 입력받아 두 값 차이의 절대값을 계산하는 차이 절대값 계산부(40511)와, 차이 절대값 계산부(40511) 값과 파라미터 K2와 비교하여 최소값을 출력하는 비교기(40522)로 구성된다.
도 11은 본 발명에 따른 실시간 병렬 스테레오 정합 시스템에서 영상 정합부(40)에 포함되는 양안차 계산 프로세서(4015, 4025, 4035, 4045)의 내부 구성도이다.
입력받은 메시지로부터 입력 파라미터를 빼는 감산기(40051)들과, 좌우 영상 픽셀 데이터로부터 매칭 코스트를 계산하는 매칭 코스트 프로세서(40052)와, 각각의 감산기(40051) 출력과 매칭 코스트 프로세서(40052)의 출력을 더하는 가산기(40053)와, 비교기(40055) 출력값을 1클럭 딜레이 시키는 딜레이 버퍼(40054)와, 딜레이 버퍼(40054)의 출력값과 가산기(40053) 출력값 중에서 작은 값을 출력하는 비교기(40055), 양안차 계산 프로세싱의 스텝을 알려주는 t 카운터(40056)와, 비교기(40055)의 두 입력 중에 가산기(40053)로부터의 입력값이 최소값이 되었을 때 t 카운터(40056) 값을 저장하는 양안차 출력 버퍼(40057)로 구성된다.
지금까지 그 구성요소들을 살펴보면 본 발명에 따른 실시간 병렬 스테레오 정합 시스템의 각 구성요소별 동작 순서를 설명하기로 한다.
도 12는 본 발명의 제 1 실시 예에 따라 알고리즘 I을 수행하는 영상 정합부(40)의 동작 과정을 나타낸 흐름도이다.
영상 라인수가 N이고 한 라인에서 픽셀수가 M일 때, i번째 영상 라인과 그 라인에서 j번째 픽셀에 대해서 각각 계산이 된다. 본 알고리즘은 i번째 라인에서 j는 0부터 M-1까지 전방 수행(S111∼S117)이 된 후, j는 M-1부터 0까지 후방 수행(S121∼S128)이 된다. 전방 수행에서는 도 3의 전방 프로세서에서 좌우 영상의 픽셀값을 입력받아 전방 메시지값이 계산(S114)이 되고 그 값이 스택에 저장(S115)이 된다. 그리고 후방 수행에서는 도 3의 후방 프로세서 좌우 영상의 픽셀값을 입력받고 후방 메시지값을 계산(S123)하며 도 3의 양안차 계산 프로세서에서는 후방 메시지값과 스택으로부터 전방 메시지값을 읽어 들여 양안차값을 계산(S124)한다.
도 13은 본 발명의 제 2 실시 예에 따라 알고리즘 Ⅱ을 수행하는 영상 정합 부(40)의 동작 과정을 나타낸 흐름도이다.
i번째 영상 라인과 그 라인에서 j번째 픽셀에 대해서 각각 계산이 된다. 본 알고리즘은 i번째 라인에서 j는 0부터 M-1까지 전방 수행(S211∼S217)이 된 후, j는 M-1부터 0까지 후방 수행(S221∼S229)이 된다. 전방 수행에서는 도 4의 전방 프로세서에서 좌우 영상의 픽셀값과 윗라인의 하방 메시지값을 입력받아 전방 메시지값이 계산(S214)이 되고 그값이 스택에 저장(S215)이 된다. 그리고 후방 수행에서는 도 4의 후방 프로세서 좌우 영상의 픽셀값과 윗라인의 하방 메시지값을 입력받고 후방 메시지값을 계산(S223)하며, 도 4의 하방 프로세서에서는 좌우 영상의 픽셀값과 전방, 후방 및 윗라인의 하방 메시지값을 입력받아 현재 라인의 하방 메시지값을 계산(S224)한다. 도 4의 양안차 계산 프로세서에서는 하방, 후방, 전방 메시지값을 읽어 들여 양안차값을 계산(S225)한다.
도 14는 본 발명의 제 3 실시 예에 따라 알고리즘 Ⅲ을 수행하는 영상 정합부(40)의 동작 과정을 나타낸 흐름도이다.
f번째 반복 스텝과 그 스텝에서 i번째 영상 라인과 그 라인에서 j번째 픽셀에 대해서 각각 계산이 된다. 본 알고리즘은 전체 영상를 F 횟수만큼 반복적으로 수행하여 양안차 영상의 노이즈를 줄여주는 방식으로 한다. i번째 라인에서 j는 0부터 M-1까지 전방 수행(S311∼S318)이 된 후, j는 M-1부터 0까지 후방 수행(S321∼S332)이 된다. 전방 수행에서는 도 5의 전방 프로세서에서 좌우 영상의 픽셀값과 f-1번째의 윗라인의 하방 메시지값과 f-1번째의 아랫라인의 상방 메시지값을 입력받아 전방 메시지값이 계산(S315)이 되고 그 값이 스택에 저장(S316)이 된다. 그리고 후방 수행에서는 도 5의 후방 프로세서 좌우 영상의 픽셀값과 f-1번째의 윗라인의 하방 메시지값과 f-1번째의 아랫라인의 상방 메시지값을 입력받고 후방 메시지값을 계산(S323)하며 도 5의 하방 프로세서에서는 좌우 영상의 픽셀값과 전방, 후방 및 f-1번째의 윗라인의 하방 메시지값을 입력받아 현재 라인의 하방 메시지값을 계산(S324)한다. 도 5의 상방 프로세서에서는 좌우 영상의 픽셀값과 전방, 후방 및 f-1번째의 아랫라인의 상방 메시지값을 입력받아 현재 라인의 상방 메시지값을 계산(S324)한다. 도 5의 양안차 계산 프로세서에서는 f-1번째의 상방, 하방 및 후방, 전방 메시지값을 읽어 들여 양안차값을 계산(S325)한다.
도 15는 본 발명의 제 4 실시 예에 따라 알고리즘 Ⅳ을 수행하는 영상 정합부(40)의 동작 과정을 나타낸 흐름도이다.
전체 영상을 F번 반복적으로 처리가 되며 고속처리를 위해 P개의 프로세서가 병렬로 처리가 된다. 즉 알고리즘 Ⅲ의 병렬 고속처리를 위한 알고리즘이 된다. P개의 각각의 영상 라인에 대해 프로세서들이 병렬로 놓여져서 동시에 처리가 되며 처리가 끝나면 그 다음 P개의 라인을 동시에 처리하는 식으로 수행된다. 따라서 P개의 라인에서 도 6a에서 나타나듯 첫 번째 프로세서는 첫 번째 라인을 p번째 프로세서는 p번째 라인을 수행한다. 이러한 방식으로 해서 하나의 영상은 영상 라인수가 N개이면 총 Q=N/P 만큼 수행을 해야 전체 영상이 처리가 된다.
i번째 라인에서 j는 0부터 M-1까지 전방 수행(S411∼S418)이 된 후, j는 M-1부터 0까지 후방 수행(S421∼S431)이 된다. 전방 수행에서는 도 6b의 전방 프로세서에서 좌우 영상의 픽셀값과 f-1번째의 윗라인의 하방 메시지값과 f-1번째의 아랫 라인의 상방 메시지값을 입력받아 전방 메시지값이 계산(S415)이 되고 그 값이 스택(S416)에 저장이 된다. 그리고 후방 수행에서는 도 5의 후방 프로세서 좌우 영상의 픽셀값과 f-1번째의 윗라인의 하방 메시지값과 f-1번째의 아랫라인의 상방 메시지값을 입력받고 후방 메시지값을 계산(423)하며 도 6b의 하방 프로세서에서는 좌우 영상의 픽셀값과 전방, 후방 및 f-1번째의 윗라인의 하방 메시지값을 입력받아 현재 라인의 하방 메시지값을 계산(S424)한다. 도 6b의 상방 프로세서에서는 좌우 영상의 픽셀값과 전방, 후방 및 f-1번째의 아랫라인의 상방 메시지값을 입력받아 현재 라인의 상방 메시지값을 계산(S424)한다. 도 5의 양안차 계산 프로세서에서는 f-1번째의 상방, 하방 및 후방, 전방 메시지값을 읽어 들여 양안차값을 계산(S425)한다.
도 16은 본 발명에 의한 알고리즘 Ⅰ 내지 Ⅳ에서 양안차 계산 알고리즘의 처리 과정을 나타낸 흐름도이다.
단계 S508∼S509에 의해 입력 메시지는
Figure 112006080815642-pat00004
는 t가 0부터 D-1까지 스테이트값을 가지는 벡터이고,
Figure 112006080815642-pat00005
은 입력 파라미터를 나타낸다.
Figure 112006080815642-pat00006
로 초기화(가능한 최대값)(S501)하고 매 스텝마다 좌우 영상 픽셀값과 입력 메시지의 각각 스테이트값을 읽어 들인다(S502). 그리고 좌우 영상 픽셀값으로부터 도 10에 해당하는 매칭 코스트 프로세서로부터 매칭 코스트를 계산(S503)하고 계산된 매칭 코스트와 입력 메시지와 입력 파라미터를 뺀 값을 가산(S504)한다. 새롭게 계산된 값
Figure 112006080815642-pat00007
은 이전 스텝에서 계산된 최소값 과 비교(S505)하여 현 스텝의 최소값
Figure 112006080815642-pat00009
을 계산(S506, S507)한다. 그리고 새롭게 계산된 값
Figure 112006080815642-pat00010
이 최소값일 때 스텝 t를 d 레지스터에 저장하고 모든 스텝이 끝나면 d를 출력(S510)한다. 즉 각각 스텝마다 계산된 값이 전체 스텝에서 최소가 되는
Figure 112006080815642-pat00011
를 구하고 그때 스텝 t를 d로 출력하는 알고리즘이다.
도 17은 본 발명에 의한 알고리즘 Ⅰ 내지 Ⅳ에서 전방, 후방, 상방, 하방 메시지 프로세싱의 동작 과정을 나타낸 흐름도이다.
도 7의 매칭 코스트 계산 프로세서에서는 좌우 영상 픽셀 데이터를 입력(S601) 받아서
Figure 112006080815642-pat00012
를 계산(S602)하고 도 7의 전방 코스트 프로세서에서는 매칭 코스트
Figure 112006080815642-pat00013
와 입력되는 메시지와 도 7의 리커시브 버퍼로부터 입력되는
Figure 112006080815642-pat00014
를 입력받아 전방 코스트를 계산(S603)한 다음 스택에 저장(S604)하고 도 7의 후방 코스트 프로세서 전방 코스트값을 받아서(S605) 후방 코스트 값을 출력(S606∼S607)한다. 이때 출력된 후방 코스트값이 도 7의 리커시브 버퍼로 입력되어 다음 번에 상기 알고리즘을 수행할 때 사용할 수 있다. 본
Figure 112006080815642-pat00015
는 전방 및 하방 메시지를 계산하는 과정에서 재귀적으로 전방 코스트 프로세서에서 계산할 때 메시지 입력으로 들어간다.
도 18은 도 17의 전방 코스트 계산 알고리즘의 처리 과정을 보인 흐름도이다.
단계 S707∼S709에 의해 입력 코스트
Figure 112006080815642-pat00016
는 t가 0부터 D-1까지 값을 가지는 벡터이고,
Figure 112006080815642-pat00017
은 입력 파라미터를 나타낸다.
Figure 112006080815642-pat00018
로 초기화(S701)하고 매 스텝마다 입력 코스트값을 읽어 들이며(S702), 입력 코스트와 입력 파라미터를 뺀 값을 가산한다(S703). 새롭게 계산된 값
Figure 112006080815642-pat00019
은 이전 스텝에서 계산된
Figure 112006080815642-pat00020
과 비교(S704)하여 최소값을 현 스텝의
Figure 112006080815642-pat00021
로 계산(S705∼S706)한다.
도 19는 도 17의 후방 코스트 계산 알고리즘의 처리 과정을 보인 흐름도이다.
단계 S810∼S811에 의해 입력 메시지는
Figure 112006080815642-pat00022
는 t가 -1부터 D-1까지 스테이트값을 가지는 벡터이고,
Figure 112006080815642-pat00023
은 입력 파라미터를 나타낸다.
Figure 112006080815642-pat00024
로 초기화(가능한 최대값)(S801)하고 매 스텝마다 전방 코스트의 각각 스테이트값(
Figure 112006080815642-pat00025
)을 읽어 들인다(S802).
Figure 112006080815642-pat00026
과 이전 스텝에서 계산된
Figure 112006080815642-pat00027
과 비교하여 최소값을 현 스텝의
Figure 112006080815642-pat00028
로 둔다(S803∼S805).
Figure 112006080815642-pat00029
는 다시 입력 파라미터
Figure 112006080815642-pat00030
와 비교가 되어 작은 값이
Figure 112006080815642-pat00031
로 계산되어 출력된다(S806∼S808).
Figure 112006080815642-pat00032
은 초기에 0으로 초기화 된 후 매 스텝마다
Figure 112006080815642-pat00033
을 더하고(S809), 최종 스텝에서
Figure 112006080815642-pat00034
을
Figure 112006080815642-pat00035
만큼 쉬프트 라이트(Shift right) 한다(S812). 이 부분은 메시지의 정규화(normalization) 파라미터가 된다.
도 20은 본 발명에 따른 실시간 병렬 스테레오 정합 시스템에서 매칭 코스트 계산 알고리즘의 처리 과정을 보인 흐름도이다.
좌우 영상의 픽셀 데이터를 입력받아 두 데이터 차이의 절대값
Figure 112006080815642-pat00036
을 계산하고(S901),
Figure 112006080815642-pat00037
와 K1을 비교(S902)하여 작은 값이
Figure 112006080815642-pat00038
로 계산(S903, S904)이 된 다.
도 21a, 21b에서는 입력되는 좌우 영상을 보여주고, 도 21c에서 기준(reference) 양안차 출력 영상을 보여 준다. 도 21d에서는 좌우 영상의 단일 스캔라인만을 사용한 타 알고리즘(scan line optimization 알고리즘) 계산 결과를 보여준다. 도 21e는 본 발명의 제 1 실시 예에 따라 알고리즘 I를 수행한 양안차 출력 영상이며, 도 21f는 본 발명의 제 2 실시 예에 따라 알고리즘 Ⅱ를 수행한 양안차 출력 영상이고, 도 21g는 본 발명의 제 3 실시 예에 따라 알고리즘 Ⅲ를 수행하거나 본 발명의 제 4 실시 예에 따라 알고리즘 Ⅳ를 수행한 양안차 출력 영상이다.
이와 같이 본 발명의 실시 예에 따르면, 알고리즘 I에서 알고리즘 Ⅱ, 알고리즘 Ⅲ, 알고리즘 Ⅳ로 갈수록 수평방향의 스트리아프(streap) 노이즈가 제거되어 양안차 에러가 줄었음을 볼 수 있다.
지금까지 본 발명의 몇 가지 실시 예에 국한하여 설명하였으나 본 발명의 기술이 당업자에 의하여 용이하게 변형 실시될 가능성이 자명하다. 이러한 변형된 실시 예들은 본 발명의 특허청구범위에 기재된 기술사상에 당연히 포함되는 것으로 해석되어야 할 것이다.
전술한 바와 같이 본 발명은 종래의 순차적 소프트웨어 알고리즘과 달리 VLSI로 구현 가능한 병렬 파이프라인 하드웨어 구조를 가짐으로 인해 고속 처리가 가능하다. 즉 정합 시 여러 영상 라인들을 사용함으로 인해 주변환경에 강건하고 낮은 매칭에러를 가지는 동시에 새로운 병렬 파이프라인 VLSI 구조를 가짐으로써 O(N)의 시간 복잡도(time complexity)를 가져서 실시간 처리가 가능하다.
그리고 다수의 영상 라인들을 매칭에 사용함으로 인해 양안차 출력 영상 노이즈를 제거할 수 있으므로, 주변환경에 안정적이고 정확한 거리 영상 정보를 얻을 수 있는 효과가 있다.

Claims (27)

  1. 제 1 및 제 2 영상취득수단으로부터 입력되는 영상을 디지털 신호로 변환하여 제 1 및 제 2 픽셀 데이터를 출력하는 영상 처리부와,
    동일 에피폴라 선상의 상기 제 1 및 제 2 픽셀 데이터로부터 상방, 하방, 정방, 후방 메시지 중에서 적어도 둘 이상의 메시지를 계산하고 계산한 메시지를 이웃한 픽셀과 주고받아 양안차값을 계산하는 영상 정합부
    를 포함하는 메시지 전달 기반 스테레오 영상 정합 시스템.
  2. 제 1 항에 있어서,
    상기 영상 정합부는,
    좌우 영상 픽셀 데이터를 저장하는 스캔라인 버퍼와,
    상기 좌우 영상 픽셀 데이터값을 받아서 전방 메시지를 계산하는 전방 프로세서와,
    상기 계산된 전방 메시지를 저장하는 스택과,
    상기 좌우 영상 픽셀 데이터값을 받아서 후방 메시지를 계산하는 후방 프로세서와,
    상기 좌우 영상 픽셀 데이터값과 상기 스택에 저장된 전방 메시지 및 후방 메시지를 받아서 상기 양안차값을 계산하는 양안차 계산 프로세서
    를 포함하는 메시지 전달 기반 스테레오 영상 정합 시스템.
  3. 제 2 항에 있어서,
    상기 영상 정합부에 의한 영상 정합은 모든 라인에 대해서 수행이 되며, 단일 라인에서 한쪽 수평 방향으로 상기 전방 메시지값이 계산이 되고 계산된 상기 전방 메시지값이 상기 스택에 저장이 되는 전방 수행된 이후에, 다른 쪽 수평 방향으로 상기 후방 메시지값을 계산하며 상기 양안차값을 계산하는 후방 수행되는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  4. 제 1 항에 있어서,
    상기 영상 정합부는,
    좌우 영상 픽셀 데이터를 저장하는 스캔라인 버퍼와,
    상기 좌우 영상 픽셀 데이터값 및 윗라인에서 계산된 하방 메시지를 받아서 전방 메시지를 계산하는 전방 프로세서와,
    상기 계산된 전방 메시지를 저장하는 스택과,
    상기 좌우 영상 픽셀 데이터값 및 윗라인에서 계산된 하방 메시지를 받아서 후방 메시지를 계산하는 후방 프로세서와,
    상기 좌우 영상 픽셀 데이터값과 상기 스택에 저장된 전방 메시지 및 상기 후방 메시지를 받아서 양안차값을 계산하는 양안차 계산 프로세서
    를 포함하는 메시지 전달 기반 스테레오 영상 정합 시스템.
  5. 제 4 항에 있어서,
    상기 영상 정합부에 의한 영상 정합은 윗라인에서 상기 하방 메시지가 계산이 되고 그 후에 상기 계산된 하방 메시지값을 이용하여 전방 및 후방 메시지를 계산하며 상기 양안차값을 계산하고 현재 라인 하방 메시지값을 계산하여 아랫라인에서 이용하도록 하는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  6. 제 4 항 또는 제 5 항에 있어서
    상기 전방 수행시 상기 전방 프로세서가 동작이 되어 상기 스택에 저장이 되고 후방 수행시 상기 후방 및 하방 프로세서, 상기 양안차 계산 프로세서가 동작되는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  7. 제 1 항에 있어서,
    상기 영상 정합부는,
    좌우 영상 픽셀 데이터를 저장하는 스캔라인 버퍼와,
    상기 좌우 영상 픽셀 데이터값 및 이전 반복 스텝에서 계산된 아랫라인의 상방 메시지, 이전 반복 스텝에서 계산된 윗라인의 하방 메시지를 받아서 전방 메시지를 계산하는 전방 프로세서와,
    상기 계산된 전방 메시지를 저장하는 스택과,
    상기 좌우 영상 픽셀 데이터값 및 이전 반복 스텝에서 계산된 아랫라인의 상방 메시지, 이전 반복 스텝에서 계산된 윗라인의 하방 메시지를 받아서 후방 메시지를 계산하는 후방 프로세서와,
    상기 좌우 영상 픽셀 데이터값과 상기 스택에 저장된 전방 메시지 및 상기 후방 메시지, 이전 반복 스텝에서 계산된 아랫라인의 상방 메시지, 이전 반복 스텝에서 계산된 윗라인의 하방 메시지를 받아서 양안차값을 계산하는 양안차 계산 프로세서와,
    상기 좌우 영상 픽셀 데이터값과 상기 전방 메시지 및 상기 후방 메시지, 상기 하방 메시지를 입력받아서 하방 메시지를 계산하는 하방 프로세서와,
    상기 좌우 영상 픽셀 데이터값과 상기 전방 메시지 및 상기 후방 메시지, 상기 상방 메시지를 입력받아서 상방 메시지를 계산하는 상방 프로세서
    를 포함하는 메시지 전달 기반 스테레오 영상 정합 시스템.
  8. 제 7 항에 있어서,
    상기 영상 정합부에 의한 영상 정합은 영상 전체를 일정한 횟수만큼 반복적으로 수행하여 양안차 영상의 노이즈를 줄여주는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  9. 제 7 항 또는 제 8 항에 있어서,
    전방 수행시 상기 전방 프로세서가 동작이 되어 상기 스택에 저장이 되고 후 방 수행시 상기 후방 및 상방, 하방 프로세서, 양안차 계산 프로세서가 동작되는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  10. 제 1 항에 있어서,
    상기 영상 정합부는,
    좌우 영상 픽셀 데이터를 저장하는 스캔라인 버퍼와,
    상기 좌우 영상 픽셀 데이터를 읽어들여 상위 버퍼로부터 하방 메시지를 받고 하위 버퍼로부터 상방 메시지를 받아 각각의 영상 라인을 처리하는 프로세서들이 병렬 배열된 병렬 프로세서부와,
    상기 상방 메시지를 저장하는 상위 버퍼와,
    상기 하방 메시지를 저장하는 하위 버퍼
    를 포함하는 메시지 전달 기반 스테레오 영상 정합 시스템.
  11. 제 10 항에 있어서,
    몇 개의 라인상에서 상기 병렬 배열된 상기 프로세서들의 동시 실행에 의해 고속처리가 가능한 구조를 가지는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  12. 제 10 항에 있어서,
    상기 병렬 프로세서부는,
    상기 좌우 영상 픽셀 데이터값 및 인접한 하위 버퍼로부터의 상방 메시지, 인접한 상위 버퍼로부터의 하방 메시지를 받아서 전방 메시지를 계산하는 전방 프로세서와,
    상기 계산된 전방 메시지를 저장하는 스택과,
    상기 좌우 영상 픽셀 데이터값 및 인접한 하위 버퍼로부터의 상방 메시지, 인접한 상위 버퍼로부터의 하방 메시지를 받아서 후방 메시지를 계산하는 후방 프로세서와,
    상기 좌우 영상 픽셀 데이터값과 상기 스택에 저장된 전방 메시지 및 상기 후방 메시지, 상기 상방 메시지, 상기 하방 메시지를 받아서 양안차값을 계산하는 양안차 계산 프로세서
    상기 좌우 영상 픽셀 데이터값과 상기 전방 메시지 및 상기 후방 메시지, 상기 하방 메시지를 입력받아서 하방 메시지를 계산하는 하방 프로세서와,
    상기 좌우 영상 픽셀 데이터값과 상기 전방 메시지 및 상기 후방 메시지, 상기 상방 메시지를 입력받아서 상방 메시지를 계산하는 상방 프로세서
    를 포함하는 메시지 전달 기반 스테레오 영상 정합 시스템.
  13. 제 10 항에 있어서
    상기 영상 정합부에 의한 영상 정합은 영상 전체를 일정한 횟수만큼 반복적으로 수행하며 고속처리를 위해 일정 수의 프로세서가 동일수의 라인을 각각 병렬로 처리하는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  14. 제 10 항 또는 제 13 항에 있어서,
    각각의 프로세서들이 병렬로 처리되어 전방 수행시 상기 전방 프로세서가 동작이 되어 상기 스택에 저장이 되고 후방 수행시 상기 후방 및 상방, 하방 프로세서, 양안차 계산 프로세서가 동작되는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  15. 제 2 항, 제 4 항, 제 7 항 또는 제 12 항 중 어느 한 항에 있어서,
    상기 전방, 후방, 상방 또는 하방 프로세서는,
    상기 좌우 영상 픽셀 데이터를 입력받아 매칭 코스트를 계산하는 매칭 코스트 프로세서와,
    상기 매칭 코스트와 다중 메시지 값들을 입력받아서 전방 코스트를 계산하는 전방 코스트 프로세서와,
    상기 전방 코스트를 입력받아 저장하는 스택과,
    상기 스택으로부터 전방 코스트를 입력받아 후방 코스트를 계산하는 후방 코스트 프로세서와,
    상기 후방 코스트를 다음 수행 때 재귀적으로 이용가능하게 하는 리커시브 버퍼
    를 포함하는 메시지 전달 기반 스테레오 영상 정합 시스템.
  16. 제 15 항에 있어서,
    상기 전방 코스트 프로세서는,
    상기 입력받은 코스트값로부터 입력 파라미터를 빼는 감산기와,
    상기 감산기 출력과 매칭 코스트를 더하는 제 1 가산기와,
    입력값을 1클럭 딜레이 시키는 제 1 딜레이 버퍼와,
    상기 딜레이 버퍼의 출력에 임의의 제어 파라미터값를 더하는 제 2 가산기와,
    상기 제 1 가산기 출력값과 제 2 가산기 출력값 중에서 작은 값을 상기 제 1 딜레이 버퍼의 입력값으로 제공하는 제 1 비교기와,
    상기 제 1 가산기 출력값과 다른 입력값을 비교하여 작은 값을 출력하는 제 2 비교기와,
    상기 제 2 비교기 결과값을 1클럭 딜레이 시켜서 상기 제 2 비교기의 다른 입력값으로 제공하는 제 2 딜레이 버퍼와,
    상기 제 2 비교기 출력에 제어 파라미터를 더하여 출력하는 제 3 가산기
    를 포함하는 메시지 전달 기반 스테레오 영상 정합 시스템.
  17. 제 15 항에 있어서,
    상기 후방 코스트 프로세서는,
    상기 입력받은 코스트와 다른 입력값 중에서 작은 값은 선택하는 제 1 비교 기와,
    상기 제 1 비교기 출력을 1클럭 딜레이 시키는 제 1 딜레이 버퍼와,
    상기 제 1 딜레이 버퍼 출력값과 임의의 제어 파라미터값을 더하여 상기 제 1 비교기의 상기 다른 입력값으로 제공하는 제 1 가산기와,
    상기 제 1 비교기 출력과 입력 파라미터값을 비교하여 최소값을 출력하는 제 2 비교기와,
    상기 제 2 비교기 출력값과 다른 입력값을 더하는 제 2 가산기와,
    상기 제 2 가산기 출력값을 1클럭 딜레이 시켜서 상기 제 2 가산기의 다른 입력값으로 제공하는 제 2 딜레이 버퍼와,
    상기 제 2 가산기 출력값을 임의의 수만큼 쉬프트시켜 파라미터로 출력하는 쉬프트부
    를 포함하는 메시지 전달 기반 스테레오 영상 정합 시스템.
  18. 제 15 항에 있어서,
    상기 매칭 코스트 프로세서는,
    상기 좌우 영상 픽셀 데이터를 입력받아 두 값의 차이의 절대값을 계산하는 차이 절대값 계산부와,
    상기 차이 절대값 계산부와 제어 파라미터를 비교하여 최소값을 출력하는 비교기
    를 포함하는 메시지 전달 기반 스테레오 영상 정합 시스템.
  19. 제 15 항에 있어서,
    상기 양안차 계산 프로세서는,
    상기 입력받은 메시지로부터 입력 파리미터를 빼는 감산기와,
    상기 좌우 영상 픽셀 데이터로부터 매칭 코스트를 계산하는 매칭 코스트 프로세서와,
    상기 감산기 출력과 상기 매칭 코스트 프로세서의 출력을 더하는 가산기와,
    상기 가산기 출력값과 다른 입력값 중에서 작은 값을 출력하는 비교기와,
    상기 비교기 출력값을 1클럭 딜레이 시켜서 상기 비교기의 다른 입력값으로 제공하는 딜레이 버퍼와,
    양안차 계산 프로세서의 스텝별 번호를 알려주는 카운터와,
    상기 비교기의 두 입력부 중 상기 가산기 출력값쪽 입력값이 최소값이 되었을 때 상기 카운터의 출력 값을 저장하는 양안차 출력 버퍼
    를 포함하는 메시지 전달 기반 스테레오 영상 정합 시스템.
  20. 제 15 항에 있어서,
    상기 양안차 계산 프로세서에서 매 스텝마다 좌우 영상 픽셀값과 입력 메시지의 각각 스테이트값을 읽어 들여 상기 매칭 코스트를 계산하고, 계산된 매칭 코스트와 입력 메시지와 입력 파라미터를 뺀 값을 가산하며, 새롭게 계산된 값과 이전 스텝에서 계산된 최소값과 비교하여 현 스텝의 최소값을 계산하고, 상기 새롭게 계산된 값이 최소값일 때 스텝 넘버를 레지스터에 저장하고 모든 스텝이 끝나면 상기 레지스터 값을 출력하는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  21. 제 15 항에 있어서,
    상기 전방, 후방 프로세서는 매 클럭 스텝마다 상기 매칭 코스트 계산 프로세서에서 계산된 코스트값과 입력 메시지와 상기 리커시브 버퍼 코스트값을 이용하여 상기 전방 코스트 프로세서에서 전방 코스트를 계산한 후 상기 스택에 저장하는 전방 수행이 끝나면, 상기 후방 코스트 프로세서에서 상기 스택으로부터 전방 코스트값을 받아서 후방 코스트 값을 출력하며 출력된 후방 코스트값이 상기 리커시브 버퍼로 입력되는 방식으로 후방 수행되는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  22. 제 21 항에 있어서,
    상기 전방 코스트 프로세서는 상기 딜레이 버퍼를 가능한 큰 값으로 초기화하고 매 스텝 별로 입력 코스트값을 읽어 들이면서, 입력 코스트와 입력 파라미터를 뺀 값을 가산하고, 이전 딜레이 버퍼값에 제어 파라미터값을 가산한 값과 비교하여 최소값을 상기 딜레이 버퍼에 저장하는 동시에 출력하는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  23. 제 21 항에 있어서,
    상기 후방 코스트 프로세서는 상기 제 1 딜레이 버퍼를 가능한 최대값으로 초기화 하고 제 2 딜레이 버퍼를 0으로 초기화한 후 매 스텝마다 전방 코스트값을 읽어 들여 상기 제 1 딜레이 버퍼값에 제어 파라미터값을 가산한 값과 비교하여 최소값을 상기 제 1 딜레이 버퍼에 저장하고 상기 제 1 딜레이 버퍼 출력값은 입력 파라미터와 비교되어 작은 값이 출력되며, 매 스텝마다 상기 제 1 딜레이 버퍼 출력값을 더하여 제 2 딜레이 버퍼에 저장하고, 제 2 딜레이 버퍼값을 임의의 수만큼 쉬프트하여 파라미터를 계산한 후 출력하는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  24. 제 15 항에 있어서,
    상기 상방, 하방 프로세서는 매 클럭 스텝마다 상기 매칭 코스트 계산 프로세서에서 계산된 코스트값과 입력 메시지값을 이용하여 상기 전방 코스트 프로세서에서 전방 코스트를 계산한 후 상기 스택에 저장하는 전방 수행이 끝나면, 상기 후방 코스트 프로세서에서 상기 스택으로부터 전방 코스트값을 받아서 후방 코스트 값을 출력하는 방식으로 후방 수행되는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  25. 제 24 항에 있어서,
    상기 전방 코스트 프로세서는 상기 딜레이 버퍼를 가능한 큰 값으로 초기화 하고 매 스텝 별로 입력 코스트값을 읽어 들이면서, 입력 코스트와 입력 파라미터를 뺀 값을 가산하고, 이전 딜레이 버퍼값에 제어 파라미터값을 가산한 값과 비교하여 최소값을 상기 딜레이 버퍼에 저장하는 동시에 출력하는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  26. 제 24 항에 있어서,
    상기 후방 코스트 프로세서는 상기 제 1 딜레이 버퍼를 가능한 최대값으로 초기화 하고 제 2 딜레이 버퍼를 0으로 초기화한 후 매 스텝마다 전방 코스트값을 읽어 들여 상기 제 1 딜레이 버퍼값에 제어 파라미터값을 가산한 값과 비교하여 최소값을 상기 제 1 딜레이 버퍼에 저장하고 상기 제 1 딜레이 버퍼 출력값은 입력 파라미터와 비교되어 작은 값이 출력되며, 매 스텝마다 상기 제 1 딜레이 버퍼 출력값을 더하여 제 2 딜레이 버퍼에 저장하고, 제 2 딜레이 버퍼값을 임의의 수만큼 쉬프트하여 파라미터를 계산한 후 출력하는
    메시지 전달 기반 스테레오 영상 정합 시스템.
  27. 제 15 항에 있어서,
    상기 전방, 후방, 상방, 하방 프로세서에서 전방, 후방, 상방, 하방 메시지를 계산하는
    메시지 전달 기반 스테레오 영상 정합 시스템.
KR1020060108525A 2006-11-03 2006-11-03 메시지 전달 기반 스테레오 영상 정합 시스템 Expired - Fee Related KR100772319B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020060108525A KR100772319B1 (ko) 2006-11-03 2006-11-03 메시지 전달 기반 스테레오 영상 정합 시스템
JP2009536152A JP4991873B2 (ja) 2006-11-03 2007-10-30 メッセージ伝達基盤ステレオ映像整合システム
US12/312,246 US8427524B2 (en) 2006-11-03 2007-10-30 Message propagation-based stereo image matching system
PCT/KR2007/005377 WO2008054109A1 (en) 2006-11-03 2007-10-30 Message propagation-based stereo image matching system
EP07833685A EP2078425A1 (en) 2006-11-03 2007-10-30 Message propagation-based stereo image matching system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060108525A KR100772319B1 (ko) 2006-11-03 2006-11-03 메시지 전달 기반 스테레오 영상 정합 시스템

Publications (1)

Publication Number Publication Date
KR100772319B1 true KR100772319B1 (ko) 2007-10-31

Family

ID=38816515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060108525A Expired - Fee Related KR100772319B1 (ko) 2006-11-03 2006-11-03 메시지 전달 기반 스테레오 영상 정합 시스템

Country Status (5)

Country Link
US (1) US8427524B2 (ko)
EP (1) EP2078425A1 (ko)
JP (1) JP4991873B2 (ko)
KR (1) KR100772319B1 (ko)
WO (1) WO2008054109A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140040407A (ko) * 2012-09-26 2014-04-03 엘지이노텍 주식회사 영상특성을 이용한 스테레오 매칭장치
KR20150090364A (ko) * 2014-01-28 2015-08-06 한국전자통신연구원 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184540B (zh) * 2011-05-03 2013-03-20 哈尔滨工程大学 基于尺度空间的亚像素级立体匹配方法
WO2016092533A1 (en) * 2014-12-09 2016-06-16 Inuitive Ltd. A method for obtaining and merging multi-resolution data
KR101590777B1 (ko) * 2014-12-16 2016-02-11 경북대학교 산학협력단 스테레오 비젼에서의 시차 보정장치 및 그 방법
US10269131B2 (en) 2015-09-10 2019-04-23 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US10349040B2 (en) 2015-09-21 2019-07-09 Inuitive Ltd. Storing data retrieved from different sensors for generating a 3-D image
KR101766756B1 (ko) * 2015-11-20 2017-08-10 경북대학교 산학협력단 스테레오 비전 시스템의 렉티피케이션 장치 및 그 방법
TWI658720B (zh) * 2016-12-30 2019-05-01 創研光電股份有限公司 運用變焦影像資訊以改善原視差影像匹配錯誤之方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040069623A (ko) * 2003-01-30 2004-08-06 학교법인 포항공과대학교 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US20050123191A1 (en) 2000-05-04 2005-06-09 Microsoft Corporation System and method for progressive stereo matching of digital images
KR20060023714A (ko) * 2004-09-10 2006-03-15 학교법인 포항공과대학교 영상 정합 시스템 및 영상 정합 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4396189B2 (ja) * 2003-09-04 2010-01-13 ソニー株式会社 電子回路およびその演算方法、並びに画像処理システム
JP2006047252A (ja) * 2004-08-09 2006-02-16 Fuji Heavy Ind Ltd 画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US20050123191A1 (en) 2000-05-04 2005-06-09 Microsoft Corporation System and method for progressive stereo matching of digital images
KR20040069623A (ko) * 2003-01-30 2004-08-06 학교법인 포항공과대학교 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법
KR20060023714A (ko) * 2004-09-10 2006-03-15 학교법인 포항공과대학교 영상 정합 시스템 및 영상 정합 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140040407A (ko) * 2012-09-26 2014-04-03 엘지이노텍 주식회사 영상특성을 이용한 스테레오 매칭장치
KR101888969B1 (ko) 2012-09-26 2018-09-20 엘지이노텍 주식회사 영상특성을 이용한 스테레오 매칭장치
KR20150090364A (ko) * 2014-01-28 2015-08-06 한국전자통신연구원 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법
KR102082132B1 (ko) 2014-01-28 2020-02-28 한국전자통신연구원 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법

Also Published As

Publication number Publication date
JP4991873B2 (ja) 2012-08-01
US8427524B2 (en) 2013-04-23
WO2008054109A1 (en) 2008-05-08
EP2078425A1 (en) 2009-07-15
JP2010509670A (ja) 2010-03-25
US20090315976A1 (en) 2009-12-24

Similar Documents

Publication Publication Date Title
KR100772319B1 (ko) 메시지 전달 기반 스테레오 영상 정합 시스템
US5383013A (en) Stereoscopic computer vision system
Sunyoto et al. A comparative study of fast dense stereo vision algorithms
CN111028285A (zh) 基于双目视觉和激光雷达融合的深度估计方法
CN111066065A (zh) 用于混合深度正则化的系统和方法
EP3384466A1 (en) Quasi-parametric optical flow estimation
US6160901A (en) Processing device and method for determining direction of motion of an image
KR100503820B1 (ko) 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법
KR100924716B1 (ko) 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법
Gong Enforcing temporal consistency in real-time stereo estimation
US6049625A (en) Method of and an apparatus for 3-dimensional structure estimation
CN115909268A (zh) 一种动态障碍物检测方法及装置
Jawed et al. Real time rectification for stereo correspondence
CN214587004U (zh) 一种立体匹配加速电路、图像处理器及三维成像电子设备
Prasad et al. Epipolar geometry based learning of multi-view depth and ego-motion from monocular sequences
Fućek et al. Dense disparity estimation in ego-motion reduced search space
US9113142B2 (en) Method and device for providing temporally consistent disparity estimations
Roszkowski et al. FPGA design of the computation unit for the semi-global stereo matching algorithm
KR20090001026A (ko) 신념 전파 기반의 고속 시스톨릭 어레이 및 그 방법
KR100971148B1 (ko) 밝기 조절을 통한 영상 정합을 위한 병렬 구조의 영상 처리장치 및 방법
KR101804157B1 (ko) 개선된 sgm 기반한 시차 맵 생성 방법
CN107194334B (zh) 基于光流模型的视频卫星影像密集匹配方法及系统
Morris et al. Breaking the ‘Ton’: achieving 1% depth accuracy from stereo in real time
Morris et al. Intelligent vision: A first step–real time stereovision
JP2023047846A (ja) 距離推定装置、距離推定方法、および距離推定用コンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20061103

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20071012

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20071025

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20071025

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20100819

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20110916

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20110916

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20121011

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20121011

Start annual number: 6

End annual number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee