KR20030021946A - 비평행 광축 실시간 입체 영상 처리 시스템 및 방법 - Google Patents

비평행 광축 실시간 입체 영상 처리 시스템 및 방법 Download PDF

Info

Publication number
KR20030021946A
KR20030021946A KR1020010055533A KR20010055533A KR20030021946A KR 20030021946 A KR20030021946 A KR 20030021946A KR 1020010055533 A KR1020010055533 A KR 1020010055533A KR 20010055533 A KR20010055533 A KR 20010055533A KR 20030021946 A KR20030021946 A KR 20030021946A
Authority
KR
South Korea
Prior art keywords
processing means
value
optical axis
signal
cost
Prior art date
Application number
KR1020010055533A
Other languages
English (en)
Other versions
KR100424287B1 (ko
Inventor
정홍
오윤수
Original Assignee
주식회사 제이앤에이치테크놀러지
정홍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제이앤에이치테크놀러지, 정홍 filed Critical 주식회사 제이앤에이치테크놀러지
Priority to KR10-2001-0055533A priority Critical patent/KR100424287B1/ko
Priority to PCT/KR2002/001700 priority patent/WO2003024123A1/en
Priority to EP02770293A priority patent/EP1454495A1/en
Priority to JP2003528035A priority patent/JP2005503086A/ja
Publication of KR20030021946A publication Critical patent/KR20030021946A/ko
Priority to US10/795,777 priority patent/US20040228521A1/en
Application granted granted Critical
Publication of KR100424287B1 publication Critical patent/KR100424287B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 발명은 비평행 광축 실시간 입체 영상 처리 시스템 및 방법에 관한 것으로, 특히 원,근거리에 따라 한쌍의 카메라 사이의 각, 즉 한쌍의 비평행 광축 사이의 각을 조절함에 의해 피사체를 최적으로 측정 가능케 함으로써 관측 시야 공간을 넓게 확장시키고 상기 광축 사이의 각에 따라 시스템 파라미터 설정을 달리함으로써 영상 매칭이 최대로 가능하도록 함을 목적으로 한다. 이러한 목적의 본 발명은 피사체의 원,근거리에 따른 최적의 관측을 위한 좌측 카메라 및 우측 카메라의 광축각 조절 수단과, 좌측 및 우측 카메라의 영상 신호를 디지털 변환하는 변환 수단과, 디지털 좌측 및 우측 영상 신호로부터 설정에 의해 조절된 결정값을 계산하여 양안차값을 출력하는 영상 정합부와, 상기 결정값을 저장하거나 또는 저장된 결정값을 그로부터 읽기 위한 제1,제2 기억장치를 구비하여 구성한다. 또한, 칩 내부에서 많은 용량을 차지하는 결정값을 저장하기 위한 상기 제1,제2 기억장치를 저가의 외부 메모리로 구성하여 제작 비용 절감 및 내부 시스템 단순화를 가능하도록 한다.

Description

비평행 광축 실시간 입체 영상 처리 시스템 및 방법{NON-PARALLEL OPTICAL AXIS REAL-TIME THREE-DEMENSIONAL IMAGE PROCESSING SYSTEM AND METHOD}
본 발명은 영상 처리 시스템에 관한 것으로 특히, 비평행 광축 실시간 입체 영상 처리 시스템 및 방법에 관한 것이다.
일반적으로 실시간 입체 영상 처리 시스템은 한쌍의 2차원 이미지로부터 3차원의 공간 정보를 재창출하는 스테레오 비젼(Stereo Vision)이 중심이 되는 프로세서를 채용하고 있다.
종래의 기술로는 실시간 입체 영상 정합 시스템(특허출원 제2000 - 41424호)이 제시되어 있다.
이 종래 기술을 살펴보면, 스테레오 매칭(정합)에 대한 중요 사항들을 찾을 수 있다.
즉, 종래 기술은 동일한 광학 특성을 가진 한쌍의 카메라가 동일한 공간 영역을 비추면 좌우측 각각의 수평 이미지 스캔 라인들이 유사한 공간 영역을 취하기 때문에 각각 픽셀(pixel) 쌍들이 동일한 3차원 공간의 점들에 대응되는 것과 같이, 한 이미지에서의 픽셀들을 나머지 다른 이미지에서의 픽셀들로 매칭함으로써 간단한 기하학적 특성들을 이용하여 카메라로부터 그 점의 거리를 알아낼 수 있다.
한쪽 이미지에서 어느 한 픽셀의 위치와 다른 이미지의 대응되는 픽셀 위치간의 차이를 양안차(Disparity)라 하고 그로부터 계산된 기하학적 특성이 깊이(Depth)이다. 즉, 양안차가 거리 정보를 나타낸다고 볼 수 있는 것이다.
그러나, 종래 기술의 실시간 입체 영상 정합 시스템에서는 2대의 카메라가 평행하게 놓여진 상황에서만 양안차값이 계산되어 공간 정보를 인식할 수 있었다.
이러한 방식은 근거리 물체 관측시 사물을 최적으로 볼 수 없다.
즉, 원거리 관측시에는 한쌍의 카메라 사이의 각이 평행을 이루어도 양안차가 크지 않으므로 큰 문제가 되지 않지만, 카메라 각이 평행을 이루는 상태에서 근거리 물체를 관측하게 되면 측정된 양안차값이 매우 커지거나 시스템에서 측정 가능한 범위를 넘어서게 되고 평행 카메라의 양쪽 영상에 관측 대상물체가 제대로 비춰지지 않으므로 영상 정합도 어렵게 되는 문제점이 있었다.
그런데, 실제적으로 카메라가 사람의 눈과 같은 기능을 가진다고 볼 때 사람의 눈과 같이 카메라가 원근에 따라 시선 방향을 조절할 수 있다면 근거리 물체이든 원거리 물체이든 최적으로 볼 수 있을 것이다.
즉, 원,근거리의 관측 시선에 따라 카메라 사이의 각의 변화가 가능한 수단과 각의 변화에 따라 영상 정합 시스템의 설정을 달리 하는 수단이 필요하다.
이를 이용하면 근거리에서도 대상 물체를 잘 관측할 수 있으며, 더욱 효과적인 영상 정합이 가능할 것이다.
따라서, 본 발명은 종래 기술의 문제점을 개선하기 위하여 새로운 알고리즘과 아키텍쳐를 구현함으로써 관측 시야 공간 확장, 영상 정합 효율 증대, 외부잡음에 대한 시스템 안정화 향상, 제작 비용 감소, 처리 속도 향상 등을 달성하도록 창안한 비평행 광축 실시간 입체 영상 처리 시스템 및 방법을 제공함을 목적으로 한다.
도1은 본 발명의 비평행 광축 실시간 입체 영상 처리 시스템의 실시 블록도.
도2는 도1에서 영상 정합부(SMC2)의 상세도.
도3은 도2에서 프로세싱 엘리먼트의 상세도.
도4는 도3에서 전방 프로세서의 상세도.
도5는 도4에서 한정 비교기의 상세도.
도6은 도4에서 코스트 레지스터의 상세도.
도7은 도3에서 후방 프로세서의 상세도.
** 도면의 주요부분에 대한 부호 설명 **
10,11 : 카메라12 : 영상 처리부
13 : 영상 정합부14,15 : 기억장치
16 : 사용자 시스템20,21 : 영상 레지스터
22 : 프로세싱 엘리먼트23 : 제어부
24 : 결정값 버퍼30 : 전방 프로세서
31 : 후방 프로세서40 : 절대값 계산기
41,44 : 가산기 42,51,52 : 비교기
43 : 코스트 레지스터50 : 한정 설정 장치
53 : 멀티플렉서(MUX)54 : 앤드게이트
55,70 : 오아게이트61,72,73 : 디멀티플렉서(DEMUX)
62,63 : 플립플롭71 : 활성 레지스터
74 : 3상태 버퍼
본 발명은 상기 목적을 달성하기 위한 제1 실시예로서, 피사체의 원,근거리에 따른 최적의 관측을 위한 좌측 카메라 및 우측 카메라의 광축각 조절 수단과, 좌측 및 우측 카메라의 영상 신호를 디지털 변환하는 수단과, 디지털 좌측 및 우측 영상 신호로부터 설정에 의해 조절된 결정값을 계산하여 양안차값을 출력하는 영상 정합부와, 상기 결정값을 저장하거나 또는 저장된 결정값을 읽기 위한 제1,제2 기억 장치를 구비하여 구성함을 특징으로 한다.
또한, 본 발명은 상기의 목적을 달성하기 위한 제2 실시예로서, 한쌍의 카메라간 각도 조절 수단과, 측정 거리에 따른 최적의 영상 매칭을 위해 양안차의 최대값과 최소값을 조절 가능케 하는 수단과, 처리 속도 향상을 위해 후방 프로세서와 전방 프로세서가 교대로 연속 작동할 수 있게 하는 2개의 기억 장치를 사용하여 파이프 라인 구조를 가지는 처리 수단을 구비하여 구성함을 특징으로 한다.
그리고, 본 발명은 상기의 목적을 달성하기 위한 제3 실시예로서, 한쌍의 비평행 광축 사이의 각을 조절함에 의해 최적으로 관측 가능케 하는 수단과, 카메라 광축 사이의 각 크기에 따른 결정값을 출력하고 양안차의 오프셋값을 조절하고 양안차 수치 범위를 한정하는 프로세싱 엘리먼트 설정 수단과, 상기 결정값을 외부 기억장치에 저장, 독출하는 수단과, 상기 결정값을 저장 또는 독출하기 위해 제1,제2 기억 장치를 교대로 사용하는 인터페이스 수단을 구비하여 구성함을 특징으로 한다.
또한, 본 발명은 상기의 목적을 달성하기 위하여 피사체의 원,근거리에 따른 최적의 관측을 위한 좌측 카메라 및 우측 카메라의 광축각을 조절하는 단계와, 좌측 및우측 카메라의 영상 신호를 디지털 변환하는 변환 단계와, 디지털 좌측 및 우측 영상 신호로부터 설정에 의해 조절된 결정값을 계산하여 양안차값을 출력하는 단계와, 상기 결정값을 저장하거나 또는 그로부터 읽기 위한 제1 기억장치와 제2 기억장치를 교대로 사용하는 단계를 수행하도록 구성함을 특징으로 한다.
이러한 구성의 본 발명을 살펴보면 다음과 같다.
먼저, 본 발명은 카메라 각을 물체의 위치에 따라 조절 가능케 하여 관측이 용이해 지며 양안차 값이 허용치 수준 이상으로 오버플로우 하는 것을 막을 수 있다.
이는 종래 기술의 시스템에서는 양안차 값이 일정한 범위의 양의 값만을 가질 수 있었으나, 본 발명의 시스템은 카메라 광축의 각에 따라 측정 범위에 맞는 양안차 값의 범위가 달라지도록 하여 가능하게 된다.
즉, 본 발명은 최상위 프로세싱 엘리먼트가 최대 양안차 값을 나타내고 최하위 프로세싱 엘리먼트가 최소 양안차 값을 나타내며 베이스 프로세싱 엘리먼트는 양안차 값을 '0'으로 하는 프로세싱 엘리먼트라고 가정할 때 양안차 값을 '0'으로 가지는 베이스 프로세싱 엘리먼트의 위치를 적절히 설정함으로 해서 출력되는 양안차의 기준 오프셋값 즉, 크기값을 조절할 수 있다.
그리고, 본 발명은 최상위,최하위 및 베이스 프로세싱 엘리먼트의 설정에 따라 양안차의 최대 및 최소 범위를 한정 지을 수 있으므로 외부 측정 환경에서 발생될 수 있는 잡음에 의해 양안차 수치 범위를 넘어 버린 경우 잘못된 양안차 출력을 막아 주기 위하여 양안차 수치 범위 한정 수단을 구비한다.
실제로 시스템을 ASIC 칩으로 구현하면 종래 기술의 실시간 입체 영상 정합 시스템은 결정 스택 구성 부분이 차지하는 공간이 전체 프로세서에서 많은 부분을 차지하게 되지만, 본 발명은 결정 스택을 값싼 외부 기억 장치로 대체함으로써 제작 비용 절감 효과를 가져 올 수 있다.
또한, 본 발명의 시스템은 통상 전방 프로세서와 후방 프로세서가 교대로 작동하기 때문에 한쪽 프로세서가 작동시 다른 쪽은 작동하지 않아 비효율적이고 처리 속도도 늦어지는 것으로 인식할 수 있다.
그러나, 본 발명은 결정 스택 기능을 하는 외부 기억 장치를 2개 부가하여 전방 프로세서에서 처리된 결정값을 제1 외부 기억 장치로 저장하는 동안 후방 프로세서가 제2 외부 기억 장치로부터 저장된 결정값을 읽어 들여 처리하고 다음 이미지 스캔라인(Scan Line)을 처리할 때 전방 프로세서에서 제2 외부 기억 장치로 결정값을 저장하는 동안 후방 프로세서가 제1 외부 기억 장치로부터 저장된 결정값을 읽어 들이는 과정을 수행하도록 한다.
따라서, 본 발명은 앞서 처리된 결정값을 2개의 기억 장치중 한쪽에 교대로 저장함으로써 전,후방 프로세서가 쉼없이 연속 동작하여 종래 기술의 시스템보다 2배 이상의 빠른 성능을 얻을 수 있다.
이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.
도1은 본 발명의 실시예를 보인 비평행 광축 실시간 입체 영상 처리 시스템의 블록도이다.
도1에 도시된 시스템은 광축 회전이 가능한 좌측 카메라(10) 및 우측 카메라(11)와, 이 좌측 및 우측 카메라(10,11)의 디지털 영상 신호를 임시 저장하거나 아날로그 영상 신호를 디지털 변환하여 각각 출력하는 영상 처리부(12)와, 좌측 및 우측 디지털 영상으로부터 결정값을 계산하여 양안차값을 출력하는 영상 정합부(SMC2 ; Stereo Matching Chip2)(13)와, 상기 양안차에 의한 영상을 디스플레이하는 사용자 시스템(16)과, 상기 결정값을 교대로 저장하여 상기 영상 정합부(13)에 제공하기 위한 제1,제2 기억장치(14)(15)로 구성한다.
도1에서 카메라(10)(11)의 회전축은 도시되어 있지 않으나, 카메라(10)(11)의 렌즈부를 구성하는 경통부를 회전시키거나 도1에서와 같이 카메라 몸체 전체를 회전시키는 기술은 당업자에게는 명백한 기술이기 때문에 그 상세한 설명은 생략하기로 한다.
도2는 도1에서 영상 정합부(SMC2)(13)의 상세도이다.
도2의 영상 정합부(13)는 각각 N/2개로 구성되어 영상 처리부(12)의 디지털 좌측 및 우측 영상 신호를 각기 저장하는 좌측 및 우측 영상 레지스터(20)(21)와, 클럭 신호(CLKE, CLKO)에 의해 상기 좌,우측 영상 레지스터(20)(21)로부터의 좌측 및 우측 영상으로부터 결정값을 계산하여 양안차값(Dout)을 출력하는 N개의 프로세싱 엘리먼트(22)와, 선택 신호에 의해 제1,제2 기억장치(14)(15)와 교대로 결정값을 주고 받는 결정값 버퍼(24)와, 외부로부터 제어신호를 받아 설정 신호(Top, Bottom, Base, Reset)로 상기 프로세싱 엘리먼트(22)를 설정하는 제어부(23)로 구성된다.
도3은 도2에서 프로세싱 엘리먼트(22)의 상세도이다.
도3의 프로세싱 엘리먼트(22)는 영상 레지스터(20)(21)에 저장된 한 스캔 라인의 픽셀을 입력으로 하여 정합 코스트 및 결정값을 출력하고 피사체를 보는 2개의 카메라간의 각도 및 결정값의 최대 및 최소에 따라 적절한 설정이 되는 베이스(Base) 및 리셋(Reset) 신호와 결정값의 최대 및 최소에 따라 결정되는 톱(Top) 신호, 버텀(Bottom) 신호의 입력을 받는 전방 프로세서(Forward Processor)(30)와, 상기 결정값 버퍼(24)에서 출력되는 결정값(Dbin)을 입력으로 양안차를 출력하고 베이스(Base) 및 리셋(Reset) 신호 입력을 받아 설정되는 후방 프로세서(Backward Processor)(31)로 구성된다.
도4는 도3에서 전방 프로세서(30)의 상세도이다.
도4의 전방 프로세서(30)는 영상 레지스터(20)(21)로부터 출력되는 한 라인의 각 픽셀의 차로 정합 코스트를 계산하는 절대값 계산기(40)와, 이 절대값 계산기(40)에서 계산된 정합 코스트와 피드백된 전체 코스트를 가산하는 제1 가산기(41)와, 이 제1 가산기(41)의 출력과 프로세싱 엘리먼트(22)의 코스트들을 입력으로 3개의 코스트들중 톱(Top) 및 버텀(Bottom) 설정 신호에 맞게 비교하여 가장 작은 코스트를 출력하는 한정 비교기(42)와, 이 한정 비교기(42)의 비교 결과로 출력되는 가장 작은 코스트를 전체 코스트로 저장하고 베이스(Base) 및 리셋(Reset) 설정 신호를 입력받아 설정되는 코스트 레지스터(43)와, 이 코스트 레지스터(43)에 저장된 전체 코스트와 오클루션 정보를 가산하여 프로세싱 엘리먼트(22)로 출력하는 제2 가산기(44)를 포함하여 구성된다.
도5는 도4에서 한정 비교기(42)의 상세도이다.
도5의 한정 비교기(42)는 한정 설정 장치(50)와 비교기(51)를 포함하여 구성한다.
상기 한정 설정 장치(50)는 상위 코스트(uCost)와 하위 코스트(dCost)를 비교하여최소 코스트(MinCoSt)를 출력하는 비교기(52)와, 상위 코스트(uCost) 또는 하위 코스트(dCost)를 선택하여 상기 비교기(51)로 출력하는 멀티플렉서(MUX)(53)와, 버텀 신호(Bottom)와 상기 비교기(52)의 출력을 받아 들여 앤드(AND) 연산하는 앤드게이트(54)와, 톱신호(Top)와 상기 앤드게이트(54)의 출력을 오아(OR) 연산하여 상기 멀티플렉서(53)를 동작시키는 오아게이트(55)를 구비하여 구성한다.
상기 비교기(51)는 한정 설정 장치(50)로부터의 출력 코스트와 합산 코스트(mCost) 중 최소 코스트(MinCost)를 선택하여 출력하도록 구성한다.
즉, 한정 비교기(42)는 상위 프로세싱 엘리먼트임을 알리는 톱(Top)신호가 활성화될 때 상위 코스트(uCost)의 선택을 막고 버텀(Bottom) 신호가 활성화될 때 하위 코스트(dCost)의 선택을 막는 기능을 하며 그 외의 경우에는 상위 코스트(uCost)와 하위 코스트(dCost)와 합산 코스트(mCost)중 최소 코스트(MinCost)를 선택하는 기능을 하도록 구성된다.
다시 말하면, 상기 비교기(52)는 두 입력(uCost, dCost)을 비교해서 2개의 값을 출력하는데, 위쪽 출력은 최소값을 나타내고 아래쪽 출력은 입력값들중 어느 쪽이 최소인지를 나타낸다.
상기 멀티플렉서(53)는 오아게이트(55)의 출력값에 따라 두 입력값(uCost, dCost)중 한 값을 선택하여 출력한다.
상기 앤드게이트(54)는 1비트의 두 입력 신호가 모두 '1'일 때만 '1'을 출력하고 나머지는 '0'을 출력한다.
상기 오아게이트(55)는 1비트의 두 입력 신호가 모두 '0'일 때만 '0'을 출력하고나머지는 '1'을 출력한다.
도6은 도4에서 코스트 레지스터(43)의 상세도이다.
도6의 코스트 레지스터(43)는 비교기(42)의 출력을 래치하도록 셋/리셋되는 D-플립플롭(62)(63)과, 리셋(Reset) 신호를 입력으로 베이스(Base) 신호에 따라 상기 D-플립플롭(62)을 셋(set) 또는 리셋(Reset)시키는 디멀티플렉서(DEMUX)(61)로 구성한다.
상기 D-플립플롭(63)은 고정값('1')에 의해 셋되지 않고 리셋(Reset) 신호에 의해만 리셋되도록 구성한다.
도7은 도3에서 후방 프로세서(31)의 상세도이다.
도7의 후방 프로세서(31)는 리셋(Reset) 신호를 입력받아 베이스(Base) 신호에 따라 활성 레지스터의 셋 입력 또는 리셋 입력으로 보내주는 디멀티플렉서(73)와, 이 디멀티플렉서(73)의 출력에 의해 셋/리셋이 가능한 D-플립플롭으로 구성되는 코스트 레지스터인 활성 레지스터(71)와, 각 입력을 논리 합하여 상기 활성 레지스터(71)로 출력하는 오아 게이트(70)와, 상기 활성 레지스터(71)의 출력을 결정값(Dbin)에 따라 출력하는 디멀티플렉서(72)와, 결정값(Dbin)을 상기 활성 레지스터(71)의 출력에 따라 출력하는 3상태 버퍼(74)를 포함하여 구성한다.
상기 3상태 레지스터(74)는 입력값이 '1'일 때 그 입력값을 그대로 출력하고 그 이외의 경우에는 하이 임피던스 상태가 되어 어느 것도 출력하지 않도록 구성한다.
이와같이 구성한 본 발명의 실시예에 대한 동작 및 작용 효과를 도1 내지 도7을 참조하여 상세히 설명하기로 한다.
좌측 카메라(10) 및 우측 카메라(11)로 물체의 영상을 얻으면 영상 처리부(12)가 영상 처리를 하여 디지털로 변환한 좌측 영상과 우측 영상을 픽셀 단위로 영상 정합부(13)로 출력하게 된다.
좌측 영상과 우측 영상의 한 스캔 라인 픽셀 데이터를 순차적으로 입력받는 동시에 영상 정합부(13)는 좌측 영상과 우측 영상을 연산하여 결정값을 계산하고 제1,제2 기억장치(14)(15)중 한쪽 기억장치에는 상기에서 계산된 결정값을 쓰고 다른 한쪽 기억장치에서는 이전에 쓰여진 결정값을 읽어 들이는 동작을 교대로 수행하면서 상기에서 읽은 결정값으로부터 양안차 값을 계산하여 사용자 시스템(16)으로 출력하게 되는데, 양안차를 출력하는 과정은 한쌍의 영상의 모든 스캔 라인에 대하여 반복적으로 수행하게 된다.
상기 영상 정합부(13)가 한쌍의 스캔 라인을 처리하는 과정에 대하여 설명하면 다음과 같다.
상기 영상 정합부(13)는 도2와 같이, 각기 N/2개의 영상 레지스터(20)(21), N개의 프로세싱 엘리먼트(22), 제어부(23) 그리고, 제1,제2 기억장치(14)(15)와 상기 프로세싱 엘리먼트(22)간의 결정값 입출력을 위한 결정값 버퍼(24)로 구성된다.
상기 영상 레지스터(20)(21)는 영상 처리부(12)에서 디지털 변환된 우측 영상과 좌측 영상의 한 스캔 라인의 픽셀 데이터를 입력받아 프로세싱 엘리먼트(22)에 출력하게 된다.
상기 프로세싱 엘리먼트(22)는 영상 레지스터(20)(21)로부터 동시에 영상을 입력받는다.
상기 프로세싱 엘리먼트(22)는 지정된 최대 양안차까지 선형 어레이 형태로 복제될 수 있고 각 프로세싱 엘리먼트(22)는 이웃하는 프로세싱 엘리먼트와 정보를 교환할 수 있다. 이 구조는 프로세싱 엘리먼트(22)의 갯수에 제한없이 최대 속도로 동작할 수 있게 한다.
상기 영상 레지스터(20)(21) 및 프로세싱 엘리먼트(22)는 시스템 클럭이 2개로 나위어진 내부 클럭(CLKE)(CLKO)에 의해 제어된다. 상기 클럭(CLKE)는 짝수번째의 시스템 클럭 싸이클에 토글되어(최초의 시스템 클럭 싸이클을 '0'으로 가정한다) 우측 영상을 저장하기 위한 영상 레지스터(20) 및 짝수번째의 프로세싱 엘리먼트(22)에 공급되고 상기 클럭(CLKO)는 홀수번째의 시스템 클럭 싸이클에 토글되어 좌측 영상을 저장하기 위한 영상 레지스터(21) 및 홀수번째의 프로세싱 엘리먼트(22)에 공급된다.
따라서, 영상 레지스터(20)와 짝수번째의 프로세싱 엘리먼트(22)로부터 시작하여 매 시스템 클럭 싸이클마다 영상 레지스터(20 또는 21) 및 짝수번째 또는 홀수번째의 프로세싱 엘리먼트(22)가 동작하게 된다.
상기 영상 레지스터(20)(21)에는 해당하는 매 시스템 클럭마다 한 픽셀의 영상 데이터가 저장되고 각각 활성화된 프로세싱 엘리먼트는 좌측 및 우측 영상으로부터 결정값을 계산한다.
이때, 결정값 버퍼(24)는 프로세싱 엘리먼트(22)에서 계산된 결정값을 제1 기억장치(14) 또는 제2 기억장치(15)에 교대로 쓰고 상기 제1 기억장치(14) 또는 제2 기억장치(15)로부터 결정값을 교대로 읽어 상기 프로세싱 엘리먼트(22)로 입력시키는동작을 수행한다.
즉, 상기 결정값 버퍼(24)는 선택 신호에 의해 프로세싱 엘리먼트(22)에서 계산된 결정값을 제1,제2 기억장치(14)(15)중 한쪽 기억 장치로 쓰고 상기 제1,제2 기억장치(14)(15)중 다른 한쪽 기억장치로부터 읽은 결정값을 프로세싱 엘리먼트(22)로 입력시킨다.
상기 프로세싱 엘리먼트(22)는 결정값 버퍼(24)가 제1 기억장치(14) 또는 제2 기억장치(15)로부터 교대로 읽은 결정값을 연산하여 양안차 값을 계산하여 사용자 시스템(16)으로 출력한다. 양안차 값은 '-1','0','+1'과 같이 증감 형태로 출력되거나 실제 양안차 값을 가질 수 있다.
또한, 초기에 상기 제어부(23)는 외부의 제어 신호를 받아 N개의 프로세싱 엘리먼트(22)에 톱(Top), 버텀(Bottom), 베이스(Base) 및 리셋(Reset) 신호를 입력시킨다.
이때, 원하는 양안차값 범위 내에 해당되는 곳에 있는 프로세싱 엘리먼트들(22) 중 최상위 프로세싱 엘리먼트에 톱(Top) 신호를 활성화시키고 최하위 프로세싱 엘리먼트에 버텀(Bottom) 신호를 활성화시킨다.
그리고, 피사체와의 거리에 따른 한쌍의 카메라(10)(11)의 광축 각도에 따라 톱(Top) 신호에 의해 활성화된 프로세싱 엘리먼트와 버텀(Bottom) 신호에 의해 활성화된 프로세싱 엘리먼트 사이에서 원하는 양안차값이 최적으로 나오도록 하기 위하여 양안차값이 '0'에 해당되는 적절한 위치의 프로세싱 엘리먼트에 베이스(Base) 신호를 활성화시킨다.
상기 프로세싱 엘리먼트(22)는 도3에 도시한 바와 같이 전방 프로세서(30)와 후방 프로세서(31)로 구성된다.
초기에 상기 전방 프로세서(30)의 코스트 레지스터값과 상기 후방 프로세서(31)의 활성 레지스터값이 활성화된 리셋(Reset) 신호에 의해 설정된다.
즉, 초기에 활성화된 베이스(Base) 신호가 입력되는 프로세싱 엘리먼트(22)는 전방 프로세서(30)의 코스트 레지스터값이 '0'으로 되고 후방 프로세서(31)의 활성 레지스터값이 '1'로 된다.
반대로, 초기에 비활성화된 베이스(Base) 신호가 입력되는 프로세싱 엘리먼트(22)는 전방 프로세서(30)의 코스트 레지스터값이 가능한 최대치가 되며 후방 프로세서(31)의 활성 레지스터값이 '0'이 된다.
상기 전방 프로세서(30)는 좌/우 영상의 한쌍의 스캔 라인을 클럭(CLKE)(CLKO)에 의해 처리하여 결정값(Dbin)을 계산하고 그 결정값(Dbin)을 결정값 버퍼(24)를 통해 제1 기억장치(14) 또는 제2 기억장치(15)에 저장한다.
상기 후방 프로세서(31)는 결정값 버퍼(24)를 통해 제1 기억장치(14) 또는 제2 기억장치(15)로부터 읽은 결정값을 연산하여 양안차 값을 계산하고 그 양안차값을 클럭(CLKE)(CLKO)에 의해 출력한다.
이때, 상기 제1,제2 기억장치(14)(15)는 한쪽 기억장치에 전방 프로세서(30)에서 계산된 결정값이 쓰여지는 동안 다른쪽 기억장치에서는 후방 프로세서(31)로 결정값이 입력된다.
이 후, 다음 스캔 라인을 처리할 때 전방 프로세서(30)는 선택 신호를 반전시켜 결정값(Dbin)을 저장하기 위한 기억장치를 전환하게 되고 후방 프로세서(31)도 전환된 기억장치로부터 결정값을 읽어 처리하게 된다.
상기 전방 프로세서(30)는 절대값 계산기(40), 가산기(41)(44), 한정 비교기(42) 그리고, 코스트 레지스터(43)를 구비하여 도4에 도시된 바와 같이 구성된다.
상기 절대값 계산기(40)는 우측 영상 레지스터(20)의 픽셀(Rin) 및 좌측 영상 레지스터(21)의 픽셀(Lin)의 절대값의 차로부터 정합 코스트를 계산하고 가산기(41)는 상기 정합 코스트를 피드백된 전체 코스트와 합산하여 그 합산 코스트(mCost)를 한정 비교기(42)로 출력한다.
상기 한정 비교기(42)는 비교기(51)(52), 멀티플렉서(53), 앤드게이트(54) 그리고, 오아게이트(55)를 구비하여 도5에 도시된 바와 같이 구성된다.
상기 한정 비교기(42)는 제어부(23)가 다시 설정하기 까지 계속 유지되는 톱(Top) 신호 또는 버텀(Bottom) 신호에 의해 연산에 영향을 받는다.
우선, 톱(Top) 신호가 활성화되는 경우 한정 비교기(42)는 3개의 코스트(uCost, dCost, mCost)중 상위 코스트(uCost)를 비교 대상에서 배제한 후 하위 코스트(dCost)와 합산 코스트(mCost)만을 비교하여 최소 코스트(MinCost)를 출력하고 결정값(Dcout = Dfout)을 출력한다.
즉, 톱(Top) 신호가 활성화된 경우 그 톱(Top) 신호가 입력된 오아게이트(55)가 결정값(Dcout = Dfout)을 '1'로 출력하며 그 결정값(Dcout)에 의해 멀티플렉서(53)가 하위 코스트(dCost)를 선택하여 비교기(51)로 입력시키므로 상기 비교기(51)는 하위 코스트(dCost)와 합산 코스트(mCost)를 비교하여 최소 코스트(MinCost)를 출력하게 된다.
그리고, 버텀(Bottom) 신호가 활성화되는 경우 상기 한정 비교기(42)는 3개의 코스트(uCost, dCost, mCost)중 하위 코스트(dCost)를 비교 대상에서 배제한 후 상위 코스트(uCost)와 합산 코스트(mCost)만을 비교하여 최소 코스트(MinCost)를 출력하고 결정값(Dbin)을 출력한다.
즉, 상위 코스트(uCost)가 최소인 경우이므로 비교기(52)가 '0'값을 출력하여 앤드게이트(54)의 한쪽 입력단자로 입력시키며 활성화된 버텀(Bottom) 신호는 반전되어 상기 앤드게이트(54)의 다른쪽 입력단자로 입력되므로 상기 앤드게이트(54)의 출력신호가 '0'이 되고 톱(Top) 신호가 비활성화된 상태이므로 오아게이트(55)에서 출력되는 결정값(Dcout = Dfout)가 '0'으로 출력된다.
따라서, 멀티플렉서(53)가 상위 코스트(uCost)를 선택하여 비교기(51)로 입력시키므로 상기 비교기(51)는 상위 코스트(uCost)와 합산 코스트(mCost)를 비교하여 최소 코스트(MinCost)를 출력하게 된다.
또한, 톱(Top) 신호 및 버텀(Bottom) 신호가 모두 활성화되지 않는 경우 한정 비교기(42)는 3개의 코스트(uCost, dCost, mCost)중에서 최소 코스트(MinCost)를 출력하고 결정값(Dcout)을 출력한다.
상기와 같이 동작하는 한정 비교기(42)가 출력하는 최소 코스트(MinCost)는 클럭이 가해질 때마다 새로운 전체 코스트가 되어 코스트 레지스터(43)에 저장된다.
상기 코스트 레지스터(43)는 디멀티플렉서(DEMUX)(61), D-플립플롭(62)(63)을 구비하여 도6에 도시한 바와 같이 구성된다.
상기 D-플립플롭(62)에는 최소 코스트(MinCost =)중 하위 12 비트가 저장되고 상기 D-플립플롭(63)에는 상위 4비트가 저장된다.
상기 디플티플렉서(61)는 리셋(Reset) 신호를 입력으로 베이스(Base) 신호에 따라 셋(Set) 신호 또는 리셋(Reset) 신호를 상기 D-플립플롭(62)에 입력시키게 된다.
상기 D-플립플롭(63)은 고정된 값 '1'에 의해 셋(Set)되지 않고 리셋(Reset) 신호에 의해서만 리셋된다.
상기 D-플립플롭(62)(63)의 출력 신호()은 가산기(44)에 출력된다.
상기 가산기(44)는 오클루션 정보()와 코스트 레지스터(43)에 저장된 전체 코스트를 합산하고 그 합산값(Uout)을 인접하는 프로세싱 엘리먼트로 출력한다. 상기 오클루션 정보()는 상수값이다.
또한, 후방 프로세서(31)는 제1 기억장치(14) 또는 제2 기억장치(15)로부터 읽어 들인 결정값(Dbin)을 연산하여 최적의 양안차를 계산하는 동작을 수행한다.
상기 후방 프로세서(31)는 도7에 도시한 바와 같이, 오아게이트(70), 활성 레지스터(71), 디멀티플렉서(72)(73), 3상태 버퍼(74)로 구성된다.
상기 활성 레지스터(71)는 제어부(23)에 의해 활성화된 리셋(Reset) 신호와 함께 사용되는 베이스(Base) 신호에 의해 초기에 리셋되어진다.
상기 오아게이트(70)는 인접한 프로세싱 엘리먼트(22)의 활성 비트 경로(Ain1, Ain2)와 피드백된 활성 비트 경로(Aself)를 논리합하여 활성 레지스터(71)로 출력한다. 상기 입력 단자(Ain1)는 아래에 인접한 프로세싱 엘리먼트의 출력 단자(Aout2)에 연결되고, 상기 입력 단자(Ain2)는 위에 인접한 프로세싱 엘리먼트의 출력 단자(Aout1)에 연결되는데, 상기 입력(Ain1)(Ain2)는 활성 비트가 전달될 경로를 나타낸다.
따라서, 활성 비트(Aself)가 하이 상태이면 오아게이트(70)의 출력신호가 하이 상태가 된다.
상기 입력 신호(Aself)는 활성 비트의 내부 경로로 클럭이 인가되었을 때 활성 레지스터(71)에서의 활성 비트의 상태를 유지하도록 하며 그 활성 비트의 새로운 값은 후방 프로세서(31)에 클럭이 인가될 때 활성 레지스터(71)에 설정된다.
상기 디멀티플렉서(72)는 제1 기억장치(14) 또는 제2 기억장치(15)로부터 읽은 결정값(Dbin)에 의해 제어된다.
상기 디멀티플렉서(72)의 출력 신호(Aout1, Aself, Aout2)는 상기 결정값(Dbin)이 각각 -1, 0, +1 인 경우에 활성 비트와 동일한 값을가진다.
상기 3상태 버퍼(74)는 활성 레지스터(71)에서의 활성 비트가 하이 상태이면 결정값(Dbin)을 양안차 값(Dbout = Dout)으로 출력한다. 만일, 활성 레지스터(71)에서의 활성 비트가 로우 상태이면 상기 3상태 버퍼(74)의 출력 신호(Dbout)는 하이 임피던스 상태가 되어 다른 프로세싱 엘리먼트에 구비된 다른 후방 프로세서의 출력을 방해하지 않도록 된다.
그리고, 결정값(Dbin) 대신에 프로세서의 번호를 출력할 수 있다.
이는 결정값(Dbin)을 출력하여 양안차 값의 상대적 변경을 나타내는 경우와는 달리 실제의 양안차 값을 나타내게 된다.
한편, 본 발명의 실시예에서 스캔 라인 쌍에서 각 픽셀의 정합 과정을 위한 알고리즘을 설명하면 다음과 같다.
제어부(23)는 아래와 같이 톱(Top), 버텀(Bottom), 베이스(Base) 신호들을 설정한다.
톱(Top) 신호가 활성화된 프로세싱 엘리먼트 번호 :
버텀(Bottom) 신호가 활성화된 프로세싱 엘리먼트 번호 :
베이스(Base) 신호가 활성화된 프로세싱 엘리먼트 번호 :
: j번째 프로세싱 엘리먼트의 i번째 클럭에서의 전방 프로세서(30)의 코스트 레지스터 값이다. 즉,는 i번째 스텝의 j번째 전방 프로세서(30)의 코스트 레지스터값을 나타낸다.
,는 제1 기억장치(14) 또는 제2 기억장치(15)에 하나씩 대응되며, 전방 프로세서(30)의 출력값인 결정값을 저장한다.
는 각 스텝별 양안차값을 나타낸다.
,는 각각 좌우 영상에서 동일한 수평 라인 위치 상의 i번째 픽셀값을 나타낸다.
1. 초기화 동작을 설명하면 다음과 같다.
우선, 초기화시에는번째 코스트 레지스터를 제외한 모든 코스트 레지스터의 비용을 무한대로 설정한다.
,
2. 전방 프로세싱과 후방 프로세싱의 동작을 설명하면 다음과 같다.
전방 프로세싱 : 각 스템과 사이트 i에 대하여 가장 좋은 경로와 비용을 찾는다.
후방 프로세싱 : 전방 프로세싱의 결과인 결정값에 의해 양안차값을 생성 출력한다.
여기서, 감마()는 오클루젼 코스트(Occlusion Cost)로서 각각의 이미지에서 어떤 픽셀들이 다른 이미지와 정합하지 않는 픽셀에 대응될 경우의 코스트인데 파라미터에 의해 정해진다.
기존의 실시간 입체 영상 처리 시스템에서 코스트 레지스터(43)를 초기화할 때 제어부(23)에서 정해져 나온 베이스(Base) 신호의 활성 여부에 따라 전방 프로세서(30)의 D-플립플롭(60)의 초기화값과 후방 프로세서(31)의 활성 레지스터(71)의 초기값이 달라진다.
상기 활성 레지스터(71)는 제어부(23)에 의해 활성화된 리셋(Reset) 신호와 함께 사용되는 베이스(Base) 신호에 의해 초기에 리셋되어진다.
전방 프로세서(30)에서 출력되는 결정값이에 저장되고 동시에 후방 프로세서(31)는 전 스캔 라인에서 저장된의 결정값(Dout)을 읽어내며와는 제1 기억장치(14)와 제2 기억장치(15)로 대응되며, 동시에 수행되는 전방 프로세싱과 후방 프로세싱이 끝나면와는 제2 기억장치(15)와 제1 기억장치(14)로 각각 바뀌어서 다음 프로세싱을 처리하고, 그 프로세싱이 끝나면 다시 역할이 바뀌어지는 방식으로 구성된다.
이 알고리즘의 특성과 구현 방법에 의해서 전방 및 후방 프로세싱은 프로세싱 엘리먼트를 이용하여 병렬적으로 처리된다.
상기에서 설명한 바와 같이 본 발명은 최적화된 동적 알고리즘을 구현함으로써 관측 시야 공간 확장, 영상 정합 효율 증대, 외부 잡음에 대한 시스템 안정화 향상,제작 비용 감소 및 처리 속도 향상 등을 가능하도록 하는 효과가 있다.

Claims (16)

  1. 피사체의 원,근거리에 따른 최적의 관측을 위한 좌측 카메라 및 우측 카메라의 광축각 조절 수단과, 상기 좌측 및 우측 카메라의 디지털 영상 신호의 임시 저장 또는 아날로그 영상신호를 디지털 변환하는 영상 처리부와, 상기 디지털 좌측 및 우측 영상신호로부터 설정에 의해 조절된 결정값을 계산하여 양안차값을 출력하는 영상 정합부와, 상기 결정값을 저장하거나 또는 그 저장된 결정값을 그로부터 읽기 위한 제1 기억장치와 제2 기억장치를 포함하는 비평행 광축 실시간 입체 영상 처리 시스템.
  2. 제1항에 있어서, 양안차값에 의한 영상을 디스플레이하는 수단을 더 포함하는 것을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  3. 제1항에 있어서, 상기 영상 정합부는 상기 좌측 카메라와 우측 카메라의 디지털 영상 픽셀을 저장하는 저장 수단과, 설정 신호로 설정되며, 클럭신호에 의해 좌측 및 우측 영상으로부터 결정값 및 양안차를 출력하는 프로세싱 수단과, 상기 제1 기억장치 및 제2 기억장치로부터 교대로 결정값을 주고 받는 것을 가능하게 하는 결정값 버퍼 수단과, 제어 신호를 받아 상기 설정 신호들을 출력하여 프로세싱 수단을 설정하는 제어부를 포함하는 것을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  4. 제3항에 있어서, 상기 프로세싱 수단을 설정하는 제어부는 양안차값 범위내에 해당되는 곳에 있는 프로세서들 중에서 최상위이면 활성화되는 최상위 프로세싱 수단의 설정 신호와, 양안차값 범위 내에 해당되는 곳에 있는 프로세서들 중에서 최하위이면 활성화되는 최하위 프로세싱 수단의 설정 신호와, 양안차값 범위 내에 해당되는 곳에 있는 프로세서들 중에서 양안차 값이 '0'에 해당되는 곳에 위치해 있으면 활성화되는 베이스(Base) 프로세싱 수단의 설정 신호와, 리셋(Reset) 설정 신호를 각각의 프로세싱 수단에 입력하는 것을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  5. 제3항에 있어서, 상기 결정값 버퍼 수단은 상기 프로세싱 수단에 출력되는 상기 결정값을 선택 신호에 의해 상기 제1 기억장치 또는 제2 기억장치로 교대로 저장 가능하게 하거나, 상기 프로세싱 수단의 입력으로 사용하기 위하여 상기 선택 신호에 의해 상기 제1 기억장치 또는 제2 기억장치로부터 상기 결정값을 읽기 가능하게 함을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  6. 제3항에 있어서, 상기 프로세싱 수단은 최상위 프로세싱 수단의 설정 신호와 최하위 프로세싱 수단의 설정 신호, 베이스(Base) 프로세싱 수단의 설정 신호, 리셋(Reset) 설정 신호를 입력으로 하는 전방 프로세싱 수단과, 상기 베이스(Base) 프로세싱 수단의 설정 신호, 리셋(Reset) 설정 신호를 입력으로 하는 후방 프로세싱 수단을 포함하는 것을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  7. 제6항에 있어서, 상기 전방 프로세싱 수단에서 출력되는 결정값이 결정값 버퍼 수단의 입력이 되는 구조, 결정값 버퍼 수단의 출력값인 결정값이 후방 프로세싱 수단의 입력이 되는 구조를 채용함으로써 기존의 실시간 입체 영상 처리 시스템에서 사용되는 프로세싱 수단의 구성 요소로서 결정 스택을 구비하지 않는 것을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  8. 제6항에 있어서, 상기 전방 프로세싱 수단은 최상위 프로세싱 수단의 설정 신호와 최하위 프로세싱 수단의 설정 신호를 입력으로 하는 한정 비교 수단과, 상기 한정 비교 수단의 출력을 저장하고 베이스(Base) 프로세싱 수단의 설정 신호와 리셋(Reset) 설정 신호를 입력으로 가지는 코스트 저장 수단을 포함하는 것을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  9. 제8항에 있어서, 한정 비교 수단은 입력되는 상기 3개의 코스트중 상/하위 코스트를 입력으로 하며 최상위 프로세싱 수단임을 알리는 최상위 프로세싱 수단의 설정 신호가 활성화될 때 하위 코스트를 선택하고 최하위 프로세싱 수단임을 알리는 최하위 프로세싱 수단의 설정 신호가 활성화될 때 상위 코스트를 선택하며 그 외의 경우에는 입력되는 2개의 코스트중 최소 코스트를 선택하는 한정 설정 수단과, 상기 한정 설정 수단의 3개의 입력중 상/하위가 아닌 나머지 한 개의 입력과 상기 한정 설정 수단으로부터 출력되는 값 중 최소 코스트를 선택하는 비교기로 구성하는 것을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  10. 제9항에 있어서, 상기 코스트 저장 수단은 리셋(Reset) 설정 신호를 베이스(Base) 프로세싱 수단의 설정 신호에 따라 코스트 저장 수단의 셋(Set) 입력 또는 리셋(Reset) 입력으로 보내 주는 디멀티플렉서와, 셋/리셋이 가능한 D-플립플롭을 구비하여 구성하는 것을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  11. 제9항에 있어서, 상기 코스트 저장 수단은 리셋(Reset) 설정 신호시 베이스(Base) 프로세싱 수단의 설정 신호가 활성화된 프로세싱 수단의 코스트 저장 수단이 나머지 프로세싱 수단의 코스트 저장 수단의 값보다 작은 최소값을 가지도록 함을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  12. 제6항에 있어서, 상기 후방 프로세싱 수단은 리셋(Reset) 설정 신호를 베이스(Base) 프로세싱 수단의 설정 신호에 따라 코스트 레지스터의 셋(Set) 입력 또는 리셋(Reset) 입력으로 보내 주는 디멀티플렉서와, 이 디멀티플렉서에 의해 셋/리셋이 되는 D-플립플롭으로 구성하는 것을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  13. 제12항에 있어서, 상기 활성 저장 수단은 리셋(Reset) 설정 신호시 베이스(Base) 프로세싱 수단의 설정 신호가 활성화된 프로세싱 수단의 활성 저장 수단만을 활성화되도록 구성함을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  14. 한쌍의 카메라간 각도 조절 수단과, 측정 거리에 따른 최적의 영상 매칭을 위해 양안차의 최대값과 최소값을 조절 가능케 하는 수단과, 처리 속도 향상을 위해 후방 프로세서와 전방 프로세서가 쉼없이 작업을 할 수 있게 하는 2개의 기억장치를 사용하여 파이프 라인 구조를 가지는 처리 수단을 포함하여 구성하는 것을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  15. 한쌍의 비평행 광축 사이의 각을 조절함에 의해 최적으로 관측 가능케 하는 수단과, 카메라 광축 사이의 각 크기에 따른 결정값을 출력하고 양안차의 오프셋값을 조절하고 양안차 수치 범위를 한정하는 프로세싱 엘리먼트 설정 수단과, 상기 결정값을 외부 기억장치에 대해 저장 및 독출하는 수단과, 상기 결정값을 저장 또는 읽기 위해 제1,제2 기억장치를 교대로 사용하는 인터페이스 수단을 포함하여 구성함을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 시스템.
  16. 피사체의 원,근거리에 따른 최적의 관측 및 효율적인 영상 정합을 위한 좌측 카메라 및 우측 카메라의 광축값을 조절하는 단계와, 좌측 및 우측 카메라의 영상 신호를 디지털 변환하는 변환 단계와, 디지털 좌측 및 우측 영상 신호로부터 설정에 의해 조절된 결정값을 계산하여 양안차값을 출력하는 단계와, 상기 결정값을 저장하거나 또는 그로부터 읽기 위한 제1,제2 기억장치를 교대로 사용하는 단계로 이루어짐을 특징으로 하는 비평행 광축 실시간 입체 영상 처리 방법.
KR10-2001-0055533A 2001-09-10 2001-09-10 비평행 광축 실시간 입체 영상 처리 시스템 및 방법 KR100424287B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR10-2001-0055533A KR100424287B1 (ko) 2001-09-10 2001-09-10 비평행 광축 실시간 입체 영상 처리 시스템 및 방법
PCT/KR2002/001700 WO2003024123A1 (en) 2001-09-10 2002-09-10 Non-parallel optical axis real-time three-dimensional image processing system and method
EP02770293A EP1454495A1 (en) 2001-09-10 2002-09-10 Non-parallel optical axis real-time three-dimensional image processing system and method
JP2003528035A JP2005503086A (ja) 2001-09-10 2002-09-10 非平行光軸リアルタイム３次元（立体）映像処理システム及びその方法
US10/795,777 US20040228521A1 (en) 2001-09-10 2004-03-08 Real-time three-dimensional image processing system for non-parallel optical axis and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0055533A KR100424287B1 (ko) 2001-09-10 2001-09-10 비평행 광축 실시간 입체 영상 처리 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20030021946A true KR20030021946A (ko) 2003-03-15
KR100424287B1 KR100424287B1 (ko) 2004-03-24

Family

ID=19714112

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0055533A KR100424287B1 (ko) 2001-09-10 2001-09-10 비평행 광축 실시간 입체 영상 처리 시스템 및 방법

Country Status (5)

Country Link
US (1) US20040228521A1 (ko)
EP (1) EP1454495A1 (ko)
JP (1) JP2005503086A (ko)
KR (1) KR100424287B1 (ko)
WO (1) WO2003024123A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100503820B1 (ko) * 2003-01-30 2005-07-27 학교법인 포항공과대학교 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법
TWI334798B (en) * 2007-11-14 2010-12-21 Generalplus Technology Inc Method for increasing speed in virtual third dimensional application
KR20110000848A (ko) * 2009-06-29 2011-01-06 (주)실리콘화일 3차원 거리정보 및 영상 획득 장치
TWI402479B (zh) * 2009-12-15 2013-07-21 Ind Tech Res Inst 深度感測方法及應用其之系統
JP2013077863A (ja) * 2010-02-09 2013-04-25 Panasonic Corp 立体表示装置および立体表示方法
WO2011108283A1 (ja) 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法
WO2011108277A1 (ja) * 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法
US9128367B2 (en) 2010-03-05 2015-09-08 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
KR101142873B1 (ko) 2010-06-25 2012-05-15 손완재 입체 영상 생성 방법 및 장치
KR20120051308A (ko) * 2010-11-12 2012-05-22 삼성전자주식회사 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
US8989481B2 (en) * 2012-02-13 2015-03-24 Himax Technologies Limited Stereo matching device and method for determining concave block and convex block
CN103512892B (zh) * 2013-09-22 2016-02-10 上海理工大学 电磁线薄膜绕包的检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63142212A (ja) * 1986-12-05 1988-06-14 Raitoron Kk ３次元位置計測方法及びその装置
JP2961140B2 (ja) * 1991-10-18 1999-10-12 工業技術院長 画像処理方法
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
US5383013A (en) * 1992-09-18 1995-01-17 Nec Research Institute, Inc. Stereoscopic computer vision system
JPH07175143A (ja) * 1993-12-20 1995-07-14 Nippon Telegr & Teleph Corp <Ntt> ステレオカメラ装置
US6326995B1 (en) * 1994-11-03 2001-12-04 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
JP3539788B2 (ja) * 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
EP0913351A1 (en) * 1997-09-12 1999-05-06 Solutia Europe N.V./S.A. Propulsion system for contoured film and method of use
JP2951317B1 (ja) * 1998-06-03 1999-09-20 稔 稲葉 ステレオカメラ
US6671399B1 (en) * 1999-10-27 2003-12-30 Canon Kabushiki Kaisha Fast epipolar line adjustment of stereo pairs
US6714672B1 (en) * 1999-10-27 2004-03-30 Canon Kabushiki Kaisha Automated stereo fundus evaluation
US6674892B1 (en) * 1999-11-01 2004-01-06 Canon Kabushiki Kaisha Correcting an epipolar axis for skew and offset
KR100374784B1 (ko) * 2000-07-19 2003-03-04 학교법인 포항공과대학교 실시간 입체 영상 정합 시스템
KR100392252B1 (ko) * 2000-10-02 2003-07-22 한국전자통신연구원 다안식 스테레오 카메라의 주시각 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치

Also Published As

Publication number Publication date
US20040228521A1 (en) 2004-11-18
WO2003024123A1 (en) 2003-03-20
KR100424287B1 (ko) 2004-03-24
JP2005503086A (ja) 2005-01-27
EP1454495A1 (en) 2004-09-08

Similar Documents

Publication Publication Date Title
KR100424287B1 (ko) 비평행 광축 실시간 입체 영상 처리 시스템 및 방법
KR100374784B1 (ko) 실시간 입체 영상 정합 시스템
US6847392B1 (en) Three-dimensional structure estimation apparatus
KR100503820B1 (ko) 시스톨릭 어레이를 이용한 멀티레이어 실시간 입체 영상정합 시스템 및 방법
US10027947B2 (en) Image processing apparatus and image processing method
JPH05108819A (ja) 画像処理装置
EP2453405B1 (en) Ultrasonic image processing apparatus
JP2006079584A (ja) 複数の映像ラインを利用した映像整合方法及びそのシステム
CN108989655B (zh) 图像处理装置
JP3990271B2 (ja) 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
CN110958362A (zh) 基于分块查表的图像校正系统及其方法
Jawed et al. Real time rectification for stereo correspondence
Valsaraj et al. Stereo vision system implemented on FPGA
KR100769460B1 (ko) 실시간 스테레오 영상 정합 시스템
JP2001118074A (ja) ３次元画像作成方法、３次元画像作成装置及びプログラム記録媒体
KR20220075028A (ko) 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
CN109643454B (zh) 集成cmos感应的立体图形整合系统及方法
CN105208373A (zh) 一种基于光场压缩采样的通用集成成像记录装置
JP2020194400A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020106502A (ja) 形状計測装置、制御方法及びプログラム
US9307133B1 (en) System and method of imaging for increasing image resolution
US11902676B2 (en) Image signal processor, operation method of image signal processor, and image sensor device including image signal processor
CN110274573B (zh) 双目测距方法、装置、设备、存储介质及计算设备
US20220286629A1 (en) Image sensor, operating method of image sensor, and electronic device including image sensor
US20240005448A1 (en) Imaging device and image processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070731

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee