KR20130057327A - 스테레오 매칭 시스템의 전처리 장치 - Google Patents

스테레오 매칭 시스템의 전처리 장치 Download PDF

Info

Publication number
KR20130057327A
KR20130057327A KR1020110123177A KR20110123177A KR20130057327A KR 20130057327 A KR20130057327 A KR 20130057327A KR 1020110123177 A KR1020110123177 A KR 1020110123177A KR 20110123177 A KR20110123177 A KR 20110123177A KR 20130057327 A KR20130057327 A KR 20130057327A
Authority
KR
South Korea
Prior art keywords
storage unit
unit
image
address
preprocessing
Prior art date
Application number
KR1020110123177A
Other languages
English (en)
Inventor
이준서
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020110123177A priority Critical patent/KR20130057327A/ko
Priority to TW101123871A priority patent/TW201322734A/zh
Priority to US13/543,070 priority patent/US20130127995A1/en
Priority to CN201210262985.6A priority patent/CN103136743B/zh
Priority to JP2012193811A priority patent/JP6235201B2/ja
Publication of KR20130057327A publication Critical patent/KR20130057327A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

스테레오 매칭 시스템의 전처리 장치가 개시된다. 본 발명의 전처리 장치는, 스테레오 카메라의 좌표정보를 저장하는 저장부와 상기 좌표정보를 이용하여 새로운 픽셀의 주소를 지정하고, 상기 새로운 픽셀의 주소를 이용하여 스테레오 카메라로부터 수신되는 좌영상 및 우영상을 교정하는 전처리부를 포함한다.

Description

스테레오 매칭 시스템의 전처리 장치{PREPROCESSING APPARATUS IN STEREO MATCHING SYSTEM}
본 발명은 3차원 영상의 전처리 기법에 관한 것으로서, 보다 상세하게는 스테레오 카메라 등에 사용되는 스테레오 매칭 시스템에서의 전처리 장치에 관한 것이다.
잘 알려진 바와 같이, 사람의 시각은 주위 환경의 정보를 얻기 위한 감각의 하나로서, 두 눈을 통해 사물의 위치와 멀고 가까움을 인지할 수 있다. 즉, 두 눈을 통해 들어오는 시각정보들이 하나의 거리정보로 합성되면서 자유롭게 활동하는 것이다.
이러한 시각구조를 기계로 구현할 때 사용되는 것이 스테레오 카메라 시스템이다.
스테레오 카메라 시스템에서는 두 개의 카메라를 이용하여 얻은 영상에 대하여 스테레오 매칭(stereo matching)을 수행하는데, 두 카메라의 외부구조와 내부구조가 다르다. 따라서, 두 카메라의 내부구조를 동일하게 하기 위하여, 종래의 스테레오 매칭 시스템에서는, 두개의 카메라 차이에 대한 참조 테이블을 작성하여, 테이블 값을 각각 적용하여, 전처리를 수행한다.
그러나, 이러한 참조 테이블을 사용하는 종래의 스테레오 카메라 시스템에서는, 비휘발성 메모리(ROM)를 다수개 사용하여야 하므로, 하드웨어의 크기가 커지고, 가격이 올라가게 되는 문제점이 있다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 비휘발성 메모리의 수를 줄이고, 스테레오 카메라의 웨이트 정보를 균일한 값으로 제공하여, 동일 성능을 유지하면서 하드웨어의 크기를 줄이고 가격을 줄이기 위한, 스테레오 매칭 시스템의 전처리 장치를 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위해, 본 발명의 전처리 장치는, 스테레오 카메라의 좌표정보를 저장하는 제1저장부; 및 상기 좌표정보를 이용하여 새로운 픽셀의 주소를 지정하고, 상기 새로운 픽셀의 주소를 이용하여 스테레오 카메라로부터 수신되는 좌영상 및 우영상을 교정하는 전처리부를 포함한다.
본 발명의 일실시예에서, 상기 제1저장부는, 상기 좌표정보 중 좌행 위치를 저장하는 제2저장부; 상기 좌표정보 중 좌열 위치를 저장하는 제3저장부; 상기 좌표정보 중 우행 위치를 저장하는 제4저장부; 및 상기 좌표정보 중 우열 위치를 저장하는 제5저장부를 포함하는 것이 바람직하다.
본 발명의 일실시예에서, 상기 제2저장부 내지 상기 제5저장부는, 각각 비휘발성 메모리인 것이 바람직하다.
본 발명의 일실시예에서, 상기 전처리부는, 상기 좌표정보를 이용하여, 영상의 새로운 픽셀의 주소를 지정하는 주소 생성부; 및 상기 새로운 픽셀의 주소와, 상기 스테레오 카메라의 웨이트 정보를 이용하여, 상기 좌영상 및 우영상을 보간하는 보간부를 포함하는 것이 바람직하다.
본 발명의 일실시예에서, 상기 전처리부는, 상기 스테레오 카메라로부터 수신되는 좌영상 및 우영상을 저장하는 제6저장부를 더 포함하는 것이 바람직하다.
본 발명의 일실시예에서, 상기 웨이트 정보는, 소정 값으로 상기 보간부에 제공되는 것이 바람직하다.
본 발명의 일실시예에서, 상기 제6저장부는, 휘발성 메모리인 것이 바람직하다.
본 발명의 일실시예에서, 상기 전처리부는, 상기 좌행 위치 및 좌열 위치를 이용하여, 좌영상의 새로운 픽셀의 주소를 지정하는 좌측 주소 생성부; 상기 우행 위치 및 우열 위치를 이용하여, 우영상의 새로운 픽셀의 주소를 정하는 우측 주소 생성부; 상기 좌영상의 새로운 픽셀의 주소와, 상기 스테레오 카메라의 좌측 웨이트 정보를 이용하여, 상기 좌영상을 보간하는 좌측 보간부; 및 상기 우영상의 새로운 픽셀의 주소와, 상기 스테레오 카메라의 우측 웨이트 정보를 이용하여, 상기 우영상을 보간하는 우측 보간부를 포함하는 것이 바람직하다.
본 발명의 일실시예에서, 상기 전처리부는, 상기 스테레오 카메라로부터 수신되는 좌영상을 저장하는 제7저장부; 및 상기 스테레오 카메라로부터 수신되는 우영상을 저장하는 제8저장부를 더 포함하는 것이 바람직하다.
본 발명의 일실시예에서, 상기 좌측 웨이트 정보 및 상기 우측 웨이트 정보는, 소정 값으로 각각 상기 좌측 보간부 및 상기 우측 보간부에 제공되는 것이 바람직하다.
본 발명의 일실시예에서, 상기 제7저장부 및 상기 제8저장부는, 휘발성 메모리인 것이 바람직하다.
상기와 같은 본 발명은, 종래 8개 사용되던 비휘발성 메모리를 4개 사용함으로써, 시스템의 크기를 줄이고 비용을 절감하도록 하는 효과가 있다.
또한, 본 발명은 스테레오 카메라의 웨이트 정보를 소정 값으로 균일하게 하여 영상을 보간하도록 함으로써, 보간부의 계산을 단순화하도록 하는 효과가 있다.
또한, 본 발명은 새로운 픽셀의 주소를 지정하는 수식을 등가수식으로 대체하여, 주소 생성을 위한 계산을 단순화하도록 하는 효과가 있다.
도 1은 종래의 스테레오 매칭 시스템의 전처리 장치를 설명하기 위한 구성도이다.
도 2는 본 발명의 일실시예에 따른 스테레오 매칭 시스템의 전처리 장치의 구성도이다.
도 3은 종래의 스테레오 매칭 시스템의 전처리 장치가 출력하는 교정된 영상의 일예이다.
도 4는 본 발명의 일실시예에 따른 스테레오 매칭 시스템의 전처리 장치가 출력하는 교정된 영상의 일예이다.
본 발명은 다양한 변경을 가할 수 있고 여러가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나, 또는 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나, '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함한다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부된 도면을 참조하여, 종래의 전처리 장치에 관하여 설명한 후, 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1은 종래의 스테레오 매칭 시스템의 전처리 장치를 설명하기 위한 구성도이다.
이와 같은 스테레오 매칭 시스템의 전처리 장치는, 두대의 스테레오 카메라(도시되지 않음)로부터 전달되는 좌영상 및 우영상에 대하여, 교정 파라미터(rectification parameter)를 이용하여 해당 영상을 교정(rectification)하고, 영상의 에피폴라 라인(epipolar line)을 일치시켜 출력하는 것이다.
종래의 전처리 시스템은, 전처리부(100)와 비휘발성 메모리부(200)로 구성되는데, 비휘발성 메모리부(200)는, 각각 좌행 위치(left row position) 저장부(210), 좌열 위치(left column position) 저장부(220), 좌행 웨이트(left row weight) 저장부(230), 좌열 웨이트(left column weight) 저장부(240), 우행 위치(right row position) 저장부(250), 우열 위치(right column position) 저장부(260), 우행 웨이트(right row weight) 저장부(270), 및 우열 웨이트(right column weight) 저장부(280)로 구성된다.
이와 같이, 비휘발성 메모리부(200)는 좌행 위치, 좌열 위치, 좌행 웨이트, 좌열 웨이트, 우행 위치, 우열 위치, 우행 웨이트 및 우열 웨이트 등 좌표정보와 웨이트정보를 각각 저장하고 있다.
좌측 주소 생성부(left address generator)(110) 및 우측 주소 생성부(right address generator)(150)는 각각 좌행 및 좌열 위치 저장부(210, 220)와 우행 및 우열 위치 저장부(250, 260)에 저장된 데이터를 이용하여 다음과 같은 수식을 이용하여 주소를 구한다.
Figure pat00001
Figure pat00002
Figure pat00003
Figure pat00004
Figure pat00005
Figure pat00006
Figure pat00007
Figure pat00008
Figure pat00009
위 수학식 5가 최종적으로 좌측 및 우측 주소 생성부(110, 150)가 출력하는 출력하는 픽셀의 주소이다.
이때, 원래의 카메라 행렬은
Figure pat00010
이며, 여기서
Figure pat00011
는 원래의 x축 배율(scale factor),
Figure pat00012
는 원래의 y축 배율,
Figure pat00013
는 원래의 x축 주점(principal point),
Figure pat00014
는 원래의 y축 주점을 의미하는 것이다.
또한, 생성되는 새로운 카메라 행렬은
Figure pat00015
이며, 여기서,
Figure pat00016
는 새로운 x축 배율,
Figure pat00017
는 새로운 y축 배율,
Figure pat00018
는 새로운 x축 주점, 및
Figure pat00019
는 새로운 y축 주점을 의미하는 것이다.
이미지의 크기를 N×M이라 할 때, u는 1~N까지의 x축 픽셀 인덱스(pixel index)이고, v는 1~M까지의 y축 픽셀 인덱스이다. 주소 생성부(110, 150)는 (1, 1)부터 (N,M)까지의 픽셀에 해당하는 새로운 픽셀의 주소를 구하기 위해, 위와 같은 계산을 수행한다.
이때,
Figure pat00020
,
Figure pat00021
,
Figure pat00022
및
Figure pat00023
는 왜곡변수이다.
좌측 및 우측 웨이트 생성부(120, 160)는 좌행 및 좌열 웨이트 저장부(230, 240)와 우행 및 우열 웨이트 저장부(270, 280)에 저장된 좌행 및 좌열 웨이트와 우행 및 우열 웨이트를 이용하여 좌측 웨이트와 우측 웨이트를 생성한다.
이와 같이 생성된 좌우측 주소 및 좌우측 웨이트를 이용하여, 좌우보간부(140, 180)는 영상을 보간한다.
그러나, 위와 같은 종래의 전처리 장치는, 비휘발성 메모리를 8개 사용하여야하므로, 시스템의 크기가 커지고, 비용이 많이 발생하는 문제점이 있다.
본 발명은 위와 같은 종래 시스템의 문제점을 해결하기 위한 것으로서, 비휘발성 메모리를 종래의 전처리 장치에 비해 적게 사용하여, 시스템의 크기를 줄이고, 계산의 복잡도를 줄이며, 또한 비용이 적게 발생하도록 한다.
도 2는 본 발명의 일실시예에 따른 스테레오 매칭 시스템의 전처리 장치의 구성도이다.
도면에 도시된 바와 같이, 본 발명의 전처리 장치는, 전처리부(10) 및 비휘발성 메모리부(20)를 포함한다.
비휘발성 메모리부(20)는 좌행 위치 저장부(21), 좌열 위치 저장부(22), 우행 위치 저장부(23), 및 우열 위치 저장부(24)를 포함한다.
비휘발성 메모리부(20)는 각각 비휘발성 메모리로 구성되며, 각 저장부(21~24)는 하나의 비휘발성 메모리를 포함한다. 비휘발성 메모리(Non-volatile memory)란, 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 메모리로서, 대표적인 것이 읽기전용 메모리(Read Only Memory; ROM)이다.
전처리부(10)는 좌측 주소 생성부(11), 우측 주소 생성부(12), 좌영상 저장부(13), 우영상 저장부(14), 좌보간부(left interpolator)(15) 및 우보간부(right interpolator)(16)를 포함한다.
좌영상 저장부(13) 및 우영상 저장부(14)는 스테레오 카메라(도시되지 않음)에 의해 획득한 좌영상 및 우영상을 각각 저장하는 것으로서, 휘발성 메모리인 것이 바람직하다.
휘발성 메모리(Volatile memory)는 저장된 정보를 유지하기 위해 전기를 요구하는 컴퓨터 메모리를 가리키는 것으로서, 임시 메모리라고도 한다. 대표적인 것이 랜덤 액세스 메모리(Random Access Memory; RAM)이다.
즉, 좌영상 저장부(13) 및 우영상 저장부(14)는 입력되는 좌영상 및 우영상을 임시적으로 저장하여 각각 좌우보간부(15, 16)에 제공한다.
비휘발성 메모리부(20)의 좌행 위치 저장부(21), 좌열 위치 저장부(22), 우행 위치 저장부(23) 및 우열 위치 저장부(24)는 각각 좌영상과 우영상을 제공하는 스테레오 카메라(도시되지 않음)의 좌표정보(좌행 위치, 좌열 위치, 우행 위치 및 우열 위치)를 저장한다.
도 1의 종래의 좌행 웨이트 저장부(230), 좌열 웨이트 저장부(240), 우행 웨이트 저장부(270) 및 우열 웨이트 저장부(280)가 저장하고 있던 좌행 웨이트, 좌열 웨이트, 우행 웨이트 및 우열 웨이트, 즉 스테레오 카메라의 웨이트 정보에 대해서는, 본 발명의 일실시예에 따른 전처리 장치는, 소정의 값(예를 들어, 0.25)을 좌측 웨이트 및 우측 웨이트로서 좌우보간부(15, 16)에 제공한다.
이때, 좌측 웨이트는 좌행 웨이트와 좌열 웨이트를 포함하고, 우측 웨이트는 우행 웨이트와 우열 웨이트를 포함한다.
본 발명의 일실시예에 따른 좌측 주소 생성부(11) 및 우측 주소 생성부(12)는 위의 수학식 1 내지 수학식 5를 다음의 수학식 6 내지 수학식 10과 같이 등가로 전개하여, 새로운 픽셀의 주소를 생성한다.
Figure pat00024
Figure pat00025
이때, 본 발명의 좌우측 주소 생성부(11, 12)는 수학식 2에서, R=I로 가정한다. I는 단위행렬(identity matrix)이다. 따라서, R-1=I이다. 즉, 수학식 2는 다음 수학식 7과 같이 전개된다.
Figure pat00026
Figure pat00027
Figure pat00028
따라서, 수학식 8은 수학식 3에 비해 연산이 간단해진다.
Figure pat00029
Figure pat00030
Figure pat00031
Figure pat00032
본 발명의 일실시예의 좌우측 주소 생성부(11, 12)는 수학식 4에서
Figure pat00033
항을 생략하여, 수학식 9와 같이 연산을 간략화한다. 스테레오 카메라의 특성상
Figure pat00034
은 매우 작은 소수점이므로,
Figure pat00035
은 매우 작은 값이며, 따라서 생략이 가능하다.
따라서, 위와 같은 등가수식은, 회로의 복잡도 측면이나 비용측면 및 성능측면을 모두 고려하였을때, 최적화된 수식이라 할 수 있다.
위 수학식 10이 최종적으로 좌측 및 우측 주소 생성부(11, 12)가 출력하는 새로운 픽셀의 주소이다.
이때, 원래의 카메라의 교정 파라미터의 행렬은
Figure pat00036
이며, 여기서
Figure pat00037
는 원래의 x축 배율,
Figure pat00038
는 원래의 y축 배율,
Figure pat00039
는 원래의 x축 주점,
Figure pat00040
는 원래의 y축 주점을 의미하는 것이다.
또한, 생성되는 새로운 카메라의 교정 파라미터의 행렬은
Figure pat00041
이며, 여기서,
Figure pat00042
는 새로운 x축 배율,
Figure pat00043
는 새로운 y축 배율,
Figure pat00044
는 새로운 x축 주점, 및
Figure pat00045
는 새로운 y축 주점을 의미하는 것이다.
또한,
Figure pat00046
,
Figure pat00047
,
Figure pat00048
및
Figure pat00049
는 왜곡변수이다.
이미지의 크기를 N×M이라 할 때, u는 1~N까지의 x축 픽셀 인덱스이고, v는 1~M까지의 y축 픽셀 인덱스이다. 좌우측 주소 생성부(11, 12)는 (1, 1)부터 (N, M)까지의 픽셀에 해당하는 새로운 픽셀의 주소를 구하기 위해, 위와 같은 계산을 수행한다.
좌우보간부(15, 16)는 좌우측 주소 생성부(11, 12)가 생성한 새로운 픽셀의 주소와 균일한 값으로 입력되는 좌측 웨이트 및 우측 웨이트를 이용하여, 좌영상 저장부(13) 및 우영상 저장부(14)에 각각 임시적으로 저장된 좌영상 및 우영상을 보간한다.
구체적으로, 좌우보간부(15, 16)는, 상하좌우의 4개의 픽셀의 주소를 좌측 주소 생성부(11) 및 우측 주소 생성부(12)로부터 각각 수신하고, 각각에 웨이트 정보를 적용하여, 해당 픽셀의 평균을 취하는 것으로서, 본 발명의 일실시예에서는, 좌측 및 우측 웨이트를 동일한 값을 부여하는 것으로 한다.
도 3은 종래의 스테레오 매칭 시스템의 전처리 장치가 출력하는 교정된 영상의 일예이고, 도 4는 본 발명의 일실시예에 따른 스테레오 매칭 시스템의 전처리 장치가 출력하는 교정된 영상의 일예로서, 각각 좌영상 및 우영상을 도시하였다.
도면에 도시된 바와 같이, 본 발명의 일실시예에 따른 전처리 장치를 이용하면, 웨이트 정보를 저장하던 비휘발성 메모리를 제거하여, 웨이트 정보를 균일하게 제공하고, 등가수식을 이용하여 픽셀의 주소를 저장함으로써, 계산이 종래의 전처리 장치에 비해 단순해지지만, 그 결과인 교정된 영상은 거의 종래의 전처리 장치와 동일함을 알 수 있다.
한편, 본 발명의 실시예들은 컴퓨터로 판독 가능한 기록매체에 컴퓨터가 읽어들일 수 있는 프로그램 코드를 기록하여 구현하는 것이 가능하다. 본 발명의 실시예들이 소프트웨어를 이용하여 실행되는 경우, 본 발명의 구성수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 또한, 프로그램 또는 코드 세그먼트들은 컴퓨터의 프로세서로 판독 가능한 매체에 저장되거나 전송 매체 또는 통신망을 통해 반송파와 결합된 컴퓨터 데이터 신호로 전송될 수 있다.
컴퓨터로 판독 가능한 기록매체에는 컴퓨터 시스템이 읽어들일 수 있는 데이터를 저장하는 모든 종류의 기록장치가 포함될 수 있다. 예컨대, 컴퓨터 판독가능 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 포함될 수 있다. 또한, 네트워크로 연결된 컴퓨터 시스템에 컴퓨터 판독가능 기록매체를 분산배치하여 컴퓨터가 읽어들일 수 있는 코드가 분산 방식으로 저장되고 실행되도록 할 수 있다.
이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.
10: 전처리부 11: 좌측 주소 생성부
12: 우측 주소 생성부 13: 좌영상 저장부
14: 우영상 저장부

Claims (11)

  1. 스테레오 카메라의 좌표정보를 저장하는 제1저장부; 및
    상기 좌표정보를 이용하여 새로운 픽셀의 주소를 지정하고, 상기 새로운 픽셀의 주소를 이용하여 스테레오 카메라로부터 수신되는 좌영상 및 우영상을 교정하는 전처리부를 포함하는 전처리 장치.
  2. 제1항에 있어서, 상기 제1저장부는,
    상기 좌표정보 중 좌행 위치를 저장하는 제2저장부;
    상기 좌표정보 중 좌열 위치를 저장하는 제3저장부;
    상기 좌표정보 중 우행 위치를 저장하는 제4저장부; 및
    상기 좌표정보 중 우열 위치를 저장하는 제5저장부를 포함하는 전처리 장치.
  3. 제2항에 있어서, 상기 제2저장부 내지 상기 제5저장부는, 각각 비휘발성 메모리인 전처리 장치.
  4. 제1항에 있어서, 상기 전처리부는,
    상기 좌표정보를 이용하여, 영상의 새로운 픽셀의 주소를 지정하는 주소 생성부; 및
    상기 새로운 픽셀의 주소와, 상기 스테레오 카메라의 웨이트 정보를 이용하여, 상기 좌영상 및 우영상을 보간하는 보간부를 포함하는 전처리 장치.
  5. 제4항에 있어서, 상기 전처리부는,
    상기 스테레오 카메라로부터 수신되는 좌영상 및 우영상을 저장하는 제6저장부를 더 포함하는 전처리 장치.
  6. 제4항에 있어서, 상기 웨이트 정보는, 소정 값으로 상기 보간부에 제공되는 전처리 장치.
  7. 제5항에 있어서, 상기 제6저장부는, 휘발성 메모리인 전처리 장치.
  8. 제2항에 있어서, 상기 전처리부는,
    상기 좌행 위치 및 좌열 위치를 이용하여, 좌영상의 새로운 픽셀의 주소를 지정하는 좌측 주소 생성부;
    상기 우행 위치 및 우열 위치를 이용하여, 우영상의 새로운 픽셀의 주소를 정하는 우측 주소 생성부;
    상기 좌영상의 새로운 픽셀의 주소와, 상기 스테레오 카메라의 좌측 웨이트 정보를 이용하여, 상기 좌영상을 보간하는 좌측 보간부; 및
    상기 우영상의 새로운 픽셀의 주소와, 상기 스테레오 카메라의 우측 웨이트 정보를 이용하여, 상기 우영상을 보간하는 우측 보간부를 포함하는 전처리 장치.
  9. 제8항에 있어서, 상기 전처리부는,
    상기 스테레오 카메라로부터 수신되는 좌영상을 저장하는 제7저장부; 및
    상기 스테레오 카메라로부터 수신되는 우영상을 저장하는 제8저장부를 더 포함하는 전처리 장치.
  10. 제8항에 있어서, 상기 좌측 웨이트 정보 및 상기 우측 웨이트 정보는, 소정 값으로 각각 상기 좌측 보간부 및 상기 우측 보간부에 제공되는 전처리 장치.
  11. 제9항에 있어서, 상기 제7저장부 및 상기 제8저장부는, 휘발성 메모리인 전처리 장치.


KR1020110123177A 2011-11-23 2011-11-23 스테레오 매칭 시스템의 전처리 장치 KR20130057327A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110123177A KR20130057327A (ko) 2011-11-23 2011-11-23 스테레오 매칭 시스템의 전처리 장치
TW101123871A TW201322734A (zh) 2011-11-23 2012-07-03 立體匹配系統之前置處理裝置
US13/543,070 US20130127995A1 (en) 2011-11-23 2012-07-06 Preprocessing apparatus in stereo matching system
CN201210262985.6A CN103136743B (zh) 2011-11-23 2012-07-26 立体匹配系统中的预处理装置
JP2012193811A JP6235201B2 (ja) 2011-11-23 2012-09-04 ステレオマッチングシステムの前処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110123177A KR20130057327A (ko) 2011-11-23 2011-11-23 스테레오 매칭 시스템의 전처리 장치

Publications (1)

Publication Number Publication Date
KR20130057327A true KR20130057327A (ko) 2013-05-31

Family

ID=48426433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110123177A KR20130057327A (ko) 2011-11-23 2011-11-23 스테레오 매칭 시스템의 전처리 장치

Country Status (5)

Country Link
US (1) US20130127995A1 (ko)
JP (1) JP6235201B2 (ko)
KR (1) KR20130057327A (ko)
CN (1) CN103136743B (ko)
TW (1) TW201322734A (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595935B (zh) * 2013-10-15 2017-02-15 深圳市掌网科技股份有限公司 一种三维视频图像坏点的动态补偿方法及系统
TW201742001A (zh) * 2016-05-30 2017-12-01 聯詠科技股份有限公司 影像雜訊估測方法及裝置與影像擷取裝置
US10839535B2 (en) 2016-07-19 2020-11-17 Fotonation Limited Systems and methods for providing depth map information
US10462445B2 (en) 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps
KR20180087496A (ko) * 2017-01-23 2018-08-02 에스케이하이닉스 주식회사 메모리 시스템

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0418874A (ja) * 1990-05-11 1992-01-23 Toshiba Corp 垂直補間回路
JP3112377B2 (ja) * 1994-03-02 2000-11-27 大日本スクリーン製造株式会社 画像読取装置
JP3284190B2 (ja) * 1998-05-14 2002-05-20 富士重工業株式会社 ステレオカメラの画像補正装置
JP3272309B2 (ja) * 1998-10-01 2002-04-08 株式会社ナナオ 画素補間処理方法及びそのユニット、並びにそれを備えたデジタル画像表示装置
JP4397573B2 (ja) * 2002-10-02 2010-01-13 本田技研工業株式会社 画像処理装置
JP4333452B2 (ja) * 2004-04-07 2009-09-16 富士ゼロックス株式会社 座標変換装置およびプログラム
KR100850931B1 (ko) * 2006-06-29 2008-08-07 성균관대학교산학협력단 실시간 스테레오 영상 교정 시스템 및 방법
US8494260B2 (en) * 2007-06-25 2013-07-23 Silicon Hive B.V. Image processing device, image processing method, program, and imaging device
JP5153940B2 (ja) * 2008-06-24 2013-02-27 トムソン ライセンシング 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
CN101505433A (zh) * 2009-03-13 2009-08-12 四川大学 一种实拍实显多镜头数码立体系统
JP5477128B2 (ja) * 2010-04-07 2014-04-23 ソニー株式会社 信号処理装置、信号処理方法、表示装置及びプログラム

Also Published As

Publication number Publication date
CN103136743B (zh) 2019-05-03
US20130127995A1 (en) 2013-05-23
JP2013110731A (ja) 2013-06-06
TW201322734A (zh) 2013-06-01
CN103136743A (zh) 2013-06-05
JP6235201B2 (ja) 2017-11-22

Similar Documents

Publication Publication Date Title
CN110349251B (zh) 一种基于双目相机的三维重建方法及装置
US11012620B2 (en) Panoramic image generation method and device
CN110060200B (zh) 图像透视变换方法、装置及设备
US10262400B2 (en) Image processing method and device using reprojection error values
CN107945112B (zh) 一种全景图像拼接方法及装置
CN107274338B (zh) 用于深度图的低等待时间变形的系统、方法和装置
KR100850931B1 (ko) 실시간 스테레오 영상 교정 시스템 및 방법
US20220044433A1 (en) Method and system for distance measurement based on binocular camera, device and computer-readable storage medium
KR20130057327A (ko) 스테레오 매칭 시스템의 전처리 장치
EP3971839A1 (en) Illumination rendering method and apparatus, storage medium, and electronic apparatus
CN109615602B (zh) 一种x光视角图像的生成方法、存储介质以及终端设备
EP4239583A1 (en) Three-dimensional reconstruction method, apparatus and system, and storage medium
US9998725B2 (en) Apparatus and method for generating depth information
CN110599586A (zh) 一种半稠密场景重建方法、装置、电子设备及存储介质
KR101888837B1 (ko) 스테레오 매칭 시스템의 전처리 장치
CN106780633B (zh) 一种图像校正方法、装置及双目视觉系统
JP2018124968A (ja) 画像処理装置、及び、画像処理方法
CN107977923B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR101582578B1 (ko) 그래픽 처리 장치 및 방법
EP2355525A2 (en) Mobile communication terminal having image conversion function and method
CN111968239B (zh) 存储器、基于dem的三维场景生成方法、系统和设备
US9092840B2 (en) Image processing apparatus, control method of the same and non-transitory computer-readable storage medium
CN114187415A (zh) 地形图生成方法及装置
CN113962892A (zh) 校正广角镜头图像畸变的方法、装置及照相设备
JP2004062103A (ja) 画像処理装置および方法、情報処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application