KR20130057328A - 스테레오 매칭 시스템의 전처리 장치 - Google Patents

스테레오 매칭 시스템의 전처리 장치 Download PDF

Info

Publication number
KR20130057328A
KR20130057328A KR1020110123178A KR20110123178A KR20130057328A KR 20130057328 A KR20130057328 A KR 20130057328A KR 1020110123178 A KR1020110123178 A KR 1020110123178A KR 20110123178 A KR20110123178 A KR 20110123178A KR 20130057328 A KR20130057328 A KR 20130057328A
Authority
KR
South Korea
Prior art keywords
image
address
storage unit
preprocessing apparatus
real time
Prior art date
Application number
KR1020110123178A
Other languages
English (en)
Other versions
KR101888837B1 (ko
Inventor
이준서
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020110123178A priority Critical patent/KR101888837B1/ko
Priority to US14/358,764 priority patent/US20140314309A1/en
Priority to PCT/KR2012/005261 priority patent/WO2013077521A1/en
Priority to CN201280057218.XA priority patent/CN103947201B/zh
Priority to TW101123870A priority patent/TWI590644B/zh
Publication of KR20130057328A publication Critical patent/KR20130057328A/ko
Application granted granted Critical
Publication of KR101888837B1 publication Critical patent/KR101888837B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

스테레오 매칭 시스템의 전처리 장치가 개시된다. 본 발명의 전처리 장치는, 스테레오 카메라의 좌표정보를 수신하여, 영상의 새로운 픽셀의 주소를 실시간으로 지정하는 주소 생성부와, 상기 새로운 픽셀의 주소와, 상기 스테레오 카메라의 웨이트 정보를 이용하여, 상기 좌영상 및 우영상을 각각 보간하는 보간부를 포함한다.

Description

스테레오 매칭 시스템의 전처리 장치{PREPROCESSING APPARATUS IN STEREO MATCHING SYSTEM}
본 발명은 3차원 영상의 전처리 기법에 관한 것으로서, 보다 상세하게는 스테레오 카메라 등에 사용되는 스테레오 매칭 시스템에서의 전처리 장치에 관한 것이다.
잘 알려진 바와 같이, 사람의 시각은 주위 환경의 정보를 얻기 위한 감각의 하나로서, 두 눈을 통해 사물의 위치와 멀고 가까움을 인지할 수 있다. 즉, 두 눈을 통해 들어오는 시각정보들이 하나의 거리정보로 합성되면서 자유롭게 활동하는 것이다.
이러한 시각구조를 기계로 구현할 때 사용되는 것이 스테레오 카메라 시스템이다.
스테레오 카메라 시스템에서는 두 개의 카메라를 이용하여 얻은 영상에 대하여 스테레오 매칭(stereo matching)을 수행하는데, 두 카메라의 외부구조와 내부구조가 다르다. 따라서, 두 카메라의 내부구조를 동일하게 하기 위하여, 종래의 스테레오 매칭 시스템에서는, 두개의 카메라 차이에 대한 참조 테이블을 작성하여, 테이블 값을 각각 적용하여, 전처리를 수행한다.
그러나, 이러한 참조 테이블을 사용하는 종래의 스테레오 카메라 시스템에서는, 비휘발성 메모리(ROM)를 다수개 사용하여야 하므로, 하드웨어의 크기가 커지고, 가격이 올라가게 되는 문제점이 있다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 비휘발성 메모리를 없애, 스테레오 카메라의 웨이트 정보를 균일한 값으로 제공하고, 새로운 픽셀의 주소를 실시간으로 계산하여, 동일 성능을 유지하면서 하드웨어의 크기를 줄이고 가격을 줄이기 위한, 스테레오 매칭 시스템의 전처리 장치를 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위해, 본 발명의 전처리 장치는, 스테레오 카메라의 좌표정보를 수신하여, 영상의 새로운 픽셀의 주소를 실시간으로 지정하는 주소 생성부; 상기 새로운 픽셀의 주소와, 상기 스테레오 카메라의 웨이트 정보를 이용하여, 상기 좌영상 및 우영상을 각각 보간하는 보간부를 포함한다.
본 발명의 일실시예에서, 상기 좌표정보는, 좌행 위치, 좌열 위치, 우행 위치 및 우열 위치를 포함하는 것이 바람직하다.
본 발명의 일실시예에서, 상기 보간부는, 좌영상을 보간하는 좌보간부; 및 우영상을 보간하는 우보간부를 포함하는 것이 바람직하다.
본 발명의 일실시예에서, 상기 주소 생성부는, 상기 좌표정보를 이용하여 좌영상의 새로운 픽셀의 주소를 실시간으로 지정하여 상기 좌보간부에 제공하는 것이 바람직하다.
본 발명의 일실시예에서, 상기 주소 생성부는, 상기 좌표정보를 이용하여 우영상의 새로운 픽셀의 주소를 실시간으로 지정하여 상기 우보간부에 제공하는 것이 바람직하다.
본 발명의 일실시예에서, 상기 스테레오 카메라로부터 수신되는 좌영상 및 우영상을 저장하는 제1저장부를 더 포함하는 것이 바람직하다.
본 발명의 일실시예에서, 상기 제1저장부는, 휘발성 메모리인 것이 바람직하다.
본 발명의 일실시예에서, 상기 웨이트 정보는, 소정 값으로 상기 보간부에 제공되는 것이 바람직하다.
본 발명의 일실시예에서, 상기 보간부는, 상기 주소 생성부로부터 소정 개수의 픽셀의 주소를 실시간으로 수신하여, 상기 소정 개수의 픽셀에 상기 웨이트 정보를 적용하여 해당 픽셀의 평균을 취하는 것이 바람직하다.
본 발명의 일실시예에서, 상기 보간부는, 상기 주소 생성부로부터 실시간으로 수신되는 소정 개수의 픽셀의 주소를 각각 저장하는 제2저장부를 포함하는 것이 바람직하다.
본 발명의 일실시예에서, 상기 제2저장부는, 휘발성 메모리인 것이 바람직하다.
상기와 같은 본 발명은, 종래 8개 사용되던 비휘발성 메모리를 없애고, 보간부에 휘발성 메모리를 제공하여, 시스템의 크기를 줄이고 비용을 절감하도록 하는 효과가 있다.
또한, 본 발명은 스테레오 카메라의 웨이트 정보를 소정 값으로 균일하게 하여 영상을 교정함으로써, 영상의 교정을 위한 보간부의 계산을 단순화하도록 하는 효과가 있다.
또한, 본 발명은 새로운 픽셀의 주소를 지정하는 수식을 등가수식으로 대체하여, 주소 생성을 위한 계산을 단순화하도록 하는 효과가 있다.
도 1은 종래의 스테레오 매칭 시스템의 전처리 장치를 설명하기 위한 구성도이다.
도 2는 본 발명의 일실시예에 따른 스테레오 매칭 시스템의 전처리 장치의 구성도이다.
도 3은 종래의 스테레오 매칭 시스템의 전처리 장치가 출력하는 교정된 영상의 일예이다.
도 4는 본 발명의 일실시예에 따른 스테레오 매칭 시스템의 전처리 장치가 출력하는 교정된 영상의 일예이다.
본 발명은 다양한 변경을 가할 수 있고 여러가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나, 또는 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나, '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함한다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부된 도면을 참조하여, 종래의 전처리 장치에 관하여 설명한 후, 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1은 종래의 스테레오 매칭 시스템의 전처리 장치를 설명하기 위한 구성도이다.
이와 같은 스테레오 매칭 시스템의 전처리 장치는, 두대의 스테레오 카메라(도시되지 않음)로부터 전달되는 좌영상 및 우영상에 대하여, 교정 파라미터(rectification parameter)를 이용하여 해당 영상을 교정(rectification)하고, 영상의 에피폴라 라인(epipolar line)을 일치시켜 출력하는 것이다.
종래의 전처리 시스템은, 전처리부(100)와 비휘발성 메모리부(200)로 구성되는데, 비휘발성 메모리부(200)는, 각각 좌행 위치(left row position) 저장부(210), 좌열 위치(left column position) 저장부(220), 좌행 웨이트(left row weight) 저장부(230), 좌열 웨이트(left column weight) 저장부(240), 우행 위치(right row position) 저장부(250), 우열 위치(right column position) 저장부(260), 우행 웨이트(right row weight) 저장부(270), 및 우열 웨이트(right column weight) 저장부(280)로 구성된다.
이와 같이, 비휘발성 메모리부(200)는 좌행 위치, 좌열 위치, 좌행 웨이트, 좌열 웨이트, 우행 위치, 우열 위치, 우행 웨이트 및 우열 웨이트 등 좌표정보와 웨이트정보를 각각 저장하고 있다.
좌측 주소 생성부(left address generator)(110) 및 우측 주소 생성부(right address generator)(150)는 각각 좌행 및 좌열 위치 저장부(210, 220)와 우행 및 우열 위치 저장부(250, 260)에 저장된 데이터를 이용하여 다음과 같은 수식을 이용하여 주소를 구한다.
Figure pat00001
Figure pat00002
Figure pat00003
Figure pat00004
Figure pat00005
Figure pat00006
Figure pat00007
Figure pat00008
Figure pat00009
위 수학식 5가 최종적으로 좌측 및 우측 주소 생성부(110, 150)가 출력하는 출력하는 픽셀의 주소이다.
이때, 원래의 카메라 행렬은
Figure pat00010
이며, 여기서
Figure pat00011
는 원래의 x축 배율(scale factor),
Figure pat00012
는 원래의 y축 배율,
Figure pat00013
는 원래의 x축 주점(principal point),
Figure pat00014
는 원래의 y축 주점을 의미하는 것이다.
또한, 생성되는 새로운 카메라 행렬은
Figure pat00015
이며, 여기서,
Figure pat00016
는 새로운 x축 배율,
Figure pat00017
는 새로운 y축 배율,
Figure pat00018
는 새로운 x축 주점, 및
Figure pat00019
는 새로운 y축 주점을 의미하는 것이다.
이미지의 크기를 N×M이라 할 때, u는 1~N까지의 x축 픽셀 인덱스(pixel index)이고, v는 1~M까지의 y축 픽셀 인덱스이다. 좌측 및 우측 주소 생성부(110, 150)는 (1, 1)부터 (N, M)까지의 픽셀에 해당하는 새로운 픽셀의 주소를 구하기 위해, 위와 같은 계산을 수행한다.
이때,
Figure pat00020
,
Figure pat00021
,
Figure pat00022
및
Figure pat00023
는 왜곡변수이다.
좌측 및 우측 웨이트 생성부(120, 160)는 좌행 및 좌열 웨이트 저장부(230, 240)와 우행 및 우열 웨이트 저장부(270, 280)에 저장된 좌행 및 좌열 웨이트와 우행 및 우열 웨이트를 이용하여 좌측 웨이트와 우측 웨이트를 생성한다.
이와 같이 생성된 좌우측 주소 및 좌우측 웨이트를 이용하여, 좌우보간부(140, 180)는 영상을 보간한다.
그러나, 위와 같은 종래의 전처리 장치는, 비휘발성 메모리를 8개 사용하여야하므로, 시스템의 크기가 커지고, 비용이 많이 발생하는 문제점이 있다.
본 발명은 위와 같은 종래 시스템의 문제점을 해결하기 위한 것으로서, 비휘발성 메모리를 없애고, 대신 보간부에 휘발성 메모리를 제공하여, 시스템의 크기를 줄이고, 계산의 복잡도를 줄이며, 또한 비용이 적게 발생하도록 한다.
도 2는 본 발명의 일실시예에 따른 스테레오 매칭 시스템의 전처리 장치의 구성도이다.
도면에 도시된 바와 같이, 본 발명의 전처리 장치는, 주소 생성부(10), 좌영상 저장부(20), 우영상 저장부(30), 좌보간부(40) 및 우보간부(50)를 포함한다.
주소 생성부(10)는 좌영상 및 우영상을 제공하는 스테레오 카메라의 좌표정보를 수신한다. 스테레오 카메라의 좌표정보는 좌행 위치, 좌열 위치, 우행 위치 및 우열 위치를 포함한다.
주소 생성부(10)는, 좌행 위치와 좌열 위치를 이용하여 좌영상의 새로운 픽셀의 주소를 실시간으로 지정하여 좌보간부(40)에 제공하고, 우행 위치와 우열 위치를 이용하여 우영상의 새로운 픽셀의 주소를 실시간으로 지정하여 우보간부(50)에 제공한다.
본 발명의 일실시예에 따른 주소 생성부(10)는 위의 수학식 1 내지 수학식 5를 다음의 수학식 6 내지 수학식 10과 같이 등가로 전개하여, 새로운 픽셀의 주소를 생성한다.
Figure pat00024
Figure pat00025
이때, 본 발명의 주소 생성부(10)는 수학식 2에서, R=I로 가정한다. I는 단위행렬(identity matrix)이다. 따라서, R-1=I이다. 즉, 수학식 2는 다음 수학식 7과 같이 전개된다.
Figure pat00026
Figure pat00027
Figure pat00028
따라서, 수학식 8은 수학식 3에 비해 연산이 간단해진다.
Figure pat00029
Figure pat00030
Figure pat00031
Figure pat00032
본 발명의 일실시예의 주소 생성부(10)는 수학식 4에서
Figure pat00033
항을 생략하여, 수학식 9와 같이 연산을 간략화한다. 스테레오 카메라의 특성상
Figure pat00034
은 매우 작은 소수점이므로,
Figure pat00035
은 매우 작은 값이며, 따라서 생략이 가능하다.
따라서, 위와 같은 등가수식은, 회로의 복잡도 측면이나 비용측면 및 성능측면을 모두 고려하였을때, 최적화된 수식이라 할 수 있다.
위 수학식 10이 최종적으로 주소 생성부(10)가 출력하는 새로운 픽셀의 주소이다.
이때, 원래의 카메라의 교정 파라미터의 행렬은
Figure pat00036
이며, 여기서
Figure pat00037
는 원래의 x축 배율,
Figure pat00038
는 원래의 y축 배율,
Figure pat00039
는 원래의 x축 주점,
Figure pat00040
는 원래의 y축 주점을 의미하는 것이다.
또한, 생성되는 새로운 카메라의 교정 파라미터의 행렬은
Figure pat00041
이며, 여기서,
Figure pat00042
는 새로운 x축 배율,
Figure pat00043
는 새로운 y축 배율,
Figure pat00044
는 새로운 x축 주점, 및
Figure pat00045
는 새로운 y축 주점을 의미하는 것이다.
또한,
Figure pat00046
,
Figure pat00047
,
Figure pat00048
및
Figure pat00049
는 왜곡변수이다.
이미지의 크기를 N×M이라 할 때, u는 1~N까지의 x축 픽셀 인덱스이고, v는 1~M까지의 y축 픽셀 인덱스이다. 주소 생성부(10)는 (1, 1)부터 (N, M)까지의 픽셀에 해당하는 새로운 픽셀의 주소를 구하기 위해, 위와 같은 계산을 실시간으로 수행한다.
좌영상 저장부(20) 및 우영상 저장부(30)는 스테레오 카메라(도시되지 않음)에 의해 획득한 좌영상 및 우영상을 각각 저장하는 것으로서, 휘발성 메모리인 것이 바람직하다.
휘발성 메모리(Volatile memory)는 저장된 정보를 유지하기 위해 전기를 요구하는 컴퓨터 메모리를 가리키는 것으로서, 임시 메모리라고도 한다. 대표적인 것이 랜덤 액세스 메모리(Random Access Memory; RAM)이다.
즉, 좌영상 저장부(20) 및 우영상 저장부(20)는 입력되는 좌영상 및 우영상을 임시적으로 저장하여 각각 좌우보간부(40, 50)에 제공한다.
도 1의 종래의 좌행 웨이트 저장부(230), 좌열 웨이트 저장부(240), 우행 웨이트 저장부(270) 및 우열 웨이트 저장부(280)가 저장하고 있던 좌행 웨이트, 좌열 웨이트, 우행 웨이트 및 우열 웨이트, 즉 스테레오 카메라의 웨이트 정보에 대해서는, 본 발명의 일실시예에 따른 전처리 장치는, 소정의 값(예를 들어, 0.25)을 좌측 웨이트 및 우측 웨이트로서 좌우보간부(40, 50)에 제공한다.
좌우보간부(40, 50)는 주소 생성부(10)가 실시간으로 생성한 새로운 픽셀의 주소와 균일한 값으로 입력되는 좌측 웨이트 및 우측 웨이트를 이용하여, 좌영상 저장부(20) 및 우영상 저장부(30)에 각각 임시적으로 저장된 좌영상 및 우영상을 보간한다.
구체적으로, 좌우보간부(40, 50)는, 상하좌우의 4개의 픽셀의 주소를 주소 생성부(10)로부터 각각 실시간을 수신하고, 이를 내부에 포함되는 휘발성 메모리부(도시되지 않음)에 각각 저장하고, 이에 웨이트 정보를 적용하여, 해당 픽셀의 평균을 취하는 것으로서, 본 발명의 일실시예에서는, 좌측 및 우측 웨이트를 동일한 값을 부여하는 것으로 한다.
도 3은 종래의 스테레오 매칭 시스템의 전처리 장치가 출력하는 교정된 영상의 일예이고, 도 4는 본 발명의 일실시예에 따른 스테레오 매칭 시스템의 전처리 장치가 출력하는 교정된 영상의 일예로서, 각각 좌영상 및 우영상을 도시하였다.
도면에 도시된 바와 같이, 본 발명의 일실시예에 따른 전처리 장치를 이용하면, 웨이트 정보를 저장하던 비휘발성 메모리를 제거하여, 웨이트 정보를 균일하게 제공하고, 등가수식을 이용하여 픽셀의 주소를 저장함으로써, 계산이 종래의 전처리 장치에 비해 단순해지지만, 그 결과인 교정된 영상은 거의 종래의 전처리 장치와 동일함을 알 수 있다.
한편, 본 발명의 실시예들은 컴퓨터로 판독 가능한 기록매체에 컴퓨터가 읽어들일 수 있는 프로그램 코드를 기록하여 구현하는 것이 가능하다. 본 발명의 실시예들이 소프트웨어를 이용하여 실행되는 경우, 본 발명의 구성수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 또한, 프로그램 또는 코드 세그먼트들은 컴퓨터의 프로세서로 판독 가능한 매체에 저장되거나 전송 매체 또는 통신망을 통해 반송파와 결합된 컴퓨터 데이터 신호로 전송될 수 있다.
컴퓨터로 판독 가능한 기록매체에는 컴퓨터 시스템이 읽어들일 수 있는 데이터를 저장하는 모든 종류의 기록장치가 포함될 수 있다. 예컨대, 컴퓨터 판독가능 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 포함될 수 있다. 또한, 네트워크로 연결된 컴퓨터 시스템에 컴퓨터 판독가능 기록매체를 분산배치하여 컴퓨터가 읽어들일 수 있는 코드가 분산 방식으로 저장되고 실행되도록 할 수 있다.
이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.
10: 주소 생성부 20: 좌영상 저장부
30: 우영상 저장부 40: 좌보간부
50: 우보간부

Claims (11)

  1. 스테레오 카메라의 좌표정보를 수신하여, 영상의 새로운 픽셀의 주소를 실시간으로 지정하는 주소 생성부;
    상기 새로운 픽셀의 주소와, 상기 스테레오 카메라의 웨이트 정보를 이용하여, 상기 좌영상 및 우영상을 각각 보간하는 보간부를 포함하는 전처리 장치.
  2. 제1항에 있어서, 상기 좌표정보는, 좌행 위치, 좌열 위치, 우행 위치 및 우열 위치를 포함하는 전처리 장치.
  3. 제1항에 있어서, 상기 보간부는,
    좌영상을 보간하는 좌보간부; 및
    우영상을 보간하는 우보간부를 포함하는 전처리 장치.
  4. 제3항에 있어서, 상기 주소 생성부는,
    상기 좌표정보를 이용하여 좌영상의 새로운 픽셀의 주소를 실시간으로 지정하여 상기 좌보간부에 제공하는 전처리 장치.
  5. 제3항에 있어서, 상기 주소 생성부는, 상기 좌표정보를 이용하여 우영상의 새로운 픽셀의 주소를 실시간으로 지정하여 상기 우보간부에 제공하는 전처리 장치.
  6. 제1항에 있어서, 상기 스테레오 카메라로부터 수신되는 좌영상 및 우영상을 저장하는 제1저장부를 더 포함하는 전처리 장치.
  7. 제6항에 있어서, 상기 제1저장부는, 휘발성 메모리인 전처리 장치.
  8. 제1항에 있어서, 상기 웨이트 정보는, 소정 값으로 상기 보간부에 제공되는 전처리 장치.
  9. 제1항에 있어서, 상기 보간부는, 상기 주소 생성부로부터 소정 개수의 픽셀의 주소를 실시간으로 수신하여, 상기 소정 개수의 픽셀에 상기 웨이트 정보를 적용하여 해당 픽셀의 평균을 취하는 전처리 장치.
  10. 제9항에 있어서, 상기 보간부는, 상기 주소 생성부로부터 실시간으로 수신되는 소정 개수의 픽셀의 주소를 각각 저장하는 제2저장부를 포함하는 전처리 장치.
  11. 제10항에 있어서, 상기 제2저장부는, 휘발성 메모리인 전처리 장치.


KR1020110123178A 2011-11-23 2011-11-23 스테레오 매칭 시스템의 전처리 장치 KR101888837B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110123178A KR101888837B1 (ko) 2011-11-23 2011-11-23 스테레오 매칭 시스템의 전처리 장치
US14/358,764 US20140314309A1 (en) 2011-11-23 2012-07-03 Preprocessing apparatus in stereo matching system
PCT/KR2012/005261 WO2013077521A1 (en) 2011-11-23 2012-07-03 Preprocessing apparatus in stereo matching system
CN201280057218.XA CN103947201B (zh) 2011-11-23 2012-07-03 立体匹配系统中的预处理装置
TW101123870A TWI590644B (zh) 2011-11-23 2012-07-03 立體匹配系統之前置處理裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110123178A KR101888837B1 (ko) 2011-11-23 2011-11-23 스테레오 매칭 시스템의 전처리 장치

Publications (2)

Publication Number Publication Date
KR20130057328A true KR20130057328A (ko) 2013-05-31
KR101888837B1 KR101888837B1 (ko) 2018-08-16

Family

ID=48469936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110123178A KR101888837B1 (ko) 2011-11-23 2011-11-23 스테레오 매칭 시스템의 전처리 장치

Country Status (5)

Country Link
US (1) US20140314309A1 (ko)
KR (1) KR101888837B1 (ko)
CN (1) CN103947201B (ko)
TW (1) TWI590644B (ko)
WO (1) WO2013077521A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101558805B1 (ko) * 2014-09-03 2015-10-07 현대자동차주식회사 스테레오 매칭용 보간 계수 보정 장치
KR101766756B1 (ko) * 2015-11-20 2017-08-10 경북대학교 산학협력단 스테레오 비전 시스템의 렉티피케이션 장치 및 그 방법
US10839535B2 (en) 2016-07-19 2020-11-17 Fotonation Limited Systems and methods for providing depth map information
US10462445B2 (en) 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11325889A (ja) * 1998-05-14 1999-11-26 Fuji Heavy Ind Ltd ステレオカメラの画像補正装置
KR20080001095A (ko) * 2006-06-29 2008-01-03 성균관대학교산학협력단 실시간 스테레오 영상 교정 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110071207A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 스테레오 매칭을 위한 카메라 영상 평가 및 보정 방법과 이를 적용한 스테레오 카메라 시스템
US8401280B2 (en) * 2009-12-21 2013-03-19 Electronics And Telecommunications Research Institute Device for improving stereo matching results, method of improving stereo matching results using the device, and system for receiving stereo matching results
KR20110101722A (ko) * 2010-03-09 2011-09-16 (주)알파캠 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법
JP5477128B2 (ja) * 2010-04-07 2014-04-23 ソニー株式会社 信号処理装置、信号処理方法、表示装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11325889A (ja) * 1998-05-14 1999-11-26 Fuji Heavy Ind Ltd ステレオカメラの画像補正装置
KR20080001095A (ko) * 2006-06-29 2008-01-03 성균관대학교산학협력단 실시간 스테레오 영상 교정 시스템 및 방법

Also Published As

Publication number Publication date
TW201322737A (zh) 2013-06-01
KR101888837B1 (ko) 2018-08-16
WO2013077521A1 (en) 2013-05-30
TWI590644B (zh) 2017-07-01
US20140314309A1 (en) 2014-10-23
CN103947201B (zh) 2016-12-14
CN103947201A (zh) 2014-07-23

Similar Documents

Publication Publication Date Title
CN110349251B (zh) 一种基于双目相机的三维重建方法及装置
US11012620B2 (en) Panoramic image generation method and device
EP3200148B1 (en) Image processing method and device
CN110060200B (zh) 图像透视变换方法、装置及设备
CN107945112B (zh) 一种全景图像拼接方法及装置
CN107274338B (zh) 用于深度图的低等待时间变形的系统、方法和装置
US9153014B2 (en) Image correction method and related image correction system thereof
CN104917955A (zh) 一种图像转换和多视图输出系统及方法
KR20130057327A (ko) 스테레오 매칭 시스템의 전처리 장치
CN109615602B (zh) 一种x光视角图像的生成方法、存储介质以及终端设备
KR20130057328A (ko) 스테레오 매칭 시스템의 전처리 장치
CN113256742A (zh) 界面展示方法、装置、电子设备和计算机可读介质
CN106780633B (zh) 一种图像校正方法、装置及双目视觉系统
US20160189350A1 (en) System and method for remapping of image to correct optical distortions
JP2018124968A (ja) 画像処理装置、及び、画像処理方法
CN111225201A (zh) 视差校正方法及装置、存储介质
JP2007079708A (ja) 画像処理装置及び画像処理方法
CN111462021A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107645634A (zh) 一种无畸变广角网络摄像机及安防监控系统
CN107977923B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
KR101582578B1 (ko) 그래픽 처리 장치 및 방법
JP2006215766A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
CN111968239B (zh) 存储器、基于dem的三维场景生成方法、系统和设备
US9092840B2 (en) Image processing apparatus, control method of the same and non-transitory computer-readable storage medium
US9917972B2 (en) Image processor, image-processing method and program

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant