KR101920159B1 - 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치 - Google Patents

지원점 보간법을 이용한 스테레오 매칭 방법 및 장치 Download PDF

Info

Publication number
KR101920159B1
KR101920159B1 KR1020170086334A KR20170086334A KR101920159B1 KR 101920159 B1 KR101920159 B1 KR 101920159B1 KR 1020170086334 A KR1020170086334 A KR 1020170086334A KR 20170086334 A KR20170086334 A KR 20170086334A KR 101920159 B1 KR101920159 B1 KR 101920159B1
Authority
KR
South Korea
Prior art keywords
image
edge
pixel
pixels
disparity
Prior art date
Application number
KR1020170086334A
Other languages
English (en)
Inventor
박상현
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170086334A priority Critical patent/KR101920159B1/ko
Priority to PCT/KR2018/007496 priority patent/WO2019009579A1/ko
Application granted granted Critical
Publication of KR101920159B1 publication Critical patent/KR101920159B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

스테레오 매칭방법, 스테레오 매칭장치, 기록매체 및 이를 적용한 지능형 운전자 보조시스템이 제공된다. 본 스테레오 매칭방법에 따르면, 입력된 스테레오 영상에 대한 에지 이미지를 추출하고 이에 대한 매칭 및 디스패리티 값을 산출할 수 있게 되어, 스테레오 이미지로부터 3차원 이미지를 얻는데 필요한 메모리 사용량과 처리 시간을 감소시킬 수 있기 때문에 차량용 전기·전자 시스템에 스테레오 매칭을 용이하게 적용할 수 있게 된다.

Description

지원점 보간법을 이용한 스테레오 매칭 방법 및 장치 {Stereo Matching Method and Device using Support point interpolation}
본 발명은 스테레오 매칭 방법 및 장치에 관한 것으로, 더욱 상세하게는, 2차원 영상의 깊이정보를 추출하기 위해 지원점 보간법을 이용하는 스테레오 매칭 방법 및 장치에 관한 것이다.
종래의 스테레오 매칭 기술은 스테레오 이미지로부터 3차원 이미지를 얻기 위해 이용되는 기술로서, 동일 피사체에 대하여 동일선상의 서로 다른 촬영 위치에서 촬영된 다수의 2차원 이미지로부터 3차원 이미지를 얻기 위해 이용된다. 스테레오 이미지는 이처럼 피사체에 대하여 서로 다른 촬영 위치에서 촬영된 다수의 2차원 이미지, 즉 서로 짝(pair) 관계에 있는 다수의 2차원 이미지를 의미한다.
일반적으로 2차원 이미지로부터 3차원 이미지를 생성하기 위해서는 2차원 이미지의 수평, 수직의 위치 정보인 x,y 좌표에 더하여 깊이 정보인 z 좌표를 필요로 한다. z 좌표를 구하기 위해서는 스테레오 이미지를 이용한 스테레오 매칭 기술이 사용된다.
하지만, 종래의 스테레오 매칭 기술은 일반적인 컴퓨터의 CPU 상에서 동작 가능한 기술로, FPGA/ASIC 으로 구현할 경우 많은 메모리를 필요로 하여 양산형 FPGA/ASIC 하드웨어에 적용하기 힘든 점이 존재한다.
이에 따라, 좀더 적은 메모리를 이용하여 2차원 스테레오 이미지를 이용한 3차원 이미지를 생성할 수 있는 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 입력된 스테레오 영상에 대한 에지 이미지를 추출하고 이에 대한 매칭 및 디스패리티 값을 산출하는 스테레오 매칭방법, 스테레오 매칭장치, 기록매체 및 이를 적용한 지능형 운전자 보조시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 스테레오 매칭방법은, 두개의 카메라로 동시에 촬영된 제1 영상과 제2 영상을 포함하는 스테레오 영상을 입력받는 단계; 제1 영상에 대한 제1 수평 에지(edge) 이미지와 제1 수직 에지 이미지를 추출하고, 제2 영상에 대한 제2 수평 에지 이미지 및 제2 수직 에지 이미지를 추출하는 단계; 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 제1 영상에 포함된 제1 에지 화소를 제2 영상에 포함된 제2 에지 화소와 매칭시키는 단계; 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 매칭된 제1 에지화소와 제2 에지화소간의 거리차이인 디스패리티(disparity) 값을 산출하는 단계;를 포함한다.
그리고, 매칭 단계는, 제1 에지화소의 주변에 배치된 복수개의 제1 주변화소들에 대한 제1 수평 에지 이미지와 제1 수직 에지 이미지 내에서의 화소값들을 제2 수평 에지 이미지와 제2 수직 에지 이미지의 화소값들과 비교함으로써, 제1 에지화소와 매칭되는 제2 에지화소로 결정할 수도 있다.
또한, 매칭 단계는, 제1 에지화소와 대응되는 행에 있는 제2 영상의 화소들 중, 제1 수평 에지 이미지와 제1 수직 에지 이미지 내의 복수개의 제1 주변화소들의 화소값들과 제2 수평 에지 이미지와 제2 수직 에지 이미지 내의 제2 주변화소들의 화소값들의 각각의 차이값의 합이 최소가 되는 화소를 제1 에지화소와 매칭되는 제2 에지화소로 결정할 수도 있다.
그리고, 제1 주변화소들은, 제1 수평 에지 이미지에 포함된 것보다 제1 수직 에지 이미지에 포함된 것들이 더 많을 수도 있다.
또한, 제1 주변화소들은, 제1 에지화소를 중심으로 배치된 4개의 영역을 구분하고, 각 영역별로 동일한 형태로 배치된 주변화소들이 선택될 수도 있다.
그리고, 매칭된 화소들을 각각 지원점으로 지정하여 지원점 맵을 생성하는 단계; 및 지원점 맵에서 불필요한 지원점을 제거하는 단계;를 더 포함할 수도 있다.
또한, 제거 단계는, 특정 크기의 영역 내에 지원점이 특정 개수 이하가 포함되어 있는 경우, 해당 영역 내의 지원점들을 모두 제거함으로써, 불필요한 지원점을 제거할 수도 있다.
그리고, 지원점 맵의 디스패리티값에 대한 1차 보간을 수행하여 1차 디스패리티 맵을 생성하는 단계;를 더 포함하고, 1차 디스패리티 맵을 생성하는 단계는, 지원점 맵을 일정 비율로 축소하는 단계; 축소된 지원점 맵에서 디스패리티 값이 할당되지 않은 화소들을 좌측 또는 우측에 위치된 화소의 디스패리티 값 중 작은 값으로 할당함으로써, 디스패리티 값을 보간하는 단계; 및 보간을 통해 축소된 지원점 맵의 모든 화소에 디스패리티 값이 할당되면, 축소된 지원점 맵을 원래 크기로 확대하는 단계;를 포함할 수도 있다.
또한, 1차 디스패리티 맵에 2차 보간을 수행하여 2차 디스패리티 맵을 생성하는 단계;를 더 포함하고, 2차 디스패리티 맵을 생성하는 단계는, 디스패리티 값이 할당되지 않은 화소에 대해, 주변의 4개의 디스패리티 값이 존재하는 화소들의 디스패리티 값들 및 해당 화소들과의 거리를 이용하여, 해당 디스패리티 값이 할당되지 않은 화소의 디스패리티값을 보간하는 방식으로, 모든 디스패리티 값이 할당되지 않은 화소들의 디스패리티값을 보간함으로써, 2차 디스패리티 맵을 생성할 수도 있다.
한편, 본 발명의 일 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체는, 두개의 카메라로 동시에 촬영된 제1 영상과 제2 영상을 포함하는 스테레오 영상을 입력받는 단계; 제1 영상에 대한 제1 수평 에지(edge) 이미지와 제1 수직 에지 이미지를 추출하고, 제2 영상에 대한 제2 수평 에지 이미지 및 제2 수직 에지 이미지를 추출하는 단계; 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 제1 영상에 포함된 제1 에지 화소를 제2 영상에 포함된 제2 에지 화소와 매칭시키는 단계; 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 매칭된 제1 에지화소와 제2 에지화소간의 거리차이인 디스패리티(disparity) 값을 산출하는 단계;를 포함하는 스테레오 매칭방법을 수행하는 컴퓨터 프로그램이 수록될 수도 있다.
한편, 본 발명의 일 실시예에 따른, 스테레오 매칭 장치는, 두개의 카메라로 동시에 촬영된 제1 영상과 제2 영상을 포함하는 스테레오 영상을 촬영하는 카메라부; 제1 영상에 대한 제1 수평 에지(edge) 이미지와 제1 수직 에지 이미지를 추출하고, 제2 영상에 대한 제2 수평 에지 이미지 및 제2 수직 에지 이미지를 추출하는 에지추출부; 및 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 제1 영상에 포함된 제1 에지 화소를 제2 영상에 포함된 제2 에지 화소와 매칭시키고, 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 매칭된 제1 에지화소와 제2 에지화소간의 거리차이인 디스패리티(disparity) 값을 산출하는 영상처리부;를 포함한다.
스테레오 매칭장치를 이용하여 차량 주변의 사물을 인식하는 지능형 운전자 보조시스템은, 두개의 카메라로 동시에 촬영된 제1 영상과 제2 영상을 포함하는 스테레오 영상을 촬영하는 카메라부; 제1 영상에 대한 제1 수평 에지(edge) 이미지와 제1 수직 에지 이미지를 추출하고, 제2 영상에 대한 제2 수평 에지 이미지 및 제2 수직 에지 이미지를 추출하는 에지추출부; 및 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 제1 영상에 포함된 제1 에지 화소를 제2 영상에 포함된 제2 에지 화소와 매칭시키고, 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 매칭된 제1 에지화소와 제2 에지화소간의 거리차이인 디스패리티(disparity) 값을 산출하는 영상처리부;를 포함하는 스테레오 매칭장치를 포함한다.
본 발명의 다양한 실시예에 따르면, 입력된 스테레오 영상에 대한 에지 이미지를 추출하고 이에 대한 매칭 및 디스패리티 값을 산출하는 스테레오 매칭방법, 스테레오 매칭장치, 기록매체 및 이를 적용한 지능형 운전자 보조시스템을 제공할 수 있게 되어, 스테레오 이미지로부터 3차원 이미지를 얻는데 필요한 메모리 사용량과 처리 시간을 감소시킬 수 있기 때문에 차량용 전기·전자 시스템에 스테레오 매칭을 용이하게 적용할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 스테레오 매칭 장치의 구성을 도시한 블록도,
도 2는 본 발명의 일 실시예에 따른, 스테레오 매칭 방법을 설명하기 위해 제공되는 흐름도,
도 3은 본 발명의 일 실시예에 따른, 스테레오 매칭 방법의 과정을 도시한 도면,
도 4는 본 발명의 일 실시예에 따른, 매칭되는 화소를 찾는 과정을 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른, 수평 에지 이미지의 주변화소와 수직 에지 이미지의 주변화소를 도시한 도면,
도 6은 본 발명의 일 실시예에 따른, 디스패리티값 및 이를 이용한 깊이값을 계산하는 과정을 설명하기 위한 도면,
도 7은 본 발명의 일 실시예에 따른, 지원점 맵을 도시한 도면,
도 8은 본 발명의 일 실시예에 따른, 불필요한 지원점을 제거하는 알고리즘을 도시한 도면,
도 9는 본 발명의 일 실시예에 따른, 불필요한 지원점이 제거된 지원점 맵을 도시한 도면,
도 10은 본 발명의 일 실시예에 따른, 1차 보간을 수행하는 과정을 도시한 도면,
도 11은 본 발명의 일 실시예에 따른, 축소 전의 지원점 맵의 일부 화소들을 도시한 도면,
도 12는 본 발명의 일 실시예에 따른, 지원점 맵을 일정 비율로 축소하는 과정을 도시한 도면,
도 13은 본 발명의 일 실시예에 따른, 축소된 지원점 맵의 디스패리티 값을 보간하고 다시 원래크기로 확대하는 과정을 도시한 도면,
도 14는 본 발명의 일 실시예에 따른, 2차 보간을 수행하는 방법을 도시한 도면,
도 15는 본 발명의 일 실시예에 따른, 후처리된 디스패리티 맵을 도시한 도면,
도 16은 본 발명의 일 실시예에 따른, 입력된 스테레오 영상에 대한 디스패리티 맵을 도시한 도면,
도 17은 본 발명의 일 실시예에 따른, 라인단위 버퍼를 이용한 병렬처리 과정을 도시한 도면,
도 18은 본 발명의 일 실시예에 따른, 매칭 과정에 대한 파이프라인을 도시한 도면,
도 19는 본 발명의 일 실시예에 따른, 하드웨어 병렬처리 구조를 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
스테레오 매칭 기술은 스테레오 이미지로부터 3차원 이미지를 얻기 위해 이용되는 기술로서, 동일 피사체에 대하여 동일선상의 서로 다른 촬영 위치에서 촬영된 다수의 2차원 영상으로부터 3차원 이미지를 얻기 위해 이용된다. 스테레오 영상은 이처럼 피사체에 대하여 서로 다른 촬영 위치에서 촬영된 다수의 2차원 영상, 즉 서로 짝(pair) 관계에 있는 다수의 2차원 영상을 의미하며, 예를 들어, 좌안 영상과 우안 영상을 들 수 있다.
일반적으로 2차원 이미지로부터 3차원 이미지를 생성하기 위해서는 2차원 이미지의 수평, 수직의 위치 정보인 x,y 좌표에 더하여 깊이 정보인 z 좌표를 필요로 한다. z 좌표를 구하기 위해서는 스테레오 이미지의 디스패리티(disparity, 시차) 정보를 필요로 하는데, 스테레오 매칭은 이러한 디스패리티를 얻기 위해 사용되는 기술이다. 예를 들어 스테레오 이미지가 두 대의 좌,우 카메라에 의해 촬영된 좌,우 이미지라면, 좌,우 이미지 중에 하나를 기준 이미지로, 다른 하나를 탐색 이미지로 정한다. 이러한 경우에 공간상의 동일한 한 점에 대한 기준 이미지와 탐색 이미지 간의 거리, 즉 좌표의 차이를 디스패리티라고 하는데, 스테레오 매칭 기술을 이용하여 디스패리티를 얻을 수 있게 된다.
스테레오 매칭 장치(100)는 이미지의 전체 화소들에 대하여 위와 같이 얻어지는 기준 이미지와 탐색 이미지 간의 디스패리티들을 이용하여 각 화소들에 대한 깊이 정보를 얻어 3차원 좌표들로 표현되는 디스패리티 맵을 생성한다.
본 실시예에 따른, 기준 이미지와 탐색 이미지간의 시차를 구하기 위해 사용되는 스테레오 매칭 기술을 개략적으로 설명하면 다음과 같다. 먼저, 스테레오 매칭 장치(100)는 기준 이미지의 기준 화소를 중심으로 복수개의 윈도우(window)를 설정하며, 탐색 이미지에 대해서도 탐색 화소들을 중심으로 같은 크기의 윈도우를 설정한다. 기준 화소는 기준 이미지의 에지 화소들 중에 탐색 이미지에서 대응하는 점, 즉 대응점을 현재 탐색해야할 화소를 의미한다. 탐색 화소는 탐색 이미지의 화소들 중에 기준 화소에 대한 대응점인지를 현재 확인해야할 화소를 의미한다. 복수개의 윈도우는 중심 화소와 그를 둘러싼 주변 화소들로 이루어지는 복수개의 매트릭스 형태이다.
위와 같이, 스테레오 매칭 장치(100)는 설정된 기준 화소 윈도우들 내의 일부 주변 화소들과 각각의 탐색 화소 윈도우 내의 일부 주변화소들 간의 유사도를 계산하고, 탐색 화소 윈도우들 중에 기준 화소 윈도우와 가장 유사도가 큰 값을 갖는 탐색 화소 윈도우의 탐색 화소를 대응점에 해당하는 대응 화소로 매칭 결정한다. 그리고 기준 화소와 대응화소 간의 거리를 디스패리티로서 구한다.
이와 같은 과정을 통해, 스테레오 매칭 장치(100)는 입력된 스테레오 영상에 대한 스테레오 매칭방법을 수행하여 디스패리티 맵을 생성할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 스테레오 매칭 장치(100)의 구성을 도시한 블록도이다. 도 1에 도시된 바와 같이, 스테레오 매칭 장치(100)는 카메라부(110), 에지 추출부(120), 및 영상처리부(130)를 포함한다.
카메라부(110)는 제1 카메라(111) 및 제2 카메라(112)를 포함한다. 그리고 카메라부(110)는 두개의 카메라로 동시에 촬영된 제1 영상과 제2 영상을 포함하는 스테레오 영상을 촬영한다. 구체적으로, 제1 카메라(111) 및 제2 카메라(112)는 좌안 카메라와 우안 카메라가 될 수도 있으며, 제1 영상은 좌안영상이고 제2 영상은 우안영상이 될 수도 있다. 또한, 제1 영상이 기준이미지가 되고, 제2 영상이 탐색이미지가 될 수도 있다.
에지추출부(120)는 제1 영상에 대한 제1 수평 에지(edge) 이미지와 제1 수직 에지 이미지를 추출하고, 제2 영상에 대한 제2 수평 에지 이미지 및 제2 수직 에지 이미지를 추출한다. 구체적으로, 에지추출부(120)는 소벨(sobel) 필터를 포함하고, 소벨 필터에 의해 수평 에지 이미지와 수직 에지 이미지를 추출하게 된다.
영상처리부(130)는 다양한 영상을 처리하고, 제1 영상 및 제2 영상과 그에 대응되는 에지 영상들을 처리하여, 3차원 이미지 생성을 위한 디스패리티 맵을 생성한다. 이를 위해, 영상처리부(130)는 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 제1 영상에 포함된 제1 에지 화소를 제2 영상에 포함된 제2 에지 화소와 매칭시키고, 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 매칭된 제1 에지화소와 제2 에지화소간의 거리차이인 디스패리티(disparity) 값을 산출한다. 그리고, 영상처리부(130)는 매칭된 화소로 구성된 지원점 맵을 생성하고, 1차 보간 및 2차 보간을 통해 디스패리티 맵을 생성하게 되며, 디스패리티 맵을 더욱 정밀해지도록 보정을 수행하게 된다.
이와 같은 구성의 스테레오 매칭 장치(100)의 구체적인 동작에 대해서는 이하에서 도 2와 도 3을 이용하여 설명한다. 도 2는 본 발명의 일 실시예에 따른, 스테레오 매칭 방법을 설명하기 위해 제공되는 흐름도이다. 그리고, 도 3은 본 발명의 일 실시예에 따른, 스테레오 매칭 방법의 과정을 도시한 도면이다.
먼저, 스테레오 매칭 장치(100)는 두개의 카메라로 동시에 촬영된 제1 영상과 제2 영상을 포함하는 스테레오 영상을 입력받는다(S210). 도 3의 Original Left Image(310) 및 Original Right Image(320)가 각각 제1 영상 및 제2 영상에 해당된다.
그리고, 스테레오 매칭 장치(100)는 제1 영상에 대한 제1 수평 에지(edge) 이미지와 제1 수직 에지 이미지를 추출하고, 제2 영상에 대한 제2 수평 에지 이미지 및 제2 수직 에지 이미지를 추출한다(S220). 이 때, 스테레오 매칭 장치(100)는 소벨(Sobel) 필터를 이용하여 에지 이미지를 추출할 수 있으며, 도 3에 도시된 바와 같이 제1 수평 에지 이미지(311), 제1 수직 에지 이미지(312), 제2 수평 에지 이미지(321) 및 제2 수직 에지 이미지(322)를 추출할 수도 있다.
그 후에, 스테레오 매칭 장치(100)는 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 제1 영상에 포함된 제1 에지 화소를 제2 영상에 포함된 제2 에지 화소와 매칭시키고, 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 매칭된 제1 에지화소와 제2 에지화소간의 거리차이인 디스패리티(disparity) 값을 산출하게 된다(S230). 이 경우, 제1 영상이 기준이미지가 되고, 제2 영상이 탐색이미지가 된다.
매칭 단계에서, 스테레오 매칭 장치(100)는 제1 에지화소의 주변에 배치된 복수개의 제1 주변화소들에 대한 제1 수평 에지 이미지와 제1 수직 에지 이미지 내에서의 화소값들을 제2 수평 에지 이미지와 제2 수직 에지 이미지의 화소값들과 비교함으로써, 제1 에지화소와 매칭되는 제2 에지화소로 결정하게 된다. 구체적으로, 스테레오 매칭 장치(100)는 제1 에지화소와 대응되는 행에 있는 제2 영상의 화소들 중, 제1 수평 에지 이미지와 제1 수직 에지 이미지 내의 복수개의 제1 주변화소들의 화소값들과 제2 수평 에지 이미지와 제2 수직 에지 이미지 내의 제2 주변화소들의 화소값들의 각각의 차이값의 합이 최소가 되는 화소를 제1 에지화소와 매칭되는 제2 에지화소로 결정하게 된다. 이 때, 제1 주변화소들은, 제1 에지화소를 중심으로 배치된 4개의 영역을 구분하고, 각 영역별로 동일한 형태로 배치된 주변화소들이 선택된다.
구체적으로, 매칭을 위한 주변화소들의 선택 과정 및 매칭 진행 과정에 대해 도 4 및 도 5를 참고하여 설명한다.
도 4는 본 발명의 일 실시예에 따른, 매칭되는 화소를 찾는 과정을 설명하기 위한 도면이다. 도 4에서 Left Image가 기준이미지인 제1 영상을 나타내고, Right가 탐색이미지인 제2 영상을 나타낸다.
일단 제1 영상에서 기준 화소인 제1 에지화소가 도 4에서 I_desc(x,y)에 해당된다. 도 4에 도시된 바와 같이, 스테레오 매칭 장치(100)는 제1 에지화소 (x,y)를 기준으로 왼쪽위, 오른쪽위, 왼쪽아래, 오른쪽아래 영역에 각각 5x5의 윈도우 영역을 선택한다. 도 4에서 각 윈도우 영역은 Lf1, Lf2, Lf3, Lf4로 표시되어 있다. 그리고, 스테레오 매칭 장치(100)는 각 윈도우 영역별로 수평 에지 이미지에 대해 4개의 주변화소를 선택하고, 수직 에지 이미지에 대해 12개의 주변화소를 선택하여, 각 윈도우 영역별로 총 16개의 주변화소를 선택하게 된다.
이 때, 제1 주변화소들은, 제1 수평 에지 이미지에 포함된 것보다 제1 수직 에지 이미지에 포함된 것들이 더 많도록 설정된다. 이는 수평 에지보다 수직 에지가 매칭과 관련하여 더 중요한 영향을 미치기 때문이다. 이 때문에, 스테레오 매칭장치(100)는 제1 수평 에지 이미지의 주변화소 개수보다 제1 수직 에지 이미지의 주변화소 개수를 더욱 많이 선정하여 매칭시 고려하게 된다. 하나의 5x5 윈도우 영역에 대해 16개의 주변화소를 선택하는 방법에 대해서는 도 5에 상세히 도시되어 있다.
도 5는 본 발명의 일 실시예에 따른, 수평 에지 이미지의 주변화소와 수직 에지 이미지의 주변화소를 도시한 도면이다.
도 5에서 왼쪽의 이미지가 수평 에지 이미지를 나타내며, 수평에지 이미지에서는 5x5 윈도우 영역의 중심점의 주변 4개의 주변화소가 선택된 것을 확인할 수 있다.
도 5에서 오른쪽의 이미지가 수직 에지 이미지를 나타내며, 수직에지 이미지에서는 5x5 윈도우 영역의 중심점의 주변 10개와 중심점 2번을 포함하여 총 12개의 주변화소가 선택된 것을 확인할 수 있다. 여기에서, 수직 에지 이미지의 경우 중심점이 매칭에 중요한 역할을 하기 때문에 가중치를 부여하여 중심점은 2번 선택되게 된다.
이와 같이, 스테레오 매칭 장치(100)는 도 5에 도시된 방식으로 각 5x5 윈도우 영역별로 수평 에지 이미지에 대해 4개의 주변화소를 선택하고, 수직 에지 이미지에 대해 12개의 주변화소를 선택하여, 각 윈도우 영역별로 총 16개의 주변화소를 선택하게 된다.
다시 도 4로 돌아가면, 스테레오 매칭 장치(100)는 4개의 윈도우 영역(Lf1, Lf2, Lf3, Lf4)에 대해 각각 16개씩의 제1 주변화소들을 선택하게 된다.
그리고, 스테레오 매칭 장치(100)는 제1 영상(Left image)의 제1 에지화소(x,y)와 대응되는 행에 있는 제2 영상(Right image)의 화소들(x-d, y)에 대해, 동일한 방식으로 제2 주변화소들을 선택하게 된다. 그리고, 도 4에 도시된 수식과 같이, 스테레오 매칭 장치(100)는 제1 주변화소들과 대응되는 제2 주변화소들 각각의 화소값의 차이값의 합인 매칭 코스트(matching cost)값을 구하게 된다. 그리고, 스테레오 매칭 장치(100)는 매칭 코스트 값이 최소가 되는 화소를 제1 에지화소와 매칭되는 제2 에지화소로 결정하게 된다. 주변화소들의 차이값의 합, 즉 매칭 코스트 값이 가장 작다는 것은, 제1 에지화소의 제1 주변화소들과 가장 유사한 제2 주변화소들을 가지는 제2 영상의 화소가 되므로, 결국 제1 에지화소에 대응되는 제2 영상의 제2 에지화소에 해당되는 것이 된다.
도 4에 도시된 수식에서, Sum1이 Lf1 윈도우 영역의 주변화소들의 화소값과 Rf1 윈도우 영역의 주변화소들의 화소값의 차이값의 합을 나타내고, Sum2이 Lf2 윈도우 영역의 주변화소들의 화소값과 Rf2 윈도우 영역의 주변화소들의 화소값의 차이값의 합을 나타내고, Sum3이 Lf3 윈도우 영역의 주변화소들의 화소값과 Rf3 윈도우 영역의 주변화소들의 화소값의 차이값의 합을 나타내고, Sum4이 Lf4 윈도우 영역의 주변화소들의 화소값과 Rf4 윈도우 영역의 주변화소들의 화소값의 차이값의 합을 나타낸다. 따라서, Sum1+Sum2+Sum3+Sum4 값이 제1 주변화소들과 대응되는 제2 주변화소들 각각의 화소값의 차이값의 합인 매칭 코스트(matching cost)값을 나타내게 된다.
도 4에서는 제2 영상(Right image)의 y행에 있는 245개의 화소에 대해 모든 매칭 코스트 값을 계산하였으며, 그중 가장 낮은 매칭 코스트값을 가지는 화소를 제1 에지화소와 매칭되는 제2 영상의 제2 에지화소로 결정한 것을 확인할 수 있다.
이와 같은 과정을 통해, 스테레오 매칭 장치(100)는 제1 에지화소에 매칭되는 제2 에지화소를 결정할 수 있게 된다.
그리고, 스테레오 매칭 장치(100)는 제1 에지화소와 제2 에지화소간의 거리차이인 디스패리티(disparity) 값을 산출하게 되며, 이와 관련하여 도 6을 참고하여 설명한다. 도 6은 본 발명의 일 실시예에 따른, 디스패리티값 및 이를 이용한 깊이값을 계산하는 과정을 설명하기 위한 도면이다.
디스패리티는 동일한 지점을 나타내는 화소가 두개의 영상에서 서로 얼마나 위치가 차이나는지를 나타내는 값이며, 도 6에 도시된 공식을 참고하면 디스패리티값(xR-xT)을 이용하여 깊이값인 Z를 구할 수 있는 것을 확인할 수 있다.
다시, 도 2 및 도 3으로 돌아가서, 스테레오 매칭 장치(100)는 매칭된 화소들을 각각 지원점(Support point)으로 지정하여 지원점 맵(330)을 생성한다(S240). 도 7은 본 발명의 일 실시예에 따른, 지원점 맵을 도시한 도면이다. 도 7을 참고하면, Left image와 Right image로부터 매칭된 화소들을 모아놓은 지원점 맵(Initial SPOINT)이 표시된 것을 확인할 수 있다.
그 후에, 스테레오 매칭 장치(100)는 지원점 맵에서 불필요한 지원점을 제거한다(S250). 구체적으로, 스테레오 매칭 장치(100)는 특정 크기의 영역 내에 지원점이 특정 개수 이하가 포함되어 있는 경우, 해당 영역 내의 지원점들을 모두 제거함으로써, 불필요한 지원점을 제거하여, 불필요한 지원점이 제거된 지원점 맵(340)을 생성하게 된다. 이에 대해, 도 8 및 도 9를 참고하여 설명한다.
도 8은 본 발명의 일 실시예에 따른, 불필요한 지원점을 제거하는 알고리즘을 도시한 도면이다. 도 8에서는 40x40 크기의 영역 내에 5개 이하의 지원점이 포함되어 있는 경우, 해당 영역의 지원점은 삭제하는 형태로 알고리즘을 구현한 것을 확인할 수 있다. 하지만, 영역의 크기나 지원점의 개수는 유동적으로 변경될 수 있음은 물론이다.
도 9는 본 발명의 일 실시예에 따른, 불필요한 지원점이 제거된 지원점 맵을 도시한 도면이다. 초기 지원점 맵(Initial SPOINT)에서 불필요한 지원점이 제거된 지원점 맵(Refined SPOINT)은 하늘 영역에 불필요한 지원 점들이 사라진 것을 확인할 수 있다.
다시, 도 2 및 도 3으로 돌아가서, 스테레오 매칭 장치(100)는 지원점 맵의 디스패리티값에 대한 1차 보간을 수행하여 1차 디스패리티 맵(350)을 생성한다(S260). 구체적으로, 스테레오 매칭 장치(100)는 지원점 맵을 일정 비율로 축소하고, 축소된 지원점 맵에서 디스패리티 값이 할당되지 않은 화소들을 좌측 또는 우측에 위치된 화소의 디스패리티 값 중 작은 값으로 할당함으로써, 디스패리티 값을 보간하며, 보간을 통해 축소된 지원점 맵의 모든 화소에 디스패리티 값이 할당되면 축소된 지원점 맵을 원래 크기로 확대함으로써, 1차 보간을 수행하게 된다.
구체적인 1차 보간 과정에 대해서는, 도 10 내지 도 13을 참고하여 설명한다. 도 10은 본 발명의 일 실시예에 따른, 1차 보간을 수행하는 과정을 도시한 도면이다. 도 10에 도시된 바와 같이, 스테레오 매칭 장치(100)는 지원점 맵을 1/16 비율로 축소하고, 축소된 지원점 맵에서 디스패리티 값이 할당되지 않은 화소들을 좌측 또는 우측에 위치된 화소의 디스패리티 값 중 작은 값으로 할당함으로써, 디스패리티 값을 모두 채우게 되며, 보간을 통해 축소된 지원점 맵의 모든 화소에 디스패리티 값이 할당되면 축소된 지원점 맵을 원래 크기로 확대함으로써, 1차 보간을 수행하게 되는 과정을 확인할 수 있다.
도 11은 본 발명의 일 실시예에 따른, 축소 전의 지원점 맵의 일부 화소들을 도시한 도면이다. 도 11에 도시된 바와 같이, 스테레오 매칭 장치(100)는 우선 일정 비율로 축소할 때, 제거하지 않고 살려놓을 화소(빨간색 및 회색)들을 일정 간격으로 선택한다. 도 11의 경우, 1/16으로 축소하기 위해 4x4 영역에서 가장 왼쪽 위에있는 화소만을 살리는 화소로 선택하고 나머지는 제거 대상 화소로 선택하는 것을 확인할 수 있다.
도 12는 본 발명의 일 실시예에 따른, 지원점 맵을 일정 비율로 축소하는 과정을 도시한 도면이다. 1/16으로 축소하면 빨간색과 회색의 화소만 남게 되는 것을 확인할 수 있다.
도 13은 본 발명의 일 실시예에 따른, 축소된 지원점 맵의 디스패리티 값을 보간하고 다시 원래크기로 확대하는 과정을 도시한 도면이다. 빨간색 화소에 할당되어 있는 디스패리티값을 디스패리티값이 할당되지 않은 회색 화소에 적용하여 모두 빨간색이 된 것을 확인할 수 있다. 그리고, 다시 16배로 늘려서 원래 크기로 확대하면, 4x4 행렬에서 가장 왼쪽 위에 있는 화소에는 모두 디스패리티값이 할당되어 있는 상태가 된 것을 확인할 수 있다.
이와 같은 방식으로, 스테레오 매칭 장치(100)는 지원점 맵의 디스패리티값에 대한 1차 보간을 수행하여 1차 디스패리티 맵(350)을 생성하게 된다. 1차 디스패리티맵은 일정 간격으로 일부 화소만 디스패리티값이 할당된 상태임을 확인할 수 있다.
다시, 도 2 및 도 3으로 돌아가서, 스테레오 매칭 장치(100)는 1차 디스패리티 맵에 2차 보간을 수행하여 2차 디스패리티 맵을 생성하게 된다(S270). 구체적으로, 스테레오 매칭 장치(100)는 디스패리티 값이 할당되지 않은 화소에 대해, 주변의 4개의 디스패리티 값이 존재하는 화소들의 디스패리티 값들 및 해당 화소들과의 거리를 이용하여, 해당 디스패리티 값이 할당되지 않은 화소의 디스패리티값을 보간하는 방식으로, 모든 디스패리티 값이 할당되지 않은 화소들의 디스패리티값을 보간함으로써, 2차 디스패리티 맵을 생성하게 된다. 이와 관련하여, 도 14를 참고하여 구체적으로 설명한다.
도 14는 본 발명의 일 실시예에 따른, 2차 보간을 수행하는 방법을 도시한 도면이다. 도 14에 도시된 바와 같이, 2차 보간은 4개의 주변 지원점을 이용하여 수행된다.
이와 같은 과정을 통해, 스테레오 매칭 장치(100)는 모든 화소에 대한 디스패리티값이 할당된 2차 디스패리티 맵을 생성할 수 있게 된다. 또한, 스테레오 매칭 장치는 메디안 필터(median filter)를 이용하여 잡음제거 및 구멍메우기를 수행하여, 더욱 정밀한 2차 디스패리티 맵을 생성할 수 있으며, 이에 대해서는 도 15에 도시되어 있다. 도 15는 본 발명의 일 실시예에 따른, 후처리된 디스패리티 맵을 도시한 도면이다. 도 15에 도시된 바와 같이, 스테레오 매칭 장치(100)는 2차 디스패리티맵(Disparity map)을 메디안 필터에 의해 후처리하여 더욱 정밀한 2차 디스패리티 맵(Refined Disparity map)을 생성할 수 있다.
도 16은 본 발명의 일 실시예에 따른, 입력된 스테레오 영상에 대한 디스패리티 맵을 도시한 도면이다. 상술한 과정을 통해, 스테레오 매칭 장치(100)는 도 16과 같이 2개의 카메라를 통해 촬영된 오리지널 이미지를 이용하여, 디스패리티 맵을 생성할 수 있게 된다.
또한, 스테레오 매칭 장치(100)는 병렬 처리를 통해 메모리 사이즈 및 처리속도를 최적화할 수도 있다. 이와 관련하여 도 17 내지 도 19를 참고하여 설명한다.
도 17은 본 발명의 일 실시예에 따른, 라인단위 버퍼를 이용한 병렬처리 과정을 도시한 도면이다. 도 17에 도시된 바와 같이, 스테레오 매칭 장치(100)는 에지 이미지 생성 과정에서 2개의 버퍼 라인을 이용하여 병렬 처리를 수행할 수도 있다.
도 18은 본 발명의 일 실시예에 따른, 매칭 과정에 대한 파이프라인을 도시한 도면이다. 도 18에 도시된 바와 같이, 스테레오 매칭 장치(100)는 4개의 파이프라인 구성을 통해 시간 복잡도를 1/4로 줄일 수 있다. 이를 통해, 스테레오 매칭 장치(100)는 메모리 사이즈 및 액세스를 최적화 할 수 있게 된다.
도 19는 본 발명의 일 실시예에 따른, 하드웨어 병렬처리 구조를 도시한 도면이다. 도 19에 도시된 바와 같이, 스테레오 매칭 장치(100)는 2차 보간 수행시 4개의 병렬 처리를 통해 시간복잡도를 1/4로 줄일 수 있게 된다.
이와 같이, 스테레오 매칭 장치(100)는 병렬 처리를 통해 시간 복잡도를 줄이고 메모리 사용을 효율화 할 수 있게 된다.
한편, 본 실시예에 따른 스테레오 매칭 장치(100)는 이를 이용하여 차량 주변의 사물을 인식하는 지능형 운전자 보조시스템(ADAS: Advanced Driver Assistance Systems)에 적용될 수도 있음은 물론이다.
한편, 본 실시예에 따른 스테레오 매칭 장치(100)의 기능 및 스테레오 매칭 방법을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 프로그래밍 언어 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 플래시 메모리, 솔리드 스테이트 디스크(SSD) 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 스테레오 매칭 장치
110 : 카메라부
111 : 제1 카메라
112 : 제2 카메라
120 : 에지 추출부
130 : 영상 처리부

Claims (12)

  1. 두개의 카메라로 동시에 촬영된 제1 영상과 제2 영상을 포함하는 스테레오 영상을 입력받는 단계;
    제1 영상에 대한 제1 수평 에지(edge) 이미지와 제1 수직 에지 이미지를 추출하고, 제2 영상에 대한 제2 수평 에지 이미지 및 제2 수직 에지 이미지를 추출하는 단계;
    제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 제1 영상에 포함된 제1 에지 화소를 제2 영상에 포함된 제2 에지 화소와 매칭시키는 단계; 및
    제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 매칭된 제1 에지화소와 제2 에지화소간의 거리차이인 디스패리티(disparity) 값을 산출하는 단계;를 포함하고,
    매칭 단계는,
    제1 에지화소와 대응되는 행에 있는 제2 영상의 화소들 중, 제1 수평 에지 이미지와 제1 수직 에지 이미지 내의 복수개의 제1 주변화소들의 화소값들과 제2 수평 에지 이미지와 제2 수직 에지 이미지 내의 제2 주변화소들의 화소값들의 각각의 차이값의 합이 최소가 되는 화소를 제1 에지화소와 매칭되는 제2 에지화소로 결정하며,
    제1 주변화소들은,
    제1 수평 에지 이미지에 포함된 것보다 제1 수직 에지 이미지에 포함된 것들이 더 많은 것을 특징으로 하는 스테레오 매칭방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 청구항 1에 있어서,
    제1 주변화소들은,
    제1 에지화소를 중심으로 배치된 4개의 영역을 구분하고, 각 영역별로 동일한 형태로 배치된 주변화소들이 선택되는 것을 특징으로 하는 스테레오 매칭방법.
  6. 청구항 1에 있어서,
    매칭된 화소들을 각각 지원점으로 지정하여 지원점 맵을 생성하는 단계; 및
    지원점 맵에서 불필요한 지원점을 제거하는 단계;를 더 포함하는 것을 특징으로 하는 스테레오 매칭방법.
  7. 청구항 6에 있어서,
    제거 단계는,
    특정 크기의 영역 내에 지원점이 특정 개수 이하가 포함되어 있는 경우, 해당 영역 내의 지원점들을 모두 제거함으로써, 불필요한 지원점을 제거하는 것을 특징으로 하는 스테레오 매칭방법.
  8. 청구항 6에 있어서,
    지원점 맵의 디스패리티값에 대한 1차 보간을 수행하여 1차 디스패리티 맵을 생성하는 단계;를 더 포함하고,
    1차 디스패리티 맵을 생성하는 단계는,
    지원점 맵을 일정 비율로 축소하는 단계;
    축소된 지원점 맵에서 디스패리티 값이 할당되지 않은 화소들을 좌측 또는 우측에 위치된 화소의 디스패리티 값 중 작은 값으로 할당함으로써, 디스패리티 값을 보간하는 단계; 및
    보간을 통해 축소된 지원점 맵의 모든 화소에 디스패리티 값이 할당되면, 축소된 지원점 맵을 원래 크기로 확대하는 단계;를 포함하는 스테레오 매칭방법.
  9. 청구항 8에 있어서,
    1차 디스패리티 맵에 2차 보간을 수행하여 2차 디스패리티 맵을 생성하는 단계;를 더 포함하고,
    2차 디스패리티 맵을 생성하는 단계는,
    디스패리티 값이 할당되지 않은 화소에 대해, 주변의 4개의 디스패리티 값이 존재하는 화소들의 디스패리티 값들 및 해당 화소들과의 거리를 이용하여, 해당 디스패리티 값이 할당되지 않은 화소의 디스패리티값을 보간하는 방식으로, 모든 디스패리티 값이 할당되지 않은 화소들의 디스패리티값을 보간함으로써, 2차 디스패리티 맵을 생성하는 것을 특징으로 하는 스테레오 매칭방법.
  10. 두개의 카메라로 동시에 촬영된 제1 영상과 제2 영상을 포함하는 스테레오 영상을 입력받는 단계;
    제1 영상에 대한 제1 수평 에지(edge) 이미지와 제1 수직 에지 이미지를 추출하고, 제2 영상에 대한 제2 수평 에지 이미지 및 제2 수직 에지 이미지를 추출하는 단계;
    제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 제1 영상에 포함된 제1 에지 화소를 제2 영상에 포함된 제2 에지 화소와 매칭시키는 단계;
    제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 매칭된 제1 에지화소와 제2 에지화소간의 거리차이인 디스패리티(disparity) 값을 산출하는 단계;를 포함하고,
    매칭 단계는,
    제1 에지화소와 대응되는 행에 있는 제2 영상의 화소들 중, 제1 수평 에지 이미지와 제1 수직 에지 이미지 내의 복수개의 제1 주변화소들의 화소값들과 제2 수평 에지 이미지와 제2 수직 에지 이미지 내의 제2 주변화소들의 화소값들의 각각의 차이값의 합이 최소가 되는 화소를 제1 에지화소와 매칭되는 제2 에지화소로 결정하며,
    제1 주변화소들은,
    제1 수평 에지 이미지에 포함된 것보다 제1 수직 에지 이미지에 포함된 것들이 더 많은 것을 특징으로 하는 스테레오 매칭방법을 수행하는 컴퓨터 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체.
  11. 두개의 카메라로 동시에 촬영된 제1 영상과 제2 영상을 포함하는 스테레오 영상을 촬영하는 카메라부;
    제1 영상에 대한 제1 수평 에지(edge) 이미지와 제1 수직 에지 이미지를 추출하고, 제2 영상에 대한 제2 수평 에지 이미지 및 제2 수직 에지 이미지를 추출하는 에지추출부; 및
    제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 제1 영상에 포함된 제1 에지 화소를 제2 영상에 포함된 제2 에지 화소와 매칭시키고, 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 매칭된 제1 에지화소와 제2 에지화소간의 거리차이인 디스패리티(disparity) 값을 산출하는 영상처리부;를 포함하고,
    영상처리부는,
    제1 에지화소와 대응되는 행에 있는 제2 영상의 화소들 중, 제1 수평 에지 이미지와 제1 수직 에지 이미지 내의 복수개의 제1 주변화소들의 화소값들과 제2 수평 에지 이미지와 제2 수직 에지 이미지 내의 제2 주변화소들의 화소값들의 각각의 차이값의 합이 최소가 되는 화소를 제1 에지화소와 매칭되는 제2 에지화소로 결정하며,
    제1 주변화소들은,
    제1 수평 에지 이미지에 포함된 것보다 제1 수직 에지 이미지에 포함된 것들이 더 많은 것을 특징으로 하는 스테레오 매칭장치.
  12. 스테레오 매칭장치를 이용하여 차량 주변의 사물을 인식하는 지능형 운전자 보조시스템에 있어서,
    상기 스테레오 매칭장치는,
    두개의 카메라로 동시에 촬영된 제1 영상과 제2 영상을 포함하는 스테레오 영상을 촬영하는 카메라부;
    제1 영상에 대한 제1 수평 에지(edge) 이미지와 제1 수직 에지 이미지를 추출하고, 제2 영상에 대한 제2 수평 에지 이미지 및 제2 수직 에지 이미지를 추출하는 에지추출부; 및
    제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 제1 영상에 포함된 제1 에지 화소를 제2 영상에 포함된 제2 에지 화소와 매칭시키고, 제1 영상에 포함된 에지 화소들 일부 또는 전부에 대해, 매칭된 제1 에지화소와 제2 에지화소간의 거리차이인 디스패리티(disparity) 값을 산출하는 영상처리부;를 포함하고,
    영상처리부는,
    제1 에지화소와 대응되는 행에 있는 제2 영상의 화소들 중, 제1 수평 에지 이미지와 제1 수직 에지 이미지 내의 복수개의 제1 주변화소들의 화소값들과 제2 수평 에지 이미지와 제2 수직 에지 이미지 내의 제2 주변화소들의 화소값들의 각각의 차이값의 합이 최소가 되는 화소를 제1 에지화소와 매칭되는 제2 에지화소로 결정하며,
    제1 주변화소들은,
    제1 수평 에지 이미지에 포함된 것보다 제1 수직 에지 이미지에 포함된 것들이 더 많은 것을 특징으로 하는 지능형 운전자 보조 시스템.
KR1020170086334A 2017-07-07 2017-07-07 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치 KR101920159B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170086334A KR101920159B1 (ko) 2017-07-07 2017-07-07 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치
PCT/KR2018/007496 WO2019009579A1 (ko) 2017-07-07 2018-07-03 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170086334A KR101920159B1 (ko) 2017-07-07 2017-07-07 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101920159B1 true KR101920159B1 (ko) 2018-11-19

Family

ID=64561969

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170086334A KR101920159B1 (ko) 2017-07-07 2017-07-07 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101920159B1 (ko)
WO (1) WO2019009579A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115689965B (zh) * 2022-12-30 2023-03-21 武汉大学 面向整景卫星影像深度学习密集匹配的多级视差融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762670B1 (ko) * 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
JP2009176087A (ja) * 2008-01-25 2009-08-06 Fuji Heavy Ind Ltd 車両用環境認識装置
KR100943635B1 (ko) * 2008-11-06 2010-02-24 삼성에스디에스 주식회사 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101265021B1 (ko) * 2012-02-29 2013-05-24 성균관대학교산학협력단 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치
KR101265020B1 (ko) * 2012-02-29 2013-05-24 성균관대학교산학협력단 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100762670B1 (ko) * 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
JP2009176087A (ja) * 2008-01-25 2009-08-06 Fuji Heavy Ind Ltd 車両用環境認識装置
KR100943635B1 (ko) * 2008-11-06 2010-02-24 삼성에스디에스 주식회사 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법

Also Published As

Publication number Publication date
WO2019009579A1 (ko) 2019-01-10

Similar Documents

Publication Publication Date Title
CN110222787B (zh) 多尺度目标检测方法、装置、计算机设备及存储介质
JP7004314B2 (ja) 準パラメトリックオプティカルフロー推定
EP2087466B1 (en) Generation of depth map for an image
US9237326B2 (en) Imaging system and method
KR100762670B1 (ko) 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
CN111066065A (zh) 用于混合深度正则化的系统和方法
US9361699B2 (en) Imaging system and method
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
EP2811457A1 (en) Image processing method and apparatus
US9235879B2 (en) Apparatus, system, and method for temporal domain hole filling based on background modeling for view synthesis
US9519956B2 (en) Processing stereo images
CN111209770A (zh) 一种车道线识别方法及装置
JP2013500536A5 (ko)
US20230252664A1 (en) Image Registration Method and Apparatus, Electronic Apparatus, and Storage Medium
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
US20170188008A1 (en) Method and device for generating depth map
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
JP2013185905A (ja) 情報処理装置及び方法、並びにプログラム
US20190318196A1 (en) Guided sparse feature matching via coarsely defined dense matches
JP7117872B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
KR101920159B1 (ko) 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
CN115239886A (zh) 一种遥感uav-mvs影像点云数据处理方法、装置、设备及介质
EP2860975A1 (en) Method for processing at least one disparity map, corresponding electronic device and computer program product

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant