KR20180051241A - 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템 - Google Patents

직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템 Download PDF

Info

Publication number
KR20180051241A
KR20180051241A KR1020160148300A KR20160148300A KR20180051241A KR 20180051241 A KR20180051241 A KR 20180051241A KR 1020160148300 A KR1020160148300 A KR 1020160148300A KR 20160148300 A KR20160148300 A KR 20160148300A KR 20180051241 A KR20180051241 A KR 20180051241A
Authority
KR
South Korea
Prior art keywords
window
image
parallax
line buffer
image data
Prior art date
Application number
KR1020160148300A
Other languages
English (en)
Other versions
KR102507383B1 (ko
Inventor
김광용
문병인
박미룡
배경렬
Original Assignee
한국전자통신연구원
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 경북대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020160148300A priority Critical patent/KR102507383B1/ko
Priority to US15/793,528 priority patent/US10713808B2/en
Publication of KR20180051241A publication Critical patent/KR20180051241A/ko
Application granted granted Critical
Publication of KR102507383B1 publication Critical patent/KR102507383B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 스테레오 비전 기반의 스테레오 정합 방법 및 스테레오 정합 시스템에 관한 것으로서, 본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 방법은, 좌영상 및 우영상을 획득하는 단계, 상기 획득된 좌영상 및 우영상 각각에 윈도우를 적용하여 영상 데이터를 식별하는 단계, 상기 영상 데이터를 라인 버퍼에 저장하는 단계, 상기 라인 버퍼에 저장된 영상 데이터로부터 시차를 추출하는 단계 및 상기 추출된 시차를 기초로 하여 깊이 맵을 생성하는 단계를 포함할 수 있다.

Description

직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템{METHOD AND SYSTEM FOR STEREO MATCHING BY USING RECTANGULAR WINDOW}
본 발명은 스테레오 비전 기반의 스테레오 정합 방법 및 스테레오 정합 시스템에 관한 것으로서, 좌영상 및 우영상에 직사각형 윈도우를 적용하여 시차를 추출하고 깊이 맵을 생성하는 것에 대한 것이다.
스테레오 정합(stereo matching)은 두 개의 이미지 센서를 사용하여 동일 시간에 서로 다른 위치에서 획득한 2차원 영상들로부터 3차원 정보를 획득하는 기술이며, 좌영상 및 우영상 내에서 동일 지점에 해당하는 대응점을 찾아 두 대응점 간의 시차(disparity)를 획득함으로써 3차원 거리 정보인 깊이 맵(depth map)을 획득할 수 있다.
스테레오 정합은 정합에 사용되는 요소에 따라 특징 기반(feature-based)법과 영역 기반(area-based)법의 두 가지로 나뉜다.
특징 기반법은, 영 교차점(zero-crossing), 경계선, 모서리(edge), 마루, 골, 원추 곡선 등을 정합 요소로 하는 정합 방법이다. 특징 기반법은 영상에서 추출한 특징들을 정합에 이용하기 때문에 영상의 밝기 변화나 광원의 영향을 크게 받지 않으므로, 상대적으로 노이즈의 영향을 적게 받고 계산 과정이 단순하다는 장점이 있다.
영역 기반법은, 좌영상 및 우영상 중 어느 하나의 영상을 기준 영상으로 정하고 타 영상을 탐색 영상으로 정한 뒤, 기준 영상의 모든 화소에 대해서 탐색 영상 내 대응점을 찾는 정합 방법이다. 영역 기반법은 특징 기반법과 달리 특징 추출이나 보간 과정 없이도 영상 전체에 대해 변이값을 얻을 수 있다는 장점이 있지만, 상대적으로 노이즈에 약하므로 노이즈를 제거하기 위한 전처리 과정을 필요로 한다.
스테레오 정합 시스템을 이용하여 실시간으로 깊이 맵을 획득하는 과정은 스테레오 카메라로부터 수신한 좌영상 및 우영상에서 동일점을 찾아 3차원 깊이 정보 또는 거리 정보를 계산하는 과정을 거치기 때문에 높은 대역폭의 메모리 사용을 필요로 한다. 많은 양의 메모리 사용을 필요로 하는 점은 스테레오 정합 시스템을 구현하는데 큰 장애가 된다. 이 때, y축 시차가 제거된 좌영상 및 우영상을 저장하기 위한 메모리가 가장 큰 대역폭을 요구한다. 본 발명의 다양한 실시예들은 y축 시차가 제거된 좌영상 및 우영상을 저장하기 위한 메모리의 사용을 최소화하기 위한 방법 및 시스템을 제공할 수 있다.
또한 정합 정확도는 스테레오 정합 시스템을 구현하는데 있어 핵심 요소로, 정합 정확도가 높을수록 시스템 구현 시 안정적으로 작동할 수 있다. 이에 따라, 정합 정확도를 증가시키기 위해 메모리 등의 하드웨어 자원을 많이 사용하면 비교적 쉽게 정합 정확도를 증가시킬 순 있지만 이는 시스템 구현에 있어서 문제가 된다. 따라서, 본 발명은 하드웨어의 자원 사용을 최소화하면서 정합 정확도를 증가시킴으로써, 스테레오 정합 시스템의 성능을 향상시킬 수 있는 방법 및 시스템을 제공할 수 있다.
본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 방법은, 좌영상 및 우영상을 획득하는 단계, 상기 획득된 좌영상 및 우영상 각각에 윈도우를 적용하여 영상 데이터를 식별하는 단계, 상기 영상 데이터를 라인 버퍼에 저장하는 단계, 상기 라인 버퍼에 저장된 영상 데이터로부터 시차를 추출하는 단계 및 상기 추출된 시차를 기초로 하여 깊이 맵을 생성하는 단계를 포함하고, 상기 직사각형 윈도우는 정사각형 윈도우의 면적과 동일하고, 상기 정사각형 윈도우가 형성하는 라인버퍼의 세로 길이보다 짧은 라인버퍼로 결정된 상기 직사각형 윈도우일 수 있다.
본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 방법에 있어서, 직사각형 윈도우는, 라인 버퍼의 세로 길이가 짧을수록 상기 좌영상 및 우영상을 저장하기 위한 메모리 사용량이 최소화될 수 있다.
본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 방법에 있어서, 직사각형 윈도우는, 라인버퍼의 가로 길이가 라인버퍼의 세로 길이의 2배일 수 있다.
본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 방법에 있어서, 영상 데이터를 식별하는 단계는, 획득된 좌영상 및 우영상에서 동일 지점에 해당하는 적어도 한 쌍의 대응점을 식별하는 단계 및 식별된 적어도 한 쌍의 대응점을 기준으로, 윈도우를 적용하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 방법에 있어서, 시차를 추출하는 단계는, 획득된 좌영상 및 우영상의 y축 방향에 대한 시차를 제거하는 단계 및 y축 방향에 대한 시차가 제거된 좌영상 및 우영상에서 x축 방향에 대한 시차를 추출하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 방법에 있어서, x축 방향에 대한 시차를 추출하는 단계는, 윈도우를 열 단위로 세분화하고, 각각 세분화된 열 단위의 윈도우를 구성하는 픽셀들을 체인 형태의 비교 연산을 수행하는 단계; 및 비교 연산이 수행된 열 단위의 윈도우를 누적하여 x축 방향에 대한 시차를 추출하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 시스템은, 좌영상 및 우영상을 촬영하는 스테레오 카메라, 복수의 라인버퍼를 저장하는 메모리 및 프로세서를 포함하고, 프로세서는, 스테레오 카메라를 통해 좌영상 및 우영상을 획득하고, 획득된 좌영상 및 우영상 각각에 윈도우를 적용하여 영상 데이터를 식별하고, 영상 데이터를 라인 버퍼에 저장하고, 라인 버퍼에 저장된 영상 데이터로부터 시차를 추출하고, 추출된 시차를 기초로 하여 깊이 맵을 생성하고, 윈도우는 정사각형 윈도우의 면적과 동일하고, 상기 정사각형 윈도우가 형성하는 라인버퍼의 세로 길이보다 짧은 라인버퍼로 결정된 상기 직사각형 윈도우일 수 있다.
본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 시스템에 있어서, 윈도우는, 상기 라인 버퍼의 세로 길이가 짧을수록 상기 좌영상 및 우영상을 저장하기 위한 메모리 사용량이 최소화될 수 있다.
본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 시스템에 있어서, 직사각형 윈도우는, 라인버퍼의 가로 길이가 라인버퍼의 세로 길이의 2배일 수 있다.
본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 시스템에 있어서, 프로세서는, 영상 데이터를 식별하는 동작에 있어서, 획득된 좌영상 및 우영상에서 동일 지점에 해당하는 적어도 한 쌍의 대응점을 식별하고, 식별된 적어도 한 쌍의 대응점을 기준으로, 윈도우를 적용할 수 있다.
본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 시스템에 있어서, 프로세서는, 시차를 추출하는 동작에 있어서, 획득된 좌영상 및 우영상의 y축 방향에 대한 시차를 제거하고, y축 방향에 대한 시차가 제거된 좌영상 및 우영상에서 x축 방향에 대한 시차를 추출할 수 있다.
본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 시스템에 있어서, 상기 프로세서는, 상기 x축 방향에 대한 시차를 추출하는 동작에 있어서, 상기 윈도우를 열 단위로 세분화하고, 각각 세분화된 열 단위의 윈도우를 구성하는 픽셀들을 체인 형태의 비교 연산을 수행한 후, 비교 연산이 수행된 열 단위의 윈도우를 누적하여 x축 방향에 대한 시차를 추출할 수 있다.
본 발명의 일실시예에 따른 스테레오 비전 기반의 스테레오 정합 시스템에 있어서, 프로세서는, 좌영상 및 우영상의 y축 방향에 대한 시차를 조정(rectification)하는 전처리부, 좌영상 및 우영상에 미리 설정된 크기의 윈도우를 적용하는 정합부 및 정합부에서 출력되는 영상 데이터에 기초하여 깊이 맵을 생성하는 후처리부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 좌영상 및 우영상으로부터 식별된 영상 데이터를 저장하기 위한 라인버퍼의 개수를 N+1개에서 N/2+1개로 줄일 수 있다.
본 발명의 일실시예에 따르면, 좌영상 및 우영상의 시차를 추출할 때, 추출된 시차의 정확도 저하 없이 메모리 사용량을 줄일 수 있다.
도 1은 본 발명의 일실시예에 따라, 스테레오 정합 시스템을 이용하여 깊이 맵을 획득하는 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따라, 센서스 트랜스폼과 버티컬 센서스 트랜스폼의 시차 추정을 위해 해밍 웨이트를 계산하는 방법을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따라, 메모리에 영상 데이터를 저장하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따라, 다수의 라인버퍼 형태의 싱글 포트 메모리를 사용하여 데이터를 읽고 쓰는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 정사각형 형태의 윈도우와 직사각형 윈도우를 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따라, 버티컬 센서스 트랜스폼과 체인 버티컬 센서스 트랜스폼의 각 열 내부에서 해밍 웨이트 계산을 위해 픽셀 간 비교를 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따라, 정사각형 윈도우 또는 직사각형 윈도우를 적용할 경우에 필요한 라인버퍼의 개수를 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따라, 정사각형 윈도우 및 직사각형 윈도우를 적용한 스테레오 정합 결과를 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따라, 버티컬 센서스 트랜스폼과 체인 버티컬 센서스 트랜스폼의 스테레오 정합 결과를 설명하기 위한 도면이다.
도 10은 본 발명의 일실시예에 따라, 스테레오 비전 기반의 스테레오 정합 방법을 설명하기 위한 순서도이다.
이하, 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따라, 스테레오 정합 시스템을 이용하여 깊이 맵을 획득하는 과정을 설명하기 위한 도면이다. 일실시예에 따른 스테레오 정합 시스템(110)은 전처리부(111), 정합부(112) 또는 후처리부(113)를 포함할 수 있다.
스테레오 정합 시스템(110)은 동일한 평면상에 놓인 스테레오 카메라(100)로부터 동일한 시점의 좌영상 및 우영상을 수신할 수 있다. 예를 들어, 스테레오 카메라(100)는 두 개의 광학부를 포함할 수 있고, 양 광학부의 중심이 수평을 이루도록 정렬될 수 있다. 양 광학부 중 하나는 좌영상을 획득하는데 이용되고, 다른 하나는 우영상을 획득하는데 이용될 수 있다.
일실시예에 따라 양 광학부를 구비한 스테레오 카메라(100)는 동일한 피사체를 동시에 촬영하여 좌영상 및 우영상을 획득할 수 있고, 단일 광학부를 구비한 스테레오 카메라(미도시)는 단일 광학부를 좌우로 이동시키며 동일한 피사체를 일정 시간 간격으로 촬영하는 방식으로 좌영상 및 우영상을 획득할 수 있다.
전처리부(111)는 스테레오 카메라(100)를 통해 획득된 좌영상 및 우영상을 수신할 수 있다. 일실시예에 따른 전처리부(111)는 전달된 영상들의 노이즈를 제거하고, 좌영상 및 우영상의 시점을 정렬하기 위해 좌영상 및 우영상을 조정(rectification)할 수 있다. 예를 들면, 전처리부(111)는 좌영상 및 우영상의 y축 방향에 대한 시차를 제거하는 동작을 수행할 수 있다.
본 발명은 좌영상 및 우영상 간의 시차를 추출하는데 있어, 전역 기반 정합(Global Matching)과 로컬 기반 정합(Local Matching)을 사용할 수 있다. 전역 기반 정합은 좌영상 및 우영상을 구성하는 모든 정보를 이용하기 때문에 보다 정확한 깊이 맵(120)을 획득할 수 있으나, 깊이 맵(120)을 획득하기 위한 알고리즘이 복잡하고, 연산 량이 많다. 반면, 로컬 기반 정합은 영상에 포함된 몇 개의 특징점을 기준으로 정합을 수행하는 특징 기반 정합과 윈도우 기반의 영역 기반 정합으로 세분화될 수 있다. 이러한 정합 방법은 연산 과정이 간단하고, 연산 량이 전역 기반 정합보다 상대적으로 적음에 따라, 보다 효율적으로 깊이 맵(120)을 획득할 수 있다.
이에 따라, 본 발명은 좌영상 및 우영상 간의 시차를 추출하기 위해 로컬 기반 정합 중 윈도우 기반의 영역 기반 정합을 적용할 수 있으며, 영상에 영향을 주는 조명 변화에 강건한 센서스 트랜스폼(census transform) 또는 버티컬 센서스 트랜스폼(Vertical census transfurom)을 이용할 수 있다.
여기서, 본 발명의 정합부(112)는 버티컬 센서스 트랜스폼을 활용하여 보다 효과적으로 좌영상 및 우영상 간의 시차를 추출할 수 있다. 이에 대한 자세한 구성은 도 2를 통해 설명하도록 한다.
또한, 정합부(112)는 좌영상 및 우영상 중 어느 하나의 영상을 기준 영상으로 정하고 다른 영상을 탐색 영상으로 정한 뒤 기준 영상의 특정 화소 혹은 영역을 탐색 영상에서 찾는 동작을 수행할 수 있다.
예를 들어, 정합부(112)는 y축 시차가 제거된 좌영상 및 우영상을 전처리부(111)로부터 수신할 수 있다. 또한, 정합부(112)는 수신된 좌영상 및 우영상 중 어느 하나의 영상을 기준 영상으로 설정하고, 다른 영상을 탐색 영상으로 설정할 수 있다. 이후, 정합부(112)는 기준 영상에 윈도우를 적용하여 특정 영역을 선택하고, 선택된 특정 영역과 유사한 영역을 탐색 영상에서 탐색하는 동작을 수행할 수 있다. 이러한 방식으로, 기준 영상 및 탐색 영상을 대응시키는 동작이 완료되면, 정합부(112)는 좌영상 및 우영상 간의 시차를 추출할 수 있다.
후처리부(113)는 정합부(112)에서 추출된 시차를 기초로 하여 깊이 맵(120)을 생성할 수 있다.
일실시예에 따른 스테레오 정합 시스템은, 깊이 맵을 획득하기 위한 과정에서 발생하는 영상 데이터 및 중간 결과값을 저장할 수 있는 메모리를 포함할 수 있다. 전처리부(111)는 스테레오 카메라(100)로부터 수신되는 좌영상 및 우영상을 저장하기 위한 메모리를 포함할 수 있다. 정합부(112)는 y축 시차가 제거된 좌영상 및 우영상을 저장하기 위한 메모리를 포함할 수 있다. 그리고 후처리부(113)는 정합부(112)에서 추출된 시차 및 깊이 맵을 저장하기 위한 메모리를 포함할 수 있다.
도 2는 본 발명의 일실시예에 따라, 센서스 트랜스폼과 버티컬 센서스 트랜스폼의 시차 추정을 위해 해밍 웨이트를 계산하는 방법을 나타낸 도면이다.
도 2를 참고하면, 스테레오 정합 시스템은 도 1을 통해 설명한 바와 같이, 센서스 트랜스폼 또는 버티컬 센서스 트랜스폼(Vertical census transfurom)을 이용하여 좌영상 및 우영상 간의 시차를 추출할 수 있다. 여기서, 센서스 트랜스폼 또는 버티컬 센서스 트랜스폼(Vertical census transfurom)은 영상 간에 시차 계산 알고리즘이다.
보다 구체적으로, 센서스 트랜스폼은 윈도우의 가운데 픽셀(pixel)과 나머지 픽셀간의 관계를 비교하여 해밍 웨이트(hamming weight)를 계산하고 이를 바탕으로 시차(disparity)를 찾는 방법이다. 그리고, 버티컬 센서스 트랜스폼은 센서스 트랜스폼의 하드웨어 사용량을 줄이기 위해 제안된 방법으로써, 이는 윈도우의 가운데 픽셀과 나머지 픽셀들을 비교하는 것이 아닌 각 열(column)의 가운데 픽셀과 해당 열의 나머지 픽셀들과 비교하여 시차를 찾는 방법이다.
또한, 버티컬 센서스 트랜스폼은 픽셀간 비교 횟수를 줄일 수 있을 뿐 아니라, 각각 열에서 픽셀간 비교한 결과를 다음 윈도우 설정 시 사용할 수 있기에 하드웨어의 사용량을 줄일 수 있다.
따라서, 스테레오 정합 시스템은 기준 영상에 윈도우를 적용하여 특정 영역을 선택하고, 선택된 특정 영역과 유사한 영역을 탐색 영상에서 탐색하는 동작을 수행함과 동시에, 윈도우를 구성하는 각 열에 대한 픽셀을 누적하여 연산을 수행함에 따라, 정합 정확도를 증가시키고, 이에 따른 사용량을 줄일 수 있다. 이 때, 윈도우는 세로의 길이보다 가로의 길이가 2Nⅹ(N/2 - 1) 크기로 긴 윈도우 직사각형 윈도우를 사용할 수 있다.
도 3은 본 발명의 일실시예에 따라, 메모리에 영상 데이터를 저장하는 방법을 설명하기 위한 도면이다.
일실시예에 따른 스테레오 카메라(100)로부터 수신된 영상은, 스테레오 정합 시스템에 포함된 메모리의 좌측 상단(311)부터 저장될 수 있다. 메모리의 좌측 상단(311) 공간에서 시작된 저장 동작은, x축 방향(311에서 319까지)을 따라 이어질 수 있다. x축 방향을 따라 이동하며 수행되는 저장 동작은, 영상의 가로 길이(310)만큼 이동한 후, 즉 우측 상단(319) 공간에 도착한 후, 다시 메모리의 2행 1열(321)에서 이어질 수 있다. 상기 방법을 통해 영상 프레임(frame)을 모두 저장하고, 메모리의 마지막 공간에 도달하면 다시 최초 시작점인 좌측 상단(311) 공간으로 이동하여 다음 프레임의 영상을 저장할 수 있다.
도 4는 본 발명의 일실시예에 따라, 다수의 라인버퍼 형태의 싱글 포트 메모리(single-port memory)를 사용하여 데이터를 읽고 쓰는 방법을 설명하기 위한 도면이다.
일실시예에 따라, 영상의 가로 길이(410)에 대응하는 주소 값을 가지는 라인버퍼 N+1 개를 사용하여 영상 데이터를 저장할 수 있다. 이 때, N은 영상 프레임의 세로 길이보다 작은 임의의 수를 나타낼 수 있다.
영상 데이터를 메모리의 라인버퍼에 저장하는 동작은, 제1 내지 제N 라인버퍼(420 내지 450)를 이용하여 수신된 영상 데이터를 읽고, 제N+1 라인버퍼(460)에 영상 프레임에 대응하는 영상 데이터를 저장하는 방식으로 이루어질 수 있다.
프로세서는 제N+1 라인버퍼(460)의 첫 번째 주소부터 마지막 주소까지 순차적으로 영상 데이터를 저장할 수 있다. 프로세서는 제N+1 라인버퍼(460)의 마지막 주소에 영상 데이터를 저장한 후, 다시 제N+1 라인버퍼(460)의 첫 번째 주소로 이동하여 영상 데이터를 저장할 수 있다. 또한, 다음 영상 프레임이 입력되는 경우, 프로세서는 제N+1 라인버퍼의 첫 번째 주소부터 영상 데이터를 저장할 수 있다.
일실시예에 따라 N+1개의 라인버퍼를 이용하여 영상 데이터를 저장할 때, 프로세서는 하나의 라인버퍼를 영상 데이터 저장에 이용할 수 있고 나머지 N 개의 라인버퍼를 수신된 영상 데이터를 읽는데 이용할 수 있다. 즉, 프로세서는 영상 데이터를 저장하는 동작과 영상 데이터를 읽는 동작을 동시에 수행할 수 있다. 이와 같은 방법을 통해, 프로세서는 N 사이클(cycle) 동안 NⅹN 개의 영상 데이터를 읽고, NⅹN 크기의 윈도우(470) 하나를 생성할 수 있다. 이 경우, 윈도우 생성에 이용되는 라인버퍼의 개수는 윈도우의 세로 길이에 비례한다.
따라서 윈도우의 세로 길이가 작으면 그만큼 필요한 라인버퍼의 개수가 줄어들게 된다. 하지만 윈도우의 크기가 작아지면 작아질수록 스테레오 정합의 결과에 오차가 많이 발생할 수 있다. 이에 본 발명에서는 정사각형 형태의 윈도우와 함께 가로 길이가 세로 길이보다 긴 직사각형 윈도우를 사용하여 라인버퍼의 개수를 최소화 할 수 있는 방법을 제안한다.
도 5는 본 발명의 일실시예에 따른 정사각형 형태의 윈도우와 직사각형 윈도우를 설명하기 위한 도면이다.
도 5에 개시된 정사각형 윈도우(510)는 가로 길이 및 세로 길이가 6인 정사각형 형태로 구성되어 있으며, 정사각형 윈도우(510)는 총 36개의 공간으로 이루어져 있다. 도 5에 개시된 직사각형 윈도우(520)는 가로 길이가 12이고, 세로 길이가 3인 직사각형 형태로 구성되어 있으며, 직사각형 윈도우(520)는 총 36개의 공간으로 이루어져 있다.
도 5에 개시된 정사각형 윈도우(510)와 직사각형 윈도우(520)는 가로 길이 및 세로 길이는 상이하지만 넓이는 동일한 특성을 가지고 있다. 이하, 도 5에 따른 실시예를 통해 정사각형 윈도우(510) 및 직사각형 윈도우(520)를 적용하는 방법을 설명한다.
도 6은 본 발명의 일실시예에 따라, 버티컬 센서스 트랜스폼과 체인 버티컬 센서스 트랜스폼의 각 열 내부에서 해밍 웨이트 계산을 위해 픽셀 간 비교를 나타내는 도면이다.
일반적으로, 센서스 트랜스폼 또는 버티컬 센서스 트랜스폼을 이용한 영역 기반 정합을 수행하는 과정에서 오류가 발생하는 이유는 비교하게 되는 윈도우 또는 각각의 열의 가운데 픽셀에 잘못된 값이 저장된 경우가 일반적이다. 이러한 경우, 해밍 웨이트 계산에서 오류가 발생하고 그 결과 잘못된 시차를 구하게 될 것이다.
이를 해결하기 위해, 본 발명에서 제안하는 스테레오 정합 시스템은 영상에 적용한 윈도우 중 가운데 픽셀과 나머지 픽셀들 간의 비교가 아닌 각 열의 픽셀을 체인형태로 비교하여 해밍 웨이트를 계산할 수 있다. 다시 말해, 스테레오 정합 시스템은 각 열 단위로 윈도우의 픽셀을 비교하는 것으로, 열 단위로 나뉜 윈도우를 구성하는 픽셀들을 체형 형태로 비교하여 열 단위의 연산 결과를 누적할 수 있다.
도 6의 (a)를 살펴보면, 본 발명에서 제안하는 스테레오 정합 시스템은 세로의 길이보다 가로의 길이가 긴 직사각형 윈도우를 기반으로 버티컬 센서스 트랜스폼에서 직사각형 윈도우를 다시 각각의 열 단위로 윈도우를 적용할 수 있다. 그리고, 본 발명은 각 열 단위 윈도우를 구성하는 픽셀 중 가운데 픽셀을 중심으로 나머지 픽셀들과 체인 형태로 비교할 수 있다.
도 6의 (b)를 살펴보면, 본 발명에서 제안하는 스테레오 정합 시스템은 세로의 길이보다 가로의 길이가 긴 직사각형 윈도우를 기반으로 체인 버티컬 센서스 트랜스폼에서 직사각형 윈도우를 다시 각각의 열 단위로 윈도우를 적용할 수 있다. 그리고, 본 발명은 각 열 단위 윈도우를 구성하는 픽셀 중 첫 번째 위치한 픽셀을 시작으로 순서대로 픽셀을 체인 형태로 비교할 수 있다. 그리고, 열 단위의 각 픽셀에 대한 연산 결과를 누적하여 열 단위로 설정한 윈도우에 대한 연산 결과를 도출할 수 있다.
그러므로, 본 발명은 좌영상 및 우영상 간의 시차를 계산하기 위하여 영상에 적용된 윈도우에 포함된 각 픽셀에 대한 연산을 수행하는 것이 아니라, 기준 영상에 열 단위 윈도우를 구성하는 픽셀을 체인형태로 비교하여 열 단위 윈도우로 누적 연산을 수행함으로써, 연산에 필요한 하드웨어 자원을 최소화할 수 있다. 또한, 열 단위 윈도우로 누적된 연산 결과에 따른 정합 정확도를 증가시킬 수 있다.
더욱이, 본 발명은 영역 기반 스테레오 정합에서 윈도우를 일반적인 NⅹN 크기의 정사각형 윈도우 대신 가로로 긴 2Nⅹ(N/2 - 1) 크기의 직사각형 윈도우를 사용함으로써, 영상 데이터를 저장하기 위한 메모리 크기를 최소화할 수 있다.
도 7은 본 발명의 일실시예에 따라, 정사각형 윈도우 또는 직사각형 윈도우를 적용할 경우에 필요한 라인버퍼의 개수를 설명하기 위한 도면이다.
도 7에 개시된 701은, 가로 길이 및 세로 길이가 6인 정사각형 윈도우(710)를 적용하여 스테레오 정합을 수행하는 과정을 나타낸 도면이다. 메모리에 할당되는 라인버퍼의 개수는 윈도우의 세로 길이에 대응하여 결정될 수 있다. 예를 들어, 메모리에 할당되는 라인버퍼의 최소 개수는 정사각형 윈도우의 세로 길이 6에 대응하여 7개(6+1)로 결정될 수 있다.
정사각형 윈도우(710)는 제1 내지 제6 라인버퍼의 좌측에서 우측 방향으로 이동할 수 있다. 정합부(112)는 정사각형 윈도우(710)를 이용하여 스테레오 정합을 수행할 수 있다.
도 7에 개시된 702는, 가로 길이가 12이고 세로 길이가 3인 직사각형 윈도우(720)를 적용하여 스테레오 정합을 수행하는 과정을 나타낸 도면이다. 메모리에 할당되는 라인버퍼의 개수는 윈도우의 세로 길이에 대응하여 결정될 수 있다. 예를 들어, 메모리에 할당되는 라인버퍼의 최소 개수는 직사각형 윈도우의 세로 길이 3에 대응하여 4개(3+1)로 결정될 수 있다.
직사각형 윈도우(720)는 제1 내지 제3 라인버퍼의 좌측에서 우측 방향으로 이동할 수 있다. 정합부(112)는 직사각형 윈도우(720)를 이용하여 스테레오 정합을 수행할 수 있다.
결국, 직사각형 윈도우(720)는 정사각형 윈도우(710)가 형성하는 라인버퍼의 세로 길이보다 짧은 세로 길이로 형성될 수 있으며, 정합부(112)는 좌측에서 우측 방향으로 이동하는 직사각형 윈도우를 이용하여 스테레오 정합을 수행 수 있다.
또한, 도 7에 따른 실시예에 따르면, 정사각형 윈도우(710) 및 직사각형 윈도우(520)의 크기가 36으로 동일하므로 윈도우를 구성하는 영상 데이터의 개수에 차이가 없다. 다시 말해, 정사각형 윈도우(710)와 직사각형 윈도우(702)는 각각이 동일한 면적(넓이)을 가짐에 따라 각 윈도우를 통해 저장되는 영상 데이터의 개수는 동일할 수 있다. 결국, 본 발명은 N * N 정사각형 윈도우를 사용하는 경우와 대응되는 2N * (N+1)/2 형태를 갖는 직사각형 윈도우를 이용할 수 있다. 이는 스테레오 매칭 시 픽셀간 비교 횟수를 일치시키기 위한 윈도우 크기이며, 윈도우를 구성하는 픽셀의 개수는 증가하지만 라인버퍼의 개수가 줄어들어서 메모리 사용량은 줄어들었다. 또한 픽셀 간 비교 횟수는 동일하여 정합 결과에는 큰 차이가 없다.
이에 따라, 701 및 702에서 수행되는 스테레오 정합의 오차율은 유사하다. 이와 동시에, 702에서 이용되는 라인버퍼의 개수가 701에서 이용되는 라인버퍼의 개수에 비해 적으므로, 메모리 사용량은 더 적다. 따라서, 윈도우의 크기가 일정하다면, 정사각형 윈도우를 이용하는 것보다는 직사각형 윈도우를 이용하는 것이 스테레오 정합 과정에서 발생할 수 있는 오차율 저하 없이 메모리 사용량을 줄이는데 도움이 될 수 있다.
도 8은 본 발명의 일실시예에 따라, 정사각형 윈도우 및 직사각형 윈도우를 적용한 스테레오 정합 결과를 설명하기 위한 도면이다.
도 8의 810은, 스테레오 카메라(100)를 통해 획득되는 영상 중 좌영상을 나타낸 도면이다. 예를 들면, 정합부(112)는 좌영상을 기준 영상으로 정할 수 있다. 820은, 810의 좌영상에 대한 그라운드 트루스(ground truth) 이다. 그라운드 트루스(ground truth)는 어떤 (예를 들면, 계산된, 추정된, 예측된) 값이 얼마나 정확한지 평가하고자 할 때, 그 비교 기준이 되는 실제 값을 의미하는 것으로서, 탐색 영상을 평가하기 위한 기준 영상을 의미한다.
일실시예에 따라, 정합부(112)는 820을 기준 영상으로 정하고 우영상을 탐색 영상으로 정한 후, 스테레오 정합을 수행할 수 있다. 830을 참조하면, 정사각형 윈도우를 이용하여 스테레오 정합을 수행할 경우 측정될 수 있는 오차율을 추출할 수 있다. 보다 구체적으로, 8x8 정사각형 윈도우를 적용하여 기준 영상 및 탐색 영상에 대한 오차율을 추출한 경우, 4가지 영상에 대한 오차율은 각각 27.7%, 11.1%, 31.5%, 28.4%로 측정된다.
840을 참조하면, 직사각형 윈도우를 이용하여 스테레오 정합을 수행할 경우 측정될 수 있는 오차율을 추출할 수 있다. 보다 구체적으로, 16x4 직사각형 윈도우를 적용하여 기준 영상 및 탐색 영상에 대한 오차율을 추출한 경우, 4가지 영상에 대한 오차율은 각각 27.6%, 11.5%, 30.1%, 28.9%로 측정된다.
윈도우로 정의되는 영상 데이터의 크기가 동일하다면 정사각형 윈도우나 직사각형 윈도우 중 어떤 윈도우를 적용하느냐에 관계없이 오차율이 비슷한 정합 결과를 얻을 수 있다.
도 9는 본 발명의 일실시예에 따라, 버티컬 센서스 트랜스폼과 체인 버티컬 센서스 트랜스폼의 스테레오 정합 결과를 설명하기 위한 도면이다.
도 9의 910은, 스테레오 카메라(100)를 통해 획득되는 영상 중 좌영상을 나타낸 도면이다. 예를 들면, 정합부(112)는 좌영상을 기준 영상으로 정할 수 있다. 920은, 910의 좌영상에 대한 그라운드 트루스(ground truth) 이다.
일실시예에 따라, 정합부(112)는 820을 기준 영상으로 정하고 우영상을 탐색 영상으로 정한 후, 스테레오 정합을 수행할 수 있다. 830을 참조하면, 버티컬 센서스를 이용하여 열 단위 별로 스테레오 정합을 수행할 경우, 측정될 수 있는 오차율을 추출할 수 있다. 보다 구체적으로, 30*8 윈도우를 적용하여 열 단위 윈도우에 따른 기준 영상 및 탐색 영상에 대한 오차율을 추출한 경우, 4가지 영상에 대한 오차율은 각각 15.9%, 11.1%, 23.2%, 18.7%로 측정된다.
940을 참조하면, 체인 버티컬 센서스 트랜스폼를 이용하여 열 단위 별로 스테레오 정합을 수행할 경우 측정될 수 있는 오차율을 추출할 수 있다. 보다 구체적으로, 30*8 윈도우를 적용하여 열 단위 윈도우에 따른 기준 영상 및 탐색 영상에 대한 오차율을 추출한 경우, 4가지 영상에 대한 오차율은 각각 15.1%, 8.56%, 21.8%, 16.4%로 측정된다.
결국, 도 9의 결과를 통해 버티컬 센서스 트랜스폼과 체인 버티컬 센서스 트랜스폼의 정합 결과를 비교하면, 버티컬 센서스 트랜스폼에 비해 체인 버티컬 센서스 트랜스폼의 정합 정확도가 상승하는 것을 확인할 수 있다.
도 10은 본 발명의 일실시예에 따라, 스테레오 비전 기반의 스테레오 정합 방법을 설명하기 위한 순서도이다.
단계(1010)에서, 스테레오 정합 시스템은 좌영상 및 우영상을 획득할 수 있다. 예를 들면, 스테레오 정합 시스템은 스테레오 카메라에서 촬영된 좌영상 및 우영상을 수신할 수 있다.
단계(1020)에서, 스테레오 정합 시스템은 획득된 좌영상 및 우영상 각각에 윈도우를 적용하여 영상 데이터를 식별할 수 있다. 스테레오 정합 시스템은 영상 데이터를 식별하기 위해 좌영상 및 우영상 중 어느 하나의 영상을 기준 영상으로 정하고, 다른 영상을 탐색 영상으로 정할 수 있다. 예를 들면, 스테레오 정합 시스템은 좌영상을 기준 영상으로 정하고, 우영상을 탐색 영상으로 정할 수 있다. 스테레오 정합 시스템은 기준 영상 및 탐색 영상에 윈도우를 적용하여 서로 대응되는 대응점을 탐색할 수 있다.
단계(1030)에서, 스테레오 정합 시스템은 영상 데이터를 라인버퍼에 저장할 수 있다. 예를 들면, N+1개의 라인버퍼를 이용하여 영상 데이터를 저장할 때, 스테레오 정합 시스템은 하나의 라인버퍼를 영상 데이터 저장에 이용할 수 있고 나머지 N 개의 라인버퍼를 수신된 영상 데이터를 읽는데 이용할 수 있다. 즉, 프로세서는 영상 데이터를 저장하는 동작과 영상 데이터를 읽는 동작을 동시에 수행할 수 있다.
단계(1040)에서, 스테레오 정합 시스템은 라인버퍼에 저장된 영상 데이터로부터 시차를 추출할 수 있다. 예를 들어, 스테레오 정합 시스템은 기준 영상 및 탐색 영상을 정합한 결과를 바탕으로 양 영상에 존재하는 시차를 추출할 수 있다.
단계(1050)에서, 스테레오 정합 시스템은 앞서 추출된 시차를 기초로 하여 깊이 맵을 생성할 수 있다. 깊이 맵은 특정 피사체 또는 배경을 촬영한 복수의 2차원 이미지들로부터 추출된 거리값을 기초로 하여 나타낸 이미지를 의미한다. 예를 들어, 스테레오 정합 시스템은 단계(740)에서 추출된 시차를 이용하여 좌영상 및 우영상이 나타내는 피사체 또는 배경의 거리값을 나타내는 이미지를 생성할 수 있다.
본 발명은 정사각형 윈도우의 라인버퍼의 세로 길이보다 짧은 직사각형 윈도우를 이용함으로써, 메모리 사용량을 최소화할 수 있다. 그리고, 본 발명은 정사각형 윈도우의 라인버퍼의 공간과 동일한 면적을 갖는 직사각형 윈도우를 이용함으로써, 스테레오 정합 과정에서 발생할 수 있는 오류의 정확도를 유지할 수 있다. 결국, 본 발명은 영상 데이터에 대한 스테레오 정합을 수행함에 있어, 기존에 사용되는 정사각형 윈도우와 동일한 면적을 가지면서, 라인버퍼 개수에 의한 메모리 사용량을 최소화할 수 있는 직사각형 윈도우를 이용함으로써, 좌영상 및 우영상에서 추출된 시차의 정확도를 유지하면서 시차에 의한 깊이 맵을 형성할 수 있다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (13)

  1. 스테레오 비전 기반의 스테레오 정합 방법에서,
    좌영상 및 우영상을 획득하는 단계;
    상기 획득된 좌영상 및 우영상 각각에 윈도우를 적용하여 영상 데이터를 식별하는 단계;
    상기 영상 데이터를 라인 버퍼에 저장하는 단계;
    상기 라인 버퍼에 저장된 영상 데이터로부터 시차를 추출하는 단계; 및
    상기 추출된 시차를 기초로 하여 깊이 맵을 생성하는 단계
    를 포함하고,
    상기 윈도우는,
    정사각형 윈도우의 면적과 동일하고, 상기 정사각형 윈도우가 형성하는 라인버퍼의 세로 길이보다 짧은 라인버퍼로 결정된 상기 직사각형 윈도우인 스테레오 정합 방법.
  2. 제1항에 있어서,
    상기 직사각형 윈도우는,
    상기 라인 버퍼의 세로 길이가 짧을수록 상기 좌영상 및 우영상을 저장하기 위한 메모리 사용량이 최소화되는 스테레오 정합 방법.
  3. 제1항에 있어서,
    상기 직사각형 윈도우는,
    상기 라인버퍼의 가로 길이가 라인버퍼의 세로 길이의 2배인 스테레오 정합 방법.
  4. 제1항에 있어서,
    상기 영상 데이터를 식별하는 단계는,
    상기 획득된 좌영상 및 우영상에서 동일 지점에 해당하는 적어도 한 쌍의 대응점을 식별하는 단계; 및
    상기 식별된 적어도 한 쌍의 대응점을 기준으로, 상기 윈도우를 적용하는 단계;
    를 포함하는 스테레오 정합 방법.
  5. 제1항에 있어서,
    상기 시차를 추출하는 단계는,
    상기 획득된 좌영상 및 우영상의 y축 방향에 대한 시차를 제거하는 단계; 및
    상기 y축 방향에 대한 시차가 제거된 좌영상 및 우영상에서 x축 방향에 대한 시차를 추출하는 단계
    를 포함하는 스테레오 정합 방법.
  6. 제5항에 있어서,
    상기 x축 방향에 대한 시차를 추출하는 단계는,
    상기 윈도우를 열 단위로 세분화하고, 각각 세분화된 열 단위의 윈도우를 구성하는 픽셀들을 체인 형태의 비교 연산을 수행하는 단계; 및
    상기 비교 연산이 수행된 열 단위의 윈도우를 누적하여 x축 방향에 대한 시차를 추출하는 단계
    를 포함하는 스테레오 정합 방법.
  7. 스테레오 비전 기반의 스테레오 정합 시스템에 있어서,
    좌영상 및 우영상을 촬영하는 스테레오 카메라;
    복수의 라인버퍼를 저장하는 메모리; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 스테레오 카메라를 통해 좌영상 및 우영상을 획득하고,
    상기 획득된 좌영상 및 우영상 각각에 윈도우를 적용하여 영상 데이터를 식별하고,
    상기 영상 데이터를 라인 버퍼에 저장하고,
    상기 라인 버퍼에 저장된 영상 데이터로부터 시차를 추출하고,
    상기 추출된 시차를 기초로 하여 깊이 맵을 생성하고,
    상기 윈도우는,
    정사각형 윈도우의 면적과 동일하고, 상기 정사각형 윈도우가 형성하는 라인버퍼의 세로 길이보다 짧은 라인버퍼로 결정된 상기 직사각형 윈도우인 스테레오 정합 시스템.
  8. 제7항에 있어서,
    상기 직사각형 윈도우는,
    상기 라인 버퍼의 세로 길이가 짧을수록 상기 좌영상 및 우영상을 저장하기 위한 메모리 사용량이 최소화되는 스테레오 정합 시스템.
  9. 제7항에 있어서,
    상기 직사각형 윈도우는,
    상기 라인버퍼의 가로 길이가 라인버퍼의 세로 길이의 2배인 스테레오 정합 시스템.
  10. 제7항에 있어서,
    상기 프로세서는,
    상기 영상 데이터를 식별하는 동작에 있어서,
    상기 획득된 좌영상 및 우영상에서 동일 지점에 해당하는 적어도 한 쌍의 대응점을 식별하고,
    상기 식별된 적어도 한 쌍의 대응점을 기준으로, 상기 윈도우를 적용하는 스테레오 정합 시스템.
  11. 제7항에 있어서,
    상기 프로세서는,
    상기 시차를 추출하는 동작에 있어서,
    상기 획득된 좌영상 및 우영상의 y축 방향에 대한 시차를 제거하고,
    상기 y축 방향에 대한 시차가 제거된 좌영상 및 우영상에서 x축 방향에 대한 시차를 추출하는 스테레오 정합 시스템.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 x축 방향에 대한 시차를 추출하는 동작에 있어서,
    상기 윈도우를 열 단위로 세분화하고, 각각 세분화된 열 단위의 윈도우를 구성하는 픽셀들을 체인 형태의 비교 연산을 수행한 후, 비교 연산이 수행된 열 단위의 윈도우를 누적하여 x축 방향에 대한 시차를 추출하는 스테레오 정합 시스템.
  13. 제7항에 있어서,
    상기 프로세서는,
    상기 좌영상 및 우영상의 y축 방향에 대한 시차를 조정(rectification)하는 전처리부;
    상기 좌영상 및 우영상에 미리 설정된 크기의 윈도우를 적용하는 정합부; 및
    상기 정합부에서 출력되는 영상 데이터에 기초하여 깊이 맵을 생성하는 후처리부
    를 포함하는 스테레오 정합 시스템.
KR1020160148300A 2016-11-08 2016-11-08 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템 KR102507383B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160148300A KR102507383B1 (ko) 2016-11-08 2016-11-08 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템
US15/793,528 US10713808B2 (en) 2016-11-08 2017-10-25 Stereo matching method and system using rectangular window

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160148300A KR102507383B1 (ko) 2016-11-08 2016-11-08 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템

Publications (2)

Publication Number Publication Date
KR20180051241A true KR20180051241A (ko) 2018-05-16
KR102507383B1 KR102507383B1 (ko) 2023-03-08

Family

ID=62063933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160148300A KR102507383B1 (ko) 2016-11-08 2016-11-08 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템

Country Status (2)

Country Link
US (1) US10713808B2 (ko)
KR (1) KR102507383B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102507383B1 (ko) * 2016-11-08 2023-03-08 한국전자통신연구원 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090068475A (ko) * 2007-12-24 2009-06-29 재단법인대구경북과학기술원 영상 처리 장치 및 영상 처리 방법
KR20120073466A (ko) * 2010-12-27 2012-07-05 주식회사 넥시아 디바이스 2차원 영상을 스테레오 영상으로 변환하는 방법
KR20140101559A (ko) * 2013-02-12 2014-08-20 동서대학교산학협력단 3차원 집적영상의 가려짐 문제 해결방법

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08227410A (ja) * 1994-12-22 1996-09-03 Just Syst Corp ニューラルネットワークの学習方法、ニューラルネットワークおよびニューラルネットワークを利用した音声認識装置
WO1998003021A1 (en) * 1996-06-28 1998-01-22 Sri International Small vision module for real-time stereo and motion analysis
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
ATE267439T1 (de) * 1998-11-09 2004-06-15 Broadcom Corp Anzeigesystem zur mischung von graphischen daten und videodaten
US7128270B2 (en) * 1999-09-17 2006-10-31 Silverbrook Research Pty Ltd Scanning device for coded data
US6728391B1 (en) * 1999-12-03 2004-04-27 United Parcel Service Of America, Inc. Multi-resolution label locator
KR100982638B1 (ko) * 2005-04-01 2010-09-15 콸콤 인코포레이티드 고대역 시간 왜곡을 위한 시스템들, 방법들, 및 장치들
JP4674505B2 (ja) * 2005-08-01 2011-04-20 ソニー株式会社 音声信号処理方法、音場再現システム
US8284209B2 (en) * 2005-12-15 2012-10-09 Broadcom Corporation System and method for optimizing display bandwidth
US20070147671A1 (en) * 2005-12-22 2007-06-28 Eastman Kodak Company Analyzing radiological image using 3D stereo pairs
KR100813100B1 (ko) 2006-06-29 2008-03-17 성균관대학교산학협력단 실시간 확장 가능한 스테레오 매칭 시스템 및 방법
CN101512601B (zh) * 2006-09-04 2013-07-31 皇家飞利浦电子股份有限公司 从图像中确定深度图的方法以及确定深度图的设备
US8194102B2 (en) * 2008-10-06 2012-06-05 Microsoft Corporation Rendering annotations for images
CN102823241B (zh) * 2010-03-22 2015-09-16 汤姆森许可贸易公司 立体三维图像的低带宽内容保留压缩方法和设备
US8736767B2 (en) * 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
KR101792501B1 (ko) * 2011-03-16 2017-11-21 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치
US9167228B2 (en) * 2012-01-03 2015-10-20 Lawrence Maxwell Monari Instrumented sports paraphernalia system
US9230306B2 (en) * 2012-02-07 2016-01-05 Semiconductor Components Industries, Llc System for reducing depth of field with digital image processing
US9105078B2 (en) * 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9171373B2 (en) * 2012-12-26 2015-10-27 Ncku Research And Development Foundation System of image stereo matching
US20140241612A1 (en) * 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
KR20230113418A (ko) * 2013-03-15 2023-07-28 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
JP6519262B2 (ja) * 2014-04-10 2019-05-29 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
WO2016191035A1 (en) * 2015-05-26 2016-12-01 Lytro, Inc. Capturing light-field images with uneven and/or incomplete angular sampling
KR102507383B1 (ko) * 2016-11-08 2023-03-08 한국전자통신연구원 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템
US20180262744A1 (en) * 2017-02-07 2018-09-13 Mindmaze Holding Sa Systems, methods and apparatuses for stereo vision

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090068475A (ko) * 2007-12-24 2009-06-29 재단법인대구경북과학기술원 영상 처리 장치 및 영상 처리 방법
KR20120073466A (ko) * 2010-12-27 2012-07-05 주식회사 넥시아 디바이스 2차원 영상을 스테레오 영상으로 변환하는 방법
KR20140101559A (ko) * 2013-02-12 2014-08-20 동서대학교산학협력단 3차원 집적영상의 가려짐 문제 해결방법

Also Published As

Publication number Publication date
KR102507383B1 (ko) 2023-03-08
US10713808B2 (en) 2020-07-14
US20180130221A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
JP3242529B2 (ja) ステレオ画像対応付け方法およびステレオ画像視差計測方法
US9317923B2 (en) Stereo vision apparatus and method
CN110493488B (zh) 视频稳像方法、视频稳像装置和计算机可读存储介质
US9237326B2 (en) Imaging system and method
US9014463B2 (en) System for real-time stereo matching
US11651581B2 (en) System and method for correspondence map determination
CN110243390B (zh) 位姿的确定方法、装置及里程计
US8989481B2 (en) Stereo matching device and method for determining concave block and convex block
Miyajima et al. A real-time stereo vision system with FPGA
US10142613B2 (en) Image processing apparatus, image processing system, and image processing method
US9818199B2 (en) Method and apparatus for estimating depth of focused plenoptic data
US9886763B2 (en) Visual navigation method, visual navigation device and robot
US20150221098A1 (en) Image processing device, image processing method, and program
US20150131853A1 (en) Stereo matching system and method for generating disparity map using same
KR20150114950A (ko) 이미지 스트림의 프레임 레이트 증가
US9872011B2 (en) High-speed depth sensing with a hybrid camera setup
JP6411188B2 (ja) ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法
KR20150097251A (ko) 다중 영상간 대응점을 이용한 카메라 정렬 방법
US20230394833A1 (en) Method, system and computer readable media for object detection coverage estimation
KR101852085B1 (ko) 깊이 정보 획득 장치 및 깊이 정보 획득 방법
EP3164991A1 (en) A method of perceiving 3d structure from a pair of images
CN108062765A (zh) 双目图像处理方法、成像装置及电子设备
KR102507383B1 (ko) 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
KR101178015B1 (ko) 시차 맵 생성 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right