KR20130058611A - 실시간 스테레오 정합 시스템 - Google Patents

실시간 스테레오 정합 시스템 Download PDF

Info

Publication number
KR20130058611A
KR20130058611A KR1020120128809A KR20120128809A KR20130058611A KR 20130058611 A KR20130058611 A KR 20130058611A KR 1020120128809 A KR1020120128809 A KR 1020120128809A KR 20120128809 A KR20120128809 A KR 20120128809A KR 20130058611 A KR20130058611 A KR 20130058611A
Authority
KR
South Korea
Prior art keywords
displacement
depth map
displacement range
stereo matching
value
Prior art date
Application number
KR1020120128809A
Other languages
English (en)
Other versions
KR101344943B1 (ko
Inventor
문병인
옥승호
배경렬
손현식
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to US13/681,455 priority Critical patent/US9014463B2/en
Publication of KR20130058611A publication Critical patent/KR20130058611A/ko
Application granted granted Critical
Publication of KR101344943B1 publication Critical patent/KR101344943B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 실시간 스테레오 정합 시스템에 관한 것으로서, 보다 상세하게는 스테레오 정합에 사용되는 변위 범위(disparity range)를 이전 프레임 영상의 스테레오 정합 결과를 통해 점진적으로 최적화 시킴으로써 불필요한 정합 연산을 줄여 스테레오 정합 속도 및 정합율을 향상시키는 스테레오 정합 시스템에 관한 것이다.

Description

실시간 스테레오 정합 시스템{SYSTEM FOR REAL-TIME STEREO MATCHING}
본 발명은 실시간 스테레오 정합 시스템에 관한 것으로서, 보다 상세하게는 스테레오 정합에 사용되는 변위 범위(disparity range)를 이전 프레임 영상의 스테레오 정합 결과를 통해 점진적으로 최적화 시킴으로써 불필요한 정합 연산을 줄여 스테레오 정합 속도 및 정합율을 향상시키는 스테레오 정합 시스템에 관한 것이다.
스테레오 정합 (stereo matching)은 동일 시간에 서로 다른 위치에서 획득한 둘 이상 2차원 영상으로부터 3차원 정보를 획득하는 기술로써, 좌/우 두 영상 내에서 동일 지점에 해당하는 대응점을 찾아 두 대응점간의 시차 (disparity) 정보를 획득함으로써 영상의 3차원 깊이(depth) 정보를 획득하는 일련의 대응점 문제(correspondence problem) 이다.
이러한 대응점 문제를 해결하는 방법으로는 크게 특징 기반 정합법(feature-based matching) 및 영역 기반 정합법(area-based matching)이 있다. 특징 기반 정합법의 경우 꼭지점 및 경계선 등 영상의 특징 영역에서만 정합을 함으로써 두 영상에서의 특징 점을 찾을 수 있지만 특징 영역을 제외한 나머지 영역의 정보는 제공을 하지 못하는 단점이 있다. 영역 기반 정합법은 좌/우 영상의 동일 평행선 상 일정 크기의 윈도우 영역 내부 상관도를 측정하여 영상 전체의 대응점을 찾을 수 있기 때문에 조밀한 3차원 정보를 획득 할 수 있어 많이 사용되고 있다.
도 1은 좌/우 영상에서 일정한 윈도우 크기 및 일정한 크기의 변위 범위(disparity range)를 사용하는 기존의 영역 기반 정합법을 나타낸다. 도 1을 통해 예를 나타내면, 좌 영상의 A 지점에 대한 우 영상에서의 대응점을 찾기 위해 를 일정 크기의 변위 범위인 B 지점에서부터 B' 지점까지의 범위 내에서 동일 평행선 상 일정 크기의 윈도우 영역 내부의 상관도가 가장 높은 지점을 찾는다. 그리고 또 다른 예로 C 지점에 대한 우 영상에서의 대응점을 찾기 위해 D 지점에서 D' 지점까지의 일정한 변위 범위 내에서 상관도가 가장 높은 지점을 찾는다. 이러한 좌/우 영상 내 일정 크기의 윈도우 영역 내부 상관도를 측정하기 위한 방법으로는 SAD (sum of absolute difference), SSD (sum of squared difference), NCC (normalized correlation) 및 census transform 등 과 같은 다양한 방법이 사용된다. 하지만 이러한 기법들은 영상 전체 영역의 상관도를 측정해야 하기 때문에 윈도우의 크기가 커지고 좌/우 영상의 동일 평행선상 상관도를 측정하기 위한 변위 범위가 길어질수록 대응점을 찾기 위한 연산량이 급격히 증가하고 3차원 정보를 획득하는데 많은 시간이 소모되는 문제를 가지고 있다.
종래의 영역 기반 스테레오 정합법에서 많은 연산량 줄이고, 정합 시간을 줄이기 위한 기존의 방법으로는 윈도우 영역 내부 상관도 측정 시 중복되는 연산을 제거하는 방법과, 상관도를 측정하기 위한 탐색 영역의 변위 범위를 미리 예측하는 방법 등이 사용되었다.
대한민국 공개특허 제 10-2011-0087303호
본 발명이 이루고자 하는 과제는 좌/우 영상의 동일 평행선상 상관도를 측정하기 위한 탐색 영역의 변위 범위(disparity range)를 이전 프레임 영상의 정합 결과를 통해 점진적으로 최적화 시킴으로써 정합에 사용되는 불필요한 연산을 줄여 정합속도 및 정합율을 높이기 위한 스테레오 정합 시스템을 제공하는 데 있다.
특히, 본 발명은 이전 프레임 영상의 스테레오 정합 결과를 통해 현재 스테레오 정합에 사용되는 변위 범위를 설정할 때, 연속된 영상 데이터를 정합하여 생성된 움직임 벡터 정보를 추가적으로 참조함으로써 동적 환경에서의 스테레오 정합율을 향상시킬 수 있는 스테레오 정합 시스템을 제공하는데 있다.
본 발명의 일 측면에 따른 스테레오 정합 시스템은 N 프레임 영상의 스테레오 정합 결과로부터 깊이 맵 정보를 생성하는 깊이 맵 생성부; 상기 깊이 맵 정보를 이용하여 변위 범위 정보를 생성하는 변위 범위 제어부; 및 상기 변위 범위 정보를 이용하여 N+1 프레임 영상의 스테레오 정합 연산을 수행하는 스테레오 정합부;를 포함한다.
이때, 상기 변위 범위 제어부는, 상기 깊이 맵 정보를 이용하여 일련의 윈도우 기반 필터링 연산을 수행할 수 있다.
본 발명에 적용가능한 실시예에서 상기 변위 범위 제어부는, 상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 기준 변위 값을 설정하는 기준 변위 설정부; 및 상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 오프셋 변위 값을 설정하는 오프셋 변위 설정부;를 포함할 수 있다.
또한, 상기 변위 범위 제어부는, 초기 설정된 기준 변위 범위 값을 저장하는 초기 기준 변위 범위 저장부; 및 초기 설정된 오프셋 변위 범위 값을 저장하는 초기 오프셋 변위 범위 저장부;를 더 포함할 수 있다.
바람직하게는, 상기 변위 범위 제어부는, 상기 깊이 맵 정보의 신뢰도 여부를 판단하는 깊이 맵 신뢰도 판단부를 더 포함할 수 있다.
이때, 상기 변위 범위 제어부는, 상기 깊이 맵 정보의 신뢰도 값에 따라 초기 기준 변위 범위 또는 상기 기준 변위 설정부에 의해 설정된 기준 변위 값을 선택할 수 있는 제1 MUX부; 및 상기 깊이 맵 정보의 신뢰도 값에 따라 초기 오프셋 변위 범위 또는 상기 오프셋 변위 설정부에 의해 설정된 오프셋 변위 값을 선택할 수 있는 제2 MUX부를 더 포함할 수 있다.
본 발명에 적용가능한 다른 실시예에서, N 프레임 및 N+1 프레임의 일방향 영상 정보를 이용하여 움직임 벡터 정보를 생성하는 움직임 벡터 생성부;를 더 포함하고, 상기 변위 범위 제어부는, 상기 움직임 벡터 정보를 추가적으로 이용하여 변위 범위 정보를 생성할 수 있다.
이때, 상기 변위 범위 제어부는, 상기 깊이 맵 정보를 이용하여 일련의 윈도우 기반 필터링 연산을 수행할 수 있다.
본 발명에 적용가능한 실시예에서 상기 변위 범위 제어부는, 상기 깊이 맵 정보 및 상기 움직임 벡터 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 기준 변위 값을 설정하는 기준 변위 설정부; 및 상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 오프셋 변위 값을 설정하는 오프셋 변위 설정부;를 포함할 수 있다.
또한, 상기 변위 범위 제어부는, 초기 설정된 기준 변위 범위 값을 저장하는 초기 기준 변위 범위 저장부; 및 초기 설정된 오프셋 변위 범위 값을 저장하는 초기 오프셋 변위 범위 저장부;를 더 포함할 수 있다.
바람직하게는, 상기 변위 범위 제어부는, 상기 깊이 맵 정보의 신뢰도 여부를 판단하는 깊이 맵 신뢰도 판단부를 더 포함할 수 있다.
이때, 상기 변위 범위 제어부는, 상기 깊이 맵 정보의 신뢰도 값에 따라 초기 기준 변위 범위 또는 상기 기준 변위 설정부에 의해 설정된 기준 변위 값을 선택할 수 있는 제1 MUX부; 및 상기 깊이 맵 정보의 신뢰도 값에 따라 초기 오프셋 변위 범위 또는 상기 오프셋 변위 설정부에 의해 설정된 오프셋 변위 값을 선택할 수 있는 제2 MUX부를 더 포함할 수 있다.
이상과 같은 본 발명에 의하면, 변위 범위를 이전 프레임 영상의 스테레오 정합 결과를 통해 점진적으로 최적화 시킴으로써, 스테레오 정합 시 불필요한 연산을 줄여 정합 속도를 높일 수 있으며, 불필요한 영역의 상관도를 측정하지 않음으로써 정합 오류를 최소화 하여 정합율을 높일 수 있다.
특히, 이전 프레임 및 현재 프레임의 영상 데이터를 정합하여 생성된 움직임 벡터 정보를 추가적으로 참조함으로써, 스테레오 정합율을 보다 높게 향상시킬 수 있다.
도 1은 좌/우 영상에서 일정한 윈도우 크기 및 일정한 크기의 변위 범위(disparity range)를 사용하는 종래의 영역 기반 정합법을 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 스테레오 정합 시스템을 나타낸 도면,
도 3은 스테레오 카메라로부터 획득된 좌/우 영상 및 이를 정합한 결과인 깊이 맵(depth map)을 나타낸 도면,
도 4는 본 발명의 일 실시예에 따른 변위 범위 제어부의 변위 범위 설정 방법을 나타낸 도면,
도 5는 본 발명의 일 실시예에 따른 스테레오 정합부의 스테레오 정합 연산을 수행하는 방법을 나타낸 도면,
도 6은 본 발명의 다른 실시예에 따른 스테레오 정합 시스템을 나타낸 도면,
도 7은 본 발명의 다른 실시예에 따른 움직임 벡터 성분의 생성 개념을 설명하기 위한 도면,
도 8은 본 발명의 다른 실시예에 따른 움직임 벡터 성분의 생성 범위를 설명하기 위한 도면,
도 9는 본 발명의 다른 실시예에 따른 움직임 벡터 성분 생성을 위한 정합 방법을 나타낸 도면, 및
도 10은 본 발명의 다른 실시예에 따른 스테레오 정합부의 스테레오 정합 연산을 수행하는 방법을 나타낸 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 스테레오 정합 시스템을 나타낸 도면이다.
도 2에 도시된 바와 같이, 본 발명에 적용가능한 바람직한 실시예에서 스테레오 정합 시스템은 N 프레임 영상의 스테레오 정합 결과로부터 깊이 맵 정보를 생성하는 깊이 맵 생성부(100); 상기 깊이 맵 정보를 이용하여 변위 범위 정보를 생성하는 변위 범위 제어부(200); 및 상기 변위 범위 정보를 이용하여 N+1 프레임 영상의 스테레오 정합 연산을 수행하는 스테레오 정합부(300);를 포함한다(단, N은 자연수).
깊이 맵 생성부(100)는 N 프레임 영상 데이터를 스테레오 정합하여 깊이 맵 정보를 생성한다. 본 발명에 적용가능한 실시예에서 상기 깊이 맵 생성부(100)는 좌측 및 우측 영상 데이터를 이용하여 스테레오 정합 연산을 수행하여 깊이 맵 정보를 생성할 수 있다. 상기와 같은 방법으로 생성된 깊이 맵 정보는 깊이 맵 저장부(미도시)에 저장되고, 필요한 경우 상기 깊이 맵 저장부로부터 추출하여 활용할 수 있다.
변위 범위 제어부(200)는 상기 깊이 맵 생성부(100)를 통해 생성된 깊이 맵 정보를 이용하여 스테레오 정합 연산에 필요한 변위 범위 정보를 생성한다. 이때, 상기 변위 범위 제어부(200)는 상기 깊이 맵 정보를 이용하여 일련의 윈도우 기반 필터링 연산을 수행할 수 있다. 이와 같은 방법을 통해, 영상 데이터의 잡음 제거 및 데이터 저장에 필요한 메모리 크기를 줄일 수 있는 효과가 있다.
본 발명에 적용가능한 실시예에서 상기 변위 범위 제어부(200)는 상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 기준 변위 값을 설정하는 기준 변위 설정부(210); 및 상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 오프셋 변위 값을 설정하는 오프셋 변위 설정부(220);를 포함할 수 있다. 이때, 상기 기준 변위 설정부(210) 및 오프셋 변위 설정부(220)는 상기 필터링 연산을 통해 잡음 제거 및 데이터 저장에 필요한 메모리 크기를 줄일 수 있다.
본 발명에 있어서, 기준 변위 값은, 특정 지점에 있어, 좌/우 영상간 대응점을 찾기 위한 기준 변위 크기를 나타내는 값이고, 오프셋 변위 값은, 상기 기준 변위를 중심으로 좌/우 일정 크기 만큼의 변위 오차 값을 의미한다. 즉, 본 발명에 적용가능한 실시예에서 이전 프레임 영상의 깊이 맵 정보를 통해 생성된 변위 범위 정보는 기준 변위 정보 및 오프셋 변위 정보를 포함하여 스테레오 정합 연산 시의 변위 범위를 설정할 수 있다. 보다 상세하게는 도 3을 통해 상세히 설명한다.
도 3은 스테레오 카메라로부터 획득된 좌/우 영상 및 이를 정합한 결과인 깊이 맵(depth map)을 나타낸 도면이다.
도 3에 도시된 바와 같이, A, B 및 C 지점의 특징을 살펴보면 거리가 가장 먼 B 지점의 경우 좌/우 영상에서의 시차 차이가 거의 없는 반면, 가장 가까운 C 지점의 경우 좌/우 영상에서의 시차가 가장 큰 것을 알 수 있다. 그리고 정합 결과인 깊이 맵을 살펴 보면 거리가 가장 먼 B 지점, 즉 시차가 작은 부분은 가장 어두운 값을 가지고, 거리가 가장 가까운 C 지점, 즉 시차가 가장 큰 부분은 가장 밝은 값을 가지는 것을 알 수 있다.
실시간으로 연속적인 영상을 획득하는 스테레오 비전 시스템의 경우, 이전 프레임 영상의 깊이 맵 정보는 다음 프레임 영상의 깊이 맵 정보와 매우 유사한 특성을 가진다. 따라서 이러한 특성을 사용하여 스테레오 정합에 사용되는 변위 범위를 점진적으로 최적화 함으로써 스테레오 정합 시 불필요한 연산을 줄임으로써 정합 속도 및 정합율을 높일 수 있다.
도 4는 본 발명의 일 실시예에 따른 변위 범위 제어부의 변위 범위 설정 방법을 나타낸 도면이다.
도 4에 도시된 바와 같이, 본 발명에 적용가능한 실시예에서는 특정 지점의 대응점을 찾고자 할 때, 이전 프레임 영상의 스테레오 정합 결과인 깊이 맵 정보를 이용하여 설정되는 기준 변위 값을 활용할 수 있다. 그리고, 상기 깊이 맵 정보를 이용하여 설정되는 오프셋 변위 값을 이용하여 상기 기준 변위를 중심으로 일정 크기 만큼의 범위를 오프셋 변위 범위로 설정할 수 있다. 이때 상기 오프셋 변위 값은 이전 프레임 영상의 깊이 맵 정보를 참조하여 시차의 크기에 따라 상대적으로 설정된다.
도 4의 일 실시예를 살펴보면, A 지점의 변위 범위 정보는 N 프레임의 깊이 맵 정보를 이용하여 기준 변위 값이 7, 오프셋 변위 값이 5로 설정되었다. 이때, 본 발명의 일 실시예에서는 상기 기준 변위 값 및 오프셋 변위 값을 이용하여 B 지점부터 B'지점까지의 변위 범위를 설정하여 스테레오 정합을 수행할 수 있다. C 지점 및 E 지점의 경우 또한 A의 경우와 동일하게 변위 범위를 설정하여 스테레오 정합을 수행할 수 있다.
도 4의 경우, 각 지점의 기준 변위 값 및 오프셋 변위 값으로 미루어 보아, A 지점의 경우 E 지점에 비해 시차가 크지 않기 때문에 기준 변위 값이 상대적으로 작게 설정되었으며, 다음 프레임 영상에서의 시차의 변화 정도 또한 작게 예상되므로 오프셋 변위 값도 상대적으로 작게 설정되었음을 알 수 있다. 다만, 도 4의 각 지점에 대한 기준 변위 값 및 오프셋 변위 값은 스테레오 정합 연산을 수행하는 방법을 쉽게 설명하기 위해 설정된 값으로, 본 발명에 적용가능한 또 다른 실시예에서는 도 4의 실시예와 다른 기준 변위 값 및 오프셋 변위 값이 적용될 수 있다.
도 5는 본 발명의 일 실시예에 따른 스테레오 정합부의 스테레오 정합 연산을 수행하는 방법을 나타낸 도면이다.
도 5에 도시된 바와 같이, 기준 변위 설정부(210)는 이전 프레임 영상의 스테레오 정합 결과인 깊이 맵 정보를 바탕으로 다음 프레임 영상의 스테레오 정합에 사용될 기준 변위를 설정하기 위한 모듈로써, 잡음 제거 및 데이터 저장에 필요한 메모리 크기를 줄이기 위해 일정 크기의 윈도우가 지정될 수 있다. 기준 변위 값은 이전 프레임 영상의 깊이 맵으로부터 생성되며, 윈도우 크기는 영상의 한 픽셀 단위인 1x1 크기부터 설정이 가능하다. 본 발명에 적용가능한 실시예에서는 2x2 크기의 윈도우가 기준 변위 설정부(210)에 적용되었으며, 윈도우 내부의 데이터는 일련의 필터링 연산을 통해 동일한 값이 적용될 수 있다. 다만, 본 발명은 상기 실시예로 한정되지 않는다.
오프셋 변위 설정부(220)는 다음 프레임 영상의 스테레오 정합에 사용될 오프셋 변위 값을 설정하기 위한 모듈로써, 상기 기준 변위 설정부(210)와 같이 일정한 크기의 윈도우가 적용될 수 있으며, 오프셋 변위 값의 설정은 윈도우에 해당하는 기준 변위 값을 참조하여 값의 변화에 따라 상대적인 값이 적용될 수 있다. 본 발명에 적용가능한 실시예에서는 A 지점인 어두운 영역의 경우 시차가 좁은 영역이며, C 지점인 밝은 영역의 경우 시차가 넓게 나타나는 영역이기 때문에 A 지점의 오프셋 변위 값보다 C 지점의 오프셋 변위 값을 상대적으로 더 크게 설정할 수 있다. 이러한 오프셋 변위 값의 설정은 다양한 방법이 사용될 수 있다.
도 5를 통해 본 발명의 실시 예를 설명하면, 이전 프레임 영상의 스테레오 정합 결과로부터 깊이 맵 정보가 획득되면, 기준 변위 설정부(210)는 상기 깊이 맵 정보를 이용하여 기준 변위 값을 설정하고, 오프셋 변위 설정부(220)는 상기 깊이 맵 정보를 이용하여 오프셋 변위 값을 설정한다. 그리고 현재 입력된 영상의 스테레오 정합 과정이 수행됨에 있어서, 상기 기준 변위 값 및 오프셋 변위 값을 활용하여 스테레오 정합 과정에 필요한 변위 범위를 설정한다.
도 5의 실시예에서는, 좌 영상 A지점에서의 대응점을 우 영상에서 찾기 위해 기준 변위 설정부(210)에서는 기준 변위 값 1이 출력되고 오프셋 변위 설정부(220)에서는 오프셋 변위 값 3이 출력되어 기준 변위 값 지점을 중심으로 오프셋 변위 범위 만큼의 좌/우 지점인 B지점부터 B'지점까지의 변위 범위가 설정되어 스테레오 정합 과정이 수행 된다. 그리고 C 지점의 경우, 깊이 맵 정보로 미루어 보아 A 지점보다 시차가 더욱 크기 때문에 C 지점의 대응점을 찾기 위한 오프셋 변위 범위가 더욱 크게 설정된다.
상기와 같은 방법으로 생성된 각 지점 또는 일정 크기의 윈도우에 대응되는 기준 변위 값 및 오프셋 변위 값은 기준 변위 저장부(미도시) 및 오프셋 변위 저장부(미도시)에 저장되고, 필요한 경우 상기 기준 변위 저장부 및 오프셋 변위 저장부로부터 추출하여 활용할 수 있다.
본 발명에 적용가능한 실시예에서, 상기 변위 범위 제어부(200)는, 초기 설정된 기준 변위 범위 값을 저장하는 초기 기준 변위 범위 저장부(215); 및 초기 설정된 오프셋 변위 범위 값을 저장하는 초기 오프셋 변위 범위 저장부(225);를 더 포함할 수 있다. 보다 상세하게는, 상기 초기 기준 변위 범위 저장부(215) 및 초기 오프셋 변위 범위 저장부(225)는 깊이 맵 정보로부터 추출된 기준 변위 값 및 오프셋 변위 값을 활용할 수 없는 등의 경우에 대비하여 초기 기준 변위 범위 값 및 초기 오프셋 변위 범위 값을 저장할 수 있다.
본 발명에 적용가능한 바람직한 실시예에서, 상기 변위 범위 제어부(200)는, 상기 깊이 맵 정보의 신뢰도 여부를 판단하는 깊이 맵 신뢰도 판단부(230)를 더 포함할 수 있다. 상기 깊이 맵 신뢰도 판단부(230)는 미리 설정된 문턱 값을 시용하여 수집된 깊이 맵 정보를 활용가능한지를 판단할 수 있다. 이때, 상기 문턱 값으로는 깊이 맵의 잡음 및 정합 오류를 판단하기 위한 값이 적용될 수 있다.
본 발명에 적용가능한 실시예에서 상기 변위 범위 제어부(200)는 상기 깊이 맵 정보의 신뢰도 값에 따라 초기 기준 변위 범위 값 또는 상기 기준 변위 설정부(210)에 의해 설정된 기준 변위 값을 선택할 수 있는 제1 MUX부(240); 및 상기 깊이 맵 정보의 신뢰도 값에 따라 초기 오프셋 변위 범위 또는 상기 오프셋 변위 설정부(220)에 의해 설정된 오프셋 변위 값을 선택할 수 있는 제2 MUX부(245)를 더 포함할 수 있다. 보다 상세하게는, 상기 깊이 맵 신뢰도 판단부(230)를 통해 상기 깊이 맵 정보가 활용가능하다고 판단되는 경우, 상기 제1 MUX부(240) 및 제2 MUX부(245)는 기준 변위 설정부(210) 및 오프셋 변위 설정부(220)에 의해 설정되는 기준 변위 값 및 오프셋 변위 값을 이용하여 스테레오 매칭 연산을 수행하도록 할 수 있다. 반대로, 상기 깊이 맵 신뢰도 판단부(230)를 통해 상기 깊이 맵 정보가 활용 불가능하다고 판단되는 경우, 상기 제1 MUX부(240) 및 제2 MUX부(245)는 초기 기준 변위 범위 및 초기 오프셋 변위 범위를 이용하여 스테레오 매칭 연산을 수행하도록 할 수 있다.
상기와 같은 방법을 통해 이전 프레임 영상의 깊이 맵 정보의 신뢰도가 기준 이하 이거나, 스테레오 정합 과정이 처음 수행되는 경우에는 초기 기준 변위 범위 및 초기 오프셋 변위 범위를 이용하여 스테레오 매칭 연산을 수행할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 스테레오 정합 시스템을 나타낸 도면이다.
도 6에 도시된 바와 같이, 본 발명에 적용가능한 바람직한 실시예에서 상기 스테레오 정합 시스템은 N 프레임 및 N+1 프레임의 일방향 영상 정보를 이용하여 움직임 벡터 정보를 생성하는 움직임 벡터 생성부(150)를 더 포함하고, 상기 변위 범위 제어부(200)는, 상기 움직임 벡터 정보를 추가적으로 이용하여 변위 범위 정보를 생성할 수 있다.
본 발명에 적용가능한 실시예에서 상기 움직임 벡터 생성부(150)는 N 프레임의 좌측 영상 데이터 및 N+1 프레임의 좌측 영상 데이터를 이용하여 움직임 벡터를 생성할 수 있다. 또 다른 실시예에서, 상기 움직임 벡터 생성부(150)는 N 프레임의 우측 영상 데이터 및 N+1 프레임의 우측 영상 데이터를 이용하여 움직임 벡터를 생성할 수도 있다. 본 발명은 일정 방향 영상 정보를 이용하여 움직임 벡터 정보를 생성하는 것을 기술적 특징으로 하는 기술에 관한 것으로, 상기 실시예로 국한되지 않는다.
도 7은 본 발명의 다른 실시예에 따른 움직임 벡터 성분의 생성 개념을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 본 발명에 적용가능한 실시예에서는 현재 프레임 영상의 특정 윈도우 움직임 벡터 정보를 추출하기 위해 이전 프레임 영상의 일정 탐색 영역 내부에서 스테레오 정합을 수행할 수 있다. 즉, 현재 프레임 영상의 윈도우 중앙 픽셀 a의 움직임 벡터를 추출하기 위해, 이전 프레임 영상에서 윈도우 픽셀인 bi ~ bq 에서 스테레오 정합을 수행할 수 있다. 상기 움직임 벡터의 추출을 위한 탐색 영역은 미리 설정되거나, 사용자로부터 입력받은 값으로 설정될 수 있다.
도 8을 참조하면, 본 발명의 일 실시예에서 움직임 벡터 (u, v)추출은 하기 [수학식 1]과 같이 수행되며, u, v의 범위는 하기 [수학식 2]와 같이 설정될 수 있다.
Figure pat00001
Figure pat00002
도 8의 실시예는 p=2 일 경우의 예이며, 각 u, v 범위 에서 스테레오 정합 결과 최대 정합 위치에서의 u, v 값이 최종 벡터 값이 된다. 예를 들어 현재 영상 프레임의 윈도우 중앙 픽셀 위치가 a(2,2)이고, 스테레오 정합 연산을 통해 최대 정합 윈도우의 중앙 픽셀 위치가 b(1,1) 이었다면, a(2,2)에서의 최종 벡터 값 (u, v)는 (-1, -1)이 된다. 상기와 같은 방법으로 생성된 각 지점 또는 일정 크기의 윈도우에 대응되는 움직임 벡터 정보는 움직임 벡터 저장부(미도시)에 저장되고, 필요한 경우 상기 움직임 벡터 저장부로부터 추출하여 활용할 수 있다. 상기 도 8의 실시예의 경우, 상기 a(2,2)에서의 최종 벡터 값 (u, v)은 상기 움직임 벡터 저장부의 a(2,2)의 위치에 저장될 수 있다.
그리고 상기 수학식 1은 영역 기반 스테레오 정합 알고리즘으로 주로 사용되는 SAD(sum of absolute difference) 연산이며, 본 발명에 적용가능한 정합 알고리즘은 상기 실시예로 국한되지 않는다.
도 9은 본 발명의 다른 실시예에 따른 움직임 벡터 성분 생성을 위한 정합 방법을 나타낸 도면이다.
도 9에 도시된 바와 같이, 본 발명에 적용가능한 실시예에서는 움직임 벡터 정보를 추출하기 위하여 스테레오 정합 연산을 평형 병렬 방향으로 수행할 수 있다. 다만, 이는 일 실시예로, 본 발명의 스테레오 정합 연산 방법은 다양한 방법이 적용될 수 있다.
도 10는 본 발명의 다른 실시예에 따른 스테레오 정합부의 스테레오 정합 연산을 수행하는 방법을 나타낸 도면이다.
도 10에 도시된 바와 같이, 본 발명에 적용가능한 실시예에서 상기 변위 범위 제어부(200)는 추출된 움직임 벡터 정보를 추가적으로 이용하여 변위 범위를 설정할 수 있다. 보다 상세하게는, 본 발명에 적용가능한 바람직한 실시예에서 상기 변위 범위 제어부(200)가 상기 움직임 벡터 정보를 추가적으로 이용하여 변위 범위를 설정하는 경우, 현재 픽셀의 (x,y) 위치 및 상기 위치에 대응되는 움직임 벡터 정보 (u,v) 값이 더해진 (x+u, v+y) 좌표 값 정보를 이용하여 기준 변위 값을 설정할 수 있다.
상기와 같은 방법을 통해, 기준 변위 설정부(210)는 깊이 맵 정보 및 움직임 벡터 정보를 이용하여 기준 변위 값을 설정할 수 있고, 오프셋 변위 설정부(220)는 깊이 맵 정보 및 움직임 벡터 정보를 이용하여 오프셋 변위 값을 설정할 수 있다.
스테레오 정합 연산의 수행 방법 및 기타 구성에 대해서는 상세히 설명하였으므로, 이하 생략한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 깊이 맵 생성부 150: 움직임 벡터 생성부
200: 변위 범위 제어부 210: 기준 변위 설정부
215: 초기 기준 변위 범위 저장부 220: 오프셋 변위 설정부
225: 초기 오프셋 변위 범위 저장부 230: 깊이 맵 신뢰도 판단부
240: 제1 MUX부 245: 제2 MUX부
300: 스테레오 정합부

Claims (11)

  1. N 프레임 영상의 스테레오 정합 결과로부터 깊이 맵 정보를 생성하는 깊이 맵 생성부;
    상기 깊이 맵 정보를 이용하여 변위 범위 정보를 생성하는 변위 범위 제어부; 및
    상기 변위 범위 정보를 이용하여 N+1 프레임 영상의 스테레오 정합 연산을 수행하는 스테레오 정합부;를 포함하는 스테레오 정합 시스템.(단, N은 자연수)
  2. 제 1항에 있어서,
    상기 변위 범위 제어부는,
    상기 깊이 맵 정보를 이용하여 일련의 윈도우 기반 필터링 연산을 수행하는 것을 특징으로 하는 스테레오 정합 시스템.
  3. 제 1항에 있어서,
    상기 변위 범위 제어부는,
    상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 기준 변위 값을 설정하는 기준 변위 설정부; 및
    상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 오프셋 변위 값을 설정하는 오프셋 변위 설정부; 를 포함하는 것을 특징으로 하는 스테레오 정합 시스템.
  4. 제 3항에 있어서,
    상기 변위 범위 제어부는,
    초기 설정된 기준 변위 범위 값을 저장하는 초기 기준 변위 범위 저장부; 및
    초기 설정된 오프셋 변위 범위 값을 저장하는 초기 오프셋 변위 범위 저장부;를 더 포함하는 것을 특징으로 하는 스테레오 정합 시스템.
  5. 제 4항에 있어서,
    상기 변위 범위 제어부는,
    상기 깊이 맵 정보의 신뢰도 여부를 판단하는 깊이 맵 신뢰도 판단부를 더 포함하는 것을 특징으로 하는 스테레오 정합 시스템.
  6. 제 5항에 있어서,
    상기 변위 범위 제어부는,
    상기 깊이 맵 정보의 신뢰도 값에 따라 초기 기준 변위 범위 또는 상기 기준 변위 설정부에 의해 설정된 기준 변위 값을 선택할 수 있는 제1 MUX부; 및
    상기 깊이 맵 정보의 신뢰도 값에 따라 초기 오프셋 변위 범위 또는 상기 오프셋 변위 설정부에 의해 설정된 오프셋 변위 값을 선택할 수 있는 제2 MUX부를 더 포함하는 것을 스테레오 정합 시스템.
  7. 제 1항에 있어서,
    N 프레임 및 N+1 프레임의 일방향 영상 정보를 이용하여 움직임 벡터 정보를 생성하는 움직임 벡터 생성부;를 더 포함하고,
    상기 변위 범위 제어부는, 상기 움직임 벡터 정보를 추가적으로 이용하여 변위 범위 정보를 생성하는 것을 특징으로 하는 스테레오 정합 시스템.
  8. 제 7항에 있어서,
    상기 변위 범위 제어부는,
    상기 깊이 맵 정보 및 상기 움직임 벡터 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 기준 변위 값을 설정하는 기준 변위 설정부; 및
    상기 깊이 맵 정보를 이용하여 일련의 필터링 연산을 수행 후 이를 통해 오프셋 변위 값을 설정하는 오프셋 변위 설정부; 를 포함하는 것을 특징으로 하는 스테레오 정합 시스템.
  9. 제 8항에 있어서,
    상기 변위 범위 제어부는,
    초기 설정된 기준 변위 범위 값을 저장하는 초기 기준 변위 범위 저장부; 및
    초기 설정된 오프셋 변위 범위 값을 저장하는 초기 오프셋 변위 범위 저장부;를 더 포함하는 것을 특징으로 하는 스테레오 정합 시스템.
  10. 제 9항에 있어서,
    상기 변위 범위 제어부는,
    상기 깊이 맵 정보의 신뢰도 여부를 판단하는 깊이 맵 신뢰도 판단부를 더 포함하는 것을 특징으로 하는 스테레오 정합 시스템.
  11. 제 10항에 있어서,
    상기 변위 범위 제어부는,
    상기 깊이 맵 정보의 신뢰도 값에 따라 초기 기준 변위 범위 또는 상기 기준 변위 설정부에 의해 설정된 기준 변위 값을 선택할 수 있는 제1 MUX부; 및
    상기 깊이 맵 정보의 신뢰도 값에 따라 초기 오프셋 변위 범위 또는 상기 오프셋 변위 설정부에 의해 설정된 오프셋 변위 값을 선택할 수 있는 제2 MUX부를 더 포함하는 것을 특징으로 하는 스테레오 정합 시스템.
KR1020120128809A 2011-11-25 2012-11-14 실시간 스테레오 정합 시스템 KR101344943B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/681,455 US9014463B2 (en) 2011-11-25 2012-11-20 System for real-time stereo matching

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110124203 2011-11-25
KR1020110124203 2011-11-25

Publications (2)

Publication Number Publication Date
KR20130058611A true KR20130058611A (ko) 2013-06-04
KR101344943B1 KR101344943B1 (ko) 2013-12-27

Family

ID=48857822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120128809A KR101344943B1 (ko) 2011-11-25 2012-11-14 실시간 스테레오 정합 시스템

Country Status (1)

Country Link
KR (1) KR101344943B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10003784B2 (en) 2016-07-05 2018-06-19 Hyundai Motor Company Stereo image matching apparatus and method requiring small calculation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10003784B2 (en) 2016-07-05 2018-06-19 Hyundai Motor Company Stereo image matching apparatus and method requiring small calculation

Also Published As

Publication number Publication date
KR101344943B1 (ko) 2013-12-27

Similar Documents

Publication Publication Date Title
US9014463B2 (en) System for real-time stereo matching
AU2017324923B2 (en) Predicting depth from image data using a statistical model
US8718328B1 (en) Digital processing method and system for determination of object occlusion in an image sequence
US10853960B2 (en) Stereo matching method and apparatus
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
KR20100119559A (ko) 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
US9747690B2 (en) Image processing device, image processing method, and program
JP2008535116A (ja) ３次元レンダリング用の方法及び装置
EP3465611A1 (en) Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses
US20150131853A1 (en) Stereo matching system and method for generating disparity map using same
KR101478709B1 (ko) Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
JP2007053621A (ja) 画像生成装置
TW201436552A (zh) 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置
WO2013173282A1 (en) Video disparity estimate space-time refinement method and codec
KR102665603B1 (ko) 스테레오 매칭을 위한 하드웨어 디스패러티 평가
EP2823467B1 (en) Filtering a displacement field between video frames
CN112613460A (zh) 人脸生成模型的建立方法和人脸生成方法
KR101344943B1 (ko) 실시간 스테레오 정합 시스템
KR101178015B1 (ko) 시차 맵 생성 방법
JP2000088523A (ja) 特徴ベクトルを利用した物体の認識装置および方法
WO2021220688A1 (en) Reinforcement learning model for labeling spatial relationships between images
US11809997B2 (en) Action recognition apparatus, action recognition method, and computer-readable recording medium
KR101220003B1 (ko) 시차 맵 생성 방법
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
US9361540B2 (en) Fast image processing for recognition objectives system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171110

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 7