KR102178978B1 - 스테레오 매칭 방법 및 이를 수행하는 장치 - Google Patents

스테레오 매칭 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR102178978B1
KR102178978B1 KR1020140098192A KR20140098192A KR102178978B1 KR 102178978 B1 KR102178978 B1 KR 102178978B1 KR 1020140098192 A KR1020140098192 A KR 1020140098192A KR 20140098192 A KR20140098192 A KR 20140098192A KR 102178978 B1 KR102178978 B1 KR 102178978B1
Authority
KR
South Korea
Prior art keywords
image
pattern
stereo
low cost
cost volume
Prior art date
Application number
KR1020140098192A
Other languages
English (en)
Other versions
KR20160015662A (ko
Inventor
장지호
정재찬
신호철
황대환
최승민
임을균
조재일
윤국진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140098192A priority Critical patent/KR102178978B1/ko
Priority to US14/811,070 priority patent/US9967516B2/en
Publication of KR20160015662A publication Critical patent/KR20160015662A/ko
Application granted granted Critical
Publication of KR102178978B1 publication Critical patent/KR102178978B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/911—Television signal processing therefor for the suppression of noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

물체에 대한 해상도 및 정밀도를 향상시킬 수 있는 스테레오 매칭 방법 및 이를 수행하는 장치가 개시된다. 미리 설정된 주기에 따라 패턴을 조사하는 단계와, 조사된 패턴을 포함하거나 포함하지 않은 좌우측 스테레오 영상을 획득하는 단계와, 미리 설정된 주기에 상응하여 상기 획득한 스테레오 영상 및 스테레오 영상의 이전 프레임 영상인 버퍼링 영상 각각이 패턴을 포함하고 있는지 여부를 판단하는 단계 및 스테레오 영상 및 버퍼링 영상 각각이 패턴을 포함하고 있는지 여부에 따라 각각 다른 영상 처리를 수행하여 최종 코스트 볼륨을 생성하는 단계를 포함한다. 따라서, 얇은 물체에 대한 시차의 정밀도를 높일 수 있으며, 먼거리에 있는 물체에 대한 정확도 및 정밀도를 향상시킬 수 있다.

Description

스테레오 매칭 방법 및 이를 수행하는 장치{METHOD OF STEREO MATCHING AND APPARATUS FOR PERFORMING THE METHOD}
본 발명은 스테레오 매칭 기술에 관한 것으로, 더욱 상세하게는 먼거리에 있는 물체에 대한 해상도 및 정밀도를 향상시킬 수 있는 스테레오 매칭 방법 및 이를 수행하는 장치에 관한 것이다.
다양한 센서를 활용하여 인간 및 공간의 3D 정보를 검출하고, 검출한 3D 정보를 사용자의 제스쳐 검출 또는 주변 공간의 3D화 등의 응용에 사용하려는 연구가 진행되고 있다.
특히, 사람의 제스쳐를 검출하고, 검출된 사람의 제스쳐를 장치에 대한 제어 명령으로 연동시켜 키보드, 리모컨, 마우스와 같은 입력 장치로 활용하려는 연구가 진행되고 있으며, 활발한 연구를 통해 공장자동화 또는 군사용으로 사용되던 능동형 광원을 이용한 3D 인식 방식도 도입되고 있다.
기존에는 사람에게 안전하다고 하는 클래스 1등급의 레이져 패턴을 프로젝션하고, 프로젝터와 카메라 사이에 발생하는 거리별 시각차 정보를 실시간으로 찾아내는 기술이 있었다.
이러한 기술은 3D 뎁스(depth) 정보의 해상도를 640×480 정도로 출력하고 있지만, 구조광 패턴의 밀도와 관련하여 반도체 공정의 한계로 인해 해상도를 높이기 어려운 문제점이 있다. 즉, 이와 같은 해상도로는 3m 정도에서 사람의 손가락 구별이 쉽지 않다.
또한, 기존 기술은 주시된 패턴의 밀도와 결과가 상당히 밀접한 관계를 가지기 때문에 1.5m 이상의 거리에서도 손가락 크기의 물체에 대한 뎁스(depth) 결과의 오차가 커지는 즉, 정밀도가 낮은 문제점이 있다. 이와 같은 현상은 IR 카메라에서 손가락이 정확하게 촬영되지만 손가락와 손가락 주위에 맺히는 패턴의 밀도가 낮아지기 때문에 발생한다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 물체에 대한 해상도와 정밀도를 높일 수 있는 스테레오 매칭 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 물체에 대한 해상도와 정밀도를 높일 수 있는 스테레오 매칭 장치를 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 스테레오 매칭 방법에 따르면, 미리 설정된 주기에 따라 패턴을 조사하는 단계와, 상기 조사된 패턴을 포함하거나 포함하지 않은 좌우측 스테레오 영상을 획득하는 단계와, 상기 미리 설정된 주기에 상응하여 상기 획득한 스테레오 영상(n번째 프레임, n은 1이상의 자연수) 및 상기 스테레오 영상의 이전 프레임 영상인 버퍼링 영상(n-1번째 프레임) 각각이 패턴을 포함하고 있는지 여부를 판단하는 단계 및 상기 스테레오 영상 및 버퍼링 영상 각각이 패턴을 포함하고 있는지 여부에 따라 각각 다른 영상 처리를 수행하여 최종 코스트 볼륨을 생성하는 단계를 포함한다.
여기서, 상기 좌우측 스테레오 영상을 획득하는 단계는, 상기 조사된 패턴을 포함하거나 포함하지 않은 좌우측 스테레오 영상을 획득하는 단계 및 상기 획득한 스테레오 영상을 렉티피케이션 및 노이즈 리덕션 중 적어도 하나를 통해 전처리 하는 단계를 포함할 수 있다.
여기서, 상기 최종 코스트 볼륨을 생성하는 단계 이후에, 상기 최종 코스트 볼륨 중 가장 작은 코스트를 가지는 시차를 선택하는 단계 및 상기 선택한 시차의 노이즈를 제거하는 단계를 더 포함할 수 있다.
여기서, 상기 최종 코스트 볼륨을 생성하는 단계는, 상기 패턴을 포함하고 있는 것으로 판단되는 영상에 대해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성하는 단계와, 상기 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 이용하여 가중치를 생성하는 단계 및 상기 생성된 로우 코스트 볼륨과 상기 생성된 가중치를 벡터곱하여 최종 코스트 볼륨을 생성하는 단계를 포함할 수 있다.
여기서, 상기 로우 코스트 볼륨을 생성하는 단계는, 절대차, 센서스 트랜스폼, 해밍 디스턴스 중 적어도 하나를 통해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성할 수 있다.
여기서, 상기 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 이용하여 가중치를 생성하는 단계는, 상기 패턴을 포함하고 있지 않은 것으로 판단되는 영상에 적응적 영역 가중치, 유도 필터 및 경계 보호 필터 중 적어도 하나를 적용하여 가중치를 생성할 수 있다.
여기서, 상기 최종 코스트 볼륨을 생성하는 단계는, 상기 패턴을 포함하고 있는 것으로 판단되는 영상 및 상기 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 혼합하는 단계와, 상기 혼합한 영상에 대해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성하는 단계와, 상기 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 이용하여 가중치를 생성하는 단계 및 상기 생성된 로우 코스트 볼륨과 상기 생성된 가중치를 백터곱하여 최종 코스트 볼륨을 생성하는 단계를 포함할 수 있다.
여기서, 상기 최종 코스트 볼륨을 생성하는 단계는, 상기 스테레오 영상에 대해 로우 코스트 계산을 수행하여 제1 로우 코스트 볼륨을 생성하는 단계와, 상기 버퍼링 영상에 대해 로우 코스트 계산을 수행하여 제2 로우 코스트 볼륨을 생성하는 단계와, 상기 제1 로우 코스트 볼륨과 상기 제2 로우 코스트 볼륨을 혼합하여 제3 로우 코스트 볼륨을 생성하는 단계와, 상기 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 이용하여 가중치를 생성하는 단계 및 상기 생성된 제3 로우 코스트 볼륨과 상기 생성된 가중치를 벡터곱하여 최종 코스트 볼륨을 생성하는 단계를 포함할 수 있다.
또한, 본 발명의 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 스테레오 매칭 장치에 따르면, 미리 설정된 주기에 따라 패턴이 조사된 좌우측 스테레오 영상을 획득하는 영상 획득부와, 상기 미리 설정된 주기에 상응하여 획득한 스테레오 영상(n번째 프레임, n은 1이상의 자연수)과 상기 스테레오 영상의 이전 프레임 영상인 버퍼링 영상(n-1번째 프레임) 각각이 패턴을 포함하고 있는지 여부를 판단하는 패턴 판단부; 및 상기 스테레오 영상 및 버퍼링 영상 각각이 패턴을 포함하고 있는지 여부에 따라 각각 다른 영상 처리를 수행하여 최종 코스트 볼륨(cost volume)을 생성하는 코스트 볼륨 생성부를 포함한다.
여기서, 상기 획득한 스테레오 영상을 렉티피케이션 및 노이즈 리덕션 중 적어도 하나를 통해 전처리 하는 전처리부를 더 포함할 수 있다.
여기서, 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성하는 로우 코스트 계산부와, 상기 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 이용하여 가중치를 생성하는 가중치 생성부와, 생성된 로우 코스트 볼륨과 상기 생성된 가중치를 벡터곱하여 최종 코스트 볼륨을 생성하는 코스트 볼륨 생성부와, 상기 최종 코스트 볼륨 중 가장 작은 코스트를 가지는 시차를 선택하는 시차 선택부 및 상기 선택한 시차의 노이즈를 제거하는 노이즈 제거부를 더 포함할 수 있다.
여기서, 상기 로우 코스트 계산부는, 상기 패턴을 포함하고 있는 것으로 판단되는 영상에 대해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성할 수 있다.
여기서, 상기 로우 코스트 계산부는, 상기 패턴을 포함하고 있는 것으로 판단되는 영상 및 상기 패턴을 포함하고 있지 않은 것으로 판단되는 영상을 혼합하고, 혼합한 영상에 대해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성할 수 있다.
여기서, 상기 로우 코스트 계산부는, 상기 스테레오 영상에 대해 로우 코스트 계산을 수행하여 제1 로우 코스트 볼륨을 생성하고, 상기 버퍼링 영상에 대해 로우 코스트 계산을 수행하여 제2 로우 코스트 볼륨을 생성한 후, 상기 제1 로우 코스트 볼륨과 상기 제2 로우 코스트 볼륨을 혼합하여 제3 로우 코스트 볼륨을 생성할 수 있다.
상기 로우 코스트 계산부는, 절대차, 센서스 트랜스폼, 해밍 디스턴스 중 적어도 하나를 통해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성할 수 있다.
여기서, 상기 가중치 생성부는, 상기 패턴을 포함하고 있지 않은 것으로 판단되는 영상에 적응적 영역 가중치, 유도 필터 및 경계 보호 필터 중 적어도 하나를 적용하여 가중치를 생성할 수 있다.
상기와 같은 본 발명의 일 실시예에 따른 스테레오 매칭 방법 및 스테레오 매칭 장치에 따르면, 획득한 좌우측 스테레오 영상을 전처리한 스테레오 영상 및 상기 스테레오 영상보다 한 프레임 전의 영상인 버퍼링 영상을 획득하고, 획득한 스테레오 영상 및 버퍼링 영상 각각이 패턴을 포함하고 있는지에 기초하여 로우 코스트 볼륨과 가중치를 생성한 후, 생성한 로우 코스트 볼륨과 가중치를 벡터곱하여 최종 코스트 볼륨을 생성한다.
따라서, 능동형 스테레오 매칭 기술을 사용하면서도 패턴이 없는 영상에 경계 보호 필터 등을 사용할 수 있어 손가락 등 얇은 물체에 대한 시차의 정밀도를 높일 수 있으며, 이에 따라 먼거리에 있는 물체에 대한 정확도 및 정밀도를 향상시킬 수 있다. 또한, 다양한 혼합(blending) 방식을 활용하여 로우 코스트 자체의 결과를 높일 수 있다.
도 1은 일반적인 스테레오 매칭 방법을 나타내는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 매칭 방법이 적용될 시스템의 구성을 나타내는 개념도이다.
도 3은 T1 일때의 동작과 그에 따른 입력 영상을 나타내는 개념도이다.
도 4는 T2 일때의 동작과 그에 따른 입력 영상을 나타내는 개념도이다.
도 5는 본 발명의 일 실시예에 따른 스테레오 매칭 방법을 나타내는 흐름도이다.
도 6은 시간 축에 따라 들어오는 입력영상과 출력과의 관계도를 나타내는 개념도이다.
도 7은 본 발명의 다른 실시예에 따른 스테레오 매칭 방법을 나타내는 흐름도이다.
도 8은 본 발명의 또 다른 실시예에 따른 스테레오 매칭 방법을 나타내는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 스테레오 매칭 장치의 구성을 나타내는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 일반적인 스테레오 매칭 방법을 나타내는 흐름도이다.
도 1을 참조하면, 스테레오 매칭 장치는 2개의 카메라로부터 스테레오 영상이 입력되면(S110, S115), 영상의 노이즈 제거(Noise reduction), 교정(Rectification)을 수행하여 등극선(epipolar line)을 맞게하는 전처리를 수행한다(S120).
이후, 스테레오 매칭 장치는 입력된 좌우 영상 중 하나를 기준 영상(reference image)으로 설정하고, 다른 영상(target image)에 대해서 등극선(epipolar line)을 따라서 수평이동하며 최대 시차(maximum disparity)까지 가능한 로우 코스트 볼륨(Raw cost volume)을 다양한 방식을 이용하여 구한다(S130).
여기서, 다양한 방식은 예를 들어 절대차(Absolute difference), 센서스 트랜스폼(Census transform), 해밍 디스턴스(Hamming distance) 등이 될 수 있다.
다만, 단계 130을 통해 구한 로우 코스트(Raw cost)는 대부분의 경우 한 픽셀에 대한 정보를 가지고 있기 때문에 좌우 영상이 맞는지 여부를 판단하는데 취약한 문제점이 있다.
이를 개선하기 위해, 스테레오 매칭 장치는 주변 픽셀에서의 로우 코스트(Raw cost) 값을 어그리게이션(aggregation)하는 방법으로 단순히 윈도우 내의 모든 값을 합하는 방식부터 영상 정보를 활용하여 다양한 윈도우를 만들고, 각각의 코스트(cost)도 다른 가중치(weight)를 가지게 하는 적응적 영역 가중치(adaptive support weight), 유도 필터(guided filter), 경계 보호 필터(edge preserving filter) 등을 사용하여 윈도우 커??(window kernel)을 구성한다(S140).
스테레오 매칭 장치는 단계 140을 통해 얻어진 각 픽셀 위치에 대한 가중치(weight)와 단계 130을 통해 얻어진 코스트(cost) 간의 벡터곱을 구하여 최종 코스트 볼륨(cost volume)을 구성한다(S150).
이후, 스테레오 매칭 장치는 최종 코스트 볼륨(cost volume) 중 가장 작은 코스트(cost)를 가지는 시차(disparity)를 선택한다(S160). 이는 결국 기준 영상(reference image)에서의 한 지점이 다른 영상(target image)에서의 가장 유사한 점을 찾는 방법이다.
스테레오 매칭 장치는 단계 160에서 얻어진 시차(disparity)를 다양한 방법으로 노이즈를 없애고, 신뢰성을 높이는 작업을 한다(S170).
근래의 스테레오 매칭의 경우에는 단계 140에서 어떻게 윈도우 커널을 구성하느냐에 따라서 많은 결과의 차이를 보이고 있다.
예를 들어, 많이 사용되었던 정방형 윈도우 커널을 사용하는 방식은 윈도우 크기가 커짐에 따라서 한 지점에 대한 정확도는 올라가지만, 전체적으로 시차(disparity) 영상이 블러(blur)되는 현상을 보인다.
이를 방지하고자 적응적 영역 가중치(adaptive support weight), 유도 필터(guided filter) 등의 경우는 같은 색상 영역의 코스트(cost)를 합하는 방식으로 윈도우 커널을 생성하였다.
그러나, 능동형 패턴을 프로젝션하는 방법에서는 패턴으로 인해서 윈도우 커널이 영향을 받게되어 랜덤 도트(random dot) 형태로 나타나게 되며, 이로 인해서 스테레오 매칭의 성능은 저하된다.
이하, 상술한 문제점을 해결하기 위해 본 발명의 일 실시예에 따른 스테레오 매칭 방법을 도면을 참조하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 스테레오 매칭 방법이 적용될 시스템의 구성을 나타내는 개념도이고, 도 3은 T1 일때의 동작과 그에 따른 입력 영상을 나타내는 개념도이며, 도 4는 T2 일때의 동작과 그에 따른 입력 영상을 나타내는 개념도이다.
도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따른 스테레오 매칭 방법이 적용될 시스템은 구조광(structured light) 방식의 능동형 스테레오 매칭을 위한 2개의 카메라, 1개 이상의 패턴 프로젝터(Pattern projector, LD), 경계 보호 필터(edge preserving filter) 사용시에 광량확보를 위해서 필요한 LED 발광기 및 카메라의 동기 신호와 기타 외부 신호를 이용하여 패턴 프로젝터 또는 LED 발광기를 온/오프하는 모듈레이션 장치를 포함한다.
여기서, 만일 카메라에서 충분하게 광량을 확보할 수 있는 경우 LED 발광기를 사용하지 않을 수 있다.
상기 시스템은 패턴 프로젝터(LD)를 이용하여 패턴 프로젝터(LD)가 온(on)되고 LED 발광기가 오프(off)된 경우를 T1, 패턴 프로젝터(LD)가 오프(off)되고 LED 발광기가 온(on)된 경우를 T2로 하여 경계 보호 필터(edge preserving filter)를 수행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 스테레오 매칭 방법을 나타내는 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 스테레오 매칭 방법을 수행하는 장치(이하, 스테레오 매칭 장치라 약칭함)는 좌우 스테레오 카메라로부터 좌우측 스테레오 영상을 획득한다(S510).
여기서, 상기 획득된 좌우측 스테레오 영상은 미리 설정된 주기에 따라 패턴이 조사된 영상일 수 있으며, 조사된 패턴을 포함하거나 포함하지 않은 영상일 수 있다.
스테레오 매칭 장치는 단계 510을 통해 획득한 좌우측 스테레오 영상을 전처리한 스테레오 영상(n번째 프레임, n은 1이상의 자연수) 및 상기 스테레오 영상 이전 프레임 영상인 버퍼링 영상(n-1번째 프레임)을 획득한다(S520).
스테레오 매칭 장치는 상기 미리 설정된 주기에 상응하여 단계 520을 통해 획득한 스테레오 영상 및 버퍼링 영상 각각이 패턴을 포함하고 있는지 여부를 판단한다(S530).
여기서, 스테레오 매칭 장치는 카메라와 동기되어 한 프레임은 패턴을 프로젝션하고, 다음 프레임은 프로젝션 하지않는 방식으로 프레임당 온 또는 오프를 반복하는 능동형 프로젝터로부터 패턴 프로젝터의 온오프 신호를 수신함으로써 단계 530을 수행할 수 있다.
스테레오 매칭 장치는 단계 530을 통해 획득한 스테레오 영상 및 버퍼링 영상 중 패턴을 포함하고 있는 것으로 판단한 영상에 대해 로우 코스트 계산(raw cost computation)을 수행하여 로우 코스트 볼륨(raw cost volume)을 생성한다(S540).
여기서, 스테레오 매칭 장치는 절대차(absolute), 센서스 트램스폼(Census transform), 해밍 디스턴스(hamming distance) 등을 통해 패턴을 포함하고 있는 것으로 판단한 영상에 대해 로우 코스트 볼륨을 생성할 수 있다.
또는, 스테레오 매칭 장치는 단계 530을 통해 획득한 스테레오 영상 및 버퍼링 영상 중 패턴을 포함하고 있지 않은 것으로 판단되는 영상을 이용하여 가중치(weight)를 생성한다(S550).
구체적으로 스테레오 매칭 장치는 패턴을 포함하고 있지 않은 것으로 판단되는 영상에 적응적 영역 가중치(adaptive support weight), 유도 필터(guided filter), 경계 보호 필터(edge preserving filter) 등을 적용하여 가중치를 생성할 수 있다.
이후, 스테레오 매칭 장치는 단계 540 및 단계 550을 통해 생성된 로우 코스트 볼륨과 생성된 가중치를 백터곱하여 최종 코스트 볼륨을 생성한다(S560).
스테레오 매칭 장치는 단계 560을 통해 생성한 최종 코스트 볼륨 중 가장 작은 코스트를 가지는 시차(disparity)를 선택한다(S570).
이후, 스테레오 매칭 장치는 단계 570을 통해 선택한 시차의 노이즈를 제거한다(S580).
본 발명의 일 실시예에 따른 스테레오 매칭 방법에 따르면, 패턴 프로젝터를 카메라와 동기화하여 순차적으로 프로젝션하고, 이를 통해 패턴이 없는 영상에 대해서는 적응적 영역 가중치, 유도 필터, 경계 보호 필터 등의 기법을 적용할 수 있어, 얇은 물체에 대한 시차 정밀도를 높일 수 있다.
도 6은 시간 축에 따라 들어오는 입력영상과 출력과의 관계도를 나타내는 개념도이다.
도 6을 참조하면, 시간에 따라 패턴을 포함하고 있는 영상 프레임과 패턴을 포함하고 있지 않은 영상 프레임이 번갈아 가면서 입력된다.
패턴을 포함하고 있는 영상 T1은 한 프레임이 버퍼링되고, 다음 프레임에서 패턴을 포함하고 있지 않은 영상 T2와 함께 입력된다.
이후, 패턴을 포함하고 있는 영상 T1에 대해서는 도 5에 도시된 바와 같이 로우 코스트 볼륨을 생성하고, 패턴을 포함하고 있지 않은 영상 T2에 대해서는 가중치를 생성한다.
또한, 결과 영상(Disparity Output)은 입력 영상과 같은 fps(frame per second)를 유지하게 되는 것을 확인할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 스테레오 매칭 방법을 나타내는 흐름도이다.
도 7을 참조하면, 스테레오 매칭 장치는 좌우 스테레오 카메라로부터 좌우측 스테레오 영상을 획득한다(S710).
여기서, 상기 획득된 좌우측 스테레오 영상은 미리 설정된 주기에 따라 패턴이 조사된 영상일 수 있으며, 조사된 패턴을 포함 또는 포함하지 않은 영상일 수 있다.
스테레오 매칭 장치는 단계 710을 통해 획득한 좌우측 스테레오 영상을 전처리한 스테레오 영상(n번째 프레임, n은 1이상의 자연수) 및 상기 스테레오 영상 이전 프레임 영상인 버퍼링 영상(n-1번째 영상)을 획득한다(S720).
스테레오 매칭 장치는 상기 미리 설정된 주기에 상응하여 단계 720을 통해 획득한 스테레오 영상 및 버퍼링 영상 각각이 패턴을 포함하고 있는지 여부를 판단한다(S730).
여기서, 스테레오 매칭 장치는 카메라와 동기되어 한 프레임은 패턴을 프로젝션하고, 다음 프레임은 프로젝션 하지 않는 방식으로 프레임당 온 또는 오프를 반복하는 능동형 프로젝터로부터 패턴 프로젝터의 온오프 신호를 수신함으로써 단계 730을 수행할 수 있다.
이후, 스테레오 매칭 장치는 패턴을 포함하고 있는 영상과 패턴을 포함하고 있지 않은 영상을 혼합(blending)한다(S740).
여기서, 단계 740의 영상 혼합(blending)은 알파 블렌딩(alpha)을 포함하여 이와 유사한 종류 중 어떠한 알고리즘을 통해 수행될 수 있다.
스테레오 매칭 장치는 단계 740을 통해 혼합한 영상에 대해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성한다(S750).
여기서, 패턴을 포함하고 있는 영상은 패턴이 보이지 않는 구간에서 에러율이 높은 단점이 있으며, 패턴을 포함하고 있지 않은 영상은 텍스쳐(texture)가 거의 없는 부분에서 에러율이 높은 단점이 있다. 따라서, 이러한 단점을 보완하기 위해 스테레오 매칭 장치는 단계 750과 같이 패턴을 포함하고 있는 영상과 패턴을 포함하고 있지 않은 영상을 혼합한 영상에 대해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성할 수 있다.
또는, 스테레오 매칭 장치는 단계 730을 통해 획득한 스테레오 영상 및 버퍼링 영상 중 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 이용하여 가중치(weight)를 생성한다(S760).
구체적으로, 스테레오 매칭 장치는 패턴을 포함하고 있지 않은 것으로 판단되는 영상에 적응적 영역 가중치, 유도 필터, 경계 보호 필터 등을 적용하여 가중치를 생성할 수 있다.
이후, 스테레오 매칭 장치는 단계 750 및 단계 760을 통해 생성된 로우 코스트 볼륨과 생성된 가중치를 백터곱하여 최종 코스트 볼륨을 생성한다(S770).
스테레오 매칭 장치는 단계 770을 통해 생성한 최종 코스트 볼륨 중 가장 작은 코스트를 가지는 시차(disparity)를 선택하고(S780), 선택한 시차의 노이즈를 제거한다(S790).
본 발명의 일 실시예에 따른 스테레오 매칭 방법에 따르면, 패턴을 포함하고 있는 영상 및 패턴을 포함하고 있지 않은 영상을 혼합(blending)하여 로우 코스트 계산을 수행함으로써, 시차 정밀도를 더 높일 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 스테레오 매칭 방법을 나타내는 흐름도이다.
도 8을 참조하면, 스테레오 매칭 장치는 미리 설정된 주기에 따라 패턴이 조사된 좌우 스테레오 카메라로부터 좌우측 스테레오 영상을 획득한다(S801).
스테레오 매칭 장치는 단계 801을 통해 획득한 좌우측 스테레오 영상을 전처리한 스테레오 영상 및 상기 스테레오 영상 이전 프레임 영상인 버퍼링 영상을 획득한다 (S803).
스테레오 매칭 장치는 상기 미리 설정된 주기에 상응하여 단계 803을 통해 획득한 스테레오 영상 및 버퍼링 영상 각각이 패턴을 포함하고 있는지 여부를 판단한다(S805).
이후, 스테레오 매칭 장치는 스테레오 영상에 대해 로우 코스트 계산을 수행하여 제1 로우 코스트 볼륨을 생성한다(S807).
스테레오 매칭 장치는 버퍼링 영상에 대해 로우 코스트 계산을 수행하여 제2 로우 코스트 볼륨을 생성한다(S809).
여기서, 단계 807 및 단계 809는 설명의 편의상 스테레오 매칭 장치가 스테레오 영상에 대해 로우 코스트 계산을 수행하여 제1 로우 코스트 볼륨을 생성하는 단계를 우선적으로 수행하였으나, 단계 807과 단계 809는 순차적인 단계뿐 아니라 역순 및 동시에 이루어질 수도 있다.
이후, 스테레오 매칭 장치는 단계 807을 통해 생성된 제1 로우 코스트 볼륨과 단계 809를 통해 생성된 제2 로우 코스트 볼륨을 혼합하여 제3 로우 코스트 볼륨을 생성한다(S811).
또는, 스테레오 매칭 장치는 단계 805를 통해 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 이용하여 가중치(weight)를 생성한다(S813).
구체적으로, 스테레오 매칭 장치는 패턴을 포함하고 있지 않은 것으로 판단되는 영상에 적응적 영역 가중치, 유도 필터, 경계 보호 필터 등을 적용하여 가중치를 생성할 수 있다.
이후, 스테레오 매칭 장치는 단계 811 및 단계 813을 통해 생성된 제3 로우 코스트 볼륨과 생성된 가중치를 백터곱하여 최종 코스트 볼륨을 생성한다(S815).
스테레오 매칭 장치는 단계 815를 통해 생성한 최종 코스트 볼륨 중 가장 작은 코스트를 가지는 시차(disparity)를 선택하고(S817), 선택한 시차의 노이즈를 제거한다(S819).
본 발명의 일 실시예에 따른 스테레오 매칭 방법에 따르면, 스테레오 영상 및 버퍼링 영상 각각에 대하여 로우 코스트 볼륨을 구한 후에 구한 각각의 로우 코스트 볼륨을 혼합(blending)함으로써 시차 정밀도를 더 높일 수 있다.
이하, 본 발명의 일 실시예에 따른 스테레오 매칭 방법을 수행하는 스테레오 매칭 장치에 대해 도면을 참조하여 설명하도록 한다.
후술되는 구성요소들은 물리적인 구분이 아니라 기능적인 구분에 의해서 정의되는 구성요소들로서 각각이 수행하는 기능들에 의해서 정의될 수 있다. 각각의 구성요소들은 하드웨어 및/또는 각각의 기능을 수행하는 프로그램 코드 및 프로세싱 유닛으로 구현될 수 있을 것이며, 두 개 이상의 구성요소의 기능이 하나의 구성요소에 포함되어 구현될 수도 있을 것이다.
따라서, 이하의 실시예에서 구성요소에 부여되는 명칭은 각각의 구성요소를 물리적으로 구분하기 위한 것이 아니라 각각의 구성요소가 수행하는 대표적인 기능을 암시하기 위해서 부여된 것이며, 구성요소의 명칭에 의해서 본 발명의 기술적 사상이 한정되지 않는 것임에 유의하여야 한다.
도 9는 본 발명의 일 실시예에 따른 스테레오 매칭 장치의 구성을 나타내는 블록도이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 스테레오 매칭 장치(100)는 좌우영상 획득부(110), 전처리부(120), 패턴 판단부(130), 가중치 생성부(140), 로우 코스트 계산부(150), 코스트 볼륨 생성부(160), 시차 선택부(170) 및 노이즈 제어부(180)를 포함할 수 있다.
먼저, 좌우영상 획득부(110)는 좌우 스테레오 카메라로부터 미리 설정된 주기에 따라 패턴이 조사된 좌우측 스테레오 영상을 획득하여 전처리부(120)에 제공한다.
전처리부는 제공 받은 좌우측 스테레오 영상을 전처리한 스테레오 영상(n번째 프레임) 및 상기 스테레오 영상의 이전 프레임 영상인 버퍼링 영상(n-1번째 프레임)을 획득하고, 획득한 스테레오 영상 및 버퍼링 영상을 패턴 판단부(130)에 제공한다.
패턴 판단부(130)는 상기 미리 설정된 주기에 상응하여 제공 받은 스테레오 영상 및 버퍼링 영상 각각이 패턴을 포함하고 있는지 여부를 판단한다.
여기서, 패턴 판단부(130)는 능동형 프로젝터로부터 수신되는 패턴 프로젝터의 온오프 신호에 상응하여 제공 받은 스테레오 영상 및 버퍼링 영상 각각이 패턴을 포함하고 있는지 여부를 판단한다.
로우 코스트 계산부(140)는 영상에 대해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성하고, 생성한 로우 코스트 볼륨을 코스트 볼륨 생성부(160)에 제공한다.
구체적으로, 로우 코스트 계산부(140)는 스테레오 영상 및 버퍼링 영상 중 패턴을 포함하고 있는 것으로 판단한 영상에 대해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성하고, 생성한 로우 코스트 볼륨을 코스트 볼륨 생성부(16)에 제공할 수 있다.
여기서, 코스트 계산부(140)는 절대차(absolute), 센서스 트램스폼(Census transform), 해밍 디스턴스(hamming distance) 등을 통해 혼합한 영상에 대해 로우 코스트 볼륨을 생성할 수 있다.
또는, 로우 코스트 계산부(140)는 패턴을 포함하고 있는 영상 및 패턴을 포함하고 있지 않은 영상을 혼합(blending)하고, 혼합한 영상에 대해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성한 후, 생성한 로우 코스트 볼륨을 코스트 볼륨 생성부(160)에 제공할 수 있다.
또는, 로우 코스트 계산부(140)는 스테레오 영상에 대해 로우 코스트 계산을 수행하여 제1 로우 코스트 볼륨을 생성하고, 버퍼링 영상에 대해 로우 코스트 계산을 수행하여 제2 로우 코스트 볼륨을 생성한 후, 제1 로우 코스트 볼륨과 제2 로우 코스트 볼륨을 혼합(blending)하여 제3 로우 코스트 볼륨을 생성하고, 생성한 제3 로우 코스트 볼륨을 코스트 볼륨 생성부(160)에 제공할 수도 있다.
가중치 생성부(150)는 획득한 스테레오 영상 및 버퍼링 영상 중 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 이용하여 가중치를 생성하고 생성한 가중치를 코스트 볼륨 생성부(160)에 제공한다.
구체적으로, 가중치 생성부(150)는 패턴을 포함하고 있지 않은 것으로 판단되는 영상에 적응적 영역 가중치, 유도 필터, 경계 보호 필터 등을 적용하여 가중치를 생성할 수 있다.
코스트 볼륨 생성부(160)는 로우 코스트 계산부(140) 및 가중치 생성부(150)로부터 제공 받은 로우 코스트 볼륨과 가중치를 백터곱하여 최종 코스트 볼륨을 생성하고 생성한 최종 코스트 볼륨을 시차 선택부(170)에 제공한다.
시차 선택부(170)는 제공 받은 최종 코스트 볼륨 중 가장 작은 코스트를 가지는 시차를 선택하고 선택한 시차를 노이즈 제거부(180)에 제공한다.
노이즈 제거부(180)는 제공 받은 시차의 노이즈를 제거한다.
본 발명의 일 실시예에 따른 스테레오 매칭 장치에 따르면, 패턴 프로젝터를 카메라와 동기화하여 순차적으로 프로젝션하고, 이를 통해 패턴이 없는 영상에 대해 적응적 영역 가중치, 유도 필터, 경계 보호 필터 등의 기법을 적용할 수 있어, 얇은 물체에 대한 시차 정밀도를 높일 수 있다. 또한, 혼합(blending) 기법을 이용하여 시차의 정밀도를 더 높일 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 스테레오 매칭 장치
110: 좌우영상 획득부
120: 전처리부
130: 패턴 판단부
140: 로우 코스트 계산부
150: 가중치 생성부
160: 코스트 볼륨 생성부
170: 시차 선택부
180: 노이즈 제거부

Claims (16)

  1. 미리 설정된 주기에 따라 패턴을 조사하는 단계;
    상기 조사된 패턴을 포함하거나 포함하지 않은 좌우측 스테레오 영상을 획득하는 단계;
    상기 미리 설정된 주기에 상응하여 상기 획득한 스테레오 영상(n번째 프레임, n은 1이상의 자연수) 및 상기 스테레오 영상의 이전 프레임 영상인 버퍼링 영상(n-1번째 프레임) 각각이 패턴을 포함하고 있는지 여부를 판단하는 단계;
    상기 스테레오 영상 및 버퍼링 영상 중에서 상기 패턴을 포함하고 있는 것으로 판단되는 영상에 대해 로우 코스트 계산(raw cost computation)을 수행하여 로우 코스트 볼륨(raw cost volume)을 생성하는 단계;
    상기 스테레오 영상 및 버퍼링 영상 중에서 상기 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 이용하여 가중치(weight)를 생성하는 단계; 및
    상기 생성된 로우 코스트 볼륨과 상기 생성된 가중치에 기초하여 최종 코스트 볼륨을 생성하는 단계를 포함하며,
    상기 스테레오 영상 및 상기 버퍼링 영상은 모두 복수의 카메라로 획득한 스테레오 영상인, 스테레오 매칭 방법.
  2. 청구항 1에 있어서,
    상기 좌우측 스테레오 영상을 획득하는 단계는,
    상기 조사된 패턴을 포함하거나 포함하지 않은 좌우측 스테레오 영상을 획득하는 단계; 및
    상기 획득한 스테레오 영상을 렉티피케이션(rectification) 및 노이즈 리덕션(noise reduction) 중 적어도 하나를 통해 전처리 하는 단계를 포함하는 것을 특징으로 하는 스테레오 매칭 방법.
  3. 청구항 1에 있어서,
    상기 최종 코스트 볼륨을 생성하는 단계 이후에,
    상기 최종 코스트 볼륨 중 가장 작은 코스트를 가지는 시차(disparity)를 선택하는 단계; 및
    상기 선택한 시차의 노이즈를 제거하는 단계를 더 포함하는 것을 특징으로 하는 스테레오 매칭 방법.
  4. 청구항 1에 있어서,
    상기 최종 코스트 볼륨은 상기 생성된 로우 코스트 볼륨과 상기 생성된 가중치를 벡터곱하여 생성되는 것을 특징을 하는 스테레오 매칭 방법.
  5. 청구항 1에 있어서,
    상기 로우 코스트 볼륨을 생성하는 단계는,
    절대차(absolute difference), 센서스 트랜스폼(Census transform), 해밍 디스턴스(hamming distance) 중 적어도 하나를 통해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성하는 것을 특징으로 하는 스테레오 매칭 방법.
  6. 청구항 1에 있어서,
    상기 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 이용하여 가중치를 생성하는 단계는,
    상기 패턴을 포함하고 있지 않은 것으로 판단되는 영상에 적응적 영역 가중치(adaptive support weight), 유도 필터(guided filter) 및 경계 보호 필터(edge preserving filter) 중 적어도 하나를 적용하여 가중치를 생성하는 것을 특징으로 하는 스테레오 매칭 방법.
  7. 미리 설정된 주기에 따라 패턴을 조사하는 단계;
    상기 조사된 패턴을 포함하거나 포함하지 않은 좌우측 스테레오 영상을 획득하는 단계;
    상기 미리 설정된 주기에 상응하여 상기 획득한 스테레오 영상(n번째 프레임, n은 1이상의 자연수) 및 상기 스테레오 영상의 이전 프레임 영상인 버퍼링 영상(n-1번째 프레임) 각각이 패턴을 포함하고 있는지 여부를 판단하는 단계;
    상기 스테레오 영상 및 버퍼링 영상 중에서 상기 패턴을 포함하고 있는 것으로 판단되는 영상 및 상기 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 혼합(blending)하는 단계;
    상기 혼합한 영상에 대해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성하는 단계;
    상기 스테레오 영상 및 버퍼링 영상 중에서 상기 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 이용하여 가중치를 생성하는 단계; 및
    상기 생성된 로우 코스트 볼륨과 상기 생성된 가중치를 백터곱하여 최종 코스트 볼륨을 생성하는 단계를 포함하며,
    상기 스테레오 영상 및 상기 버퍼링 영상은 모두 복수의 카메라로 획득한 스테레오 영상인 것을 특징으로 하는 스테레오 매칭 방법.
  8. 미리 설정된 주기에 따라 패턴을 조사하는 단계;
    상기 조사된 패턴을 포함하거나 포함하지 않은 좌우측 스테레오 영상을 획득하는 단계;
    상기 미리 설정된 주기에 상응하여 상기 획득한 스테레오 영상(n번째 프레임, n은 1이상의 자연수) 및 상기 스테레오 영상의 이전 프레임 영상인 버퍼링 영상(n-1번째 프레임) 각각이 패턴을 포함하고 있는지 여부를 판단하는 단계;
    상기 스테레오 영상에 대해 로우 코스트 계산을 수행하여 제1 로우 코스트 볼륨을 생성하는 단계;
    상기 버퍼링 영상에 대해 로우 코스트 계산을 수행하여 제2 로우 코스트 볼륨을 생성하는 단계;
    상기 제1 로우 코스트 볼륨과 상기 제2 로우 코스트 볼륨을 혼합하여 제3 로우 코스트 볼륨을 생성하는 단계;
    상기 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 이용하여 가중치를 생성하는 단계; 및
    상기 생성된 제3 로우 코스트 볼륨과 상기 생성된 가중치를 벡터곱하여 최종 코스트 볼륨을 생성하는 단계를 포함하는 것을 특징으로 하는 스테레오 매칭 방법.
  9. 미리 설정된 주기에 따라 패턴이 조사된 좌우측 스테레오 영상을 획득하는 영상 획득부;
    상기 미리 설정된 주기에 상응하여 획득한 스테레오 영상(n번째 프레임, n은 1이상의 자연수)과 상기 스테레오 영상의 이전 프레임 영상인 버퍼링 영상(n-1번째 프레임) 각각이 패턴을 포함하고 있는지 여부를 판단하는 패턴 판단부;
    상기 스테레오 영상 및 버퍼링 영상 중에서 상기 패턴을 포함하고 있는 것으로 판단되는 영상에 대해 로우 코스트 계산(raw cost computation)을 수행하여 로우 코스트 볼륨(raw cost volume)을 생성하는 로우 코스트 계산부;
    상기 스테레오 영상 및 버퍼링 영상 중에서 상기 패턴을 포함하고 있지 않는 것으로 판단되는 영상을 이용하여 가중치(weight)를 생성하는 가중치 생성부; 및
    상기 생성된 로우 코스트 볼륨과 상기 생성된 가중치에 기초하여 최종 코스트 볼륨을 생성하는 코스트 볼륨 생성부를 포함하며,
    상기 스테레오 영상 및 상기 버퍼링 영상은 모두 복수의 카메라로 획득한 스테레오 영상인, 스테레오 매칭 장치.
  10. 청구항 9에 있어서,
    상기 획득한 스테레오 영상을 렉티피케이션(rectification) 및 노이즈 리덕션(noise reduction) 중 적어도 하나를 통해 전처리 하는 전처리부를 더 포함하는 것을 특징으로 하는 스테레오 매칭 장치.
  11. 청구항 9에 있어서,
    상기 코스트 볼륨 생성부는 상기 생성된 로우 코스트 볼륨과 상기 생성된 가중치를 벡터곱하여 최종 코스트 볼륨을 생성하고,
    상기 스테레오 매칭 장치는,
    상기 최종 코스트 볼륨 중 가장 작은 코스트를 가지는 시차(disparity)를 선택하는 시차 선택부; 및
    상기 선택한 시차의 노이즈를 제거하는 노이즈 제거부를 더 포함하는 것을 특징으로 하는 스테레오 매칭 장치.
  12. 삭제
  13. 미리 설정된 주기에 따라 패턴이 조사된 좌우측 스테레오 영상을 획득하는 영상 획득부;
    상기 미리 설정된 주기에 상응하여 획득한 스테레오 영상(n번째 프레임, n은 1이상의 자연수)과 상기 스테레오 영상의 이전 프레임 영상인 버퍼링 영상(n-1번째 프레임) 각각이 패턴을 포함하고 있는지 여부를 판단하는 패턴 판단부; 및
    상기 스테레오 영상 및 버퍼링 영상 중에서 상기 패턴을 포함하고 있는 것으로 판단되는 영상 및 상기 패턴을 포함하고 있지 않은 것으로 판단되는 영상을 혼합(blending)하고, 혼합한 영상에 대해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성하는 로우 코스트 계산부를 포함하는 스테레오 매칭 장치.
  14. 미리 설정된 주기에 따라 패턴이 조사된 좌우측 스테레오 영상을 획득하는 영상 획득부;
    상기 미리 설정된 주기에 상응하여 획득한 스테레오 영상(n번째 프레임, n은 1이상의 자연수)과 상기 스테레오 영상의 이전 프레임 영상인 버퍼링 영상(n-1번째 프레임) 각각이 패턴을 포함하고 있는지 여부를 판단하는 패턴 판단부; 및
    상기 스테레오 영상에 대해 로우 코스트 계산을 수행하여 제1 로우 코스트 볼륨을 생성하고, 상기 버퍼링 영상에 대해 로우 코스트 계산을 수행하여 제2 로우 코스트 볼륨을 생성한 후, 상기 제1 로우 코스트 볼륨과 상기 제2 로우 코스트 볼륨을 혼합하여 제3 로우 코스트 볼륨을 생성하는 로우 코스트 계산부를 포함하는 스테레오 매칭 장치.
  15. 청구항 9에 있어서,
    상기 로우 코스트 계산부는,
    절대차(absolute difference), 센서스 트랜스폼(Census transform), 해밍 디스턴스(hamming distance) 중 적어도 하나를 통해 로우 코스트 계산을 수행하여 로우 코스트 볼륨을 생성하는 것을 특징으로 하는 스테레오 매칭 장치.
  16. 청구항 9에 있어서,
    상기 가중치 생성부는,
    상기 패턴을 포함하고 있지 않은 것으로 판단되는 영상에 적응적 영역 가중치(adaptive support weight), 유도 필터(guided filter) 및 경계 보호 필터(edge preserving filter) 중 적어도 하나를 적용하여 가중치를 생성하는 것을 특징으로 하는 스테레오 매칭 장치.
KR1020140098192A 2014-07-31 2014-07-31 스테레오 매칭 방법 및 이를 수행하는 장치 KR102178978B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140098192A KR102178978B1 (ko) 2014-07-31 2014-07-31 스테레오 매칭 방법 및 이를 수행하는 장치
US14/811,070 US9967516B2 (en) 2014-07-31 2015-07-28 Stereo matching method and device for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140098192A KR102178978B1 (ko) 2014-07-31 2014-07-31 스테레오 매칭 방법 및 이를 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20160015662A KR20160015662A (ko) 2016-02-15
KR102178978B1 true KR102178978B1 (ko) 2020-11-13

Family

ID=55181423

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140098192A KR102178978B1 (ko) 2014-07-31 2014-07-31 스테레오 매칭 방법 및 이를 수행하는 장치

Country Status (2)

Country Link
US (1) US9967516B2 (ko)
KR (1) KR102178978B1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626590B2 (en) * 2015-09-18 2017-04-18 Qualcomm Incorporated Fast cost aggregation for dense stereo matching
KR20170047780A (ko) * 2015-10-23 2017-05-08 한국전자통신연구원 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법
KR102442594B1 (ko) 2016-06-23 2022-09-13 한국전자통신연구원 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
US10321112B2 (en) * 2016-07-18 2019-06-11 Samsung Electronics Co., Ltd. Stereo matching system and method of operating thereof
US10462445B2 (en) 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps
US10839535B2 (en) 2016-07-19 2020-11-17 Fotonation Limited Systems and methods for providing depth map information
KR101784620B1 (ko) * 2016-07-26 2017-11-06 연세대학교 산학협력단 스테레오 매칭을 통한 깊이값의 신뢰도 측정 방법 및 장치
KR20180087994A (ko) 2017-01-26 2018-08-03 삼성전자주식회사 스테레오 매칭 방법 및 영상 처리 장치
KR102252915B1 (ko) * 2017-02-22 2021-05-18 현대자동차주식회사 스테레오 카메라를 이용한 거리 추정 방법 및 장치
EP3869542B1 (en) * 2018-10-15 2023-12-13 Koh Young Technology Inc. Device and method for inspection
CN109801324B (zh) * 2019-01-07 2020-11-24 华南理工大学 一种对光强不敏感的斜面近邻传播立体匹配方法
US11430086B2 (en) * 2020-05-13 2022-08-30 Microsoft Technology Licensing, Llc Upsampling low temporal resolution depth maps
US11861859B2 (en) 2020-08-14 2024-01-02 Samsung Electronics Co., Ltd System and method for disparity estimation based on cost-volume attention

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1806697B1 (en) 2006-01-10 2016-08-10 Microsoft Technology Licensing, LLC Segmenting image elements
US7970177B2 (en) 2006-03-23 2011-06-28 Tyzx, Inc. Enhancing stereo depth measurements with projected texture
EP2293586A1 (en) * 2009-08-04 2011-03-09 Samsung Electronics Co., Ltd. Method and system to transform stereo content
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
KR20120089921A (ko) 2010-12-23 2012-08-16 한국전자통신연구원 다이나믹 프로그래밍 방식을 이용하는 스테레오 매칭 시스템 및 그 방법
KR101133520B1 (ko) 2011-01-03 2012-04-04 엠텍비젼 주식회사 색 노이즈 제거 방법 및 장치
KR101272574B1 (ko) * 2011-11-18 2013-06-10 재단법인대구경북과학기술원 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법
JP2014096062A (ja) * 2012-11-09 2014-05-22 Yamaguchi Univ 画像処理方法及び画像処理装置

Also Published As

Publication number Publication date
KR20160015662A (ko) 2016-02-15
US9967516B2 (en) 2018-05-08
US20160037121A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
KR102178978B1 (ko) 스테레오 매칭 방법 및 이를 수행하는 장치
KR101954855B1 (ko) 볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용
CN104104941B (zh) 三维图像获取装置以及生成深度图像的方法
KR102159994B1 (ko) 티오에프 카메라 장치 및 이의 구동 방법
US20170178305A1 (en) Morphological and geometric edge filters for edge enhancement in depth images
JP5370542B1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US9648698B2 (en) Method and system for generating light pattern using polygons
US10592778B2 (en) Stereoscopic object detection leveraging expected object distance
US8913037B1 (en) Gesture recognition from depth and distortion analysis
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
JP7337091B2 (ja) 飛行時間カメラの低減された出力動作
US9268408B2 (en) Operating area determination method and system
US10936053B2 (en) Interaction system of three-dimensional space and method for operating same
CN107533765B (zh) 跟踪光学物体的装置，方法和系统
KR102647637B1 (ko) 사용자 인증을 위한 방법 및 그 전자 장치
JP2011179997A (ja) 距離情報取得装置および距離情報取得装置における光量調節方法
KR20160144148A (ko) 광학 장치 및 깊이 정보 생성 방법
US20150355811A1 (en) Methods and systems for controlling a virtual interactive surface and interactive display systems
KR20200063937A (ko) 적외선 스테레오 카메라를 이용한 위치 검출 시스템
US10318077B2 (en) Coherent illumination for touch point identification
CN107589834B (zh) 终端设备操作方法及装置、终端设备
Ionescu et al. A single sensor NIR depth camera for gesture control
Ionescu et al. An infrared-based depth camera for gesture-based control of virtual environments
CN108259737A (zh) 聚焦检测方法、装置、计算机可读存储介质及电子设备
Ionescu et al. A 3D NIR camera for gesture control of video game consoles

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant