KR101259835B1 - 깊이 정보를 생성하기 위한 장치 및 방법 - Google Patents

깊이 정보를 생성하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR101259835B1
KR101259835B1 KR1020090053018A KR20090053018A KR101259835B1 KR 101259835 B1 KR101259835 B1 KR 101259835B1 KR 1020090053018 A KR1020090053018 A KR 1020090053018A KR 20090053018 A KR20090053018 A KR 20090053018A KR 101259835 B1 KR101259835 B1 KR 101259835B1
Authority
KR
South Korea
Prior art keywords
image
depth information
unit
structured light
pattern
Prior art date
Application number
KR1020090053018A
Other languages
English (en)
Other versions
KR20100134403A (ko
Inventor
김태원
엄기문
방건
장은영
허남호
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090053018A priority Critical patent/KR101259835B1/ko
Priority to US12/689,390 priority patent/US20100315490A1/en
Publication of KR20100134403A publication Critical patent/KR20100134403A/ko
Application granted granted Critical
Publication of KR101259835B1 publication Critical patent/KR101259835B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

본 발명은 3차원 방송에 필요한 깊이 정보를 획득하기 위한 장치 및 방법에 관한 것으로, 획득된 영상 전체에 대한 깊이 정보를 획득할 수 있는 장치 및 방법을 제공하고, 또한 획득된 영상에서 보다 정밀한 깊이 정보를 획득할 수 있는 장치 및 방법을 제공하고자 한다.
이를 위하여, 본 발명의 일 실시 예에 따른 장치는, 깊이 정보를 생성하기 위한 장치에 있어서, 미리 결정된 구조광 패턴을 촬영하고자 하는 객체에 투사하는 투사 수단과, 상기 투사 수단의 구조광 패턴이 상기 객체에 투사된 구조광 영상의 좌측 영상을 획득하는 좌측 영상 획득 수단과, 상기 투사 수단의 구조광 패턴이 상기 객체에 투사된 구조광 영상의 우측 영상을 획득하는 우측 영상 획득 수단과, 상기 획득된 좌측 및 우측 영상으로부터 상기 구조광 패턴을 이용하여 대응점 정보를 결정하고, 상기 구조광 패턴을 이용할 수 없는 영상 영역에 대하여는 상기 획득된 좌측 및 우측 영상을 스테레오 매칭하여 대응점 정보를 획득한 후, 상기 대응점 정보들을 이용하여 전체 영상의 깊이 정보를 생성하는 깊이 정보 생성장치를 포함한다.
깊이 정보, 구조광 패턴, 패턴 디코딩, 대응점 결정, 스테레오 매칭 기법

Description

깊이 정보를 생성하기 위한 장치 및 방법{APPARATUS AND METHOD FOR GENERATING DEPTH INFORMATION}
본 발명은 깊이 정보를 생성하기 위한 장치 및 방법에 관한 것으로, 더욱 상세하게는 3차원 방송에 필요한 깊이 정보를 획득하기 위한 장치 및 방법에 관한 것이다.
일반적으로, 영상 신호를 생성하기 위한 장치로 카메라가 사용되고 있다. 이러한 카메라는 정적인 영상 신호를 포착하는 형태와 동적인 영상 신호를 포착하는 장비로 구분된다. 동적인 영상 신호 및 정적인 영상 신호를 포착하는 카메라는 일반적으로 2차원 영상을 획득하여 제공하였다.
기술의 비약적인 발전에 따라 카메라 장치에서 3차원 영상을 획득할 수 있는 방법이 개발되고 있으며, 3차원 영상을 획득하는데 중요한 요소로 깊이(Depth) 정보가 이용된다. 이러한 깊이 정보는 획득된 2차원 영상의 한 지점을 기준으로 다른 지점의 대상의 원근 정보를 제공하는 것이다. 따라서 이러한 깊이 정보를 이용하여 2차원 영상을 3차원 영상으로 표현할 수 있게 되었다.
3차원 영상을 획득하기 위해서는 깊이 정보가 필수적으로 필요하게 된다. 이러한 깊이 정보를 획득하는 방식은 크게 수동적(Passive) 방식과 능동적(Active) 방식으로 구분된다.
수동적 방식은 다수의 카메라를 이용하여 서로 다른 각도에서 2차원 영상 정보를 획득하고, 획득된 다수의 2차원 영상 정보를 이용하여 깊이 정보를 추출하는 방식이다. 즉, 수동적 방식은 촬영하고자 하는 대상 객체의 영상을 직접 얻어, 이를 바탕으로 깊이를 추정하는 방식으로 촬영 객체에 어떠한 다른 물리적인 개입을 하지 않는 방식이다. 수동적 방식은 여러 시점의 광학 카메라로부터 얻어진 영상으로부터 특징(Texture) 정보를 이용하여 3차원 정보를 생성하기 위한 방법으로, 있는 그대로의 영상을 획득하고 이를 분석하여 깊이 정보를 추출하는 방식이다.
다수의 카메라를 이용하여 깊이 정보를 획득하는 수동적 방식은 깊이 정보를 추출하기 위한 계측점을 자유롭게 설정할 수 없으며, 벽면 등과 같은 특징점이 없는 대상물의 위치는 계측할 수 없는 결점이 있다. 즉, 객체에 특징(Texture)이 없거나, 반복 구조(Repetitive Structure)가 존재하는 영상 영역에서는 대응점 찾기에 실패할 확률이 높아진다. 따라서 수동적 방식은 영상 획득이 용이한 장점이 있는 반면에, 깊이 정보 획득을 용이하게 할 수 있는 추가 정보가 존재하지 않기 때문에 깊이 정보 추출에 어려움이 발생한다. 또한, 수동적 방식은 조광 조건 및 특징(Texture) 정보의 영향이 크며, 차폐 영역에서 오차가 크고, 조밀한 변이 지도를 얻기 위해서는 수행 시간이 길다는 단점이 있다.
깊이 정보를 생성하기 위한 또 다른 방식인 능동적 방식(Active)은 인위적인 빛이나 특수하게 디자인된 패턴을 촬영하고자 하는 객체에 투사한 후 영상을 획득하는 방식이다.
프로젝터는 특수하게 디자인된 패턴인 구조광 패턴을 사용하여 이를 촬영 객체에 투사한 후 카메라로 영상을 획득하고, 패턴 디코딩(Pattern Decoding)을 수행하여 자동적으로 영상과 구조광 패턴 사이의 대응점을 찾아내는 방법이다. 영상과 구조광 패턴 사이의 대응점을 찾아내면 이를 바탕으로 깊이 정보를 계산해 낼 수 있다.
하지만, 능동적 방식은 다음과 같은 단점들이 존재하게 된다. 첫째로, 프로젝터의 포커스 깊이 범위(Depth of Field, 이하 "DOF"라 칭함)의 한계로 구조광 영상의 패턴 디코딩이 실패하는 영상 영역이 생기게 된다. 즉, 프로젝터에 의해 투사된 구조광 패턴 영상의 포커스(focus)가 되는 깊이 범위는 대략 수십 cm 이내로 한정된다. 그래서 프로젝터 투사 시에 포커스(focus)가 되는 영역에 대해서만 깊이 정보를 계산할 수 있는 것이다. 따라서 포커스(focus)가 되는 깊이 범위에 있는 객체의 일부분에 대해서만 깊이 정보를 획득하는 제한점을 갖는다.
둘째로, 깊이 정보를 생성하기 위한 카메라의 보여지는 영역의 크기(Field of View. 이하 "FOV"라 칭함)는 프로젝터와 카메라가 공통으로 볼 수 있는 부분에 해당한다. 따라서 그 영역은 상당히 작게 된다. 즉, 프로젝터에 의해 객체에 투사된 구조광 패턴 영상을 카메라로 획득했을 시 각각이 공통으로 바라보는 영역이 상당히 작으므로, 보여지는 객체의 일부 영역에 대해서만 깊이 정보를 획득하는 제한점을 갖는다.
따라서 본 발명에서는 획득된 영상 전체에 대한 깊이 정보를 획득할 수 있는 장치 및 방법을 제공한다.
또한, 본 발명에서는 획득된 영상에서 보다 정밀한 깊이 정보를 획득할 수 있는 장치 및 방법을 제공한다.
본 발명의 일 실시 예에 따른 장치는, 깊이 정보를 생성하기 위한 장치에 있어서, 미리 결정된 구조광 패턴을 촬영하고자 하는 객체에 투사하는 투사 수단과, 상기 투사 수단의 구조광 패턴이 상기 객체에 투사된 구조광 영상의 좌측 영상을 획득하는 좌측 영상 획득 수단과, 상기 투사 수단의 구조광 패턴이 상기 객체에 투사된 구조광 영상의 우측 영상을 획득하는 우측 영상 획득 수단과, 상기 획득된 좌측 및 우측 영상으로부터 상기 구조광 패턴을 이용하여 대응점 정보를 결정하고, 상기 구조광 패턴을 이용할 수 없는 영상 영역에 대하여는 상기 획득된 좌측 및 우측 영상을 스테레오 매칭하여 대응점 정보를 획득한 후, 상기 대응점 정보들을 이용하여 전체 영상의 깊이 정보를 생성하는 깊이 정보 생성장치를 포함한다.
본 발명의 일 실시 예에 따른 방법은, 깊이 정보를 생성하기 위한 방법에 있어서, (a) 미리 결정된 구조광 패턴을 촬영하고자 하는 객체에 투사하는 단계; (b) 상기 구조광 패턴이 투사된 상기 객체로부터 좌측 영상 및 우측 영상을 획득하는 단계; (c) 상기 획득된 좌측 및 우측 영상 중 상기 구조광 패턴을 이용하여 대응점 정보를 결정할 수 있는 영상 영역에 대하여는 상기 구조광 패턴을 이용하여 대응점 정보를 결정하고, 상기 구조광 패턴을 이용할 수 없는 영상 영역에 대하여는 상기 획득된 좌측 및 우측 영상을 스테레오 매칭하여 대응점 정보를 획득하는 단계; 및 (d) 상기 대응점 정보들을 이용하여 전체 영상의 깊이 정보를 생성하는 단계를 포함한다.
본 발명을 적용하면, 보여지는 영역의 크기(Field of View) 확장과 구조광 방식의 포커스 깊이 범위(Depth of Field) 문제를 극복할 수 있다. 또한, 3차원 얼굴 정보 획득, 3차원 TV 방송, 3차원 디스플레이 등에 활용할 수 있다.
이하 본 발명의 바람직한 실시예의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 이하에서 설명되는 각 용어들은 본 발명의 이해를 돕기 위해 사용된 것일 뿐이며, 각 제조 회사 또는 연구 그룹에서는 동일한 용도임에도 불구하고 서로 다른 용어로 사용될 수 있음에 유의해야 한다.
도 1은 본 발명의 실시 예에 따른 구조광 기반 깊이 정보 생성장치의 개념도를 나타낸 것이다.
본 발명의 실시 예는 프로젝터 1대(103)와 좌측 카메라(101), 우측 카메라(102), 깊이 정보 생성장치(105)를 포함한다. 프로젝터(103)는 일정한 규칙을 가지는 패턴을 3차원으로 복원하고자 하는 객체(107)에 투사한다. 일정한 규칙의 패턴이란, 서로 다른 컬러를 사용하여 이웃하는 줄무늬끼리는 다른 컬러가 되게 나열시키는 패턴, 흑백 줄무늬 경계패턴 및 정현파 줄무늬 패턴 등을 포함하여 여러 가지 방법들이 있을 수 있다. 이와 같이 특수하게 디자인된 패턴을 객체에 투사하는 방식이다.
구조광 패턴이 투사된 구조광 영상을 좌측 카메라(101)와 우측 카메라(102) 두 대를 이용하여 각각 좌측과 우측의 영상을 획득한다. 이렇게 좌측 카메라(101)와 우측 카메라(102)를 사용함으로써, 1대의 카메라를 사용하였을 경우보다 프로젝터(103)의 구조광 패턴과 좌측/우측 카메라(101, 102)의 공통으로 보여지는 영역(FOV)이 넓어지게 된다.
또한, 깊이 정보 생성장치(105)는 좌측 카메라(101)로부터 획득한 좌 영상과 우측 카메라(102)로부터 획득한 우 영상을 프로젝터(103)의 구조광 패턴과 각각 비교하여 좌/우 영상의 특징점을 찾아낸다. 특징점의 위치를 찾아 대응점(Correspondence Point)을 결정하면, 깊이 정보 생성장치(105)는 프로젝터(103)와 좌측 카메라(101), 우측 카메라(102)의 보정된 정보와 각각의 대응점 정보에 대해 삼각 계측법을 사용하여 깊이 정보를 계산한다. 보정된 정보란 카메라(101, 102)와 프로젝터(103)의 높이, 객체(107)를 바라보는 각도 등과 같은 자세 정보 등이 될 수 있다.
깊이 정보 생성장치(105)에 대해서는 첨부된 도 2의 본 발명에 따른 구성도의 설명에서 더 상세히 살펴보기로 한다.
본 발명에서는 2대의 카메라(101, 102)를 사용함으로써, 1대의 카메라를 사용하였을 때 보다 객체를 볼 수 있는 영역(FOV)이 넓어지게 할 수 있다. 또한, 프로젝터에서 포커스(Focus)가 되는 깊이 범위(DOF)에 있는 객체의 일부분에 대해서만 깊이 정보를 획득하는 문제점을 양안 기법인 스테레오 매칭 기법(Stereo Matching)을 이용하여 개선할 수 있다.
스테레오 매칭 방법을 살펴보면, 객체에 두 대의 카메라를 이용하여 좌우 영상을 획득한다. 두 장의 영상을 획득한 후, 두 장의 영상의 대응점(Correspondence Point)을 찾아 이를 바탕으로 깊이 정보를 계산하는 방법이다.
즉, 스테레오 매칭 기법은 객체의 영상을 직접 얻어 깊이 정보를 추정하는 방식으로, 촬영 객체에 어떠한 물리적인 개입을 하지 않는 방식이다. 이를 다시 설명하면, 스테레오 매칭 기법은 있는 그대로의 영상을 획득하고 이를 분석하여 깊이 정보를 추출함으로써, 프로젝터의 작은 포커스로 인해 발생하는 문제점인 깊이 범위(DOF)를 극복할 수 있다.
더욱 상세한 설명은 후술되는 본 발명의 세부 구성 및 그에 따른 방법을 살펴보면서 설명하기로 한다.
도 2는 본 발명의 바람직한 실시 예에 따른 깊이 정보 생성장치의 기능 블록 구성도이다.
본 발명의 깊이 정보 생성 장치는 프로젝터 1대(103), 좌측 카메라(101), 우측 카메라(102), 깊이 정보 생성장치(105)를 포함한다.
프로젝터(103)는 일정한 규칙을 가지는 패턴을 3차원으로 복원하고자 하는 객체(107)에 투사한다. 프로젝터(103)의 구조광 패턴이 객체(105)에 투사된 구조광 영상을 좌측 카메라(101)와 우측 카메라(102)를 이용하여 각각 좌측 영상과 우측 영상으로 획득한다.
획득된 좌측 영상과 우측 영상은 프로젝터의 구조광 패턴과 같이 깊이 정보를 생성하기 위해 깊이 정보 생성장치(105)로 입력된다. 깊이 정보 생성장치(105)는 영상 정합부(204), 스테레오 매칭부(211), 삼각 연산부(213), 보정부(215)를 포함할 수 있다. 그리고 영상 정합부(204)는 좌 패턴 디코딩부(206), 우 패턴 디코딩부(207), 대응점 결정부(209)를 포함할 수 있다.
좌 패턴 디코딩부(206)는 좌측 카메라(101)로부터 획득된 좌측 구조광 영상에 대해 패턴 디코딩을 실시한다. 패턴 디코딩이란, 미리 결정된 동일 패턴에 대하여 특정 지점의 유사도를 획득하는 과정을 의미한다. 예를 들어, 좌측 카메라 및 우측 카메라로부터 획득된 각 영상에서 구조광 패턴에 의거하여 각 지점들에 대한 패턴 정보를 획득하는 과정이다.
상기와 마찬가지 방식으로, 우 패턴 디코딩부(207)는 우측 카메라(102)로부터 획득된 우측 구조광 영상에 대해 패턴 디코딩을 실시한다. 좌 패턴 디코딩부(206)와 우 패턴 디코딩부(207)에 의해 패턴 디코딩된 구조광 영상 영역들을 디코디드 구조광 패턴이라 부른다.
좌 패턴 디코딩부(206)와 우 패턴 디코딩부(207)로부터 출력되는 디코디드 구조광 패턴은 대응점 관계를 결정하기 위해 대응점 결정부(209)로 입력된다.
대응점 결정부(209)는 좌 패턴 디코딩부(206)를 통해 패턴 디코딩된 디코디드 구조광 패턴과 프로젝터(103)의 구조광 패턴 사이의 대응점을 찾아 결정하게 된다. 또한, 마찬가지 방법으로 대응점 결정부(209)는 우 패턴 디코딩부(207)를 통해 패턴 디코딩된 디코디드 구조광 패턴과 프로젝터(103)의 구조광 패턴 사이의 대응점을 찾아 결정하게 된다.
반면에, 좌 패턴 디코딩부(206)와 우 패턴 디코딩부(207)에서 패턴 디코딩이 되지 않은 영상 영역을 언디코디드 구조광 패턴 영역이라 부른다. 언디코디드 구조광 패턴은 대응점 결정부(209)를 통해 대응점 관계를 결정할 수 없다. 따라서 본 발명에서는 이렇게 언디코디드 구조광 패턴 영역에 스테레오 매칭부(211)의 스테레오 매칭 기법을 적용함으로써, 대응점 정보를 추가로 획득할 수 있다.
또한, 구조광 기반 깊이 정보 생성 장치에서 프로젝터를 사용하여 발생하는 깊이 범위(DOF)도 개선할 수 있다. 즉, 프로젝터에서 포커스(focus)가 되는 깊이 범위(DOF)에 있는 객체의 일부분에 대해서만 깊이 정보를 획득하는 문제점을 양안 기법인 스테레오 매칭 기법을 적용하여 개선하도록 하였다.
일반적으로 언디코디드 구조광 패턴 영역이 발생하는 이유는, 프로젝터의 깊이 범위(DOF)가 작기 때문에 구조광 영상이 뿌옇게 보이거나 흐리게 보이는(Blur) 경우가 발생하여 패턴 디코딩이 실패하게 된다. 그러나 이렇게 패턴 디코딩이 실패한 구조광 영상 영역을 스테레오 매칭부(211)의 입력으로 사용할 경우에, 대응점을 일반 영상을 입력하였을 경우보다 쉽게 찾을 수 있어 스테레오 매칭 기법의 성능을 향상시킬 수 있는 이점 또한 있다.
언디코디드 구조광 패턴에 스테레오 매칭 기법 적용이 완료되거나 대응점 결정부(209)에서 대응점 관계를 결정하면 삼각 연산부(213)의 삼각법을 이용하여 객체(107)의 깊이 정보를 생성한다.
삼각법을 이용하기 위해 좌측 카메라(101), 우측 카메라(102), 프로젝터(103)는 보정부(215)에 의해 보정(Calibration)되어 있다고 가정한다. 그리고 보정부(215)는 카메라와 프로젝터의 높이, 객체를 바라보는 각도 등과 같은 자세 정보 등을 가지고 있다.
삼각 연산부(213)는 대응점 결정부(209)에서 출력되는 디코디드 구조광 패턴과 프로젝터(103)의 구조광 패턴 사이의 대응점에 보정부(215)의 정보를 이용하여 삼각법으로 계산하여 객체의 3차원 깊이 정보를 생성한다.
또한, 삼각 연산부(213)는 스테레오 매칭부(211)로 출력되는 언디코디드 구조광 패턴 영역에서 찾은 대응점 값과 보정부(215)의 정보를 삼각법으로 계산함으로써 객체의 3차원 깊이 정보를 추가로 생성할 수 있다.
도 3은 본 발명의 바람직한 실시 예에 따른 깊이 정보를 생성하는 과정의 흐름도를 나타낸 것이다.
301단계에서 프로젝터(103)는 특수하게 디자인된 구조광 패턴을 3차원으로 복원하고자 하는 객체(107)에 투사한다. 이때, 303단계에서 좌측 카메라(101)와 우측 카메라(102)는 프로젝터(103)의 구조광 패턴이 객체(107)에 투사된 좌측과 우측의 구조광 영상을 획득한다. 이와 같이 301단계에서 프로젝터(103)는 미리 결정된 소정의 시간 동안 특수하게 디자인된 구조광 패턴을 객체(107)로 투사하고, 그 동안 303단계에서 좌측 카메라(101)와 우측 카메라(102)는 구조광 패턴이 조사된 객체(107)에서 영상을 획득하는 것이다. 따라서 도 3에서 301단계와 303단계는 병렬 형식으로 도시하였다.
이와 같이 좌측 카메라(101) 및 우측 카메라(102)에 의해 좌측과 우측의 영상이 획득되면, 305단계에서 좌 패턴 디코딩부(206)는 좌측 카메라(101)로부터 획득된 좌측 구조광 영상에 대하여, 우 패턴 디코딩부(207)는 우측 카메라(102)로부터 획득된 우측 구조광 영상에 대하여 패턴 디코딩을 실시한다.
307단계에서 좌 패턴 디코딩부(206)와 우 패턴 디코딩부(207)는 획득된 영상 전체에 대하여 패턴 디코딩이 정상적으로 수행되었는지를 파악한다. 즉, 좌측 카메라(101)와 우측 카메라(102)로부터 획득된 전체 영상에 대하여 구조광만으로 패턴 디코딩이 완벽하게 복원되었는가를 검사하는 것이다. 이러한 검사결과, 만일 구조광만으로 패턴 디코딩이 완벽하게 복원된 경우 깊이 정보 생성장치(105)는 309단계로 진행하고 그렇지 않은 경우 311단계로 진행하게 된다.
여기서, 구조광만으로 패턴 디코딩이 완벽하게 복원된 경우 좌 패턴 디코딩부(206)와 우 패턴 디코딩부(207)에 의해 패턴 디코딩된 구조광 영상 영역은 디코디드 구조광 패턴이 되고, 패턴 디코딩되지 않은 영상 영역은 언디코디드 구조광 패턴이 된다.
디코디드 구조광 패턴의 경우는 309단계로 진행한다. 309단계에서 대응점 결정부(209)는 좌 패턴 디코딩부(206)를 통해 패턴 디코딩된 디코디드 구조광 패턴과 프로젝터(103)의 구조광 패턴 사이의 대응점을 찾아 결정한다. 상기와 마찬가지 방법으로, 대응점 결정부(209)는 우 패턴 디코딩부(207)를 통해 패턴 디코딩된 디코디드 구조광 패턴과 프로젝터(103)의 구조광 패턴 사이의 대응점을 찾아 결정한다.
반면에, 언디코디드 구조광 패턴의 경우에는 311단계로 진행한다. 언디코디드 구조광 패턴은 대응점 결정부(209)를 통해 대응점 관계를 결정할 수 없으므로, 스테레오 매칭 기법을 적용함으로써 대응점 정보를 획득한다.
스테레오 매칭 기법은, 있는 그대로의 영상을 획득하고 분석하여 깊이 정보를 추출함으로써 프로젝터의 작은 포커스로 인해 발생하는 문제점인 깊이 범위(DOF)의 한계를 극복할 수 있다.
또한, 패턴 디코딩이 실패한 구조광 영상 영역은 스테레오 매칭부(211)의 입력으로 사용할 경우에, 대응점을 일반 영상을 입력하였을 경우보다 쉽게 찾을 수 있어 스테레오 매칭 기법의 성능을 향상시킬 수 있는 이점 또한 있다.
스테레오 매칭 기법을 적용하여 대응점이 완료되거나 대응점 결정부(209)에서 대응점 관계 결정이 끝나면, 313단계로 진행하여 삼각 연산부(213)에서는 삼각법을 이용하여 객체(107)의 깊이 정보를 생성한다.
삼각법을 이용하기 위해 좌측 카메라(101), 우측 카메라(102)와 프로젝터(103)는 보정부(215)에 의해 보정(Calibration)되어 있어야 하며, 보정부(215)는 카메라와 프로젝터의 높이, 객체를 바라보는 각도 등과 같은 자세 정보 등을 가지고 있다.
삼각 연산부(213)는 대응점 결정부(209)에서 출력되는 디코디드 구조광 패턴과 프로젝터(103)의 구조광 패턴 사이의 대응점에 보정부(215)의 정보를 이용하여 삼각법으로 계산하여 객체의 3차원 깊이 정보를 생성한다.
또한, 삼각 연산부(213)는 스테레오 매칭부(211)로부터 출력되는 언디코디드 구조광 패턴 영역에서 찾은 대응점 값과 보정부(215)의 정보를 삼각법으로 계산함으로써 객체의 3차원 깊이 정보를 추가로 생성할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 치환, 변형 및 변경이 가능하다.
그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 바람직한 실시 예에 따른 구조광 기반 깊이 정보 생성장치의 개념도,
도 2는 본 발명의 바람직한 실시 예에 따른 깊이 정보 생성장치의 기능 블록 구성도,
도 3은 본 발명의 바람직한 실시 예에 따른 깊이 정보를 생성하는 과정의 흐름도이다.

Claims (9)

  1. 깊이 정보를 생성하기 위한 장치에 있어서,
    미리 결정된 구조광 패턴을 촬영하고자 하는 객체에 투사하는 투사 수단과,
    상기 투사 수단의 구조광 패턴이 상기 객체에 투사된 구조광 영상의 좌측 영상을 획득하는 좌측 영상 획득 수단과,
    상기 투사 수단의 구조광 패턴이 상기 객체에 투사된 구조광 영상의 우측 영상을 획득하는 우측 영상 획득 수단과,
    상기 획득된 좌측 및 우측 영상으로부터 상기 구조광 패턴을 이용하여 대응점 정보를 결정하고, 상기 구조광 패턴을 이용할 수 없는 영상 영역에 대하여는 상기 획득된 좌측 및 우측 영상을 스테레오 매칭하여 대응점 정보를 획득한 후, 상기 대응점 정보들을 이용하여 전체 영상의 깊이 정보를 생성하는 깊이 정보 생성장치
    를 포함하는 깊이 정보를 생성하기 위한 장치.
  2. 제 1 항에 있어서,
    상기 깊이 정보 생성장치는,
    상기 좌측 영상 획득 수단과 상기 우측 영상 획득 수단의 구조광 영상과 상기 투사 수단의 구조광 패턴을 입력받아 대응점을 결정하는 영상 정합부와,
    상기 영상 정합부에서 대응점을 결정할 수 없는 영역의 영상에 대하여 스테레오 매칭하여 대응점을 결정하는 스테레오 매칭부와,
    상기 영상 정합부에서 출력되는 대응점과 상기 스테레오 매칭부에서 출력되는 대응점을 삼각법으로 계산하여 깊이 정보를 생성하는 삼각 연산부
    를 포함하는 깊이 정보를 생성하기 위한 장치.
  3. 제 2 항에 있어서,
    상기 깊이 정보 생성장치는,
    상기 좌측 영상 획득 수단과 상기 우측 영상 획득 수단과 상기 투사 수단의 공간적 위치에 해당하는 보정 정보를 제공하는 보정부
    를 더 포함하는 깊이 정보를 생성하기 위한 장치.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 영상 정합부는,
    상기 좌측 영상 획득 수단의 구조광 영상과 상기 우측 영상 획득 수단의 구조광 영상을 각각 상기 구조광 패턴을 이용하여 패턴 디코딩하는 패턴 디코딩부와,
    상기 패턴 디코딩부를 통해 각각 패턴 디코딩된 디코디드 구조광 패턴들과 상기 투사 수단의 구조광 패턴 사이의 대응점을 찾아 대응점을 결정하는 대응점 결정부
    를 포함하는 깊이 정보를 생성하기 위한 장치.
  5. 제 4 항에 있어서,
    상기 패턴 디코딩부는,
    상기 좌측 영상 획득 수단의 구조광 영상을 패턴 디코딩하는 좌 패턴 디코딩부와,
    상기 우측 영상 획득 수단의 구조광 영상을 패턴 디코딩하는 우 패턴 디코딩부
    를 포함하는 깊이 정보를 생성하기 위한 장치.
  6. 깊이 정보를 생성하기 위한 방법에 있어서,
    (a) 미리 결정된 구조광 패턴을 촬영하고자 하는 객체에 투사하는 단계;
    (b) 상기 구조광 패턴이 투사된 상기 객체로부터 좌측 영상 및 우측 영상을 획득하는 단계;
    (c) 상기 획득된 좌측 및 우측 영상 중 상기 구조광 패턴을 이용하여 대응점 정보를 결정할 수 있는 영상 영역에 대하여는 상기 구조광 패턴을 이용하여 대응점 정보를 결정하고, 상기 구조광 패턴을 이용할 수 없는 영상 영역에 대하여는 상기 획득된 좌측 및 우측 영상을 스테레오 매칭하여 대응점 정보를 획득하는 단계; 및
    (d) 상기 대응점 정보들을 이용하여 전체 영상의 깊이 정보를 생성하는 단계
    를 포함하는 깊이 정보를 생성하기 위한 방법.
  7. 제 6 항에 있어서,
    상기 (c) 단계는,
    상기 좌측 영상과 상기 우측 영상을 각각 상기 구조광 패턴을 이용하여 패턴 디코딩하는 단계;
    상기 각각 패턴 디코딩된 디코디드 구조광 패턴들과 상기 구조광 패턴 사이의 대응점을 찾아 대응점을 결정하는 단계; 및
    상기 대응점을 결정할 수 없는 영역의 영상에 대하여 스테레오 매칭을 수행하여 대응점을 결정하는 단계
    을 포함하는 깊이 정보를 생성하기 위한 방법.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 (d) 단계는,
    상기 구조광 영상을 획득하는 카메라와 상기 구조광 패턴을 투사하는 프로젝터의 공간적 위치를 이용하여 깊이 정보를 보정하는 단계
    를 더 포함하는 깊이 정보를 생성하기 위한 방법.
  9. 제 8 항에 있어서,
    상기 (d) 단계는,
    상기 대응점 정보 각각과 보정 정보를 삼각법으로 계산하여 깊이 정보를 생성하는, 깊이 정보를 생성하기 위한 방법.
KR1020090053018A 2009-06-15 2009-06-15 깊이 정보를 생성하기 위한 장치 및 방법 KR101259835B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090053018A KR101259835B1 (ko) 2009-06-15 2009-06-15 깊이 정보를 생성하기 위한 장치 및 방법
US12/689,390 US20100315490A1 (en) 2009-06-15 2010-01-19 Apparatus and method for generating depth information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090053018A KR101259835B1 (ko) 2009-06-15 2009-06-15 깊이 정보를 생성하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100134403A KR20100134403A (ko) 2010-12-23
KR101259835B1 true KR101259835B1 (ko) 2013-05-02

Family

ID=43306101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090053018A KR101259835B1 (ko) 2009-06-15 2009-06-15 깊이 정보를 생성하기 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US20100315490A1 (ko)
KR (1) KR101259835B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015178577A1 (ko) * 2014-05-20 2015-11-26 주식회사 메디트 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2019088659A1 (en) * 2017-10-30 2019-05-09 Samsung Electronics Co., Ltd. Method and apparatus for processing image

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010023344A1 (de) * 2010-06-10 2012-01-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Kameraobjektiv und Kamerasystem
KR101346982B1 (ko) * 2010-11-08 2014-01-02 한국전자통신연구원 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
JP5414714B2 (ja) * 2011-03-04 2014-02-12 日立オートモティブシステムズ株式会社 車戴カメラ及び車載カメラシステム
JP5781353B2 (ja) 2011-03-31 2015-09-24 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、および位置情報のデータ構造
KR101212802B1 (ko) * 2011-03-31 2012-12-14 한국과학기술연구원 피사계 심도가 강조된 영상을 획득하는 방법 및 그 장치
CN102760234B (zh) 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
KR101974651B1 (ko) * 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
KR101275127B1 (ko) * 2011-08-17 2013-06-17 (주)화이버 옵틱코리아 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법
KR101282352B1 (ko) * 2011-09-30 2013-07-04 주식회사 홀코 가변패턴을 이용한 3차원 이미지 촬영장치 및 방법
KR101863626B1 (ko) 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법
KR101272574B1 (ko) * 2011-11-18 2013-06-10 재단법인대구경북과학기술원 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법
KR101323333B1 (ko) * 2012-03-08 2013-10-29 삼성메디슨 주식회사 스테레오 영상 제공 방법 및 스테레오 영상 제공 장치
KR101706216B1 (ko) * 2012-04-03 2017-02-13 한화테크윈 주식회사 고밀도 삼차원 영상 재구성 장치 및 방법
KR101399274B1 (ko) * 2012-09-27 2014-05-27 오승태 다중 패턴 빔을 이용하는 3차원 촬영 장치 및 방법
US20140192158A1 (en) * 2013-01-04 2014-07-10 Microsoft Corporation Stereo Image Matching
WO2015152829A1 (en) 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
KR102170182B1 (ko) 2014-04-17 2020-10-26 한국전자통신연구원 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
US9507995B2 (en) 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
KR102335045B1 (ko) * 2014-10-07 2021-12-03 주식회사 케이티 깊이 카메라 기반 사람 객체를 판별하는 방법 및 장치
AT517656A1 (de) * 2015-08-20 2017-03-15 Ait Austrian Inst Of Tech G M B H Fotometrisches Stereomatching
CN105427326B (zh) * 2015-12-08 2018-12-25 上海图漾信息科技有限公司 图像匹配方法和装置以及深度数据测量方法和系统
CN106504284B (zh) * 2016-10-24 2019-04-12 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
KR102015540B1 (ko) 2017-07-17 2019-08-28 서강대학교산학협력단 단색 순열 구조광 패턴의 생성 방법 및 그 방법을 이용한 구조광 시스템
US10612912B1 (en) * 2017-10-31 2020-04-07 Facebook Technologies, Llc Tileable structured light projection system
US10521926B1 (en) 2018-03-21 2019-12-31 Facebook Technologies, Llc Tileable non-planar structured light patterns for wide field-of-view depth sensing
US10529085B2 (en) * 2018-03-30 2020-01-07 Samsung Electronics Co., Ltd. Hardware disparity evaluation for stereo matching
CN109859313B (zh) * 2019-02-27 2023-01-17 广西安良科技有限公司 3d点云数据获取方法、装置、3d数据生成方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006507087A (ja) 2002-11-22 2006-03-02 ストライダー ラブス，インコーポレイテッド 局所的独自パターンを使用した能動的ステレオ技術による３次元画像の取得
KR100910937B1 (ko) 2008-12-17 2009-08-06 선문대학교 산학협력단 3차원 스캐너를 이용한 측정 시스템의 측정 대상물 최적위치 설정 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10219054B4 (de) * 2002-04-24 2004-08-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Bestimmung der räumlichen Koordinaten eines Gegenstandes
US7330593B2 (en) * 2004-06-25 2008-02-12 Stmicroelectronics, Inc. Segment based image matching method and system
US7724379B2 (en) * 2005-05-12 2010-05-25 Technodream21, Inc. 3-Dimensional shape measuring method and device thereof
US7970177B2 (en) * 2006-03-23 2011-06-28 Tyzx, Inc. Enhancing stereo depth measurements with projected texture
CA2670214A1 (en) * 2006-11-21 2008-05-29 Mantisvision Ltd. 3d geometric modeling and 3d video content creation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006507087A (ja) 2002-11-22 2006-03-02 ストライダー ラブス，インコーポレイテッド 局所的独自パターンを使用した能動的ステレオ技術による３次元画像の取得
KR100910937B1 (ko) 2008-12-17 2009-08-06 선문대학교 산학협력단 3차원 스캐너를 이용한 측정 시스템의 측정 대상물 최적위치 설정 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015178577A1 (ko) * 2014-05-20 2015-11-26 주식회사 메디트 3차원 영상 획득 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US10277884B2 (en) 2014-05-20 2019-04-30 Medit Corp. Method and apparatus for acquiring three-dimensional image, and computer readable recording medium
WO2019088659A1 (en) * 2017-10-30 2019-05-09 Samsung Electronics Co., Ltd. Method and apparatus for processing image
US11094073B2 (en) 2017-10-30 2021-08-17 Samsung Electronics Co., Ltd. Method and apparatus for processing image

Also Published As

Publication number Publication date
US20100315490A1 (en) 2010-12-16
KR20100134403A (ko) 2010-12-23

Similar Documents

Publication Publication Date Title
KR101259835B1 (ko) 깊이 정보를 생성하기 위한 장치 및 방법
AU2017400983B2 (en) Three-dimensional scanning system and scanning method thereof
CN107077743B (zh) 用于阵列相机的动态校准的系统和方法
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
US11763518B2 (en) Method and system for generating a three-dimensional image of an object
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
US9025862B2 (en) Range image pixel matching method
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
CN106875435B (zh) 获取深度图像的方法及系统
KR20120058828A (ko) 3차원 좌표 추출 시스템 및 그 방법
CN111566437A (zh) 三维测量系统以及三维测量方法
CA3022442A1 (en) Three-dimensional reconstruction method and device based on monocular three-dimensional scanning system
KR20150112362A (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
JP5849522B2 (ja) 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
KR101943046B1 (ko) 보조 rgb-d 카메라를 이용한 프로젝터-카메라의 캘리브레이션 방법
KR101578891B1 (ko) 패턴 인식을 이용한 영상 정보의 차원 일치 장치 및 방법
JP6867487B2 (ja) 撮像装置
CN107493429B (zh) 自拍照片的自拍杆屏蔽方法和装置
KR20150119770A (ko) 카메라를 사용한 3차원 좌표 측정 장치 및 방법
JP2022024688A (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN112822481A (zh) 立体摄像机的校正品质的检测方法及检测系统
CN111373222A (zh) 光投射系统
JPH10289316A (ja) 視差算出装置、距離算出装置およびこれらの方法
CN117516416A (zh) 用于结构光校准的方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190422

Year of fee payment: 7