KR20130037152A - 패턴 광을 이용한 깊이 정보 획득 장치 및 방법 - Google Patents
패턴 광을 이용한 깊이 정보 획득 장치 및 방법 Download PDFInfo
- Publication number
- KR20130037152A KR20130037152A KR1020120057186A KR20120057186A KR20130037152A KR 20130037152 A KR20130037152 A KR 20130037152A KR 1020120057186 A KR1020120057186 A KR 1020120057186A KR 20120057186 A KR20120057186 A KR 20120057186A KR 20130037152 A KR20130037152 A KR 20130037152A
- Authority
- KR
- South Korea
- Prior art keywords
- pattern
- depth information
- input image
- light
- presenters
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
패턴 광을 이용한 깊이 정보 획득 장치 및 방법을 개시한다.
본 발명의 일 실시예에 따른 패턴 광을 이용한 깊이 정보 획득 장치는, 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함하고, 상기 패턴광을 오브젝트 영역에 투사하는 패턴 투사부; 상기 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득하는 영상 획득부; 및 상기 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득하는 깊이 정보 획득부를 포함한다.
본 발명의 일 실시예에 따른 패턴 광을 이용한 깊이 정보 획득 장치는, 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함하고, 상기 패턴광을 오브젝트 영역에 투사하는 패턴 투사부; 상기 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득하는 영상 획득부; 및 상기 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득하는 깊이 정보 획득부를 포함한다.
Description
본 발명은 패턴 광을 이용한 깊이 정보 획득 장치 및 방법에 관한 것이다. 즉, 본 발명은 깊이 정보와 같은 3차원 정보를 획득하기 위한 시스템에 관한 것이다.
깊이 정보 또는 깊이 값은 공간 상의 거리를 나타내는 정보이다. 깊이 정보를 포함하는 영상을 깊이 영상이라 칭할 수 있다.
깊이 영상을 획득하는 방법 중 하나는 광학식 방법이 있다. 광학식 방법은 크게 수동적 획득 방식과 능동적 획득 방식으로 구분될 수 있다.
수동적 획득 방식은 다수의 카메라를 이용하여 두 개 이상의 시점에서 영상을 획득하는 방식이다. 능동적 획득 방식은 공간에 빛을 투영하고, 투영된 빛을 해석하는 방식이다.
스테레오 비젼 기술이라고도 알려져 있는 수동적 획득 방식은 사람의 양안과 같이 두 대의 카메라를 사용하거나, 또는 다 시점(Multi view) 카메라를 이용하여 깊이 영상을 획득할 수 있다. 수동적 획득 방식은 거리를 측정하고자 하는 공간 내부에 밝기 값 변화가 존재하는 특징점을 찾기 어려운 경우, 거리 측정이 정확하지 않은 단점이 있다.
능동적 획득 방식은 공간의 조명 또는 특징점 유무에 따른 영향을 크게 받지 않고, 비교적 정확한 거리 측정이 가능한 장점이 있다. 그러나, 능동적 획득 방식에 일반적으로 사용되는 가시광원의 경우 눈부심 현상으로 인하여 사람이 있는 상황에서 사용하기 어려운 단점이 있다. 또한, 능동적 획득 방식은 움직임이 있는 상황에서 여러 장의 패턴을 투영하여 움직임을 검출하기에 적합하지 않은 단점이 있다.
따라서, 능동적 획득 방식의 단점을 극복하고 3차원 정보를 획득하기 위해서, 적외선 광원을 사용한 단 패턴 투사 방식이 사용될 수 있다.
본 발명의 목적은 사용자의 불편함 없이 일반적인 실내 환경에 적용 가능한 패턴 광을 이용한 깊이 정보 획득 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 다양한 코드화된 패턴을 이용하여 고해상도 3차원 정보 획득이 가능한 깊이 정보 획득 장치 및 방법을 제공하는 것이다.
또한, 패턴 생성자를 사용하여 카메라의 화각 보다 큰 화각의 패턴광을 오브젝트 영역에 투사하고, 오브젝트 영역의 깊이 정보를 획득하는 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 현재 입력 영상의 깊이 정보 획득을 위해 레퍼런스 영상들을 사전에 획득하여야 하는 번거로움을 해소할 수 있는 깊이 정보 획득 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 현재 입력 영상의 깊이 정보를 획득하기 위한 연산량을 줄이고, 현재 입력된 영상의 깊이 정보를 고속으로 획득할 수 있는 깊이 정보 획득 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 패턴 광을 이용한 깊이 정보 획득 장치는, 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함하고, 상기 패턴광을 오브젝트 영역에 투사하는 패턴 투사부; 상기 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득하는 영상 획득부; 및 상기 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득하는 깊이 정보 획득부를 포함한다.
본 발명의 일 실시예에 따른 패턴 광을 이용한 깊이 정보 획득 방법은, 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴광을 오브젝트 영역에 투사하는 - 여기서, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함함- 단계; 상기 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득하는 단계; 상기 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하는 단계; 및 상기 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득하는 단계를 포함한다.
본 발명의 다른 일 실시예에 따른 패턴 광을 이용한 깊이 정보 획득 방법은, 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴광을 오브젝트 영역에 투사하는 - 여기서, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함함- 단계; 상기 오브젝트 영역을 촬영하여 샘플 입력 영상들을 획득하는 단계; 상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목을 계산하는 단계; 및 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화 및 상기 왜곡 보정 항목에 기초하여 현재 입력 영상의 깊이 정보를 획득하는 단계를 포함한다.
상기 샘플 입력 영상들 각각은 상기 오브젝트 영역 내의 기 설정된 거리에 반사면이 위치하는 경우에 촬영된 영상들이다.
본 발명의 일 실시예에 따르면, 사용자의 불편함 없이 일반적인 실내 환경에서 깊이 정보를 획득할 수 있고, 다양한 코드화된 패턴을 이용하여 고해상도 3차원 정보 획득이 가능하다.
또한, 본 발명의 실시예들에 따르면, 투사부 및 입력부의 간단한 구성을 통해 깊이 정보를 획득할 수 있고, 현재 입력 영상의 깊이 정보 획득을 위해 레퍼런스 영상들을 사전에 획득하여야 하는 번거로움을 해소할 수 있다.
또한, 본 발명의 실시에들에 따르면, 현재 입력 영상의 깊이 정보를 획득하기 위한 연산량을 줄이고, 현재 입력된 영상의 깊이 정보를 고속으로 획득할 수 있다.
도 1은 본 발명의 실시예에 따른 패턴 광을 이용한 깊이 정보 획득 장치의 구성 예를 나타낸다.
도 2는 도 1의 패턴 투사부와 영상 획득부의 투사각을 설명하기 위한 도면이다.
도 3은 도 1의 패턴 투사부의 원리를 설명하기 위한 예시도이다.
도 4는 도 3의 패턴생성자(OPPE: Optical Pattern Projection Element)에 의해 생성되는 패턴의 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 패턴의 예를 설명하기 위한 도면이다.
도 6은 도 1의 깊이 정보 획득부의 구성 예를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 깊이 정보 획득 방법의 개념을 설명하기 위한 예시도이다.
도 8 내지 도 10은 본 발명의 실시예에 따른 깊이 정보 획득 방법의 구체적인 예를 설명하기 위한 도면이다.
도 11은 도 1의 영상 획득부 및 깊이 정보 획득부의 동작을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 깊이 정보 획득 방법을 나타내는 흐름도이다.
도 13은 본 발명의 다른 일 실시예에 따른 깊이 정보 획득 방법을 나타내는 흐름도이다.
도 2는 도 1의 패턴 투사부와 영상 획득부의 투사각을 설명하기 위한 도면이다.
도 3은 도 1의 패턴 투사부의 원리를 설명하기 위한 예시도이다.
도 4는 도 3의 패턴생성자(OPPE: Optical Pattern Projection Element)에 의해 생성되는 패턴의 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 패턴의 예를 설명하기 위한 도면이다.
도 6은 도 1의 깊이 정보 획득부의 구성 예를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 깊이 정보 획득 방법의 개념을 설명하기 위한 예시도이다.
도 8 내지 도 10은 본 발명의 실시예에 따른 깊이 정보 획득 방법의 구체적인 예를 설명하기 위한 도면이다.
도 11은 도 1의 영상 획득부 및 깊이 정보 획득부의 동작을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 깊이 정보 획득 방법을 나타내는 흐름도이다.
도 13은 본 발명의 다른 일 실시예에 따른 깊이 정보 획득 방법을 나타내는 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 기본적인 원리는 공간상에 패턴을 투사하고, 카메라와 같은 영상 획득 장치를 통해 촬영한 입력 영상의 패턴을 분석하여 카메라로부터 오브젝트(object)까지의 거리에 따라 발생하는 "패턴의 변위"를 이용하여 공간 상의 거리 정보를 연산하는 것이다. "패턴의 변위"의 정의 및 다양한 예들은 도 8 내지 도 11을 통해 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 패턴 광을 이용한 깊이 정보 획득 장치의 구성 예를 나타낸다.
도 1을 참조하면, 패턴 광을 이용한 깊이 정보 획득 장치(100)는 패턴 투사부(110), 영상 획득부(120), 깊이 정보 획득부(130)를 포함한다. 또한, 패턴 광을 이용한 깊이 정보 획득 장치(100)는 왜곡 보정부(140)을 더 포함할 수 있다.
패턴 투사부(110)는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함하는 패턴광(optical pattern)을 오브젝트 영역에 투사하는 역할을 수행하며 광원과 패턴생성자(OPPE)를 포함한다. 즉, 패턴광은 광원으로부터 입사되는 빛을 패턴생성자에 통과시켜 생성된 투사 영상(projecting image)이다. 패턴 투사부(110)는 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴광을 오브젝트 영역에 투사한다.
패턴 투사부(110)의 구성 예는 도 2를 통해 상세히 설명하기로 한다.
패턴 투사부(110)는 적외선을 투사하는 프로젝터일 수 있다.
이때, 광원으로부터 입사되는 빛은 적외선(infrared ray, IR)일 수 있다.
"패턴 표현자"는 점, 직선, 곡선, 특정한 모양의 도형, 비 정규적인 문양을 의미하고, 패턴은 이러한 패턴 표현자가 적어도 하나 이상 포함된 형태 의미한다.
오브젝트 영역이란, 패턴 광이 투사되는 영역을 의미하고, 깊이 정보의 측정 대상은 오브젝트 영역에 위치할 수 있다. 또한, 오브젝트 영역은 장치(100)가 최대로 측정할 수 있는 거리에 위치한 반사면에서, 패턴 광이 수신되는 영역을 의미할 수 도 있다.
영상 획득부(120)는 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득한다. 영상 획득부(120)는 카메라를 포함할 수 있다.
깊이 정보 획득부(130)는 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득한다. 깊이 정보 획득부(130)는 도 6과 같이 구성될 수 있으며, 적어도 하나의 프로세서를 포함할 수 있다. 이때, 적어도 하나의 프로세서는 입력 영상의 깊이 정보를 획득하는 기능을 수행하도록 구성된(configured) 프로세서일 수 있다.
깊이 정보 획득부(130)는 하기 수학식 1을 이용하여 상기 입력 영상의 깊이 정보를 획득할 수 있다.
[수학식 1]
여기서, 
는 상기 입력 영상에서 좌표가 
인 패턴 표현자의 깊이 값, 
는 상기 패턴광의 좌표, 
는 상기 패턴 투사부의 투사각 
는 상기 영상 획득부의 입사각, D는 상기 패턴 투사부와 상기 영상 획득부 사이의 중심거리, 
는 상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목이다.
왜곡 보정부(140)는 샘플 입력 영상들을 이용하여 상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목을 계산할 수 있다. 왜곡 보정부(140)의 구체적인 동작은 도 13을 통해 설명하기로 한다.
이때, 샘플 입력 영상들 각각은 상기 오브젝트 영역 내의 기 설정된 거리에 반사면이 위치하는 경우에 촬영된 영상들 일 수 있다. 이때, 깊이 정보 획득부(130)는 상기 왜곡 보정 항목을 이용하여, 현재 입력되는 입력 영상의 깊이 정보를 획득할 수 있다.
이때, 샘플 입력 영상들은 최대 측정 가능 거리에 반사 면이 위치하는 경우에 촬영된 제1 샘플 입력 영상 및 최소 측정 가능 거리에 반사면이 위치하는 경우에 촬영된 제2 샘플 입력 영상을 포함할 수 있다.
도 2는 도 1의 패턴 투사부와 영상 획득부의 투사각을 설명하기 위한 도면이다.
도 2를 참조하면, 패턴 투사부(110)에서 투사되는 패턴 광의 화각 
는, 영상 획득부(120)의 입력 영상 화각 
보다 크다. 즉, 패턴 광은 영상 획득부(120)의 화각 보다 큰 각도로 확산되어야 한다.
도 3은 도 1의 패턴 투사부의 원리를 설명하기 위한 예시도이다.
도 3을 참조하면, 패턴 투사부(110)는 레이저 모듈(311) 및 패턴 생성자(Optical Pattern Printing Element, OPPE)(313)를 포함할 수 있다. 도 3에 도시된 구성에 따르면, 패턴 투사부(110)는 고해상도의 초소형 적외선 패턴 투사 장치일 수 있다.
패턴 생성자(313)는 깊이 정보 획득을 목적으로 디자인된 특정 패턴을 공간 상에 투영하여 오브젝트 영역에 패턴들의 모양이 정확하게 맺히게 한다.
패턴 생성자(313)는 렌즈, 마스크(Mask) 또는 DOE(diffractive optical element)를 포함할 수 있다. 즉, 패턴 생성자(313)의 종류는 매우 다양할 수 있다.
패턴 생성자(313)는 굴절율의 변화가 가능하며, 판형 또는 입체 구조물일 수 있다. 또한, 패턴 생성자(313)는 입사 광의 공간적인 위상을 부분적으로 변화시킬 수 있는 물질, 또는 입사 광의 투과율의 변화를 일으킬 수 있는 물질로 구성될 수 있다.
패턴 생성자(313)는 입사 광의 입사각에 따라 입사 광의 회절량을 변화시킴으로서, 일정한 밝기를 유지하면서 패턴을 투사할 수 있다.
패턴 생성자(313)는 일종의 렌즈에 해당하는 물질에 특정 패턴이 식각된 구조일 수 있다. 따라서, 패턴은 패턴 표현자가 적어도 하나이상 포함되고, 패턴 생성자(313)에 식각된 형태를 의미할 수 도 있다.
본 발명의 실시예에 따른 장치는 패턴 생성자(110)를 통해 오브젝트 영역에 패턴을 정확하게 투사할 수 있기 때문에, collimating lens 및 복수의 DOE를 필요로하는 종래기술에 비해 소형화가 가능하다.
또한, 패턴 생성자(110)는 패턴의 변위 파악에 용이한 코드화된 패턴을 투사하기 때문에, 종래기술에 비해 고해상도의 깊이 영상 획득이 가능하다.
도 4는 도 3의 OPPE에 의해 생성되는 패턴의 예를 설명하기 위한 도면이다.
도 4의 (A)는 패턴 생성자(110)에 디자인된 패턴의 예를 나타내고, (B)는 레이저를 패턴에 통과시켜 형성한 패턴 광의 예를 나타낸다. 즉, 도 4의 (B)는 레이저가 OPPE를 통과하는 순간을 적외선 카메라로 촬영한 예를 나타낸다.
도 4에 도시된 예에서, 패턴 표현자는 점 형태이다. 또한, 패턴은 점의 크기가 서로 다른 복수의 패턴 표현자들로 구성되어 있다. 이와 같이 서로 다른 종류의 패턴 표현자를 배치함으로써, 패턴의 변위 파악을 용이하게 만들 수 있다.
패턴 표현자는, 공간 상에서 차지하는 크기가 작을 수록 높은 밀도로 배치될 수 있다. 3차원 정보의 복원은 공간 상에 투사된 패턴 영상의 분석을 통해 이루어진다. 따라서, 디자인되는 패턴에 많은 비트(bit)를 인코딩 할수록 깊이 정보의 해상도가 높아지게 된다. 즉, 다양한 형태의 패턴 표현자를 조밀하게 배치할수록 고해상도의 깊이맵이 획득될 수 있다.
도 5는 본 발명의 일 실시예에 따른 패턴의 예를 설명하기 위한 도면이다.
도 5에 도시된 예는, OPPE(313)에 형성된 패턴이 8 종류의 패턴 표현자를 포함하는 예를 나타낸다. 즉, 도 5에 도시된 패턴 표현자는 아래 [표 1]에 도시된 바와 같다.
[표 1]
표 1에 도시된 표현자들은 차지하는 공간상의 크기가 작고, 회전 방향에 따라 표현자들 간에 구분이 가능한 모양을 가진다. 따라서, 패턴광에 포함된 패턴과 입력 영상에 포함된 패턴간의 변위를 계산함에 있어서, 참조 영역의 크기를 줄일 수 있다. 이때, "참조 영역"이란, 패턴이 변화된 영역을 찾기 위한 기본 윈도우를 의미한다. 예를 들어, 패턴이 차지하는 전체 영상을 N개의 MxM 블록(이하, 단위 영역이라 칭함)들로 구분하면, N개의 단위 영역 들 중 하나는 참조 영역이 될 수 있다. 이와 같이, 본 발명의 실시에는 패턴이 변화된 영역을 찾기 위한 참조 영역의 크기를 줄일 수 있기 때문에 고 해상도의 깊이 맵을 획득할 수 있다.
물론, 패턴 표현자는 [표 1]에 도시된 예 이외에, "ㅋ", "ㅍ" 등과 같이 회전 방향에 따라 구분이 가능한 모양을 더 포함할 수 있다.
패턴 표현자의 배치는 다음과 같은 조건들 중 적어도 하나를 고려하여 수행될 수 있다.
1. 단위 영역 내의 패턴 표현자의 조합은 패턴 표현자의 모양 및 배열 위치를 이용하여 반복되지 않도록 배치함. 즉, 각각의 단위 영역들에 배치된 패턴 표현자들은 단위 영역 별로 서로 다른 조합을 가질 수 있다. 또한, 하나의 단위 영역에 배치된 패턴 표현자들의 조합과, 이웃된 단위 영역의 패턴 표현자들의 조합은 서로 다른 조합으로 배치될 수 있다. 이하, "패턴 표현자의 조합"은 "패턴 분포"와 동일한 의미로 사용한다.
2. 패턴 표현자들의 분포는 한곳에 집중되지 않고 균일하게 분포하도록 배치함
3. 패턴 표현자들은 줄을 맞추어 배치되지 않음
4. 슈도 랜덤 코드(Pseudo random code) 생성 기법과 공간 필터링(space filling) 기법을 이용하여 1~3의 조건을 만족시킬 수 있음
5. 1~3의 조건에 의해, 각각의 단위 영역들은 유일성을 가질 수 있으며 단위 영역들 각각은 하나의 참조 영역으로 기능할 수 있음
따라서, 참조 영역의 크기를 줄이고 패턴이 존재하지 않아 깊이 정보를 찾을 수 없는 구간이 최소화 될 수 있다.
결국, 패턴은 N개(N은 정수)의 단위 영역들로 구분되고 상기 N개의 단위 영역들 각각은 서로 다른 패턴 표현자 조합에 의해 구분될 수 있다. 이때, 패턴 표현자 조합은 패턴 표현자의 모양 및 배열 위치에 의해 결정될 수 있다.
또한, 복수의 패턴 표현자들의 총 개수는 m개(m은 정수)이고, 상기 복수의 패턴 표현자들의 종류는 k개(m>k)이고, 상기 m개의 패턴 표현자들은 상기 패턴의 내부에 균일한 밀도로 배치될 수 있다. 예를 들어, 도 4에 도시된 예에서 패턴 표현자들의 종류는 8개이고, 배치된 패턴 표현자들의 총 개수는 500~수십만개일 수 있다.
도 6은 도 1의 깊이 정보 획득부의 구성 예를 나타내는 도면이다.
도 6을 참조하면, 깊이 정보 획득부(130)은 패턴 비교부(631), 범위 계산부(633) 및 깊이 정보 계산부(635)를 포함할 수 있다. 도 1 및 도 6에 도시된 바와 달리, 왜곡 보정부(140)는 깊이 정보 획득부(130)의 내부에 구비될 수 도 있다. 패턴 비교부(631), 범위 계산부(633) 및 깊이 정보 계산부(635) 각각은 하나의 프로세서로 구현될 수 도 있고, 단일 프로세서로 구현될 수 도 있다.
패턴 비교부(631)는 현재 입력 영상과 이전 입력 영상을 비교하여 패턴의 변화가 있는 참조 영역을 검출할 수 있다. 따라서, 깊이 정보 획득부(130)는 패턴의 변화가 있는 단위 영역에 대해서만 깊이 정보를 획득할 수 있기 때문에, 고속으로 깊이 정보를 획득할 수 있다.
범위 계산부(633)는 패턴광에 기초하여 상기 현재 입력 영상에서 패턴의 위치 변화가 가능한 범위(range)를 계산한다. 패턴의 위치 변화가 가능한 범위에 대해서는 도 7 내지 도 11을 통해 구체적으로 설명하기로 한다.
깊이 정보 계산부(635)는 패턴의 위치 변화가 가능한 범위(range) 내에서 상기 참조 영역의 패턴 분포와 동일한 패턴 분포를 갖는 영역을 획득하고, 패턴 분포의 위치 변화를 이용하여 상기 참조 영역의 깊이 정보를 계산한다.
도 7은 본 발명의 실시예에 따른 깊이 정보 획득 방법의 개념을 설명하기 위한 예시도이다.
도 7을 참조하면, 패턴 투사부(110)와 영상 획득부(120)사이의 거리는 D이다. 투사면(740)으로부터 최대 측정 가능 거리(Zmax) 거리에 위치한 반사면(720)과, 패턴 투사부(110)의 투사각 
에 의해 오브젝트 영역(710)이 정의될 수 있다. 물론, 오브젝트 영역(710)은 반사면(720)과 영상 획득부(120)의 입사각 
에 의해 정의될 수 도 있다.
이때, "반사면"은 오브젝트(예를 들어 사용자의 손)가 위치하는 영역 등과 같이 패턴광이 반사되는 표면(surface)을 의미한다.
도 7에 도시된 예에서, 반사면(730)은 최소 측정 가능 거리(Zmin)에 형성되는 표면을 의미한다.
상기 최대 측정 가능 거리(Zmax) 및 최소 측정 가능 거리(Zmin)는 이미지 센서의 성능, 
, 및 
에 의해 결정될 수 있으며, 장치의 구현 방식에 따라 달라질 수 있다.
도 8 내지 도 10은 본 발명의 실시예에 따른 깊이 정보 획득 방법의 구체적인 예를 설명하기 위한 도면이다.
도 8의 (A)는 패턴광에서 패턴 표현자 "ㅋ"의 위치를 나타내는 예이다. 이때, 패턴광에서 패턴 표현자 "ㅋ"의 위치는 (xp, yp)와 같이 좌표의 형식으로 표현될 수 있다. 패턴 표현자의 좌표 (xp, yp)는 0~1 사이의 정규화된 값으로 표현될 수 있다.
도 8의 (B)는 입력 영상에서 패턴 표현자 "ㅋ"의 위치를 나타내는 예이다. 이때, 입력 영상에서 패턴 표현자 "ㅋ"의 위치는 (xi, yi)와 같이 좌표의 형식으로 표현될 수 있다. 패턴 표현자의 좌표 (xi, yi)는 0~1 사이의 정규화된 값으로 표현될 수 있다.
도 9에서 (C)는 패턴광에서 패턴 표현자 "ㅋ", "ㅈ" 및 "ㅍ"의 배치를 나타내는 예이고, (D)는 입력 영상에서 보여질 수 있는 패턴 표현자 "ㅋ", "ㅈ" 및 "ㅍ" 각각의 위치 변화가 가능한 범위(range)를 나타낸 예이다. 이때, "위치 변화가 가능한 범위"는 영상 획득부(120)에 포함된 깊이 카메라의 측정 가능 거리에 의해 결정될 수 있다. 예를 들어, 깊이 카메라의 측정 가능 거리가 0.5~5미터인 경우, "위치 변화가 가능한 범위"는 수 픽셀 ~ 수십 픽셀로 결정될 수 있다.
도 10에서 (E)는 입력 영상에서 패턴 표현자 "ㅋ", "ㅈ" 및 "ㅍ" 각각의 위치가 (F)일 때, 패턴광에서 보여질 수 있는 "ㅋ", "ㅈ" 및 "ㅍ" 각각의 범위를 나타낸다.
도 11은 도 1의 영상 획득부 및 깊이 정보 획득부의 동작을 설명하기 위한 도면이다.
도 11에서 참조 부호 11110은 도 5에 도시된 패턴광을 나타낸다.
패턴광(1110)에 대응하는 입력 영상은 반사면의 거리에 따라 달라질 수 있다. 단순한 예로서, 패턴광(1110)의 패턴은 반사면의 거리에 따라, 입력 영상에서 일정한 방향으로 쉬프트(shift)된 형태로 나타날 수 있다. 물론, 패턴의 변화는 일정한 방향이 아닌 다양한 방향으로의 쉬프트된 형태로 나타날 수 도 있다.
도 11에서 참조 부호 1140은 10x10 크기의 참조 영역을 나타낸다.
반사면이 제1 거리에 위치하는 경우, 제1 입력 영상(1120)은 제1 변화량(1121) 만큼 쉬프트된 형태로 나타날 수 있다. 이때, 참조 영역(1140)과 동일한 패턴의 조합을 갖는 단위 영역(1150)은 제1 변화량(1121) 만큼 쉬프트된 위치에서 검출될 수 있다. 이때, 깊이 정보 획득부(130)는 제1 변화량(1121)을 이용하여 거리 정보를 계산할 수 있다.
또한, 반사면이 제2 거리에 위치하는 경우, 제2 입력 영상(1130)은 제2 변화량(1131) 만큼 쉬프트된 형태로 나타날 수 있다. 이때, 깊이 정보 획득부(130)는 제1 변화량(1131)을 이용하여 깊이 정보를 계산할 수 있다.
또한, 깊이 정보 획득부(130)는 제1 입력 영상(1120) 및 제2 입력 영상(1130)을 비교하여 제2 변화량(1131) 및 제1 변화량(1121)의 차를 구하고, 제2 변화량(1131) 및 제1 변화량(1121)의 차를 이용하여 참조 영역(1140)의 깊이 변화를 계산할 수 도 있다.
한편, 반사 거리에 따른 패턴광과 입력 영상 사이의 패턴 관계식은 수학식 2와 같이 정의될 수 있다.
[수학식 2]
이때, 
는 상기 입력 영상에서 좌표가 
인 패턴 표현자의 깊이 값이다. 수학식 2에서 yi는 yp이다.
이때, xi는 수학식 3과 같이 정의될 수 있다.
[수학식 3]
깊이 정보 획득부(130)는 입력 영상의 모든 픽셀에 대한 깊이 값을 계산함으로써, 입력 영상의 깊이 정보를 획득할 수 있다.
한편, [수학식 2]는 거리에 따른 패턴의 왜곡 및 하드웨어 장치에 의해 생길 수 있는 왜곡을 고려하지 않은 예이다.
따라서, 거리에 따른 패턴의 왜곡 및 하드웨어 장치에 의해 생길 수 있는 왜곡을 고려하여 패턴광과 입력 영상 사이의 패턴 관계식이 수정될 수 있다.
즉, 거리에 따라 패턴 표현자의 모양이 변형되는 왜곡 및 장치(100)를 구성하는 하드웨어들의 노이즈 특성을 반영하여 보다 정확한 거리 정보를 획득할 수 있다.
깊이 정보 획득부(130) 또는 왜곡 보정부(140)는 수학식 4 내지 수학식 6을 이용하여 왜곡 보정 항목이 반영된 관계식을 구할 수 있다.
[수학식 4]
[수학식 5]
[수학식 6]
여기서 왜곡 보정 항목 Wx, Wy, Wz 는 실제 측정한 샘플 데이터 세트(xi, yi, xp, yp, Z) 들을 이용하여 구할 수 있다. 이때, 샘플 입력 영상의 수가 많을 수록, 또한, 왜곡 보정식의 차수가 높을 수록 더 정확한 왜곡 보정식의 해를 구할 수 있다.
이때, 샘플 입력 영상은 도 7의 Zmin 및 Zmax 각각에 반사면이 위치하는 경우에 획득된 입력 영상을 포함할 수 있다. 또한, 샘플 입력 영상은 (Zmax- Zmin)/2의 거리에 위치한 반사면으로부터 획득된 입력 영상을 더 포함할 수 있다. 물론, 샘플 입력 영상은 Zmin 및 Zmax 사이의 임의의 위치에 반사면이 존재할 때 획득된 입력 영상을 더 포함할 수 있다.
도 12는 본 발명의 일 실시예에 따른 깊이 정보 획득 방법을 나타내는 흐름도이다.
도 12에 도시된 방법은 도 1의 깊이 정보 획득 장치(100)에 의해 수행될 수 있다.
1210단계에서 깊이 정보 획득 장치(100)는 패턴광을 오브젝트 영역에 투사한다.
1220단계에서 깊이 정보 획득 장치(100)는 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득한다.
1230단계에서 깊이 정보 획득 장치(100)는 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정한다.
1240단계에서 깊이 정보 획득 장치(100)는 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득할 수 있다.
즉, 깊이 정보 획득 장치(100)는 수학식 1 또는 수학식 2를 이용하여 입력 영상의 깊이 정보를 계산할 수 있다. 이때, 수학식 2의 왜곡 보정 항목은 미리 계산되어 저장된 값일 수 있다.
1240단계에서 깊이 정보 획득 장치(100)는 현재 입력 영상과 이전 입력 영상을 비교하여 패턴의 변화가 있는 참조 영역을 검출하고, 상기 패턴광에 기초하여 상기 현재 입력 영상에서 패턴의 위치 변화가 가능한 범위(range)를 계산하고, 상기 패턴의 위치 변화가 가능한 범위(range) 내에서 상기 참조 영역의 패턴 분포와 동일한 패턴 분포를 갖는 변화 영역을 획득하고, 패턴 분포의 위치 변화를 이용하여 상기 참조 영역의 깊이 정보를 계산할 수 있다.
도 13은 본 발명의 다른 일 실시예에 따른 깊이 정보 획득 방법을 나타내는 흐름도이다.
도 13에 도시된 방법은 도 1의 깊이 정보 획득 장치(100)에 의해 수행될 수 있다.
1310단계에서 깊이 정보 획득 장치(100)는 패턴광을 오브젝트 영역에 투사한다.
1320단계에서 깊이 정보 획득 장치(100)는 오브젝트 영역을 촬영하여 샘플 입력 영상들을 획득한다. 이때, 샘플 입력 영상들 각각은 상기 오브젝트 영역 내의 기 설정된 거리에 반사면이 위치하는 경우에 촬영된 영상들이다.
이때, 샘플 입력 영상들은 최대 측정 가능 거리에 반사 면이 위치하는 경우에 촬영된 제1 샘플 입력 영상 및 최소 측정 가능 거리에 반사면이 위치하는 경우에 촬영된 제2 샘플 입력 영상을 포함할 수 있다.
1330단계에서 깊이 정보 획득 장치(100)는 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목을 계산한다.
즉, 깊이 정보 획득 장치(100)는 수학식 6과 같이 왜곡 보정 항목이 반영된 관계식을 계산한다.
1340단계에서 깊이 정보 획득 장치(100)는 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화 및 상기 왜곡 보정 항목에 기초하여 현재 입력 영상의 깊이 정보를 획득한다. 이때, 깊이 정보 획득 장치(100)는 수학식 10을 이용하여 현재 입력 영상의 깊이 정보를 획득할 수 있다.
1350단계에서 깊이 정보 획득 장치(100)는 현재 입력 영상과 이전 입력 영상을 비교하여 패턴의 변화가 있는 단위 영역을 검출한다.
이때, 현재 입력 영상은 예를 들어 도 11의 1130이고, 이전 입력 영상은 도 11의 1120일 수 있다.
이때, 패턴의 변화가 있는 단위 영역을 "참조 영역"이라 칭할 수 있고, 참조 영역의 패턴 분포와 동일한 패턴 분포를 갖는 단위 영역을 "변화 영역"이라 칭할 수 도 있다. 예를 들어, 참조 영역은 도 11의 1140 이고, 변화 영역은 도 11의 1150일 수 있다.
1360단계에서 깊이 정보 획득 장치(100)는 패턴 분포의 위치 변화를 이용하여 해당 단위 영역 즉, 참조 영역의 깊이 정보를 계산할 수 있다.
이와 같이, 이전 입력 영상과 현재 입력 영상을 비교하여 패턴의 분포가 변화된 영역에 대해서만 깊이 정보를 계산하기 때문에, 고속의 깊이 정보 획득이 가능하다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Claims (16)
- 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함하고, 상기 패턴광을 오브젝트 영역에 투사하는 패턴 투사부;
상기 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득하는 영상 획득부; 및
상기 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득하는 깊이 정보 획득부를 포함하는,
패턴 광을 이용한 깊이 정보 획득 장치. - 제1항에 있어서,
상기 복수의 패턴 표현자들은,
점, 선 또는 면을 포함하거나, 회전 방향에 따라 표현자들 간에 구분이 가능한 모양을 갖는,
패턴 광을 이용한 깊이 정보 획득 장치. - 제1항에 있어서,
상기 패턴은 N개(N은 정수)의 단위 영역들로 구분되고 상기 N개의 단위 영역들 각각은 서로 다른 패턴 표현자 조합에 의해 구분되고,
상기 패턴 표현자 조합은 패턴 표현자의 모양 및 배열 위치인,
패턴 광을 이용한 깊이 정보 획득 장치. - 제1항에 있어서,
상기 복수의 패턴 표현자들의 총 개수는 m개(m은 정수)이고, 상기 복수의 패턴 표현자들의 종류는 k개(m>k)이고, 상기 m개의 패턴 표현자들은 상기 패턴의 내부에 균일한 밀도로 배치되는,
패턴 광을 이용한 깊이 정보 획득 장치. - 제1항에 있어서,
샘플 입력 영상들을 이용하여 상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목을 계산하는 왜곡 보정부를 더 포함하고,
상기 깊이 정보 획득부는 상기 왜곡 보정 항목을 이용하여, 현재 입력되는 입력 영상의 깊이 정보를 획득하고,
상기 샘플 입력 영상들 각각은 상기 오브젝트 영역 내의 기 설정된 거리에 반사면이 위치하는 경우에 촬영된 영상들인,
패턴 광을 이용한 깊이 정보 획득 장치. - 제5항에 있어서,
상기 샘플 입력 영상들은 최대 측정 가능 거리에 반사 면이 위치하는 경우에 촬영된 제1 샘플 입력 영상 및 최소 측정 가능 거리에 반사면이 위치하는 경우에 촬영된 제2 샘플 입력 영상을 포함하는,
패턴 광을 이용한 깊이 정보 획득 장치. - 제1항에 있어서,
상기 깊이 정보 획득부는,
현재 입력 영상과 이전 입력 영상을 비교하여 패턴의 변화가 있는 참조 영역을 검출하는 패턴 비교부;
상기 패턴광에 기초하여 상기 현재 입력 영상에서 패턴의 위치 변화가 가능한 범위(range)를 계산하는 범위 계산부; 및
상기 패턴의 위치 변화가 가능한 범위(range) 내에서 상기 참조 영역의 패턴 분포와 동일한 패턴 분포를 갖는 영역을 검출하고, 패턴 분포의 위치 변화를 이용하여 상기 참조 영역의 깊이 정보를 계산하는 깊이 정보 계산부를 포함하는,
패턴 광을 이용한 깊이 정보 획득 장치. - 제1항에 있어서,
상기 깊이 정보 획득부는,
하기 수학식 1을 이용하여 상기 입력 영상의 깊이 정보를 획득하는,
[수학식]
여기서,는 상기 입력 영상에서 좌표가
인 패턴 표현자의 깊이 값,
는 상기 패턴광의 좌표,
는 상기 패턴 투사부의 투사각
는 상기 영상 획득부의 입사각, D는 상기 패턴 투사부와 상기 영상 획득부 사이의 중심거리,
는 상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목인,
패턴 광을 이용한 깊이 정보 획득 장치. - 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴광을 오브젝트 영역에 투사하는 - 여기서, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함함- 단계;
상기 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득하는 단계;
상기 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하는 단계; 및
상기 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득하는 단계를 포함하는,
패턴 광을 이용한 깊이 정보 획득 방법. - 제9항에 있어서,
상기 복수의 패턴 표현자들은,
점, 선 또는 면을 포함하거나, 회전 방향에 따라 표현자들 간에 구분이 가능한 모양을 갖는,
패턴 광을 이용한 깊이 정보 획득 방법. - 제9항에 있어서,
상기 패턴은 N개(N은 정수)의 단위 영역들로 구분되고 상기 N개의 단위 영역들 각각은 서로 다른 패턴 표현자 조합에 의해 구분되고,
상기 패턴 표현자 조합은 패턴 표현자의 모양 및 배열 위치인,
패턴 광을 이용한 깊이 정보 획득 방법. - 제9항에 있어서,
상기 복수의 패턴 표현자들의 총 개수는 m개(m은 정수)이고, 상기 복수의 패턴 표현자들의 종류는 k개(m>k)이고, 상기 m개의 패턴 표현자들은 상기 패턴의 내부에 균일한 밀도로 배치되는,
패턴 광을 이용한 깊이 정보 획득 방법. - 제9항에 있어서,
상기 입력 영상의 깊이 정보를 획득하는 단계는,
현재 입력 영상과 이전 입력 영상을 비교하여 패턴의 변화가 있는 단위 영역을 검출하는 단계;
상기 패턴광에 기초하여 상기 현재 입력 영상에서 패턴의 위치 변화가 가능한 범위(range)를 계산하는 단계;
상기 패턴의 위치 변화가 가능한 범위(range) 내에서 상기 단위 영역의 패턴 분포와 동일한 패턴 분포를 갖는 변화 영역을 획득하는 단계; 및
패턴 분포의 위치 변화를 이용하여 상기 단위 영역의 깊이 정보를 계산하는 단계를 포함하는,
패턴 광을 이용한 깊이 정보 획득 방법. - 제9항에 있어서,
상기 입력 영상의 깊이 정보를 획득하는 단계는,
하기 수학식 1을 이용하여 상기 입력 영상의 깊이 정보를 획득하는,
[수학식]
여기서,는 상기 입력 영상에서 좌표가
인 패턴 표현자의 깊이 값,
는 상기 패턴광의 좌표,
는 상기 패턴 투사부의 투사각
는 상기 영상 획득부의 입사각, D는 상기 패턴 투사부와 상기 영상 획득부 사이의 중심거리,
는 상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목인,
패턴 광을 이용한 깊이 정보 획득 방법. - 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴광을 오브젝트 영역에 투사하는 - 여기서, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함함- 단계;
상기 오브젝트 영역을 촬영하여 샘플 입력 영상들을 획득하는 단계;
상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목을 계산하는 단계; 및
상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화 및 상기 왜곡 보정 항목에 기초하여 현재 입력 영상의 깊이 정보를 획득하는 단계를 포함하고,
상기 샘플 입력 영상들 각각은 상기 오브젝트 영역 내의 기 설정된 거리에 반사면이 위치하는 경우에 촬영된 영상들인,
패턴 광을 이용한 깊이 정보 획득 방법. - 제15항에 있어서,
상기 샘플 입력 영상들은 최대 측정 가능 거리에 반사 면이 위치하는 경우에 촬영된 제1 샘플 입력 영상 및 최소 측정 가능 거리에 반사면이 위치하는 경우에 촬영된 제2 샘플 입력 영상을 포함하는,
패턴 광을 이용한 깊이 정보 획득 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102012108567.6A DE102012108567B4 (de) | 2011-10-05 | 2012-09-13 | Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters |
| US13/615,448 US9142025B2 (en) | 2011-10-05 | 2012-09-13 | Method and apparatus for obtaining depth information using optical pattern |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20110101200 | 2011-10-05 | ||
| KR1020110101200 | 2011-10-05 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130037152A true KR20130037152A (ko) | 2013-04-15 |
| KR101605224B1 KR101605224B1 (ko) | 2016-03-22 |
Family
ID=48438248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120057186A KR101605224B1 (ko) | 2011-10-05 | 2012-05-30 | 패턴 광을 이용한 깊이 정보 획득 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101605224B1 (ko) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018004852A1 (en) * | 2016-06-27 | 2018-01-04 | Intel Corporation | Compact, low cost vcsel projector for high performance stereodepth camera |
| US10043285B2 (en) | 2015-09-04 | 2018-08-07 | Electronics And Telecommunications Research Institute | Depth information extracting method based on machine learning and apparatus thereof |
| KR20190048195A (ko) * | 2017-10-30 | 2019-05-09 | 삼성전자주식회사 | 이미치 처리 방법 및 장치 |
| WO2020036398A1 (ko) * | 2018-08-16 | 2020-02-20 | 엘지이노텍 주식회사 | 센싱 방법 및 장치 |
| WO2020075953A1 (ko) * | 2018-10-08 | 2020-04-16 | 삼성전자 주식회사 | 외부 객체에 투사된 구조광을 이용하여 깊이 정보를 생성하는 방법 및 이를 사용하는 전자 장치 |
| WO2020197813A1 (en) * | 2019-03-25 | 2020-10-01 | Magik Eye Inc. | Distance measurement using high density projection patterns |
| US10885761B2 (en) | 2017-10-08 | 2021-01-05 | Magik Eye Inc. | Calibrating a sensor system including multiple movable sensors |
| US10931883B2 (en) | 2018-03-20 | 2021-02-23 | Magik Eye Inc. | Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging |
| US11002537B2 (en) | 2016-12-07 | 2021-05-11 | Magik Eye Inc. | Distance sensor including adjustable focus imaging sensor |
| US11019249B2 (en) | 2019-05-12 | 2021-05-25 | Magik Eye Inc. | Mapping three-dimensional depth map data onto two-dimensional images |
| US11062468B2 (en) | 2018-03-20 | 2021-07-13 | Magik Eye Inc. | Distance measurement using projection patterns of varying densities |
| US11199397B2 (en) | 2017-10-08 | 2021-12-14 | Magik Eye Inc. | Distance measurement using a longitudinal grid pattern |
| US11320537B2 (en) | 2019-12-01 | 2022-05-03 | Magik Eye Inc. | Enhancing triangulation-based three-dimensional distance measurements with time of flight information |
| US11475584B2 (en) | 2018-08-07 | 2022-10-18 | Magik Eye Inc. | Baffles for three-dimensional sensors having spherical fields of view |
| US11474245B2 (en) | 2018-06-06 | 2022-10-18 | Magik Eye Inc. | Distance measurement using high density projection patterns |
| US11483503B2 (en) | 2019-01-20 | 2022-10-25 | Magik Eye Inc. | Three-dimensional sensor including bandpass filter having multiple passbands |
| US11580662B2 (en) | 2019-12-29 | 2023-02-14 | Magik Eye Inc. | Associating three-dimensional coordinates with two-dimensional feature points |
| US11688088B2 (en) | 2020-01-05 | 2023-06-27 | Magik Eye Inc. | Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera |
| KR20240051689A (ko) * | 2022-10-13 | 2024-04-22 | 주식회사 아이리스 | 영상 깊이 정보 생성 장치 및 방법 |
-
2012
- 2012-05-30 KR KR1020120057186A patent/KR101605224B1/ko active IP Right Grant
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10043285B2 (en) | 2015-09-04 | 2018-08-07 | Electronics And Telecommunications Research Institute | Depth information extracting method based on machine learning and apparatus thereof |
| US11889046B2 (en) | 2016-06-27 | 2024-01-30 | Intel Corporation | Compact, low cost VCSEL projector for high performance stereodepth camera |
| WO2018004852A1 (en) * | 2016-06-27 | 2018-01-04 | Intel Corporation | Compact, low cost vcsel projector for high performance stereodepth camera |
| US10924638B2 (en) | 2016-06-27 | 2021-02-16 | Intel Corporation | Compact, low cost VCSEL projector for high performance stereodepth camera |
| US11002537B2 (en) | 2016-12-07 | 2021-05-11 | Magik Eye Inc. | Distance sensor including adjustable focus imaging sensor |
| US11199397B2 (en) | 2017-10-08 | 2021-12-14 | Magik Eye Inc. | Distance measurement using a longitudinal grid pattern |
| US10885761B2 (en) | 2017-10-08 | 2021-01-05 | Magik Eye Inc. | Calibrating a sensor system including multiple movable sensors |
| KR20190048195A (ko) * | 2017-10-30 | 2019-05-09 | 삼성전자주식회사 | 이미치 처리 방법 및 장치 |
| US11062468B2 (en) | 2018-03-20 | 2021-07-13 | Magik Eye Inc. | Distance measurement using projection patterns of varying densities |
| US11381753B2 (en) | 2018-03-20 | 2022-07-05 | Magik Eye Inc. | Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging |
| US10931883B2 (en) | 2018-03-20 | 2021-02-23 | Magik Eye Inc. | Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging |
| US11474245B2 (en) | 2018-06-06 | 2022-10-18 | Magik Eye Inc. | Distance measurement using high density projection patterns |
| US11475584B2 (en) | 2018-08-07 | 2022-10-18 | Magik Eye Inc. | Baffles for three-dimensional sensors having spherical fields of view |
| WO2020036398A1 (ko) * | 2018-08-16 | 2020-02-20 | 엘지이노텍 주식회사 | 센싱 방법 및 장치 |
| KR20200040342A (ko) * | 2018-10-08 | 2020-04-20 | 삼성전자주식회사 | 외부 객체에 투사된 구조광을 이용하여 깊이 정보를 생성하는 방법 및 이를 사용하는 전자 장치 |
| WO2020075953A1 (ko) * | 2018-10-08 | 2020-04-16 | 삼성전자 주식회사 | 외부 객체에 투사된 구조광을 이용하여 깊이 정보를 생성하는 방법 및 이를 사용하는 전자 장치 |
| US11483503B2 (en) | 2019-01-20 | 2022-10-25 | Magik Eye Inc. | Three-dimensional sensor including bandpass filter having multiple passbands |
| WO2020197813A1 (en) * | 2019-03-25 | 2020-10-01 | Magik Eye Inc. | Distance measurement using high density projection patterns |
| US11474209B2 (en) | 2019-03-25 | 2022-10-18 | Magik Eye Inc. | Distance measurement using high density projection patterns |
| US11019249B2 (en) | 2019-05-12 | 2021-05-25 | Magik Eye Inc. | Mapping three-dimensional depth map data onto two-dimensional images |
| US11320537B2 (en) | 2019-12-01 | 2022-05-03 | Magik Eye Inc. | Enhancing triangulation-based three-dimensional distance measurements with time of flight information |
| US11580662B2 (en) | 2019-12-29 | 2023-02-14 | Magik Eye Inc. | Associating three-dimensional coordinates with two-dimensional feature points |
| US11688088B2 (en) | 2020-01-05 | 2023-06-27 | Magik Eye Inc. | Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera |
| KR20240051689A (ko) * | 2022-10-13 | 2024-04-22 | 주식회사 아이리스 | 영상 깊이 정보 생성 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101605224B1 (ko) | 2016-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101605224B1 (ko) | 패턴 광을 이용한 깊이 정보 획득 장치 및 방법 | |
| US9142025B2 (en) | Method and apparatus for obtaining depth information using optical pattern | |
| KR101954855B1 (ko) | 볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용 | |
| US20190361258A1 (en) | Structured light projection and imaging | |
| JP4473136B2 (ja) | 局所的独自パターンを使用した能動的ステレオ技術による３次元画像の取得 | |
| JP2021507440A (ja) | 対象物の３次元画像を生成するための方法およびシステム | |
| TWI463244B (zh) | 深度影像擷取裝置、系統及其方法 | |
| KR102046944B1 (ko) | 서브-레졸루션 광학 검출 | |
| CN102203551A (zh) | 用于提供三维和距离面间判定的方法和系统 | |
| CN104903680B (zh) | 控制三维物体的线性尺寸的方法 | |
| JP5633058B1 (ja) | ３次元計測装置及び３次元計測方法 | |
| KR20130032368A (ko) | 삼차원 계측장치, 삼차원 계측방법 및 기억매체 | |
| CN111971525B (zh) | 用立体镜测量物体的方法和系统 | |
| CN107883874B (zh) | 一种圆结构光的标定方法 | |
| EP3951314B1 (en) | Three-dimensional measurement system and three-dimensional measurement method | |
| US20150271466A1 (en) | Measuring device, measuring method, and computer program product | |
| CN107860337A (zh) | 基于阵列相机的结构光三维重建方法与装置 | |
| CN105303572B (zh) | 基于主被动结合的深度信息获取方法 | |
| Tang et al. | An improved spatiotemporal correlation method for high-accuracy random speckle 3D reconstruction | |
| JP2018009927A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| WO2019182840A1 (en) | Replicated dot maps for simplified depth computation using machine learning | |
| CN109690241A (zh) | 三维测定装置和三维测定方法 | |
| RU125335U1 (ru) | Устройство контроля линейных размеров трехмерных объектов | |
| RU164082U1 (ru) | Устройство контроля линейных размеров трехмерных объектов | |
| RU112992U1 (ru) | Устройство бесконтактного измерения геометрических параметров поверхности лица человека |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| FPAY | Annual fee payment |
Payment date: 20190304 Year of fee payment: 4 |