KR101605224B1 - 패턴 광을 이용한 깊이 정보 획득 장치 및 방법 - Google Patents

패턴 광을 이용한 깊이 정보 획득 장치 및 방법 Download PDF

Info

Publication number
KR101605224B1
KR101605224B1 KR1020120057186A KR20120057186A KR101605224B1 KR 101605224 B1 KR101605224 B1 KR 101605224B1 KR 1020120057186 A KR1020120057186 A KR 1020120057186A KR 20120057186 A KR20120057186 A KR 20120057186A KR 101605224 B1 KR101605224 B1 KR 101605224B1
Authority
KR
South Korea
Prior art keywords
pattern
depth information
input image
light
presenter
Prior art date
Application number
KR1020120057186A
Other languages
English (en)
Other versions
KR20130037152A (ko
Inventor
박지영
심광현
남승우
이재호
김명하
구본기
한동원
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to DE102012108567.6A priority Critical patent/DE102012108567B4/de
Priority to US13/615,448 priority patent/US9142025B2/en
Publication of KR20130037152A publication Critical patent/KR20130037152A/ko
Application granted granted Critical
Publication of KR101605224B1 publication Critical patent/KR101605224B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Abstract

패턴 광을 이용한 깊이 정보 획득 장치 및 방법을 개시한다.
본 발명의 일 실시예에 따른 패턴 광을 이용한 깊이 정보 획득 장치는, 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함하고, 상기 패턴광을 오브젝트 영역에 투사하는 패턴 투사부; 상기 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득하는 영상 획득부; 및 상기 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득하는 깊이 정보 획득부를 포함한다.

Description

패턴 광을 이용한 깊이 정보 획득 장치 및 방법{METHOD AND APPARATUS FOR OBTAINING DEPTH INFORMATION USING OPTICAL PATTERN}
본 발명은 패턴 광을 이용한 깊이 정보 획득 장치 및 방법에 관한 것이다. 즉, 본 발명은 깊이 정보와 같은 3차원 정보를 획득하기 위한 시스템에 관한 것이다.
깊이 정보 또는 깊이 값은 공간 상의 거리를 나타내는 정보이다. 깊이 정보를 포함하는 영상을 깊이 영상이라 칭할 수 있다.
깊이 영상을 획득하는 방법 중 하나는 광학식 방법이 있다. 광학식 방법은 크게 수동적 획득 방식과 능동적 획득 방식으로 구분될 수 있다.
수동적 획득 방식은 다수의 카메라를 이용하여 두 개 이상의 시점에서 영상을 획득하는 방식이다. 능동적 획득 방식은 공간에 빛을 투영하고, 투영된 빛을 해석하는 방식이다.
스테레오 비젼 기술이라고도 알려져 있는 수동적 획득 방식은 사람의 양안과 같이 두 대의 카메라를 사용하거나, 또는 다 시점(Multi view) 카메라를 이용하여 깊이 영상을 획득할 수 있다. 수동적 획득 방식은 거리를 측정하고자 하는 공간 내부에 밝기 값 변화가 존재하는 특징점을 찾기 어려운 경우, 거리 측정이 정확하지 않은 단점이 있다.
능동적 획득 방식은 공간의 조명 또는 특징점 유무에 따른 영향을 크게 받지 않고, 비교적 정확한 거리 측정이 가능한 장점이 있다. 그러나, 능동적 획득 방식에 일반적으로 사용되는 가시광원의 경우 눈부심 현상으로 인하여 사람이 있는 상황에서 사용하기 어려운 단점이 있다. 또한, 능동적 획득 방식은 움직임이 있는 상황에서 여러 장의 패턴을 투영하여 움직임을 검출하기에 적합하지 않은 단점이 있다.
따라서, 능동적 획득 방식의 단점을 극복하고 3차원 정보를 획득하기 위해서, 적외선 광원을 사용한 단 패턴 투사 방식이 사용될 수 있다.
본 발명의 목적은 사용자의 불편함 없이 일반적인 실내 환경에 적용 가능한 패턴 광을 이용한 깊이 정보 획득 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 다양한 코드화된 패턴을 이용하여 고해상도 3차원 정보 획득이 가능한 깊이 정보 획득 장치 및 방법을 제공하는 것이다.
또한, 패턴 생성자를 사용하여 카메라의 화각 보다 큰 화각의 패턴광을 오브젝트 영역에 투사하고, 오브젝트 영역의 깊이 정보를 획득하는 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 현재 입력 영상의 깊이 정보 획득을 위해 레퍼런스 영상들을 사전에 획득하여야 하는 번거로움을 해소할 수 있는 깊이 정보 획득 장치 및 방법을 제공하는 것이다.
또한, 본 발명의 목적은 현재 입력 영상의 깊이 정보를 획득하기 위한 연산량을 줄이고, 현재 입력된 영상의 깊이 정보를 고속으로 획득할 수 있는 깊이 정보 획득 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 패턴 광을 이용한 깊이 정보 획득 장치는, 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함하고, 상기 패턴광을 오브젝트 영역에 투사하는 패턴 투사부; 상기 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득하는 영상 획득부; 및 상기 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득하는 깊이 정보 획득부를 포함한다.
본 발명의 일 실시예에 따른 패턴 광을 이용한 깊이 정보 획득 방법은, 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴광을 오브젝트 영역에 투사하는 - 여기서, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함함- 단계; 상기 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득하는 단계; 상기 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하는 단계; 및 상기 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득하는 단계를 포함한다.
본 발명의 다른 일 실시예에 따른 패턴 광을 이용한 깊이 정보 획득 방법은, 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴광을 오브젝트 영역에 투사하는 - 여기서, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함함- 단계; 상기 오브젝트 영역을 촬영하여 샘플 입력 영상들을 획득하는 단계; 상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목을 계산하는 단계; 및 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화 및 상기 왜곡 보정 항목에 기초하여 현재 입력 영상의 깊이 정보를 획득하는 단계를 포함한다.
상기 샘플 입력 영상들 각각은 상기 오브젝트 영역 내의 기 설정된 거리에 반사면이 위치하는 경우에 촬영된 영상들이다.
본 발명의 일 실시예에 따르면, 사용자의 불편함 없이 일반적인 실내 환경에서 깊이 정보를 획득할 수 있고, 다양한 코드화된 패턴을 이용하여 고해상도 3차원 정보 획득이 가능하다.
또한, 본 발명의 실시예들에 따르면, 투사부 및 입력부의 간단한 구성을 통해 깊이 정보를 획득할 수 있고, 현재 입력 영상의 깊이 정보 획득을 위해 레퍼런스 영상들을 사전에 획득하여야 하는 번거로움을 해소할 수 있다.
또한, 본 발명의 실시에들에 따르면, 현재 입력 영상의 깊이 정보를 획득하기 위한 연산량을 줄이고, 현재 입력된 영상의 깊이 정보를 고속으로 획득할 수 있다.
도 1은 본 발명의 실시예에 따른 패턴 광을 이용한 깊이 정보 획득 장치의 구성 예를 나타낸다.
도 2는 도 1의 패턴 투사부와 영상 획득부의 투사각을 설명하기 위한 도면이다.
도 3은 도 1의 패턴 투사부의 원리를 설명하기 위한 예시도이다.
도 4는 도 3의 패턴생성자(OPPE: Optical Pattern Projection Element)에 의해 생성되는 패턴의 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 패턴의 예를 설명하기 위한 도면이다.
도 6은 도 1의 깊이 정보 획득부의 구성 예를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 깊이 정보 획득 방법의 개념을 설명하기 위한 예시도이다.
도 8 내지 도 10은 본 발명의 실시예에 따른 깊이 정보 획득 방법의 구체적인 예를 설명하기 위한 도면이다.
도 11은 도 1의 영상 획득부 및 깊이 정보 획득부의 동작을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 깊이 정보 획득 방법을 나타내는 흐름도이다.
도 13은 본 발명의 다른 일 실시예에 따른 깊이 정보 획득 방법을 나타내는 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 기본적인 원리는 공간상에 패턴을 투사하고, 카메라와 같은 영상 획득 장치를 통해 촬영한 입력 영상의 패턴을 분석하여 카메라로부터 오브젝트(object)까지의 거리에 따라 발생하는 "패턴의 변위"를 이용하여 공간 상의 거리 정보를 연산하는 것이다. "패턴의 변위"의 정의 및 다양한 예들은 도 8 내지 도 11을 통해 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 패턴 광을 이용한 깊이 정보 획득 장치의 구성 예를 나타낸다.
도 1을 참조하면, 패턴 광을 이용한 깊이 정보 획득 장치(100)는 패턴 투사부(110), 영상 획득부(120), 깊이 정보 획득부(130)를 포함한다. 또한, 패턴 광을 이용한 깊이 정보 획득 장치(100)는 왜곡 보정부(140)을 더 포함할 수 있다.
패턴 투사부(110)는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함하는 패턴광(optical pattern)을 오브젝트 영역에 투사하는 역할을 수행하며 광원과 패턴생성자(OPPE)를 포함한다. 즉, 패턴광은 광원으로부터 입사되는 빛을 패턴생성자에 통과시켜 생성된 투사 영상(projecting image)이다. 패턴 투사부(110)는 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴광을 오브젝트 영역에 투사한다.
패턴 투사부(110)의 구성 예는 도 2를 통해 상세히 설명하기로 한다.
패턴 투사부(110)는 적외선을 투사하는 프로젝터일 수 있다.
이때, 광원으로부터 입사되는 빛은 적외선(infrared ray, IR)일 수 있다.
"패턴 표현자"는 점, 직선, 곡선, 특정한 모양의 도형, 비 정규적인 문양을 의미하고, 패턴은 이러한 패턴 표현자가 적어도 하나 이상 포함된 형태 의미한다.
오브젝트 영역이란, 패턴 광이 투사되는 영역을 의미하고, 깊이 정보의 측정 대상은 오브젝트 영역에 위치할 수 있다. 또한, 오브젝트 영역은 장치(100)가 최대로 측정할 수 있는 거리에 위치한 반사면에서, 패턴 광이 수신되는 영역을 의미할 수 도 있다.
영상 획득부(120)는 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득한다. 영상 획득부(120)는 카메라를 포함할 수 있다.
깊이 정보 획득부(130)는 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득한다. 깊이 정보 획득부(130)는 도 6과 같이 구성될 수 있으며, 적어도 하나의 프로세서를 포함할 수 있다. 이때, 적어도 하나의 프로세서는 입력 영상의 깊이 정보를 획득하는 기능을 수행하도록 구성된(configured) 프로세서일 수 있다.
깊이 정보 획득부(130)는 하기 수학식 1을 이용하여 상기 입력 영상의 깊이 정보를 획득할 수 있다.
[수학식 1]
Figure 112012043145172-pat00001
여기서,
Figure 112012043145172-pat00002
는 상기 입력 영상에서 좌표가
Figure 112012043145172-pat00003
인 패턴 표현자의 깊이 값,
Figure 112012043145172-pat00004
는 상기 패턴광의 좌표,
Figure 112012043145172-pat00005
는 상기 패턴 투사부의 투사각
Figure 112012043145172-pat00006
는 상기 영상 획득부의 입사각, D는 상기 패턴 투사부와 상기 영상 획득부 사이의 중심거리,
Figure 112012043145172-pat00007
는 상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목이다.
왜곡 보정부(140)는 샘플 입력 영상들을 이용하여 상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목을 계산할 수 있다. 왜곡 보정부(140)의 구체적인 동작은 도 13을 통해 설명하기로 한다.
이때, 샘플 입력 영상들 각각은 상기 오브젝트 영역 내의 기 설정된 거리에 반사면이 위치하는 경우에 촬영된 영상들 일 수 있다. 이때, 깊이 정보 획득부(130)는 상기 왜곡 보정 항목을 이용하여, 현재 입력되는 입력 영상의 깊이 정보를 획득할 수 있다.
이때, 샘플 입력 영상들은 최대 측정 가능 거리에 반사 면이 위치하는 경우에 촬영된 제1 샘플 입력 영상 및 최소 측정 가능 거리에 반사면이 위치하는 경우에 촬영된 제2 샘플 입력 영상을 포함할 수 있다.
도 2는 도 1의 패턴 투사부와 영상 획득부의 투사각을 설명하기 위한 도면이다.
도 2를 참조하면, 패턴 투사부(110)에서 투사되는 패턴 광의 화각
Figure 112012043145172-pat00008
는, 영상 획득부(120)의 입력 영상 화각
Figure 112012043145172-pat00009
보다 크다. 즉, 패턴 광은 영상 획득부(120)의 화각 보다 큰 각도로 확산되어야 한다.
Figure 112012043145172-pat00010
가
Figure 112012043145172-pat00011
보다 큰 경우, 깊이 정보 획득부(130)는 투사 영상 및 입력 영상을 비교하여 패턴의 변화를 정확하게 검출 할 수 있다. 이때,
Figure 112012043145172-pat00012
가
Figure 112012043145172-pat00013
보다 얼만큼 큰지 여부는 장치의 구현 예에 따라 달라질 수 있는 것이다.
도 3은 도 1의 패턴 투사부의 원리를 설명하기 위한 예시도이다.
도 3을 참조하면, 패턴 투사부(110)는 레이저 모듈(311) 및 패턴 생성자(Optical Pattern Printing Element, OPPE)(313)를 포함할 수 있다. 도 3에 도시된 구성에 따르면, 패턴 투사부(110)는 고해상도의 초소형 적외선 패턴 투사 장치일 수 있다.
패턴 생성자(313)는 깊이 정보 획득을 목적으로 디자인된 특정 패턴을 공간 상에 투영하여 오브젝트 영역에 패턴들의 모양이 정확하게 맺히게 한다.
패턴 생성자(313)는 렌즈, 마스크(Mask) 또는 DOE(diffractive optical element)를 포함할 수 있다. 즉, 패턴 생성자(313)의 종류는 매우 다양할 수 있다.
패턴 생성자(313)는 굴절율의 변화가 가능하며, 판형 또는 입체 구조물일 수 있다. 또한, 패턴 생성자(313)는 입사 광의 공간적인 위상을 부분적으로 변화시킬 수 있는 물질, 또는 입사 광의 투과율의 변화를 일으킬 수 있는 물질로 구성될 수 있다.
패턴 생성자(313)는 입사 광의 입사각에 따라 입사 광의 회절량을 변화시킴으로서, 일정한 밝기를 유지하면서 패턴을 투사할 수 있다.
패턴 생성자(313)는 일종의 렌즈에 해당하는 물질에 특정 패턴이 식각된 구조일 수 있다. 따라서, 패턴은 패턴 표현자가 적어도 하나이상 포함되고, 패턴 생성자(313)에 식각된 형태를 의미할 수 도 있다.
본 발명의 실시예에 따른 장치는 패턴 생성자(110)를 통해 오브젝트 영역에 패턴을 정확하게 투사할 수 있기 때문에, collimating lens 및 복수의 DOE를 필요로하는 종래기술에 비해 소형화가 가능하다.
또한, 패턴 생성자(110)는 패턴의 변위 파악에 용이한 코드화된 패턴을 투사하기 때문에, 종래기술에 비해 고해상도의 깊이 영상 획득이 가능하다.
도 4는 도 3의 OPPE에 의해 생성되는 패턴의 예를 설명하기 위한 도면이다.
도 4의 (A)는 패턴 생성자(110)에 디자인된 패턴의 예를 나타내고, (B)는 레이저를 패턴에 통과시켜 형성한 패턴 광의 예를 나타낸다. 즉, 도 4의 (B)는 레이저가 OPPE를 통과하는 순간을 적외선 카메라로 촬영한 예를 나타낸다.
도 4에 도시된 예에서, 패턴 표현자는 점 형태이다. 또한, 패턴은 점의 크기가 서로 다른 복수의 패턴 표현자들로 구성되어 있다. 이와 같이 서로 다른 종류의 패턴 표현자를 배치함으로써, 패턴의 변위 파악을 용이하게 만들 수 있다.
패턴 표현자는, 공간 상에서 차지하는 크기가 작을 수록 높은 밀도로 배치될 수 있다. 3차원 정보의 복원은 공간 상에 투사된 패턴 영상의 분석을 통해 이루어진다. 따라서, 디자인되는 패턴에 많은 비트(bit)를 인코딩 할수록 깊이 정보의 해상도가 높아지게 된다. 즉, 다양한 형태의 패턴 표현자를 조밀하게 배치할수록 고해상도의 깊이맵이 획득될 수 있다.
도 5는 본 발명의 일 실시예에 따른 패턴의 예를 설명하기 위한 도면이다.
도 5에 도시된 예는, OPPE(313)에 형성된 패턴이 8 종류의 패턴 표현자를 포함하는 예를 나타낸다. 즉, 도 5에 도시된 패턴 표현자는 아래 [표 1]에 도시된 바와 같다.
[표 1]
Figure 112012043145172-pat00014
표 1에 도시된 표현자들은 차지하는 공간상의 크기가 작고, 회전 방향에 따라 표현자들 간에 구분이 가능한 모양을 가진다. 따라서, 패턴광에 포함된 패턴과 입력 영상에 포함된 패턴간의 변위를 계산함에 있어서, 참조 영역의 크기를 줄일 수 있다. 이때, "참조 영역"이란, 패턴이 변화된 영역을 찾기 위한 기본 윈도우를 의미한다. 예를 들어, 패턴이 차지하는 전체 영상을 N개의 MxM 블록(이하, 단위 영역이라 칭함)들로 구분하면, N개의 단위 영역 들 중 하나는 참조 영역이 될 수 있다. 이와 같이, 본 발명의 실시에는 패턴이 변화된 영역을 찾기 위한 참조 영역의 크기를 줄일 수 있기 때문에 고 해상도의 깊이 맵을 획득할 수 있다.
물론, 패턴 표현자는 [표 1]에 도시된 예 이외에, "ㅋ", "ㅍ" 등과 같이 회전 방향에 따라 구분이 가능한 모양을 더 포함할 수 있다.
패턴 표현자의 배치는 다음과 같은 조건들 중 적어도 하나를 고려하여 수행될 수 있다.
1. 단위 영역 내의 패턴 표현자의 조합은 패턴 표현자의 모양 및 배열 위치를 이용하여 반복되지 않도록 배치함. 즉, 각각의 단위 영역들에 배치된 패턴 표현자들은 단위 영역 별로 서로 다른 조합을 가질 수 있다. 또한, 하나의 단위 영역에 배치된 패턴 표현자들의 조합과, 이웃된 단위 영역의 패턴 표현자들의 조합은 서로 다른 조합으로 배치될 수 있다. 이하, "패턴 표현자의 조합"은 "패턴 분포"와 동일한 의미로 사용한다.
2. 패턴 표현자들의 분포는 한곳에 집중되지 않고 균일하게 분포하도록 배치함
3. 패턴 표현자들은 줄을 맞추어 배치되지 않음
4. 슈도 랜덤 코드(Pseudo random code) 생성 기법과 공간 필터링(space filling) 기법을 이용하여 1~3의 조건을 만족시킬 수 있음
5. 1~3의 조건에 의해, 각각의 단위 영역들은 유일성을 가질 수 있으며 단위 영역들 각각은 하나의 참조 영역으로 기능할 수 있음
따라서, 참조 영역의 크기를 줄이고 패턴이 존재하지 않아 깊이 정보를 찾을 수 없는 구간이 최소화 될 수 있다.
결국, 패턴은 N개(N은 정수)의 단위 영역들로 구분되고 상기 N개의 단위 영역들 각각은 서로 다른 패턴 표현자 조합에 의해 구분될 수 있다. 이때, 패턴 표현자 조합은 패턴 표현자의 모양 및 배열 위치에 의해 결정될 수 있다.
또한, 복수의 패턴 표현자들의 총 개수는 m개(m은 정수)이고, 상기 복수의 패턴 표현자들의 종류는 k개(m>k)이고, 상기 m개의 패턴 표현자들은 상기 패턴의 내부에 균일한 밀도로 배치될 수 있다. 예를 들어, 도 4에 도시된 예에서 패턴 표현자들의 종류는 8개이고, 배치된 패턴 표현자들의 총 개수는 500~수십만개일 수 있다.
도 6은 도 1의 깊이 정보 획득부의 구성 예를 나타내는 도면이다.
도 6을 참조하면, 깊이 정보 획득부(130)은 패턴 비교부(631), 범위 계산부(633) 및 깊이 정보 계산부(635)를 포함할 수 있다. 도 1 및 도 6에 도시된 바와 달리, 왜곡 보정부(140)는 깊이 정보 획득부(130)의 내부에 구비될 수 도 있다. 패턴 비교부(631), 범위 계산부(633) 및 깊이 정보 계산부(635) 각각은 하나의 프로세서로 구현될 수 도 있고, 단일 프로세서로 구현될 수 도 있다.
패턴 비교부(631)는 현재 입력 영상과 이전 입력 영상을 비교하여 패턴의 변화가 있는 참조 영역을 검출할 수 있다. 따라서, 깊이 정보 획득부(130)는 패턴의 변화가 있는 단위 영역에 대해서만 깊이 정보를 획득할 수 있기 때문에, 고속으로 깊이 정보를 획득할 수 있다.
범위 계산부(633)는 패턴광에 기초하여 상기 현재 입력 영상에서 패턴의 위치 변화가 가능한 범위(range)를 계산한다. 패턴의 위치 변화가 가능한 범위에 대해서는 도 7 내지 도 11을 통해 구체적으로 설명하기로 한다.
깊이 정보 계산부(635)는 패턴의 위치 변화가 가능한 범위(range) 내에서 상기 참조 영역의 패턴 분포와 동일한 패턴 분포를 갖는 영역을 획득하고, 패턴 분포의 위치 변화를 이용하여 상기 참조 영역의 깊이 정보를 계산한다.
도 7은 본 발명의 실시예에 따른 깊이 정보 획득 방법의 개념을 설명하기 위한 예시도이다.
도 7을 참조하면, 패턴 투사부(110)와 영상 획득부(120)사이의 거리는 D이다. 투사면(740)으로부터 최대 측정 가능 거리(Zmax) 거리에 위치한 반사면(720)과, 패턴 투사부(110)의 투사각
Figure 112012043145172-pat00015
에 의해 오브젝트 영역(710)이 정의될 수 있다. 물론, 오브젝트 영역(710)은 반사면(720)과 영상 획득부(120)의 입사각
Figure 112012043145172-pat00016
에 의해 정의될 수 도 있다.
이때, "반사면"은 오브젝트(예를 들어 사용자의 손)가 위치하는 영역 등과 같이 패턴광이 반사되는 표면(surface)을 의미한다.
도 7에 도시된 예에서, 반사면(730)은 최소 측정 가능 거리(Zmin)에 형성되는 표면을 의미한다.
상기 최대 측정 가능 거리(Zmax) 및 최소 측정 가능 거리(Zmin)는 이미지 센서의 성능,
Figure 112012043145172-pat00017
, 및
Figure 112012043145172-pat00018
에 의해 결정될 수 있으며, 장치의 구현 방식에 따라 달라질 수 있다.
도 8 내지 도 10은 본 발명의 실시예에 따른 깊이 정보 획득 방법의 구체적인 예를 설명하기 위한 도면이다.
도 8의 (A)는 패턴광에서 패턴 표현자 "ㅋ"의 위치를 나타내는 예이다. 이때, 패턴광에서 패턴 표현자 "ㅋ"의 위치는 (xp, yp)와 같이 좌표의 형식으로 표현될 수 있다. 패턴 표현자의 좌표 (xp, yp)는 0~1 사이의 정규화된 값으로 표현될 수 있다.
도 8의 (B)는 입력 영상에서 패턴 표현자 "ㅋ"의 위치를 나타내는 예이다. 이때, 입력 영상에서 패턴 표현자 "ㅋ"의 위치는 (xi, yi)와 같이 좌표의 형식으로 표현될 수 있다. 패턴 표현자의 좌표 (xi, yi)는 0~1 사이의 정규화된 값으로 표현될 수 있다.
도 9에서 (C)는 패턴광에서 패턴 표현자 "ㅋ", "ㅈ" 및 "ㅍ"의 배치를 나타내는 예이고, (D)는 입력 영상에서 보여질 수 있는 패턴 표현자 "ㅋ", "ㅈ" 및 "ㅍ" 각각의 위치 변화가 가능한 범위(range)를 나타낸 예이다. 이때, "위치 변화가 가능한 범위"는 영상 획득부(120)에 포함된 깊이 카메라의 측정 가능 거리에 의해 결정될 수 있다. 예를 들어, 깊이 카메라의 측정 가능 거리가 0.5~5미터인 경우, "위치 변화가 가능한 범위"는 수 픽셀 ~ 수십 픽셀로 결정될 수 있다.
도 10에서 (E)는 입력 영상에서 패턴 표현자 "ㅋ", "ㅈ" 및 "ㅍ" 각각의 위치가 (F)일 때, 패턴광에서 보여질 수 있는 "ㅋ", "ㅈ" 및 "ㅍ" 각각의 범위를 나타낸다.
도 11은 도 1의 영상 획득부 및 깊이 정보 획득부의 동작을 설명하기 위한 도면이다.
도 11에서 참조 부호 11110은 도 5에 도시된 패턴광을 나타낸다.
패턴광(1110)에 대응하는 입력 영상은 반사면의 거리에 따라 달라질 수 있다. 단순한 예로서, 패턴광(1110)의 패턴은 반사면의 거리에 따라, 입력 영상에서 일정한 방향으로 쉬프트(shift)된 형태로 나타날 수 있다. 물론, 패턴의 변화는 일정한 방향이 아닌 다양한 방향으로의 쉬프트된 형태로 나타날 수 도 있다.
도 11에서 참조 부호 1140은 10x10 크기의 참조 영역을 나타낸다.
반사면이 제1 거리에 위치하는 경우, 제1 입력 영상(1120)은 제1 변화량(1121) 만큼 쉬프트된 형태로 나타날 수 있다. 이때, 참조 영역(1140)과 동일한 패턴의 조합을 갖는 단위 영역(1150)은 제1 변화량(1121) 만큼 쉬프트된 위치에서 검출될 수 있다. 이때, 깊이 정보 획득부(130)는 제1 변화량(1121)을 이용하여 거리 정보를 계산할 수 있다.
또한, 반사면이 제2 거리에 위치하는 경우, 제2 입력 영상(1130)은 제2 변화량(1131) 만큼 쉬프트된 형태로 나타날 수 있다. 이때, 깊이 정보 획득부(130)는 제1 변화량(1131)을 이용하여 깊이 정보를 계산할 수 있다.
또한, 깊이 정보 획득부(130)는 제1 입력 영상(1120) 및 제2 입력 영상(1130)을 비교하여 제2 변화량(1131) 및 제1 변화량(1121)의 차를 구하고, 제2 변화량(1131) 및 제1 변화량(1121)의 차를 이용하여 참조 영역(1140)의 깊이 변화를 계산할 수 도 있다.
한편, 반사 거리에 따른 패턴광과 입력 영상 사이의 패턴 관계식은 수학식 2와 같이 정의될 수 있다.
[수학식 2]
Figure 112012043145172-pat00019
이때,
Figure 112012043145172-pat00020
는 상기 입력 영상에서 좌표가
Figure 112012043145172-pat00021
인 패턴 표현자의 깊이 값이다. 수학식 2에서 yi는 yp이다.
이때, xi는 수학식 3과 같이 정의될 수 있다.
[수학식 3]
Figure 112012043145172-pat00022
깊이 정보 획득부(130)는 입력 영상의 모든 픽셀에 대한 깊이 값을 계산함으로써, 입력 영상의 깊이 정보를 획득할 수 있다.
한편, [수학식 2]는 거리에 따른 패턴의 왜곡 및 하드웨어 장치에 의해 생길 수 있는 왜곡을 고려하지 않은 예이다.
따라서, 거리에 따른 패턴의 왜곡 및 하드웨어 장치에 의해 생길 수 있는 왜곡을 고려하여 패턴광과 입력 영상 사이의 패턴 관계식이 수정될 수 있다.
즉, 거리에 따라 패턴 표현자의 모양이 변형되는 왜곡 및 장치(100)를 구성하는 하드웨어들의 노이즈 특성을 반영하여 보다 정확한 거리 정보를 획득할 수 있다.
깊이 정보 획득부(130) 또는 왜곡 보정부(140)는 수학식 4 내지 수학식 6을 이용하여 왜곡 보정 항목이 반영된 관계식을 구할 수 있다.
[수학식 4]
Figure 112012043145172-pat00023
[수학식 5]
Figure 112012043145172-pat00024
[수학식 6]
Figure 112012043145172-pat00025
여기서 왜곡 보정 항목 Wx, Wy, Wz 는 실제 측정한 샘플 데이터 세트(xi, yi, xp, yp, Z) 들을 이용하여 구할 수 있다. 이때, 샘플 입력 영상의 수가 많을 수록, 또한, 왜곡 보정식의 차수가 높을 수록 더 정확한 왜곡 보정식의 해를 구할 수 있다.
이때, 샘플 입력 영상은 도 7의 Zmin 및 Zmax 각각에 반사면이 위치하는 경우에 획득된 입력 영상을 포함할 수 있다. 또한, 샘플 입력 영상은 (Zmax- Zmin)/2의 거리에 위치한 반사면으로부터 획득된 입력 영상을 더 포함할 수 있다. 물론, 샘플 입력 영상은 Zmin 및 Zmax 사이의 임의의 위치에 반사면이 존재할 때 획득된 입력 영상을 더 포함할 수 있다.
도 12는 본 발명의 일 실시예에 따른 깊이 정보 획득 방법을 나타내는 흐름도이다.
도 12에 도시된 방법은 도 1의 깊이 정보 획득 장치(100)에 의해 수행될 수 있다.
1210단계에서 깊이 정보 획득 장치(100)는 패턴광을 오브젝트 영역에 투사한다.
1220단계에서 깊이 정보 획득 장치(100)는 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득한다.
1230단계에서 깊이 정보 획득 장치(100)는 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정한다.
1240단계에서 깊이 정보 획득 장치(100)는 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득할 수 있다.
즉, 깊이 정보 획득 장치(100)는 수학식 1 또는 수학식 2를 이용하여 입력 영상의 깊이 정보를 계산할 수 있다. 이때, 수학식 2의 왜곡 보정 항목은 미리 계산되어 저장된 값일 수 있다.
1240단계에서 깊이 정보 획득 장치(100)는 현재 입력 영상과 이전 입력 영상을 비교하여 패턴의 변화가 있는 참조 영역을 검출하고, 상기 패턴광에 기초하여 상기 현재 입력 영상에서 패턴의 위치 변화가 가능한 범위(range)를 계산하고, 상기 패턴의 위치 변화가 가능한 범위(range) 내에서 상기 참조 영역의 패턴 분포와 동일한 패턴 분포를 갖는 변화 영역을 획득하고, 패턴 분포의 위치 변화를 이용하여 상기 참조 영역의 깊이 정보를 계산할 수 있다.
도 13은 본 발명의 다른 일 실시예에 따른 깊이 정보 획득 방법을 나타내는 흐름도이다.
도 13에 도시된 방법은 도 1의 깊이 정보 획득 장치(100)에 의해 수행될 수 있다.
1310단계에서 깊이 정보 획득 장치(100)는 패턴광을 오브젝트 영역에 투사한다.
1320단계에서 깊이 정보 획득 장치(100)는 오브젝트 영역을 촬영하여 샘플 입력 영상들을 획득한다. 이때, 샘플 입력 영상들 각각은 상기 오브젝트 영역 내의 기 설정된 거리에 반사면이 위치하는 경우에 촬영된 영상들이다.
이때, 샘플 입력 영상들은 최대 측정 가능 거리에 반사 면이 위치하는 경우에 촬영된 제1 샘플 입력 영상 및 최소 측정 가능 거리에 반사면이 위치하는 경우에 촬영된 제2 샘플 입력 영상을 포함할 수 있다.
1330단계에서 깊이 정보 획득 장치(100)는 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목을 계산한다.
즉, 깊이 정보 획득 장치(100)는 수학식 6과 같이 왜곡 보정 항목이 반영된 관계식을 계산한다.
1340단계에서 깊이 정보 획득 장치(100)는 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화 및 상기 왜곡 보정 항목에 기초하여 현재 입력 영상의 깊이 정보를 획득한다. 이때, 깊이 정보 획득 장치(100)는 수학식 10을 이용하여 현재 입력 영상의 깊이 정보를 획득할 수 있다.
1350단계에서 깊이 정보 획득 장치(100)는 현재 입력 영상과 이전 입력 영상을 비교하여 패턴의 변화가 있는 단위 영역을 검출한다.
이때, 현재 입력 영상은 예를 들어 도 11의 1130이고, 이전 입력 영상은 도 11의 1120일 수 있다.
이때, 패턴의 변화가 있는 단위 영역을 "참조 영역"이라 칭할 수 있고, 참조 영역의 패턴 분포와 동일한 패턴 분포를 갖는 단위 영역을 "변화 영역"이라 칭할 수 도 있다. 예를 들어, 참조 영역은 도 11의 1140 이고, 변화 영역은 도 11의 1150일 수 있다.
1360단계에서 깊이 정보 획득 장치(100)는 패턴 분포의 위치 변화를 이용하여 해당 단위 영역 즉, 참조 영역의 깊이 정보를 계산할 수 있다.
이와 같이, 이전 입력 영상과 현재 입력 영상을 비교하여 패턴의 분포가 변화된 영역에 대해서만 깊이 정보를 계산하기 때문에, 고속의 깊이 정보 획득이 가능하다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (16)

  1. 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함하고, 상기 패턴광을 오브젝트 영역에 투사하는 패턴 투사부;
    상기 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득하는 영상 획득부; 및
    상기 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득하는 깊이 정보 획득부를 포함하고,
    상기 패턴은 N개(N은 정수)의 단위 영역들로 구분되고 상기 N개의 단위 영역들 각각은 서로 다른 패턴 표현자 조합에 의해 구분되는,
    패턴 광을 이용한 깊이 정보 획득 장치.
  2. 제1항에 있어서,
    상기 복수의 패턴 표현자들은,
    점, 선 또는 면을 포함하거나, 회전 방향에 따라 표현자들 간에 구분이 가능한 모양을 갖는,
    패턴 광을 이용한 깊이 정보 획득 장치.
  3. 제1항에 있어서,
    상기 패턴 표현자 조합은 패턴 표현자의 모양 및 배열 위치인,
    패턴 광을 이용한 깊이 정보 획득 장치.
  4. 제1항에 있어서,
    상기 복수의 패턴 표현자들의 총 개수는 m개(m은 정수)이고, 상기 복수의 패턴 표현자들의 종류는 k개(m>k)이고, 상기 m개의 패턴 표현자들은 상기 패턴의 내부에 균일한 밀도로 배치되는,
    패턴 광을 이용한 깊이 정보 획득 장치.
  5. 제1항에 있어서,
    샘플 입력 영상들을 이용하여 상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목을 계산하는 왜곡 보정부를 더 포함하고,
    상기 깊이 정보 획득부는 상기 왜곡 보정 항목을 이용하여, 현재 입력되는 입력 영상의 깊이 정보를 획득하고,
    상기 샘플 입력 영상들 각각은 상기 오브젝트 영역 내의 기 설정된 거리에 반사면이 위치하는 경우에 촬영된 영상들인,
    패턴 광을 이용한 깊이 정보 획득 장치.
  6. 제5항에 있어서,
    상기 샘플 입력 영상들은 최대 측정 가능 거리에 반사 면이 위치하는 경우에 촬영된 제1 샘플 입력 영상 및 최소 측정 가능 거리에 반사면이 위치하는 경우에 촬영된 제2 샘플 입력 영상을 포함하는,
    패턴 광을 이용한 깊이 정보 획득 장치.
  7. 제1항에 있어서,
    상기 깊이 정보 획득부는,
    현재 입력 영상과 이전 입력 영상을 비교하여 패턴의 변화가 있는 참조 영역을 검출하는 패턴 비교부;
    상기 패턴광에 기초하여 상기 현재 입력 영상에서 패턴의 위치 변화가 가능한 범위(range)를 계산하는 범위 계산부; 및
    상기 패턴의 위치 변화가 가능한 범위(range) 내에서 상기 참조 영역의 패턴 분포와 동일한 패턴 분포를 갖는 영역을 검출하고, 패턴 분포의 위치 변화를 이용하여 상기 참조 영역의 깊이 정보를 계산하는 깊이 정보 계산부를 포함하는,
    패턴 광을 이용한 깊이 정보 획득 장치.
  8. 제1항에 있어서,
    상기 깊이 정보 획득부는,
    하기 수학식 1을 이용하여 상기 입력 영상의 깊이 정보를 획득하는,
    [수학식]
    Figure 112012043145172-pat00026

    여기서,
    Figure 112012043145172-pat00027
    는 상기 입력 영상에서 좌표가
    Figure 112012043145172-pat00028
    인 패턴 표현자의 깊이 값,
    Figure 112012043145172-pat00029
    는 상기 패턴광의 좌표,
    Figure 112012043145172-pat00030
    는 상기 패턴 투사부의 투사각
    Figure 112012043145172-pat00031
    는 상기 영상 획득부의 입사각, D는 상기 패턴 투사부와 상기 영상 획득부 사이의 중심거리,
    Figure 112012043145172-pat00032
    는 상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목인,
    패턴 광을 이용한 깊이 정보 획득 장치.
  9. 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴광을 오브젝트 영역에 투사하는 - 여기서, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함함- 단계;
    상기 오브젝트 영역을 촬영하여 입력 영상(input image)을 획득하는 단계;
    상기 입력 영상으로부터 상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하는 단계; 및
    상기 위치 변화에 기초하여 상기 입력 영상의 깊이 정보를 획득하는 단계를 포함하고,
    상기 패턴은 N개(N은 정수)의 단위 영역들로 구분되고 상기 N개의 단위 영역들 각각은 서로 다른 패턴 표현자 조합에 의해 구분되는,
    패턴 광을 이용한 깊이 정보 획득 방법.
  10. 제9항에 있어서,
    상기 복수의 패턴 표현자들은,
    점, 선 또는 면을 포함하거나, 회전 방향에 따라 표현자들 간에 구분이 가능한 모양을 갖는,
    패턴 광을 이용한 깊이 정보 획득 방법.
  11. 제9항에 있어서,
    상기 패턴 표현자 조합은 패턴 표현자의 모양 및 배열 위치인,
    패턴 광을 이용한 깊이 정보 획득 방법.
  12. 제9항에 있어서,
    상기 복수의 패턴 표현자들의 총 개수는 m개(m은 정수)이고, 상기 복수의 패턴 표현자들의 종류는 k개(m>k)이고, 상기 m개의 패턴 표현자들은 상기 패턴의 내부에 균일한 밀도로 배치되는,
    패턴 광을 이용한 깊이 정보 획득 방법.
  13. 제9항에 있어서,
    상기 입력 영상의 깊이 정보를 획득하는 단계는,
    현재 입력 영상과 이전 입력 영상을 비교하여 패턴의 변화가 있는 단위 영역을 검출하는 단계;
    상기 패턴광에 기초하여 상기 현재 입력 영상에서 패턴의 위치 변화가 가능한 범위(range)를 계산하는 단계;
    상기 패턴의 위치 변화가 가능한 범위(range) 내에서 상기 단위 영역의 패턴 분포와 동일한 패턴 분포를 갖는 변화 영역을 획득하는 단계; 및
    패턴 분포의 위치 변화를 이용하여 상기 단위 영역의 깊이 정보를 계산하는 단계를 포함하는,
    패턴 광을 이용한 깊이 정보 획득 방법.
  14. 제9항에 있어서,
    상기 입력 영상의 깊이 정보를 획득하는 단계는,
    하기 수학식 1을 이용하여 상기 입력 영상의 깊이 정보를 획득하는,
    [수학식]
    Figure 112012043145172-pat00033

    여기서,
    Figure 112012043145172-pat00034
    는 상기 입력 영상에서 좌표가
    Figure 112012043145172-pat00035
    인 패턴 표현자의 깊이 값,
    Figure 112012043145172-pat00036
    는 상기 패턴광의 좌표,
    Figure 112012043145172-pat00037
    는 상기 패턴 투사부의 투사각
    Figure 112012043145172-pat00038
    는 상기 영상 획득부의 입사각, D는 상기 패턴 투사부와 상기 영상 획득부 사이의 중심거리,
    Figure 112012043145172-pat00039
    는 상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목인,
    패턴 광을 이용한 깊이 정보 획득 방법.
  15. 광원 및 패턴 생성자를 사용하여 패턴광을 생성하고, 상기 패턴광을 오브젝트 영역에 투사하는 - 여기서, 상기 패턴 생성자는 복수의 패턴 표현자들로 구성된 패턴(pattern)을 포함함- 단계;
    상기 오브젝트 영역을 촬영하여 샘플 입력 영상들을 획득하는 단계;
    상기 패턴광에 포함된 패턴 및 상기 입력 영상에 포함된 패턴 사이의 왜곡 보정 항목을 계산하는 단계; 및
    상기 복수의 패턴 표현자 들 중 적어도 하나의 위치 변화를 측정하고, 상기 위치 변화 및 상기 왜곡 보정 항목에 기초하여 현재 입력 영상의 깊이 정보를 획득하는 단계를 포함하고,
    상기 샘플 입력 영상들 각각은 상기 오브젝트 영역 내의 기 설정된 거리에 반사면이 위치하는 경우에 촬영된 영상들인,
    패턴 광을 이용한 깊이 정보 획득 방법.
  16. 제15항에 있어서,
    상기 샘플 입력 영상들은 최대 측정 가능 거리에 반사 면이 위치하는 경우에 촬영된 제1 샘플 입력 영상 및 최소 측정 가능 거리에 반사면이 위치하는 경우에 촬영된 제2 샘플 입력 영상을 포함하는,
    패턴 광을 이용한 깊이 정보 획득 방법.
KR1020120057186A 2011-10-05 2012-05-30 패턴 광을 이용한 깊이 정보 획득 장치 및 방법 KR101605224B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102012108567.6A DE102012108567B4 (de) 2011-10-05 2012-09-13 Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters
US13/615,448 US9142025B2 (en) 2011-10-05 2012-09-13 Method and apparatus for obtaining depth information using optical pattern

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110101200 2011-10-05
KR20110101200 2011-10-05

Publications (2)

Publication Number Publication Date
KR20130037152A KR20130037152A (ko) 2013-04-15
KR101605224B1 true KR101605224B1 (ko) 2016-03-22

Family

ID=48438248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120057186A KR101605224B1 (ko) 2011-10-05 2012-05-30 패턴 광을 이용한 깊이 정보 획득 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101605224B1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101808840B1 (ko) 2015-09-04 2017-12-13 한국전자통신연구원 학습 기반 깊이 정보 추출 방법 및 장치
US10924638B2 (en) 2016-06-27 2021-02-16 Intel Corporation Compact, low cost VCSEL projector for high performance stereodepth camera
JP7133554B2 (ja) 2016-12-07 2022-09-08 マジック アイ インコーポレイテッド 焦点調整可能な画像センサを含む距離センサ
US10885761B2 (en) 2017-10-08 2021-01-05 Magik Eye Inc. Calibrating a sensor system including multiple movable sensors
EP3692396A4 (en) 2017-10-08 2021-07-21 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
KR102457891B1 (ko) * 2017-10-30 2022-10-25 삼성전자주식회사 이미치 처리 방법 및 장치
EP3769505A4 (en) 2018-03-20 2021-12-01 Magik Eye Inc. ADJUSTING THE EXPOSURE OF A CAMERA FOR THREE-DIMENSIONAL DEPTH DETECTION AND TWO-DIMENSIONAL IMAGING
EP3769121A4 (en) 2018-03-20 2021-12-29 Magik Eye Inc. Distance measurement using projection patterns of varying densities
WO2019236563A1 (en) 2018-06-06 2019-12-12 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
KR102570059B1 (ko) * 2018-08-16 2023-08-23 엘지이노텍 주식회사 센싱 방법 및 장치
KR102551261B1 (ko) * 2018-10-08 2023-07-05 삼성전자주식회사 외부 객체에 투사된 구조광을 이용하여 깊이 정보를 생성하는 방법 및 이를 사용하는 전자 장치
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
WO2020197813A1 (en) * 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020231747A1 (en) 2019-05-12 2020-11-19 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
WO2021113135A1 (en) 2019-12-01 2021-06-10 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
EP4097681A1 (en) 2020-01-05 2022-12-07 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. BATLLE, et al. RECENT PROGRESS IN CODED STRUCTURED LIGHT AS A TECHNIQUE TO SOLVE THE CORRESPONDENCE PROBLEM: A SURVEY. Pattern Recognition, Vol 31, No. 7, pp. 963-982, 1998.
Jing Xu, et al. Real-time 3D Shape Measurement System based on Single Structure Light Pattern. 2010 IEEE International Conference on Robotics and Automation. May 3-8, Ancharage, pp. 121-126.
Jiyoung Park et al. Using structured light for efficient depth edge detection. 2008, www.sciencedirect.com.

Also Published As

Publication number Publication date
KR20130037152A (ko) 2013-04-15

Similar Documents

Publication Publication Date Title
KR101605224B1 (ko) 패턴 광을 이용한 깊이 정보 획득 장치 및 방법
US9142025B2 (en) Method and apparatus for obtaining depth information using optical pattern
KR101954855B1 (ko) 볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용
JP4473136B2 (ja) 局所的独自パターンを使用した能動的ステレオ技術による３次元画像の取得
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
CN102203551B (zh) 用于提供三维和距离面间判定的方法和系统
JP6161714B2 (ja) ３次元の物体の直線寸法を制御する方法
CN107860337B (zh) 基于阵列相机的结构光三维重建方法与装置
CN103069250A (zh) 三维测量设备、三维测量方法和计算机程序
CN208887565U (zh) 一种非接触式高精度的三维测量系统
CN111971525B (zh) 用立体镜测量物体的方法和系统
JP2015021862A (ja) ３次元計測装置及び３次元計測方法
US20220222843A1 (en) Three-dimensional measurement system and three-dimensional measurement method
US10643341B2 (en) Replicated dot maps for simplified depth computation using machine learning
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
CN108303040A (zh) 一种基于平面复眼和同轴结构光的三维测量系统及使用方法
RU125335U1 (ru) Устройство контроля линейных размеров трехмерных объектов
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
JP2006308452A (ja) ３次元形状計測方法および装置
RU112992U1 (ru) Устройство бесконтактного измерения геометрических параметров поверхности лица человека
RU164082U1 (ru) Устройство контроля линейных размеров трехмерных объектов
Gribben et al. Structured light 3D measurement of reflective objects using multiple DMD projectors
WO2022113877A1 (ja) 三次元計測装置及び三次元計測プログラム
JP5191772B2 (ja) 撮像装置および３次元形状計測装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 4