KR101925028B1 - 깊이 영상 생성 장치 및 방법 - Google Patents

깊이 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR101925028B1
KR101925028B1 KR1020120095027A KR20120095027A KR101925028B1 KR 101925028 B1 KR101925028 B1 KR 101925028B1 KR 1020120095027 A KR1020120095027 A KR 1020120095027A KR 20120095027 A KR20120095027 A KR 20120095027A KR 101925028 B1 KR101925028 B1 KR 101925028B1
Authority
KR
South Korea
Prior art keywords
light
micro
micro block
pattern
block
Prior art date
Application number
KR1020120095027A
Other languages
English (en)
Other versions
KR20140028536A (ko
Inventor
김성민
신윤섭
이창환
정용우
조아영
양선호
권영만
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120095027A priority Critical patent/KR101925028B1/ko
Publication of KR20140028536A publication Critical patent/KR20140028536A/ko
Application granted granted Critical
Publication of KR101925028B1 publication Critical patent/KR101925028B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

TOF 방식을 이용한 깊이 영상 생성 장치 및 방법이 개시된다. 깊이 영상 생성 장치는 물체에 조사할 광원을 발생하는 레이저 다이오드, 상기 광원을 평행하게 만드는 콜리메이터 렌즈, 및 상기 평행광을 기반으로 패턴을 생성하여 상기 물체로 조사하는 패턴 소자를 포함하는 송광부, 및 상기 물체로부터 반사되는 광을 수광하는 초점 렌즈, 상기 수광된 광의 특정 파장을 투과시키는 필터, 상기 물체에 조사된 광과 상기 필터에서 투과된 반사광의 위상차를 이용하여 상기 물체의 깊이 정보를 측정하는 TOF(Time of flight) 센서, 및 상기 물체의 깊이 정보를 기반으로 깊이 영상을 생성하는 TOF 프로세서를 포함하는 수광부를 포함한다.

Description

깊이 영상 생성 장치 및 방법{Apparatus and method of generating depth image}
본 발명은 깊이 영상 생성 장치 및 방법에 관한 것으로서, 더욱 상세하게는 물체(object)의 깊이(depth)를 측정하여 깊이 영상을 생성하는 장치 및 방법에 관한 것이다.
일반적으로 3차원 입체 영상은 입체감과 몰입감을 줄 수 있도록 색상 영상과 함께 물체(object)의 깊이 영상을 기반으로 생성된다. 이때 물체의 깊이 영상을 생성하기 위해서는 물체의 깊이를 측정해야 한다.
물체의 깊이를 측정하는 방법 중 하나로 TOF(Time of flight) 방식이 있다. 상기 TOF 방식은 물체에 직접적으로 광을 조사하고 상기 물체로부터 되돌아오는 반사광의 시간을 계산함으로써 그 물체의 깊이를 측정하는 방식이다. 즉, 물체에 조사된 광과 그 물체에서 반사된 광의 위상차를 이용하여 물체와 카메라 사이의 거리인 깊이 정보를 취득한다.
도 1은 종래 기술에 따른 깊이 영상 생성 장치의 일 실시예를 보인 구성 블록도로서 크게 송광부(110)와 수광부(120)로 구성된다.
상기 송광부(110)는 적외선(IR) LED(Light emitting diode)(111)와 투사 렌즈(112)를 포함한다. 상기 수광부(120)는 고정 초점 렌즈(121), IR 필터(122), TOF 센서(123) 및 TOF 프로세서(124)를 포함한다.
상기 송광부(110)의 IR LED(111)는 도 2에서와 같이 일정한 주기를 갖는 변조된 광 신호를 투사렌즈(112)로 출력하고, 상기 투사렌즈(112)는 변조된 광 신호를 물체에 투사한다. 상기 변조된 광 신호는 펄스 형태인 것을 일 실시예로 한다.
그리고 상기 수광부(120)의 고정 초점 렌즈(121)는 물체에서 반사되는 광을 수광하여 IR 필터(122)로 출사한다. 상기 IR 필터(122)는 입사되는 광중 IR 파장에 해당하는 광만을 TOF 센서(123)로 투과한다. 상기 TOF 센서(123)는 상기 IR 필터(122)를 투과하는 광을 전기적인 신호로 변환하고, 변환된 신호를 기반으로 상기 물체의 깊이 정보를 측정한다. 즉, 상기 TOF 센서(123)의 각 픽셀은 도 3에 나타낸 바와 같이 송광부(110)에서 물체로 방출된 변조 신호와 상기 물체로부터 반사되는 반사 신호의 위상 이동(phase shift) 양을 검출하고 이를 깊이 정보로 변환한다.
이때 상기 TOF 센서(123)에서 추출되는 깊이 정보는 변조 신호의 파워(Ua)와 반사 신호의 파워(Ub)의 차 신호(Ua-Ub)의 크기에 의해 결정된다. 여기서 Ua-Ub 신호의 크기는 광원과 물체간의 거리에 따라 바뀐다.
도 4는 변조된 신호와 반사 신호가 동일한 위상일 때의 위상 이동 검출 방법을 보인 것으로서, 이 경우 변조 신호의 파워(Ua)가 반사 신호의 파워(Ub)보다 크다(Ua > Ub).
도 5는 변조된 신호와 반사 신호가 180도 위상차를 가질 때의 위상 이동 검출 방법을 보인 것으로서, 이 경우 변조 신호의 파워(Ua)가 반사 신호의 파워(Ub)보다 작다(Ua < Ub).
도 6은 변조된 신호와 반사 신호가 45도 위상차를 가질 때의 위상 이동 검출 방법을 보인 것으로서, 이 경우 변조 신호의 파워(Ua)와 반사 신호의 파워(Ub)가 같다(Ua = Ub).
한편 광원으로 IR LED를 사용하게 되면, 광이 물체의 전면에 조사된다. 따라서 TOF 센서(123)의 한 픽셀로 여러 경로의 광이 들어오게 된다. 즉, 상기 TOF 센서(123)의 한 픽셀에 대응하는 물체의 해당 서브 블록뿐만 아니라 다른 서브 블록에서 반사되는 광들이 상기 TOF 센서(123)의 한 픽셀로 입사되게 된다. 이렇게 되면 서로 다른 위상을 가진 반사광들이 상기 TOF 센서(123)의 한 픽셀로 입사되므로 위상 노이즈가 발생하게 된다. 상기 위상 노이즈는 물체 바운더리의 샤프니스(sharpness)를 저하시키는 원인이 된다. 즉, 상기 위상 노이즈는 물체 바운더리가 블러링(blurring)해지는 원인이 된다.
도 7은 TOF 센서(123)의 한 픽셀로 입사되는 광들의 예를 보인 도면으로서, TOF 센서(123)의 한 픽셀(Sc)에 대응하는 물체 평면의 서브 블록(Oc) 및 주변 서브 블록으로부터 반사되는 광들이 상기 TOF 센서(123)의 한 픽셀(Sc)로 입사되는 예를 보이고 있다. 특히 상기 TOF 센서(123)의 한 픽셀에 대응하는 물체의 해당 서브 블록이 바운더리(또는 에지라 함)에 해당되면, 상기 TOF 센서(123)는 주변 서브 블록에는 물체가 없어도 다양한 경로의 반사광으로 인해 주변 서브 블록에도 물체가 있는 것처럼 인식한다.
이로 인해 상기 물체의 바운더리가 블러링(blurring)해지는 문제가 발생한다.
도 8은 서로 다른 위상을 가지는 두개의 반사광이 TOF 센서(123)의 한 픽셀로 입사되는 일 실시예를 보이고, 도 9는 서로 다른 위상을 가지는 두개의 반사광이 TOF 센서(123)의 한 픽셀로 입사되는 다른 실시예를 보이고 있다.
도 8과 같이 위상 노이즈가 발생하게 되면 도 10의 (a)와 같이 물체 바운더리가 블러링해진다. 그리고 도 9와 같이 위상 노이즈가 발생하게 되면 도 10의 (b)와 같이 물체 바운더리가 블러링해진다.
그리고 물체 바운더리가 블러링해지면, 제스처 인식시 정확하게 제스처를 인식하지 못하고, 물체 세그멘테이션(object segmentation)시 원하는 영상을 정확하게 세그메테이션하지 못하는 문제가 발생하게 된다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 물체 바운더리의 샤프니스를 향상시키도록 하는 깊이 영상 생성 장치 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 깊이 영상 생성 장치는 물체에 조사할 광원을 발생하는 레이저 다이오드, 상기 광원을 평행하게 만드는 콜리메이터 렌즈, 및 상기 평행광을 기반으로 패턴을 생성하여 상기 물체로 조사하는 패턴 소자를 포함하는 송광부, 및 상기 물체로부터 반사되는 광을 수광하는 초점 렌즈, 상기 수광된 광의 특정 파장을 투과시키는 필터, 상기 물체에 조사된 광과 상기 필터에서 투과된 반사광의 위상차를 이용하여 상기 물체의 깊이 정보를 측정하는 TOF(Time of flight) 센서, 및 상기 물체의 깊이 정보를 기반으로 깊이 영상을 생성하는 TOF 프로세서를 포함하는 수광부를 포함한다. 상기 패턴 소자는 물체를 Bx(여기서 Bx>1) * By(여기서 By>1)개의 서브 블록으로 구분하고, 각 서브 블록을 N(N>1)*M(M>1)개의 마이크로 블록으로 구분한 후 하나의 광 스폿이 하나의 마이크로 블록에 조사되도록 상기 패턴을 생성하는 것을 일 실시예로 한다.
상기 패턴 소자는 회절성 광학 엘리먼트(Diffractive Optical Element, DOE)를 포함하는 것을 일 실시예로 한다.
본 발명의 일 실시예에 따른 깊이 영상 생성 방법은 레이저 다이오드로부터 발생된 광원을 평행광으로 출력하는 단계, 상기 평행광을 기반으로 패턴을 생성하여 물체에 조사하며, 상기 패턴은 상기 물체를 Bx(여기서 Bx>1) * By(여기서 By>1)개의 서브 블록으로 구분하고, 각 서브 블록을 N(여기서 N>1)*M(여기서 M>1)개의 마이크로 블록으로 구분한 후 하나의 광 스폿이 하나의 마이크로 블록에 조사되도록 생성하는 단계, 및 상기 물체에 조사된 광과 상기 물체로부터 반사된 광의 위상차를 이용하여 상기 물체의 깊이 정보를 측정하고, 측정된 물체의 깊이 정보를 기반으로 깊이 영상을 생성하는 단계를 포함한다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명은 광의 파워는 유지하면서 스폿 형태로 광을 물체에 집중시켜 물체의 깊이를 측정하고, 측정된 깊이 정보를 기반으로 깊이 영상을 생성하도록 함으로써, 물체 바운더리의 샤프니스를 향상시키는 효과가 있다. 이로 인해 제스처 인식시 정확하게 제스처를 인식할 수 있고, 물체 세그멘테이션(object segmentation)시 원하는 영상을 정확하게 세그메테이션할 수 있게 된다.
도 1은 종래 기술에 따른 깊이 영상 생성 장치의 일 실시예를 보인 구성 블록도
도 2는 일정한 주기를 갖는 변조 신호가 물체에 조사된 후 반사되는 과정의 일 예를 보인 도면
도 3은 TOF 센서에서 깊이 정보를 측정하는 원리의 일 예를 보인 도면
도 4는 물체에 조사된 신호와 물체로부터 반사된 신호의 위상차가 같을 때 깊이 정보를 검출하는 방법의 일 예를 보인 도면
도 5는 물체에 조사된 신호와 물체로부터 반사된 신호의 위상차가 180도 차이날 때 깊이 정보를 검출하는 방법의 일 예를 보인 도면
도 6은 물체에 조사된 신호와 물체로부터 반사된 신호의 위상차가 45도 차이날 때 깊이 정보를 검출하는 방법의 일 예를 보인 도면
도 7은 종래 기술에 따른 깊이 영상 생성 장치에서 TOF 센서의 픽셀로 입사되는 광선들의 일 예를 보인 도면
도 8은 서로 다른 위상을 가지는 두개의 반사광이 TOF 센서의 한 픽셀로 입사되는 일 예를 보인 도면
도 9는 서로 다른 위상을 가지는 두개의 반사광이 TOF 센서의 한 픽셀로 입사되는 다른 예를 보인 도면
도 10의 (a)는 도 8과 같이 위상 노이즈가 발생하게 될 때, 물체 바운더리가 블러링해지는 일 예를 보인 도면
도 10의 (b)는 도 9와 같이 위상 노이즈가 발생하게 될 때, 물체 바운더리가 블러링해지는 일 예를 보인 도면
도 11은 본 발명에 따른 깊이 영상 생성 장치의 일 실시예를 보인 구성 블록도
도 12는 본 발명에 따른 복수개의 광 스폿 형태의 패턴을 가지는 광이 물체에 조사되는 일 예를 보인 도면
도 13은 본 발명에 따른 광 스폿이 조사되는 물체를 복수개의 서브 블록으로 분할하는 일 예를 보인 도면
도 14는 본 발명에 따른 각 서브 블록을 다시 복수개의 마이크로 블록으로 분할하는 일 예를 보인 도면
도 15의 (a)는 종래의 깊이 영상 생성 장치를 이용하여 깊이 영상을 생성할 때, 물체 바운더리에서 블러링이 발생하는 예를 보인 도면
도 15의 (b)는 본 발명에 따른 깊이 영상 생성 장치를 이용하여 깊이 영상을 생성할 때, 물체 바운더리에서 샤프니스가 향상된 예를 보인 도면
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
또한 본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
그리고 본 발명에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
또한 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명은 물체 바운더리에서 샤프니스를 향상시키기 위하여 물체 바운더리에 조사되는 광의 개수를 낮출 수 있도록 하는데 있다. 즉, 물체 바운더리가 아닌 부분의 반사광이 물체 바운더리에 해당하는 TOF 센서의 픽셀로 입사될 확률을 낮춘다.
이를 위해 본 발명은 송광부의 광원으로 LED 대신 LD(Laser diode)를 사용하면서 추가로 콜리메이터 렌즈와 패턴 소자를 이용하여 물체에 투사되는 광의 파워는 유지하면서 스폿 형태로 광을 집중시켜 물체에 투사하는 것을 일 실시예로 한다. 즉, 패턴을 갖는 광을 물체에 투사한다.
도 11은 본 발명에 따른 깊이 영상 생성 장치의 일 실시예를 보인 구성 블록도로서, 크게 송광부(210)와 수광부(220)로 구성된다.
상기 송광부(210)는 LD(211), 콜리메이터 렌즈(212), 및 패턴 소자(213)를 포함한다. 상기 수광부(220)는 도 1과 동일하게 고정 초점 렌즈(121), IR 필터(122), TOF 센서(123) 및 TOF 프로세서(124)를 포함한다.
상기 LD(211)에서 나온 광원은 콜리메이터 렌즈(212)로 입사되고, 상기 콜리메이터 렌즈(212)는 입사되는 광을 평행광으로 만들어 패턴 소자(213)로 출사한다.
상기 패턴 소자(213)는 패턴을 형성하고, 상기 패턴을 가지는 광을 물체에 투사한다. 여기서 상기 패턴은 고정된 패턴일 수도 있고, 물체의 거리나 화각 등에 의해 가변되는 패턴일 수도 있다. 상기 패턴 소자(213)는 복수개의 스폿 형태의 패턴을 형성하는 것을 일 실시예로 한다. 이때 상기 패턴은 복수개의 스폿이 랜덤하게 배열될 수도 있고, 복수개의 스폿이 규칙을 가지고 균일하게 배열될 수도 있다.
도 12는 상기 패턴 소자(213)를 통해 스폿 형태로 물체에 조사되는 패턴의 일 예를 보인 도면이다.
상기 패턴 소자(213)는 회절성 광학 엘리먼트(Diffractive Optical Element, DOE)를 포함하는 것을 일 실시예로 한다. 즉, 본 발명은 물체의 깊이 측정을 위한 패턴 형성에 DOE를 사용하는 것을 일 실시예로 한다. 상기 DOE는 패턴 구조에 의해 빔이 회절하면서 패턴에 따라 다양한 빔 패턴을 발생한다.
이때 상기 DOE는 물체 바운더리에서의 샤프니스 증진을 위해 다음의 조건을 만족하도록 설계하는 것을 일 실시예로 한다.
즉, 도 13에서와 같이 물체(즉, 물체 표면)를 가상의 스크린이라고 가정하고, 스크린을 Bx(Bx>1) * By(By>1)의 서브 블록으로 구분한다면, 임의의 서브 블록 B*에 대하여 DOE는 아래 및 도 14와 같이 규칙성을 갖도록 설계하는 것을 일 실시예로 한다.
규칙 1은 물체 내 하나의 서브 블록(예, B*)을 N(N>1)*M(M>1)의 마이크로 블록으로 구분한 후, 하나의 광 스폿이 하나의 마이크로 블록에 조사되도록 한다. 그리고 N*M개의 마이크로 블록들을 복수개의 그룹으로 그룹핑한다. 즉, 복수개의 그룹 중 각 그룹은 Dx(Dx≤N)*Dy(Dy≤M)개의 마이크로 블록을 포함한다.
도 14는 규칙 1에 의해 하나의 서브 블록(B*)이 N*M개의 마이크로 블록으로 구분되고, 구분된 N*M개의 마이크로 블록들이 다시 복수개의 그룹으로 그룹핑되는 예를 보이고 있다. 도 14의 왼쪽은 복수개의 그룹 중 하나의 그룹을 확대한 것으로서, 하나의 그룹이 2*2(=4)개의 마이크로 블록을 포함하는 예이다(즉, Dx=2, Dy=2).
본 발명은 각 그룹 내 각 마이크로 블록의 좌상단을 좌표의 원점(origin)이라고 할 때, 마이크로 블록 내의 스폿(또는 도트라 함)이 해당 원점으로부터 떨어져 있는 물리적 가로 거리를 ixy, 세로 거리를 jxy라 하기로 한다.
규칙 2는 각 그룹 내에서 특정 로우(row)를 선택하고 선택된 로우의 모든 마이크로 블록에서 ixy, jxy 를 측정하였을 때, ixy, jxy 가 각각 균일한(uniform) 확률 분포를 가질 수 있게 DOE를 구성한다. 규칙 2에서 각 그룹의 i(가로),j(세로)번째 마이크로 블록을 이벤트 Ai, Aj라 하기로 한다.
규칙 3은 각 그룹 내에서 특정 컬럼(column)을 선택하고 선택된 컬럼의 모든 마이크로 블록에서 ixy, jxy 를 측정하였을 때, ixy, jxy 가 각각 균일한(uniform) 확률 분포를 가질 수 있게 DOE를 구성한다. 규칙 3에서 각 그룹의 i번째, j번째 마이크로 블록을 이벤트 Bi, Bj라 하기로 한다.
규칙 4는 각 그룹 내에서 좌상단으로부터 특정 각도(예, 45도, 135도 등) 대각선을 선택하고, 선택된 대각선 상의 모든 마이크로 블록에서 ixy, jxy 를 측정하였을 때, ixy, jxy 가 각각 균일한(uniform) 확률 분포를 가질 수 있게 DOE를 구성한다. 규칙 4에서 각 그룹의 i번째, j번째 마이크로 블록을 이벤트 Ci, Cj라 하기로 한다.
이는 다음의 수학식 1과 같은 확률 공간(probability space)으로 표시할 수 있다. 확률 공간은 확률을 수학적인 방식으로 서술한 공간으로, 확률적으로 나타낼 수 있는 이벤트의 집합과 그 이벤트가 가지는 확률을 정의하는 공간이다.
Figure 112012069711652-pat00001
F는 S의 부분 집합으로 이루어진 시그마 필드(σ-field)이다.
P는 F에서 정의된 확률 측도(probability measure)이다. 즉, 상기 각 이벤트에 대한 확률이다.
그리고 상기 각 이벤트의 확률밀도함수 f는 다음의 수학식 2의 조건을 만족하는 것을 일 실시예로 한다.
Figure 112012069711652-pat00002
본 발명은 다른 실시예로, 상기 수학식 1,2를 적용하여 각 그룹에서 ixy, jxy 가 랜덤한 확률 분포를 가지게 할 수도 있다. 이때에도 하나의 마이크로 블록에는 하나의 광 스폿이 위치하도록 한다.
한편 본 발명에서 스크린을 Bx*By 서브 블록으로 나누는 것은 일 예이며, Bx*By가 아닌 임의의 모양과 크기를 가질 수 있다. 또한 하나의 서브 블록 B*를 N*M 마이크로 블록으로 나누는 것은 일 예이며, N*M이 아닌 임의의 모양과 크기를 가질 수 있다. 그리고 서브 블록의 모양이 사각형이 아닌 다른 형태일 수도 있다. 즉, 상기 서브 블록의 모양이나 방향, 상기 마이크로 블록의 모양이나 방향에 따라 각 그룹에서 ixy, jxy 가 랜덤한 확률 분포를 가질 수도 있고, 균일한 확률 분포를 가질 수도 있다. 일 예로, 제스처와 같이 움직임이 있는 물체는 에지가 많으므로 균일한 확률 분포가 효과적이고, 자연 경관과 같이 움직임이 거의 없는 물체는 랜덤한 확률 분포가 효과적이다.
이때 서브 블록은 자유로운 모양을 가질 수 있으나, 각 모양으로부터 임의의 원점 및 원점으로부터의 ixy, jxy 측정을 위한 방향은 설정하는 것을 일 실시예로 한다.
지금까지 설명된 방법에 따라 물체의 각 마이크로 블록에 하나의 광 스폿이 위치하도록 투사된 광은 그 물체로부터 반사되어 수광부(220)의 고정 초점 렌즈(121)로 반사된다. 상기 고정 초점 렌즈(121)는 상기 물체로부터 반사되는 광을 수광하여 IR 필터(122)로 출사한다. 상기 IR 필터(122)는 입사되는 광중 IR 파장에 해당하는 광만을 TOF 센서(123)로 투과한다. 상기 TOF 센서(123)는 상기 IR 필터(122)를 투과하는 광을 전기적인 신호로 변환하고, 변환된 신호를 기반으로 상기 물체의 깊이 정보를 측정한다. 즉, 상기 TOF 센서(123)의 각 픽셀은 송광부(110)에서 물체로 조사한 광과 상기 물체로부터 해당 픽셀로 반사되는 광의 위상차를 검출하고 이를 깊이 정보로 변환하여 TOF 프로세서(124)로 출력한다. 상기 TOF 프로세서(124)는 상기 깊이 정보를 기반으로 물체의 깊이 영상(즉, 이미지)을 생성한다. 또한 상기 TOF 프로세서(124)는 상기 물체의 깊이 영상과 컬러 영상을 이용하여 3차원 영상을 생성할 수도 있다. 이때 컬러 영상의 생성 방법은 본 발명의 특징이 아니므로 상세 설명은 생략하기로 한다. 다른 예로, 2차원 영상에 깊이 영상을 부가하여 3차원 영상을 생성할 수도 있다.
도 15의 (a)는 종래의 깊이 영상 생성 장치를 이용하여 깊이 영상을 생성할 때, 물체 바운더리에서 블러링이 발생하는 예를 보이고 있고, 도 15의 (b)는 본 발명에 따른 깊이 영상 생성 장치를 이용하여 깊이 영상을 생성할 때, 물체 바운더리에서 샤프니스가 향상된 예를 보이고 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로 본 발명의 기술적 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
120, 220: 수광부 121: 고정 초점 렌즈
122: IR 필터 123: TOF 센서
124: TOF 프로세서
210: 송광부 211: LD
212: 콜리메이터 렌즈 213: 패턴 소자

Claims (9)

  1. 물체에 조사할 광원을 발생하는 레이저 다이오드, 상기 광원을 평행하게 만드는 콜리메이터 렌즈, 및 상기 평행광을 기반으로 패턴을 생성하여 상기 물체로 조사하는 패턴 소자를 포함하는 송광부; 및
    상기 물체로부터 반사되는 광을 수광하는 초점 렌즈, 상기 수광된 광의 특정 파장을 투과시키는 필터, 상기 물체에 조사된 광과 상기 필터에서 투과된 반사광의 위상차를 이용하여 상기 물체의 깊이 정보를 측정하는 TOF(Time of flight) 센서, 및 상기 물체의 깊이 정보를 기반으로 깊이 영상을 생성하는 TOF 프로세서를 포함하는 수광부;를 포함하며,
    상기 패턴 소자는 물체를 Bx(Bx>1) * By(By>1)개의 서브 블록으로 구분하고, 각 서브 블록을 N(N>1)*M(M>1)개의 마이크로 블록으로 구분한 후 하나의 광 스폿이 하나의 마이크로 블록에 조사되도록 상기 패턴을 생성하고,
    상기 패턴 소자는 각각의 광 스폿이 각각의 상기 마이크로 블록에 조사되는 위치가 균일한 확률 분호를 가지도록 상기 패턴을 형성하는 것을 특징으로 하는 깊이 영상 생성 장치.
  2. 제 1 항에 있어서,
    상기 패턴 소자는 회절성 광학 엘리먼트(Diffractive Optical Element, DOE)를 포함하는 것을 특징으로 하는 깊이 영상 생성 장치.
  3. 제 2 항에 있어서, 상기 패턴 소자는
    N(N>1)*M(M>1)개의 마이크로 블록을 하나 이상의 그룹으로 그룹핑하고, 각 그룹 내 특정 로우의 모든 마이크로 블록에서 ixy, jxy (ixy는 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 가로 거리, jxy 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 세로 거리)가 각각 균일한 확률 분포를 가지는 패턴을 생성하는 것을 특징으로 하는 깊이 영상 생성 장치.
  4. 제 2 항에 있어서, 상기 패턴 소자는
    N(N>1)*M(M>1)개의 마이크로 블록을 하나 이상의 그룹으로 그룹핑하고, 각 그룹 내 특정 컬럼의 모든 마이크로 블록에서 ixy, jxy (ixy는 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 가로 거리, jxy 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 세로 거리)가 각각 균일한 확률 분포를 가지는 패턴을 생성하는 것을 특징으로 하는 깊이 영상 생성 장치.
  5. 제 2 항에 있어서, 상기 패턴 소자는
    N(N>1)*M(M>1)개의 마이크로 블록을 하나 이상의 그룹으로 그룹핑하고, 각 그룹 내 특정 대각선 상의 모든 마이크로 블록에서 ixy, jxy (ixy는 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 가로 거리, jxy 해당 마이크로 블록 내 광 스폿이 해당 마이크로 블록의 원점으로부터 떨어져 있는 물리적 세로 거리)가 각각 균일한 확률 분포를 가지는 패턴을 생성하는 것을 특징으로 하는 깊이 영상 생성 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
KR1020120095027A 2012-08-29 2012-08-29 깊이 영상 생성 장치 및 방법 KR101925028B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120095027A KR101925028B1 (ko) 2012-08-29 2012-08-29 깊이 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120095027A KR101925028B1 (ko) 2012-08-29 2012-08-29 깊이 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140028536A KR20140028536A (ko) 2014-03-10
KR101925028B1 true KR101925028B1 (ko) 2018-12-04

Family

ID=50641935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120095027A KR101925028B1 (ko) 2012-08-29 2012-08-29 깊이 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101925028B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020242177A1 (ko) * 2019-05-27 2020-12-03 엘지이노텍 주식회사 카메라 모듈
US11368665B2 (en) * 2018-06-07 2022-06-21 Lg Innotek Co., Ltd. Camera module and depth information extraction method therefor

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9841496B2 (en) * 2014-11-21 2017-12-12 Microsoft Technology Licensing, Llc Multiple pattern illumination optics for time of flight system
US9854226B2 (en) * 2014-12-22 2017-12-26 Google Inc. Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
US9918073B2 (en) * 2014-12-22 2018-03-13 Google Llc Integrated camera system having two dimensional image capture and three dimensional time-of-flight capture with movable illuminated region of interest
WO2016204658A1 (ru) * 2015-06-15 2016-12-22 Арташес Валерьевич ИКОНОМОВ Оптическая приставка к мобильному телефону типа смартфон
WO2017204498A1 (ko) * 2016-05-27 2017-11-30 엘지전자 주식회사 이동 단말기
KR101892013B1 (ko) 2016-05-27 2018-08-27 엘지전자 주식회사 이동 단말기
KR102746841B1 (ko) 2016-08-01 2024-12-27 엘지전자 주식회사 비대칭 광학센서장치
KR101943717B1 (ko) * 2016-12-26 2019-01-29 연세대학교 산학협력단 깊이 센서에서 대상으로부터 반사되는 광 신호를 결정하기 위한 장치 및 방법
KR102472217B1 (ko) * 2017-06-22 2022-11-30 엘지이노텍 주식회사 광 송출장치 및 이를 이용한 ToF(Time of Flight)모듈
KR102402477B1 (ko) * 2017-08-04 2022-05-27 엘지이노텍 주식회사 ToF 모듈
EP3717932A1 (en) 2017-11-28 2020-10-07 Sony Semiconductor Solutions Corporation Illumination device, time of flight system and method
KR102473650B1 (ko) 2018-04-13 2022-12-02 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
KR102553555B1 (ko) * 2018-09-21 2023-07-10 엘지이노텍 주식회사 카메라 모듈
CN109798838B (zh) * 2018-12-19 2020-10-27 西安交通大学 一种基于激光散斑投射的ToF深度传感器及其测距方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110188027A1 (en) * 2010-02-01 2011-08-04 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101408959B1 (ko) * 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
KR20100112853A (ko) * 2009-04-10 2010-10-20 (주)실리콘화일 3차원 거리 인식장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110188027A1 (en) * 2010-02-01 2011-08-04 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368665B2 (en) * 2018-06-07 2022-06-21 Lg Innotek Co., Ltd. Camera module and depth information extraction method therefor
WO2020242177A1 (ko) * 2019-05-27 2020-12-03 엘지이노텍 주식회사 카메라 모듈
US11997383B2 (en) 2019-05-27 2024-05-28 Lg Innotek Co., Ltd. Camera module extracting distance information based on a time-of-flight method

Also Published As

Publication number Publication date
KR20140028536A (ko) 2014-03-10

Similar Documents

Publication Publication Date Title
KR101925028B1 (ko) 깊이 영상 생성 장치 및 방법
CN111263899B (zh) 照明装置、飞行时间系统和方法
US10791320B2 (en) Non-uniform spatial resource allocation for depth mapping
US10514148B2 (en) Pattern projection using microlenses
JP6484071B2 (ja) 物体検出装置
JP6484072B2 (ja) 物体検出装置
US9106902B2 (en) Depth information detection apparatus and apparatus for obtaining 3-dimensional content using the same
JP5138119B2 (ja) 物体検出装置および情報取得装置
KR102046944B1 (ko) 서브-레졸루션 광학 검출
JP6531326B2 (ja) 光学式検知装置
JPWO2006013635A1 (ja) ３次元形状計測方法及びその装置
US10140722B2 (en) Distance measurement apparatus, distance measurement method, and non-transitory computer-readable storage medium
WO2014108976A1 (ja) 物体検出装置
JP2004191092A (ja) ３次元情報取得システム
JP2022532725A (ja) ３次元深度マップデータの２次元画像上へのマッピング
CN108428244A (zh) 图像匹配方法及深度数据测量方法和系统
KR101806969B1 (ko) 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법
KR101832960B1 (ko) 구조광 생성 방법, 그 장치 및 그 장치를 이용한 모션 인식 장치
WO2012144340A1 (ja) 情報取得装置および物体検出装置
KR20150018026A (ko) 3차원 카메라
JP2014025804A (ja) 情報取得装置および物体検出装置
JP2014085257A (ja) 情報取得装置および物体検出装置
JP2014021017A (ja) 情報取得装置および物体検出装置
US11223816B2 (en) Multi-image projector and electronic device having multi-image projector
US20200234458A1 (en) Apparatus and method for encoding in structured depth camera system

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120829

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170724

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120829

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180312

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180903

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20181128

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20181129

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20211008

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20221007

Start annual number: 5

End annual number: 5

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240909