KR101801355B1 - 회절 소자와 광원을 이용한 대상물의 거리 인식 장치 - Google Patents

회절 소자와 광원을 이용한 대상물의 거리 인식 장치 Download PDF

Info

Publication number
KR101801355B1
KR101801355B1 KR1020110026887A KR20110026887A KR101801355B1 KR 101801355 B1 KR101801355 B1 KR 101801355B1 KR 1020110026887 A KR1020110026887 A KR 1020110026887A KR 20110026887 A KR20110026887 A KR 20110026887A KR 101801355 B1 KR101801355 B1 KR 101801355B1
Authority
KR
South Korea
Prior art keywords
light
different
pattern
light source
depth
Prior art date
Application number
KR1020110026887A
Other languages
English (en)
Other versions
KR20120109722A (ko
Inventor
신윤섭
정용우
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110026887A priority Critical patent/KR101801355B1/ko
Priority to US13/423,684 priority patent/US9106902B2/en
Publication of KR20120109722A publication Critical patent/KR20120109722A/ko
Application granted granted Critical
Publication of KR101801355B1 publication Critical patent/KR101801355B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명은 대상물의 거리 인식 장치에 관한 것이다. 본 발명의 일 실시예에 따른 장치는, 하나 이상의 광원과 하나 이상의 회절 소자를 포함하여 적어도 2개 이상의 서로 다른 초점 위치를 갖는 광을 출력하기 위한 조명부, 이미지 센서를 포함하여 대상물에서 반사 또는 산란되어 되돌아오는 광을 수신하기 위한 수광부, 및 상기 조명부에 의해 출력되어 상기 대상물에 의해 반사 또는 산란되는 광을 상기 수광부가 수신하여 얻은 영상으로부터 상기 대상물까지의 거리를 검출하기 위한 이미지 처리부를 포함하여 구성될 수 있다. 상기 회절 소자는 둘 이상의 분할 영역을 포함하고, 적어도 하나의 분할 영역은 다른 분할 영역과 다른 초점 위치를 형성하고, 상기 적어도 하나의 분할 영역에 의한 패턴은 상기 다른 분할 영역에 의한 패턴과 다른 특성, 예를 들어 서로 다른 패턴의 크기, 모양, 방향, 농도, 밀도, 주기, 및 편광을 가질 수 있다. 따라서, 간편한 구성으로 깊이 정보를 검출하고 사용자의 동작을 3차원으로 인식할 수 있게 된다.

Description

회절 소자와 광원을 이용한 대상물의 거리 인식 장치 {Apparatus for recognizing distance of object using diffracting element and light source}
본 발명은 회절 소자와 광원을 이용한 대상물의 거리 인식 장치에 관한 것으로, 더욱 상세하게는 빛과 회절 소자를 이용하여 대상물에 패턴화된 조명을 투사하고 대상물에서 반사되어 센서를 통해 얻은 영상을 기초로 대상물의 거리를 인식하는 장치에 관한 것이다.
간단하거나 자연스러운 동작으로 이루어진 사용자의 동작을 통해 사용자의 의도를 정확히 반영하기 사용자 인터페이스에 대한 연구가 활발히 진행되고 있다. 간단한 예로 키보드나 마우스도 사용자 인터페이스의 한 도구가 될 수 있고, 최근에는 스크린 터치를 이용한 제품이 각광을 받고 있다.
또한, 가상 현실과 관련하여 사용자 인터페이스의 한 방편으로 동작 인식 기술에 대한 연구도 꾸준히 계속되고 있는데, 각 가속도계 등을 내장한 모션 컨트롤러를 통해 사용자의 공간 동작을 인식하거나 둘 이상의 카메라(이미지 센서)를 통해 얻은 영상을 분석하여 사용자의 동작을 인식하거나 모션 컨트롤러와 카메라 영상을 조합하여 사용자의 동작을 인식하는 방법 등이 개발되고 있다.
하나의 이미지 센서만을 사용하는 경우 일반적으로 2차원 영상 분석이 가능하기 때문에, 거리 또는 깊이 정보를 얻기 위해서는 둘 이상의 이미지 센서를 사용해야 하거나 하나의 이미지 센서만을 사용하는 경우 동작을 하는 사용자가 모션 컨트롤러를 잡고 있어야 하는데, 후자의 경우에도, 모션 컨트롤러의 위치만 3차원으로 분석이 가능하게 된다.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 창작된 것으로서, 본 발명의 목적은 특수 기능이 적용된 광을 대상물에 투사하여 하나의 이미지 센서만으로 대상물의 깊이 방향의 정보를 검출하는 장치를 제공하는 데 있다.
본 발명의 다른 목적은 하나의 이미지 센서만으로 대상물의 깊이 방향의 정보를 검출할 수 있도록 하는 광학 소자 및 장치를 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 대상물의 거리 인식 장치는, 하나 이상의 광원과 하나 이상의 회절 소자를 포함하여 적어도 2개 이상의 서로 다른 초점 위치를 갖는 광을 출력하기 위한 조명부; 이미지 센서를 포함하여 대상물에서 반사 또는 산란되어 되돌아오는 광을 수신하기 위한 수광부; 및 상기 조명부에 의해 출력되어 상기 대상물에 의해 반사 또는 산란되는 광을 상기 수광부가 수신하여 얻은 영상으로부터 상기 대상물까지의 거리를 검출하기 위한 이미지 처리부를 포함하여 구성되는 것을 특징으로 한다.
일 실시예에서, 상기 광원의 출력 광은 가시광선보다 파장의 레이저일 수 있다.
일 실시예에서, 상기 조명부는 상기 광원의 출력 광의 수렴/발산 정도를 조절하기 위한 렌즈를 더 포함할 수 있다.
일 실시예에서, 상기 수광부는 상기 광원의 출력 광의 파장을 선택하기 위한 필터와 광을 상기 이미지 센서에 집광하기 위한 렌즈를 더 포함할 수 있다.
일 실시예에서, 상기 회절 소자는 둘 이상의 분할 영역을 포함하고, 적어도 하나의 분할 영역은 다른 분할 영역과 다른 초점 위치를 형성하고, 상기 적어도 하나의 분할 영역에 의한 패턴은 상기 다른 분할 영역에 의한 패턴과 다른 특성을 가질 수 있다.
일 실시예에서, 상기 회절 소자는 둘 이상의 분할 영역을 포함하고, 둘 이상의 분할 영역을 하나의 그룹으로 할 때, 적어도 하나의 그룹은 다른 그룹과 다른 초점 위치를 형성하고, 상기 적어도 하나의 그룹에 의한 패턴은 상기 다른 그룹에 의한 패턴과 다른 특성을 가질 수 있다.
일 실시예에서, 상기 회절 소자에 포함되는 분할 영역의 개수 또는 상기 그룹의 개수는 상기 초점 위치의 개수와 같을 수 있다.
일 실시예에서, 상기 조명부는 하나의 광원과 하나의 회절 소자로 구성되거나 하나의 회절 소자와 상기 초점 위치의 개수와 같은 개수의 광원을 포함할 수 있다.
일 실시예에서, 상기 조명부가 복수 개의 광원을 포함하는 경우, 상기 조명부는 상기 복수 개의 광원에서 나오는 광이 상기 회절 소자를 통과할 수 있도록 광의 진로를 바꾸는 프리즘을 더 포함할 수 있다.
일 실시예에서, 상기 조명부의 각 광원은 서로 다른 파장의 광을 출력할 수 있다. 또는, 상기 조명부는 각 광원에 대해서 해당 광원의 출력 광의 수렴/발산 정도를 조절하기 위한 렌즈를 더 포함하고 각 광원은 같은 파장의 광을 출력하고 각 광원 및 그에 대응되는 렌즈 사이의 거리는 서로 다를 수 있다.
일 실시예에서, 상기 조명부는 상기 초점 위치의 개수와 같은 개수의 광원과 회절 격자 쌍을 포함하고, 각 광원과 회절 격자 쌍은 다른 광원과 회절 격자 쌍과 초점 위치를 다르게 형성하고, 각 광원과 회절 격자 쌍에 의한 패턴은 다른 광원과 회절 격자 쌍에 의한 패턴과 다른 특성을 가질 수 있다.
일 실시예에서, 상기 조명부의 각 광원은 서로 다른 파장의 광을 출력할 수 있다. 또는, 상기 조명부는 각 광원에 대해서 해당 광원의 출력 광의 수렴/발산 정도를 조절하기 위한 렌즈를 더 포함하고, 각 광원은 같은 파장의 광을 출력하고, 각 광원 및 그에 대응되는 렌즈 사이의 거리는 서로 다를 수 있다.
일 실시예에서, 상기 특성은 패턴의 크기, 모양, 방향, 농도, 밀도, 주기, 및 편광 중 하나 또는 둘 이상의 조합일 수 있다.
일 실시예에서, 상기 패턴의 편광이 초점 위치에 따라 다른 경우, 상기 수광부는 편광을 구분하기 위하여 회전이 가능하고 이미지 센서 앞에 배치되는 편광 소자를 더 포함할 수 있다.
따라서, 간편한 구성으로 깊이 정보를 검출하고 사용자의 동작을 3차원으로 인식할 수 있게 된다.
도 1은 대상물의 거리 정보를 얻기 위한 본 발명의 일 실시예에 따른 장치에 대한 구성을 도시한 것이고,
도 2는 서로 다른 구조를 갖는 복수의 분할 영역(NxM)으로 나눈 DOE의 구성을 도시한 것이고,
도 3은 복수의 영역으로 분할되는 DOE를 포함하는 조명부에 의해 복수 개의 초점 면이 형성되는 실시예를 도시한 것이고,
도 4는 다른 초점 위치를 갖는 패턴들을 서로 구별하기 위한 여러 특성들의 실시예를 도시한 것이고,
도 5는 복수 개의 광원과 DOE 쌍을 적용하여 초점 위치를 서로 다르게 하는 조명부에 대한 실시예를 도시한 것이고,
도 6은 분할 영역을 갖는 하나의 DOE와 복수 개의 광원을 사용하여 초점 위치를 구별하는 조명부에 대한 실시예를 도시한 것이다.
이하, 본 발명의 바람직한 실시예에 대해 첨부 도면을 참조하여 상세히 설명한다.
최근에는 광을 이용하여 사용자의 동작을 인식하는 기술이 많은 관심을 받고 있는데, 특히 이미지 센서를 통해 획득한 영상을 처리하여 대상물을 추적하는 기존 방식에 능동적인 조명 광을 투사함으로써, 이미지 처리 알고리즘을 간단히 개선하고 주간/야간 등 주변 광 조건에 관계없이 적용이 가능하도록 하는 장치에 대한 연구가 진행되고 실제로 적용되고 있는데, 이러한 장치는 동작 인식의 신뢰성 및 안정성이 종래 기술에 비해 뛰어나다.
일반적으로 이미지 센서를 한 개만 사용할 경우 2차원 영상 분석이 가능하지만, 여기에 특수 기능을 적용한 광을 투사하면 깊이 방향의 정보를 검출할 수 있게 되어 3차원 영상 분석이 가능해져, 그 적용 범위 및 신뢰도를 혁신적으로 확장 및 개선할 수 있다.
특수 기능이 적용되는 광을 방출하는 조명부와 인식 대상물에서 반사되는 반사광을 검출하기 위한 수광부를 이용하여 대상물의 거리 정보를 얻고 사용자의 동작을 인식하는 본 발명에 따른 장치에 대한 구성이 도 1에 도시되어 있다.
인식 대상물은 사람의 손, 얼굴, 몸체 등이 될 수 있다.
본 발명에 따른 대상물의 거리 인식 장치는 조명부, 수광부, 이미지 처리부 및 깊이 검출부를 포함하여 구성될 수 있다.
조명부는, 특수 기능이 적용되는 빛을 방출할 수 있도록, 소정 파장의 빛을 방출하는 광원(예를 들어 소정 파장의 레이저 다이오드, LD(Laser Diode)), 광원에서 나오는 빛의 수렴/발산 정도를 조절하기 위한 렌즈(예를 들어 콜리메이트 렌즈, CL(Collimate Lens)), 및 수렴/발산 정도가 조절된 빛을 회절 등 변조하여 특수 기능을 부가하는 광학 소자(DOE: Diffractive Optical Element)를 포함하여 구성될 수 있다.
수광부는 CCD, CMOS 등의 이미지 센서로 구성될 수 있는데, 파장, 편광 등을 선택하기 위한 필터나 반사되는 빛을 이미지 센서에 집광하기 위한 렌즈를 더 포함할 수 있다.
광원은 자연 광에 의해 대상물에서 반사되어 이미지 센서에 맺히는 영상과 구별할 수 있도록 하고 사람이 조명을 인식할 수 없도록 가시광선 바깥 쪽의 적외선을 이용할 수 있고, 회절 특징 및 검출 감도 향상을 위하여 파장 범위가 한정되고 광의 시간적, 공간적 특징이 우수한 가시광선보다 파장이 긴 레이저가 될 수 있다.
광학 소자, 예를 들어 회절 소자(DOE)는 설계에 따라 다른 초점 깊이를 가질 수 있고, CGH(Computer-Generated Hologram) 방식으로 설계하면 2차원으로 회절 소자의 영역을 나누어서 공간 분할이 가능하고, 각 영역에 다른 구조를 설계하여 제작할 수 있다.
예를 들어 도 2와 같이 DOE를 M x N 영역으로 나누고 각 영역이 서로 다른 구조, 예를 들어 회절 격자 구조를 갖거나 몇 개의 영역을 하나의 그룹으로 묶어 각 그룹이 서로 다른 구조를 가지도록 설계하여, 각 영역 또는 각 그룹의 조사 패턴이 서로 다른 모양이나 특성을 가지도록 할 수 있고, 또한 각 영역 또는 각 그룹마다 수렴 특성을 다르게 하여 서로 다른 기준 초점 면을 가지도록 할 수 있다.
이미지 처리부는, 수광부를 통해 입력되는 영상을 처리하는데, 자연광에 의해 대상물에서 반사되어 형성되는 영상을 처리하여 대상물의 2차원 움직임을 파악할 수 있고, 특히 자연광에 의해 대상물에서 반사되는 영상과 구분하여 조명부의 광원과 DOE에서 나온 광에 의해 대상물에서 반사되는 영상을 별개로 처리할 수 있고, 깊이 검출부는 이미지 처리부에서 처리되는 영상을 기초로 대상물의 깊이를 구하게 된다.
이미지 처리부와 깊이 검출부는, 이미지 처리부에서 분리되어 처리되는 자연광에 의한 영상과 조명부의 광에 의한 영상을 조합하여 분석함으로써 대상물의 3차원적인 움직임을 인식할 수 있다. 깊이 검출부는 이미지 처리부와 분리되어 구성될 수도 있고, 이미지 처리부 내에 깊이 검출부의 기능이 구현될 수도 있다.
도 3에 복수의 영역으로 분할되는 DOE를 포함하는 조명부에 의해 복수 개의 초점 면이 형성되는 실시예를 도시한 것이다.
광량의 고른 분포를 위한 예로, 도 2의 DOE 분할 영역 중 A, E, I, J 영역의 구조를 같게 하여 여기서 나온 패턴이 (1) 위치에 기준 초점 면을 가지도록 하고, 같은 방식으로 B, F, G, K 영역에서 나온 패턴은 (2) 위치에 기준 초점 면을 가지도록 하고, C, D, H, L 영역에서 나온 패턴은 (3) 위치에 기준 초점 면을 가지도록 DOE를 설계 및 제작할 수 있다.
이때 각 패턴은 기준 초점 면을 중심으로 +/- 소정의 깊이만큼 초점이 맞는 초점 심도 영역을 가질 수 있으며, 만일 이 초점 심도 영역에 추적하려는 대상물이 위치하고 그 대상물에 의해 반사 및 산란되는 패턴은 이미지 센서에서 초점이 맞아 뚜렷한 모양을 띄게 된다. 반면, 초점 심도 영역을 벗어나는 패턴은 대상물에서 반사 및 산란되어 이미지 센서에 닿았을 때 초점이 맞지 않아 흐린 이미지가 된다.
예를 들어, 대상물이 (1) 위치에 있어서 조명 광을 산란, 반사하여 이미지 센서에 그 광이 들어간 경우, A, E, I, J 영역에 의한 패턴은 뚜렷한 이미지를 가지게 되고, 나머지 영역에 의한 패턴은 흐린 이미지를 가지게 된다.
DOE의 설계에 따라 초점이 맞는 영역이 초점 기준 면을 중심으로 -∞ ~ +delta 또는 delta ~ +∞ 영역이 될 수도 있다. 이 경우는 특정 초점 위치에 대상물이 들어간 경우 그 기준 위치 앞(또는 뒤)에 기준 초점 면을 가지는 패턴은 또렷하게, 그 기준 위치 뒤(또는 앞)에 기준 초점 면을 가지는 패턴은 흐리게 이미지 센서에 맺히게 된다. 그 순서에 따라 현재 대상물이 어느 초점 깊이 위치에 있는지를 판별할 수 있다.
두 초점 면의 중간에 대상물이 있는 경우는 양 초점 면에 해당하는 패턴이 동시에 초점이 맞아 이미지 센서에 또렷하게 맺힐 수 있다. 그 때는 두 초점 면의 중간 지점이 대상물이 있는 깊이 위치로 계산될 수 있다.
구하고자 하는 대상물의 깊이 위치의 개수 또는 깊이 위치의 범위에 따라서, DOE의 분할 영역의 개수나 그룹의 개수가 달라질 수 있고, 각 영역이나 같은 그룹으로 묶인 영역의 격자 패턴이 달라질 수 있다. DOE의 분할 영역의 개수 또는 그룹의 개수는 구하고자 하는 대상물의 깊이 위치의 개수, 즉 초점 위치의 개수와 같을 수 있다.
이미지 센서로부터 얻은 영상을 기초로 서로 다른 깊이 위치에서 반사 또는 산란되는 패턴을 구별하기 위해서는, 각 초점 위치에서의 패턴이 이미지 센서에서 크기, 모양, 방향, 농도, 밀도, 변조 방법(또는 주기), 편광 등의 특징이 서로 다르게 형성되도록 해야 하고, 이미지 처리부와 깊이 검출부는 이미지 센서로부터 얻은 영상으로부터 다른 특징을 분리하여 대상물의 깊이를 얻을 수 있어야 한다.
도 4는 다른 초점 위치를 갖는 패턴들을 서로 구별하기 위한 여러 예들을 도시한 것으로, 도 4에서는 3가지의 초점 위치(Depth 1, Depth 2, Depth 3)에 따라 각 패턴이 서로 다른 특징을 갖고 있다.
각 초점 위치에 따라 이미지 센서에 맺히는 패턴의 크기를 다르게 할 수 있다. 대상물이 가장 가까운 위치인 깊이 1(Depth 1)에 위치하면 Depth 1에 초점 위치를 갖는 패턴, 예를 들어 도 2의 DOE 분할 영역 중 A, E, I, J 영역에 의해 형성되는 패턴은 대상물에서 반사되어 이미지 센서에 가장 작은 크기의 동그란 모양의 점을 또렷하게 형성하나, Depth 2와 Depth 3에 초점 위치를 갖는 패턴은 대상물에서 반사되어 이미지 센서에 구형 점을 형성하나 또렷하지 않고 흐리게 맺히게 된다.
또한, 대상물이 중간 위치인 깊이 2(Depth 2)에 위치하면 Depth 2에 초점 위치를 갖는 패턴, 예를 들어 도 2의 DOE 분할 영역 중 B, F, G, K 영역에 의해 형성되는 패턴은 대상물에서 반사되어 이미지 센서에 중간 크기의 점을 또렷하게 형성하나, Depth 1과 Depth 3에 초점 위치를 갖는 패턴은 대상물에서 반사되어 이미지 센서에 구형 점을 흐릿하게 형성하게 된다.
마찬가지로, 대상물이 가장 먼 위치인 깊이 3(Depth 3)에 위치하면 Depth 3에 초점 위치를 갖는 패턴, 예를 들어 도 2의 DOE 분할 영역 중 C, D, H, L 영역에 의해 형성되는 패턴은 대상물에서 반사되어 이미지 센서에 가장 큰 크기의 점을 형성하지만, Depth 1과 Depth 2에 초점 위치를 갖는 패턴은 대상물에서 반사되어 이미지 센서에 구형 점을 흐릿하게 형성하게 된다. 이미지 센서에 흐릿하게 형성되는 구형 점은 초점이 맞지 않기 때문에 크기가 매우 클 수 있다.
따라서, 이미지 센서에서 얻은 영상을 처리하는 이미지 프로세서는 영상에 포함된 점의 크기를 기초로 대상물의 깊이 또는 거리를 산출할 수 있다.
또한, 각 초점 위치에 따라 이미지 센서에 맺히는 패턴의 모양을 다르게 할 수도 있다. Depth 1에 초점 위치를 갖는 패턴, 예를 들어 도 2의 DOE 분할 영역 중 A, E, I, J 영역에 의해 형성되는 패턴은 Depth 1에 위치하는 대상물에서 반사되어 이미지 센서에 동그란 모양의 점을 또렷하게 형성할 수 있고, Depth 2에 초점 위치를 갖는 패턴, 예를 들어 도 2의 DOE 분할 영역 중 B, F, G, K 영역에 의해 형성되는 패턴은 Depth 2에 위치하는 대상물에서 반사되어 이미지 센서에 가로로 긴 바 형상을 또렷하게 형성할 수 있고, Depth 3에 초점 위치를 갖는 패턴, 예를 들어 도 2의 DOE 분할 영역 중 C, D, H, L 영역에 의해 형성되는 패턴은 Depth 3에 위치하는 대상물에서 반사되어 이미지 센서에 십자가 형상을 또렷하게 형성할 수 있다.
구형 점, 바 형상, 십자가 형상은 예일 뿐이고 DOE의 해당 영역의 회절 격자의 깊이, 폭, 듀티 비, 회절 격자의 배열 모양 등을 조절하여 원하는 형상을 얻을 수 있다. 역시, 대상물이 자신의 초점 위치에 있지 않는 경우, 해당 초점 위치에 대한 패턴은 이미지 센서에 흐릿하게 형성되고 그 크기도 크게 될 수 있다.
또한, 각 초점 위치에 따라 이미지 센서에 맺히는 패턴의 방향을 다르게 할 수도 있다. Depth 1에 초점 위치를 갖는 패턴은 Depth 1에 위치하는 대상물에서 반사되어 이미지 센서에 또렷한 바 형상을 가로로 길게 형성할 수 있고, Depth 2에 초점 위치를 갖는 패턴은 Depth 2에 위치하는 대상물에서 반사되어 이미지 센서에 또렷한 바 형상을 45도 기울어지게 형성할 수 있고, Depth 3에 초점 위치를 갖는 패턴은 Depth 3에 위치하는 대상물에서 반사되어 이미지 센서에 또렷한 바 형상을 세로로 길게 형성할 수 있다.
또한, 각 초점 위치에 따라 이미지 센서에 맺히는 패턴의 모양은 같게 하되 그 농도를 다르게 할 수도 있다. Depth 1에 초점 위치를 갖는 패턴은 Depth 1에 위치하는 대상물에서 반사되어 이미지 센서에 예를 들어 소정 크기(주위와 구분하는 경계를 갖는)의 구형 점을 형성하되 농도가 낮은 연한 구형 점을 형성할 수 있고, Depth 2에 초점 위치를 갖는 패턴은 Depth 2에 위치하는 대상물에서 반사되어 이미지 센서에 같은 크기의 구형 점을 형성하되 중간 정도의 농도를 갖는 구형 점을 형성할 수 있고, Depth 3에 초점 위치를 갖는 패턴은 Depth 3에 위치하는 대상물에서 반사되어 이미지 센서에 같은 크기의 구형 점을 형성하되 농도가 진한 구형 점을 형성할 수 있다.
또한, 각 초점 위치에 따라 이미지 센서에 맺히는 패턴의 밀도를 다르게, 즉 이미지 센서에 맺히는 패턴에는 예를 들어 3개의 구형 점이 포함되도록 하고 초점 위치에 따라 구형 점의 간격을 서로 다르게 할 수 있다. Depth 1에 초점 위치를 갖는 패턴은 Depth 1에 위치하는 대상물에서 반사되어 이미지 센서에 복수 개의 구형 점을 형성하되 그 간격이 좁게 형성할 수 있고, Depth 2에 초점 위치를 갖는 패턴은 Depth 2에 위치하는 대상물에서 반사되어 이미지 센서에 복수 개의 구형 점을 형성하되 그 간격이 중간 정도로 형성할 수 있고, Depth 3에 초점 위치를 갖는 패턴은 Depth 3에 위치하는 대상물에서 반사되어 이미지 센서에 복수 개의 구형 점을 형성하되 그 간격이 넓게 형성할 수 있다.
또한, 각 초점 위치에 따라 이미지 센서에 맺히는 패턴의 주기를 다르게, 즉 이미지 센서에 맺히는 패턴에는 예를 들어 복수개의 구형 점과 길쭉한 바가 반복되도록 하고 초점 위치에 따라 길쭉한 바 사이에 놓이는 구형 점의 개수를 다르게 할 수 있다. Depth 1에 초점 위치를 갖는 패턴은 Depth 1에 위치하는 대상물에서 반사되어 이미지 센서에 복수 개의 길쭉한 바와 구형 점을 형성하되 길쭉한 바 사이에 하나의 구형 점을 형성할 수 있고, Depth 2에 초점 위치를 갖는 패턴은 Depth 2에 위치하는 대상물에서 반사되어 이미지 센서에 복수 개의 길쭉한 바와 구형 점을 형성하되 길쭉한 바 사이에 두 개의 구형 점을 형성할 수 있고, Depth 3에 초점 위치를 갖는 패턴은 Depth 3에 위치하는 대상물에서 반사되어 이미지 센서에 복수 개의 길쭉한 바와 구형 점을 형성하되 길쭉한 바 사이에 세 개의 구형 점을 형성할 수 있다.
또한, 각 초점 위치에 따라 이미지 센서에 맺히는 패턴의 편광 방향을 다르게 할 수 있다. Depth 1에 초점 위치를 갖는 패턴은 Depth 1에 위치하는 대상물에서 반사되어 가로 방향의 편광으로 이미지 센서에 맺힐 수 있고, Depth 2에 초점 위치를 갖는 패턴은 Depth 2에 위치하는 대상물에서 반사되어 45도 각도의 편광으로 이미지 센서에 맺힐 수 있고, Depth 3에 초점 위치를 갖는 패턴은 Depth 3에 위치하는 대상물에서 반사되어 세로 방향의 편광으로 이미지 센서에 맺힐 수 있다.
DOE에 의해 초점 위치에 따라 편광을 다르게 하는 경우, 이미지 센서 앞에 편광을 구분하는 편광 소자를 배치하고 이를 회전시키고, 회전하는 편광 소자와 시간 축에서 동기하여 이미지 센서로 입력되는 광의 편광을 검출하고 패턴을 구분하여 대상물의 위치를 얻을 수 있다.
이와 같이 초점 위치에 따라 특징이 다른 패턴을 이용하는 방법을 개별적으로 사용하거나, 또는 예를 들어 초점 위치에 따라 패턴의 크기와 모양이 모두 달라지게 하는 등 둘 이상의 특징을 중첩하여 대상물의 거리 또는 깊이 정보를 좀더 정확하게 구별할 수 있다.
조명부가 하나의 광원을 사용하고 하나의 DOE 내에 서로 다른 초점 거리를 갖고 서로 다른 크기, 모양, 방향, 농도, 밀도, 주기, 편광 등의 특징을 갖는 복수 개의 영역을 형성하여 대상물에 조명을 비추는 대신, 복수 개의 광원과 복수 개의 DOE를 사용할 수도 있다.
도 5는 조명부가 복수 개의 광원과 DOE 쌍을 적용하여 초점 위치를 서로 다르게 하는 실시예를 도시한 것이다. 복수 개의 DOE 각각은 서로 다른 특징, 예를 들어 도 4에 도시한 것과 같이, 이미지 센서에 형성되는 패턴이 서로 크기, 모양, 방향, 농도 등의 특징이 다르도록 회절 격자가 형성될 수 있다. 그리고, 광원과 DOE 쌍에서 생성되는 패턴의 초점 위치를 서로 다르게 조절할 수 있도록, 즉 광원에서 나오는 광의 수렴 정도 또는 수렴 위치를 서로 다르게 조절할 수 있도록, 도 5에 도시한 대로, 각 쌍마다 광원과 콜리메이트 렌즈의 위치를 다르게 하거나 각 쌍마다 광원의 파장을 다르게 할 수 있다.
도 6은 분할 영역을 갖는 하나의 DOE와 복수 개의 광원을 사용하여 초점 위치를 구별하는 조명부에 대한 실시예를 도시한 것이다. 도 6에서는 복수 개의 광원에서 나온 광이 대상물을 향해 진행할 수 있도록 광의 진로를 바꾸는 프리즘을 사용하여 복수 개의 광원에서 나온 광이 하나의 DOE를 통과할 수 있도록 하고 있다. 각 광원들은 콜리메이트 렌즈와의 거리를 조절하거나 광원의 파장을 다르게 하는 방법 등으로 DOE에 들어가는 광의 수렴 특성을 다르도록 할 수 있다.
이러한 조합으로 위에서 설명한 서로 다른 패턴이 다른 깊이 위치에서 초점이 맞는 영역을 가지도록 하는 효과를 얻을 수 있다.
이상 전술한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서 또 다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
CL: 콜리메이트 렌즈 LD: 레이저 다이오드
DOE: 회절 광학 소자

Claims (16)

  1. 적어도 2개 이상의 서로 다른 초점 위치를 갖는 광을 출력하기 위한 하나 이상의 광원과 하나 이상의 회절 소자 및 각 광원에 대해서 해당 광원의 출력 광의 수렴/발산 정도를 조절하기 위한 렌즈를 포함하는 조명부;
    이미지 센서를 포함하여 대상물에서 반사 또는 산란되어 되돌아오는 광을 수신하기 위한 수광부; 및
    상기 조명부에 의해 출력되어 상기 대상물에 의해 반사 또는 산란되는 광을 상기 수광부가 수신하여 얻은 영상으로부터 상기 대상물까지의 거리를 검출하기 위한 이미지 처리부를 포함하되,
    상기 조명부는 상기 초점 위치의 개수와 같은 개수의 광원과 회절 격자 쌍을 포함하고, 각 광원과 회절 격자 쌍은 다른 광원과 회절 격자 쌍과 초점 위치를 다르게 형성하고, 상기 각 광원과 회절 격자 쌍에 의한 패턴은 상기 다른 광원과 회절 격자 쌍에 의한 패턴과 다른 특성을 갖고,
    상기 각 광원은 같은 파장의 광을 출력하고, 상기 각 광원 및 그에 대응되는 상기 렌즈 사이의 거리는 서로 다른 것을 특징으로 하는 대상물의 거리 인식 장치.
  2. 제 1항에 있어서,
    상기 광원의 출력 광은 가시광선보다 긴 파장의 레이저인 것을 특징으로 하는 대상물의 거리 인식 장치.
  3. 제 1항에 있어서,
    상기 수광부는 상기 광원의 출력 광의 파장을 선택하기 위한 필터와 광을 상기 이미지 센서에 집광하기 위한 렌즈를 더 포함하여 구성되는 것을 특징으로 하는 대상물의 거리 인식 장치.
  4. 제 1항에 있어서,
    상기 회절 소자는 둘 이상의 분할 영역을 포함하고, 적어도 하나의 분할 영역은 다른 분할 영역과 다른 초점 위치를 형성하고, 상기 적어도 하나의 분할 영역에 의한 패턴은 상기 다른 분할 영역에 의한 패턴과 다른 특성을 갖는 것을 특징으로 하는 대상물의 거리 인식 장치.
  5. 제 1항에 있어서,
    상기 회절 소자는 둘 이상의 분할 영역을 포함하고, 둘 이상의 분할 영역을 하나의 그룹으로 할 때, 적어도 하나의 그룹은 다른 그룹과 다른 초점 위치를 형성하고, 상기 적어도 하나의 그룹에 의한 패턴은 상기 다른 그룹에 의한 패턴과 다른 특성을 갖는 것을 특징으로 하는 대상물의 거리 인식 장치.
  6. 제 4항에 있어서,
    상기 회절 소자에 포함되는 분할 영역의 개수는 상기 초점 위치의 개수와 같은 것을 특징으로 하는 대상물의 거리 인식 장치.
  7. 제 5항에 있어서,
    상기 회절 소자에 포함되는 상기 그룹의 개수는 상기 초점 위치의 개수와 같은 것을 특징으로 하는 대상물의 거리 인식 장치.
  8. 제 6항 또는 제 7항에 있어서,
    상기 조명부는, 하나의 광원과 하나의 회절 소자로 구성되거나, 하나의 회절 소자와 상기 초점 위치의 개수와 같은 개수의 광원을 포함하는 것을 특징으로 하는 대상물의 거리 인식 장치.
  9. 제 8항에 있어서,
    상기 조명부가 복수 개의 광원을 포함하는 경우, 상기 조명부는 상기 복수 개의 광원에서 나오는 광이 상기 회절 소자를 통과할 수 있도록 광의 진로를 바꾸는 프리즘을 더 포함하는 것을 특징으로 하는 대상물의 거리 인식 장치.
  10. 제 9항에 있어서,
    상기 조명부의 각 광원은 서로 다른 파장의 광을 출력하는 것을 특징으로 하는 대상물의 거리 인식 장치.
  11. 제 1항에 있어서,
    상기 조명부의 각 광원은 서로 다른 파장의 광을 출력하는 것을 특징으로 하는 대상물의 거리 인식 장치.
  12. 제 1항, 제 4항 및 제 5항 중 어느 한 항에 있어서,
    상기 특성은, 패턴의 크기, 모양, 방향, 농도, 밀도, 주기, 및 편광 중 하나 또는 둘 이상의 조합인 것을 특징으로 하는 대상물의 거리 인식 장치.
  13. 제 12항에 있어서,
    상기 패턴의 편광이 초점 위치에 따라 다른 경우, 상기 수광부는 편광을 구분하기 위하여 회전이 가능하고 이미지 센서 앞에 배치되는 편광 소자를 더 포함하는 것을 특징으로 하는 대상물의 거리 인식 장치.
  14. 삭제
  15. 삭제
  16. 삭제
KR1020110026887A 2011-03-25 2011-03-25 회절 소자와 광원을 이용한 대상물의 거리 인식 장치 KR101801355B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110026887A KR101801355B1 (ko) 2011-03-25 2011-03-25 회절 소자와 광원을 이용한 대상물의 거리 인식 장치
US13/423,684 US9106902B2 (en) 2011-03-25 2012-03-19 Depth information detection apparatus and apparatus for obtaining 3-dimensional content using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110026887A KR101801355B1 (ko) 2011-03-25 2011-03-25 회절 소자와 광원을 이용한 대상물의 거리 인식 장치

Publications (2)

Publication Number Publication Date
KR20120109722A KR20120109722A (ko) 2012-10-09
KR101801355B1 true KR101801355B1 (ko) 2017-11-24

Family

ID=46877041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110026887A KR101801355B1 (ko) 2011-03-25 2011-03-25 회절 소자와 광원을 이용한 대상물의 거리 인식 장치

Country Status (2)

Country Link
US (1) US9106902B2 (ko)
KR (1) KR101801355B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013103410A1 (en) 2012-01-05 2013-07-11 California Institute Of Technology Imaging surround systems for touch-free display control
US9530213B2 (en) 2013-01-02 2016-12-27 California Institute Of Technology Single-sensor system for extracting depth information from image blur
CN104061901B (zh) * 2013-03-19 2016-08-31 力诚仪器有限公司 立体距离测定方法及其系统
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US10349031B2 (en) * 2013-07-28 2019-07-09 Michael J. DeLuca Augmented reality based user interfacing
US9292906B1 (en) * 2013-09-06 2016-03-22 Google Inc. Two-dimensional image processing based on third dimension data
WO2015099211A1 (ko) * 2013-12-24 2015-07-02 엘지전자 주식회사 3차원 카메라모듈
RU2580908C1 (ru) * 2014-11-10 2016-04-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Московский государственный университет геодезии и картографии" (МИИГАиК) Способ определения пространственного положения объектов и устройство для его осуществления
CN109188711B (zh) * 2018-09-17 2020-11-03 深圳奥比中光科技有限公司 屏下光学系统、衍射光学元件的设计方法及电子设备
KR102645539B1 (ko) * 2019-01-18 2024-03-11 삼성전자주식회사 구조적 깊이 카메라 시스템에서 인코딩 장치 및 방법
CN110006340B (zh) * 2019-03-26 2020-09-08 华为技术有限公司 一种物体尺寸测量方法和电子设备
US11240488B2 (en) * 2019-09-24 2022-02-01 Facebook Technologies, Llc Volumetric display including liquid crystal-based lenses
KR102428594B1 (ko) * 2020-08-28 2022-08-03 삼성전기주식회사 카메라 모듈
CN112738497A (zh) * 2021-03-30 2021-04-30 北京芯海视界三维科技有限公司 传感设备、图像传感器和人机交互系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223248A1 (en) * 2002-06-04 2003-12-04 Cronin Paul J. Multispectral imaging system
US20070103687A1 (en) * 2004-06-21 2007-05-10 Kenya Okazaki Measuring apparatus
JP2010525404A (ja) * 2007-04-24 2010-07-22 デグデント・ゲーエムベーハー 対象物の3次元測定のための配置および方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100099174A (ko) * 2007-11-16 2010-09-10 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 초음파를 갖는 방향 제어 가능한 조명 유닛
US8558873B2 (en) * 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030223248A1 (en) * 2002-06-04 2003-12-04 Cronin Paul J. Multispectral imaging system
US20070103687A1 (en) * 2004-06-21 2007-05-10 Kenya Okazaki Measuring apparatus
JP2010525404A (ja) * 2007-04-24 2010-07-22 デグデント・ゲーエムベーハー 対象物の3次元測定のための配置および方法

Also Published As

Publication number Publication date
KR20120109722A (ko) 2012-10-09
US20120242829A1 (en) 2012-09-27
US9106902B2 (en) 2015-08-11

Similar Documents

Publication Publication Date Title
KR101801355B1 (ko) 회절 소자와 광원을 이용한 대상물의 거리 인식 장치
US10514148B2 (en) Pattern projection using microlenses
CN107044847B (zh) 发光单元和基于三角测量的测距装置
JP5592070B2 (ja) 三次元検知のために深度変化させる光照射野
US9869580B2 (en) Controllable optical sensing
KR101408959B1 (ko) 삼차원 감지를 위한 깊이 가변 광 필드
US20160328854A1 (en) Distance sensor
US20130279753A1 (en) Distance-Varying Illumination and Imaging Techniques for Depth Mapping
KR101925028B1 (ko) 깊이 영상 생성 장치 및 방법
KR101954855B1 (ko) 볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용
US8350847B2 (en) Depth mapping using multi-beam illumination
CN111263899B (zh) 照明装置、飞行时间系统和方法
JP2013513179A (ja) 距離に基づく検知
CN109425305A (zh) 使用多个脉冲式结构光投影仪的深度测量
US20160265906A1 (en) Object detection device
JP5971053B2 (ja) 位置検出装置及び画像表示装置
JP2009511897A5 (ko)
KR20210053980A (ko) 그리드 광 패턴들을 사용한 깊이 감지
EP3889541B1 (en) Imaging system and method using projection apparatus
US9958262B2 (en) System for measuring three-dimensional profile of transparent object or refractive index by fringe projection
JP2013246009A (ja) 物体検出装置
JP2014025804A (ja) 情報取得装置および物体検出装置
TWI253017B (en) Low power consumption, broad navigability optical mouse
WO2017034517A1 (en) Digital spectroscopic and holographic microscope and method thereof
Ahn et al. A Three-Dimensional Fingertip Interface

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant