KR20090006825A - 삼차원 감지를 위한 깊이 가변 광 필드 - Google Patents

삼차원 감지를 위한 깊이 가변 광 필드 Download PDF

Info

Publication number
KR20090006825A
KR20090006825A KR1020087022317A KR20087022317A KR20090006825A KR 20090006825 A KR20090006825 A KR 20090006825A KR 1020087022317 A KR1020087022317 A KR 1020087022317A KR 20087022317 A KR20087022317 A KR 20087022317A KR 20090006825 A KR20090006825 A KR 20090006825A
Authority
KR
South Korea
Prior art keywords
pattern
spots
image
optical element
optical
Prior art date
Application number
KR1020087022317A
Other languages
English (en)
Other versions
KR101408959B1 (ko
Inventor
알렉산더 쉬푼트
지브 자레브스키
Original Assignee
프라임 센스 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/IL2006/000335 external-priority patent/WO2007043036A1/en
Application filed by 프라임 센스 엘티디. filed Critical 프라임 센스 엘티디.
Priority claimed from PCT/IL2007/000327 external-priority patent/WO2007105215A2/en
Publication of KR20090006825A publication Critical patent/KR20090006825A/ko
Application granted granted Critical
Publication of KR101408959B1 publication Critical patent/KR101408959B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

각각의 위치들 및 형상들을 갖는 복수의 스팟들(52, 54, 80, 82)의 패턴을 오브젝트(28) 상에 투사하는 것을 포함하는 맵핑을 위한 방법이 제공되며, 여기서 상기 투사는 상기 패턴에서의 스팟들의 위치들이 비상관되도록 반면에 상기 형상들이 공통의 특징을 공유하도록 수행된다. 오브젝트 상의 스팟들의 이미지가 캡처되고 그리고 프로세싱되어 오브젝트의 삼차원(3D) 맵이 얻어진다.

Description

삼차원 감지를 위한 깊이 가변 광 필드{DEPTH-VARYING LIGHT FIELDS FOR THREE DIMENSIONAL SENSING}
본 발명은 일반적으로 삼차원(three-dimensional, 3D) 오브젝트(objects)를 맵핑하기 위한 방법 및 시스템에 관한 것으로, 특히 3D 광학 레인징 및 맵핑(3D optical ranging and mapping)에 관한 것이다.
간섭성 광 빔(coherent beam of light)이 확산기(diffuser)를 통해 지나가서 표면 상에 투사될 때, 1차 스펙클 패턴(primary speckle1 pattern)이 상기 표면 상에서 관측될 수 있다. 1차 스펙클은 확산된 빔의 서로 다른 성분 간의 간섭에 의해 발생된다. 용어 "1차 스펙클"은 본 특허 명세서에서 2차 스펙클(secondary speckle)과 구별하기 위해 사용되고 있으며, 2차 스펙클은 오브젝트의 거친 표면으로부터의 간섭성 광의 확산 반사(diffuse reflection)에 의해 발생되는 것이다.
Hart는 타이완 특허 TW 527528 B 및 미국 특허 출원 번호 제09/616,606호에서, 고속 3D 이미징 시스템에서 스펙클 패턴을 사용하는 것을 설명하고 있으며, 이들 문헌의 개시 내용은 참조로 본 명세서에 통합된다. 이러한 시스템은 능동 이미징 소자 및 CCD 소자를 구비한 단일 렌즈 카메라 서브시스템을 포함하고, 그리고 상관 프로세싱 서브시스템을 포함한다. 능동 이미징 소자는 회전 개구(rotating aperture)일 수 있으며, 이것은 포커싱되지 않은 이미지들(defocused images) 간의 조정가능한 비등변 간격이 더 큰 피사계 심도 및 더 높은 서브픽셀 변위 정확도(sub-pixel displacement accuracy)를 달성할 수 있게 한다. 스펙클 패턴이 오브젝트 상에 투사되고, 그리고 패턴의 이미지가 복수의 각도로부터 획득된다. 이러한 이미지들은 이미지 상관 기술을 사용하여 국부적으로 크로스-상관(cross-correlate)되고, 그리고 그 표면은 관련 카메라 위치 정보에 의해 분해(resolve)되어 각각의 국부적으로 상관된 영역의 삼차원적 좌표가 계산된다.
또 다른 스펙클 기반의 3D 이미징 기술이 미국 특허 번호 제6,101,269호(발명자: Hunter 등)에서 설명되며, 이 문헌의 개시내용은 참조로 본 명세서에 통합된다. 랜덤 스펙클 패턴이 3D 표면 상에 투사되고, 복수의 카메라에 의해 이미지화되어 복수의 이차원 디지털 이미지들이 획득된다. 이차원 이미지들은 프로세싱되어 표면의 삼차원 특징이 획득된다.
3D 맵핑 및 레인징을 위한 다른 방법은 구조화돤 조명 또는 코딩된 조명을 사용한다. 예를 들어, Sazbon 등은 "Qualitative Real-Time Range Extraction for Preplanned Scene Partitioning Using Laser Beam Coding"(Pattern Recognition Letters 26 (2005), 페이지 1772-1781)에서 범위 예측을 위해 이런 종류의 방법을 설명하고 있으며, 이 문헌은 참조로 본 명세서에 통합된다. 위상 필터(phase-only filter)는 레이저 빔을, 워크스페이스(workspace)에서의 M개의 서로 다른 범위 세그먼트들(range segments)에 대응하는 M개의 서로 다른 회절 패턴들로 코딩한다. 따라서, 조명된 장소에서의 각각의 평면은 광 소스(light source)로부터의 평면까 지의 범위에 대응하는 패턴으로 조사(irradiate)된다. 공통 카메라가 그 장소의 이미지를 캡처하기 위해 사용될 수 있으며, 이것은 그 장소에서의 오브젝트의 범위가 결정하기 위해 프로세싱될 수 있다. 게르츠베르그-삭스톤 알고리즘(Gerchberg-Saxton algorithm)에 근거하여 위상 필터를 설계하는 반복적 절차가 설명되어 있다.
아래에서 설명되는 본 발명의 실시예들은 성형된 스팟 조명 패턴을 사용하여 3D 맵핑 및 레인징을 위한 방법 및 시스템을 제공한다. 이러한 패턴들은 제어가능하고 식별가능한 형상을 갖는 밝은 스팟들의 어레이를 포함한다. 일부 실시예들에서, 이러한 스팟들의 상대적 위치들은 비상관되어 있고(예를 들어, 스펙클 패턴과 같은 랜덤 패턴 혹은 의사-랜덤 패턴(pseudo-random pattern)), 하지만 어떤 경우에도 스팟들은 유사한 미리 정의된 형상 특징을 공유한다. 어떤 실시예들에서, 스팟들은 어떤 방향으로 연장(elongate)되고, 이것은 조명 빔에 수직인 소정의 평면에서 모든 스팟들에 공통적이다.
일부 실시예들에서, 스팟 형상 특징은 조명 소스로부터의 거리에 따라 변한다. 거리에 따라 변하는 형상 특징은 두 개의 광학 제약물(optical constraints)(하나는 빔을 복수의 스팟들로 분할하기 위한 것이고, 다른 하나는 거리에 따라 변하는 형상을 생성하기 위한 것임)이 겹쳐지도록 설계된 하나 또는 그 이상의 광학 소자들을 통해 조명 빔을 통과시킴으로써 얻어질 수 있다. 이렇게 겹쳐지도록 하는 방법은 매우 다양한 거리에 따라 변하는 패턴들이 간단하고 융통성 있게 생성될 수 있도록 한다. 거리에 따라 변하는 형상 특징의 결과로서, 패턴에 의해 조명되는 오브젝트의 표면의 부분들 상에 나타나는 스팟들의 형상들은 소스로부터 이러한 부분들까지의 범위를 결정하기 위해 사용될 수 있다.
일부 실시예들에서, 알려진 범위에서의 기준 패턴에 대한, 표면 상의 패턴의 부분들의 횡행 시프트(transverse shift)는 표면의 3D 맵을 재구성하기 위해 사용된다. 형상 기반의 레인징 및 시프트 기반의 맵핑의 결합은 조명 소스로부터 더 큰 거리 범위를 포괄하는 정확한 3D 맵을 생성하기 위해 사용될 수 있다.
따라서, 본 발명의 실시예에 따른, 맵핑을 위한 방법이 제공되는데, 상기 맵핑을 위한 방법은,
각각의 위치들 및 형상들을 갖는 복수의 스팟들의 패턴을 오브젝트 상에 투사하는 단계와, 여기서 상기 투사는 상기 패턴에서의 상기 스팟들의 위치들이 비상관되도록 수행되고 반면에 상기 형상들이 공통 특징을 공유하도록 수행되며;
상기 오브젝트 상의 상기 스팟들의 이미지를 캡처하는 단계와; 그리고
상기 오브젝트의 삼차원(3D) 맵을 얻기 위해 상기 이미지를 프로세싱하는 단계를 포함한다.
일 실시예에서, 스팟들의 패턴은 랜덤 스펙클 패턴(random speckle pattern)을 포함한다.
일부 실시예들에서, 형상들의 공통 특징은 패턴의 소스로부터의 거리에 따라 변하고, 그리고 이미지를 프로세싱하는 것은, 소스로부터 표면까지의 거리를 결정하기 위해 이미지에서 오브젝트 표면 상의 스팟들의 특징을 분석하는 것을 포함한다. 일부 실시예에서, 스팟들은 연장된 형상(elongate shape)을 공유하며, 이것은 패턴의 소스로부터의 거리에 따라 회전하고, 그리고 상기 특징을 분석하는 것은 오브젝트 표면 상의 스팟들의 방향을 결정하는 것을 포함한다. 추가적으로 혹은 대안적으로, 이미지를 프로세싱하는 것은, 이미지 내의 오브젝트의 복수 영역들 상의 패턴과, 기준 이미지 내의 패턴 간의 각각의 오프셋(offset)들을 찾는 것을 포함하고, 그리고 3D 맵을 얻기 위해 거리와 함께 이러한 오프셋들을 사용하는 것을 포함한다. 상기 각각의 오프셋들을 찾는 것은, 소스로부터 표면까지의 거리에 따라, 복수의 기준 이미지들 중에서 기준 이미지를 선택하는 것을 포함할 수 있다.
또 다른 실시예에서, 패턴에서의 스팟들은 연장된 형상을 갖으며, 이것은 제 1 방향으로 정렬되어 있고, 그리고 상기 이미지를 프로세싱하는 것은 3D 맵을 얻기 위해 제 2 방향(제 1 방향에 수직임)에서 이미지 내의 오브젝트의 복수 영역 상의 패턴과 기준 이미지 내의 패턴 간의 각각의 오프셋들을 찾는 것을 포함한다. 상기 스팟들의 패턴을 투사하는 것은 확산기를 통해 간섭성 광의 빔을 지나가게 하는 것을 포함할 수 있는데, 여기서 상기 빔은 제 2 방향에서 연장된 확산기에서의 프로파일(profile)을 갖는다.
개시되는 실시예에서, 상기 이미지를 캡처하는 것은 오브젝트가 움직이는 동안 연속적인 이미지들을 캡처하는 것을 포함하고, 그리고 상기 이미지를 프로세싱하는 것은 상기 연속적인 이미지들을 프로세싱함으로써 오브젝트의 움직임을 추적하는 것을 포함한다. 일 실시예에서, 오브젝트는 신체의 일부이고, 상기 움직임을 추적하는 것은 신체의 일부에 의해 만들어진 동작을 식별하는 것을 포함하고, 그리고 상기 동작에 응답하여 컴퓨터 애플리케이션에 입력을 제공하는 것을 포함한다.
본 발명의 일 실시예에 따른 이미징을 위한 방법이 또한 제공되는데, 상기 이미징을 위한 방법은,
광의 빔에 제 1 광학 제약물의 인가로 상기 빔이 복수의 스팟들의 패턴으로 분할되도록 상기 제 1 광학 제약물을 정의하는 단계와;
광의 빔에 제 2 광학 제약물의 인가로 상기 빔이 상기 빔의 축을 따르는 거리에 따라 미리 정의된 방식으로 변하는 형상 특징을 갖는 스팟을 형성하도록 상기 제 2 광학 제약물을 정의하는 단계와;
상기 제 1 광학 제약물 및 상기 제 2 광학 제약물이 겹쳐지도록 적어도 하나의 광학 소자를 설계하는 단계와; 그리고
상기 패턴에서의 상기 복수의 스팟들이 상기 형상 특징을 갖도록, 표면 상에 상기 패턴을 투사하기 위해 상기 적어도 하나의 광학 소자를 통해 광의 빔이 지나가게 하는 단계를 포함한다.
일부 실시예들에서, 상기 적어도 하나의 광학 소자는 상기 빔을 상기 패턴으로 분할하기 위한 제 1 광학 소자를 포함하고, 상기 형상 특징을 인가하기 위한 제 2 광학 소자를 포함한다. 일 실시예에서, 상기 패턴은 스펙클 패턴을 포함하고, 그리고 상기 제 1 광학 소자는 확산기를 포함한다.
대안적으로 또는 추가적으로, 상기 적어도 하나의 광학 소자는 회절성 광학 소자(Diffractive Optical Element, DOE)를 포함한다. 일 실시예에서, DOE는 연장된 형상을 상기 스팟들에 전하기 위한 적어도 하나의 동심원 회절판(zone plate)을 포함한다. 상기 적어도 하나의 동심원 회절판은, 상기 스팟들의 상기 연장된 형상이 거리에 따라 회전하도록 서로 다른 각각의 주기(periods) 및 각방위(angular orientations)를 갖는 복수의 겹쳐진 동심원 회절판들을 포함할 수 있다.
또한, 대안적으로 또는 추가적으로, 상기 적어도 하나의 광학 소자는 굴절성 광학 소자를 포함한다.
전형적으로, 상기 제 1 광학 제약물에 의해 정의된 패턴은 1/4보다 더 크지 않은 듀티 싸이클을 갖는다.
일부 실시예들에서, 상기 패턴은 상기 스팟들의 위치들이 비상관되도록 상기 스팟들의 각각의 위치들을 정의한다.
개시되는 실시예에서, 상기 제 2 광학 제약물은 상기 스팟이 거리에 따라 회전하는 연장된 형상을 가지도록 한다. 또 다른 실시예에서, 제 2 광학 제약물은 상기 스팟이 고리 형상(angular shape)을 가지도록 한다.
일부 실시예들에서, 이러한 방법은 표면 상의 스팟들의 이미지를 겹처하는 것과, 그리고 상기 적어도 하나의 광학 소자로부터 상기 표면까지의 거리를 결정하기 위해 상기 이미지를 프로세싱하는 것을 포함한다.
추가적으로 본 발명의 실시예에 따른 맵핑을 위한 장치가 제공되며, 상기 맵핑을 위한 장치는,
각각의 위치들 및 형상들을 갖는 복수의 스팟들의 패턴을 오브젝트 상에 투사하도록 구성되는 조명 조립체와, 여기서 상기 투사는 상기 패턴에서의 상기 스팟들의 위치들이 비상관되도록 반면에 상기 형상들은 공통 특징을 공유하도록 수행되며;
상기 오브젝트 상의 상기 스팟들의 이미지를 캡처하도록 구성되는 이미징 조립체와, 그리고
상기 오브젝트의 삼차원(3D) 맵을 얻기 위해 상기 이미지를 프로세싱하도록 구성되는 이미지 프로세서를 포함한다.
본 발명의 일 실시예에 따른 이미징을 위한 장치가 또한 제공되는데, 상기 이미징을 위한 장치는,
광의 빔에 제 1 광학 제약물의 인가로 상기 빔이 복수의 스팟들의 패턴으로 분할되도록, 그리고 상기 광의 빔에 제 2 광학 제약물의 인가로 상기 빔이 상기 빔의 축을 따르는 거리에 따라 미리 정의된 방식으로 변하는 형상 특징을 갖는 스팟을 형성하도록, 상기 제 1 광학 제약물 및 상기 제 2 광학 제약물이 겹쳐지도록 설계되는 적어도 하나의 광학 소자와; 그리고
상기 패턴에서의 상기 복수의 스팟들이 상기 형상 특징을 갖도록, 표면 상에 상기 패턴을 투사하기 위해 상기 적어도 하나의 광학 소자를 통해 광의 빔이 지나가게 하도록 구성되는 광 소스를 포함한다.
본 발명은 첨부되는 도면과 함께 본 발명의 실시예들에 관한 아래의 상세한 설명으로부터 더 충분히 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 3D 레인징 및 맵핑을 위한 시스템의 개략적이고 도식적 도면이다.
도 2는 본 발명의 실시예에 따른 스펙클 이미징 디바이스의 개략적 평면도이다.
도 3의 3A는 본 발명의 실시예에 따른 램덤화 광학 소자(randomizing optical element)를 통해 레이저 빔의 투사에 의해 생성된 스펙클 패턴을 도식적으로 나타낸 것이다.
도 3의 3B는 본 발명의 실시예에 따른 회절성 광학 소자(DOE)에 의해 생성된 광 패턴을 도시적으로 나타낸 것이다.
도 3의 3C 및 3D는 본 발명의 실시예에 따른 도 3의 3A 및 3B의 광학 소자들을 통해 레이저 빔의 투사에 의해 생성된 스펙클 패턴들을 도식적으로 나타낸 것이다.
도 4는 본 발명의 실시예에 따른 3D 레인징 및 맵핑을 위한 방법을 개략적으로 나타낸 흐름도이다.
도 5의 5A 내지 5P는 본 발명의 실시예에 따른 DOE 생성시 사용되는 서로 다른 회전 각도에서의 동심원 회절판들의 세트를 개략적으로 나타낸 것이다.
도 5의 5Q는 본 발명의 실시예에 따른 도 5의 5A 내지 5P의 동심원 회절판들을 겹쳐놓음으로써 생성되는 DOE의 개략적인 전면도이다.
도 6의 6A는 본 발명의 실시예에 따른 램덤화 광학 소자를 통해 레이저 빔의 투사에 의해 생성된 스펙클 패턴을 개략적으로 나타낸 것이다.
도 6의 6B는 본 발명의 실시예에 따른 회절성 광학 소자(DOE)에 의해 생성된 광 패턴을 도식적으로 나타낸 것이다.
도 6의 6C 및 6D는 본 발명의 실시예에 따른 도 6의 6A 및 6B의 광학 소자들을 통해 레이저 빔의 투사에 의해 생성된 스펙클 패턴들을 도식적으로 나타낸 것이다.
시스템 개관
도 1은 본 발명의 실시예에 따른 3D 레이징 및 맵핑을 위한 시스템(20)을 개략적이고 도시적 도면이다. 시스템(20)은 이미징 디바이스(imaging device)(22)를 포함하며, 이것은 스팟들의 패턴을 발생시켜 오브젝트(28) 상에 투사하고, 그리고 오브젝트 상에 나타나는 스팟 패턴의 이미지를 캡처한다. 디바이스(22)의 디자인 및 동작의 세부 사항은 첨부된 도면에서 도시되며, 이러한 도면을 참조로 아래에서 설명된다.
일부 실시예들에서, 이미징 디바이스(22)에 의해 투사된 스팟들의 패턴은 스펙클 패턴을 포함한다. 본 출원서 및 특허청구범위에 있어서, 용어 "스펙클 패턴"은 투사된 밝은 스팟 패턴을 말하며, 그 위치는 투사 빔 축에 수직인 평면에서 비상관되어 있다. 횡행 시프트(transverse shift)의 함수로서의 패턴에서의 스펙클들의 위치들의 자동 상관이 스팟 사이즈보다 더 큰 임의의 시프트에 대해서는 중요하지 않다는 점에서 위치들은 비상관되어 있다. (앞서 설명된 바와 같이) 1차 레이저 스펙클(primary laser speckle)에 의해 생성된 것들과 같은 랜덤 패턴들은 이러한 의미에서 비상관되어 있다. 사람 혹은 컴퓨터 디자인에 의해 생성된 패턴들, 예를 들어 의사-랜덤 패턴(pseudo-random pattern) 및 준-랜점 패턴(quasi-random pattern)이 또한 비상관되어 있을 수 있다. 시스템(20)에서 구현될 수 있는 스펙클 기반의 3D 매핑의 이론 및 동작의 다른 실시형태는 PCT 특허 출원번호 PCT/IL2006/000335(2006.03.14. 출원) 및 PCT 특허 출원(발명의 명칭: "Three-Dimensional Sensing Using Speckle Patterns", 2007.03.08. 출원)에서 설명되어 있다. 이러한 출원 모두는 본 특허 출원의 양수인에게 양도되어 있고, 그리고 이들의 개시 내용은 참조로 본 명세서에 통합된다.
다른 실시예들에서, 스팟들은 담만 격자(Damman grating) 또는 적당한 렌즈릿 어레이(lenslet array)를 통해 조명 빔이 지나가게 함으로써 생성될 수 있는 패턴 타입과 같은 정규 비랜덤 패턴으로 정렬될 수 있다.
아래에서 설명되는 레인징 및 맵핑 애플리케이션에서의 좋은 성능을 위해서, 스팟 패턴은 낮은 듀티 싸이클, 즉, 평균 밝기 이상을 갖는 패턴의 영역의 일부가 1/e보다 더 크지 않는 것, 그리고 바람직하게는 1/4 혹은 심지어 1/10보다 더 작은 것이 유리하다. 낮은 듀티 싸이클은 3D 맵핑을 위한 스팟 시프트 검출의 신호대잡음비를 강화시킴에 있어 유리하다. 또한 이것은 이웃하는 스팟이 오버랩할 때 일어날 수 있는 간섭 영향을 피하는 데 도움을 준다.
스팟들(스펙클들)의 위치들이 비상관되어 있는 경우에도, 본 발명의 실시예들에서 사용되는 패턴들에서의 스팟들의 형상들은 종래의 레이저 스펙클 패턴들에서와 같이 전체적으로 랜덤하지 않고, 오히려 공통 형상 특징을 가지게 된다. 예를 들어, 아래에서 설명되는 바와 같이, 일부 실시예들에서, 스팟들은 어떤 축을 따라 연장된다. 추가적으로 혹은 대안적으로, 스팟들은, 형상들이 제어되는 동안, 다른 공통 형상 특징들을 가질 수 있고, 그리고 조명 빔의 축을 따라 거리에 따라 형상들에서의 변화가 식별될 수 있다. 본 명세서에서의 용어 "형상의 변화"는 조명 소스로부터의 거리에 따라 정상적으로 일어나는 스팟 사이즈에서의 단순한 선형 증가와는 다른 변화를 의미한다.
이미지 프로세서(24)는 오브젝트(28)의 깊이 레인징 및 선택에 따라서는 3D 맵핑을 수행하기 위해 디바이스(22)에 의해 발생된 이미지 데이터를 프로세싱한다. 본 특허 출원서 및 특허청구범위에서 사용되는 바와 같은 용어 "레인징"은 이미징 디바이스로부터 오브젝트까지 거리의 비정밀 측정치를 찾는 것을 말하고, 용어 "3D 맵"은 오브젝트의 표면을 나타내는 3D 좌표들의 세트를 말하는 것이다. 이미지 데이터에 근거하여 이러한 맵을 획득하는 것은 "3D 맵핑" 혹은 등가적으로는 "3D 재구성"으로 언급된다. 레인징 및 맵핑 양쪽 모두는 아래에서 설명되는 바와 같이 3D 재구성의 프로세스에서 비정밀 및 정밀 단계로서 함께 사용될 수 있다. 따라서, 레인징은 일종의 개략적 3D 맵핑으로 고려될 수도 있다.
이러한 레인징 및 맵핑을 수행하는 이미지 프로세서(24)는, 아래에서 설명되는 기능을 수행하도록 소프트웨어로 프로그래밍된 범용 컴퓨터 프로세서를 포함할 수 있다. 이러한 소프트웨어는 예를 들어 네트워크를 통해 전자적인 형태로 프로세서(24)에 다운로드될 수 있고, 또는 대안적으로는 광학 미디어, 자기 미디어, 또는 전자 메모리 미디어와 같은 실체적 미디어 상에 제공될 수 있다. 대안적으로 혹은 추가적으로, 이미지 프로세서의 기능 중 일부 혹은 모두는 주문형 집적 회로(custom integrated circuit) 혹은 반주문형 직접 회로(semi-custom integrated circuit) 또는 프로그램가능 디지털 신호 프로세서(Digital Signal Processor, DSP)와 같은 전용 하드웨어로 구현될 수 있다. 프로세서(24)가 도 1에서 예로서 이미징 디바이스(22)와 분리된 개별 유닛으로 도시되었지만, 프로세서(24)의 프로세싱 기능들 중 일부 혹은 모두는 이미징 디바이스의 하우징 내에 적당한 전용 회로에 의해 수행될 수 있고 또는 만약 그렇지 않다면 이미징 디바이스와 관련되어 있을 수 있다.
프로세서(24)에 의해 발생된 3D 맵은 광범위한 다른 목적을 위해 사용될 수 있다. 예를 들어, 이러한 맵은 오브젝트의 의사-3D 이미지(pseudo-3D image)를 보여주는 디스플레이(26)와 같은 출력 디바이스로 보내질 수 있다. 도 1에 도시된 예에서, 오브젝트(28)는 해당 신체의 일부(예를 들어, 손) 혹은 모두를 포함한다. 이러한 경우에, 시스템(20)은 동작 기반의 사용자 인터페이스를 제공하기 위해 사용될 수 있고, 여기서 디바이스(22)를 사용하여 검출된 사용자 움직임은, 마우스, 조이스틱 또는 다른 부수적인 것과 같은 실체적 인터페이스 소자들 대신에, 게임같은 쌍방향 컴퓨터 애플리케이션을 제어한다. 대안적으로, 시스템(20)은, 실질적으로 3D 좌표 프로파일이 필요한 임의의 애플리케이션에 있어서, 다른 타입의 오브젝트의 3D 맵들을 생성하기 위해 사용될 수 있다.
도 2는 본 발명의 실시예에 따른 디바이스(22)의 개략적 상부도이다. 디바이스(22) 내의 조명 조립체(30)는 간섭성 광 소스(34), 전형적으로는 레이저를 포함하고, 그리고 아래에서 설명되는 바와 같이, 스펙클 패턴 혹은 다른 스팟 패턴을 생성하기 위해 결합되어 전형적으로 사용되는 하나 또는 그 이상의 광학 소자 들(36, 38)을 포함한다. 본 특허 출원서에서 사용되는 용어 "광"은 적외선 및 자외선뿐만 아니라 가시광선을 포함하는 임의 종류의 광학적 방사선(optical radiation)을 말한다. 소스(34)에 의해 방출된 광의 빔은 광학 소자들(36 및 38)을 통해 지나가고, 그리고 오브젝트(28)가 위치하고 있는 타겟 영역(46)을 조명한다. 이미지 캡처 조립체(32)는 오브젝트(28) 상에 투사된 패턴의 이미지를 캡처한다. 조립체(32)는 이미지를 이미지 센서(42) 상에 포커싱시키는 대물 광학체(objective optics)(40)를 포함한다. 전형적으로, 센서(40)는 CCD 혹은 CMOS 기반의 이미지 센서 어레이와 같은 구면 수차가 보정된 검출 소자들의 어레이(44)를 포함한다.
도 2에 도시된 실시예에서, 조명 조립체(30)와 이미지 캡처 조립체(32)는 고정된 공간 관계에서 유지된다. 아래에서 설명되는 이러한 구성 및 프로세싱 기술은, 조명 조립체 및 이미지 캡처 조립체 간의 상대적 움직임 없이 그리고 움직이는 부분 없이, 단일의 이미지 캡처 조립체를 사용하여 3D 맵핑 수행을 가능하게 한다. 대안적으로, 아래에서 설명되는 조명, 레인징, 및 맵핑의 기술은 앞서 배경기술 부분에서 설명된 것들과 같은 다양한 서로 다른 구성으로 다른 종류의 이미지 캡처 조립체들과 함께 사용될 수 있다. 예를 들어, 이미지 캡처 조립체는 조명 조립체에 대해 상대적으로 움직일 수 있다. 추가적으로 혹은 대안적으로, 두 개 혹은 그 이상의 이미지 캡처 조립체들은 서로 다른 각도로부터 오브젝트(28)의 이미지들을 캡처하기 위해 사용될 수 있다.
도 2의 구성에서 오브젝트(28)의 움직임으로 인한 3D 맵의 계산 및 맵에서의 변화의 계산을 간단하게 하기 위해, 조립체들(30 및 32)은, 이미지 캡처 조립 체(32)의 입력 개구(entrance pupil)의 중앙을 통해 지나가는 축 및 광학 소자(36) 상에 광 소스(34)에 의해 형성된 스팟이, 센서(40)의 축들(편의상 이것을 X-축이 되도록 하고, 반면에 Z-축은 디바이스(22)로부터의 거리에 대응함) 중 하나와 평행하도록 장착될 수 있다. 이러한 배치의 장점은 앞서 언급된 PCT 특허 출원(발명의 명칭: "Three-Dimensional Sensing Using Speckle Patterns")에서 더 설명되어 있다.
특히, 이러한 배치에서의 삼각측량(triangulation)에 있어, 오브젝트 상의 포인트의 Z-방향 시프트
Figure 112008064647661-PCT00001
는 이미지에서 관측된 스팟 패턴에서의 동시발생적인 횡행 시프트
Figure 112008064647661-PCT00002
를 발생시킨다. 따라서, 오프젝트 상의 포인트들의 Z-좌표 및 시간에 따른 Z-좌표에서의 시프트는, 알려진 거리 Z에서 취해진 기준 이미지에 대한 조립체(32)에 의해 캡처된 이미지에서의 스팟들의 X-좌표에서의 시프트를 측정함으로써 결정될 수 있다. Y-방향 시프트는 무시될 수 있다. 이러한 종류의 삼각측량 방법은 특히 스펙클 패턴을 사용하는 3D 맵핑에 있어 적절한데, 그러나 이러한 방법의 여러 실시형태들이 또한 다른 타입의 스팟 패턴들과 함께 사용되도록 구성될 수 있다.
달리 말하면, 캡처된 이미지의 각각의 영역에서의 스팟들의 그룹은, 기준 이미지에서의 가장 가깝게 정합하는 스팟들의 그룹을 찾기 위해, 기준 이미지와 비교된다. 이미지에서의 정합하는 스팟 그룹들 간의 상대적 시프트는 기준 이미지에 대한 캡쳐된 이미지의 영역의 Z-방향 시프트를 일으킨다. 스팟 패턴에서의 시프트는 이미지 상관 혹은 본 발명의 기술분야에서 알려진 다른 이미지 정합 계산 방법을 사용하여 측정될 수 있다. 일부 예시적인 방법들이 앞서 언급된 PCT 특허 출원에서 설명되어 있다.
공통 형상 특징을 갖는 스펙클 패턴들의 발생
공통 형상 특징들을 갖는 스팟들의 패턴들은 다양한 방법으로 시스템(20)의 동작을 강화시키기 위해 사용될 수 있다. 예를 들어, 앞서 언급된 디바이스(22)의 구성(여기서, 단지 X-방향 시프트들이 오브젝트의 3D 재구성에서 중요함)에서, Y-방향으로 연장된 스펙클들의 패턴을 사용하는 것이 유리할 수 있다. 결과적으로, 프로세서(24)가 Z-방향 시프트들을 검출할 목적으로 이미지들 간의 상관을 계산할 때, 그 계산은 Y-방향에서의 스펙클들의 작은 시프트에 민감하지 않을 것이다. 이러한 특징은 X-방향 시프트 계산의 안정성을 개선한다(그리고 계산에 있어 더 작은 상관 윈도우 사용을 가능하게 함).
여러 방법들이, Y-방향에서의 연장되고 그리고 X-방향에서의 위치들이 비상관되어 있는 이런 종류의 스펙클 패턴을 발생시키기 위해 사용될 수 있다. 한 가지 가능한 방법은 X-방향에서 연장되는 랜덤하게 정렬되는 그레인 어레이(array of grains)를 갖는 확산기로서 광학 소자(36)를 구성하는 것이다. 이 경우 소자(38)는 필요 없을 수 있다. 예를 들어, 그레인들은 불투명일 수 있으며, 또는 대안적으로 투과된 빛에서 위상 변화가 일어나도록 두께가 서로 다를 수 있다. 또 다른 대안으로서, 소자(36)는 종래의 등방성 확산기를 포함할 수 있고, 반면에 광 소스(34)의 빔은 X-방향에서 연장된다. 예를 들어, 소스와 확산기 사이의 원통형 렌즈(미도시) 가 이러한 목적을 위해 사용될 수 있다.
또 다른 선택 사항으로서, 소자(36)가 확산기(이것은 등방성일 수 있음)를 포함하고, 그리고 소자(38)가 회절성 광학 소자(DOE)를 포함한다. Y-축을 따라 연장된 요구된 스펙클들을 발생시키기 위해, 소자(38)는 단지 X-축에 평행하게 배향된 라인들을 갖는 적당한 격자 혹은 동심원 회절판을 포함할 수 있다.
개념적 명확성을 위해, 도 2에서는 소자들(36 및 38)이 개별 소자로서 도시되었지만, 확산기 및 DOE는 전형적으로 서로 접촉하고 있으며 그리고 함께 접합될 수 있다. 대안적으로, 소자들(36 및 38)은, 광학 블랭크(optical blank)의 한쪽에 DOE를 형성하고 그리고 확산기 생성을 위해 다른 쪽을 그라인딩 함으로써, 단일 부분으로서 만들어질 수 있다. 또한 대안적인 것으로서, 확산기 및 격자 혹은 동심원 회절판에 의해 부과된 광학 제약물들은 단일 DOE에서 결합될 수 있으며, 여기서 예를 들어 X-배향 라인들 및 의사-램덤 확산 패턴이 겹쳐진다. 이러한 경우 모두에서, 원거리 필드(far field)에서의 스펙클들의 패턴은, 확산기에 의해 제공된 랜덤 위치 분포의 DOE의 퓨리어 변환에 의해 정의된 형상과의 컨벌루션(convolution)이다.
유사한 겹쳐 놓는 방법이, 거리(Z)에 따라 변하는 더 복잡한 패턴들을 생성하는 DOE들을 발생시킬 때 사용될 수 있다. 일부 실시예들에서, DOE는 서로 다른 거리 범위에서 서로 다른 형상을 갖는 스팟들의 형태를 생성하도록 설계될 수 있다. 도 2를 참조하면, 스팟들은 거리 Z1에서 하나의 형상을 가질 수 있고, 거리 Z2 에서 또 다른 형상을 가질 수 있고, 등등이다. 예를 들어, 스팟들의 연장된 형상은 매 범위마다 45도 만큼 회전될 수 있다. 결과적으로 오브젝트(28)가 ZA에 위치할 때, 스팟들은 Z2의 범위의 배향을 가지고, 반면에, 오브젝트가 ZB에 있을 때, 스팟들은 Z3의 범위의 배향을 가진다. 스팟들이 배향을 검출함으로써, 프로세서(24)(도 1)는, 스팟 위치 상관에 근거하는 3D 재구성 프로세스와는 별개로, 오브젝트의 거리 범위를 결정할 수 있다. 레인징 및 맵핑은 아래에서 더 설명되는 바와 같이 강화된 범위 및/또는 분해능을 갖는 3D 맵을 발생시키 위해 결합되어 사용될 수 있다.
다양한 방법들이 요구된 Z-의존성을 갖는 스팟들의 패턴을 생성하는 단일의 광학 소자를 설계하기 위해 사용될 수 있다. 이러한 종류의 범위 의존적 스펙클 성형을 제공하도록 광학 소자(38)를 설계하기 위해 사용될 수 있는 한 가지 방법은 반복적 게르츠베르그-삭스톤 방법(Gerchberg-Saxton method)을 사용하는 것으로, 이것은 Sazbon 등에 의해 쓰여진 앞서 언급된 논문에서 설명되어 있다. 그러나 이러한 방법은 컴퓨터 계산에 있어 비용이 많이 들고 수렴(converge)이 보장되지 않는다.
대안적으로, 이러한 목적을 위해 하나 또는 그 이상의 광학 소자들의 세트가 제약물을 겹쳐 놓은 방식으로 설계될 수 있다. 예를 들어, 서로 다른 각각의 범위에서 네 개의 서로 다른 배향을 갖는 스펙클들을 발생시키는 이러한 소자 혹은 소자들은, 네 개의 미리 정의된 범위의 네 개의 배향에서의 단일의 Z-가변성 패턴을 구현하는 소자를 갖는 분할기(이것은 듀티 싸이클이 낮고 비상관된 위치들을 갖는 스팟들의 패턴을 발생시킴)를 중첩시킴으로써 만들어질 수 있다. 예를 들어, 단일 패턴을 생성하는 소자는 네 개의 동심원 회절판들의 중첩일 수 있고, 그 각각은 여러 범위들 중 하나에서 적절한 각각의 방향으로 임의 라인에 광을 포커싱시킨다.
대안적으로 또는 추가적으로, 이러한 중첩은 계산될 수 있고, 그리고 적당한 컴퓨터 생성 홀로그램(Computer-Generated Hologram, CGH) 또는 다른 DOE에서 구현될 수 있다, 만약 거리
Figure 112008064647661-PCT00003
에서의 광도(light intensity)(또는 등가적으로는 진폭)에 관해 각각 가해져야 하는 제약들의 세트
Figure 112008064647661-PCT00004
가 주어진다면, 이러한 제약들의 구현하여야 하는 광학 소자들은 두 패턴의 컨벌루션
Figure 112008064647661-PCT00005
로 분해될 수 있으며, 여기서
Figure 112008064647661-PCT00006
Figure 112008064647661-PCT00007
에 대해 동일하고, 반면에
Figure 112008064647661-PCT00008
Figure 112008064647661-PCT00009
(여기서,
Figure 112008064647661-PCT00010
)에 따라 임의로 변할 수 있다. 이러한 제약들은 광학 소자들(36 및 38)에 대응하는 다음과 같은 두 개의 필터
Figure 112008064647661-PCT00011
,
Figure 112008064647661-PCT00012
를 사용하여 구현될 수 있다.
Figure 112008064647661-PCT00013
필터
Figure 112008064647661-PCT00014
는 원거리 필드에서의 강도 패턴을 생성하며, 이것은
Figure 112008064647661-PCT00015
의 적절한 역 퓨리어 변환을 의미한다(이것은 종래 기술에서 알려진 DOE 설계의 기술을 사용하여 계산될 수 있는 것임).
Figure 112008064647661-PCT00016
필터
Figure 112008064647661-PCT00017
는 거리
Figure 112008064647661-PCT00018
에서 각각 강도 패턴
Figure 112008064647661-PCT00019
을 생성한다. 이러한 종류의 강도 패턴은 일반적으로 앞서 언급된 패턴들
Figure 112008064647661-PCT00020
보다 계산이 훨씬 더 간단하고, 그리고 일반적으로 종래 기술에서 알려진 방법들을 사용하여 개별적으로 생성될 수 있다.
결합 필터
Figure 112008064647661-PCT00021
(여기서 곱은 필터 평면에서의 포인트별로 수행됨)은 거리
Figure 112008064647661-PCT00022
에서 각각 강도 패턴
Figure 112008064647661-PCT00023
를 구현한다.
이러한 방법의 한 가지 단점은 이러한 종류의 컨벌루션
Figure 112008064647661-PCT00024
로서 나타내질 수 있는 제약들의 세트에 대해서만 유효하다는 것이다. 이러한 단점은 제약들의 임의의 세트를 컨벌루션들의 합으로 분해하는 프레즈넬 소머펠드 방정식(Fresnel-Sommerfeld equations)의 선형성을 이용함으로써 완화될 수 있다. 각각의 이러한 컨벌루션에 대한 필터는 앞서 설명된 기술에 의해 생성될 수 있고, 그리고 원하는 결과를 제공하도록 이러한 필터들은 중첩된다.
도 3의 3A 내지 3D는 본 발명의 실시예에 따라 설계되는 DOE들(36 및 38)을 통해 레이저 빔을 투사시킴으로써 생성되는 이미지들을 개략적으로 나타낸 것이다. 이러한 설계의 목적은 연장된 스펙클들의 패턴을 생성하는 것이고, 연장의 축들은
Figure 112008064647661-PCT00025
내지
Figure 112008064647661-PCT00026
의 주어진 범위에서
Figure 112008064647661-PCT00027
의 함수로서 180도를 통해 변한다. 도 3의 3A 및 3B는 다음과 같이 정의되는 각각 FS 및 FV에 의해 생성되는 패턴을 보여준다.
Figure 112008064647661-PCT00028
FS는 랜덤 스펙클들의 원거리 필드 패턴을 생성하고, 이것은 Z에서 변할 필요가 없다. 예를 들어, FS는 200×200 밝은 스펙클들(50)을 포함하는 1000×1000 픽셀의 패턴을 생성하도록 설계될 수 있는데, 이것은 랜덤하게 분포되어 있고 필드의 나머지는 어둡다. 스팟들의 사이즈에 따라, 듀티 싸이클은 전형적으로 대략 4%와 25% 사이에 있다. 이러한 패턴을 구현하기 위한 광학 소자(36)는 종래 기술에서 알려진 기술을 사용하여 생성되는 위상 DOE(phase-only DOE)를 포함할 수 있다.
Figure 112008064647661-PCT00029
FV는 평면
Figure 112008064647661-PCT00030
와 평면
Figure 112008064647661-PCT00031
간의 근거리 필드 부피(near-field volume)에서 N 개의 광 강도 패턴들을 생성한다. 도 3의 3B는 주어진
Figure 112008064647661-PCT00032
에서의 하나의 이러한 패턴을 보여준다. 이러한 패턴은 V×W 픽셀을 포함하며, 여기서 VW는 전형적으로 작고, 이 경우에 V = W = 5이다. 각각의 p, p=1, ..., N에 대해, 패턴은 수직에 대해 각도
Figure 112008064647661-PCT00033
만큼 회전된다. 이러한 패턴을 구현하는 광학 소자(38)는, 아래에서 설명되는 복수의 동심원 회절판을 중첩시킴으로써, 또는 종래 기술에서 알려진 임의의 다른 적당한 DOE 설계 방법을 사용함으로써, 앞서 설명된 게르츠베르그-삭스톤 방법을 사용하여 설계될 수 있다. 이러한 패턴은 작기 때문에, 어떠한 경우에도 DOE를 발생시키기 위해 필요한 계산은 상대적으로 간단하다.
도 3의 3C 및 3D는 Z의 두 개의 서로 다른 Z 값에서 FS 및 FV에 대응하는 소자들(36 및 38)을 중첩시킴으로써 생성되는 스펙클들의 패턴을 보여준다. 이러한 패턴들은 Z에 따라 변하는 서로 다른 각도에서 배향되고 각각 200×200 연장된 스 펙클들(52 및 54)을 포함한다. 거리가
Figure 112008064647661-PCT00034
로부터
Figure 112008064647661-PCT00035
까지 증가함에 따라, 스펙클들은 180도 만큼 회전한다. 오브젝트(28)의 표면 상에 투사되는 스펙클들의 각도
Figure 112008064647661-PCT00036
를 검출함으로써, 프로세서(24)는 또한 디바이스(22)로부터의 표면까지의 범위가
Figure 112008064647661-PCT00037
로 주어진다면,
Figure 112008064647661-PCT00038
을 결정할 수 있다.
도 4는 본 발명의 실시예에 따른 3D 레인징 및 맵핑을 위한 방법을 개략적으로 나타낸 흐름도이다. 본 방법 발명은, 명확한 설명을 위해 도 3의 3C 및 3D에 도시된 스펙클 패턴을 사용하고, 도 1 및 도 2에 도시된 바와 같은 시스템(20)을 참조하여 아래에서 설명된다. 그러나 이러한 방법은 앞서 언급된 참조 문헌들에서 설명된 것들과 같은 다른 종류의 스펙클 기반의 이미징 시스템에 유사하게 적용될수 있다. 더욱이, 다른 종류의 스팟 패턴들 및 Z-가변성 스팟 형상 특징들이, 도 3의 3C 및 3D에 도시된 스펙클들의 회전하는 선형 형상 대신에 대안적으로 생성되고 사용될 수 있다.
오브젝트의 레인징 및 이미징을 위한 준비에 있어서, 이미징 디바이스(22)는 하나 또는 그 이상의 기준 스펙클 이미지들을 캡처하도록 동작된다. 이러한 목적을 위해, 예를 들어, 평평한 표면이 Z1, Z2, Z3, ...에서와 같은 Z-축을 따라 원점으로부터의 알려진 기준 거리(fiducial distances)에서 배치될 수 있다. 이미징 조립체(32)는 각각의 거리에서 조명 조립체(30)에 의해 표면 상에 투사되는 스펙클 패턴의 기준 이미지를 캡처한다. 대안적으로, 스펙클 패턴은 본질적으로 F V 의 작은 Z- 가변성 패턴과 F S 의 원거리 필드 스팟 패턴의 컨벌루션이기 때문에, 각각의 기준 패턴들은 두 개의 필터들에 대해 개별적으로 결정될 수 있고, 그 다음에 각각의 거리 Z에서 결합 패턴을 제공하기 위해 컨벌루션될 수 있다. 이러한 방법은 기준 패턴들을 저장하기 위해 요구되는 메모리의 양을 감소시킬 수 있다. 또한 대안적으로, 전체 패턴의 설계는 표준화될 수 있고, 따라서 기준의 캡처가 필요 없을 수 있다.
오브젝트(28)가 타겟 영역(46)으로 도입되고, 그리고 테스트 캡처 단계(60)에서 디바이스(22)가 오브젝트의 표면 상에 투사되는 스펙클 패턴의 테스트 이미지를 캡처한다. 그 다음에 레인징 단계(62)에서, 프로세서(24)는 스펙클들의 배향 각도를 계산한다. 이러한 목적을 위해, 프로세서는 예를 들어, 테스트 이미지의 스펙트럼 분석을 수행할 수 있다. 스펙트럼의 형상(예를 들어, 장축(major axis) 및 단축(minor axis) 방향)은 스펙클들의 배향 각도에 대응하고, 이것은 또한 오브젝트의 범위를 나타낸다. 대안적으로 혹은 추가적으로, 프로세서는 스펙터클 형상과 여러 개의 서로 다른 기준 형상들 간의 크로스-상관을 계산할 수 있다. 물론, 만약 오브젝트가 충분히 깊다면, 스펙클 각도는 표면을 통해 변할 수 있고, 그래서 오브젝트의 서로 다른 부분들은 서로 다른 범위를 가지게 된다. 프로세서(24)는 오브젝트의 에지와 같은 스펙클 각도에서의 임의의 급격한 변화들의 궤적을 식별할 수 있다.
프로세서(24)는 오브젝트(28)의 개략적 3D 맵을 발생시킬 때 자체적으로 단계(62)의 형상 기반의 범위 측정을 사용할 수 있다. 그러나, 도 4에 도시된 실시예 에서, 프로세서는 이러한 범위 측정을, 재구성 단계(64)에서 오브젝트(28)의 3D 맵을 재구성할 때, 스팟 위치 삼각측량과 함께 사용할 수 있다. 이러한 목적을 위해, 프로세서는 전형적으로, 테스트 이미지에서의 오브젝트 표면 상의 서로 다른 포인트들에서의 스펙클 패턴과, 적절한 기준 이미지에서의 스펙클 패턴의 대응 영역들 간의 로컬 오프셋(local offset)들을 측정한다. 그 다음에, 프로세서는 이러한 오브젝트 포인트들의 Z-좌표를 결정하기 위해 이러한 오프셋들에 근거하여 삼각측량을 사용한다. 이러한 목적으로 사용될 수 있는 방법은 앞서 언급된 PCT 특허 출원에서 설명되어 있고, 그리고 앞서 언급된 다른 참조 문헌에서 설명되어 있다.
단계(62)에서의 레인징과 단계(64)에서의 3D 재구성과의 결합은 시스템(20)으로 하여금 스펙클 기반의 삼각측량만으로 일반적으로 달성될 수 있는 것보다 더 큰 정밀도 및/또는 더 낮은 계산 비용으로 3D 재구성을 수행할 수 있게 하고, 그리고 또한 측정이 이루어지는 Z-방향에서 범위를 증가시키기 위해 사용될 수 있다. 예를 들어, 만약 복수의 기준 이미지들이 앞서 언급된 바와 같이 서로 다른 기준 거리에서 캡처된다면, 프로세서는 그 기준 거리가 단계(62)에서 구해진 범위에 가장 근접하는 기준 이미지에 대한 로컬 오프셋들을 측정할 수 있다. 단지 단일 기준 이미지만이 사용될지라도, 단계(64)에서의 삼각측량 정밀도 및/또는 속도는 강화될 수 있는데, 왜냐하면 프로세서(24)는 점검되어야만 하는 서로 다른 로컬 오프셋 값들의 개수를 한정하기 위해 또는 더 큰 정밀도로 오프셋을 계산하기 위해 레인징 결과를 사용할 수 있기 때문이다.
단계들(60 내지 64)은 타겟 영역(46) 내에서 오브젝트(28)의 움직임을 추적 하기 위해 계속적으로 반복될 수 있다. 이러한 목적을 위해, 디바이스(22)는 오브젝트가 움직이는 동안 일련의 테스트 이미지들을 캡처하고, 그리고 프로세서(24)는 오브젝트의 3D 움직임을 추적하기 위해 단계들(62 및 64)을 반복한다. 이전의 반복 이후에 오브젝트가 너무 원거리로 움직이지 않는다고 가정하면, 일부 반복에서 단계(62)가 생략되는 것도 가능할 수 있다.
대안적인 실시예(도면에서는 도시되지 않음)에서, 스펙클 패턴의 시프트들에 근거한 삼각측량이 비정밀 범위 측정을 위해 사용되고, 그리고 스펙클 형상 특징에서의 변화는 정확한 3D 매핑을 위해 사용된다. 삼각측량의 정밀도는 무엇보다도 조명 조립체(30)와 이미지 캡처 조립체(32) 사이의 X축을 따르는 이격거리에 따라 달라진다. 만약 단지 비정밀 삼각측량이 필요하다면, 조립체들(30 및 32)은 서로 가깝게 배치될 수 있고, 따라서 디바이스(22)의 크기를 더 작게 설계할 수 있다.
형상 기반의 Z-방향 측정의 정밀도 강화는 타겟 영역(46) 내에서 몇 개의 싸이클을 통해 Z-가변성 스펙클 형상 패턴을 복제함으로써 달성될 수 있다. 달리 말하면, 앞서 설명된 회전하는 선형 스펙클 형상과 도 2에 도시된 배치의 예를 취하면, 스펙클 배향은 Z1과 Z2 사이에서, 그리고 그 다음에 다시 Z2과 Z3 사이에서, 그리고 다시 Z3과 Z4 사이에서 180도를 통해 변할 수 있다. 프로세서(24)는 스펙클 삼각측량 결과를 사용하여 이러한 세 개의 범위들 중 어디에 오브젝트(28)가 위치하고 있는 지를 결정하고, 그리고 스펙클 배향을 사용하여 이러한 범위 내에서 오브젝트의 정밀 3D 맵을 구성한다. 대안적으로, 앞서 언급한 바와 같이, 이 경우 다른 Z-가변성 스팟 형상 특징들이 도 3의 3C 및 3D에서 예시된 방향 편차(directional variation) 대신에 사용될 수 있다.
다양한 방법들이 Z에서의 복수의 싸이클을 통해 Z-가변성 형상을 복제하기 위해 사용될 수 있다. 예를 들어, 패턴은 적당한 복수초점 렌즈(미도시)를 사용하여 타겟 영역(46) 상에 포커싱될 수 있다. 이러한 렌즈는 예를 들어 서로 다른 각각의 초점 거리를 갖는 몇 개의 프레즈넬 동심원 회절판들(Fresnel zone plates)이 중첩된 것일 수 있다. 대안적으로, 적당한 복수초점 렌즈가 논문 "All Optical Extended Depth of Field Imaging System"(저자: Ben Eliezer 외, Journal of Optica and Pure Physics - A, 5 (2003), 페이지 Sl64-Sl69)에서 설명된 기술을 사용하여 설계될 수 있으며, 이러한 문헌은 참조로 본 명세서에 통합된다. 또한 대안적으로, 광학 소자(38)는 앞서 설명된 중첩 기술을 사용하여 복수의 싸이클을 통해 반복하는 스펙클 형상을 제공하도록 처음부터 설계될 수 있다.
도 5의 5A 내지 5Q는 본 발명의 실시예에 따른 성형된 스팟들의 패턴을 생성하도록 광학 소자(38)를 만드는 방법을 개략적으로 예시한 것이다. 도 5의 5A 내지 5P는 동심원 회절판들(70)의 세트의 개략적 전면도이고, 반면에 도 5의 5Q는 도 5의 5A 내지 5P의 동심원 회절판을 중첩시킴으로써 생성된 DOE(72)의 개략적 전면도이다. DOE(72)는, 도 3의 3C 및 3D에서 앞서 도시된 이런 종류의 회전하는 선형 스팟들을 만들기 위해, 적절한 확산기 혹은 다른 빔 분할 필터(FS)와 함께 사용되도록, 필터(FV)로서의 역할을 할 수 있다.
동심원 회절판들(70) 각각은 초점 거리
Figure 112008064647661-PCT00039
(이 예에서,
Figure 112008064647661-PCT00040
)인 프레즈넬 동심원 회절판이고, 파장
Figure 112008064647661-PCT00041
로 설계되어 있다. 이러한 동심원 회절판의 투과 함수(transmission function)는 다음과 같다.
Figure 112008064647661-PCT00042
여기서, 각각의 동심원 회절판에서의 X-Y 축은
Figure 112008064647661-PCT00043
만큼 회전된다. 대안적으로, 동심원 회절판들(70)은 투명한 위상 동심원 회절판들로서 설계될 수 있다. DOE(72)는 이러한
Figure 112008064647661-PCT00044
개의 동심원 회절판들의 중첩(74)을 포함한다. 이러한 중첩은
Figure 112008064647661-PCT00045
의 속도에서 Z의 함수로서 회전하는 라인을 만들어 낸다.
다양한 방법들이 동심원 회절판(70)을 중첩시키기 위해 사용될 수 있다. 예를 들어, 이러한 중첩은 도 5의 5Q에서 도시된 바와 같이, 열여섯 개의 컴포넌트 동심원 회절판들로부터 절단된 "파이 슬라이스(pie slices)"의 조립으로서 만들어질 수 있다. 대안적으로, 여러 개의 서로 다른 동심원 회절판들이 이러한 중첩을 생성하기 위해 랜덤하게 추출될 수 있고 그리고 조립될 수 있다. 또한 대안적으로, 컴포넌트 동심원 플레이트들은 DOE(72) 내의 각각의 포인트에서 합쳐질 수 있어, 각각의 포인트에서 적절하게 양자화된 합쳐진 투과율 혹은 위상 시프트 갖는 단일의 패턴이 만들어질 수 있다.
대안적으로, 광학 소자(38)는 앞서 설명된 동심원 회절판 대신에 굴절성 렌즈들의 어레이를 포함할 수 있다. 이러한 경우에, 서로 다른 배향에서, 파이-슬라이스 혹은 랜덤 분포로, 원통형 렌즈(예를 들어, 마이크로렌즈)을 중첩시켜 요구된 Z-가변성 패턴을 생성할 수 있다.
도 6의 6A 내지 6D는 본 발명의 또 다른 실시예에 따라 설계된 DOE들을 통해 레이저 빔을 투사시킴으로써 생성되는 이미지들을 개략적으로 나타낸 것이다. 앞서의 실시예들에서 보여진 예들이 특히 회전하는 선형 형상을 갖는 스펙클들의 패턴들에 관한 것이지만, 본 발명의 원리는 다른 타입의 Z-가변성 패턴들을 생성하는 것에도 유사하게 적용될 수 있고, 이러한 패턴들을 사용하는 광학 레인징에도 유사하게 적용될 수 있다. 도 6의 6A 내지 6D는 하나의 예이고, 여기서 스펙클들(80 및 82)는 원형 형상 혹은 타원 형상의 형태로 공통의 형태학적 특징을 갖는다. 각각의 스팟의 형상의 반경은, 전체적으로 패턴의 선형 확대(linear magnification)로부터의 서로 다른 레이트로 조명 조립체로부터의 거리에 따라 변하며, 그럼으로써 거리에 관한 정보가 제공된다. 다른 종류의 형상 및 패턴은 본 발명의 기술분야에서 숙련된 자들에게 명백하며, 그리고 이러한 것은 본 발명의 범위 내에 있는 것으로 고려된다.
도 6의 6A 및 6B는 FS 및 FV에 의해 각각 생성되는 패턴들을 보여 주고 있 다. 앞서의 예들에서와 같이, FS는 랜덤 스펙클들(50)의 패턴을 생성하고, 이것은 Z에서 변할 필요가 없다. FV는 타겟 영역에서의 원형의 광 강도 패턴을 생성한다. 상기 원형의 반경은, 이미지 캡처 조립체(32)에 의해 캡처된 이미지에서 관측되는 스팟들의 반지름에 근거하여 레인징이 가능하도록 하는 방식으로, Z에 따라 변한다. 앞서 설명된 바와 같이, 이러한 패턴을 구현하는 광학 소자는 게르츠베르그-삭스톤 방법을 사용하여 설계될 수 있고, 또는 서로 다른 사이즈 특성들을 갖는 간단한 원형 패턴 혹은 타원형 패턴을 생성하는 복수의 회절성 광학 소자들을 중첩시킴으로써 설계될 수 있고, 또는 종래 기술에서 알려진 임의의 다른 적당한 DOE 설계 방법을 사용하여 설계될 수 있다.
도 6의 6C 및 6D는, 두 개의 서로 다른 Z 값을 갖는 표면에 있어, 소자들(36 및 38)(이것은 FS 및 FV에 대응함)을 통해 간섭성 광을 지나가게 함으로써 표면 상에 투사되는 스펙클들 패턴의 이미지를 보여주고 있다. 이미지들은 이미지 캡처 조립체(32)에 의해 캡처된 대로 보여진다. 패턴은 Z에 따라 변하는 서로 다른 반지름을 각각 갖는 타원형 스펙클들(80 및 82)을 포함한다. 거리가
Figure 112008064647661-PCT00046
로부터
Figure 112008064647661-PCT00047
까지 증가함에 따라, 오브젝트(28)의 표면 상에 투사되고 센서(42) 상에 이미지화되는 스펙클들의 반지름은 공지된 레이트로 증가하거나 혹은 감소한다. 스펙클들의 반지름을 측정함으로써, 프로세서(24)는 디바이스(22)로부터 표면까지의 범위를 결정할 수 있다. 더욱이, 프로세서는 X-Y 평면에 대한 표면 각 기울기(angular skew)를 결정하기 위해 스펙클들의 형상에서의 변화를 검출할 수 있고 분석할 수 있다.
비록 앞서 설명된 실시예들이 특히, 두 개의 광학 소자들(36 및 38)을 사용하여 전형적으로 구현되는, 두 가지 패턴 타입의 중첩에 관한 것이었지만, 이러한 실시예들에 사용되는 설계 방법은 세 개 또는 그 이상의 패턴들의 중첩에도 적용될 수 있다. 앞서 언급된 바와 같이, 이러한 방법은,
Figure 112008064647661-PCT00048
개의 패턴들의 컨벌루션
Figure 112008064647661-PCT00049
으로 나타내질 수 있는 투사된 광 패턴에 관한 제약
Figure 112008064647661-PCT00050
에 적용가능하다. 이 경우,
Figure 112008064647661-PCT00051
개의 필터들
Figure 112008064647661-PCT00052
은 필터
Figure 112008064647661-PCT00053
Figure 112008064647661-PCT00054
에서 각각 패턴
Figure 112008064647661-PCT00055
을 구현하도록 설계된다. 결합 필터
Figure 112008064647661-PCT00056
은 인자
Figure 112008064647661-PCT00057
에 의해 감소되는 Z-스케일에 관해
Figure 112008064647661-PCT00058
을 구현한다. 따라서, 설계 단계에서, 필터들은 인자
Figure 112008064647661-PCT00059
에 의해 일정 비율로 증대될 수 있다. 일반적인 스칼라 회절 이론을 사용하여,
Figure 112008064647661-PCT00060
에서의 필드 분포
Figure 112008064647661-PCT00061
Figure 112008064647661-PCT00062
로 주어진다는 것을 알 수 있으며, 여기서,
Figure 112008064647661-PCT00063
은 필터
Figure 112008064647661-PCT00064
이 거리
Figure 112008064647661-PCT00065
에서 생성하는 패턴이고, 그리 고
Figure 112008064647661-PCT00066
는 컨벌루션을 나타낸다.
더욱이, 비록 앞서 설명된 실시예들이 특히 스펙클 성형 및 스펙클 기반의 3D 레인징 및 맵핑에 관한 것이지만, 복수 제약 필터들 및 다른 광학 소자들(그리고 특히 Z-가변성 패턴들을 생성하는 소자들)을 설계하기 위해 앞서 설명된 방법은 복합 광 패턴이 필요한 다른 애플리케이션에서 광학 소자들을 생성하기 위해 사용될 수도 있다.
따라서, 이해할 것으로 앞서 설명된 실시예들은 예시적인 것이며, 그리고 본 발명은 앞서 설명되고 보여진 특정 실시예들에만 한정되는 것이 아니다, 오히려 본 발명의 범위는 앞서 설명된 다양한 특징을 결합하는 것 및 부수적으로 결합하는 것을 포함하고, 뿐만 아니라 이에 대한 변형 및 수정도 포함하는데, 이러한 변형 및 수정은 종래 기술에서 개시되지 않은 것들로 본 발명의 기술 분야에서 숙련된 기술을 가지고 있는 자들이 앞서 설명된 발명의 상세한 설명을 숙독함으로써 알 수 있는 것들이다.

Claims (50)

  1. 맵핑을 위한 방법으로서,
    각각의 위치들 및 형상들을 갖는 복수의 스팟들의 패턴을 오브젝트 상에 투사하는 단계와, 상기 투사는 상기 패턴에서의 상기 스팟들의 위치들이 비상관되도록 하고 반면에 상기 형상들이 공통 특징을 공유하도록 수행되고;
    상기 오브젝트 상에 상기 스팟들의 이미지를 캡처하는 단계와; 그리고
    상기 오브젝트의 삼차원(3D) 맵을 얻기 위해 상기 이미지를 프로세싱하는 단계를 포함하여 구성되는 것을 특징으로 하는 맵핑을 위한 방법.
  2. 제1항에 있어서,
    상기 스팟들의 패턴은 랜덤 스펙클 패턴을 포함하는 것을 특징으로 하는 맵핑을 위한 방법.
  3. 제1항에 있어서,
    상기 패턴을 투사하는 단계는, 상기 복수의 스팟들로 빔을 분할하는 제 1 광학 제약물과 그리고 적어도 하나의 스팟에 상기 형상들의 공통 특징을 인가하기 위한 제 2 광학 제약물이 중첩되도록 설계되는 적어도 하나의 광학 소자를 통해 간섭성 광의 빔이 지나가게 하는 것을 포함하는 것을 특징으로 하는 맵핑을 위한 방법.
  4. 제3항에 있어서,
    상기 적어도 하나의 광학 소자는 상기 패턴을 생성하기 위한 제 1 광학 소자 및 상기 공통 특징을 인가하기 위한 제 2 광학 소자를 포함하는 것을 특징으로 하는 맵핑을 위한 방법.
  5. 제1항에 있어서,
    상기 형상들의 공통 특징은 상기 패턴의 소스로부터의 거리에 따라 변하고, 그리고 상기 이미지를 프로세싱하는 단계는 상기 소스로부터 상기 오브젝트의 표면까지의 거리를 결정하기 위해 상기 이미지 내의 상기 오브젝트의 표면 상의 상기 스팟들의 특성을 분석하는 것을 포함하는 것을 특징으로 하는 맵핑을 위한 방법.
  6. 제5항에 있어서,
    상기 스팟들은 상기 패턴의 소스로부터의 거리에 따라 회전하는 연장된 형상을 공유하고, 그리고 상기 특징을 분석하는 것은 상기 오브젝트의 표면 상의 상기 스팟들의 방향을 결정하는 것을 포함하는 것을 특징으로 하는 맵핑을 위한 방법.
  7. 제5항에 있어서,
    상기 이미지를 프로세싱하는 단계는, 상기 이미지 내의 상기 오브젝트의 복수의 영역들 상의 패턴과 기준 이미지 내의 패턴 간의 각각의 오프셋들을 찾는 것과, 그리고 상기 3D 맵을 얻기 위해 거리와 함께 상기 오프셋들을 사용하는 것을 포함하는 것을 특징으로 하는 맵핑을 위한 방법.
  8. 제7항에 있어서,
    상기 각각의 오프셋들을 찾는 것은, 상기 소스로부터 상기 표면까지의 거리에 따라, 복수의 기준 이미지들 중에서 상기 기준 이미지를 선택하는 것을 포함하는 것을 특징으로 하는 맵핑을 위한 방법.
  9. 제1항 내지 제8항 중 어느 하나의 항에 있어서,
    상기 패턴에서의 상기 스팟들은 제 1 방향으로 정렬된 연장된 형상을 가지고 있으며, 그리고 상기 이미지를 프로세싱하는 단계는 상기 3D 맵을 얻기 위해 상기 제 1 방향에 수직인 제 2 방향에서 상기 이미지 내의 상기 오브젝트의 복수 영역들 상의 패턴과 기준 이미지 내의 패턴 간의 각각의 오프셋들을 찾는 것을 포함하는 것을 특징으로 하는 맵핑을 위한 방법.
  10. 제9항에 있어서,
    상기 스팟들의 패턴을 투사하는 단계는 확산기를 통해 간섭성 광의 빔이 지나가게 하는 것을 포함하고, 그리고 여기서 상기 빔은 상기 제 2 방향에서 연장되는 상기 확산기에서의 프로파일을 갖는 것을 특징으로 하는 맵핑을 위한 방법.
  11. 제1항 내지 제8항 중 어느 하나의 항에 있어서,
    상기 이미지를 캡처하는 단계는 상기 오브젝트가 움직이는 동안 연속적인 이미지들을 캡처하는 것을 포함하고, 그리고 여기서 상기 이미지를 프로세싱하는 단계는 상기 연속적인 이미지들을 프로세싱함으로써 상기 오브젝트의 움직임을 추적하는 것을 포함하는 것을 특징으로 하는 맵핑을 위한 방법.
  12. 제11항에 있어서,
    상기 오브젝트는 신체의 일부이고, 그리고 여기서 상기 움직임을 추적하는 것은 상기 신체의 일부에 의해 만들어진 동작을 식별하는 것과, 그리고 상기 동작에 응답하여 컴퓨터 애플리케이션에 입력을 제공하는 것을 포함하는 것을 특징으로 하는 맵핑을 위한 방법.
  13. 이미징을 위한 방법으로서,
    광의 빔에 제 1 광학 제약물의 인가로 상기 빔이 복수의 스팟들의 패턴으로 분할되도록 상기 제 1 광학 제약물을 정의하는 단계와;
    상기 광의 빔에 제 2 광학 제약물의 인가로 상기 빔이 상기 빔의 축을 따르는 거리에 따라 미리 정의된 방식으로 변하는 형상 특징을 갖는 스팟을 형성하도록 상기 제 2 광학 제약물을 정의하는 단계와;
    상기 제 1 광학 제약물 및 상기 제 2 광학 제약물이 중첩되도록 적어도 하나의 광학 소자를 설계하는 단계와; 그리고
    상기 패턴에서의 상기 복수의 스팟들이 상기 형상 특징을 갖도록, 표면 상에 상기 패턴을 투사하기 위해 상기 적어도 하나의 광학 소자를 통해 광의 빔이 지나가게 하는 단계를 포함하여 구성되는 것을 특징으로 하는 이미징을 위한 방법.
  14. 제13항에 있어서,
    상기 적어도 하나의 광학 소자는 상기 빔을 상기 패턴으로 분할하기 위한 제 1 광학 소자 및 상기 형상 특징을 인가하기 위한 제 2 광학 소자를 포함하는 것을 특징으로 하는 이미징을 위한 방법.
  15. 제14항에 있어서,
    상기 패턴은 스펙클 패턴을 포함하는 것을 특징으로 하는 이미징을 위한 방법.
  16. 제15항에 있어서,
    상기 제 1 광학 소자는 확산기를 포함하는 것을 특징으로 하는 이미징을 위한 방법.
  17. 제13항에 있어서,
    상기 적어도 하나의 광학 소자는 회절성 광학 소자(Diffractive Optical Element, DOE)를 포함하는 것을 특징으로 하는 이미징을 위한 방법.
  18. 제17항에 있어서,
    상기 DOE는 연장된 형상을 상기 스팟들에 전하기 위한 적어도 하나의 동심원 회절판을 포함하는 것을 특징으로 하는 이미징을 위한 방법.
  19. 제18항에 있어서,
    상기 적어도 하나의 동심원 회절판은, 상기 스팟들의 상기 연장된 형상이 거리에 따라 회전하도록 서로 다른 각각의 주기 및 각방위를 갖는 복수의 중첩된 동심원 회절판들을 포함하는 것을 특징으로 하는 이미징을 위한 방법.
  20. 제13항에 있어서,
    상기 적어도 하나의 광학 소자는 굴절성 광학 소자를 포함하는 것을 특징으로 하는 이미징을 위한 방법.
  21. 제13항에 있어서,
    상기 제 1 광학 제약물에 의해 정의된 패턴은 1/4보다 더 크지 않은 듀티 싸이클을 갖는 것을 특징으로 하는 이미징을 위한 방법.
  22. 제13항에 있어서,
    상기 패턴은 상기 스팟들의 위치들이 비상관되도록 상기 스팟들의 각각의 위치들을 정의하는 것을 특징으로 하는 이미징을 위한 방법.
  23. 제13항 내지 제22항 중 어느 하나의 항에 있어서,
    상기 제 2 광학 제약물은 상기 스팟이 거리에 따라 회전하는 연장된 형상을 가지도록 하는 것을 특징으로 하는 이미징을 위한 방법.
  24. 제13항 내지 제22항 중 어느 하나의 항에 있어서,
    상기 제 2 광학 제약물은 상기 스팟이 원형 형상을 가지도록 하는 것을 특징으로 하는 이미징을 위한 방법.
  25. 제13항 내지 제22항 중 어느 하나의 항에 있어서,
    상기 표면 상의 상기 스팟들의 이미지를 캡처하는 단계와, 그리고 상기 적어도 하나의 광학 소자로부터 상기 표면까지의 거리를 결정하기 위해 상기 이미지를 프로세싱하는 단계를 포함하는 것을 특징으로 하는 이미징을 위한 방법.
  26. 맵핑을 위한 장치로서,
    각각의 위치들 및 형상들을 갖는 복수의 스팟들의 패턴을 오브젝트 상에 투사하도록 구성되는 조명 조립체와, 여기서 상기 투사는 상기 패턴에서의 상기 스팟들의 위치들이 비상관되도록 하고 반면에 상기 형상들이 공통 특징을 공유하도록 수행되며;
    상기 오브젝트 상의 상기 스팟들의 이미지를 캡처하도록 구성되는 이미징 조 립체와; 그리고
    상기 오브젝트의 삼차원(3D) 맵을 얻기 위해 상기 이미지를 프로세싱하도록 연결되는 이미지 프로세서를 포함하여 구성되는 것을 특징으로 하는 맵핑을 위한 장치.
  27. 제26항에 있어서,
    상기 스팟들의 패턴은 랜덤 스펙클 패턴을 포함하는 것을 특징으로 하는 맵핑을 위한 장치.
  28. 제26항에 있어서,
    상기 조명 조립체는,
    상기 복수의 스팟들로 빔을 분할하는 제 1 광학 제약물과, 그리고 적어도 하나의 스팟에 상기 형상들의 공통 특징을 인가하기 위한 제 2 광학 제약물이 중첩되도록 설계되는 적어도 하나의 광학 소자와; 그리고
    상기 적어도 하나의 광학 소자를 통해 간섭성 광의 빔이 지나가도록 구성되는 광 소스를 포함하는 것을 특징으로 하는 맵핑을 위한 장치.
  29. 제28항에 있어서,
    상기 적어도 하나의 광학 소자는 상기 패턴을 생성하기 위한 제 1 광학 소자 및 상기 공통 특징을 상기 형상들에 인가하기 위한 제 2 광학 소자를 포함하는 것 을 특징으로 하는 맵핑을 위한 장치.
  30. 제26항에 있어서,
    상기 형상들의 공통 특징은 상기 패턴의 소스로부터의 거리에 따라 변하고, 그리고 여기서 상기 이미지 프로세서는 상기 소스로부터 상기 오브젝트의 표면까지의 거리를 결정하기 위해 상기 이미지 내의 상기 오브젝트의 표면 상의 상기 스팟들의 특성을 분석하도록 구성되는 것을 특징으로 하는 맵핑을 위한 장치.
  31. 제30항에 있어서,
    상기 스팟들은 상기 패턴의 소스로부터의 거리에 따라 회전하는 연장된 형상을 공유하고, 그리고 상기 이미지 프로세서는 상기 오프젝트의 표면 상의 상기 스팟들의 방향을 결정하도록 구성되는 것을 특징으로 하는 맵핑을 위한 장치.
  32. 제30항에 있어서,
    상기 이미지 프로세서는 상기 이미지 내의 상기 오브젝트의 복수의 영역들 상의 패턴과 기준 이미지 내의 패턴 간의 각각의 오프셋들을 찾도록, 그리고 상기 3D 맵을 얻기 위해 거리와 함께 상기 오프셋들을 사용하도록 구성되는 것을 특징으로 하는 맵핑을 위한 장치.
  33. 제32항에 있어서,
    상기 이미지 프로세서는, 상기 소스로부터 상기 표면까지의 거리에 따라, 복수의 기준 이미지들 중에서 상기 기준 이미지를 선택하도록 구성되는 것을 특징으로 하는 맵핑을 위한 장치.
  34. 제26항 내지 제33항 중 어느 하나의 항에 있어서,
    상기 패턴에서의 상기 스팟들은 제 1 방향으로 정렬된 연장된 형상을 가지고 있으며, 그리고 여기서, 상기 이미지 프로세서는 상기 3D 맵을 얻기 위해 상기 제 1 방향에 수직인 제 2 방향에서 상기 이미지 내의 상기 오브젝트의 복수 영역들 상의 패턴과 기준 이미지 내의 패턴 간의 각각의 오프셋들을 찾도록 구성되는 것을 특징으로 하는 맵핑을 위한 장치.
  35. 제34항에 있어서,
    상기 조명 조립체는 확산기 및 광 소스를 포함하여 상기 확산기를 통해 간섭성 광의 빔이 지나가도록 구성되고, 여기서 상기 빔은 상기 제 2 방향에서 연장되는 상기 확산기에서의 프로파일을 갖는 것을 특징으로 하는 맵핑을 위한 장치.
  36. 제26항 내지 제33항 중 어느 하나의 항에 있어서,
    상기 이미징 조립체는 상기 오브젝트가 움직이는 동안 연속적인 이미지들을 캡처하도록 구성되고, 그리고 여기서 상기 이미지 프로세서는 상기 연속적인 이미지들을 프로세싱함으로써 상기 오브젝트의 움직임을 추적하도록 구성되는 것을 특 징으로 하는 맵핑을 위한 장치.
  37. 제36항에 있어서,
    상기 오브젝트는 신체의 일부이고, 그리고 여기서 상기 이미지 프로세서는 상기 신체의 일부에 의해 만들어진 동작을 식별하도록, 그리고 상기 동작에 응답하여 컴퓨터 애플리케이션에 입력을 제공하도록 구성되는 것을 특징으로 하는 맵핑을 위한 장치.
  38. 이미징을 위한 장치로서,
    광의 빔에 제 1 광학 제약물의 인가로 상기 빔이 복수의 스팟들의 패턴으로 분할되도록, 그리고 상기 광의 빔에 제 2 광학 제약물의 인가로 상기 빔이 상기 빔의 축을 따르는 거리에 따라 미리 정의된 방식으로 변하는 형상 특징을 갖는 스팟을 형성하도록, 상기 제 1 광학 제약물 및 상기 제 2 광학 제약물이 중첩되도록 설계되는 적어도 하나의 광학 소자와; 그리고
    상기 패턴에서의 상기 복수의 스팟들이 상기 형상 특징을 갖도록, 표면 상에 상기 패턴을 투사하기 위해 상기 적어도 하나의 광학 소자를 통해 광의 빔이 지나가게 하도록 구성되는 광 소스를 포함하여 구성되는 것을 특징으로 하는 이미징을 위한 장치.
  39. 제38항에 있어서,
    상기 적어도 하나의 광학 소자는, 상기 빔을 상기 패턴으로 분할하기 위한 제 1 광학 소자 및 상기 형상 특징을 인가하기 위한 제 2 광학 소자를 포함하는 것을 특징으로 하는 이미징을 위한 장치.
  40. 제39항에 있어서,
    상기 패턴은 스펙클 패턴을 포함하는 것을 특징으로 하는 이미징을 위한 장치.
  41. 제40항에 있어서,
    상기 제 1 광학 소자는 확산기를 포함하는 것을 특징으로 하는 이미징을 위한 장치.
  42. 제38항에 있어서,
    상기 적어도 하나의 광학 소자는 회절성 광학 소자(DOE)를 포함하는 것을 특징으로 하는 이미징을 위한 장치.
  43. 제42항에 있어서,
    상기 DOE는 연장된 형상을 상기 스팟들에 전하기 위한 적어도 하나의 동심원 회절판을 포함하는 것을 특징으로 하는 이미징을 위한 장치.
  44. 제43항에 있어서,
    상기 적어도 하나의 동심원 회절판은, 상기 스팟들의 상기 연장된 형상이 거리에 따라 회전하도록 서로 다른 각각의 주기 및 각방위를 갖는 복수의 중첩된 동심원 회절판들을 포함하는 것을 특징으로 하는 이미징을 위한 장치.
  45. 제38항에 있어서,
    상기 적어도 하나의 광학 소자는 굴절성 광학 소자를 포함하는 것을 특징으로 하는 이미징을 위한 장치.
  46. 제38항에 있어서,
    상기 제 1 광학 제약물에 의해 정의된 패턴은 1/4보다 더 크지 않은 듀티 싸이클을 갖는 것을 특징으로 하는 이미징을 위한 장치.
  47. 제38항에 있어서,
    상기 패턴은 상기 스팟들의 위치들이 비상관되도록 상기 스팟들의 각각의 위치들을 정의하는 것을 특징으로 하는 이미징을 위한 장치.
  48. 제38항 내지 제47항 중 어느 하나의 항에 있어서,
    상기 제 2 광학 제약물은 상기 스팟이 거리에 따라 회전하는 연장된 형상을 가지도록 하는 것을 특징으로 하는 이미징을 위한 장치.
  49. 제38항 내지 제47항 중 어느 하나의 항에 있어서,
    상기 제 2 광학 제약물은 상기 스팟이 원형 형상을 가지도록 하는 것을 특징으로 하는 이미징을 위한 장치.
  50. 제38항 내지 제47항 중 어느 하나의 항에 있어서,
    상기 표면 상의 상기 스팟들의 이미지를 겹처하도록 구성되는 이미징 조립체와, 그리고 상기 적어도 하나의 광학 소자로부터 상기 표면까지의 거리를 결정하기 위해 상기 이미지를 프로세싱하도록 연결되는 이미지 프로세서를 포함하는 것을 특징으로 하는 이미징을 위한 장치.
KR1020087022317A 2006-03-14 2007-03-13 삼차원 감지를 위한 깊이 가변 광 필드 KR101408959B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
ILPCT/IL2006/000335 2006-03-14
PCT/IL2006/000335 WO2007043036A1 (en) 2005-10-11 2006-03-14 Method and system for object reconstruction
US78518706P 2006-03-24 2006-03-24
US60/785,187 2006-03-24
US85243606P 2006-10-16 2006-10-16
US60/852,436 2006-10-16
PCT/IL2007/000327 WO2007105215A2 (en) 2006-03-14 2007-03-13 Depth-varying light fields for three dimensional sensing

Publications (2)

Publication Number Publication Date
KR20090006825A true KR20090006825A (ko) 2009-01-15
KR101408959B1 KR101408959B1 (ko) 2014-07-02

Family

ID=43485311

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087022317A KR101408959B1 (ko) 2006-03-14 2007-03-13 삼차원 감지를 위한 깊이 가변 광 필드

Country Status (3)

Country Link
US (1) US8050461B2 (ko)
KR (1) KR101408959B1 (ko)
CN (1) CN101957994B (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130091015A (ko) * 2012-02-07 2013-08-16 엘지이노텍 주식회사 카메라 시스템 및 3차원 이미지 생성 방법
KR20140028536A (ko) * 2012-08-29 2014-03-10 엘지전자 주식회사 깊이 영상 생성 장치 및 방법
KR101399060B1 (ko) * 2013-02-14 2014-05-27 주식회사 앰버스 오브젝트를 감지할 수 있는 감지 시스템, 감지 장치 및 감지 방법
WO2014145279A1 (en) * 2013-03-15 2014-09-18 Leap Motion, Inc. Determining the relative locations of multiple motion-tracking devices
US9632658B2 (en) 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US10768708B1 (en) 2014-08-21 2020-09-08 Ultrahaptics IP Two Limited Systems and methods of interacting with a robotic tool using free-form gestures
US11720180B2 (en) 2012-01-17 2023-08-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US12020458B2 (en) 2022-01-18 2024-06-25 Ultrahaptics IP Two Limited Determining the relative locations of multiple motion-tracking devices

Families Citing this family (202)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043036A1 (en) * 2005-10-11 2007-04-19 Prime Sense Ltd. Method and system for object reconstruction
WO2007105205A2 (en) * 2006-03-14 2007-09-20 Prime Sense Ltd. Three-dimensional sensing using speckle patterns
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
JP4917615B2 (ja) * 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング(rangemapping)
CN101957994B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
WO2007105215A2 (en) * 2006-03-14 2007-09-20 Prime Sense Ltd. Depth-varying light fields for three dimensional sensing
US8350847B2 (en) * 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US8265793B2 (en) 2007-03-20 2012-09-11 Irobot Corporation Mobile robot for telecommunication
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
US8150142B2 (en) * 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
WO2008155770A2 (en) * 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
FR2921719B1 (fr) * 2007-09-28 2010-03-12 Noomeo Procede de construction d'une image de synthese d'une surface tridimensionnelle d'un objet physique
US8488129B2 (en) * 2007-10-05 2013-07-16 Artec Group, Inc. Combined object capturing system and display device and associated method
US8531650B2 (en) 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
EP2166305B1 (de) * 2008-09-23 2012-05-16 Sick Ag Beleuchtungseinheit und Verfahren zur Projektion eines Beleuchtungsmusters
DE202008017962U1 (de) * 2008-09-23 2011-02-10 Sick Ag Beleuchtungseinheit zur Erzeugung eines selbstunähnlichen Musters
CN103090819A (zh) 2008-10-06 2013-05-08 曼蒂斯影像有限公司 用于提供三维和距离面间判定的方法和系统
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8565476B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8588465B2 (en) 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8565477B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8462207B2 (en) * 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) * 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
TWI379224B (en) * 2009-06-30 2012-12-11 Cheng Uei Prec Ind Co Ltd Optical positing apparatus and positing method thereof
US8417385B2 (en) * 2009-07-01 2013-04-09 Pixart Imaging Inc. Home appliance control device
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8830227B2 (en) * 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
GB0921461D0 (en) * 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
JP4783456B2 (ja) * 2009-12-22 2011-09-28 株式会社東芝 映像再生装置及び映像再生方法
US20110188054A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US8982182B2 (en) * 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
GB2494081B (en) 2010-05-20 2015-11-11 Irobot Corp Mobile human interface robot
US9014848B2 (en) 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
US8935005B2 (en) 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
US8918209B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US8918213B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
JP5834602B2 (ja) * 2010-08-10 2015-12-24 旭硝子株式会社 回折光学素子及び計測装置
WO2012020380A1 (en) 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
US9036158B2 (en) * 2010-08-11 2015-05-19 Apple Inc. Pattern projector
TWI428568B (zh) * 2010-09-03 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
US9870068B2 (en) 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
JP5704885B2 (ja) * 2010-10-25 2015-04-22 オリンパスイメージング株式会社 撮影機器、撮影方法及び撮影制御プログラム
US9066087B2 (en) 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
DE112011104645T5 (de) 2010-12-30 2013-10-10 Irobot Corp. Mobiler Mensch-Schnittstellen-Roboter
US8930019B2 (en) 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
US8718748B2 (en) 2011-03-29 2014-05-06 Kaliber Imaging Inc. System and methods for monitoring and assessing mobility
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
WO2012147702A1 (ja) 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
US8869073B2 (en) * 2011-07-28 2014-10-21 Hewlett-Packard Development Company, L.P. Hand pose interaction
TWI526706B (zh) * 2011-10-05 2016-03-21 原相科技股份有限公司 影像系統
CN104011772B (zh) 2011-10-19 2017-02-15 克朗设备公司 基于识别和跟踪图像场景中的多个对象来控制车叉
US9165401B1 (en) * 2011-10-24 2015-10-20 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
US9113043B1 (en) 2011-10-24 2015-08-18 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
US9243890B2 (en) * 2011-10-25 2016-01-26 Semiconductor Components Industries, Llc Video overlay systems
GB201118970D0 (en) 2011-11-02 2011-12-14 Univ Sussex Target position,movement and tracking system
EP2589981A1 (de) * 2011-11-07 2013-05-08 Sick Ag Verfahren und Sensor, insbesondere Kamera, zum Bestimmen von Entfernungen
WO2013088442A1 (en) * 2011-12-15 2013-06-20 Pebbles Ltd. Controllable optical sensing
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9651417B2 (en) 2012-02-15 2017-05-16 Apple Inc. Scanning depth engine
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
US10937239B2 (en) 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
CA2864003C (en) 2012-02-23 2021-06-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US8958911B2 (en) 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
WO2013184998A2 (en) 2012-06-08 2013-12-12 Unitedhealth Group Incorporated Interactive sessions with participants and providers
US10240912B2 (en) 2012-06-13 2019-03-26 Koninklijke Philips N.V. Determining a propagation velocity for a surface wave
US9286530B2 (en) 2012-07-17 2016-03-15 Cognex Corporation Handheld apparatus for quantifying component features
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US20140120319A1 (en) * 2012-11-01 2014-05-01 Benjamin E. Joseph 3d mapping using structured light and formation of custom surface contours
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US20140210707A1 (en) * 2013-01-25 2014-07-31 Leap Motion, Inc. Image capture system and method
US9415963B2 (en) 2013-01-30 2016-08-16 Fife Corporation Sensor controller for interpreting natural interaction sensor for web handling
US9558555B2 (en) 2013-02-22 2017-01-31 Leap Motion, Inc. Adjusting motion capture based on the distance between tracked objects
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9733715B2 (en) 2013-03-15 2017-08-15 Leap Motion, Inc. Resource-responsive motion capture
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
DE102013209448A1 (de) 2013-05-22 2014-11-27 Robert Bosch Gmbh Laserlichtmusterprojektor sowie Multikamerasystem mit dem Laserlichtmusterprojektor
CN103279982B (zh) * 2013-05-24 2016-06-22 中国科学院自动化研究所 鲁棒的快速高深度分辨率的散斑三维重建方法
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
KR101926321B1 (ko) 2013-06-19 2018-12-06 애플 인크. 통합 구조화된 광 프로젝터
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
MX2016005338A (es) 2013-10-23 2017-03-20 Facebook Inc Representacion de profundidad tri-dimensional con el uso de luz estructurada dinamica.
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
US9874638B2 (en) * 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
US9562760B2 (en) 2014-03-10 2017-02-07 Cognex Corporation Spatially self-similar patterned illumination for depth imaging
AU2015280776B2 (en) * 2014-06-27 2019-08-22 Crown Equipment Corporation Vehicle positioning or navigation utilizing associated feature pairs
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US10296098B2 (en) * 2014-09-30 2019-05-21 Mirama Service Inc. Input/output device, input/output program, and input/output method
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
ES2774390T3 (es) * 2014-11-17 2020-07-20 Triotech Amusement Inc Método y sistema de juego para proyectar imágenes volumétricas en una escena física
US9958758B2 (en) 2015-01-21 2018-05-01 Microsoft Technology Licensing, Llc Multiple exposure structured light pattern
JP6575795B2 (ja) 2015-03-11 2019-09-18 パナソニックIpマネジメント株式会社 人感検知システム
EP3274653B1 (en) 2015-03-22 2020-11-25 Facebook Technologies, LLC Depth mapping with a head mounted display using stereo cameras and structured light
US9984519B2 (en) 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
US10571668B2 (en) 2015-05-09 2020-02-25 Cognex Corporation Catadioptric projector systems, devices, and methods
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
DE102016208049A1 (de) * 2015-07-09 2017-01-12 Inb Vision Ag Vorrichtung und Verfahren zur Bilderfassung einer vorzugsweise strukturierten Oberfläche eines Objekts
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10417529B2 (en) 2015-09-15 2019-09-17 Samsung Electronics Co., Ltd. Learning combinations of homogenous feature arrangements
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10610133B2 (en) 2015-11-05 2020-04-07 Google Llc Using active IR sensor to monitor sleep
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
JP6668764B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6668763B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6631261B2 (ja) 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
JP6607121B2 (ja) 2016-03-30 2019-11-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
US9990535B2 (en) 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
KR102452770B1 (ko) 2016-11-17 2022-10-12 트리나미엑스 게엠베하 적어도 하나의 대상체를 광학적으로 검출하기 위한 검출기
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US10499039B2 (en) 2016-12-15 2019-12-03 Egismos Technology Corporation Path detection system and path detection method generating laser pattern by diffractive optical element
US10158845B2 (en) 2017-01-18 2018-12-18 Facebook Technologies, Llc Tileable structured light projection for wide field-of-view depth sensing
WO2018167215A1 (en) 2017-03-16 2018-09-20 Trinamix Gmbh Detector for optically detecting at least one object
JP7149616B2 (ja) 2017-03-19 2022-10-07 コヴィルタ オサケイティエ 変調画像取り込みのためのシステム及び方法
DE102017106217B4 (de) * 2017-03-22 2019-02-28 Sick Ag Verfahren und Vorrichtung zur optoelektronischen Entfernungsmessung
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10627518B2 (en) * 2017-06-02 2020-04-21 Pixart Imaging Inc Tracking device with improved work surface adaptability
US20190012835A1 (en) 2017-07-07 2019-01-10 Microsoft Technology Licensing, Llc Driving an Image Capture System to Serve Plural Image-Consuming Processes
US11494897B2 (en) 2017-07-07 2022-11-08 William F. WILEY Application to determine reading/working distance
US10527711B2 (en) * 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10699429B2 (en) 2017-08-19 2020-06-30 Cognex Corporation Coding distance topologies for structured light patterns for 3D reconstruction
CN109635619B (zh) 2017-08-19 2021-08-31 康耐视公司 用于三维重建的结构化光图案的编码距离拓扑
EP3676630B1 (en) 2017-08-28 2022-11-30 trinamiX GmbH Range finder for determining at least one geometric information
CN111344592B (zh) 2017-08-28 2023-07-18 特里纳米克斯股份有限公司 确定至少一个对象的位置的检测器
US10153614B1 (en) 2017-08-31 2018-12-11 Apple Inc. Creating arbitrary patterns on a 2-D uniform grid VCSEL array
CN108267098B (zh) * 2017-11-08 2019-07-09 先临三维科技股份有限公司 三维扫描方法、装置、系统、存储介质和处理器
JP6970376B2 (ja) 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
US11297300B2 (en) * 2018-01-29 2022-04-05 Samsung Electronics Co., Ltd. Robust structured-light patterns for 3D camera system
US10740913B2 (en) * 2017-12-12 2020-08-11 Samsung Electronics Co., Ltd. Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
US11262192B2 (en) * 2017-12-12 2022-03-01 Samsung Electronics Co., Ltd. High contrast structured light patterns for QIS sensors
WO2019185993A1 (en) * 2018-03-28 2019-10-03 Engemma Oy Extended focal plane imaging by using a gemstone manipulator
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US11422292B1 (en) 2018-06-10 2022-08-23 Apple Inc. Super-blazed diffractive optical elements with sub-wavelength structures
CN112236694B (zh) 2018-06-11 2022-09-09 Agc株式会社 衍射光学元件、投影装置及计测装置
CN109282757B (zh) * 2018-07-27 2020-09-25 深圳大学 一种光场度量标定方法及标定系统
US11442282B2 (en) 2018-10-26 2022-09-13 Viavi Solutions Inc. Optical element including a plurality of regions
EP3680810B1 (en) * 2018-11-08 2023-06-07 Shenzhen Goodix Technology Co., Ltd. Vertical cavity surface light-emitting laser, structured light module, and light projection method and terminal
CN110149510B (zh) * 2019-01-17 2023-09-08 深圳市光鉴科技有限公司 用于屏下的3d摄像头模组及电子设备
CN109884653A (zh) * 2019-04-09 2019-06-14 西安交通大学 激光测距装置和激光测距方法
US11051001B2 (en) * 2019-05-29 2021-06-29 Avigilon Corporation Method and system for generating a two-dimensional and a three-dimensional image stream
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
TWI726559B (zh) * 2019-12-30 2021-05-01 財團法人工業技術研究院 輪廓測量系統和輪廓測量方法
US11162784B2 (en) 2019-12-30 2021-11-02 Industrial Technology Research Institute Profile measurement system and profile measurement method
US11754767B1 (en) 2020-03-05 2023-09-12 Apple Inc. Display with overlaid waveguide
US11710945B2 (en) 2020-05-25 2023-07-25 Apple Inc. Projection of patterned and flood illumination
US11699715B1 (en) 2020-09-06 2023-07-11 Apple Inc. Flip-chip mounting of optoelectronic chips
US20230098230A1 (en) * 2021-09-28 2023-03-30 Himax Technologies Limited Object detection system

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4542376A (en) 1983-11-03 1985-09-17 Burroughs Corporation System for electronically displaying portions of several different images on a CRT screen through respective prioritized viewports
JPH0762869B2 (ja) 1986-03-07 1995-07-05 日本電信電話株式会社 パタ−ン投影による位置形状計測方法
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPH0615968B2 (ja) 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
JPH0743683Y2 (ja) 1989-07-28 1995-10-09 日本電気株式会社 光ファイバの余長処理構造
US5075562A (en) 1990-09-20 1991-12-24 Eastman Kodak Company Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface
GB9116151D0 (en) 1991-07-26 1991-09-11 Isis Innovation Three-dimensional vision system
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5636025A (en) 1992-04-23 1997-06-03 Medar, Inc. System for optically measuring the surface contour of a part using more fringe techniques
US5856871A (en) 1993-08-18 1999-01-05 Applied Spectral Imaging Ltd. Film thickness mapping using interferometric spectral imaging
US6404553B1 (en) 1994-02-07 2002-06-11 Engineered Support Systems, Inc. Phase active diffractive optical method
US5630043A (en) 1995-05-11 1997-05-13 Cirrus Logic, Inc. Animated texture map apparatus and method for 3-D image displays
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
DE19638727A1 (de) 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten
JP3402138B2 (ja) * 1996-09-27 2003-04-28 株式会社日立製作所 液晶表示装置
IL119341A (en) * 1996-10-02 1999-09-22 Univ Ramot Phase-only filter for generating an arbitrary illumination pattern
IL119831A (en) 1996-12-15 2002-12-01 Cognitens Ltd A device and method for three-dimensional reconstruction of the surface geometry of an object
CA2275411A1 (en) 1996-12-20 1998-07-02 Lifef/X Networks, Inc. Apparatus and method for rapid 3d image parametrization
US5838428A (en) 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
US6008813A (en) 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
DE19736169A1 (de) 1997-08-20 1999-04-15 Fhu Hochschule Fuer Technik Verfahren zur Verformungs- oder Schwingungsmessung mittels elektronischer Speckle-Pattern-Interferometrie
US6101269A (en) 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
GB2352901A (en) 1999-05-12 2001-02-07 Tricorder Technology Plc Rendering three dimensional representations utilising projected light patterns
US7303281B2 (en) 1998-10-07 2007-12-04 Tracey Technologies, Llc Method and device for determining refractive components and visual function of the eye for vision correction
US6259561B1 (en) 1999-03-26 2001-07-10 The University Of Rochester Optical system for diffusing light
US6751344B1 (en) 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6512385B1 (en) 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
LT4842B (lt) 1999-12-10 2001-09-25 Uab "Geola" Hologramų spausdinimo būdas ir įrenginys
SG84619A1 (en) 1999-12-28 2001-11-20 Mitsubishi Gas Chemical Co Edge bead remover
US6937348B2 (en) * 2000-01-28 2005-08-30 Genex Technologies, Inc. Method and apparatus for generating structural pattern illumination
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US6754370B1 (en) 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6813440B1 (en) 2000-10-10 2004-11-02 The Hong Kong Polytechnic University Body scanner
JP2002191058A (ja) 2000-12-20 2002-07-05 Olympus Optical Co Ltd 3次元画像取得装置および3次元画像取得方法
JP2002213931A (ja) 2001-01-17 2002-07-31 Fuji Xerox Co Ltd 3次元形状計測装置および3次元形状計測方法
US6631647B2 (en) 2001-04-26 2003-10-14 Joseph B. Seale System and method for quantifying material properties
JP2002365023A (ja) 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
WO2003007053A2 (en) 2001-07-13 2003-01-23 Mems Optical, Inc. Autosteroscopic display with rotated microlens-array and method of displaying multidimensional images, especially color images
US6741251B2 (en) 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
AU2003217587A1 (en) 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7006709B2 (en) 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
AU2003287803A1 (en) 2002-11-21 2004-06-15 Solvision Fast 3d height measurement method and system
US20040174770A1 (en) 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
FR2849245B1 (fr) * 2002-12-20 2006-02-24 Thales Sa Procede d'authentification et d'identification optique d'objets et dispositif de mise en oeuvre
US7639419B2 (en) 2003-02-21 2009-12-29 Kla-Tencor Technologies, Inc. Inspection system using small catadioptric objective
US7127101B2 (en) 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
DE602004015799D1 (de) 2003-07-24 2008-09-25 Cognitens Ltd Verfahren und system zur dreidimensionalen oberflächenrekonstruktion eines objekts
US6934018B2 (en) 2003-09-10 2005-08-23 Shearographics, Llc Tire inspection apparatus and method
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
CN101031837B (zh) 2004-07-23 2011-06-15 通用电气医疗集团尼亚加拉有限公司 用于荧光共焦显微镜检查的方法和设备
US7120228B2 (en) 2004-09-21 2006-10-10 Jordan Valley Applied Radiation Ltd. Combined X-ray reflectometer and diffractometer
US7076024B2 (en) 2004-12-01 2006-07-11 Jordan Valley Applied Radiation, Ltd. X-ray apparatus with dual monochromators
US20060156756A1 (en) 2005-01-20 2006-07-20 Becke Paul E Phase change and insulating properties container and method of use
WO2007043036A1 (en) 2005-10-11 2007-04-19 Prime Sense Ltd. Method and system for object reconstruction
WO2007105205A2 (en) 2006-03-14 2007-09-20 Prime Sense Ltd. Three-dimensional sensing using speckle patterns
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング(rangemapping)
WO2007105215A2 (en) 2006-03-14 2007-09-20 Prime Sense Ltd. Depth-varying light fields for three dimensional sensing
CN101957994B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8176497B2 (en) 2008-01-16 2012-05-08 Dell Products, Lp Method to dynamically provision additional computer resources to handle peak database workloads
CN103760682B (zh) 2008-01-21 2016-08-31 苹果公司 用于使零级减少的光学设计
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
WO2011031538A2 (en) * 2009-08-27 2011-03-17 California Institute Of Technology Accurate 3d object reconstruction using a handheld device with a projected light pattern

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11720180B2 (en) 2012-01-17 2023-08-08 Ultrahaptics IP Two Limited Systems and methods for machine control
KR20130091015A (ko) * 2012-02-07 2013-08-16 엘지이노텍 주식회사 카메라 시스템 및 3차원 이미지 생성 방법
KR20140028536A (ko) * 2012-08-29 2014-03-10 엘지전자 주식회사 깊이 영상 생성 장치 및 방법
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
US10782847B2 (en) 2013-01-15 2020-09-22 Ultrahaptics IP Two Limited Dynamic user interactions for display control and scaling responsiveness of display objects
US11269481B2 (en) 2013-01-15 2022-03-08 Ultrahaptics IP Two Limited Dynamic user interactions for display control and measuring degree of completeness of user gestures
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
US9632658B2 (en) 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
KR101399060B1 (ko) * 2013-02-14 2014-05-27 주식회사 앰버스 오브젝트를 감지할 수 있는 감지 시스템, 감지 장치 및 감지 방법
US11227172B2 (en) 2013-03-15 2022-01-18 Ultrahaptics IP Two Limited Determining the relative locations of multiple motion-tracking devices
US10366297B2 (en) 2013-03-15 2019-07-30 Leap Motion, Inc. Determining the relative locations of multiple motion-tracking devices
WO2014145279A1 (en) * 2013-03-15 2014-09-18 Leap Motion, Inc. Determining the relative locations of multiple motion-tracking devices
US10037474B2 (en) 2013-03-15 2018-07-31 Leap Motion, Inc. Determining the relative locations of multiple motion-tracking devices
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US11347317B2 (en) 2013-04-05 2022-05-31 Ultrahaptics IP Two Limited Customized gesture interpretation
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10768708B1 (en) 2014-08-21 2020-09-08 Ultrahaptics IP Two Limited Systems and methods of interacting with a robotic tool using free-form gestures
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US12020458B2 (en) 2022-01-18 2024-06-25 Ultrahaptics IP Two Limited Determining the relative locations of multiple motion-tracking devices

Also Published As

Publication number Publication date
US20080106746A1 (en) 2008-05-08
US8050461B2 (en) 2011-11-01
KR101408959B1 (ko) 2014-07-02
CN101957994B (zh) 2014-03-19
CN101957994A (zh) 2011-01-26

Similar Documents

Publication Publication Date Title
KR101408959B1 (ko) 삼차원 감지를 위한 깊이 가변 광 필드
JP5592070B2 (ja) 三次元検知のために深度変化させる光照射野
US10514148B2 (en) Pattern projection using microlenses
US8761495B2 (en) Distance-varying illumination and imaging techniques for depth mapping
KR101331543B1 (ko) 스페클 패턴을 이용한 3차원 센싱
US8150142B2 (en) Depth mapping using projected patterns
US7433024B2 (en) Range mapping using speckle decorrelation
JP2009531655A5 (ko)
TW201732263A (zh) 用於光學三維構形量測之方法及系統
Drouin et al. Active triangulation 3D imaging systems for industrial inspection

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180516

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190515

Year of fee payment: 6