KR20080111474A - 스페클 패턴을 이용한 3차원 센싱 - Google Patents

스페클 패턴을 이용한 3차원 센싱 Download PDF

Info

Publication number
KR20080111474A
KR20080111474A KR1020087025030A KR20087025030A KR20080111474A KR 20080111474 A KR20080111474 A KR 20080111474A KR 1020087025030 A KR1020087025030 A KR 1020087025030A KR 20087025030 A KR20087025030 A KR 20087025030A KR 20080111474 A KR20080111474 A KR 20080111474A
Authority
KR
South Korea
Prior art keywords
speckle pattern
images
assembly
image capture
image
Prior art date
Application number
KR1020087025030A
Other languages
English (en)
Other versions
KR101331543B1 (ko
Inventor
알렉산더 셔펀트
지이브 잘레스키
Original Assignee
프라임 센스 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/IL2006/000335 external-priority patent/WO2007043036A1/en
Application filed by 프라임 센스 엘티디. filed Critical 프라임 센스 엘티디.
Publication of KR20080111474A publication Critical patent/KR20080111474A/ko
Application granted granted Critical
Publication of KR101331543B1 publication Critical patent/KR101331543B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras

Abstract

물체(28)의 3D 매핑 장치(20)는 물체 상에 일차적인 스페클 패턴을 투영하도록 배열된 간섭성 광원(32)과 산광기(33)를 포함하는 조명 어셈블리(30)를 포함하고 있다. 단일의 화상 캡쳐 어셈블리(38)가 조명 어셈블리에 대해 단일의 정해진 위치 및 각도에서 물체 상의 일차적인 스페클 패턴의 화상들을 캡쳐하도록 배열된다. 처리기(24)가 물체의 3D 맵을 유도해 내기 위해 단일의 정해진 각도에서 캡쳐된 일차적인 스페클 패턴의 화상들을 처리하도록 연결되어 있다.
Figure 112008071376466-PCT00011
스페클 패턴, 3D 매핑, 조명 어셈블리, 간섭성 광원, 산광기, 화상 캡쳐 어셈블리, 처리기

Description

스페클 패턴을 이용한 3차원 센싱{THREE-DIMENSIONAL SENSING USING SPECKLE PATTERNS}
본 발명은 크게는 3차원(3D) 물체의 매핑을 위한 방법 및 시스템에 관한 것이며, 보다 상세하게는 스페클 패턴을 이용하는 3D 광학 촬상에 관한 것이다.
간섭성 광 빔이 산광기를 통과하여 어떤 한 표면 상으로 조사될 때, 그 표면 상에서 일차적인 스페클 패턴이 관찰될 수 있다. 일차적인 스페클은 확산되는 빔의 서로 다른 성분들 사이의 간섭에 의해 발생된다. "일차적인 스페클" 이란 용어는 이런 의미로 본 특허출원 및 청구범위에서 사용되며, 물체의 거친 표면으로부터의 간섭성 광의 확산반사(난반사)에 의해 발생되는 이차적인 스페클과 구분된다.
발명자 하트 더글라스 피.(HART, Douglas P.)는, 여기에 그 설명이 참고되는, 대만특허 TW 527518 B와 미국특허출원 09/616,606호에서 고속 3D 촬상 시스템에서의 스페클 패턴의 이용을 개시하고 있다. 이 시스템은 능동형 촬상소자 및 CCD 소자를 구비한 단렌즈 카메라 서브시스템과, 상관 처리 서브시스템을 포함하고 있다. 능동형 촬상소자는 큰 피사계 심도와 높은 서브 픽셀 변위 정밀도를 성취하기 위해 비초점 화상들 사이에 조절가능한 비등변 간격을 허용하는 회전식 조리개가 될 수 있다. 스페클 패턴이 물체 상으로 투영되고, 그 결과의 패턴의 화상들이 다수의 각도에서 획득된다. 이 화상들은 화상 상관 기법을 이용하여 국부적으로 교차 상관처리되고, 표면은 각각의 국부적 상관처리 영역의 3차원 좌표를 산출하도록 상대적인 카메라 위치 정보를 사용하여 분석된다.
또다른 스페클에 기반한 3D 촬상 기법이 헌터(Hunter) 등에 의한 미국특허 제6,101,269호에 개시되어 있으며, 그 설명이 여기에 참고된다. 이 특허에서는, 랜덤 스페클 패턴이 3D 표면 상에 투영되고, 복수의 2차원 디지털 화상을 얻도록 복수의 카메라에 의해 촬상된다. 이 2차원 화상들이 3차원 표면 특징을 얻기 위해 처리된다.
본 발명의 실시예들은 일차적인 스페클 패턴을 이용하여 3D 물체의 정확한 실시간 매핑을 실행한다. 본 출원의 우선권 기초출원인 PCT/IL2006/000335에 개시되어 있는 방법 및 시스템과 추후 설명될 실시예들은 단일의 간섭성 광원과 이 광원에 대해 정해진 각도로 고정 유지되는 단일의 화상 센서를 사용하여 그와 같은 3D 매핑을 실행할 수 있다.
본 발명의 하나의 양태에 있어서는, 초기에 스페클 패턴의 기준 화상이 기지의 프로파일의 기준 표면 상에서 캡쳐된다. 그런 다음, 물체 상에 투영된 스페클 패턴의 화상을 캡쳐하고 이 캡쳐된 스페클 패턴의 화상을 기준 화상과 비교함으로써 물체의 3D 프로파일이 결정된다.
본 발명의 또다른 양태에 있어서는, 물체가 이동함에 따라 물체 상의 스페클 패턴의 연속적인 화상들이 캡쳐된다. 물체의 모션을 3차원적으로 추적하기 위해, 각각의 화상은 하나 이상의 선행 화상과 비교된다. 아래에 설명될 하나의 실시예에 있어서는, 광원과 화상 센서는 연속적인 화상들 사이의 1차원 상관계수들을 연산함으로써 신속하고 정확한 모션 추적을 허용하는 선형 정렬 상태로 유지된다.
몇몇의 실시예들에 있어서는, 3D 매핑 시스템의 정확성, 피사계 심도 및 연산 속도를 향상시키기 위해 신규한 조명 및 화상 처리 방법이 사용된다.
그러므로, 본 발명의 하나의 실시예에 따라, 물체의 3D 매핑 장치에 있어서:
물체 상에 일차적인 스페클 패턴을 투영하도록 배열된 간섭성 광원과 산광기를 포함하는 조명 어셈블리;
조명 어셈블리에 대해 단일의 정해진 위치 및 각도에서 물체 상의 일차적인 스페클 패턴의 화상들을 캡쳐하도록 배열되는 단일의 화상 캡쳐 어셈블리; 및
물체의 3D 맵을 유도해 내기 위해 단일의 정해진 각도에서 캡쳐된 일차적인 스페클 패턴의 화상들을 처리하도록 연결되어 있는 처리기;를 포함하고 있는 것을 특징으로 하는 물체의 3D 매핑 장치가 제공된다.
몇몇의 실시예에 있어서는, 물체의 3D 매핑 장치는 화상 캡쳐 어셈블리를 조명 어셈블리에 대해 정해진 공간 관계로 유지하도록 조명 어셈블리 및 화상 캡쳐 어셈블리에 부착되는 마운트를 포함하고 있다. 한가지 실시예에 있어서는, 상기 화상 캡쳐 어셈블리가 서로 수직인 제1 축과 제2 축을 형성하는 수직 패턴으로 배열되는 검출기 소자 어레이: 및 입사동을 가지고 있고 검출기 소자 어레이 상으로 화상을 초점맞춤하도록 배열되는 대물 광학기구;를 포함하고 있고, 조명 어셈블리와 화상 캡쳐 어셈블리는, 제1 축에 평행하고 입사동 및 간섭성 광원에서 방사되는 빔이 산광기를 통과하게 되는 위치인 스폿을 통과하는 장치 축을 형성하도록, 마운트에 의해 정렬되어 있다. 따라서, 처리기는 하나 이상의 화상 내에서 캡쳐된 일차적인 스페클 패턴과 일차적인 스페클 패턴의 기준 화상 사이의, 제1 축만을 따라 존재하는 오프셋을 찾아냄으로써 3D 맵을 유도해 내도록 구성되어 있다.
몇몇의 실시예에 있어서는, 처리기는 하나 이상의 화상 내에서 캡쳐된 물체의 다수의 영역 상의 일차적인 스페클 패턴과 일차적인 스페클 패턴의 기준 화상 사이의 각각의 오프셋들을 찾아냄으로써 3D 맵을 유도해 내도록 구성되어 있고, 각각의 오프셋들은 물체의 다수의 영역과 화상 캡쳐 어셈블리 사이의 각각의 거리를 나타낸다. 일반적으로, 화상 캡쳐 어셈블리는 조명 어셈블리로부터 소정 간격 이격되어 위치되고, 각각의 오프셋들은 화상 캡쳐 어셈블리와 조명 어셈블리가 이격된 소정의 간격에 의해 결정되는 비율로 다수의 영역과 화상 캡쳐 어셈블리 사이의 각각의 거리에 비례한다. 한가지 실시예에 있어서는, 조명 어셈블리에 의해 투영되는 일차적인 스페클 패턴은 특성 사이즈를 갖는 스페클들을 포함하고, 화상들 내의 스페클들의 사이즈는 화상 캡쳐 어셈블리와 조명 어셈블리가 이격된 소정의 간격에 따라 좌우되는 허용범위만큼 화상 전반에 걸쳐 변동하고, 화상 캡쳐 어셈블리와 조명 어셈블리가 이격된 소정의 간격은 상기 허용범위를 소정의 범위 내로 유지하도록 선정된다.
선택적으로 또는 추가적으로, 처리기는 화상 캡쳐 어셈블리 내의 왜곡에 대한 파라미터 모델을 사용하여 각각의 오프셋들을 3D 맵의 각각의 좌표와 연관시키도록 구성되어 있다. 또한, 선택적으로 또는 추가적으로, 처리기는 물체의 제1 영역의 일차적인 스페클 패턴과 제1 영역에 대해 제1 오프셋을 가지는 기준 화상의 대응 영역 사이의 초기 매치를 찾아내고, 제1 오프셋에 기초하여 물체의 영역의 범위 확장 과정을 적용하여 제1 영역에 인접한 픽셀들의 각각의 오프셋들을 찾아냄으로써 각각의 오프셋들을 찾아내도록 구성되어 있다.
한가지 실시예에 있어서는, 처리기는 물체의 3D 이동을 매핑하기 위해 물체가 이동하고 있는 동안에 캡쳐되는 연속적인 화상을 처리하도록 구성되어 있고, 물체는 인체의 일부분이고, 3D 이동은 인체의 일부분에 의해 만들어지는 동작을 포함하고, 처리기는 동작에 응답하여 컴퓨터 응용 컨텐츠에 입력값을 제공하도록 연결되어 있다.
몇가지 실시예에 있어서는, 조명 어셈블리는 물체의 3D 매핑 장치의 센싱 크기 전반에 걸쳐 산광기에 의해 생성되는 스페클 패턴의 콘트라스트의 변동을 감소시키도록 구성되어 있는 빔 형성기를 포함하고 있다. 한가지 실시예에 있어서는, 빔 형성기는 회절 광학 소자(DOE) 및 산광기의 푸리에 평면을 형성하도록 배열되는 렌즈를 포함하고 있고, DOE는 푸리에 평면 내에 배치된다. 빔 형성기는 산광기로부터 방사되는 빛의 확산각을 감소시키거나 조명 어셈블리의 광축에 대한 횡단방향 평면 전반에 걸쳐 산광기로부터 방사되는 빛의 집속도를 균일화하도록 배열되어 있다.
한가지 실시예에 있어서는, 처리기는 광 상관기를 포함하고 있고, 광 상관기는 기준 스페클 패턴을 포함하고 있는 회절 광학 소자(DOE)를 포함하고 있고, 화상 캡쳐 어셈블리는 물체의 3D 좌표들을 나타내는 각각의 상관 피크를 생성하기 위해 물체의 다수의 서브 화상을 DOE 상으로 투영하도록 배열되는 렌즈릿 어레이를 포함하고 있다.
몇몇의 실시예에 있어서는, 간섭성 광원은 1 cm 미만인 간섭 길이를 가진다. 추가적으로 또는 선택적으로, 일차적인 스페클 패턴은 특성 사이즈를 가진 스페클들을 포함하고 있고, 조명 어셈블리는 스페클들의 특성 사이즈가 간섭성 광원과 산광기 사이의 거리를 변화시킴으로써 조절될 수 있게 해주도록 구성되어 있다.
또한, 본 발명의 일 실시예에 따라, 물체의 3D 매핑 방법에 있어서:
물체 상에 일차적인 스페클 패턴을 투영하도록 확산되는 간섭성 광의 빔을 물체에 조사하는 단계;
광원에 대해 단일의 정해진 위치 및 각도에서 물체 상의 일차적인 스페클 패턴의 화상들을 캡쳐하는 단계; 및
물체의 3D 맵을 유도해 내기 위해 단일의 정해진 각도에서 캡쳐된 일차적인 스페클 패턴의 화상들을 처리하는 단계;를 포함하고 있는 것을 특징으로 하는 물체의 3D 매핑 방법이 제공된다.
또한 본 발명의 일 실시예에 따라, 물체의 3D 매핑 장치에 있어서:
물체 상에 일차적인 스페클 패턴을 투영하도록 배열되는, 1 cm 미만의 간섭 길이를 가지는 간섭성 광원과 산광기를 포함하는 조명 어셈블리;
물체 상의 일차적인 스페클 패턴의 화상들을 캡쳐하도록 배열되는 화상 캡쳐 어셈블리; 및
물체의 3D 맵을 유도해 내기 위해 일차적인 스페클 패턴의 화상들을 처리하도록 연결되어 있는 처리기;를 포함하고 있는 것을 특징으로 하는 물체의 3D 매핑 장치가 제공된다.
한가지 실시예에 있어서, 간섭성 광원의 간섭 길이는 0.5 mm 미만이다. 추가적으로 또는 선택적으로 간섭성 광원은 5°보다 큰 확산각을 가진다.
본 발명은 첨부도면을 참조하는 하기 실시예의 상세한 설명으로부터 보다 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 3D 매핑 시스템의 개략도;
도 2는 본 발명의 일 실시예에 따른 스페클 촬상 장치의 개략도;
도 3은 본 발명의 일 실시예에 따른 3D 매핑 방법을 개략적으로 도시한 플로우 차트;
도 4는 본 발명의 또다른 실시예에 따른 3D 매핑 시스템에 사용되는 조명 어셈블리의 개략도;
도 5는 본 발명의 일 실시예에 따른 빔 빔 형성기의 개략 측면도;
도 6은 본 발명의 또다른 실시예에 따른 빔 형성기의 개략 측면도; 그리고
도 7은 본 발명의 또다른 실시예에 따른 3D 매핑 시스템에 사용되는 광 상관기의 개략 측면도.
도 1은 본 발명의 일 실시예에 따른 3D 매핑 시스템(20)의 개략도이다. 3D 매핑 시스템(20)은 일차적인 스페클 패턴을 발생시켜 물체(28) 상으로 투영하여 물 체 상에 나타나는 일차적인 스페클 패턴의 화상을 캡쳐하는 스페클 촬상 장치(22)를 포함하고 있다. 스페클 촬상 장치(22)의 상세한 디자인 및 작동은 도면에 도시되어 있으며 도면을 참조하여 아래에 상세히 설명된다.
물체(28)의 3D 맵을 얻어내기 위해 화상 처리기(24)가 스페클 촬상 장치(22)에 의해 생성된 화상 데이터를 처리한다. 본 특허출원 및 청구범위에서 사용되는 용어 "3D 맵"은 물체의 표면을 나타내는 3D 좌표 세트를 의미한다.
또한, 화상 데이터에 기초한 그와 같은 맵의 획득은 "3D 재구성"이라 불려질 수 있다. 그와 같은 재구성을 실행하는 화상 처리기(24)는 후술하는 기능들을 수행하도록 소프트웨어적으로 프로그래밍되어 있는 범용 컴퓨터 처리기를 포함할 수 있다. 소프트웨어는 예컨대 네트워크를 통해 전자적인 형태로 처리기(24)로 다운로드될 수 있다. 또는 소프트웨어는 대안적으로 광학적, 자기적 또는 전자적 메모리 매체와 같은 유형의 매체(tangible media)로 제공될 수 있다. 대안적으로 또는 추가적으로, 화상 처리기의 일부 또는 전부의 기능(function)들이 주문형 또는 반주문형 집적 회로 또는 프로그래밍가능한 디지털 신호 처리기(DSP)와 같은 전용 하드웨어로 실행될 수 있다. 화상 처리기(24)가 도 1에서는 스페클 촬상 장치(22)로부터 분리된 독립 유닛으로서 예시되어 있지만, 화상 처리기(24)의 일부 또는 전부의 처리 기능들은 촬상 장치의 하우징 내에 설치되거나 촬상 장치와 다른 방식으로 결합되는 적합한 전용 회로에 의해 실행될 수도 있다.
화상 처리기(24)에 의해 생성되는 3D 맵은 폭넓은 범위의 다양한 목적으로 이용될 수 있다. 예컨대, 3D 맵은 물체의 의사 3D 화상(pseudo-3D image)을 나타 내는 디스플레이(26)와 같은 출력 장치로 전송될 수 있다. 도 1에 도시된 예에서는, 물체(28)는 대상 신체의 전부 또는 일부(손 등)를 포함한다. 이 경우, 3D 매핑 시스템(20)은, 마우스, 조이스틱 또는 기타 액세서리와 같은 촉감형 인터페이스 요소 대신에, 게임과 같이 스페클 촬상 장치(22)에 의해 검출되는 유저 동작이 쌍방향식 컴퓨터 응용 컨텐츠를 제어하게 되는 동작인식 기반 유저 인터페이스를 제공하는 데 사용될 수 있다. 선택적으로, 3D 매핑 시스템(20)은 3D 좌표 프로파일이 필요한 임의의 용례를 위한 다른 형태의 물체의 3D 맵을 생성시키는 데 사용될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 스페클 촬상 장치(22)의 개략도이다. 조명 어셈블리(30)는 레이저가 대표적인 간섭성 광원(32)과 산광기(33)를 포함하고 있다. (본 특허출원에서의 용어 "빛(광)"은 가시광선뿐만 아니라 적외선 및 자외선을 포함하는 임의의 종류의 광복사를 의미한다.) 광원(32)에 의해 방사되는 광 빔은 반경(w0)의 스폿(34)에서 산광기(34)를 통과하여 확산 빔(36)을 생성한다. 상술한 PCT 특허출원 PCT/IL2006/000335에서 설명되어 있는 바와 같이, 물체 거리가 Z obj 일때 에서 식
Figure 112008071376466-PCT00001
로 결정되는 스패클 패턴의 축방향 사이즈 ΔZ에 의해 주어지는 거리의 범위 내에 2개의 물체 거리 Z obj1 와 Z obj2 가 있는 한, 2개의 물체 거리 Z obj1 와 Z obj2 에서 산광기(34)에 의해 생성되는 2개의 일차적인 스페클 패턴은 서로간의 양호한 근사치의 선형 크기 비율의 이형체들(versions)이 된다.
화상 캡쳐 어셈블리(38)가 물체(28) 상으로 투영되는 스페클 패턴의 화상을 캡쳐한다. 화상 캡쳐 어셈블리(38)는 화상을 화상 센서(40) 상으로 포커싱하는 대물 광학기구(39)를 포함하고 있다. 일반적으로, 센서(40)은 CCD 또는 CMOS 기반의 화상 센서 어레이와 같은 검출기 소자(41)들로 이루어진 직선 어레이를 포함하고 있다. 광학기구(39)는 입사동(42)를 가지고 있고, 이 입사동(42)은 화상 센서의 치수와 함께 화상 캡쳐 어셈블리의 화각(44)을 형성한다. 스페클 촬상 장치(22)의 센싱 크기는 빔(36)과 화각(44) 사이의 중첩 영역을 포함한다.
물체 거리 Zobj에서 조명 어셈블리(30)에 의해 투영되는 특성 횡단방향 스페클 사이즈(스페클 패턴의 2차 통계 특성으로 정의)
Figure 112008071376466-PCT00002
이다. 본 출원의 발명자들은 최적의 화상 처리 성능을 위해서는 센서(40) 상으로 결상되는 스페클의 치수는 범위 및 해상도 조건에 따라 1픽셀과 10픽셀 사이에 있어야만 한다는 것을 발견하였다. 즉, 광학기구(39)에 의해 센서(40) 상으로 결상되는 각각의 스페클을 위해서는 수평방향으로 1개와 10개 사이의 검출기 소자(41)가 놓여져야만 한다는 것을 발견하였다. 대표적인 적용예로서, 2픽셀과 3픽셀 사이의 스페클 사이즈가 양호한 결과를 제공한다. 스폿(34)의 반경(w0)이 광원으로부터의 거리와 함께 증가하기 때문에, ΔX에 대한 상기 식으로부터 스페클 사이즈는 광원(32)과 산광기(33) 사이의 거리를 변화시킴으로써 조절될 수 있다는 것을 알 수 있다. 따라서, 조명 어셈블리(30)의 스페클 파라미터들은 렌즈나 다른 광학기구를 사용함이 없이 광원을 횡방향으로 이동시킴으로써 제어될 수 있다. 조명 어셈블리(30)는 이런 방식으로 다른 사이즈와 해상도의 여러 화상 센서들과 그리고 다양한 배율의 대물 광학기구들과 함께 작동하도록 조절될 수 있다. 상기 파라미터들에 의해 지배되는 작은 스페클 사이즈가 주어진다면, 큰 확산각(5°이상)과 짧은 간섭 길이(coherence length) (1 cm 미만, 경우에 따라서는 0.5 mm 미만)를 가진 레이저 다이오드와 같은 저비용의 광원이 양호한 효과를 가지고 3D 매핑 시스템(20)에 사용될 수 있다.
조명 어셈블리(30)와 화상 캡쳐 어셈블리(38)는 마운트(43)에 의해 고정된 공간 관계로 유지된다. 도 2에 도시된 실시예에 있어서는, 마운트는 조명 어셈블리(30)와 화상 캡쳐 어셈블리(38)를 수용하는 하우징을 포함한다. 선택적으로, 다른 적합한 종류의 기계식 마운트가 조명 어셈블리와 화상 캡쳐 어셈블리 사이의 소정의 공간 관계를 유지하도록 사용될 수도 있다. 스페클 촬상 장치(22)의 이 구성과 후술하는 처리 기법이 조명 어셈블리와 화상 캡쳐 어셈블리 사이의 상대 이동없이 그리고 부품들을 이동시킴이 없이 단일의 화상 캡쳐 어셈블리를 사용하여 3D 매핑을 실행하는 것을 가능하게 만든다. 따라서, 화상 캡쳐 어셈블리(38)는 조명 어셈블리(30)에 대해 단일의 정해진 각도에서 화상들을 캡쳐한다.
3D 맵과 물체(28)의 모션으로 인한 맵의 변화의 연산을 단순화시키기 위해, 후술하는 바와 같이, 입사동(42)의 중심과 스폿(34)의 중심을 통과하는 축이 센서(40)의 축들 중 하나와 평행하게 되도록, 마운트(43)가 조명 어셈블리(30)와 화상 캡쳐 어셈블리(38)를 유지하는 것이 바람직하다. 즉, 검출기 소자(42)의 어레 이의 행과 열이 서로 수직인 X-축과 Y-축(대물 광학기구(39)의 광축 상에 원점을 가지는)을 형성하도록 하면, 입사동(42)과 스폿(34)을 통과하는 축은 어레이 축들 중의 하나와 평행하게 된다. 편의상 입사동(24)과 스폿(34)을 통과하는 축이 평행하게 되는 어레이 축들 중의 하나는 X-축이 된다. 이 배열의 장점은 아래에 추가로 설명된다.
스폿(34)과 입사동(42)의 각각의 중심점을 통과하는 조명 어셈블리(30)와 화상 캡쳐 어셈블리(38)의 각각의 광축은 거리(S)만큼 이격되어 있다. 그러므로, 물체 거리(Zobj)의 변동은 화상 캡쳐 어셈블리(38)에 의해 캡쳐된 물체 화상에서의 스페클 패턴의 왜곡을 초래할 것이다. 특히, 삼각측량에 의해, 도 2에서 물체 상의 한 지점의 Z-방향 이동(δZ)은 화상 내에서 관찰되는 스페클 패턴의 동반하는 횡단방향 이동(δX)을 초래하게 될 것임을 알 수 있으며, 그 관계식은
Figure 112008071376466-PCT00003
이다.
따라서, 물체 상의 지점의 Z-좌표는, 시간에 대한 Z-좌표 이동과 함께, 기지의 거리(Z)에서 취해진 기준 화상에 대해 상대적인 화상 캡쳐 어셈블리(38)에 의해 캡쳐된 화상 내의 스페클의 X-좌표 이동을 측정함으로써 결정될 수 있다. 즉, 캡쳐된 화상의 각 영역의 스페클 그룹은 기준 화상 내에서의 가장 근접하게 매칭되는 스페클 그룹을 찾아내기 위해 기준 화상과 비교된다. 화상 내에서의 매칭되는 스페클 그룹들의 상대 이동은 기준 화상에 대한 상대적인 캡쳐된 화상의 영역의 Z-방향 이동을 부여한다. 스페클 패턴에 있어서의 이동은 화상 상관법 또는 다른 공지 의 화상 매칭 연산법을 이용하여 측정될 수 있다. 몇가지 대표적인 방법들이 전술한 PCT 특허출원 PCT/IL2006/000335에 설명되어 있다. 스페클 촬상 장치(22)와 관련하여 특히 유용한 한가지 다른 방법이 본 출원인에 양도되고 그 설명이 여기에 참고되는 미국특허출원 60/785,202(2006년 3월 24일자 출원)에 설명되어 있다.
또한, 입사동(42)과 스폿(34)을 통과하는 X-축이 센서(40)의 X-축과 평행하게 되어 있는 도 2에 도시된 배열에 있어서는, Z-방향 이동 δZ를 동반하는 스페클 패턴의 이동은 전적으로 X-방향 이동이 될 것이며, 이동에 있어서의 Y-성분은 없다(광학기구(39)로 인한 왜곡이 무시될 수 있는 한). 그러므로, 화상 매칭 연산은 단순화되고, X-방향 이동을 하게 되는 가장 근접하게 매칭되는 스페클 그룹을 찾는 것만을 필요로 한다. 즉, 기준 화상(이전 스페클 패턴의 화상이 될 수도 있다)에 대한 상대적인 현재 화상 내의 한 영역의 Z-방향 이동 δZ를 결정하는 데에는, 기준 화상에 대해 최상의 매치를 제공하는 이동값 δX를 찾아내기 위해, 기준 화상에 대해 현재 화상의 영역들의 X-방향 이동된 사본들을 대조하는 것만이 필요하다.
선택적으로, 스페클 촬상 장치(22)의 요소들의 기하학적 정렬이 상기 기준을 벗어난 경우나 렌즈 왜곡이 심각한 경우에는, 처리기는 편차를 보정하기 위한 파라미터 모델(parametric model)을 이용할 수 있다. 즉, 기지의 편차가 측정되거나 다른 방식으로 모델링될 수 있고, 그런 다음 물체 표면의 실제상의 3D 좌표를 찾아내기 위해 처리기가 편차의 파리미터 모델에 의해 기준 화상에 대해 적절히 (X,Y) 이동으로 이동되는 현재 화상의 영역의 사본을 대조할 수 있다.
일반적으로, 구성과 연산의 편의상, 3D 매핑 시스템(20)의 동작 파리미터들 은 S << Zobj가 되도록 선정된다. (한편, 3D 매핑 시스템(20)의 Z-방향 해상도가 비 S/Zobj에 좌우되기 때문에, 원하는 해상도가 성취될 수 있도록 거리 S는 시스템의 의도한 작업 거리(working distance)에 대해 충분히 길어야 한다.) S << Zobj인 한, 조명 어셈블리와 화상 캡쳐 어셈블리로부터 각각의 물체 지점까지의 각각의 거리는 흡사하지만, 일반적으로 정확하게 동일하지는 않다. 그러므로, 화상 캡쳐 어셈블리(38)에 의해 캡쳐되는 스패클 패턴의 화상 내의 스페클들의 스케일은 중첩 영역(46)에 걸쳐 약간의 허용범위(tolerance; γ)만큼 변동할 것이다. 그 중 몇가지 연산 방법이 전술한 PCT 특허출원 PCT/IL2006/000335에 설명되어 있는, 종래기술에서 알려진 연산 방법들이 대응하는 기준 화상의 영역에 대해 매칭되는 현재 화상의 영역들에 있어서의 이러한 스케일 변동을 보상하는 데 사용될 수 있다.
하지만, 일반적으로, 처리기(24)에 너무 큰 부하가 가해지는 것을 회피하기 위해서, 허용범위(γ)는 특성 스페클 사이즈와 함께 매칭되는 윈도우 사이즈에 따라 소정의 범위 내에서 유지되는 것이 바람직하다. 대체로, 본 발명자들은 특성 윈도우의 스케일링이 단일의 스페클 사이즈의 대략 30% 이하로 변동하도록 허용범위(γ)가 제한되어져야 한다는 것을 발견하였다. 화상 캡쳐 어셈블리(38)의 화각의 대각선 각도가 θ로 주어지면,
Figure 112008071376466-PCT00004
가 된다. 그러므로,
Figure 112008071376466-PCT00005
일때(여기서, psize(Zobj)는 물체 거리 Zobj에 서의 픽셀의 사이즈), 사이즈 N인 윈도우에 대해 국부적인 스페클 패턴의 실질적인 스케일 불변성(scale invariance)이 얻어진다. 이 조건 하에서는, 화상 캡쳐 어셈블리(38)에 의해 캡쳐된 연속적인 화상 프레임들 내에서의 물체의 Z-방향 이동은 일반적으로 스페클 스케일링 변동을 크게 고려함이 없이 연산될 수 있다.
도 3은 본 발명의 일 실시예에 따른 3D 매핑 시스템(20)을 이용하는 3D 매핑 방법을 개략적으로 도시한 플로우 차트이다. 이 방법은 특히 조명 어셈블리(30)에 의해 투영되는 스페클 패턴이 시간 경과에 따라 실질적으로 변하지 않도록 구현한 것에 기초하고 있다. 그러므로, 물체 상으로 투영되어 화상 캡쳐 어셈블리(38)에 대해 정해진 위치와 각도로 화상 캡쳐 어셈블리(38)에 의해 캡쳐되는 개별의 스페클 패턴의 화상들이 물체의 3D 맵을 정확하게 연산하는 데 사용될 수 있다.
물체를 매핑하기에 앞서, 교정 단계(50)에서, 스페클 촬상 장치(22)로부터의 기지의 거리에 있는 기지의 공간 프로파일의 물체 상으로 조명 어셈블리(30)로부터 스페클 패턴을 투영하는 방법으로 스페클 촬상 장치(22)가 교정된다. 일반적으로, 이 목적을 위한 보정 타겟으로서는 기지의 물체 거리 Zobj에서 중첩 영역(46)을 횡단하여 뻗어 있는 평면형 물체가 이용된다. 화상 캡쳐 어셈블리(38)는 이 물체의 기준 화상을 캡쳐하고, 캡쳐된 기준 화상은 처리기(24)의 메모리에 저장된다. 이 교정 단계는 제조시에 실행될 수도 있고, 그런 다음 메모리에 저장된 기준 화상은 스페클 촬상 장치(22)의 서로 다른 구성요소들 사이에 제어되지 않은 상대 운동이 없는 한 현장에서 바로 사용될 수 있다. 메모리를 저장하고 순차적인 연산을 단순 화시키기 위해, 기준 화상은 사용될 매칭 알고리즘으로 적합한 임계값 기반의 이진 화상과 같은 데이터 저감 형태로 저장될 수 있다.
3D 매핑 시스템(20)이 사용 준비되면, 초기 화상 캡쳐 단계(52)에서 스페클 촬상 장치(22)를 사용하여 대상 물체(본 실시예에서는 물체(28))의 화상을 캡쳐하는 것이 시행된다. 처리기(24)는 맵 연산 단계(54)에서 캡쳐된 이 대상 물체의 화상을 저장된 교정 화상의 스페클 패턴과 비교한다. 픽셀값이 특정 임계값보다 작은(또는 관련 스페클 정보를 담고 있지 않은) 화상의 어두운 영역은 일반적으로 음영 영역으로 분류되고, 이 음영 영역에서는 심도(Z) 정보는 얻어질 수 없다. 화상의 나머지 영역은 가능하다면 당해 기술 분야에서 알려진 것으로서 적정 임계값을 사용하여 이진화되거나 또는 기준 화상에 대한 효율적인 매칭을 위해 다른 방식으로 데이터 저감될 수 있다.
처리기(24)는 화상의 비음영 부분 내의 특정 윈도우를 선택하고, 서브 화상(sub-image)에 가장 잘 매칭되는 기준 화상의 부분이 발견될 때까지 윈도우 내의 서브 화상을 기준 화상의 부분들과 비교한다. 조명 어셈블리(30)와 화상 캡쳐 어셈블리(38)가 상술되고 도 2에 도시된 바와 같이 X-축을 따라 정렬되는 경우에는, 처리기(24)가 서브 화상을 서브 화상(전술한 바와 같이, 최대 배율 γ로 스패클 패턴의 스케일링을 거친)에 대해 상대적으로 X-방향으로 변위되는 기준 화상의 부분들과 비교하는 것으로 충분하다. 처리기는 전술한 삼각측량의 원리에 기초하여 서브 화상 내의 물체(28) 표면의 영역의 Z-좌표를 결정하기 위해 기준 화상의 매칭되는 부분에 대한 서브 화상의 횡단방향 오프셋을 사용한다. 만약 물체 표면의 이 영역이 X-Y 평면 내에 배향되어 있지 않고 경사져 있다면, 서브 화상 내의 스페클 패턴은 왜곡을 나타낼 것이다. 선택적으로 처리기(24)는 이 경사각을 평가하여 3D 매핑의 정확성을 향상시키기 위해 스페클 왜곡을 분석할 수 있다.
처리기(24)는 화상의 이웃한 영역들의 좌표를 결정하기 위한 출발점으로서 이 제1 윈도우의 맵 좌표를 사용할 수 있다. 특히, 일단 처리기가 화상 내의 특정 영역과 기준 화상 내의 대응 영역 사이에 높은 상관 관계를 발견하였다면, 이 영역의 기준 화상에 대한 이 오프셋이 화상 내의 이웃하는 픽셀들의 오프셋의 좋은 지표로서 기능할 수 있다. 처리기는 초기 매칭된 영역의 작은 범위와 같거나 그 작은 범위 내에 있는 오프셋을 사용하여 상기 이웃하는 픽셀들을 기준 화상에 매칭시키는 것을 시도한다. 이런 방식으로, 처리기는 매칭되는 영역이 화상의 가장자리에 도달할 때까지 매칭되는 영역의 범위를 확장시켜간다. 그에 따라 처리기는 물체(28)의 3D 프로파일을 완성할 때까지 화상의 모든 비음영 영역들의 Z-좌표들을 결정하도록 동작을 진행한다. 이 접근법은 약한 신호/노이즈 비를 가진 작은 윈도우 및 화상을 사용하면서도 신속하고 확실한 매칭을 제공하는 장점을 가진다. 이런 목적을 위해 사용될 수 있는 연산 방법의 상세한 내용은 전술한 PCT/IL2006/000335에 설명되어 있다.
상기 단계들의 끝에, 처리기(24)는 초기 화상에서 볼 수 있는 물체 표면의 일부분의 완전한 3D 맵의 연산을 완료하게 된다. 하지만 이 방법은 3D 물체의 모션을 추적하기 위해 연속적인 화상들을 캡쳐하고 분석하도록 다음 화상 단계(56)로 연장되는 것이 일반적이다. 스페클 촬상 장치(22)는 소정의 프레임 비율로 연속적 인 화상들을 캡쳐하고, 처리기(24)는 각각의 연속적인 화상에 기초하여 3D 맵을 업데이트한다. 3D 맵은 원한다면 저장되어 있는 교정된 기준 화상에 대하여 연산될 수 있다. 선택적으로, 물체가 일반적으로 하나의 화상 프레임으로부터 다음 화상 프레임까지 그렇게 많이 이동하지는 않을 것이기 때문에, 흔히 각각의 연속적인 화상을 다음 프레임용 기준 화상으로서 이용하는 것이 보다 효율적이다.
따라서, 처리기(24)는 이동 연산 단계(58)에서 각각의 서브 화상 내의 스페클의 이전 화상 내의 동일한 스페클에 대한 X-방향 이동을 연산하기 위해 각각의 연속적인 화상을 이전 화상과 비교할 수 있다. 일반적으로, 상기 이동은 연산이 신속하고 효율적으로 실행될 수 있도록 수 픽셀 이하로 된다. 각각의 새로운 화상이 이런 방식으로 처리된 후에, 처리기(24)는 새로운 3D 맵 출력 단계(60)에서 업데이트된 3D 맵을 출력시킨다. 따라서 화상 캡쳐와 업데이트의 이 과정은 무한정 진행될 수 있다. 연속적인 3D 맵의 연산이 용이하기 때문에, 3D 매핑 시스템(20)은 간단하고 저비용의 촬상 및 처리 하드웨어를 사용하여 초당 30 프레임 이상의 속도로 실시간 영상 전송률로 맵 좌표를 조작하고 출력할 수 있다. 또한, 상술한 바와 같은 효율적인 화상 매칭 연산과 범위 확장은 국부적인 이동이 이전 화상으로부터 연산될 수 없는 경우에도 3D 매핑 시스템(20)이 빠른 영상 속도로 동작하는 것을 가능하게 해준다.
3D 매핑 시스템(20)의 이러한 성능은 광범위한 분야에 적합하게 사용할 수 있게 해주고, 특히 인간의 동작에 기반한 장치 인터페이스를 구현하는 데 적합하게 사용할 수 있게 해준다. 그와 같은 인터페이스에서는, 컴퓨터(처리기(24)를 포함 하고 있거나 처리기에 의해 출력된 3D 맵을 수취할 수 있음)가 팔, 손, 손가락, 머리, 몸통, 및 그 외 말단부와 같은 유저의 신체 부위에 해당하는 3D 맵 내의 특정 부분을 식별한다. 컴퓨터는 이러한 신체 부위의 운동에 대응한 동작을 식별하고 이 동작에 응답하여 컴퓨터 응용 컨텐츠를 제어하도록 프로그램되어 이다. 그와 같은 동작 및 응용 컨텐츠의 예로는 다음과 같은 것들이 있다.
Figure 112008071376466-PCT00006
마우스 이동 및 클릭 - 컴퓨터는 마치 유저가 테이블 상에서 마우스를 이동시키고 마우스 버튼을 클릭한 것처럼 유저의 손과 손가락을 해석한다.
Figure 112008071376466-PCT00007
컴퓨터 스크린 상의 대상을 맨손으로 지정하고, 선택하고 이동시킴.
Figure 112008071376466-PCT00008
컴퓨터 게임, 이 컴퓨터 게임에서 유저 동작은 게임에 사용되는 실제 또는 가상의 대상을 타격하고, 파지하고, 이동시키고, 던질 수 있다.
Figure 112008071376466-PCT00009
장애인 유저가 할 수 있는 제한된 범위의 동닥을 센싱하는 것을 기반으로 한 장애인 유저용 컴퓨터 인터페이스.
Figure 112008071376466-PCT00010
가상 키포드 상에서의 타이핑.
당업자에게 명확한 여타 응용 컨텐츠들이 있을 것이다.
다시 도 2를 참조하면, 빔(36)이 레일리 거리(Rayleigh distance)의 범위를 넘어 퍼져 나감에 따라, 물체(28) 상에 주어지는 조도는 대략 Z2에 비례하여 떨어진다. 그에 따라, 특히 광원(32)의 파장의 강한 주변 조명이 있을 때, 물체 상에 투영된 스페클 패턴의 콘트라스트가 떨어질 것이다. 따라서 3D 매핑 시스템(29)이 유용한 결과를 제공하는 심도(Z-좌표)의 범위는 큰 Z값에서의 약한 조명 때문에 제 한될 수 있다. 이 제한은 당해 기술분야에서 알려진 바와 같이 적응 제어(adaptive control) 및 화상 처리의 방법에 의해 완화될 수 있다. 이 종류의 몇가지 적합한 방법이 전술한 PCT 특허출원 PCT/IL2006/000335에 설명되어 있다. 선택적으로 또는 추가적으로, 광 빔 형성이 아래에 설명하는 바와 같이 조명 프로파일을 향상시키는 데 적용될 수 있다.
도 4는 본 발명의 일 실시예에 따라, 3D 매핑 시스템(20)의 유용한 심도 범위를 향상시키기 위해 3D 매핑 시스템(20)에 사용될 수 있는 조명 어셈블리(70)의 개략도이다. 조명 어셈블리(70)는 광원(32) 및 산광기(33)와 함께 빔 형성기(72)를 포함하고 있다. 빔 형성기(72)는 중간 구역(76)에 걸쳐 확산각이 감소된 빔(74)을 생성하도록 설계되어 있다. 하지만 이 중간 구역(76)에서도 빔(74)은 여전히 축거리(Z)를 따라 스페클 패턴의 선형 스케일링을 유지하고 있다. 그 결과, 3D 매핑 시스템에 의해 커버되는 심도의 범위가 증가되도록, 중간 구역(76)전반에 걸쳐 물체(28)의 화상에 높은 스페클 콘트라스트가 유지된다. 중간 구역(76)에서의 이 향상된 성능을 성취하기 위해 사용될 수 있는 다수의 광학적 디자인이 아래에 설명된다.
도 5는 본 발명의 일 실시예에 따른 빔 형성기(72)의 개략도이다. 이 빔 형성기는 회절 광학 소자(DOE; 80)와 액시콘(82)을 포함하고 있다. DOE(80)는 산광기(33)에 돌출 설치될 수도 있고, 또는 산광기 자체의 표면 상에 에칭층 또는 퇴적층으로서 편입될 수도 있다. 중간 구역(76)에서의 빔 확산각을 감소시키기 위해 다양한 회절 디자인이 사용될 수 있다. 예컨대, DOE(80)는 광원(32)의 광축 상에 중심맞춤되어 램덤 분포되는 여러가지 반경을 가지는 여러가지 동심 링들로 이루어지는 패턴을 포함할 수 있다. 액시콘(82)은 광축 상에 중심맞춤된 원추형 프로파일을 가지고 있다. 즉, 액시콘(82)은 일종의 회전 대칭형 프리즘이다. DOE(80)와 액시콘(82)은 양자 모두 광축을 따라 긴 초점 구역을 생성시키는 효과를 가지고 있어, 감소된 빔 확산각의 구역을 생성하는 데 그들 중 하나만이 홀로 사용될 수도 있다. 확산각의 감소는 그들 2개의 요소를 함께 사용함으로써 더 향상될 수 있음은 물론이다.
도 6은 본 발명의 또다른 실시예에 따른 빔 형성기(90)의 개략도이다. 빔 형성기(90)는 DOE(92)와 초점거리(F)를 가진 렌즈(94, 96)를 포함하고 있다. 도 6에 도시된 바와 같이, 렌즈(94, 96)는, DOE(92)가 산광기의 푸리에 평면(Fourier plane) 내에 위치하도록, 초점거리와 동일한 거리만큼 산광기(33)로부터 그리고 DOE(92)로부터 이격되어 있다. 따라서, 산광기의 푸리에 변환에 DOE의 전달함수가 곱해진다. 원거리장(far field)에서, 스페클 패턴은 DOE 상의 패턴의 푸리에 변환에 의해 증대된다.
DOE 패턴은 그것의 푸리에 변환이 도 4에 도시된 바와 같은 감소된 확산각 및/또는 조명 빔의 단면에 걸쳐 보다 균일한 조도를 제공하도록 선택될 수 있다. 후자의 목적 즉 조명 빔의 단면에 걸쳐 보다 균일한 조도를 제공하려는 목적은 DOE의 외주부보다 중심 구역에서 보다 낮은 투과율을 가지는 DOE(92)를 디자인함으로써(중심부에서 더 밝고 광축으로부터 각도가 증가할수록 밝기가 떨어지는 산광기(33)로부터의 빔의 각 집속도(angular intensity) 분포와는 반대로) 성취될 수 있다. 대상물 크기에 걸쳐 보다 균일한 스페클 콘트라스를 성취하고자 하는 목적의 DOE(92) 또는 DOE(80)(도 5)의 다른 디자인도 당업자에게 자명한 것이며 본 발명의 범위 내에 있는 것으로 고려된다.
도 7은 본 발명의 일 실시예에 따라 물체(28)의 영역의 Z-좌표를 결정하기 위해 3D 매핑 시스템(20)에 사용될 수 있는 광 상관기(110)의 개략도이다. 광 산광기(110)는 다시 말해 앞서 설명한 처리기(24)의 몇가지 기능들을 실행하는 광학적 기법들을 이용한다. 광 상관기는 매우 높은 속도로 즉 거의 동시에 병행식으로 물체의 다수의 영역들의 좌표들을 결정할 수 있다. 그러므로 광 산광기는 급속한 물체 모션을 특징으로 하는 응용 컨텐츠에 특히 유용하다.
렌즈릿 어레이(lenslet array; 다중 소형 렌즈)(116)가 조명 어셈블리(30)에 의한 스페클 조명 하에 물체(28)의 다수의 서브 화상들을 형성한다. 각각의 서브 화상이 좁은 각도 범위만으로부터의 빛을 담도록, 조리개 어레이(118)가 렌즈릿 어레이(116)의 렌즈릿의 화각들을 제한한다. 제2 렌즈릿 어레이(120)가 서브 화상들을 DOE(122) 상으로 투영한다. 제2 렌즈 어레이(120)는 어레이 형태의 렌즈릿들의 초점거리와 동일한 거리만큼 서브 화상들의 평면으로부터 이격되더 있고, 또한 동일한 거리만큼 DOE(122)의 평면으로부터 이격되어 있다. 후방 렌즈릿 어레이(124)가 그것의 렌즈릿의 초점거리와 동일한 거리만큼 DOE(122)와 센서(40)로부터 각각 이격되어 있다.
DOE(122)는 물체(28)의 스페클 화상이 비교될 기준 스페클 패턴의 공간 푸리에 변환인 기준 회절 패턴을 담고 있다. 예컨대, 기준 회절 패턴은 조명 광원으로 부터 기지의 거리에 있는 편평한 표면을 사용하여 단계(50)(도 3)에서 형성된 교정 스페클 화상의 푸리에 변환이 될 수 있다. 이 경우, 기준 회절 패턴은 DOE의 표면 상에 적층되거나 에칭될 수 있다. 선택적으로, DOE(122)는 기준 회절 패턴을 동적으로 투영시키도록 구동되는 공간 광 변조기(spatial light modulator; SLM)를 포함할 수 있다.
어느 경우이건, 상관기(110)는 푸리에 공간 내의 기준 스페클 패턴에 의해 물체의 서브 화상들(렌즈릿 어레이(116)에 의해 형성된)을 증대시킨다. 그러므로, 렌즈릿 어레이(124)에 의해 센서(40) 상으로 투영되는 집속도 분포는 각 서브 화상의 기준 스페클 패턴과의 교차 상관도에 대응된다. 일반적으로, 센서 상의 집속도 분포는 다수의 상관 피크들을 포함하고, 각각의 상관 피크는 서브 화상들 중의 하나에 해당한다. 각각의 상관 피크의 대응하는 서브 화상(조리개 어레이(118)의 대응하는 조리개에 의해 형성되는 것으로서의)의 축에 대한 횡단방향 오프셋은 물체의 대응하는 영역 상에서의 스페클 패턴의 횡단방향 변위에 비례한다. 이 변위는 또한 앞서 설명한 바와 같이 영역의 기준 스페클 패턴의 평면에 대한 Z-방향 변위에 비례한다. 따라서, 센서(40)의 출력은 각각의 서브 화상의 영역의 Z-좌표를 결정하고 그에 따라 물체의 3D 맵을 연산하도록 처리될 수 있다.
상술한 실시예들이 3D 매핑 시스템(20)의 특정 형태와 전술한 스페클 촬상 장치(22)의 디자인에 관한 것이지만, 본 발명의 원리는 스페클 기반의 3D 매핑을 위한 다른 형태의 시스템과 장치에 유사하게 적용될 수 있다. 예컨대, 상술한 실시예들의 양태는 다수의 화상 캡쳐 어셈블리들을 사용하거나 화상 캡쳐 어셈블리와 조명 어셈블리가 서로에 대해 이동가능한 시스템에 적용될 수 있다.
따라서 상술한 실시예들은 예시의 방법으로 기재된 거이며, 본 발명은 특정하여 상술한 것에 한정되지 않는다는 것으로 이해하여야 한다. 본 발명의 범위는 상술한 다양한 특징의 조합과 하위 조합들을 포함하는 것이며 또한 종래기술에서는 개시되지 않은 것으로 당업자에게 자명한 수정을 포함한다.

Claims (44)

  1. 물체의 3D 매핑 장치에 있어서:
    물체 상에 일차적인 스페클 패턴을 투영하도록 배열된 간섭성 광원과 산광기를 포함하는 조명 어셈블리;
    조명 어셈블리에 대해 단일의 정해진 위치 및 각도에서 물체 상의 일차적인 스페클 패턴의 화상들을 캡쳐하도록 배열되는 단일의 화상 캡쳐 어셈블리; 및
    물체의 3D 맵을 유도해 내기 위해 단일의 정해진 각도에서 캡쳐된 일차적인 스페클 패턴의 화상들을 처리하도록 연결되어 있는 처리기;를 포함하고 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  2. 제 1 항에 있어서, 화상 캡쳐 어셈블리를 조명 어셈블리에 대해 정해진 공간 관계로 유지하도록 조명 어셈블리 및 화상 캡쳐 어셈블리에 부착되는 마운트를 포함하고 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  3. 제 2 항에 있어서, 상기 화상 캡쳐 어셈블리가:
    서로 수직인 제1 축과 제2 축을 형성하는 수직 패턴으로 배열되는 검출기 소자 어레이: 및
    입사동을 가지고 있고 검출기 소자 어레이 상으로 화상을 초점맞춤하도록 배열되는 대물 광학기구;를 포함하고 있고,
    조명 어셈블리와 화상 캡쳐 어셈블리는, 제1 축에 평행하고 입사동 및 간섭성 광원에서 방사되는 빔이 산광기를 통과하게 되는 위치인 스폿을 통과하는 장치 축을 형성하도록, 마운트에 의해 정렬되어 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  4. 제 3 항에 있어서, 처리기는 하나 이상의 화상 내에서 캡쳐된 일차적인 스페클 패턴과 일차적인 스페클 패턴의 기준 화상 사이의, 제1 축만을 따라 존재하는 오프셋을 찾아냄으로써 3D 맵을 유도해 내도록 구성되어 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  5. 제 1 항에 있어서, 처리기는 하나 이상의 화상 내에서 캡쳐된 물체의 다수의 영역 상의 일차적인 스페클 패턴과 일차적인 스페클 패턴의 기준 화상 사이의 각각의 오프셋들을 찾아냄으로써 3D 맵을 유도해 내도록 구성되어 있고, 각각의 오프셋들은 물체의 다수의 영역과 화상 캡쳐 어셈블리 사이의 각각의 거리를 나타내는 것을 특징으로 하는 물체의 3D 매핑 장치.
  6. 제 5 항에 있어서, 화상 캡쳐 어셈블리는 조명 어셈블리로부터 소정 간격 이격되어 위치되고, 각각의 오프셋들은 화상 캡쳐 어셈블리와 조명 어셈블리가 이격된 소정의 간격에 의해 결정되는 비율로 다수의 영역과 화상 캡쳐 어셈블리 사이의 각각의 거리에 비례하는 것을 특징으로 하는 물체의 3D 매핑 장치.
  7. 제 6 항에 있어서, 조명 어셈블리에 의해 투영되는 일차적인 스페클 패턴은 특성 사이즈를 갖는 스페클들을 포함하고, 화상들 내의 스페클들의 사이즈는 화상 캡쳐 어셈블리와 조명 어셈블리가 이격된 소정의 간격에 따라 좌우되는 허용범위만큼 화상 전반에 걸쳐 변동하고, 화상 캡쳐 어셈블리와 조명 어셈블리가 이격된 소정의 간격은 상기 허용범위를 소정의 범위 내로 유지하도록 선정되는 것을 특징으로 하는 물체의 3D 매핑 장치.
  8. 제 5 항에 있어서, 처리기는 화상 캡쳐 어셈블리 내의 왜곡에 대한 파라미터 모델을 사용하여 각각의 오프셋들을 3D 맵의 각각의 좌표와 연관시키도록 구성되어 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  9. 제 5 항에 있어서, 처리기는 물체의 제1 영역의 일차적인 스페클 패턴과 제1 영역에 대해 제1 오프셋을 가지는 기준 화상의 대응 영역 사이의 초기 매치를 찾아내고, 제1 오프셋에 기초하여 물체의 영역의 범위 확장 과정을 적용하여 제1 영역에 인접한 픽셀들의 각각의 오프셋들을 찾아냄으로써 각각의 오프셋들을 찾아내도록 구성되어 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  10. 제 1 항 내지 제 9 항 중의 어느 한 항에 있어서, 처리기는 물체의 3D 이동을 매핑하기 위해 물체가 이동하고 있는 동안에 캡쳐되는 연속적인 화상을 처리하 도록 구성되어 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  11. 제 10 항에 있어서, 물체는 인체의 일부분이고, 3D 이동은 인체의 일부분에 의해 만들어지는 동작을 포함하고, 처리기는 동작에 응답하여 컴퓨터 응용 컨텐츠에 입력값을 제공하도록 연결되어 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  12. 제 1 항 내지 제 9 항 중의 어느 한 항에 있어서, 조명 어셈블리는 물체의 3D 매핑 장치의 센싱 크기 전반에 걸쳐 산광기에 의해 생성되는 스페클 패턴의 콘트라스트의 변동을 감소시키도록 구성되어 있는 빔 형성기를 포함하고 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  13. 제 12 항에 있어서, 빔 형성기는 회절 광학 소자(DOE)를 포함하고 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  14. 제 13 항에 있어서, 빔 형성기는 산광기의 푸리에 평면을 형성하도록 배열되는 렌즈를 포함하고 있고, DOE는 푸리에 평면 내에 배치되는 것을 특징으로 하는 물체의 3D 매핑 장치.
  15. 제 12 항에 있어서, 빔 형성기는 산광기로부터 방사되는 빛의 확산각을 감소시키도록 배열되어 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  16. 제 12 항에 있어서, 빔 형성기는 조명 어셈블리의 광축에 대한 횡단방향 평면 전반에 걸쳐 산광기로부터 방사되는 빛의 집속도를 균일화하도록 배열되어 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  17. 제 1 항 내지 제 9 항 중의 어느 한 항에 있어서, 처리기는 광 상관기를 포함하고 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  18. 제 17 항에 있어서, 광 상관기는 기준 스페클 패턴을 포함하고 있는 회절 광학 소자(DOE)를 포함하고 있고, 화상 캡쳐 어셈블리는 물체의 3D 좌표들을 나타내는 각각의 상관 피크를 생성하기 위해 물체의 다수의 서브 화상을 DOE 상으로 투영하도록 배열되는 렌즈릿 어레이를 포함하고 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  19. 제 1 항 내지 제 9 항 중의 어느 한 항에 있어서, 간섭성 광원은 1 cm 미만인 간섭 길이를 가지는 것을 특징으로 하는 물체의 3D 매핑 장치.
  20. 제 1 항 내지 제 9 항 중의 어느 한 항에 있어서, 일차적인 스페클 패턴은 특성 사이즈를 가진 스페클들을 포함하고 있고, 조명 어셈블리는 스페클들의 특성 사이즈가 간섭성 광원과 산광기 사이의 거리를 변화시킴으로써 조절될 수 있게 해 주도록 구성되어 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  21. 물체의 3D 매핑 방법에 있어서:
    물체 상에 일차적인 스페클 패턴을 투영하도록 확산되는 간섭성 광의 빔을 물체에 조사하는 단계;
    광원에 대해 단일의 정해진 위치 및 각도에서 물체 상의 일차적인 스페클 패턴의 화상들을 캡쳐하는 단계; 및
    물체의 3D 맵을 유도해 내기 위해 단일의 정해진 각도에서 캡쳐된 일차적인 스페클 패턴의 화상들을 처리하는 단계;를 포함하고 있는 것을 특징으로 하는 물체의 3D 매핑 방법.
  22. 제 21 항에 있어서, 상기 화상들을 캡쳐하는 단계는 화상들을 캡쳐하는 동안 광원에 대해 정해진 공간 관계로 유지되는 화상 캡쳐 어셈블리를 이용하여 화상들을 캡쳐하는 단계를 포함하는 것을 특징으로 하는 물체의 3D 매핑 방법.
  23. 제 22 항에 있어서, 상기 화상 캡쳐 어셈블리은 서로 수직인 제1 축과 제2 축을 형성하는 수직 패턴으로 배열되는 검출기 소자 어레이를 포함하고 있고, 광원은 산광기를 포함하고 있고,
    상기 화상들을 캡쳐하는 단계는 화상 캡쳐 어셈블리의 입사동을 제1 축에 평행한 장치 축을 따라 빔이 산광기를 통과하게 되는 위치인 스폿과 정렬시키는 단계 를 포함하는 것을 특징으로 하는 물체의 3D 매핑 방법.
  24. 제 23 항에 있어서, 상기 화상들을 처리하는 단계는 하나 이상의 화상 내에서 캡쳐된 일차적인 스페클 패턴과 일차적인 스페클 패턴의 기준 화상 사이의, 제1 축만을 따라 존재하는 오프셋을 찾아내는 단계를 포함하는 것을 특징으로 하는 물체의 3D 매핑 방법.
  25. 제 21 항에 있어서, 상기 화상들을 처리하는 단계는 하나 이상의 화상 내에서 캡쳐된 물체의 다수의 영역 상의 일차적인 스페클 패턴과 일차적인 스페클 패턴의 기준 화상 사이의 각각의 오프셋들을 찾아내는 단계를 포함하고, 각각의 오프셋들은 물체의 다수의 영역과 화상 캡쳐 어셈블리 사이의 각각의 거리를 나타내는 것을 특징으로 하는 물체의 3D 매핑 방법.
  26. 제 25 항에 있어서, 각각의 오프셋들은 광원으로부터의 간격에 의해 결정되는 비율로 각각의 거리에 비례하는 것을 특징으로 하는 물체의 3D 매핑 방법.
  27. 제 26 항에 있어서, 일차적인 스페클 패턴은 특성 사이즈를 갖는 스페클들을 포함하고, 화상들 내의 스페클들의 사이즈는 상기 간격에 따라 좌우되는 허용범위만큼 화상 전반에 걸쳐 변동하고, 상기 화상들을 캡쳐하는 단계는 상기 허용범위를 소정의 범위 내로 유지하도록 상기 간격을 선정하는 단계를 포함하는 것을 특징으 로 하는 물체의 3D 매핑 방법.
  28. 제 25 항에 있어서, 상기 각각의 오프셋들을 찾아내는 단계는 화상 캡쳐 어셈블리 내의 왜곡에 대한 파라미터 모델을 사용하여 각각의 오프셋들을 3D 맵의 각각의 좌표와 연관시키는 단계를 포함하는 것을 특징으로 하는 물체의 3D 매핑 방법.
  29. 제 25 항에 있어서, 상기 각각의 오프셋들을 찾아내는 단계는 물체의 제1 영역의 일차적인 스페클 패턴과 제1 영역에 대해 제1 오프셋을 가지는 기준 화상의 대응 영역 사이의 초기 매치를 찾아내고, 제1 오프셋에 기초하여 물체의 영역의 범위 확장 과정을 적용하여 제1 영역에 인접한 픽셀들의 각각의 오프셋들을 찾아내는 단계를 포함하는 것을 특징으로 하는 물체의 3D 매핑 방법.
  30. 제 21 항 내지 제 29 항 중의 어느 한 항에 있어서, 상기 화상들을 처리하는 단계는 물체의 3D 이동을 매핑하기 위해 물체가 이동하고 있는 동안에 캡쳐되는 연속적인 화상을 처리하는 단계를 포함하는 것을 특징으로 하는 물체의 3D 매핑 방법.
  31. 제 30 항에 있어서, 물체는 인체의 일부분이고, 3D 이동은 인체의 일부분에 의해 만들어지는 동작을 포함하고, 상기 화상들을 처리하는 단계는 동작에 응답하 여 컴퓨터 응용 컨텐츠에 입력값을 제공하는 단계를 포함하는 것을 특징으로 하는 물체의 3D 매핑 방법.
  32. 제 21 항 내지 제 29 항 중의 어느 한 항에 있어서, 상기 빔을 물체에 조사하는 단계는 센싱 크기 전반에 걸쳐 광원에 의해 생성되는 스페클 패턴의 콘트라스트의 변동을 감소시키도록 빔을 형성하는 단계를 포함하는 것을 특징으로 하는 물체의 3D 매핑 방법.
  33. 제 32 항에 있어서, 상기 빔을 형성하는 단계는 회절 광학 소자(DOE)를 통해 빔을 통과시키는 단계를 포함하는 것을 특징으로 하는 물체의 3D 매핑 방법.
  34. 제 33 항에 있어서, 광원은 산광기를 포함하고 있고, 상기 빔을 통과시키는 단계는 DOE를 푸리에 평면 내에 배열하는 단계를 포함하는 것을 특징으로 하는 물체의 3D 매핑 방법.
  35. 제 32 항에 있어서, 상기 빕을 형성하는 단계는 빔의 확산각을 감소시키는 단계를 포함하는 것을 특징으로 하는 물체의 3D 매핑 방법.
  36. 제 32 항에 있어서, 상기 빔을 형성하는 단계는 광원의 광축에 대한 횡단방향 평면 전반에 걸쳐 빔의 집속도를 균일화하는 단계를 포함하는 것을 특징으로 하 는 물체의 3D 매핑 방법.
  37. 제 21 항 내지 제 29 항 중의 어느 한 항에 있어서, 상기 화상들을 처리하는 단계는 화상들을 광 상관기에 적용시키는 단계를 포함하는 것을 특징으로 물체의 3D 매핑 방법.
  38. 제 37 항에 있어서, 광 상관기는 기준 스페클 패턴을 포함하고 있는 회절 광학 소자(DOE)를 포함하고 있고, 상기 화상들을 캡쳐하는 단계는 물체의 3D 좌표들을 나타내는 각각의 상관 피크를 생성하기 위해 물체의 다수의 서브 화상을 DOE 상으로 투영하는 단계를 포함하는 것을 특징으로 하는 물체의 3D 매핑 방법.
  39. 제 21 항 내지 제 29 항 중의 어느 한 항에 있어서, 간섭성 광원은 1 cm 미만인 간섭 길이를 가지는 것을 특징으로 하는 물체의 3D 매핑 방법.
  40. 제 21 항 내지 제 29 항 중의 어느 한 항에 있어서, 상기 빔을 물체에 조사하는 단계는 일차적인 스페클 패턴을 생성하기 위해 간섭성 광원으로부터의 빛을 산광기를 통해 통과시키는 단계를 포함하고, 일차적인 스페클 패턴은 특성 사이즈를 가진 스페클들을 포함하고 있고, 물체의 3D 매핑 방법은 간섭성 광원과 산광기 사이의 거리를 변화시킴으로써 스페클들의 특성 사이즈를 조절하는 단계를 포함하고 있는 것을 특징으로 하는 물체의 3D 매핑 방법.
  41. 물체의 3D 매핑 장치에 있어서:
    물체 상에 일차적인 스페클 패턴을 투영하도록 배열되는, 1 cm 미만의 간섭 길이를 가지는 간섭성 광원과 산광기를 포함하는 조명 어셈블리;
    물체 상의 일차적인 스페클 패턴의 화상들을 캡쳐하도록 배열되는 화상 캡쳐 어셈블리; 및
    물체의 3D 맵을 유도해 내기 위해 일차적인 스페클 패턴의 화상들을 처리하도록 연결되어 있는 처리기;를 포함하고 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
  42. 제 41 항에 있어서, 간섭성 광원의 간섭 길이는 0.5 mm 미만인 것을 특징으로 하는 물체의 3D 매핑 장치.
  43. 제 41 항 또는 제 42 항에 있어서, 간섭성 광원은 5°보다 큰 확산각을 가진 것을 특징으로 하는 물체의 3D 매핑 장치.
  44. 제 41 항 또는 제 42 항에 있어서, 일차적인 스페클 패턴은 특성 사이즈를 가진 스페클들을 포함하고 있고, 조명 어셈블리는 스페클들의 특성 사이즈가 간섭성 광원과 산광기 사이의 거리를 변화시킴으로써 조절될 수 있게 해주도록 구성되어 있는 것을 특징으로 하는 물체의 3D 매핑 장치.
KR1020087025030A 2006-03-14 2007-03-08 스페클 패턴을 이용한 3차원 센싱 KR101331543B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
PCT/IL2006/000335 WO2007043036A1 (en) 2005-10-11 2006-03-14 Method and system for object reconstruction
ILPCT/IL2006/000335 2006-03-14
US78518706P 2006-03-24 2006-03-24
US60/785,187 2006-03-24
PCT/IL2007/000306 WO2007105205A2 (en) 2006-03-14 2007-03-08 Three-dimensional sensing using speckle patterns

Publications (2)

Publication Number Publication Date
KR20080111474A true KR20080111474A (ko) 2008-12-23
KR101331543B1 KR101331543B1 (ko) 2013-11-20

Family

ID=38509871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087025030A KR101331543B1 (ko) 2006-03-14 2007-03-08 스페클 패턴을 이용한 3차원 센싱

Country Status (5)

Country Link
US (2) US8390821B2 (ko)
JP (1) JP5174684B2 (ko)
KR (1) KR101331543B1 (ko)
CN (1) CN101496033B (ko)
WO (1) WO2007105205A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150069771A (ko) * 2013-12-16 2015-06-24 삼성전자주식회사 이벤트 필터링 장치 및 이를 이용한 동작 인식 장치
KR20170097201A (ko) * 2014-12-27 2017-08-25 가디언 옵티컬 테크놀로지스 엘티디. 표면 진동 감지 시스템 및 방법

Families Citing this family (202)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
EP1994503B1 (en) * 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
KR101408959B1 (ko) * 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
CN101657825B (zh) * 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US8265793B2 (en) 2007-03-20 2012-09-11 Irobot Corporation Mobile robot for telecommunication
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
WO2008155770A2 (en) 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
FR2921719B1 (fr) 2007-09-28 2010-03-12 Noomeo Procede de construction d'une image de synthese d'une surface tridimensionnelle d'un objet physique
DE102007058590B4 (de) * 2007-12-04 2010-09-16 Sirona Dental Systems Gmbh Aufnahmeverfahren für ein Bild eines Aufnahmeobjekts und Aufnahmevorrichtung
US9035876B2 (en) * 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8384997B2 (en) * 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
CN101984767B (zh) * 2008-01-21 2014-01-29 普莱姆森斯有限公司 用于使零级减少的光学设计
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
GB2463724B (en) * 2008-09-26 2011-05-04 Cybula Ltd Forming 3D images
FR2940423B1 (fr) 2008-12-22 2011-05-27 Noomeo Dispositif de numerisation tridimensionnelle a reconstruction dense
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
CN102802520B (zh) 2009-06-17 2015-04-01 3形状股份有限公司 聚焦扫描设备
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
CN102022979A (zh) * 2009-09-21 2011-04-20 鸿富锦精密工业（深圳）有限公司 三维光学感测系统
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8867820B2 (en) * 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
JP5588310B2 (ja) 2009-11-15 2014-09-10 プライムセンス リミテッド ビームモニタ付き光学プロジェクタ
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
JP4783456B2 (ja) * 2009-12-22 2011-09-28 株式会社東芝 映像再生装置及び映像再生方法
US20110188054A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US8786757B2 (en) 2010-02-23 2014-07-22 Primesense Ltd. Wideband ambient light rejection
US8982182B2 (en) * 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
CN107256094A (zh) * 2010-04-13 2017-10-17 诺基亚技术有限公司 装置、方法、计算机程序和用户接口
US8918209B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US8935005B2 (en) 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
US8918213B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
GB2494081B (en) 2010-05-20 2015-11-11 Irobot Corp Mobile human interface robot
US9014848B2 (en) 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US8670029B2 (en) * 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
WO2012011044A1 (en) 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction
WO2012018017A1 (ja) 2010-08-06 2012-02-09 旭硝子株式会社 回折光学素子及び計測装置
JP5834602B2 (ja) 2010-08-10 2015-12-24 旭硝子株式会社 回折光学素子及び計測装置
US9036158B2 (en) 2010-08-11 2015-05-19 Apple Inc. Pattern projector
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US9348111B2 (en) 2010-08-24 2016-05-24 Apple Inc. Automatic detection of lens deviations
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
IL208568B (en) * 2010-10-07 2018-06-28 Elbit Systems Ltd Mapping, discovering and tracking objects in an external arena by using active vision
JP5760391B2 (ja) 2010-11-02 2015-08-12 旭硝子株式会社 回折光学素子及び計測装置
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
US9066087B2 (en) 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
US9167138B2 (en) 2010-12-06 2015-10-20 Apple Inc. Pattern projection and imaging using lens arrays
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
EP2466560A1 (en) 2010-12-20 2012-06-20 Axis AB Method and system for monitoring the accessibility of an emergency exit
AU2011352997B2 (en) 2010-12-30 2015-06-18 Irobot Corporation Mobile human interface robot
US8930019B2 (en) 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
US8717488B2 (en) 2011-01-18 2014-05-06 Primesense Ltd. Objective optics with interference filter
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
JP5948948B2 (ja) * 2011-03-03 2016-07-06 旭硝子株式会社 回折光学素子及び計測装置
US9052512B2 (en) 2011-03-03 2015-06-09 Asahi Glass Company, Limited Diffractive optical element and measuring apparatus
JP5948949B2 (ja) * 2011-06-28 2016-07-06 旭硝子株式会社 回折光学素子及び計測装置
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
CN102760234B (zh) 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
CN102859320A (zh) * 2011-04-28 2013-01-02 三洋电机株式会社 信息取得装置以及物体检测装置
WO2012147702A1 (ja) 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
EP2530442A1 (en) 2011-05-30 2012-12-05 Axis AB Methods and apparatus for thermographic measurements.
JP5926500B2 (ja) * 2011-06-07 2016-05-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5298161B2 (ja) * 2011-06-13 2013-09-25 シャープ株式会社 操作装置及び画像形成装置
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US8869073B2 (en) * 2011-07-28 2014-10-21 Hewlett-Packard Development Company, L.P. Hand pose interaction
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US8908277B2 (en) 2011-08-09 2014-12-09 Apple Inc Lens array projector
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
FR2980292B1 (fr) 2011-09-16 2013-10-11 Prynel Procede et systeme d'acquisition et de traitement d'images pour la detection du mouvement
WO2013067526A1 (en) 2011-11-04 2013-05-10 Remote TelePointer, LLC Method and system for user interface for interactive devices using a mobile device
DE102011121696A1 (de) * 2011-12-16 2013-06-20 Friedrich-Schiller-Universität Jena Verfahren zur 3D-Messung von tiefenlimitierten Objekten
EP2611169A1 (fr) 2011-12-27 2013-07-03 Thomson Licensing Dispositif d'acquisition d'images stereoscopiques
LT2618316T (lt) 2012-01-23 2018-11-12 Novomatic Ag Gestais valdomas "laimės ratas"
AU2013219966B2 (en) 2012-02-15 2015-04-02 Apple Inc. Scanning depth engine
US10937239B2 (en) 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
WO2013126784A2 (en) 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
KR101898490B1 (ko) * 2012-02-29 2018-09-13 엘지전자 주식회사 홀로그래픽 디스플레이 장치 및 3차원 동영상의 중복성을 이용한 홀로그램 생성 방법
US8958911B2 (en) 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
WO2013140308A1 (en) 2012-03-22 2013-09-26 Primesense Ltd. Diffraction-based sensing of mirror position
AU2013239179B2 (en) 2012-03-26 2015-08-20 Apple Inc. Enhanced virtual touchpad and touchscreen
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
CN103424077A (zh) * 2012-05-23 2013-12-04 联想(北京)有限公司 运动检测装置、检测方法和电子设备
CN102681183B (zh) * 2012-05-25 2015-01-07 合肥鼎臣光电科技有限责任公司 基于透镜阵列的双向三维成像和裸眼三维显示系统
US8896594B2 (en) * 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
GB2515436B (en) * 2012-06-30 2020-09-02 Hewlett Packard Development Co Lp Virtual hand based on combined data
BR112015003885A2 (pt) 2012-08-27 2017-07-04 Koninklijke Philips Nv equipamento; método; sistema gerador de imagens; elemento de programa de computador para controlar um equipamento; e mídia de leitura por computador
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
US9661304B2 (en) * 2012-10-31 2017-05-23 Ricoh Company, Ltd. Pre-calculation of sine waves for pixel values
JP6155448B2 (ja) 2012-11-01 2017-07-05 アイカム エルエルシー ３ｄ撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法
US9152234B2 (en) 2012-12-02 2015-10-06 Apple Inc. Detecting user intent to remove a pluggable peripheral device
US9217665B2 (en) 2013-01-31 2015-12-22 Hewlett Packard Enterprise Development Lp Viewing-angle imaging using lenslet array
NL2010213C2 (en) 2013-01-31 2014-08-04 Lely Patent Nv Camera system, animal related system therewith, and method to create 3d camera images.
JP6044403B2 (ja) * 2013-03-18 2016-12-14 富士通株式会社 撮像装置、撮像方法、および撮像プログラム
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
CN103268608B (zh) * 2013-05-17 2015-12-02 清华大学 基于近红外激光散斑的深度估计方法及装置
SG10201710025WA (en) * 2013-06-06 2018-01-30 Heptagon Micro Optics Pte Ltd Sensor system with active illumination
KR101827180B1 (ko) 2013-06-19 2018-02-07 애플 인크. 통합 구조화된 광 프로젝터
CN105358063B (zh) 2013-06-19 2018-11-30 皇家飞利浦有限公司 具有动态射束整形器的成像器的校准
US9208566B2 (en) 2013-08-09 2015-12-08 Microsoft Technology Licensing, Llc Speckle sensing for motion tracking
JP6387964B2 (ja) 2013-09-02 2018-09-12 Ａｇｃ株式会社 計測装置
TWI485361B (zh) * 2013-09-11 2015-05-21 Univ Nat Taiwan 三維形貌輪廓量測裝置及其方法
US9528906B1 (en) 2013-12-19 2016-12-27 Apple Inc. Monitoring DOE performance using total internal reflection
EP2894546B1 (en) * 2014-01-13 2018-07-18 Facebook Inc. Sub-resolution optical detection
WO2015118120A1 (en) 2014-02-07 2015-08-13 3Shape A/S Detecting tooth shade
WO2015148604A1 (en) 2014-03-25 2015-10-01 Massachusetts Institute Of Technology Space-time modulated active 3d imager
US10349037B2 (en) 2014-04-03 2019-07-09 Ams Sensors Singapore Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
US10455212B1 (en) * 2014-08-25 2019-10-22 X Development Llc Projected pattern motion/vibration for depth sensing
USD733141S1 (en) 2014-09-10 2015-06-30 Faro Technologies, Inc. Laser scanner
US9881235B1 (en) 2014-11-21 2018-01-30 Mahmoud Narimanzadeh System, apparatus, and method for determining physical dimensions in digital images
US9841496B2 (en) 2014-11-21 2017-12-12 Microsoft Technology Licensing, Llc Multiple pattern illumination optics for time of flight system
TWI564754B (zh) * 2014-11-24 2017-01-01 圓剛科技股份有限公司 空間運動感測器與空間運動感測方法
CN107209960B (zh) * 2014-12-18 2021-01-01 脸谱科技有限责任公司 用于提供虚拟现实环境的用户界面的系统、设备及方法
FI126498B (en) * 2014-12-29 2017-01-13 Helmee Imaging Oy Optical measurement system
US10186034B2 (en) * 2015-01-20 2019-01-22 Ricoh Company, Ltd. Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
US9958758B2 (en) * 2015-01-21 2018-05-01 Microsoft Technology Licensing, Llc Multiple exposure structured light pattern
US10509147B2 (en) 2015-01-29 2019-12-17 ams Sensors Singapore Pte. Ltd Apparatus for producing patterned illumination using arrays of light sources and lenses
US9817159B2 (en) 2015-01-31 2017-11-14 Microsoft Technology Licensing, Llc Structured light pattern generation
JP6575795B2 (ja) 2015-03-11 2019-09-18 パナソニックＩｐマネジメント株式会社 人感検知システム
US9530215B2 (en) * 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US10001583B2 (en) 2015-04-06 2018-06-19 Heptagon Micro Optics Pte. Ltd. Structured light projection using a compound patterned mask
US9525863B2 (en) 2015-04-29 2016-12-20 Apple Inc. Time-of-flight depth mapping with flexible scan pattern
EP3295239B1 (en) * 2015-05-13 2021-06-30 Facebook Technologies, LLC Augmenting a depth map representation with a reflectivity map representation
WO2016195684A1 (en) * 2015-06-04 2016-12-08 Siemens Healthcare Gmbh Apparatus and methods for a projection display device on x-ray imaging devices
JP6566768B2 (ja) * 2015-07-30 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US10012831B2 (en) 2015-08-03 2018-07-03 Apple Inc. Optical monitoring of scan parameters
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
US11057608B2 (en) 2016-01-04 2021-07-06 Qualcomm Incorporated Depth map generation in structured light system
JP6668763B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6668764B2 (ja) 2016-01-13 2020-03-18 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6631261B2 (ja) 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
US10154234B2 (en) * 2016-03-16 2018-12-11 Omnivision Technologies, Inc. Image sensor with peripheral 3A-control sensors and associated imaging system
KR101745651B1 (ko) * 2016-03-29 2017-06-09 전자부품연구원 손 제스처 인식 시스템 및 방법
JP6607121B2 (ja) 2016-03-30 2019-11-20 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
US10489924B2 (en) 2016-03-30 2019-11-26 Samsung Electronics Co., Ltd. Structured light generator and object recognition apparatus including the same
US10474297B2 (en) 2016-07-20 2019-11-12 Ams Sensors Singapore Pte. Ltd. Projecting a structured light pattern onto a surface and detecting and responding to interactions with the same
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
US10481740B2 (en) 2016-08-01 2019-11-19 Ams Sensors Singapore Pte. Ltd. Projecting a structured light pattern onto a surface and detecting and responding to interactions with the same
US10775508B1 (en) * 2016-08-19 2020-09-15 Apple Inc. Remote sensing device
US10073004B2 (en) 2016-09-19 2018-09-11 Apple Inc. DOE defect monitoring utilizing total internal reflection
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
TWI587206B (zh) * 2016-11-24 2017-06-11 財團法人工業技術研究院 互動顯示裝置及系統
US10499039B2 (en) 2016-12-15 2019-12-03 Egismos Technology Corporation Path detection system and path detection method generating laser pattern by diffractive optical element
US10158845B2 (en) 2017-01-18 2018-12-18 Facebook Technologies, Llc Tileable structured light projection for wide field-of-view depth sensing
US10620447B2 (en) * 2017-01-19 2020-04-14 Cognex Corporation System and method for reduced-speckle laser line generation
CA3059373A1 (en) * 2017-04-24 2018-11-01 Magic Leap, Inc. Tracking optical flow of backscattered laser speckle patterns
JP7136094B2 (ja) 2017-05-26 2022-09-13 Ａｇｃ株式会社 回折光学素子、投影装置及び計測装置
US11494897B2 (en) 2017-07-07 2022-11-08 William F. WILEY Application to determine reading/working distance
US10527711B2 (en) 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
CN111095018B (zh) 2017-08-31 2022-03-29 深圳市大疆创新科技有限公司 固态光探测和测距(lidar)系统、用于提高固态光探测和测距(lidar)分辨率的系统和方法
CN111033301A (zh) * 2017-08-31 2020-04-17 深圳市大疆创新科技有限公司 固态光探测和测距(lidar)系统
WO2019079790A1 (en) 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM
JP6970376B2 (ja) 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
US10310281B1 (en) 2017-12-05 2019-06-04 K Laser Technology, Inc. Optical projector with off-axis diffractive element
US10545457B2 (en) 2017-12-05 2020-01-28 K Laser Technology, Inc. Optical projector with off-axis diffractive element and conjugate images
US10317684B1 (en) 2018-01-24 2019-06-11 K Laser Technology, Inc. Optical projector with on axis hologram and multiple beam splitter
CN110161786B (zh) 2018-02-12 2021-08-31 深圳富泰宏精密工业有限公司 光投射模块、三维影像感测装置及其感测方法
CN108663800B (zh) * 2018-04-16 2021-03-19 华东交通大学 光学加密与解密方法、装置及系统
US11422292B1 (en) 2018-06-10 2022-08-23 Apple Inc. Super-blazed diffractive optical elements with sub-wavelength structures
WO2019240010A1 (ja) 2018-06-11 2019-12-19 Ａｇｃ株式会社 回折光学素子、投影装置および計測装置
CN110619996B (zh) * 2018-06-20 2022-07-08 株式会社村田制作所 电感器及其制造方法
US11675114B2 (en) 2018-07-23 2023-06-13 Ii-Vi Delaware, Inc. Monolithic structured light projector
DE102018129143B4 (de) * 2018-11-20 2021-06-17 Carl Zeiss Industrielle Messtechnik Gmbh Variabler messobjektabhängiger Kameraaufbau und Kalibrierung davon
CN109541875B (zh) * 2018-11-24 2024-02-13 深圳阜时科技有限公司 一种光源结构、光学投影模组、感测装置及设备
CN113302076A (zh) * 2018-12-28 2021-08-24 贾迪安光学技术有限公司 用于车辆碰撞后支持的系统、装置和方法
EP3928282A4 (en) * 2019-02-18 2022-04-13 Fingerprint Cards Anacatum IP AB OPTICAL BIOMETRIC IMAGING DEVICE AND METHODS OF OPTICAL BIOMETRIC IMAGING DEVICE OPERATION
US11029408B2 (en) * 2019-04-03 2021-06-08 Varjo Technologies Oy Distance-imaging system and method of distance imaging
US10509128B1 (en) 2019-04-12 2019-12-17 K Laser Technology, Inc. Programmable pattern optical projector for depth detection
US11681019B2 (en) 2019-09-18 2023-06-20 Apple Inc. Optical module with stray light baffle
US11506762B1 (en) 2019-09-24 2022-11-22 Apple Inc. Optical module comprising an optical waveguide with reference light path
GB2589121A (en) * 2019-11-21 2021-05-26 Bae Systems Plc Imaging apparatus
CN111650759A (zh) * 2019-12-31 2020-09-11 北京大学 近红外光斑投影的多焦距微透镜阵列遥感光场成像系统
US20220338747A1 (en) * 2020-01-17 2022-10-27 Antishock Technologies, Ltd. System and method for monitoring fluid management to a patient
US11754767B1 (en) 2020-03-05 2023-09-12 Apple Inc. Display with overlaid waveguide
US11843221B2 (en) * 2020-03-30 2023-12-12 Namuga, Co., Ltd. Light source module for emitting high density beam and method for controlling the same
US20230233106A1 (en) * 2020-06-30 2023-07-27 Kneedly Ab Solution for Determination of Supraphysiological Body Joint Movements
EP3993385A1 (en) 2020-10-29 2022-05-04 Universitat de València A multiperspective photography camera device
CN114255233B (zh) * 2022-03-01 2022-05-31 合肥的卢深视科技有限公司 散斑图的质量评价方法、装置、电子设备和存储介质

Family Cites Families (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2951207A1 (de) * 1978-12-26 1980-07-10 Canon Kk Verfahren zur optischen herstellung einer streuplatte
US4542376A (en) * 1983-11-03 1985-09-17 Burroughs Corporation System for electronically displaying portions of several different images on a CRT screen through respective prioritized viewports
JPS6079108U (ja) * 1983-11-08 1985-06-01 オムロン株式会社 スペツクル距離計
JPH0762869B2 (ja) 1986-03-07 1995-07-05 日本電信電話株式会社 パタ−ン投影による位置形状計測方法
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPH0615968B2 (ja) * 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
JP2714152B2 (ja) * 1989-06-28 1998-02-16 古野電気株式会社 物体形状測定方法
US5075562A (en) * 1990-09-20 1991-12-24 Eastman Kodak Company Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface
GB9116151D0 (en) 1991-07-26 1991-09-11 Isis Innovation Three-dimensional vision system
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
DE69226512T2 (de) * 1992-03-12 1999-04-22 Ibm Verfahren zur Bildverarbeitung
US5636025A (en) * 1992-04-23 1997-06-03 Medar, Inc. System for optically measuring the surface contour of a part using more fringe techniques
JP3353365B2 (ja) * 1993-03-18 2002-12-03 静岡大学長 変位および変位速度測定装置
US5856871A (en) * 1993-08-18 1999-01-05 Applied Spectral Imaging Ltd. Film thickness mapping using interferometric spectral imaging
CN1174611A (zh) * 1994-09-05 1998-02-25 米高技术有限公司 衍射表面及其制造方法
US6041140A (en) * 1994-10-04 2000-03-21 Synthonics, Incorporated Apparatus for interactive image correlation for three dimensional image production
JPH08186845A (ja) 1994-12-27 1996-07-16 Nobuaki Yanagisawa 焦点距離制御式立体テレビ
US5630043A (en) * 1995-05-11 1997-05-13 Cirrus Logic, Inc. Animated texture map apparatus and method for 3-D image displays
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
JPH11510248A (ja) * 1995-07-18 1999-09-07 ザ バッド カンパニー 像の深度が拡張されたモアレ干渉測定のシステム及び方法
JPH09261535A (ja) * 1996-03-25 1997-10-03 Sharp Corp 撮像装置
DE19638727A1 (de) 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten
JP3402138B2 (ja) * 1996-09-27 2003-04-28 株式会社日立製作所 液晶表示装置
IL119341A (en) * 1996-10-02 1999-09-22 Univ Ramot Phase-only filter for generating an arbitrary illumination pattern
IL119831A (en) * 1996-12-15 2002-12-01 Cognitens Ltd A device and method for three-dimensional reconstruction of the surface geometry of an object
JP2001507133A (ja) * 1996-12-20 2001-05-29 ライフェフ／エックス・ネットワークス・インク 高速３ｄイメージパラメータ表示装置および方法
US5838428A (en) * 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
JPH10327433A (ja) 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
US6008813A (en) * 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
DE19736169A1 (de) 1997-08-20 1999-04-15 Fhu Hochschule Fuer Technik Verfahren zur Verformungs- oder Schwingungsmessung mittels elektronischer Speckle-Pattern-Interferometrie
US6101269A (en) * 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
US6438272B1 (en) 1997-12-31 2002-08-20 The Research Foundation Of State University Of Ny Method and apparatus for three dimensional surface contouring using a digital video projection system
DE19815201A1 (de) * 1998-04-04 1999-10-07 Link Johann & Ernst Gmbh & Co Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen
US6731391B1 (en) * 1998-05-13 2004-05-04 The Research Foundation Of State University Of New York Shadow moire surface measurement using Talbot effect
DE19821611A1 (de) * 1998-05-14 1999-11-18 Syrinx Med Tech Gmbh Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche
GB2352901A (en) 1999-05-12 2001-02-07 Tricorder Technology Plc Rendering three dimensional representations utilising projected light patterns
US6377700B1 (en) 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
JP3678022B2 (ja) 1998-10-23 2005-08-03 コニカミノルタセンシング株式会社 ３次元入力装置
US6084712A (en) * 1998-11-03 2000-07-04 Dynamic Measurement And Inspection,Llc Three dimensional imaging using a refractive optic design
US8965898B2 (en) 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
US6759646B1 (en) * 1998-11-24 2004-07-06 Intel Corporation Color interpolation for a four color mosaic pattern
JP2001166810A (ja) * 1999-02-19 2001-06-22 Sanyo Electric Co Ltd 立体モデル提供装置及び方法
CN2364507Y (zh) * 1999-03-18 2000-02-16 香港生产力促进局 小型非接触对称输入式三维外形扫描头
US6259561B1 (en) * 1999-03-26 2001-07-10 The University Of Rochester Optical system for diffusing light
AU3994799A (en) * 1999-05-14 2000-12-05 3Dmetrics, Incorporated Color structured light 3d-imaging system
US6751344B1 (en) * 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6512385B1 (en) * 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US6268923B1 (en) * 1999-10-07 2001-07-31 Integral Vision, Inc. Optical method and system for measuring three-dimensional surface topography of an object having a surface contour
JP2001141430A (ja) 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
LT4842B (lt) * 1999-12-10 2001-09-25 Uab "Geola" Hologramų spausdinimo būdas ir įrenginys
US6301059B1 (en) * 2000-01-07 2001-10-09 Lucent Technologies Inc. Astigmatic compensation for an anamorphic optical system
US6700669B1 (en) 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
US6937348B2 (en) * 2000-01-28 2005-08-30 Genex Technologies, Inc. Method and apparatus for generating structural pattern illumination
JP4560869B2 (ja) * 2000-02-07 2010-10-13 ソニー株式会社 メガネなし表示システムおよびバックライトシステム
JP4265076B2 (ja) * 2000-03-31 2009-05-20 沖電気工業株式会社 多画角カメラ、及び自動撮影装置
KR100355718B1 (ko) * 2000-06-10 2002-10-11 주식회사 메디슨 스티어링이 가능한 프로브를 사용한 3차원 초음파 영상시스템 및 영상 형성 방법
US6810135B1 (en) * 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
TW527518B (en) * 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) * 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6639684B1 (en) 2000-09-13 2003-10-28 Nextengine, Inc. Digitizer using intensity gradient to image features of three-dimensional objects
US6813440B1 (en) * 2000-10-10 2004-11-02 The Hong Kong Polytechnic University Body scanner
JP3689720B2 (ja) 2000-10-16 2005-08-31 住友大阪セメント株式会社 三次元形状測定装置
JP2002152776A (ja) 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置
JP2002191058A (ja) * 2000-12-20 2002-07-05 Olympus Optical Co Ltd ３次元画像取得装置および３次元画像取得方法
JP2002213931A (ja) 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
US6841780B2 (en) * 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
JP2002365023A (ja) 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
US6825985B2 (en) * 2001-07-13 2004-11-30 Mems Optical, Inc. Autostereoscopic display with rotated microlens and method of displaying multidimensional images, especially color images
US6741251B2 (en) * 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) * 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7811825B2 (en) 2002-04-19 2010-10-12 University Of Washington System and method for processing specimens and images for optical tomography
US7385708B2 (en) * 2002-06-07 2008-06-10 The University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US20040001145A1 (en) * 2002-06-27 2004-01-01 Abbate Jeffrey A. Method and apparatus for multifield image generation and processing
US6859326B2 (en) * 2002-09-20 2005-02-22 Corning Incorporated Random microlens array for optical beam shaping and homogenization
KR100624405B1 (ko) 2002-10-01 2006-09-18 삼성전자주식회사 광부품 실장용 기판 및 그 제조방법
US7194105B2 (en) * 2002-10-16 2007-03-20 Hersch Roger D Authentication of documents and articles by moiré patterns
WO2004046645A2 (en) * 2002-11-21 2004-06-03 Solvision Fast 3d height measurement method and system
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US20040174770A1 (en) * 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
US7639419B2 (en) * 2003-02-21 2009-12-29 Kla-Tencor Technologies, Inc. Inspection system using small catadioptric objective
US7127101B2 (en) * 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
US7539340B2 (en) 2003-04-25 2009-05-26 Topcon Corporation Apparatus and method for three-dimensional coordinate measurement
CA2435935A1 (en) 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
US20070057946A1 (en) * 2003-07-24 2007-03-15 Dan Albeck Method and system for the three-dimensional surface reconstruction of an object
US20050111705A1 (en) * 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
US7187437B2 (en) * 2003-09-10 2007-03-06 Shearographics, Llc Plurality of light sources for inspection apparatus and method
US6934018B2 (en) * 2003-09-10 2005-08-23 Shearographics, Llc Tire inspection apparatus and method
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7112774B2 (en) * 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
US7250949B2 (en) 2003-12-23 2007-07-31 General Electric Company Method and system for visualizing three-dimensional data
US20050135555A1 (en) 2003-12-23 2005-06-23 Claus Bernhard Erich H. Method and system for simultaneously viewing rendered volumes
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
WO2005076198A1 (en) * 2004-02-09 2005-08-18 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7427981B2 (en) * 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
JP2008507719A (ja) * 2004-07-23 2008-03-13 ジーイー・ヘルスケア・ナイアガラ・インク 共焦点蛍光顕微鏡法及び装置
US20060017656A1 (en) * 2004-07-26 2006-01-26 Visteon Global Technologies, Inc. Image intensity control in overland night vision systems
KR101183000B1 (ko) 2004-07-30 2012-09-18 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및방법
US7120228B2 (en) * 2004-09-21 2006-10-10 Jordan Valley Applied Radiation Ltd. Combined X-ray reflectometer and diffractometer
JP2006128818A (ja) 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
IL165212A (en) 2004-11-15 2012-05-31 Elbit Systems Electro Optics Elop Ltd Device for scanning light
US7076024B2 (en) * 2004-12-01 2006-07-11 Jordan Valley Applied Radiation, Ltd. X-ray apparatus with dual monochromators
US20060156756A1 (en) * 2005-01-20 2006-07-20 Becke Paul E Phase change and insulating properties container and method of use
US20060221218A1 (en) * 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
EP1875162B1 (en) 2005-04-06 2014-06-11 Dimensional Photonics International, Inc. Determining positional error of an optical component using structured light patterns
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US7609875B2 (en) * 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
US20110096182A1 (en) 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
US20070133840A1 (en) 2005-11-04 2007-06-14 Clean Earth Technologies, Llc Tracking Using An Elastic Cluster of Trackers
US7856125B2 (en) 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
KR101408959B1 (ko) * 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
US7869649B2 (en) 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
US8488895B2 (en) 2006-05-31 2013-07-16 Indiana University Research And Technology Corp. Laser scanning digital camera with pupil periphery illumination and potential for multiply scattered light imaging
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
EP2050067A1 (en) 2006-08-03 2009-04-22 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US7737394B2 (en) 2006-08-31 2010-06-15 Micron Technology, Inc. Ambient infrared detection in solid state sensors
US8326025B2 (en) 2006-09-04 2012-12-04 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
US7256899B1 (en) * 2006-10-04 2007-08-14 Ivan Faul Wireless methods and systems for three-dimensional non-contact shape sensing
WO2008061259A2 (en) 2006-11-17 2008-05-22 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US7990545B2 (en) * 2006-12-27 2011-08-02 Cambridge Research & Instrumentation, Inc. Surface measurement of in-vivo subjects using spot projector
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US20080212835A1 (en) * 2007-03-01 2008-09-04 Amon Tavor Object Tracking by 3-Dimensional Modeling
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
US8150142B2 (en) * 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
WO2008133959A1 (en) * 2007-04-23 2008-11-06 California Institute Of Technology Single-lens 3-d imaging device using a polarization-coded aperture maks combined with a polarization-sensitive sensor
US7835561B2 (en) 2007-05-18 2010-11-16 Visiongate, Inc. Method for image processing and reconstruction of images for optical tomography
WO2008155770A2 (en) 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
WO2009008864A1 (en) 2007-07-12 2009-01-15 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
JP4412362B2 (ja) 2007-07-18 2010-02-10 船井電機株式会社 複眼撮像装置
US20090060307A1 (en) 2007-08-27 2009-03-05 Siemens Medical Solutions Usa, Inc. Tensor Voting System and Method
DE102007045332B4 (de) 2007-09-17 2019-01-17 Seereal Technologies S.A. Holographisches Display zum Rekonstruieren einer Szene
KR100858034B1 (ko) 2007-10-18 2008-09-10 (주)실리콘화일 단일 칩 활력 이미지 센서
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8176497B2 (en) * 2008-01-16 2012-05-08 Dell Products, Lp Method to dynamically provision additional computer resources to handle peak database workloads
CN101984767B (zh) * 2008-01-21 2014-01-29 普莱姆森斯有限公司 用于使零级减少的光学设计
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
DE102008011350A1 (de) 2008-02-27 2009-09-03 Loeffler Technology Gmbh Vorrichtung und Verfahren zur Echtzeiterfassung von elektromagnetischer THz-Strahlung
US8121351B2 (en) 2008-03-09 2012-02-21 Microsoft International Holdings B.V. Identification of objects in a 3D video using non/over reflective clothing
US8035806B2 (en) 2008-05-13 2011-10-11 Samsung Electronics Co., Ltd. Distance measuring sensor including double transfer gate and three dimensional color image sensor including the distance measuring sensor
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
EP2275990B1 (de) 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
WO2011031538A2 (en) 2009-08-27 2011-03-17 California Institute Of Technology Accurate 3d object reconstruction using a handheld device with a projected light pattern
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8330804B2 (en) 2010-05-12 2012-12-11 Microsoft Corporation Scanned-beam depth mapping to 2D image
US8654152B2 (en) 2010-06-21 2014-02-18 Microsoft Corporation Compartmentalizing focus area within field of view

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150069771A (ko) * 2013-12-16 2015-06-24 삼성전자주식회사 이벤트 필터링 장치 및 이를 이용한 동작 인식 장치
KR20170097201A (ko) * 2014-12-27 2017-08-25 가디언 옵티컬 테크놀로지스 엘티디. 표면 진동 감지 시스템 및 방법

Also Published As

Publication number Publication date
CN101496033B (zh) 2012-03-21
KR101331543B1 (ko) 2013-11-20
WO2007105205A3 (en) 2009-04-23
US20130136305A1 (en) 2013-05-30
US8390821B2 (en) 2013-03-05
US20090096783A1 (en) 2009-04-16
JP2009531655A (ja) 2009-09-03
WO2007105205A2 (en) 2007-09-20
CN101496033A (zh) 2009-07-29
JP5174684B2 (ja) 2013-04-03
US9063283B2 (en) 2015-06-23

Similar Documents

Publication Publication Date Title
KR101331543B1 (ko) 스페클 패턴을 이용한 3차원 센싱
JP7133554B2 (ja) 焦点調整可能な画像センサを含む距離センサ
JP2009531655A5 (ko)
KR102456961B1 (ko) 구조화 조명 및 비행 시간을 사용한 깊이 맵핑
TWI585436B (zh) 深度資訊量測方法及裝置
US7433024B2 (en) Range mapping using speckle decorrelation
US8761495B2 (en) Distance-varying illumination and imaging techniques for depth mapping
CN101825431B (zh) 用于三维传感的参考图像技术
KR102166372B1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
KR20090006825A (ko) 삼차원 감지를 위한 깊이 가변 광 필드
US20110158508A1 (en) Depth-varying light fields for three dimensional sensing
KR102102291B1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
JP2019511012A (ja) 対象物の少なくとも１つの既定点の３ｄ座標を決定する方法および装置
KR102314822B1 (ko) 후방 산란된 레이저 스페클 패턴들의 광학 흐름을 추적함으로써 움직임의 6개의 자유도들을 검출하기 위한 시스템
KR20200121264A (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
CN117528209A (zh) 摄像模组、电子设备、对焦方法、装置及可读存储介质
Lee et al. View planning for occluded region with active imaging system
JP2016173766A (ja) 物体検出装置、入力操作検出装置、画像表示装置、物体検出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161019

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 6