KR20170031185A - 광시야각 깊이 이미징 - Google Patents

광시야각 깊이 이미징 Download PDF

Info

Publication number
KR20170031185A
KR20170031185A KR1020177003676A KR20177003676A KR20170031185A KR 20170031185 A KR20170031185 A KR 20170031185A KR 1020177003676 A KR1020177003676 A KR 1020177003676A KR 20177003676 A KR20177003676 A KR 20177003676A KR 20170031185 A KR20170031185 A KR 20170031185A
Authority
KR
South Korea
Prior art keywords
lens system
focal length
pixel array
imaging pixel
vertical
Prior art date
Application number
KR1020177003676A
Other languages
English (en)
Inventor
죠수아 마크 허드맨
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170031185A publication Critical patent/KR20170031185A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/08—Anamorphotic objectives
    • G01S17/023—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

머신 비젼 시스템은 변조형 광원, 이미징 픽셀 어레이, 및 렌즈 시스템을 포함한다. 변조형 광원은 광을 피사체 상에 투사하도록 구성된다. 이미징 픽셀 어레이는 피사체의 장소(locus)로부터 반사된 광을 수신하고 그 장소까지의 거리를 표시하도록 구성된다. 렌즈 시스템은 피사체로부터 반사된 광을 수신하고 그러한 광을 이미징 픽셀 어레이 상에 굴절시키도록 구성된다. 렌즈 시스템의 초점 길이는 렌즈 시스템 및 이미징 픽셀 어레이의 공유된 광축에 대한 관측 각도(angle of observation)가 증가함에 따라 감소한다.

Description

광시야각 깊이 이미징{WIDE FIELD-OF-VIEW DEPTH IMAGING}
본 발명은 광시야각 깊이 이미징에 관한 것이다.
깊이 이미징(depth imaging)은 TOF(time-of-flight) 깊이 이미징 기술의 진보로 인해 최근 몇 년 동안 많은 응용예들에서 많이 사용되고 있다. 특히, TOF 센서 어레이의 개선은 저가의 정확한 깊이 이미징을 소비자 시장으로부터 획득가능하게 했다. 그럼에도 불구하고, 크기, 무게, 비용, 및/또는 전력 소모와 관련된 제약들이 이미지 획득과 관련된 해결과제들과 결합되어, 가전 제품의 깊이 이미징에 대해 다양한 문제점들이 남아있다.
본 개시의 하나의 실시예는 변조형 광원(modulated light source), 이미징 픽셀 어레이, 및 렌즈 시스템을 포함하는 머신 비젼(machine-vision) 시스템을 제공한다. 변조형 광원은 광을 피사체 상에 투사하도록 구성된다. 이미징 픽셀 어레이는 피사체의 장소(locus)로부터 반사된 광을 수신하고 그 장소까지의 거리를 표시하도록 구성된다. 렌즈 시스템은 피사체로부터 반사된 광을 수신하고 그러한 광을 이미징 픽셀 어레이 상에 굴절시키도록 구성된다. 렌즈 시스템의 초점 길이는 렌즈 시스템 및 이미징 픽셀 어레이의 공유된 광축에 대한 관측 각도(angle of observation)가 증가함에 따라 감소한다.
본 요약은 아래의 상세한 설명에서 보다 상세하게 설명되는 개념들의 선택을 단순한 형태로 소개하기 위해 제공된 것이다. 본 요약은 청구된 발명내용의 중요한 특징들 또는 필수적인 특징들을 확인시키려는 의도는 없으며, 또한 청구된 발명내용의 범위를 제한시키려는 의도도 없다. 뿐만 아니라, 청구된 발명내용은 본 발명개시의 임의의 부분에서 언급된 단점들 모두 또는 그 일부를 해결하는 구현예들로 국한되지 않는다.
도 1은 예시적인 머신 비젼 시스템의 양태들을 보여주는 개략적인 평면도이다.
도 2는 머신 비젼 시스템의 TOF(time-of-flight) 깊이 카메라의 예시적인 이미징 픽셀 어레이의 양태들을 도시한다.
도 3a는 렌즈 시스템의 유효 조리개(effective aperture) 직경에 대한 화각(field angle)의 영향을 도시한다.
도 3b는 예시적인 렌즈 시스템에 있어서의 유효 구경 조리개(aperture stop)를 화각의 함수로서 도시한 그래프이다.
도 3c는 예시적인 렌즈 시스템에 있어서의 상대 조도(relative illumination)를 화각의 함수로서 도시한 그래프이다.
도 3d는 본 개시의 실시예에 따른 예시적인 렌즈 시스템에 있어서의 초점 길이 및 유효 조리개 직경을 도시하는 그래프이다.
도 4는 예시적인 렌즈 시스템 및 이미징 픽셀 어레이에 있어서의 수평 및 수직 관측 각도들을 도시한다.
도 5a, 도 5b 및 도 5c는 광범위한 화각들에 걸쳐 유효 조리개 크기를 추적하는 초점 길이를 갖는 5개 엘리먼트로 구성된 예시적인 대물 렌즈 시스템의 양태들을 도시한다.
도 6a, 도 6b 및 도 6c는 광범위한 화각들에 걸쳐 유효 조리개 크기를 추적하는 초점 길이를 갖는 6개 엘리먼트로 구성된 예시적인 대물 렌즈 시스템의 양태들을 도시한다.
도 7은 머신 비젼 시스템이 이용될 수 있는 예시적인 환경의 양태들을 도시한다.
도 8은 예시적인 컴퓨터 시스템, 내추럴 사용자 입력(natural user-input; NUI) 시스템, 머신 비젼 시스템, 및 청취 시스템의 양태들을 도시한 하이 레벨 개략도이다.
도 9는 컴퓨터 시스템에 NUI를 제공하기 위한 예시적인 방법을 나타낸다.
도 10은 머신 비젼 시스템에 동작가능하게 결합된 NUI 시스템에 의해 생성된 예시적인 가상 골격의 양태들을 도시한다.
도 11은 컴퓨터 시스템에 대한 NUI로서 사용되는 예시적인 제스처의 양태들을 도시한다.
이제부터는 본 개시의 양태들을 위에서 열거된 예시된 실시예들을 참조하여 일례로서 설명할 것이다. 하나 이상의 실시예들에서 실질적으로 동일할 수 있는 컴포넌트들, 공정 단계들, 및 다른 엘리먼트들은 동격으로 식별되고 최소한의 반복으로 기술된다. 그러나, 동격으로 식별된 엘리먼트들은 또한 어느 정도 다를 수 있음에 유의해야 할 것이다. 본 개시에 포함된 도면들은 개략적인 것이며 대체적으로 실척도로 도시되지 않았음을 또한 유의해야 할 것이다. 오히려, 도면들에서 도시된 컴포넌트들의 다양한 도면 축척, 종횡비, 및 개수는 특정 피처들 또는 관계들을 보다 쉽게 알아볼 수 있도록 의도적으로 왜곡될 수 있다.
도 1은 피사체(12)를 이미지화하도록 구성된 예시적인 머신 비젼 시스템(10)의 양태들을 도시한다. 예시된 실시예에서, 머신 비젼 시스템은 TOF(time-of-flight) 깊이 카메라(14)를 포함한다. 일부 구성들에서, 깊이 카메라는 피사체로부터 0.1미터 내지 5미터 떨어진 곳에 위치할 수 있지만, 다른 깊이 범위들이 또한 구상가능하다. 본 명세서에서 개시된 머신 비젼 시스템은 단순하고 정적인 토폴로지들에서부터 사람과 같이 복잡하고 움직이는 피사체에 이르기까지 광범위한 피사체들을 이미지화할 수 있다. 일부 시나리오들에서, 이미지화된 피사체는 포그라운드(foreground) 및 백그라운드(background) 부분들 둘 다를 모두 포함할 수 있으며, 전체 장면을 구성할 수 있다.
도 1에서 도시된 바와 같이, 깊이 카메라(14)는 변조형 광원(16), 이미징 픽셀 어레이(18), 및 대물 렌즈 시스템(20)을 포함한다. 깊이 카메라는 이미징 픽셀 어레이 또는 대물 렌즈 시스템의 전방에 설정될 수 있는 파장 필터(도면들에서는 도시되지 않음)와 같은 다양한 다른 컴포넌트들을 또한 포함할 수 있다.
변조형 광원(16)은 적외선(infrared; IR) 또는 근적외선(near-infrared; NIR) 파장 대역의 변조된 프로브 광을 피사체(12) 상에 투사하도록 구성된다. 따라서, 대물 렌즈 시스템은 바람직하게는 변조형 광원이 방출하는 IR 또는 NIR 대역에서 투명하다. 프로브 광은 펄스형 또는 사인파형 파형을 비제한적인 예시로서 포함하여, 임의의 적절한 변조 파형에 따라 시간적으로 변조될 수 있다. 변조형 광원의 특성은 본 개시의 다양한 실시예들에서 다를 수 있다. 일부 실시예들에서, 변조형 광원은 IR 또는 NIR 레이저와 같은, 변조형 레이저를 포함할 수 있다. 보다 특별한 예시들은 에지 방출 레이저 또는 수직 공동 표면 방출 레이저(vertical-cavity surface-emitting laser; VCSEL)를 포함한다. 다른 실시예들에서, 변조형 광원은 하나 이상의 고전력 발광 다이오드(LED)를 포함할 수 있다.
대물 렌즈 시스템(20)은 피사체(12)로부터 반사된 광을 수신하고 그 광을 이미징 픽셀 어레이(18) 상에 굴절시키도록 구성된다. 일부 실시예들에서, 대물 렌즈 시스템은, 본 명세서에서 더 설명되는 바와 같이, 비교적 높은 FOV(field of view; 시야각)를 제공할 수 있다. 예시된 실시예에서, 렌즈 시스템 및 이미징 픽셀 어레이는 이미징 픽셀 어레이에 수직하고 렌즈 시스템의 중심을 통과하는 공통 광축(A)을 공유한다. 대물 렌즈 시스템은 일부 실시예들에서 복합 렌즈 시스템일 수 있다. 보다 특별한 구성들에서, 대물 렌즈 시스템은 5개 또는 6개의 굴절 엘리먼트들을 포함할 수 있다.
이미징 픽셀 어레이(18)는 피사체(12)의 대응하는 장소(22)로부터 되반사된 변조된 프로브 광의 적어도 일부를 수신하도록 각각 구성된 깊이 감지 픽셀들의 어레이를 포함한다. 어레이의 각각의 픽셀은 깊이 카메라(14)로부터 해당 픽셀 상으로 이미지화된 피사체 장소까지의 거리를 결정하는데 사용가능한 정보를 출력한다.
머신 비젼 시스템(10)의 제어기(24)는 변조형 광원(16)에 그리고 이미징 픽셀 어레이(18)에 동작가능하게 결합되며, 장소(22)까지의 거리를 계산하도록 구성된다. 제어기는 동기화된 변조된 구동 신호들을 광원(16)에 그리고 이미징 픽셀 어레이(18)에 제공하여 이들 컴포넌트들의 동작을 동기화시키는 로직을 포함한다. 특히, 제어기 로직은 이미징 픽셀 어레이의 전극들을 동기적으로 바이어싱하면서 광원으로부터의 방사를 변조한다. 제어기는 또한 피사체(12)의 깊이 맵의 계산을 가능하게 하기 위해 이미징 픽셀 어레이의 각각의 픽셀로부터의 출력을 판독하도록 구성된다. 본 명세서에서 사용되는 '깊이 맵' 또는 '깊이 이미지'라는 용어들은 이미지화된 피사체의 대응하는 위치(Xi, Yi)에 레지스트레이션된(registered) 픽셀들의 어레이를 말하며, 깊이 값(Zi)은 각각의 픽셀에 대해 대응하는 장소의 깊이를 나타낸다. '깊이'는 깊이 카메라의 광축(A)에 평행한 좌표로서 정의되며, 이는 깊이 카메라와의 거리가 증가할수록 증가한다. 일부 실시예들에서, 반복적인 깊이 이미징은 시간 분해된 일련의 깊이 맵들, 즉, 깊이 비디오를 어셈블링하는데 사용될 수 있다.
예시된 실시예에서, 머신 비젼 시스템(10)은 또한 평면 이미지 카메라(26)를 포함한다. 깊이 카메라(14)와 마찬가지로, 평면 이미지 카메라는 또한 이미지 픽셀 어레이 및 고 FOV 대물 렌즈 시스템을 포함한다. 일부 실시예들에서, 평면 이미지 카메라의 렌즈 시스템은 고정된 초점 길이를 가질 수 있다. 평면 이미지 카메라는 이미지화된 컬러 채널들을 이미징 픽셀 어레이에 매핑시키는 복수의 채널들, 예를 들어, 적색, 녹색, 청색 등으로 피사체(12)로부터의 가시광을 이미지화할 수 있다. 대안적으로, 평면 이미지 카메라는 그레이스케일로 피사체를 이미지화하는 단색 카메라일 수 있다. 평면 이미지 카메라에서 노출된 모든 픽셀들의 색상 또는 밝기 값들은 총체적으로 2D 디지털 이미지를 구성한다. 일부 실시예들에서, 머신 비젼 시스템(10)의 깊이 및 평면 이미지 카메라들은 동일한 해상도를 가질 수 있다. 해상도가 다른 경우에도, 평면 이미지 카메라의 픽셀들은 깊이 카메라의 픽셀들에 레지스트레이션될 수 있다. 이러한 방식으로, 동시적 밝기 및 깊이 정보가 피사체(12)의 각각의 장소(22)에 대해 평가될 수 있다.
예시된 실시예에서, 평면 이미지 카메라(26)는 깊이 카메라(14)의 광축(A)에 평행한 광축(B)을 따라 정렬된다. 다른 실시예에서, 빔 분할 광학장치는 깊이 카메라 및 평면 이미지 카메라의 광학적으로 상류에 배열될 수 있고, 깊이 카메라 및 평면 이미지 카메라가 동일한 광축을 따라 피사체(12)로부터 광을 수신하도록 구성될 수 있다. 이들 및 다른 실시예들에서, 카메라들 중 하나의 카메라의 FOV 내의 임의의 위치(X', Y')는 머신 비젼 시스템의 기하학적 구성에 기초하여, 적절한 좌표 변환을 통해 다른 카메라의 FOV 내의 위치(X", Y")와 관련지어질 수 있다. 따라서, 깊이 카메라(14)로부터 그리고 평면 이미지 카메라(26)로부터의 대응하는 이미지들은 서로에 대해 공동 레지스트레이션될 수 있다.
도 2는 하나의 비제한적인 실시예에서의 깊이 카메라(14)의 이미징 픽셀 어레이(18)의 양태들을 도시한다. 특히, 본 도면은 깊이 감지 픽셀들(28)의 어레이를 도시한다. 각각의 픽셀은 제1 픽셀 엘리먼트(30A), 인접한 제2 픽셀 엘리먼트(30B)를 포함하고, 또한 본 도면에서는 도시되지 않은 추가적인 픽셀 엘리먼트들을 포함할 수 있다. 각각의 픽셀 엘리먼트는 반도체 기판 상에 에피택셜방식으로 형성되는 하나 이상의 핑거 게이트들, 전송 게이트들 및/또는 수집 노드들을 포함할 수 있다. 각각의 픽셀의 픽셀 엘리먼트들은 변조형 광원으로부터의 방출에 동기화된 둘 이상의 적분 기간들을 제공하도록 어드레싱될 수 있다. 적분 기간들은 위상 및/또는 총 적분 시간이 다를 수 있다. 상이한 적분 기간들 동안 픽셀 엘리먼트들 상에 축적된 차분 (및 일부 실시예들에서는 공통 모드) 전하의 상대적 양에 기초하여, 피사체의 대응 장소까지의 거리가 평가될 수 있다. 일부 실시예들에서, 변조형 광원(16) 및 제1 픽셀 엘리먼트(30A)는 동시에 에너지가 공급되는 반면, 제2 픽셀 엘리먼트(30B)는 제1 픽셀 엘리먼트에 대해 180°의 위상차로 에너지가 공급된다. 제1 및 제2 픽셀 엘리먼트들 상에 축적된 상대적인 전하량에 기초하여, 이미징 픽셀 어레이에서 수신된 반사광 펄스의 위상 각이 프로브 변조에 대하여 계산된다. 그 위상 각으로부터, 대응하는 장소까지의 거리가 평가될 수 있다.
상기 설명은 한가지 유형의 TOF 깊이 이미징을 강조하지만, 깊이 카메라들(14)의 성질은 본 개시의 다양한 실시예들에서 다를 수 있다. 일부 실시예들에서, 깊이 카메라에서의 2개의 입체 배향 이미징 픽셀 어레이들로부터의 밝기 또는 색상 데이터는 공동 레지스트레이션되고 깊이 맵을 구성하는데 사용될 수 있다. 일부 실시예들에서, 깊이 카메라는 피사체 상에 다수의 개별적인 특징들, 예컨대, 라인들 또는 도트들을 포함하는 구조화된 적외선 조명 패턴을 투사하도록 구성될 수 있다. 깊이 카메라 내의 이미징 픽셀 어레이는 피사체로부터 되반사된 구조화된 조명을 이미지화하도록 구성될 수 있다. 이미지화된 피사체의 다양한 영역들 내의 인접한 특징들 사이의 간격에 기초하여, 피사체의 깊이 맵이 구성될 수 있다. 따라서, 일부 실시예들에서, 변조형 광원은 시간적으로 변조된 광원이라기보다는 공간적으로 변조된 광원일 수 있다. 여기서, 이미징 픽셀 어레이는 피사체의 인접한 조명받은 영역들 간의 간격을 나타냄으로써 각각의 장소에 대한 거리를 표시한다.
임의의 깊이 측정에서의 불확실성의 양은 이미징 픽셀 어레이(18)의 깊이 감지 픽셀 엘리먼트들에 대응하는 채널들에서의 신호 대 잡음비와 민감한 함수관계에 있다. 신호를 증가시키는 하나의 옵션은 변조형 광원(16)의 전력을 높이는 것이다. 그러나, 이 옵션은 추가적인 전력과 더 많은 비용의 광원을 필요로 한다. 다른 옵션은 깊이 카메라(14)의 집광 효율성(collection efficiency)을 증가시키는 것이다. 전형적으로, 임의의 카메라의 집광 효율성은 카메라의 대물 렌즈 시스템의 조리개 크기에 의해 제한된다. 조리개 크기는 더 큰 직경의 렌즈들을 사용하여 증가될 수 있지만, 이 접근법은 또한 렌즈 시스템의 초점 길이를 증가시킬 것인데, 이는 컴팩트한 깊이 이미징에 바람직하지 않다. 대물 렌즈 시스템(20)이 주어진 카메라 구성에 대해 최대 허용가능 초점 길이를 갖는다고 가정하면, 전체 조리개 크기는 렌즈 시스템의 f/N 파라미터들에 의해 제어되며, 'F 스톱' N의 최소값을 사용하면 주어진 초점 길이(f)에 대한 최대 조리개 크기를 보장할 것이다.
이제 도 3a를 참조하면, 광축(A)을 따라 측정되는, 조리개 직경이 f/1.0 이상인 대물 렌즈 시스템(20)을 설계하는 것이 가능하다. 그러나, 이 렌즈 시스템 및 다른 모든 렌즈 시스템은 더 큰 화각(θ)에서 어느 정도의 조리개 폴 오프(aperture fall off)를 나타낼 것이다. 전형적으로, 도 3b에 도시된 바와 같이, 렌즈 조리개의 유효 F 스톱은 1/cosθ로서 증가한다. 따라서, 조리개 직경은 화각의 중심에서의 f/1.0에서 큰 화각에서의 f/1.48로 떨어질 수 있다. 결과적으로, 조리개를 통한 전력 플럭스는 도 3c에서 도시된 바와 같이 1/cos2θ으로서 감소할 수 있다. TOF 측정에서, 높은 화각에서의 이러한 전력 손실은 관측된 장소에 대응하는 Z 좌표의 오차 막대(error bar)의 급격한 증가를 의미한다.
평면 이미지 획득에서의 이와 유사한 효과는 획득된 이미지가 가장자리들에서 더 어둡게 나타날 수 있다는 것이다(즉, 비네팅(vignetted)됨). 2D 이미징에서 비네팅 문제를 수정하기 위해 다양한 해결책들이 적용되었다. 특히, 소프트웨어 기반의 밝기 향상이 평면 이미지의 주변부에서 적용될 수 있다. 잘 구성된 이미지의 경우, 관측자는 낮은 화각에서 제시되는 피사체 물체에 더 많은 관심을 갖기 때문에, 이 방법과 관련된 작은 오류들은 눈에 띄지 않을 수 있다. 높은 시야각에서의 2D 이미지 획득을 위한 다른 해결책은 상이한 적분 시간들로 여러 번의 노출들을 수행하고 결과적인 이미지들을 디지털방식으로 결합하는 것이다. 구체적으로, 이미지의 높은 시야각 부분들에 대응하는 픽셀들은 낮은 시야각 부분들에 대응하는 픽셀들보다 더 긴 노출로부터 도출될 수 있다.
그러나, 상기 해결책들은, 특히, 획득된 깊이 이미지가 컴퓨터 시스템의 입력 데이터로서 사용될 때, TOF(time-of-flight) 깊이 이미징에 거의 도움을 제공하지 못한다. 여기서는 높은 시야각에서의 피사체 물체가 낮은 시야각에서의 피사체 물체보다 덜 중요하다고 가정할 수 없다. 또한, TOF 측정에서의 적분 시간은 조정가능한 파라미터가 아니라, 피사체의 고유한 깊이 스케일의 함수이다.
당면한 문제를 다시 생각해보면, 대물 렌즈 시스템(20)이 전체 FOV에 걸쳐 일정한 초점 길이(f)를 유지하면(이는 선명한 이미징(sharp imaging)에 바람직함), 더 큰 화각들에 대응하는 픽셀들은, 조리개의 유효 크기의 감소로 인해, 어레이(18)의 중심에서의 픽셀들과 동일한 광량을 절대로 보지 못할 것이다. 이 효과를 보상하는 한가지 방법은 화각이 증가함에 따라 주어진 픽셀에 매핑된 화각들의 범위를 증가시키는 것이다. 이는 대물 렌즈 시스템의 초점 길이를 화각의 함수로서 변경하는 것과 동격이다. 따라서, 도 1의 렌즈 시스템(20)은, 그 초점 길이가 렌즈 시스템 및 이미징 픽셀 어레이의 공유된 광축(A)에 대한 관측 각도(θ)가 증가함에 따라 감소하도록 구성될 수 있다. 하나의 구역에서, 초점 길이의 대응하는 감소는, 도 3d에서 도시된 바와 같이, 확장된 화각들의 범위에 걸쳐 실질적으로 일정한 유효 조리개 크기 f/N을 유지하기 위해, 조리개 직경의 폴 오프를 정확하게 추적할 수 있다. 이 접근법은 더 많은 광자(photon)들을 높은 시야각 픽셀들로 지향시키는데, 이는 이미징 픽셀 어레이의 해상도를 더 잘 활용한다.
그러나, 초점 길이 감소는 조리개 직경에서의 폴 오프를 정확히 추적할 필요는 없다. 렌즈 시스템의 초점 길이는 관측 각도의 코사인에 실질적으로 비례하여 감소할 수 있다. 보다 일반적으로, 렌즈 시스템의 초점 길이 및 유효 조리개 직경은 관측 각도가 증가함에 따라 대응하는 양만큼 감소할 수 있다. 여기서, 유효 조리개 직경은 도 3a에서 도시된 바와 같이, 해당 장소와 이미징 픽셀 어레이 사이를 지나가는 라인에 수직인 평면에서의 렌즈 시스템의 물리적 조리개의 단면의 직경으로서 정의된다. 상기에서 언급한 대응하는 양은 일부 실시예들에서 0도 내지 60도 범위의 관측 각도들에 대해 1밀리미터 이하로 다를 수 있다. 일부 실시예들에서, 렌즈 시스템의 유효 조리개 직경에 대한 초점 길이의 결과적인 비(ratio)는 0도 내지 60도 범위의 관측 각도들에 대해 실질적으로 일정할 수 있다. 예를 들어, 상기 비는 이 범위에 걸쳐 5% 미만으로 변경될 수 있다. 다른 예시에서, 상기 비는 1% 이하로 변경될 수 있다. 초점 길이의 감소는, 전술한 바와 같이, 보다 큰 관측 각도 범위의 광을 이미징 픽셀 어레이의 주변 픽셀들로 지향시킨다. 다시 말해, 이미징 픽셀 어레이의 보다 많은 주변 픽셀들은 중심에 위치한 보다 많은 픽셀들보다 더 큰 범위의 관측 각도들에 걸쳐 광을 수집할 것이다. 이것은 초점 길이가 주변 픽셀들에 매핑되는 각도 범위에 대해 더 낮아진 결과이다.
일부 실시예들에서, 렌즈 시스템(20)은 그 광축(A)에 대해 대칭일 수 있다. 그러나, 머신 비젼 시스템은 한 축을 따라서는 큰 시야각을 제공하고 다른 축을 따라서는 상대적으로 작은 시야각을 제공하도록 구성될 수 있기 때문에, 반드시 그러할 필요는 없다. 예를 들어, 전형적인 생활 공간에서 깊이를 이미징할 경우, 필요한 수평 시야각은 수직 시야각보다 클 수 있다. 따라서, 도 4는 이미징 픽셀 어레이(18)에 직교하고 공유된 광축(A)을 포함하는 수평 평면(H)에서의 수평 관측 각도(α)를 도시한다. 본 도면은 또한, 수직 평면(V)에서의 수직 관측 각도(β)를 도시하는데, 이 수직 관측 각도(β)는 이미징 픽셀 어레이에 직교하고 공유된 광축을 포함한다.
도 4의 실시예에서, 렌즈 시스템(20')은 수평 평면(H)에 평행한 굴절에 대한 수평 초점 길이 및 수직 평면(V)에 평행한 굴절에 대한 수직 초점 길이의 두 개의 초점 길이 성분들을 허용한다. 마찬가지로, 수평 평면(H)에서 측정된 수평 유효 조리개 직경 및 수직 평면(V)에서 측정된 수직 유효 조리개 직경의 2개의 상이한 유효 조리개 직경들이 있다. 이 실시예에서, 렌즈 시스템의 수평 초점 길이 및 수평 유효 조리개 직경은 수평 관측 각도가 증가함에 따라 대응하는 양만큼 감소한다. 마찬가지로, 렌즈 시스템의 수직 초점 길이 및 수직 유효 조리개 직경은 수직 관측 각도가 증가함에 따라 대응하는 양만큼 감소한다. 이 실시예에서, 수평 초점 길이 및 수직 초점 길이는 서로 다를 수 있다.
위에서 설명한 접근법들은 TOF(time-of-flight) 측정에서의 δZ 불확실성의 일부를 δX 및 δY 불확실성으로 효과적으로 변환시켜서, 3개의 좌표축들을 따라 오차 막대들을 밸런싱시킴으로써, 획득된 3D 이미지를 컴퓨터 시스템에 대한 입력 데이터로서 보다 유용해지게 만든다. 부작용은 일정한 초점 길이의 렌즈 시스템에 의해 전형적으로 나타나는 양보다 많이 깊이 이미지의 왜곡을 증가시킨다는 점이다. 추가적인 왜곡이 바람직하지 않은 응용예들에서, 깊이 이미지의 후 처리를 통해 정정이 적용될 수 있다. 따라서, 제어기(24)는 피사체의 각각의 장소를 정정된 (예를 들면, 실세계) 좌표들로 매핑하도록 구성될 수 있다.
이러한 정정은 대물 렌즈 시스템(20) 및 이미징 픽셀 어레이(18)의 맵핑 함수에 기초하여 이미징 픽셀 어레이(18)로부터의 겉보기 (X', Y')를 정정된 (X, Y)로 변환하는 것을 포함할 수 있다. 일부 실시예들에서, 이러한 매핑은 머신 비젼 시스템(10)의 제어기(24)의 비휘발성 메모리에 저장된 파라미터들에 기초할 수 있다. 파라미터들은 깊이 카메라(14) 및 평면 이미지 카메라(26)가 머신 비젼 시스템에 고정되게 설치된 후에 실시된 교정 프로시저(calibration procedure)에 의해 결정될 수 있다. 하나의 예시적인 교정 프로시저에서, 양 카메라들은 동일한 피사체를 이미징하도록, 즉, 복수의 특징점들을 갖는 교정 표준을 이미징하도록 트리거된다. 깊이 이미지에서의 관측된 특징점들은 2D 이미지에서 대응하는 특징점이 발견되는 위치들에 매핑된다. 평면 이미지 카메라는 또한, 고 FOV 렌즈 시스템을 포함할 것이며, 이에 따라, 비네팅 2D 이미지를 생성할 수 있다는 것을 유의해야 할 것이다. 그러나, 이 문제는 2D 이미지에서 특징점들을 식별할 수 있는 한 교정을 손상시키지 않는다.
일부 실시예들에서, 이미징 픽셀 어레이(18)는 전체적인 집광 효율성을 향상시키고 다른 장점들을 확보하기 위해 마이크로 렌즈 어레이를 포함할 수 있다. 여기서, 대물 렌즈 시스템(20)의 F/N 파라미터는 광범위한 화각들에 걸쳐 마이크로 렌즈 어레이의 F/N 파라미터와 정합될 수 있어서, 어레이의 픽셀들에 이르는 전체적인 상대 조도는 대응하는 광범위한 화각들에 걸쳐 실질적으로 일정하게 유지된다.
도 5a는 광범위한 화각들에 걸쳐 유효 조리개 크기를 추적하는 초점 길이를 갖는 보다 특별한 5개 엘리먼트로 구성된 대물 렌즈 시스템(20A)의 양태들을 도시한다. 예시된 렌즈 시스템은 메니스커스(meniscus) 렌즈(38), 구경 조리개의 양측 상의 다른 메니스커스 렌즈(40), 강한 양면 볼록 렌즈(42), 필드 렌즈(44), 및 IR 센서 렌즈(46)를 갖는 IR 커트 필터를 포함한다. 하나의 비제한적인 실시예에서, 렌즈 시스템의 전체 축방향 길이는 20.186밀리미터(㎜)일 수 있다. 도 5b는 70도 수평 화각 및 60도 수직 화각에 걸쳐 850나노미터(㎚)의 광을 갖는 렌즈 시스템(20A)을 사용하여 폭이 4.88㎜이고 높이가 4.20㎜인 이미지에서의 격자 왜곡을 나타낸다. 이 예시에서, 최대 왜곡은 -12.6%이였다. 도 5c는 렌즈 시스템(20A)으로부터의 상대 조도가 47°의 화각에 걸쳐 0.9 이상임을 보여준다.
도 6a는 광범위한 화각들에 걸쳐 유효 조리개 크기를 추적하는 초점 길이를 갖는 6개 엘리먼트로 구성된 보다 특별한 대물 렌즈 시스템(20B)의 양태들을 도시한다. 예시된 렌즈 시스템은 광역 FOV 메니스커스 렌즈(54), 고전력 양면 볼록 렌즈(56), 저전력 메니스커스 렌즈(58), 저전력 메니스커스 렌즈(60), 필드 보정 렌즈(62), 및 IR 커트 필터(64)를 포함한다. 하나의 비제한적인 실시예에서, 렌즈 시스템의 전체 축방향 길이는 20.747㎜이다. 도 6b는 70도 수평 화각 및 59.5도 수직 화각에 걸쳐 815㎚의 광을 갖는 렌즈 시스템(20B)을 사용하여 폭이 5.10㎜이고 높이가 4.33㎜인 이미지에서의 격자 왜곡을 나타낸다. 이 예시에서, 최대 왜곡은 -14.5%이였다. 도 6c는 렌즈 시스템(20B)으로부터의 상대 조도가 43.5°의 화각에 걸쳐 0.76 이상임을 보여준다.
도 7은 머신 비젼 시스템(10)이 이용될 수 있는 예시적인 환경(70)을 도시한다. 예시된 환경은 개인 거주지의 거실 또는 패밀리 룸이다. 그러나, 본 명세서에서 설명된 접근법들은 다른 환경들에서도 동일하게 적용될 수 있다. 도 7의 환경은 대형 포맷 디스플레이(74) 및 확성기(76)(이 둘 다는 컴퓨터 시스템(24')에 동작가능하게 결합된다)를 갖는 홈 엔터테인먼트 시스템(72)을 특징으로 한다. 컴퓨터 시스템(24')은 비디오 게임 시스템, 멀티미디어 시스템, 인터넷 브라우징 및 생산성 애플리케이션들을 위한 범용 컴퓨터 시스템 등일 수 있다.
컴퓨터 시스템(24')은 하나 이상의 사용자들, 예컨대, 사람 피사체(12')로부터 다양한 형태의 사용자 입력을 수용하도록 구성될 수 있다. 이와 같이, 키보드, 마우스, 터치 스크린, 게임패드, 또는 조이스틱 제어기(도면들에서는 도시되지 않음)와 같은 종래의 사용자 입력 디바이스들이 컴퓨터 시스템에 동작가능하게 결합될 수 있다. 종래의 사용자 입력 양식들이 지원되는지 여부에 관계없이, 컴퓨터 시스템(24')은 또한 적어도 하나의 사용자로부터 소위 내추럴 사용자 입력(NUI)을 수용하도록 구성된다.
하나 이상의 사용자들로부터의 NUI를 중개하기 위해, 컴퓨터 시스템(24')은 NUI 시스템(80)을 포함한다. NUI 시스템은 NUI의 다양한 양태들을 캡처하고 대응하는 실행가능한 입력을 컴퓨터 시스템에 제공하도록 구성된다. 이를 위해, NUI 시스템은 머신 비젼 시스템(10) 및 청취 시스템(82)을 포함하는 주변 센서 컴포넌트들로부터 로우 레벨 입력을 수신한다. 도 7은 디스플레이(74)의 상부에 배치된 센서 컴포넌트들을 도시하지만, 다양한 다른 배열들이 또한 구상가능하다. 머신 비젼 시스템은, 예를 들어, 천장에 설치될 수 있다.
도 8은 하나의 예시적인 실시예에서, 컴퓨터 시스템(24'), NUI 시스템(80), 머신 비젼 시스템(10), 및 청취 시스템(82)의 양태들을 도시하는 하이 레벨 개략도이다. 예시된 컴퓨터 시스템은 컴퓨터 시스템의 소프트웨어 및/또는 펌웨어로 예시화될 수 있는 운영 체제(OS)(84)를 포함한다. 예시된 컴퓨터 시스템은, 예를 들어, 비디오 게임 애플리케이션, 디지털 미디어 플레이어, 인터넷 브라우저, 사진 편집기, 워드 프로세서, 및/또는 스프레드시트 애플리케이션과 같은, 하나 이상의 애플리케이션(86)들을 실행하도록 구성된다. 당연하게도, 컴퓨터, NUI, 비젼(vision), 및/또는 청취 시스템들은 각자의 기능들을 지원하는데 필요한 바에 따라 적절한 데이터 저장장치, 명령어 저장장치, 및 로직 하드웨어를 포함할 수 있다.
청취 시스템(82)은 환경(70) 내의 하나 이상의 사용자들 및 다른 소스들로부터의 발성(vocalization) 및 다른 가청 입력을 픽업하기 위한 하나 이상의 마이크로폰을 포함할 수 있으며, 머신 비젼 시스템(10)은 사용자들로부터 시각적 입력을 검출한다. 예시된 실시예에서, 머신 비젼 시스템은 하나 이상의 깊이 카메라(14), 하나 이상의 평면 이미지 카메라(26), 및 시선 추적기(88)를 포함한다. 다른 실시예들에서, 머신 비젼 시스템은 더 많거나 더 적은 수의 컴포넌트들을 포함할 수 있다. NUI 시스템(80)은 실행가능한 하이 레벨 입력을 컴퓨터 시스템(24')에 제공하기 위해 이들 센서 컴포넌트들로부터 로우 레벨 입력(즉, 신호)을 처리한다.
도 8에서 도시된 바와 같이, NUI 시스템(80)은 음성 인식 엔진(90) 및 제스처 인식 엔진(92)을 포함한다. 음성 인식 엔진은 청취 시스템(82)으로부터의 오디오 데이터를 처리하고, 사용자 음성 내에서의 특정 단어들 또는 어구들을 인식하며, 컴퓨터 시스템(24')의 OS(84) 또는 애플리케이션(86)에 대한 대응하는 실행가능 입력을 생성하도록 구성될 수 있다. 제스처 인식 엔진은 적어도 머신 비젼 시스템(10)으로부터의 깊이 데이터를 처리하고, 깊이 데이터에서 하나 이상의 사람 피사체들을 식별하고, 식별된 피사체들의 다양한 기하학적(예를 들어, 골격) 특징들을 계산하며, 이러한 기하학적 특징들로부터 OS 또는 애플리케이션들에 대한 NUI로서 사용될 다양한 자세 또는 제스처 정보를 수집하도록 구성된다. 이를 위해, 피사체의 각각의 장소까지의 거리를 포함한 깊이 이미지 데이터가 제스처 인식 엔진에 대한 입력으로서 제공된다. 제스처 인식 엔진의 기능들은 이후에 더 상세히 설명된다.
전술한 구성들은 컴퓨터 시스템(24')에 NUI를 제공하기 위한 다양한 방법들을 가능하게 한다. 따라서, 이제부터는 이러한 몇가지 방법들을 예시로서 상기 구성들을 계속 참조하면서 설명한다. 그러나, 본 명세서에서 설명된 방법들, 및 본 개시의 범위 내에 있는 동격의 다른 방법들은 다른 구성들에 의해서도 가능할 수 있다는 것을 이해할 것이다.
도 9는 컴퓨터 시스템에 NUI를 제공하기 위한 예시적인 방법(96)을 나타낸다. 본 방법의 제1 부분은 머신 비젼 시스템(10)이 제조되는 시설에서 실시될 수 있는 교정 서브루틴(calibration subroutine)이다. 대안적으로, 교정 서브루틴은 머신 비젼 시스템의 서비스 제공 동안에, 또는 심지어 현장에서도 실시될 수 있다.
방법(96)의 단계(98)에서, 교정 표준의 깊이 이미지가 깊이 카메라(14)를 통해 획득된다. 교정 표준은 그러한 크기의 실질적인 평면일 수 있고, 깊이 카메라의 전체 FOV를 채우도록 그러한 거리에 위치될 수 있다. 일부 예시들에서, 교정 표준은 격자 또는 체커보드(checkerboard)와 같은, 규칙적으로 이격된 특징점들을 포함할 수 있다. 단계(100)에서, 동일한 교정 표준의 평면 이미지는 실질적으로 고정된 초점 길이 렌즈를 갖는 평면 이미지 카메라(26)에 의해 획득되고, 가변 초점 길이로 인한 깊이 카메라(14)의 추가적인 왜곡을 받지 않는다. 단계(102)에서, 깊이 카메라(14)의 FOV를 평면 이미지 카메라의 FOV에 관련시키는 교정 파라미터들이 계산되어 제어기(24)의 비휘발성 메모리에 저장된다.
방법(96)의 밸런스는 컴퓨터 시스템(24')과 같은 컴퓨터 시스템에 NUI를 제공하는 주요 루틴이다. 단계(104)에서, 피사체의 깊이 이미지는 전술한 바와 같이 고 FOV 대물 렌즈 시스템(20)이 장착된 깊이 카메라(14)를 통해 획득된다. 단계(106)에서, 해당 렌즈 시스템에 의해 깊이 이미지에 부여된 왜곡은 비휘발성 메모리에 저장된 교정 파라미터들에 기초하여 되돌려진다.
방법(96)의 단계(108)에서, 높은 화각들에서 고화질 이미지 콘텐츠를 포함하는 정정된 깊이 이미지에 기초하여 피사체의 기하학적 모델이 계산된다. 하나의 비제한적인 실시예에서, 하나 이상의 사람 피사체들의 적어도 일부가 NUI 시스템(80)에 의해 깊이 데이터에서 식별될 수 있다. 적절한 깊이 이미지 처리를 통해, 깊이 맵의 주어진 장소는 사람 피사체에 속하는 것으로서 인식될 수 있다. 보다 특정한 실시예에서, 사람 피사체에 속하는 픽셀들은, 적절한 시간 스케일에 걸쳐 임계값 위 동작을 나타내는 깊이 데이터의 일부를 섹션화하고 해당 섹션을 사람의 일반화된 기하학적 모델에 피팅(fit)하려는 시도에 의해 식별될 수 있다. 적절한 피팅이 달성될 수 있으면, 해당 섹션 내의 픽셀들은 사람 피사체의 픽셀들로서 인식된다.
하나의 비제한적인 예시에서, 깊이 맵의 각각의 픽셀은 해당 픽셀을 특정 사람 피사체 또는 사람이 아닌 엘리먼트에 속하는 것으로서 식별하는 사람 인덱스를 할당받을 수 있다. 예로서, 제1 사람 피사체에 대응하는 픽셀들은 1과 같은 사람 인덱스를 할당받을 수 있고, 제2 사람 피사체에 대응하는 픽셀들은 2와 같은 사람 인덱스를 할당받을 수 있으며, 사람 피사체에 대응하지 않는 픽셀들은 0과 같은 사람 인덱스를 할당받을 수 있다. 사람 인덱스들은 임의의 적절한 방식으로 결정되고, 할당되고, 저장될 수 있다.
연결된 각각의 깊이 카메라들의 시야각(FOV)에서 모든 후보 사람 피사체들이 식별된 후, NUI 시스템(80)은 어느 사람 피사체(또는 피사체들)가 컴퓨터 시스템(24')에 사용자 입력을 제공할 것인지, 즉 어느 것이 사용자로서 식별될 것인지를 결정할 수 있다. 일부 실시예들에서, 사람 피사체는 디스플레이(74) 또는 깊이 카메라(14)에 대한 근접성 및/또는 깊이 카메라의 시야각 내의 위치에 기초하여 사용자로서 선택될 수 있다. 보다 구체적으로, 선택된 사용자는 깊이 카메라에 가장 가까이 있거나 또는 깊이 카메라의 FOV의 중심에 가장 가까이 있는 사람 피사체일 수 있다.
하나 이상의 사용자들이 식별된 후, NUI 시스템(80)은 이러한 사용자들로부터의 자세 정보를 처리하기 시작할 수 있다. 자세 정보는 깊이 카메라(14)로 획득된 깊이 비디오로부터 계산되어 도출될 수 있다. 이 실행 단계에서, 추가적인 센서 입력, 예를 들어, 평면 이미지 카메라(26)로부터의 이미지 데이터 또는 청취 시스템(82)으로부터의 오디오 데이터가 자세 정보와 함께 처리될 수 있다.
일부 실시예들에서, NUI 시스템(80)은, 각각의 픽셀이 사용자 신체의 어느 부위에 대응하는지를 결정하기 위해, 사용자에 대응하는 깊이 맵의 픽셀들을 분석하도록 구성될 수 있다. 이를 위해 다양한 상이한 신체 부위 할당 기술들이 이용될 수 있다. 하나의 예시에서, 적절한 사람 인덱스(상기 참조)를 갖는 깊이 맵의 각각의 픽셀은 신체 부위 인덱스를 할당받을 수 있다. 신체 부위 인덱스는 개별적인 식별자, 신뢰값, 및/또는 해당 픽셀이 대응할 것 같은 신체 부위, 또는 부위들을 표시하는 신체 부위 확률 분포를 포함할 수 있다.
하나의 예시에서, 각각의 픽셀에 신체 부위 인덱스 및/또는 신체 부위 확률 분포를 할당하기 위해 머신 학습(machine-learning)이 이용될 수 있다. 머신 학습 접근법은 이전에 트레이닝된 공지된 포즈들의 콜렉션으로부터 학습된 정보를 참조하여 사용자를 분석한다. 예컨대, 지도형(supervised) 트레이닝 단계 동안, 다양한 포즈들을 취하고 있는 다양한 사람 피사체들이 관측되고, 트레이너들은 관측된 데이터에서 다양한 머신 학습 분류자들을 라벨링한 지상 검증 주석(ground truth annotation)을 제공한다. 그런 후, 관측된 데이터와 주석은 입력들(예컨대, 깊이 카메라로부터의 관측 데이터)을 희망하는 출력들(예컨대, 관련 픽셀들에 대한 신체 부위 인덱스들)에 매핑하는 하나 이상의 머신 학습 알고리즘들을 생성하는데 이용된다.
그 후, 가상 골격은 식별된 적어도 하나의 사람 피사체에 피팅된다. 일부 실시예들에서, 가상 골격은 사용자에 대응하는 깊이 데이터의 픽셀들에 피팅된다. 도 10은 일부 실시예들에서의 예시적인 가상 골격(110)을 도시한다. 가상 골격은 복수의 관절들(114)에 피봇가능하게 결합된 복수의 골격 세그먼트들(112)을 포함한다. 일부 실시예들에서, 신체 부위 지정은 각각의 골격 세그먼트 및/또는 각각의 관절에 할당될 수 있다. 도 10에서, 각각의 골격 세그먼트(112)의 신체 부위 지정은 첨가 문자에 의해 표현되는데, A는 머리를, B는 쇄골을, C는 상박(upper arm)을, D는 전박(forearm)을, E는 손을, F는 몸통을, G는 골반을, H는 넓적다리를, J는 하퇴부(lower leg)를, K는 발을 나타낸다. 마찬가지로, 각각의 관절(114)의 신체 부위 지정도 첨가 문자에 의해 표현되는데, A은 목을, B는 어깨를, C는 팔꿈치를, D는 손목을, E는 허리를, F는 엉덩이를, G는 무릎을, H는 발목을 나타낸다. 당연히, 도 10에서 도시된 골격 세그먼트들 및 관절들의 배치는 결코 제한적 사항이 아니다. 본 개시와 부합하는 가상 골격은 사실상 임의의 유형과 개수의 골격 세그먼트들 및 관절들을 포함할 수 있다.
일부 실시예들에서, 각각의 관절은 다양한 파라미터들, 예를 들어, 관절 위치를 규정하는 데카르트 좌표들, 관절 회전을 규정하는 각도, 및 대응하는 신체 부위의 형태(손 펴기, 주먹 쥐기 등)를 규정하는 추가적인 파라미터들을 할당받을 수 있다. 가상 골격은 각각의 관절에 대해 이들 파라미터들 중 임의의 파라미터, 일부 파라미터, 또는 전체 파라미터를 비롯한 데이터 구조의 형태를 취할 수 있다. 이러한 방식으로, 가상 골격을 정의하는 측정 데이터, 즉 깊이 카메라에 대한 가상 골격의 위치와 배향, 크기 및 형상을 정의하는 측정 데이터가 관절들에 할당될 수 있다.
임의의 적절한 최소화 접근법을 통해, 골격 세그먼트들의 길이 및 관절들의 위치와 회전 각도가 깊이 맵의 다양한 윤곽들과 합치하도록 조정될 수 있다. 이 프로세스는 이미지화된 사람 피사체의 위치 및 자세를 정의할 수 있다. 일부 골격 피팅 알고리즘들은 컬러 이미지 데이터, 및/또는 픽셀들의 하나의 장소가 다른 픽셀의 장소에 대해 어떻게 움직이는지를 나타내는 운동 데이터와 같은, 다른 정보와 함께 깊이 데이터를 사용할 수 있다.
일부 실시예들에서, 가상 골격은 깊이 비디오의 프레임들의 시퀀스 각각에 피팅될 수 있다. 다양한 골격 관절들 및/또는 세그먼트들의 위치 변화를 분석함으로써, 이미지화된 사용자의 대응하는 동작들, 예컨대, 제스처, 몸짓, 또는 행동 패턴들이 결정될 수 있다. 이러한 방식으로, 하나 이상의 사람 피사체들의 자세 또는 제스처가 하나 이상의 가상 골격들에 기초하여 NUI 시스템(80)에서 검출될 수 있다.
전술한 설명은 가상 골격을 구성하는데 이용가능한 접근법의 범위를 제한하는 것으로 해석되어서는 안되며, 가상 골격은 본 개시의 범위를 벗어나지 않으면서 임의의 적절한 방식으로 깊이 맵으로부터 도출될 수 있다. 또한, 사람 피사체를 모델링하기 위해 가상 골격을 사용하는 장점들에도 불구하고, 이러한 양태는 반드시 필요한 것은 아니다. 가상 골격 대신, 원시 포인트 클라우드 데이터를 사용하여 적절한 자세 정보를 직접 제공할 수 있다.
도 9로 돌아가서, 단계(116)에서, 기하학적 모델에 기초한 NUI 데이터가 컴퓨터 시스템(24')에 제공된다. 이러한 입력 데이터는 머신 비젼 시스템에 의해 인용된 하나 이상의 사람 피사체들의 자세 데이터 또는 제스처 데이터를 포함할 수 있다. 대표적인 제스처가 도 11에서 도시되어 있는데, 여기서 피사체의 손은 머신 비젼 시스템(10)의 광축(A)에 대해 높은 각도(θ)에 위치된다. 이러한 제스처들은 프로세스를 론칭하거나, OS의 설정을 변경하거나, 입력 포커스를 하나의 프로세스에서 다른 프로세스로 옮기거나, 컴퓨터 시스템(24')에서 사실상 임의의 제어 기능을 제공하기 위한 입력을 포함할 수 있다.
전술한 설명으로부터 명백한 바와 같이, 본 명세서에서 설명된 방법들 및 프로세스들은 하나 이상의 컴퓨팅 디바이스들의 컴퓨팅 시스템에 결속될 수 있다. 이러한 방법들 및 프로세스들은 컴퓨터 애플리케이션 프로그램 또는 서비스, 애플리케이션 프로그래밍 인터페이스(application-programming interface; API), 라이브러리, 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수 있다.
도 1 및 도 8은 제어기(24) 및 컴퓨터 시스템(24')의 양태들을 도시하며, 컴퓨터 시스템들은 본 명세서에서 설명된 방법들 및 프로세스들을 지원하도록 구성된다. 각각의 컴퓨터 시스템은 로직 머신(118) 및 명령어 저장(또는 메모리) 머신(120)를 포함한다. 각각의 컴퓨터 시스템은 디스플레이 서브시스템, 입력 서브시스템, 통신 서브시스템, 및 도면들에 도시되지 않은 다른 컴포넌트들을 선택적으로 포함할 수 있다.
로직 머신들(118)은 명령어들을 실행하도록 구성된 하나 이상의 물리적 디바이스들을 포함한다. 예를 들어, 로직 머신은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 컴포넌트, 데이터 구조, 또는 다른 로직 구축물의 일부인 명령어들을 실행하도록 구성될 수 있다. 이러한 명령어들은 태스크를 수행하거나, 데이터 유형을 구현하거나, 하나 이상의 컴포넌트들의 상태를 변환시키거나, 기술적 효과를 아키빙하거나, 또는 이와 다르게 희망하는 결과에 도달하도록 구현될 수 있다.
로직 머신들(118)은 소프트웨어 명령어들을 실행하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 추가적으로 또는 대안적으로, 로직 머신은 하드웨어 또는 펌웨어 명령어들을 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신들을 포함할 수 있다. 로직 머신들의 프로세서들은 단일 코어 또는 멀티 코어일 수 있고, 이들 상에서 실행되는 명령어들은 순차적 프로세싱, 병렬 프로세싱, 및/또는 분배형 프로세싱을 위해 구성될 수 있다. 로직 머신들의 개별적인 컴포넌트들은 택일적 사항으로서, 통합 프로세싱을 위해 원격적으로 위치하고 및/또는 구성될 수 있는, 두 개 이상의 별개의 디바이스들간에 분배될 수 있다. 로직 머신의 양태들은 클라우드 컴퓨팅 구성으로 구성된, 원격적으로 액세스가능한 네트워크화된 컴퓨팅 디바이스들에 의해 가상화되고 실행될 수 있다.
명령어 저장 머신들(120)은 본 명세서에서 설명된 방법들 및 프로세스들을 구현하기 위해 관련 로직 머신(118)에 의해 실행가능한 명령어들을 홀딩하도록 구성된 하나 이상의 물리적 디바이스들을 포함한다. 이러한 방법들 및 프로세스들이 구현될 때, 명령어 저장 머신의 상태는 예컨대, 상이한 데이터를 홀딩하도록 변환될 수 있다. 명령어 저장 머신은 탈착가능 디바이스 및/또는 내장형 디바이스를 포함할 수 있고, 이 데이터 저장 머신은, 여러가지 중에서도, 광학 메모리(예컨대, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리(예컨대, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테잎 드라이브, MRAM 등)을 포함할 수 있다. 명령어 저장 머신은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차적 액세스, 위치 어드레스가능, 파일 어드레스가능, 및/또는 콘텐츠 어드레스가능 디바이스들을 포함할 수 있다.
각각의 명령어 저장 머신(120)은 하나 이상의 물리적 디바이스들을 포함하는 것을 이해할 것이다. 하지만, 본 명세서에서 설명된 명령어들의 양태들은 대안적으로, 저장 매체를 통해 저장되지 않는 통신 매체(예컨대, 전자기 신호, 광학 신호 등)에 의해 전파될 수 있다.
로직 머신들(118)과 명령어 저장 머신들(120)의 양태들은 하나 이상의 하드웨어 로직 컴포넌트들 내로 함께 통합될 수 있다. 이러한 하드웨어 로직 컴포넌트들은 예컨대, FPGA(field-programmable gate array), PASIC/ASIC(program application specific integrated circuit and application specific integrated circuit), PSSP/ASSP(program specific standard product and application specific standard product), SOC(system-on-a-chip), 및 CPLD(complex programmable logic device)를 포함할 수 있다.
디스플레이 서브시스템이 포함되는 경우, 디스플레이 서브시스템은 관련 명령어 저장 머신(120)에 의해 홀딩된 데이터의 시각적 표현을 제공하기 위해 이용될 수 있다. 이러한 시각적 표현은 그래픽 사용자 인터페이스(graphical user interface; GUI)의 형태를 취할 수 있다. 본 명세서에서 설명된 방법들 및 프로세스들은 저장 머신에 의해 홀딩된 데이터를 변경시키고, 이에 따라 저장 머신의 상태를 변환시키므로, 디스플레이 서브시스템의 상태도 이와 마찬가지로 기저 데이터에서의 변경들을 시각적으로 나타내도록 변환될 수 있다. 디스플레이 서브시스템은 임의의 유형의 기술을 사실상 활용하는 하나 이상의 디스플레이 디바이스들을 포함할 수 있다. 이러한 디스플레이 디바이스들은 로직 머신(118) 및/또는 명령어 저장 머신(120)과 공유형 인클로저로 결합될 수 있거나, 또는 이러한 디스플레이 디바이스들은 주변 디스플레이 디바이스들일 수 있다.
입력 서브시스템이 포함되는 경우, 입력 서브시스템은 키보드, 마우스, 터치 스크린, 게임 제어기와 같은 하나 이상의 사용자 입력 디바이스들을 포함하거나 또는 이들과 인터페이싱할 수 있다. 일부 실시예들에서, 입력 서브시스템은 선택형 내추럴 사용자 입력 컴포넌트들을 포함하거나 또는 이들과 인터페이싱할 수 있다. 이러한 컴포넌트들은 통합되거나 또는 주변장치일 수 있고, 입력 동작들의 변형 및/또는 프로세싱은 온 보드 또는 오프 보드로 처리될 수 있다.
통신 서브시스템(122)이 포함되는 경우, 통신 서브시스템(122)은 컴퓨터 시스템을 하나 이상의 다른 컴퓨터 시스템들과 통신가능하게 결합시키도록 구성될 수 있다. 통신 서브시스템은 하나 이상의 상이한 통신 프로토콜들과 호환가능한 유선 및/또는 무선 통신 디바이스들을 포함할 수 있다. 비제한적인 예시들로서, 통신 서브시스템은 무선 전화기 네트워크, 또는 유선 또는 무선 근거리 네트워크 또는 광대역 네트워크를 통한 통신을 위해 구성될 수 있다. 일부 실시예들에서, 통신 서브시스템은 컴퓨터 시스템으로 하여금 인터넷과 같은 네트워크를 통해 다른 디바이스들과 메시지들을 주고받을 수 있게 할 수 있다.
본 명세서에서 설명된 구성들 및/또는 접근법들은 성질상 예시적인 것이며, 이러한 특정한 실시예들 또는 예시들은 수많은 변형들이 가능하기 때문에 한정적인 의미로 간주되어서는 안된다는 점을 이해할 것이다. 본 명세서에서 설명된 특정한 루틴들 또는 방법들은 임의의 개수의 프로세싱 전략들 중의 하나 이상을 나타낼 수 있다. 따라서, 예시되고 및/또는 설명된 다양한 동작들은 예시되고 및/또는 설명된 시퀀스로, 또는 다른 시퀀스로, 병렬로 수행될 수 있거나 또는 생략될 수 있다. 마찬가지로, 전술한 프로세스들의 순서는 변경될 수 있다.
본 개시의 발명내용은 여기서 개시된 다양한 프로세스들, 시스템들 및 구성들과, 다른 특징들, 기능들, 동작들, 및/또는 특성들의 모든 신규하고 비자명한 조합들 및 서브조합들뿐만이 아니라, 이들의 임의의 그리고 모든 등가물들을 포함한다.

Claims (10)

  1. 머신 비젼(machine-vision) 시스템에 있어서,
    광을 피사체 상에 투사하도록 구성된 변조형 광원(modulated light source);
    상기 피사체의 장소(locus)로부터 반사된 광을 수신하고 상기 장소까지의 거리를 표시하도록 구성된 이미징 픽셀 어레이; 및
    렌즈 시스템 및 상기 이미징 픽셀 어레이의 공유된 광축(A)에 대한 관측 각도(angle of observation)가 증가함에 따라 감소하는 초점 길이를 갖도록 구성된 상기 렌즈 시스템
    을 포함하며,
    상기 렌즈 시스템은 상기 피사체로부터 반사된 광을 수신하고 그러한 광을 상기 이미징 픽셀 어레이 상에 굴절시키도록 구성된 것인, 머신 비젼 시스템.
  2. 제1항에 있어서,
    상기 렌즈 시스템은 상기 초점 길이가 상기 관측 각도의 코사인에 실질적으로 비례하여 감소하도록 구성된 것인, 머신 비젼 시스템.
  3. 제1항에 있어서,
    상기 렌즈 시스템의 초점 길이 및 유효 조리개(effective aperture) 직경은 관측 각도가 증가함에 따라 대응하는 양만큼 감소하며,
    상기 유효 조리개 직경은 상기 장소와 상기 이미징 픽셀 어레이 사이를 지나가는 라인에 수직인 평면에서의 상기 렌즈 시스템의 물리적 조리개의 단면의 직경으로서 정의된 것인, 머신 비젼 시스템.
  4. 제3항에 있어서,
    상기 관측 각도는, 상기 이미징 픽셀 어레이와 직교하고 상기 공유된 광축을 포함하는 수평 평면에서의 수평 각도이고,
    상기 초점 길이는 상기 수평 평면에 평행한 굴절에 대한 수평 초점 길이이고,
    상기 유효 조리개 직경은 상기 수평 평면에서 측정된 수평 직경이고,
    상기 렌즈 시스템의 수직 초점 길이 및 수직 유효 조리개 직경은 수직 관측 각도가 증가함에 따라 대응하는 양만큼 감소하고,
    상기 수직 관측 각도는, 상기 이미징 픽셀 어레이와 직교하고 상기 공유된 광축을 포함하는 수직 평면에서의 수직 각도이며,
    상기 수직 초점 길이는 상기 수직 평면에 평행한 굴절에 대한 초점 길이이고,
    상기 수직 유효 조리개 직경은 상기 수직 평면에서 측정되며,
    상기 수평 초점 길이 및 상기 수직 초점 길이는 서로 상이한 것인, 머신 비젼 시스템.
  5. 제3항에 있어서,
    상기 렌즈 시스템의 상기 유효 조리개 직경에 대한 상기 초점 길이의 비(ratio)는 0도 내지 60도 범위의 관측 각도들에 대해 실질적으로 일정한 것인, 머신 비젼 시스템.
  6. 제1항에 있어서,
    상기 공유된 광축은 상기 이미징 픽셀 어레이에 수직하고, 상기 렌즈 시스템의 중심을 통과하는 것인, 머신 비젼 시스템.
  7. 제1항에 있어서,
    상기 변조형 광원과 상기 이미징 픽셀 어레이에 동작가능하게 결합되고 상기 장소까지의 거리를 계산하도록 구성된 제어기
    를 더 포함하는 머신 비젼 시스템.
  8. 제7항에 있어서,
    상기 제어기는 또한 상기 광원을 변조하고 상기 이미징 픽셀 어레이를 동기식으로 어드레싱(synchronously address)하도록 구성된 것인, 머신 비젼 시스템.
  9. 제1항에 있어서,
    상기 렌즈 시스템은 복합 렌즈 시스템인 것인, 머신 비젼 시스템.
  10. 제1항에 있어서,
    상기 장소까지의 거리는 상기 피사체의 기하학적 모델을 계산하도록 구성된 컴퓨터 시스템에 출력되는 것인, 머신 비젼 시스템.
KR1020177003676A 2014-07-15 2015-07-09 광시야각 깊이 이미징 KR20170031185A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/332,258 US9805454B2 (en) 2014-07-15 2014-07-15 Wide field-of-view depth imaging
US14/332,258 2014-07-15
PCT/US2015/039631 WO2016010798A1 (en) 2014-07-15 2015-07-09 Wide field-of-view depth imaging

Publications (1)

Publication Number Publication Date
KR20170031185A true KR20170031185A (ko) 2017-03-20

Family

ID=53674358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177003676A KR20170031185A (ko) 2014-07-15 2015-07-09 광시야각 깊이 이미징

Country Status (5)

Country Link
US (1) US9805454B2 (ko)
EP (1) EP3170025B1 (ko)
KR (1) KR20170031185A (ko)
CN (1) CN106537217B (ko)
WO (1) WO2016010798A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11002854B2 (en) 2013-03-13 2021-05-11 Cognex Corporation Lens assembly with integrated feedback loop and time-of-flight sensor
US10712529B2 (en) 2013-03-13 2020-07-14 Cognex Corporation Lens assembly with integrated feedback loop for focus adjustment
US10302768B2 (en) 2016-05-09 2019-05-28 Microsoft Technology Licensing, Llc Multipath signal removal in time-of-flight camera apparatus
JP7093773B2 (ja) * 2016-11-10 2022-06-30 マジック リープ， インコーポレイテッド 複数のｆ値レンズのための方法およびシステム
WO2018227294A1 (en) * 2017-06-14 2018-12-20 Arb Labs Inc. Systems, methods and devices for monitoring gaming tables
US10935641B2 (en) * 2017-10-30 2021-03-02 Texas Instruments Incorporated Phase noise shaping in a distance measurement system
TWI786311B (zh) * 2019-07-04 2022-12-11 先進光電科技股份有限公司 行動載具輔助系統及其停車控制方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5754899A (en) * 1989-11-10 1998-05-19 Minolta Co., Ltd. Camera capable of taking pictures in both standard frame and panoramic frame
US6088156A (en) * 1993-06-28 2000-07-11 Olympus Optical Co., Ltd. Finder optical system
US5999311A (en) * 1996-03-26 1999-12-07 Canon Kabushiki Kaisha Small-sized variable magnification optical system
US6426841B1 (en) * 1997-08-27 2002-07-30 Canon Kabushiki Kaisha Optical apparatus
EP1115020A3 (en) * 1999-12-15 2004-01-28 Nikon Corporation Front tele-converter, and front tele-converter having vibration-reduction function
US7075721B2 (en) * 2002-03-06 2006-07-11 Corning Incorporated Compensator for radially symmetric birefringence
AU2003287176A1 (en) * 2002-10-18 2004-05-04 Bae Systems Information And Electronic Systems Integration Inc. Method and apparatus of using optical distortion in a directed countermeasure system to provide a variable field of view
US6857752B2 (en) 2003-04-11 2005-02-22 3M Innovative Properties Company Projection illumination system with tunnel integrator and field lens
CN100406842C (zh) * 2003-07-25 2008-07-30 爱德万测试株式会社 位置侦测装置、位置侦测方法、测试装置以及摄影模块制造装置
US7206136B2 (en) * 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
JP5015514B2 (ja) * 2006-06-22 2012-08-29 株式会社リコー ズームレンズおよび撮像装置および携帯情報端末装置
US8270095B2 (en) * 2006-12-20 2012-09-18 Konica Minolta Opto, Inc. Variable-power optical system, image pickup device, and digital apparatus
JP4714176B2 (ja) * 2007-03-29 2011-06-29 富士フイルム株式会社 立体撮影装置及び光軸調節方法
US7852572B2 (en) * 2007-06-25 2010-12-14 Ricoh Co., Ltd. Compact super wide-angle imaging system
JP5216761B2 (ja) * 2007-09-26 2013-06-19 パナソニック株式会社 ビーム走査型表示装置
US20110199482A1 (en) * 2009-10-07 2011-08-18 Morgan Arthur C Long Range Day/Night Surveillance Video Camera
US8335390B2 (en) * 2010-03-22 2012-12-18 Sony Corporation Blur function modeling for depth of field rendering
US8670029B2 (en) * 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US8558873B2 (en) * 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US8351120B2 (en) * 2010-09-15 2013-01-08 Visera Technologies Company Limited Optical device having extented depth of field and fabrication method thereof
US9635347B2 (en) * 2010-11-15 2017-04-25 Reach3D Medical Llc Stereoscopic relay optics
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
KR101691156B1 (ko) * 2010-12-14 2016-12-30 삼성전자주식회사 조명 광학계와 결상 광학계가 통합된 광학계 및 이를 포함하는 3차원 영상 획득 장치
KR101887099B1 (ko) 2010-12-29 2018-08-09 삼성전자주식회사 이미지 처리 시스템 및 이미지 처리 방법
US8719317B1 (en) * 2010-12-30 2014-05-06 The United States Of America As Represented By The Secretary Of The Navy Structured data conversion system
JP2012174116A (ja) * 2011-02-23 2012-09-10 Ntt Docomo Inc オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US9551914B2 (en) * 2011-03-07 2017-01-24 Microsoft Technology Licensing, Llc Illuminator with refractive optical element
US8704916B2 (en) * 2011-04-11 2014-04-22 Canon Kabushiki Kaisha Systems and methods for focus transition
US8488258B2 (en) 2011-06-07 2013-07-16 DigitalOptics Corporation Europe Limited Enhanced depth of field based on uniform relative illumination via lens with large distortion
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
CN104641399B (zh) * 2012-02-23 2018-11-23 查尔斯·D·休斯顿 用于创建环境并用于共享环境中基于位置的体验的系统和方法
KR101862199B1 (ko) 2012-02-29 2018-05-29 삼성전자주식회사 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
US9250422B2 (en) * 2012-03-25 2016-02-02 Iain A. Neil Zoom lens with forward-located aperture stop
US20130322697A1 (en) * 2012-05-31 2013-12-05 Hexagon Technology Center Gmbh Speed Calculation of a Moving Object based on Image Data
JP2014041245A (ja) * 2012-08-22 2014-03-06 Canon Inc ズームレンズ及びそれを有する撮像装置
US9275459B2 (en) * 2012-10-05 2016-03-01 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
JP6056429B2 (ja) * 2012-12-03 2017-01-11 リコーイメージング株式会社 超広角レンズ系
US9210404B2 (en) * 2012-12-14 2015-12-08 Microsoft Technology Licensing, Llc Calibration and registration of camera arrays using a single circular grid optical target

Also Published As

Publication number Publication date
CN106537217A (zh) 2017-03-22
EP3170025B1 (en) 2018-06-20
EP3170025A1 (en) 2017-05-24
US9805454B2 (en) 2017-10-31
US20160019684A1 (en) 2016-01-21
CN106537217B (zh) 2019-05-28
WO2016010798A1 (en) 2016-01-21

Similar Documents

Publication Publication Date Title
KR20170031185A (ko) 광시야각 깊이 이미징
US10972715B1 (en) Selective processing or readout of data from one or more imaging sensors included in a depth camera assembly
CN102572505B (zh) 用于校准深度图像传感器的方法和系统
CN102222347B (zh) 使用波阵面编码来创建深度图像
US20160328854A1 (en) Distance sensor
CN113574406A (zh) 用于识别至少一种材料特性的检测器
JP2019141620A (ja) 三次元物体上の注視点決定方法及び装置
KR102502310B1 (ko) 적외선 이미징을 사용한 색상 식별
CN109425305A (zh) 使用多个脉冲式结构光投影仪的深度测量
CN104380729A (zh) 摄像机参数的上下文驱动调整
KR20140008510A (ko) 게임플레이에서의 3차원 환경 모델 사용
US20180300591A1 (en) Depth-value classification using forests
Raudies et al. Modeling boundary vector cell firing given optic flow as a cue
Naeemabadi et al. Investigating the impact of a motion capture system on Microsoft Kinect v2 recordings: A caution for using the technologies together
US11587254B2 (en) Raycast calibration for artificial reality head-mounted displays
EP3922010A1 (en) Lightweight cross reality device with passive depth extraction
TW201946436A (zh) 影像感測器、用於自影像感測器輸出重組影像的方法以及儲存指示的非暫態電腦可讀取媒體
US20220117689A1 (en) Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
CN107743628A (zh) Led面发光的结构化光
Munkelt et al. Large-volume NIR pattern projection sensor for continuous low-latency 3D measurements
Chi et al. Calibration method for 3D gaze tracking systems
US11947736B1 (en) Utilising focussing of light sources in image for controller tracking
US20230077073A1 (en) Augmented reality device and method for obtaining depth map by using depth sensor
Kohoutek Location estimation in indoor environments using time-of-flight range camera
Fischer A user-oriented, comprehensive system for the 6 DoF recognition of arbitrary rigid household objects