KR101833576B1 - 넓은 각도의 ｆｏｖ를 갖는 능동 조명 영상 시스템 - Google Patents

넓은 각도의 ｆｏｖ를 갖는 능동 조명 영상 시스템 Download PDF

Info

Publication number
KR101833576B1
KR101833576B1 KR1020137007386A KR20137007386A KR101833576B1 KR 101833576 B1 KR101833576 B1 KR 101833576B1 KR 1020137007386 A KR1020137007386 A KR 1020137007386A KR 20137007386 A KR20137007386 A KR 20137007386A KR 101833576 B1 KR101833576 B1 KR 101833576B1
Authority
KR
South Korea
Prior art keywords
camera
viewing angle
optical axis
fov
angle
Prior art date
Application number
KR1020137007386A
Other languages
English (en)
Other versions
KR20130114100A (ko
Inventor
지오라 야하브
데이비드 코헨
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20130114100A publication Critical patent/KR20130114100A/ko
Application granted granted Critical
Publication of KR101833576B1 publication Critical patent/KR101833576B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light

Abstract

본 발명의 실시예는 제 1 카메라 및 제 2 카메라를 포함하고, 그 각각이 광학 축과, 그 광학 축을 포함하는 평면 내의 시야각에 의한 특징을 갖는 FOV(field of view)를 구비하는 능동 조명 영상 시스템을 제공하는데, 여기에서 카메라의 광학 축은 실질적으로 자신의 시야각의 합계 값에 절반이 되는 각도에서 자신의 FOV에 공통되는 교차 영역에서 교차한다.

Description

넓은 각도의 ＦＯＶ를 갖는 능동 조명 영상 시스템{WIDE ANGLE FIELD OF VIEW ACTIVE ILLUMINATION IMAGING SYSTEM}
본 발명의 실시예는 장면을 조명하기 위해 광을 송신하고 송신된 광으로부터 장면의 형상에 의해 반사된 광으로 장면을 영상화하는 능동 조명 영상 시스템(active illumination imaging systems)에 관한 것이다.
일반적으로 "능동 조명 카메라"로 지칭되고, "인공 광"으로 영상화하는 장면을 조명하는 자신의 광원을 포함한 다양한 종류의 능동 조명 카메라 또는 영상 시스템이 알려져 있다. 이러한 능동 조명 카메라 중에는 유비쿼터스(ubiquitous) 플래시 카메라, 동작 인식(gesture recognition) 카메라 및 3차원(3D) 카메라가 있다. 동작 인식 카메라는 사람에게 조명을 가해 사람의 동작을 영상화하고 인식한다. 3D 카메라는 자신이 생성하는 광으로 장면을 영상화하여 장면 내의 형상에 대한 거리를 결정한다. 3D 카메라의 작동 모드에 따라서, 카메라의 광원에 의해 제공되는 광은 삼각화(triangulation) 유형의 3D 카메라에 의해 전형적으로 사용되는 것과 같은 구조 광(structured light)으로 지칭되는 공간 변조 광이거나, 펄스로 송신되는 광과 같이 다양한 종류의 TOF(time of flight) 3D 카메라에 의해 전형적으로 사용되는 일시적 변조 광일 수 있다.
사람의 동작을 추적하여 사람과 컴퓨터 사이를 인터페이스로 연결하는 것과 같은 많은 적용예에 있어서, 능동 조명 카메라를 위한 선호되는 설계 사양은 상반될 수 있고, 이와 같이 모순되는 설계 선호 사항을 수용하는 것은 많은 비용을 필요로 할 것이다.
예를 들면, 사람과 컴퓨터 게임 사이를 인터페이스로 연결하는 동작 추적 및/또는 3D 영상에 있어서, 때때로 능동 조명 카메라가 넓은 시야각의 특징을 갖는 비교적 큰 FOV(field of view)를 가져서, 사람이 자유롭게 움직이면서도 카메라에 의해 정확하게 영상화될 수 있는 것이 바람직할 것이다. 카메라의 FOV는 카메라의 광학 중심으로부터 연장되는 입체 각(solid angle)에 의해 정의된 공간 영역으로서, 그 내부의 점은 카메라에 포함되고, 이하에서 "광센서"로 지칭되는 감광 센서 상의 카메라의 광학 시스템에 의해 영상화된다. 카메라의 FOV의 시야각은 카메라의 FOV 내부에 놓여서 카메라의 광학 중심으로부터 연장되는 선들 사이에서 가능한 가장 큰 각도이다. 시야각은 카메라의 광학 중심을 교차하는 임의의 평면에 대해 정의될 수 있다. 시야각은 일반적으로 카메라의 광학 축을 포함하는 평면에 대해 정의된다. 사람의 활동을 영상화하는 실제적인 시야각은 일반적으로 각각 평행하고 지면에 대해 수직인 평면에 대해 정의되는 수평 및 수직 시야각이다. FOV가 넓은 시야각의 특징을 갖는 것이 바람직한데, 때때로 이것은 90°, 120° 또는 150°만큼 큰 넓은 수평 시야각을 갖기도 한다.
카메라에 넓은 각도의 FOV 및 정확한 영상을 제공하기 위해서, 카메라는 일반적으로 작은 유효 초점 거리 "f"를 갖는 렌즈 또는 렌즈 시스템과, 많은 개수의 감광성 화소를 갖는 비교적 큰 광센서를 포함하는 광학 시스템을 구비한다. 광학 시스템의 유효 초점 거리는 광학 시스템의 기능을 나타내기 위해 사용될 수 있는 광학 시스템의 얇은 렌즈 등가물의 초점 거리이다.
그러나 카메라의 광원으로부터 나온 광을 가지고 큰 FOV를 조명하는 것은 일반적으로 기술적인 면이나 비용적인 면에서 어려운 일이다. 광원에 의해 제공되는 조명의 세기는 일반적으로 광원 및 카메라를 허용 가능 작동 온도로 유지하기 위한 비용의 고려 사항 및 열 소실(heat dissipation) 요구 사항에 의해 제한된다. 그러므로 카메라의 FOV 내에서 사람 및 다른 형상에 의해 반사되는 광원으로부터의 광의 양은 일반적으로 제한된다.
제한된 조명을 보완하기 위해서, 카메라는 강화된 광 수집 효율 및 기록 용량(registration capacity)을 갖고 있어서, 카메라의 광센서 내의 화소에 의해 기록되는 반사된 광의 양이 화소가 생성하는 신호가 허용 가능한 신호 대 노이즈 비(signal to noise ratios : SNR)를 갖는 데 충분하게 할 수 있다. 광 수집 효율은 카메라가 영상화하는 대상물의 단위 면적당 카메라 렌즈에 의해 수집되는 광의 부분으로부터 카메라 광센서 상에 영상화되는 광의 세기(단위 면적 당 광학 에너지)에 대한 수치이다. 광 기록 용량은 카메라의 광센서 내의 화소가 카메라가 화소에서 영상화하는 광학 에너지의 단위 당 얼마나 많은 신호를 생성하는지에 대한 수치이고, 광학 에너지의 단위 당 신호 크기의 단위를 갖는다. 카메라의 광 수집 효율 및 광 기록 용량의 곱은 영상화하는 장면으로부터 나오는 광에 대한 카메라의 감도에 대한 척도가 되고, 카메라의 광 획득 감도(light acquisition sensitivity : LAS)로 지칭된다.
광 수집 효율 및 기록 용량은 카메라 렌즈의 f 번호(f#)를 낮추고 카메라의 광센서 내의 화소 크기를 증가하는 것에 의해 강화될 수 있다. 렌즈 f#는 렌즈의 초점 거리인 f를 그 구경(aperture)의 지름 D로 나눈 것과 같은데, 다시 말해서 f#=f/D가 된다. 구경의 지름 D는 임의의 다양한 조리개 및 가리개에 의해 제어될 수 있다. 최소 f#는 가능한 최대의 D에 대한 f#를 지칭하고 일반적으로 지름은 렌즈의 물리적 지름에 가깝다.
일광 및/또는 통상의 플래시로부터 나온 광을 가지고 장면을 영상화하는 통상적인 디지털 카메라는 대략 40° 및 대략 60° 사이의 시야각에 의한 특성화된 FOV를 갖고, 1.2μ-6μ(마이크론) 사이의 측면 치수를 갖는 사각형의 화소를 포함하고, 그 최소 f#s가 2.8-3.5 사이의 값을 갖는다. 다른 한편으로 동작 인식 및 멀티플레이어 비디오 게임 애플리케이션에 있어서, 대략 2 미만의 f#를 갖는 넓은 각도의 FOV와, 대략 7.5마이크론 이상의 측면 치수를 갖는 큰 화소를 구비하는 능동 조명 카메라가 있는 것이 유리할 것이다.
그러나 카메라의 f#를 감소하고 그 화소 크기를 증가하는 것은 일반적으로 카메라 해상도를 감소시키고, 그 카메라의 광학 시스템이 왜곡을 보완하도록 특수하게 설계되어 있지 않다면 카메라에 의해 획득된 영상에 광학 왜곡이 발생하게 된다. 광학 왜곡을 완화하도록 카메라를 구성하는 것은 기술적으로 어려울 수 있고, 그 카메라가 의도하는 시장에서 감당되지 않을 높은 값이 매겨지게 될 수 있다.
본 발명의 실시예는 "컴파운드(compound) 능동 조명 카메라" 또는 "컴파운드 카메라"로도 지칭되는 넓은 시야각의 FOV를 갖는 능동 조명 영상 시스템을 제공하는데, 이것은 "컴포넌트(component) 카메라"로도 지칭되는 복수의 카메라의 FOV를 결합하여 확대된 "컴파운드" FOV를 제공한다.
본 발명의 일실시예에서, 복수의 컴포넌트 카메라는 이하에서 "교차 영역"으로 지칭되는 영역 내에서 그 광학 축이 교차하도록 위치된 2개의 컴포넌트 카메라를 포함하는데, 이 교차 영역은 광학 축에 의해 정의된 평면 내에서 카메라의 시야각의 합계 값의 대략 절반이 되는 광학 축 사이의 각도에서 컴포넌트 카메라의 FOV에 대해 공유된다. 컴포넌트 카메라의 FOV는 서로에 대해 횡단하고 결합되어 각 컴포넌트 카메라의 FOV의 시야각의 대략 2배가 되도록 광학 축의 평면 내에서 넓은 시야각을 갖는 확대된 컴파운드 FOV를 제공한다. 선택적으로, 컴포넌트 카메라의 FOV의 시야각은 동일하고, FOV는 자신의 광학 축의 교차점을 통과하고, 자신의 평면에 수직하며, 축 사이의 각도를 2등분하는 선을 포함하는 "거울" 평면 내에서 서로에 대해 거울 대칭을 갖는다.
본 발명의 일실시예에서, 컴포넌트 카메라는 서로 가까운 간격을 갖고 있어서 그들의 FOV는 거울 평면을 포함하는 좁은 심(seam)을 따라서 중첩된다. 결과적인 컴파운드 FOV는 실질적으로 적어도 하나의 컴파운드 카메라에 의해 영상화되지 않는 공백 영역이 된다. 본 발명의 일실시예에서, 각각의 컴포넌트 카메라는 비교적 작은 f#와, 비교적 큰 화소를 포함하는 광센서를 구비하도록 구성되어, 컴포넌트 카메라가 비교적 강화된 광 수집 효율 및 기록 용량을 갖게 한다.
컴파운드 능동 광 카메라가 확대된, 넓은 시야각의 FOV를 보유하는 반면에, 그의 광 영상은 컴포넌트 카메라의 f#, 광센서 및 영상 해상도에 의해 특징지어진다. 그러므로 이것은 유사하게 넓은 각도의 FOV를 갖는 통상적인 카메라의 상반되고 대립되는 설계 요건을 고려하는 데 애쓰지 않고도, 넓은 각도의 컴파운드 FOV와 컴포넌트 카메라의 더 작은 FOV에 의한 강화된 광 수집 효율 및 기록 용량을 결합한다.
이 요약은 이하의 상세한 설명에서 추가적으로 설명되는 개념의 선택에 대해 단순화된 형태로 도입하도록 의도된 것이다. 이 요약은 청구 대상의 주요 특징 또는 필수 특징을 식별하도록 의도된 것이 아니고, 청구 대상의 범주를 한정하는 데 사용되도록 의도된 것도 아니다.
본 발명의 실시예에 대한 제한적이지 않은 예시가 본 단락의 아래에 열거된 본 명세서에 첨부된 도면을 참조하여 설명되어 있다. 하나 이상의 도면에 표현된 동일한 구조물, 구성 요소 또는 부분은 일반적으로 그것이 표시된 도면 전체에서 동일한 참조 부호로 라벨링되어 있다. 도면에 도시된 구성 요소의 치수 및 형상은 표현의 편의성 및 명료성을 위해 선택된 것이고, 반드시 실제 축적대로 도시된 것은 아니다.
도 1(a) 및 도 1(b)은 종래 기술에 따라서 장면 내의 형상에 대한 거리를 결정하는 통상적인 3D TOF(time of flight) 카메라의 평면도 및 사시도를 개략적으로 도시하는 도면.
도 2(a) 및 도 2(b)는 본 발명의 일실시예에 따라서 넓은 각도의 FOV를 갖는 능동 조명 영상 시스템의 예시로서 컴파운드 3D TOF 카메라를 개략적으로 도시하는 도면.
도 3(a) 내지 도 3(c)은 본 발명의 일실시예에 따른 다른 능동 조명 영상 시스템을 개략적으로 도시하는 도면.
도 4는 본 발명의 일실시예에 따라서 3개의 컴포넌트 카메라를 포함하는 능동 조명 영상 시스템을 개략적으로 도시하는 도면.
도 5는 본 발명의 일실시예에 따라서 4개의 컴포넌트 카메라를 포함하는 능동 조명 영상 시스템을 개략적으로 도시하는 도면.
본 발명의 실시예에 대한 측면은 능동 조명 영상 시스템의 도면을 참조하여 이하에 설명되어 있는데, 이 시스템은 예를 들면 3D TOF(time of flight) 영상 시스템이다. 도 1(a) 및 도 1(b)은 각각 통상적인 3D TOF 카메라(20) 및 카메라의 FOV(field of view)에 대한 사시도 및 평면도를 개략적으로 도시한다. 도 2(a) 내지 도 5는 도 1(a) 및 도 1(b)에 도시된 것과 유사한 카메라가 본 발명의 실시예에 따라서 확대된 넓은 각도의 컴파운드 FOV를 갖는 선택적 3D TOF, 컴파운드 능동 조명 카메라를 제공하도록 결합 및 구성되는 것을 개략적으로 도시한다. 본 발명의 일실시예에 따라서 도 2(a) 및 도 2(b)에 도시된 것과 유사하게 넓은 각도의 컴파운드 FOV를 갖는 컴파운드 3D TOF 카메라는 넓은 각도의 FOV를 갖도록 통상적으로 설계된 3D TOF 카메라에 대해 비교된다.
명세서 내에서 다른 방식으로 언급되지 않는다면 본 발명의 일실시예에 대한 특성의 조건 또는 관계 특징을 수정하는 "실질적으로" 및 "대략" 등과 같은 형용사는 그 조건 또는 특징이 본 출원에서 의도하는 실시예의 작용에 허용 가능한 오차 내에 속하는 것으로 정의된다는 것을 의미한다고 이해할 수 있다.
도 1(a) 및 도 1(b)에 도시된 3D TOF 카메라(20)는 카메라의 FOV(30) 내에 장면(도시하지 않음)을 조명하기 위해 광 펄스의 열(train)을 방사하도록 조절 가능한 광원(22)을 포함한다. 광원(22)에 의해 방사되는 광 펄스는 참조 번호(24)로 라벨링되고 전파 방향을 나타내는 상측의 화살표와 결합된 구형파(square) "펄스"로 개략적으로 표시되어 있다. 참조 번호(24)는 또한 광 펄스를 지칭할 때 사용된다. 광 펄스(24)가 스펙트럼의 임의의 부분으로부터 나온 적합한 LED(light emitting diode) 및/또는 레이저에 의해 제공된 광을 포함하는 반면, 일반적으로 광 펄스(24)는 NIR(near infrared) 광 펄스이다. 카메라(20)는 광센서(50) 상의 장면 내의 형상에 의해 카메라로 되반사되는 광 펄스(24)로부터의 광을 영상화하는 렌즈(40)로 대표되는 광학 시스템을 포함한다. 렌즈(40)는 광학 중심(42) 및 광학 축(44)을 갖는데, 이들은 또한 각각 카메라(20)의 광학 중심 및 광학 축이 된다. 광센서(50)는 감광성 화소(52)(도 1(a))를 포함한다. 광학 시스템은 또한 카메라의 셔터를 개방 및 폐쇄하는 셔터(도시하지 않음)를 포함한다. 광 펄스의 열(train) 내의 각각의 펄스(24)가 광원(22)에 의해 방사되어 장면을 조명하는 시간으로부터 사전 결정된 지연 이후에, 셔터는 짧은 노출 주기 동안 카메라를 개방하여 장면 내의 형상으로부터 반사되어 카메라에 도달한 다음 렌즈(40)에 의해 광센서(50)에 영상화되는 광을 기록한다. 카메라에 의해 기록되어 영상화된 광은 광 펄스(24)로부터 나온 광이 광원(22)으로부터 형상으로, 그리고 3D TOF 카메라(20)로 되돌아가는 왕복 이동하는 데 있어서 얼마의 시간이 소요되는지를 결정하는 데 사용된다. 광의 왕복 이동 시간 및 광의 속도는 카메라로부터 그 형상이 얼마나 떨어져 있는지 결정하는 데 사용된다.
도 1(a) 및 도 1(b)의 사시도 및 평면도에서, 카메라(20)의 FOV(30)는 경계 선(32)에 의해 범위가 정해지도록 개략적으로 도시되어 있다. 경계 선은 FOV의 체적을 한정하고 제한하는 피라미드 형상의 입체각을 결정하는 평면을 정의한다. FOV(30)의 입체각 내부 및 경계 선(32)에 의해 정의된 평면에 의해 범위가 정해진 체적 내의 점들만이 카메라(20)에 의해 영상화된다. 경계 선(32)을 연결하는 선(34), 점선(35, 36) 및 원(37)은 FOV(30)의 입체각을 가시화하는 것을 돕도록 도시되어 있다. 선(34) 및 원(37)의 위치는 FOV(30)가 카메라(20)로부터 연장되는 정도에 대한 한계를 나타내는 것은 아니다. 경계 선(32) 및 FOV(30)의 범위를 정하는 것은 통상적으로 "무한대"로 연장되는 것으로 이해할 수 있다.
FOV(30)의 크기 및 형상을 정의하는 입체각은 광센서(50)가 렌즈(40)의 광학 중심(42)에 대응하는 피라미드 형상의 입체각에 부합된다. 입체각은 광센서(50)의 크기 및 형상과, 렌즈(40)의 초점 거리 "f"(도 1(b))에 의해 결정된다. 광센서는 전형적으로 직사각형 화소 어레이를 갖고, 광센서(50)는 길이 V의 수직 모서리(54) 및 길이 H의 수평 모서리(55)를 갖는 직사각형 화소 어레이로서 도시되어 있다. 카메라는 임의적으로 카메라의 정상 동작 하에서 수직 모서리(54)가 지면(도시하지 않음)에 대해 수직으로 향하고, 수평 모서리(55)가 지면에 대해 평행하게 되는 방향을 갖는 것으로 간주한다. 광센서(50)의 코너로부터 렌즈(40)의 광학 중심(42)까지 연장되는 선 세그먼트(58)(도면에 혼동이 발생하는 것을 감소하기 위해 라벨링된 것 중 일부만을 도시함)는 광센서(50)가 광학 중심에 대응하는 입체각 및 그에 따라 FOV(30)의 입체각을 정의한다. FOV(30)를 정의하는 경계 선(32)은 선 세그먼트(58)의 연장선이다.
FOV(30)는 도 1(a)에 도시된 수평 모서리(55)에 평행한 점선(36)에 의해 정의되고 광학 축(44)을 포함하는 수평 평면 내에서 수평 각도 범위 θ를 갖는다. (도 1(b)의 평면도 내에서, 경계 선(32)은 점선(36)에 투사되고 일치한다는 것을 주지하라) 점선(36)은 렌즈(40)의 광학 중심(42)을 통과하고 선택적으로, 그 중점에서 광센서(50)의 수직 모서리(54)(도 1(a))에 교차한다. 삽입 그림(57)은 개략적으로 선(58), 광센서(50), 및 렌즈(40)의 세부 사항을 보다 명확하게 도시하기 위한 렌즈(40) 및 광센서(50)의 확대도를 도시한다. 각도 θ는 선(36) 사이의 각도이고, 다음의 수식을 충족한다.
Figure 112013025055656-pct00001
FOV(30)의 "수평" 시야각 θ, H/2, 및 f 사이의 기하학적 관계는 도 1(b)에 도시되어 있다.
FOV(30)는 마찬가지로 광학 축(44)을 포함하고 광센서(50)의 수직 모서리(54)에 평행한 점선(35)에 의해 정의된 평면 내에 수직 각도 범위 φ를 갖는다. 선(35)은 렌즈(40)의 광학 중심(42)을 통과하고, 선택적으로, 그 중점에서 수평 모서리(55)에 교차한다. FOV(30)의 수직 시야각 φ은 선(35) 사이의 각도이고 다음의 수식을 충족한다.
Figure 112013025055656-pct00002
카메라(20)에 의해 광센서(50)에 생성되는 장면의 형상에 대한 영상의 단위 면적 당 입사되는 단위 시간 당 광학 에너지의 양은 형상으로부터 광센서의 복사 조도(irradiance) "IR"로 지칭된다. 형상이 카메라로부터 거리 "r"에 위치되고 통상적으로 "발산도(exitance)"로 지칭되는 단위 면적 당, 단위 시간 당 소정 양의 광학 에너지("빛의 양") IE를 발산한다면, 형상으로부터 광센서(50)의 복사 조도 "IR"는 다음과 같으며,
Figure 112013025055656-pct00003
여기에서 D는 렌즈(40)의 지름이고, "V"는 비네팅(vignetting) 인수이다. 인수 π(D/2r)2는 형상에서 렌즈에 의해 대응되는 입체각이다. (f/r)의 양은 거리 r에서 형상에 대한 카메라의 배율이고, (f/r)2는 광학 축(44)에 대해 수직하는 평면에서 형상의 투사 면적에 대한 광센서(50) 상의 형상의 영상 면적의 비율이다. f#=f/D인 것을 기억하면, IR에 대한 수식은 다음과 같다.
Figure 112013025055656-pct00004
비네팅 인수 V는 광학 축(44) 상에서 카메라(20)로부터 거리 r만큼의 거리에 위치된 형상에 있어서, 그 형상으로부터 수집되고 광센서(50)에 영상화된 광의 양을 그 형상에 대하여 렌즈(40)에 의해 수집 및 영상화될 수 있는 최대 양의 광으로 나눈 비율과 같다. 비네팅 인수 V는 1보다 작거나 거의 같다. 이것은 일반적으로 광학 축(44)으로부터 형상의 변위량이 증가할수록, 그리고 FOV 시야각이 증가할수록 감소한다.
형상으로부터의 광에 응답하는 카메라(20)의 평균 복사 조도 "
Figure 112013025055656-pct00005
"는 카메라로부터 거리 r에서 FOV(30) 내의 형상의 모든 가능한 위치에 걸친 그 평균값 "
Figure 112013025055656-pct00006
"으로 V를 치환함으로써 결정되는데, 그것은
Figure 112013025055656-pct00007
와 같다.
이 비율은 카메라로부터 거리 r에 있는 카메라의 FOV(30) 내의 임의의 위치에 있는 형상에 대한 카메라(20)의 평균 광 수집 효율로 간주될 수 있다.
광센서(50) 내의 화소(52)가 면적 "Apx"을 갖고, 화소(52)에 입사하는 카메라의 FOV(30) 내의 영상화된 형상으로부터의 광의 양이 "Ipx"라면, 평균값으로서 (
Figure 112013025055656-pct00009
)이 된다. 주어진 양의 입사 광으로부터 신호를 제공하는 화소(52)의 "효율"을 "k"로 표시하고 형상으로부터 화소에 입사하는 광으로부터 화소(52)에 의해 생성되는 신호를 "Spx"로 표시하기로 하자. 인수 k는 예를 들면, 화소에 입사하는 단위 광학 에너지 당 화소(52)에 의해 생성되는 전자의 개수를 의미할 수 있다. 그러면 kApx는 광센서 내의 화소(52)의 기록 용량이다. 영상화된 형상에 있어서 화소(52)는 평균적으로 다음과 같은 신호를 제공한다.
Figure 112013025055656-pct00010
인수
Figure 112013025055656-pct00011
는 카메라의 광 획득 감도(light acquisition sensitivity : LAS)의 수치이다. k가 3D TOF 카메라(20)와 유사한 3D TOF 카메라의 서로 다른 구성에 대해 동일하다고 가정하는 것과, 상수
Figure 112013025055656-pct00012
의 누락은 서로 다른 3D TOF 카메라의 광 획득 감도를 비교하기 위한 상대 성능지수(figure of merit)로서 합리적으로 사용될 수 있다. 면적 Apx을 그 대각선 길이 "dpx"의 항으로 기록하고, 그것으로 광 획득 감도 LAS를 다음과 같이 정의하는 것이 편리한데,
Figure 112013025055656-pct00013
여기에서 dpx는 마이크론 단위를 갖는다.
수치적인 예시로서, 카메라(20)와 유사한 통상적인 3D TOF 카메라는 선택적으로 62°의 적당한 수평 시야각 θ 및 77°의 수직 시야각 φ에 의해 특징지어지는 FOV(30)를 갖는다. 카메라는 선택적으로 3.6mm의 수평 치수(H) 및 선택적으로 4.8mm의 수직 치수(V)를 갖는 광센서(50) 상에 장면을 영상화한다. (3.6mmx4.8mm 광센서는 1/3inch=1/3"형의 광센서로서 통상적으로 지칭되는데 왜냐하면 그 대각선이 6mm에 해당하고, 이것은 16mm의 대략 1/3이 되며, 16mm 대각선 광센서는 1"형을 갖는 것으로 지칭되기 때문이다. CCD의 출현 이전에 영상화를 위해 사용되었던 1" 직경을 갖는 레거시(legacy) 비디오 카메라 튜브가 16mm가 되는 유효 영상 센서 직경을 갖고 있었기 때문에, 16mm 대각선은 1"형 센서로서 지칭된다.) 수식 1) 및 수평 시야각 θ=62°, 또는 수식 2) 및 수직 시야각 φ=77°을 이용하면, 카메라 렌즈(40)의 초점 거리 f는 3mm가 되는 것으로 결정되고, 선택적으로 최소 f#가 1.2인 것을 특징으로 한다.
3D TOF 카메라(20)를 이용하여 장면을 영상화하고 장면 내의 형상에 대한 거리를 결정하는 데 있어서 실제적인 영상 해상도 기준은, 선택적으로 이하에서 "해상도 패치"로 지칭되는 표면 영역이 바람직한 크기를 갖고 카메라에 의해 영상화되는 카메라로부터 광센서(50) 상에 바람직한 영상 크기를 갖는 영상까지의 원하는 작동 거리에 위치되는 것을 필요로 한다. 해상도 패치를 위한 바람직한 크기는 3D TOF 카메라(20)에 의해 제공되는 거리 측정을 위한 공간 샘플링 피치(spatial sampling pitch)를 정의하도록 선택된다. 3D TOF 카메라(20)를 이용하여 사람과 컴퓨터를 인터페이스로 연결하기 위해서, 작업 거리는 1m(미터)일 것이고, 해상도 패치는 선택적으로 사각형이면서 각 변이 1cm일 것이다.
영상 해상도 기준은 선택적으로 광센서(50) 상의 해상도 패치의 영상이 언제나 광센서 내의 적어도 하나의 화소(52)를 완전히 커버하도록 것을 요구한다. 이 기준은 광센서(50) 내의 적어도 하나의 화소(52)(도 2(a))가, 작업 거리에 위치되고 광센서에서 영상화되는 형상의 해상도 패치 크기의 영역으로부터 온 광의 최대 가능 노출을 갖도록 보장하는 데 적용된다. 완전히 커버된 화소는 최적 SNR을 갖는 패치 크기의 영역으로부터의 광에 응답하여 신호를 생성할 것으로 기대되고, 그에 따라 영역 및 형상에 대한 충분한 거리 수치를 제공하기 위해 이용될 수 있다. 해상도 기준은 해상도 패치의 영상이 화소(52)의 대각선 길이의 2배가 되는 대각선을 갖는다면 충분하다고 할 수 있다. 3mm 초점 거리의 렌즈(40)에 있어서, 15마이크론(μ)의 측면 길이를 갖는 화소(52)는 해당 기준을 충족한다. 3.6mmx4.8mm 치수의 광센서(50)에 있어서, 광센서는 15μx15μ 화소의 240개의 수평 "행" 및 320개의 수직 "열"을 포함한다.
상기 3D TOF 카메라(20)의 수치적 명세에 있어서, 카메라는 그 비네팅 인수가 0.81이 되고, 수식 8)을 이용하여 계산된 LAS(light acquisition sensitivity) 값은 대략 126이 된다. 실제적으로, 카메라(20)로부터의 최대 작업 거리가 대략 3m이므로, 50%의 듀티 사이클(duty cycle)을 갖고, 대략 2.5와트(watts)의 평균 광 출력을 갖는 광 펄스의 버스트(bursts)를 방사하도록 조절 가능한 광원(22)은 카메라 명세에 있어서 화소(52)의 허용 가능한 복사 조도를 제공한다.
본 발명의 일실시예에 따르면, 복수의 능동 조명 카메라는 결합되어 넓은 각도의 FOV를 갖는 컴파운드 능동 조명 카메라를 제공한다.
도 2(a) 및 도 2(b)는 각각 본 발명의 일실시예에 따라서 카메라(20)(도 1(a) 및 도 1(b))와 유사한 2개의 선택적으로는 동일한 컴포넌트 카메라(120) 및 카메라가 영상화하는 장면(도시하지 않음)을 조명하는 광원(122)을 포함하는 컴파운드형의 넓은 각도 3D TOF 카메라(100)에 대한 사시도 및 평면도를 개략적으로 도시한다. 컴포넌트 카메라는 컴파운드 3D TOF 카메라(120)에게 카메라(20)의 수평 시야각 θ의 2배가 되는 수평 시야각 Θ을 갖는 컴파운드 FOV(130)를 제공한다.
컴포넌트 카메라(120)는 그 광센서(50)의 수직 모서리(54)가 실질적으로 평행한 지지 프레임(도시하지 않음)에 탑재되고, 카메라는 서로에 대해 회전되어, 그 각각의 FOV(30)가 "횡단"하게 하고 그 광학 축(44)이 컴포넌트 카메라의 수평 시야각 θ과 실질적으로 동일한 각도에서 FOV에 공통되는 교차 영역(45) 내에서 교차하게 한다. 가장 가까운 접근 지점 사이의 거리가 바람직한 상한 범위(upper bound) 거리보다 작다면 축(44)은 교차한다고 간주된다. 교차 영역은 최접근 지점을 포함하는 최소 직경을 갖는 구체이다. 교차 축(44)의 평면은 그 최접근 지점이 연결되는 선에 대해 수직이고 그 선을 양분하는 평면으로서 정의된다. 교차 축(44) 사이의 각도는 그것이 정의하는 평면 상에 그것의 투사체 사이의 각도이다.
최접근 부분의 바람직한 상한 범위 거리는 컴포넌트 카메라(120)에 의해 생성된 영상이 컴파운드 3D TOF 카메라(100)가 사용될 응용 분야에서 허용 가능한 거리이다. 컴포넌트 카메라(120)에 의해 생성되는 영상이 컴파운드 3D TOF 카메라(100)가 사용될 해당 응용 분야에 허용 가능하게 되도록 모서리 사이의 각도가 충분히 작다면 수직 모서리(54)는 실질적으로 평행하다고 간주된다. 실제적으로, 최적 접근부의 상한 범위 거리 및 평행한 상태로부터 수직 모서리(54)의 최대 허용 가능 편차 각도는, 적절한 영상 처리 알고리즘을 이용하여 처리된 컴포넌트 카메라(120)에 의해 제공된 영상에 응답하여 생성된 영상 내의 왜곡이 해당 영상이 사용되는 것을 방해하지 않도록 결정된다.
본 발명의 일실시예에서, 컴포넌트 카메라(120)에 의해 제공된 영상의 부드러운 스티칭(stitching), 그 각각의 광센서(50)의 영역에서 효과적인 사용 및 단순하게 영상 처리를 제공하기 위해서, 최접근 부분의 상한 범위 거리가 화소(52)의 측면의 길이에 대해 대략 20배 미만이 되는 것이 바람직하다. 예를 들면, 15μx15μ 화소(52)에 있어서 광학 축(44)의 최근접 거리가 대략 300μ(0.3mm) 이하가 되는 것이 바람직하다. 선택적으로, 최근접 거리는 화소(52)의 측면 길이보다 대략 15배 미만이다. 몇몇 실시예에서, 최근접 거리는 화소(52)의 대략 10개의 측면 길이보다 작다.
마찬가지로, 본 발명의 일실시예에서 평행한 상태로부터 수직 모서리(54)의 상한 범위 각도의 편차는 화소(52)의 측면 길이를 광센서(50)의 측면 길이로 나눈 값의 대략 20배가 된다. 15μ 화소(52) 및 3.6mmx4.8mm 치수의 광센서(50)에 있어서, 편차 각도의 상한 범위는 선택적으로 대략 5°와 같다. 선택적으로, 상한 범위 편차 각도는 2°이다. 본 발명의 몇몇 실시예에서, 상한 범위 편차 각도는 1°이다.
컴포넌트 FOV(30)는 광학 축(44) 사이의 각도를 이등분하고, 그 평면에 수직한 선(101)(도 2(b))을 포함하는 평면 내에서 서로에 대한 거울 영상이 된다. 컴포넌트 FOV(30)는 결합되어 수평 시야각 Θ=2θ과, 컴포넌트 카메라의 것과 동일한 수직 시야각 φ(도 2(a)에 도시하지 않음)을 갖는 컴파운드 FOV(130)를 형성한다.
본 발명의 일실시예에 따른 컴포넌트 FOV(30)의 "횡단" 구성은 컴포넌트 FOV가 함께 효과적인 스티칭을 형성하게 하여 크고 넓은 각도의 컴파운드 FOV(130)를 제공하는데, 여기에서 선택적으로, 컴포넌트 FOV는 좁은 평면 체적 영역(102)만을 따라서 중첩된다. 중첩된 체적은 "심(seam)(102)"으로 지칭되고, 도 1(b)에서 음영 부분으로 도시되어 있다. 심(102)의 폭은 컴포넌트 카메라(20)의 광학 중심(42)이 떨어져 있는 거리 Δ와 같다. 심(102)이 FOV(130)의 큰 부분을 점유하지 않도록 하기 위해 거리 Δ는 선택적으로 비교적 작게 만들어진다. 예를 들면, Δ는 10cm 이하일 수 있다. 몇몇 실시예에서, 분리 거리 Δ는 5cm 이하이다.
Δ의 최소 거리는 카메라(120)가 서로 얼마나 가깝게 "조립(pack)"되는지에 의해 결정된다는 것을 주지해야 한다. 최소 "조립" 거리 및 그에 따른 최소 Δ는 일반적으로 카메라(120) 내에 포함된 구성 요소의 크기에 의해 결정된다. 본 발명의 몇몇 실시예에서, 카메라(120)는 공통 하우징 내에 수용되고, 최소 조립 거리는 렌즈(42)의 직경에 의해 결정될 수 있다. 예시로서, 렌즈(42)가 2밀리미터만큼 작은 직경을 갖고 있으면 최소 조립 거리 및 최소 Δ는 대략 5밀리미터 이하가 될 수 있다.
어느 컴파운드 카메라(20)에 의해서도 영상화되지 않는 사각 영역(dead region)(104)은 컴포넌트 카메라(20) 앞에서 연장된다. 사각 영역의 체적 및 컴포넌트 카메라(20) 앞에서 연장되는 거리는 Δ가 감소함에 따라 감소한다. 몇몇 실시예에서, 분리 거리 Δ는 사각 영역의 범위가 의도되는 적용 분야에 있어서 컴파운드 3D TOF 카메라(100)의 충분한 기능에 부정적인 영향을 주지 않도록 결정된다. 예를 들면, 사람과 컴퓨터 사이를 인터페이스로 연결하는 데 있어서, 사각 영역이 컴포넌트 카메라(120)의 광학 중심(42)을 결합하는 선으로부터 대략 20cm의 최대 거리까지 연장되는 것이 바람직할 것이다.
심(102) 내에 위치된 지점이 양 쪽 컴포넌트 카메라(120) 모두에 의해 영상화되고, 본 발명의 실시예에서 카메라는 심 내에 위치된 장면의 형상을 위해 컴포넌트 카메라에 의해 제공된 거리에 응답하여 서로에 대해 정렬 및/또는 보정된다는 것을 주지하라. 예를 들면, 컴포넌트 카메라로부터의 작업 거리에서 심(102) 내에 위치된 형상에 있어서, 카메라는 실질적으로 동일한 거리를 제공해야 한다. (작업 거리"WD"에서, 컴포넌트 카메라로부터 심(102) 내의 동일한 형상의 거리 사이에 미소한 차이는 (1/2)(Δ/WD)2보다 작다. 그 차이는 일반적으로 매우 작을 것이다. 예를 들면, WD=100cm 및 Δ=5cm에 있어서, 그 차이는 대략 1밀리미터이다.) 본 발명의 일실시예에 따르면, 서로에 대한 컴포넌트 카메라(120)의 위치는 조정되거나, 카메라의 오정렬(misalignment)은 보정되어, 양쪽의 컴포넌트 카메라가 모두 심(102) 내에 위치된 동일한 형상에 대해 동일한 거리를 제공할 수 있다.
상술된 바와 같은 예시로서, 각 광 펄스 이후의 노출 주기의 지연 시간에 응답하는 펄스(24)에 대한 왕복 횟수를 결정하는 컴포넌트 카메라(120)에 있어서, 카메라(120)의 보정은 선택적으로 다른 카메라(120)의 노출 주기에 대한 한 카메라(120)의 노출 주기의 타이밍을 조정하는 것을 포함한다. 몇몇 실시예에서, 노출 주기 사이의 상대적 타이밍의 조정은 노출 주기를 동기화하는 것을 포함한다. 몇몇 실시예에서, 타이밍의 조정은 다른 카메라의 노출 주기에 대하여 한 카메라의 노출 주기를 지연시키는 것을 포함한다.
컴파운드 3D TOF 카메라(100)는 컴포넌트 카메라(120)의 수평 시야각 θ에 2배가 되는 수평 시야각 Θ의 특징을 갖는 컴파운드 FOV(130)를 구비하는 반면에, 컴포넌트 카메라의 초점 거리, f#, 영상 해상도 및 LAS 값을 유지한다. FOV(130)가 컴포넌트 FOV(30)의 체적에 비해 실질적으로 2배만큼 큰 체적을 갖기 때문에, 광원(122)은 도 1(a) 및 도 1(b)에 도시된 카메라(20)의 광원(22)에 의해 제공되는 것에 비해 2배만큼의 광 출력을 제공하는 것이 유리하다.
수치적 예시로서, 컴포넌트 FOV(30)가 각각 62° 및 77°의 수평 및 수직 시야각 θ 및 φ을 갖는다고 가정하면, 컴파운드 FOV(130)는 넓은 수평 시야각 Θ=124° 및 77°의 수직 시야각을 갖고, 126의 LAS 값을 유지한다. 광원(122)이 광원(22)(도 1(a) 및 도 1(b))의 광 출력에 비해 2배인 광 출력을 제공한다면, 컴파운드 카메라(20) 내의 화소(52)는 확대형 컴파운드 FOV(130) 내의 형상을 영상화하는 데 있어서 3D TOF 카메라(20)의 화소(52)가 도 1(a) 및 도 1(b)에 도시된 "작은" FOV(30) 내에 형상을 영상화하는 것과 동일한 방사 레벨로 노출될 것이다.
제 2의 수치적 예시로서, 대략 140°의 수평 시야각 및 대략 90°의 수직 시야각을 갖는 것을 특징으로 하는 넓은 각도의 확대형 FOV를 갖는 3D TOF 카메라가 특정 적용 분야에서 바람직하다고 가정한다. 또한 카메라에 의해 제공되는 영상이 대략 0.7cm의 공간 샘플링 피치에서의 거리 수치 및 그에 따라 측면에서 0.7cm의 해상도 패치를 제공하도록 처리된다고 가정한다.
바람직한 시야각 및 공간 해상도를 제공하는 컴파운드 카메라(100)와 유사한 본 발명의 일실시예에 따른 컴파운드 카메라는 대략 70°의 수평 시야각 및 대략 90°의 수직 시야각을 갖는 것을 특징으로 하는 FOV(30)를 구비한 컴포넌트 카메라(120)를 포함할 수 있다. 선택적으로, 각각의 컴포넌트 카메라는 7.5μx7.5μ 화소의 480개의 수평 행 및 640개의 수직 열과, 결과적인 수평 및 수직 치수 H 및 V가 각각 3.6mm 및 4.8mm인 광센서(50)를 포함한다. 컴포넌트 카메라는 초점 거리 f가 2.5mm이고, f#가 선택적으로 1.3이고, 비네팅 인수 V가 0.66일 수 있다. 컴포넌트 카메라 및 컴파운드 3D TOF 카메라를 위한 특징적인 LAS 번호는 대략 22이다.
도 3(a)은 본 발명의 일실시예에 따른 다른 컴파운드 3D TOF 카메라(150)에 대한 평면도를 개략적으로 도시한다.
컴파운드 3D TOF 카메라(150)는 컴파운드 3D TOF 카메라(100)(도 2(a) 및 도 2(b))에서와 동일한 컴포넌트 카메라(120)를 포함하고, 수평 시야각 Θ=2θ을 갖는 확대된 FOV(130)를 제공한다. 그러나 컴파운드 카메라(100)(도 2(a) 및 도 2(b)) 내에서 컴포넌트 카메라(120)는 그 각각의 광학 축(44) 및 FOV(30)를 회전하기 위해서 서로에 대해 회전되어야 하는 반면에, 컴파운드 3D TOF 카메라(150) 내에서 컴포넌트 카메라는 서로에 대해 평행하게 정렬된다. 컴파운드 카메라(150)는 각각의 컴포넌트 카메라(120)에 대한 프리즘(152)을 포함하고, 이것은 확대된 FOV(130)를 생성하기 위해 θ/2의 각도만큼 그 각각의 광학 축(44) 및 FOV(30)를 회전한다.
도 2(a) 내지 도 3(a)에 도시된 컴파운드 카메라 등과 같이 본 발명의 실시예에 따라서 컴파운드 3D TOF 카메라를 특징짓는 것과 유사한 넓은 각도의 FOV를 갖는 3D TOF 카메라를 제공하는 것은 기술적으로 어려운 일일 수 있다.
예를 들면, 카메라(20)(도 1(a) 및 도 1(b))와 유사하게 구성되었으나 도 2(a) 및 도 2(b)에 도시된 컴파운드 3D TOF 카메라(100)에 대하여 상술된 제 1 수치적 예시에 명기된 것과 같이, 동일한 124°의 넓은 수평 시야각을 갖는 것을 특징으로 하는 FOV를 구비한 통상적인 3D TOF 카메라를 고려한다. 수평으로 확대된 124°의 시야각 FOV를 제공하기 위해서, 통상적인 넓은 각도의 3D TOF 카메라는 카메라(20)에 대하여 주어진 예시적인 수치적 명세 내에 언급된 3.6mm보다 더 큰 수평 치수 H(도 1(b))를 갖는 광센서를 포함할 수 있다. 특히, 통상적인 넓은 각도의 3D TOF 카메라 내의 광센서는 상업적으로 입수 가능한 1/2" 표준 포맷(8mm 대각선 치수)이고, 7.3mm의 수평 치수 H(도 1(b)) 및 3.3mm의 수직 치수 V를 가질 것이다. 수평 시야각 θ 및 광센서 수평 치수 H에 대한 초점 거리 f의 관계를 나타내는 수식 1)을 이용하면, 통상적인 넓은 각도 카메라에 있어서 렌즈(40)에 의해 요구되는 초점 거리 f는 2.1mm이다. 렌즈는 f#가 1.8이고, 비네팅 인수 V=0.21일 것이다. 컴파운드 카메라(100)에 대하여 앞서 제시된 수치적 예시에서 충족되었던 것과 동일한 영상 해상도 기준을 만족하기 위해서, 광센서(50) 내의 화소(52)는 10.4μ의 측면 길이를 가져야 한다. 통상적인 124°의 수평 시야각 3D TOF 카메라의 구성 요소에 대한 상기 값을 이용하면, 통상적인 카메라는 대략 23의 LAS를 가질 것이다.
통상적인 카메라의 LAS 값은 3D TOF 카메라(100, 150)의 LAS 값인 126에 비해 대략 1/6이 된다. 동일한 작업 환경에 있어서, 통상적인 넓은 수평 시야각의 3D TOF 카메라가 장면을 영상화하기 위해 필요한 광 출력을 제공하는 광원은, 해당 장면을 영상화하기 위해 동일한 넓은 수평 시야각을 갖는 본 발명의 실시예에 따른 3D TOF 카메라에 의해 요구되는 광 출력의 6배의 광 출력을 제공하는 것을 필요로 한다.
본 발명의 일실시예에 따른 3D TOF 카메라에 대하여 상술되어 있는 제 2의 수치적 예시와의 비교를 위해서, 각각 대략 140° 및 대략 90°의 수평 및 수직 시야각을 제공하는 통상적인 카메라는 5μx5μ 화소를 갖고 수평 및 수직 치수가 각각 8.5mm 및 3.2mm인 광센서를 포함할 수 있다. 렌즈는 그 유효 초점 거리가 대략 1.65mm이고, f#가 선택적으로 2.4가 되고, 결과적인 비네팅 인수 V가 0.15일 수 있다. 통상적인 카메라는 LAS가 대략 0.65일 수 있는데, 이것은 제 2의 수치적 예시에서 명시된 본 발명의 일실시예에 따른 대응하는 컴파운드 카메라에 대한 LAS의 대략 1/34에 해당한다.
컴파운드 카메라(100, 150)(도 2(a) 내지 도 3(a))의 상기 설명에서, 컴파운드 카메라 내에 포함된 컴포넌트 카메라(120)의 광학 축(44) 사이의 각도는 θ와 같고, 컴파운드 카메라의 각각의 확대된 FOV(130)는 넓은 시야각 Θ=2θ을 갖는다. 그러나 본 발명의 일실시예에 따른 컴파운드 카메라를 위한 넓은 각도의 FOV는 컴포넌트 카메라의 FOV 시야각 θ와는 상이한 컴파운드 카메라의 컴포넌트 카메라(120)의 광학 축(44) 사이의 각도에 의해 제공될 수 있다.
도 3(b)은 본 발명의 일실시예에 따라서 FOV 시야각 θ를 갖고, 그 각각의 광학 축(44) 사이에 각도(θ+α)를 갖는 2개의 컴포넌트 카메라(120)를 포함하는 컴파운드 카메라(170)에 대한 평면도를 개략적으로 도시하는데, 여기에서 예시적으로 α는 0보다 크다. 컴파운드 카메라(170)는 시야각 Θ=(2θ+α)을 갖는 FOV(171)를 구비한다. 컴포넌트 카메라(120)의 FOV가 중첩되는 심(172)은 컴파운드 카메라(100, 150) 내의 심(102)과 같이 더 이상 평탄하지는 않지만, 컴파운드 카메라(170)로부터의 거리에 따라 감소하고, 카메라로부터 거리 "Z"에서 사라지는 단면을 갖는다.
FOV의 시야각에서의 가능한 바람직한 증가가 α의 양의 값에 의해 제공되는 반면, 도 3(b)에서 음영 영역(173)으로 도시된 사각 영역은 어느 컴포넌트 카메라(120)도 영상을 제공하지 않는 컴파운드 카메라의 FOV(171) 내에 생성된다. 컴파운드 카메라(170)로부터 거리 Z에서 시작되는 사각 지역(dead zone)(173)은 표현식 Z=Δ/2tan(α/2)에 의해 추정될 수 있는데, 여기에서 Δ는 컴포넌트 카메라(120)의 광학 중심(42) 사이의 거리이다. 작은 각도 α에 있어서, Z는 대략 Δ/α와 같다.
α에 대한 상한값은 선택적으로 컴파운드 카메라(170)가 연속적이고, 중단 없는 영상을 제공하기 위해 의도되는 바람직한 심도(depth of field)보다 크게 되도록 거리 Z를 억제함으로써 결정된다. 예를 들어, 컴파운드 카메라(170)가 카메라(170)로부터 2m의 심도까지 중단 없는 영상을 제공하도록 의도되고, Δ가 2cm이면, α에 대한 상한값은 대략 0.6°가 된다.
도 3(b)에서 α가 0미만의 값이라면, Θ=(2θ+α)는 당연히 2θ 미만일 것이고, 컴포넌트 카메라(120)의 FOV가 중첩하는 심의 폭은 컴파운드 카메라(170)로부터의 거리에 따라 증가할 것이다. 예를 들어, 컴포넌트 카메라(120)에 대한 강화된 보정을 제공할 가능성이 있는 분야에 사용하는데 있어서 심의 폭 증가가 바람직하지 않다면, 카메라(120)의 사용은 일반적으로 효과적이지 않을 것이다. 예를 들면, 카메라는 더 작은 광센서(50)를 구비한 아마도 덜 값비싼 카메라에 의해 대체될 수 있을 것이다. 일반적으로, α가 0 이상인 것이 바람직하다. α에 대한 하한 값은 선택적으로 컴포넌트 카메라(120)의 사용에 있어서의 비능률성이 완화되도록 결정된다.
상기 설명에서, 본 발명의 실시예에 따른 컴파운드 카메라는 동일한 FOV를 갖는 동일한 컴포넌트 카메라를 포함하는 것으로 도시되어 있다. 그러나 본 발명의 실시예는 동일한 FOV를 갖는 컴포넌트 카메라를 포함하는 컴파운드 카메라로 제한되지 않는다. 예를 들면, 본 발명의 일실시예에 따른 컴파운드 카메라는 서로 다른 FOV를 갖는 컴포넌트 카메라를 포함할 수 있다. 도 3(c)은 수평 시야각 θ를 갖는 제 1 컴포넌트 카메라(181) 및 수평 시야각 β를 갖는 제 2 컴포넌트 카메라(182)를 포함하는 컴파운드 카메라(180)에 대한 평면도를 개략적으로 도시한다. 컴포넌트 카메라는 그 각각의 광학 축이 1/2(θ+β)의 각도에서 교차되어 넓은 수평 시야각 Θ=(θ+β)를 갖는 FOV(185)를 제공하도록 위치된다.
상기 명세서 내에서 컴파운드 카메라는 2개의 컴포넌트 카메라를 포함하는 것으로 도시되어 있는 반면, 본 발명의 일실시예에 따른 컴파운드 카메라는 2개 이상의 컴포넌트 카메라를 포함할 수 있다. 예시로서 본 발명의 일실시예에 따라서 3개의 선택적으로는 동일한 컴포넌트 카메라(203)를 포함하는 컴파운드 카메라(200)는 도 4 내의 사시도에 개략적으로 도시되어 있다. 각각의 컴포넌트 카메라(203)는 수직 모서리(54)를 갖는 광센서(50)(그 중 일부만이 도면 내에 라벨링되어 있음), 광학 축(44) 및 수평 시야각 θ에 의한 특징을 갖는 FOV(30)를 구비한다.
컴파운드 카메라(200)에서, 컴포넌트 카메라(203)는 그 광학 축(44)이 실질적으로 동일 평면 상에 있고, 선택적으로 동일한 교차 영역(205)에서 교차하도록 구성된다. 3개의 축 중 어느 2개 축의 최근접 지점이 적합한 상한 범위 미만의 직경을 갖는 동일 교차 영역 내에 포함된다면 광학 축(44)은 동일한 교차 영역을 교차한다고 간주된다. 축 중에서 임의의 2개 축에 의해 정의되는 평면 사이의 각도가 상한 범위 각도 미만이라면, 컴파운드 카메라(200)가 의도되었던 적용 분야에서 해당 영상이 사용 불가능하게 될 정도로 카메라에 의해 제공되는 영상의 왜곡이 심각하지는 않기 때문에 광학 축은 실질적으로 동일 평면 상에 있다고 간주된다. 광센서(50)의 수직 모서리(54)는 광학 축(44)의 평면에 대해 수직한다. 임의의 2개의 인접한 광학 축(44) 사이의 각도는 θ이다. 그러므로 컴파운드 3D TOF 카메라는 수평 시야각 Θ=3θ를 갖는 컴파운드 FOV(207)를 구비한다.
도 5는 본 발명의 일실시예에 따라서 각각 광학 축(321, 322, 323, 324)을 갖는 4개의 선택적으로는 동일한 컴포넌트 카메라(221, 222, 223, 224)와, 수평 시야각 θ 및 수직 시야각 φ를 갖는 FOV(30)를 포함하는 3D TOF 카메라(220)를 개략적으로 도시한다. 본 발명의 일실시예에서, 모든 광학 축(321, 322, 323, 324)은 동일한 교차 영역(230)에서 교차한다. 카메라는 광학 축(321)과 광학 축(322) 사이의 각도 및 광학 축(323)과 광학 축(324) 사이의 각도가 θ가 되도록 배향된다. 마찬가지로, 카메라는 광학 축(321)과 광학 축(323) 사이의 각도 및 광학 축(322)과 광학 축(324) 사이의 각도가 φ가 되도록 배향된다. 그러므로 컴파운드 카메라(150)는 수평 시야각 Θ=2θ 및 수직 시야각 Φ=2φ인 것을 특징으로 하는 컴파운드 FOV를 구비한다.
본 출원의 상세한 설명 및 청구항에서, 각각의 "포함한다" "구비한다" 및 "갖는다"라는 동사 및 그 활용예는 그 동사의 목적어가 반드시 해당 동사의 주어의 구성 요소, 성분 또는 부분의 전체 목록을 의미하지는 않는다는 것을 나타내도록 사용되었다.
본 출원에서 본 발명의 실시예에 대한 설명은 예시로서 제공된 것이고 본 발명의 범주를 제한하도록 의도된 것이 아니다. 설명된 실시예는 서로 다른 특징부를 포함하지만, 그 모두가 본 발명의 모든 실시예에서 필요한 것은 아니다. 몇몇 실시예는 특징부 중 일부만을 이용하거나, 특징부의 가능한 조합을 이용할 수 있다. 설명되어 있는 본 발명의 실시예에 대한 변형 및 설명된 실시예에서 언급된 특징부의 서로 다른 조합을 포함하는 본 발명의 실시예는 당업자에게 명확할 것이다. 본 발명의 범주는 오로지 청구항에 의해서만 제한된다.

Claims (19)

  1. 능동 조명 영상 시스템(active illumination imaging system)에 있어서,
    카메라에 의해 영상화되는 장면(scene)을 조명하는 광원과;
    제 1 카메라 및 제 2 카메라를 포함하고;
    상기 제 1 카메라 및 상기 제 2 카메라 각각은, 광학 시스템 - 상기 광학 시스템은, 광학 축(optical axis) 및 상기 광학 시스템이 광을 영상화하는 화소들을 가지는 광센서(photosensor)를 포함함 - 및 상기 광학 축을 포함하는 평면 내에서 시야각에 의해 특징지어지는 FOV(field of view)를 포함하고;
    상기 제 1 카메라의 광학 축 및 상기 제 2 카메라의 광학 축은, 상기 능동 조명 영상 시스템에 확대된 FOV를 제공하기 위하여, 상기 제 1 카메라의 FOV 및 상기 제 2 카메라의 FOV에 공통되는 교차 영역에서, 상기 제 1 카메라의 시야각과 상기 제 2 카메라의 시야각의 합계의 절반과 실질적으로 동일한 각도로 교차하고,
    상기 확대된 FOV는, 상기 교차하는 광학 축들에 의해 정의되는 평면에서 상기 제 1 카메라의 시야각과 상기 제 2 카메라의 시야각의 합계와 실질적으로 동일한 확대된 시야각을 가지고,
    서로 인접한 상기 제 1 카메라의 FOV의 상기 평면과의 교차부와 상기 제 2 카메라의 FOV의 상기 평면과의 교차부는 실질적으로 평행한 것인, 능동 조명 영상 시스템.
  2. 제 1 항에 있어서,
    상기 제 1 카메라의 시야각과 상기 제 2 카메라의 시야각은 동일한 것인, 능동 조명 영상 시스템.
  3. 제 1 항에 있어서,
    상기 제 1 카메라의 시야각과 상기 제 2 카메라의 시야각은 동일하지 않은 것인, 능동 조명 영상 시스템.
  4. 제 1 항에 있어서,
    상기 확대된 시야각은 90° 이상인 것인, 능동 조명 영상 시스템.
  5. 제 4 항에 있어서,
    상기 확대된 시야각은 120° 이상인 것인, 능동 조명 영상 시스템.
  6. 제 5 항에 있어서,
    상기 확대된 시야각은 150° 이상인 것인, 능동 조명 영상 시스템.
  7. 제 1 항에 있어서,
    제 3 카메라를 더 포함하고,
    상기 제 3 카메라의 광학 축은 상기 제 2 카메라의 광학 축과 교차하는 것인, 능동 조명 영상 시스템.
  8. 제 7 항에 있어서,
    상기 제 2 카메라의 광학 축 및 상기 제 3 카메라의 광학 축에 의해 정의된 평면은, 상기 제 1 카메라의 광학 축 및 상기 제 2 카메라의 광학 축에 의해 정의된 평면과 실질적으로 일치하는(coincident) 것인, 능동 조명 영상 시스템.
  9. 제 8 항에 있어서,
    상기 제 2 카메라의 광학 축 및 상기 제 3 카메라의 광학 축은 상기 제 2 카메라의 시야각과 상기 제 3 카메라의 시야각의 합계의 절반과 실질적으로 동일한 각도로 교차하는 것인, 능동 조명 영상 시스템.
  10. 제 7 항에 있어서,
    상기 제 2 카메라의 광학 축 및 상기 제 3 카메라의 광학 축에 의해 정의된 평면은, 상기 제 1 카메라의 광학 축 및 상기 제 2 카메라의 광학 축에 의해 정의된 평면과 실질적으로 수직인(perpendicular) 것인, 능동 조명 영상 시스템.
  11. 제 10 항에 있어서,
    상기 제 2 카메라는 상기 제 2 카메라의 광학 축 및 상기 제 3 카메라의 광학 축에 의해 정의된 평면 내에 시야각을 가지고,
    상기 제 2 카메라의 광학 축 및 상기 제 3 카메라의 광학 축은, 상기 제 2 카메라의 광학 축 및 상기 제 3 카메라의 광학 축의 평면 내에서, 상기 제 3 카메라의 시야각과 상기 제 2 카메라의 시야각의 합계의 절반과 실질적으로 동일한 각도로 교차하는 것인, 능동 조명 영상 시스템.
  12. 제 1 항에 있어서,
    상기 제 1 카메라 및 상기 제 2 카메라는, 상기 제 1 카메라 및 상기 제 2 카메라가 영상화하는 장면 내의 형상(feature)들에 대한 거리를 제공하는 3D 카메라인 것인, 능동 조명 영상 시스템.
  13. 제 12 항에 있어서,
    상기 3D 카메라는 TOF(time of flight) 카메라인 것인, 능동 조명 영상 시스템.
  14. 영상 시스템에 있어서,
    제 1 카메라 및 제 2 카메라를 포함하고,
    상기 제 1 카메라 및 상기 제 2 카메라 각각은, 광학 축 및 상기 광학 축을 포함하는 평면 내에서 시야각에 의해 특징지어지는 FOV(field of view)를 가지고,
    상기 제 1 카메라의 광학 축 및 상기 제 2 카메라의 광학 축은, 상기 영상 시스템에 확대된 FOV를 제공하기 위하여, 상기 제 1 카메라의 FOV 및 상기 제 2 카메라의 FOV에 공통되는 교차 영역에서, 상기 제 1 카메라의 시야각과 상기 제 2 카메라의 시야각의 합계의 절반과 실질적으로 동일한 각도로 교차하고,
    상기 확대된 FOV는, 상기 교차하는 광학 축들에 의해 정의되는 평면에서 상기 제 1 카메라의 시야각과 상기 제 2 카메라의 시야각의 합계와 실질적으로 동일한 확대된 시야각을 가지고,
    서로 인접한 상기 제 1 카메라의 FOV의 상기 평면과의 교차부와 상기 제 2 카메라의 FOV의 상기 평면과의 교차부는 실질적으로 평행한 것인, 영상 시스템.
  15. 제 14 항에 있어서,
    상기 영상 시스템이 영상화하는 광에 대한 상기 영상 시스템의 감도의 측정치는, 상기 영상 시스템의 평균 비네팅 인수(vignetting factor)에 상기 영상 시스템 내의 화소의 직경을 상기 영상 시스템의 최소 f#로 나눈 몫의 제곱을 곱한 값과 동일하고,
    상기 측정치는 20보다 큰 값을 갖는 것인, 영상 시스템.
  16. 제 15 항에 있어서,
    상기 측정치는 50보다 큰 값을 갖는 것인, 영상 시스템.
  17. 제 15 항에 있어서,
    상기 측정치는 100보다 큰 값을 갖는 것인, 영상 시스템.
  18. 제 15 항에 있어서,
    상기 측정치는 120보다 큰 값을 갖는 것인, 영상 시스템.
  19. 제 14 항에 있어서,
    상기 교차하는 광학 축들에 의해 정의된 평면 내에서, 상기 제 1 카메라의 시야각과 상기 제 2 카메라의 시야각의 합계와 실질적으로 동일한 확대된 시야각을 가지는 확대된 FOV를 포함하는 것인. 영상 시스템.
KR1020137007386A 2010-09-24 2011-09-22 넓은 각도의 ｆｏｖ를 갖는 능동 조명 영상 시스템 KR101833576B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/889,479 US8988508B2 (en) 2010-09-24 2010-09-24 Wide angle field of view active illumination imaging system
US12/889,479 2010-09-24
PCT/US2011/052759 WO2012040463A2 (en) 2010-09-24 2011-09-22 Wide angle field of view active illumination imaging system

Publications (2)

Publication Number Publication Date
KR20130114100A KR20130114100A (ko) 2013-10-16
KR101833576B1 true KR101833576B1 (ko) 2018-02-28

Family

ID=45870249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137007386A KR101833576B1 (ko) 2010-09-24 2011-09-22 넓은 각도의 ｆｏｖ를 갖는 능동 조명 영상 시스템

Country Status (8)

Country Link
US (1) US8988508B2 (ko)
EP (1) EP2619987B1 (ko)
JP (1) JP5845266B2 (ko)
KR (1) KR101833576B1 (ko)
CN (1) CN102508391B (ko)
CA (1) CA2810892C (ko)
IL (1) IL225137A (ko)
WO (1) WO2012040463A2 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070127909A1 (en) * 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
US8988508B2 (en) * 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
WO2013012335A1 (en) 2011-07-21 2013-01-24 Ziv Attar Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
WO2014106843A2 (en) * 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
US9516248B2 (en) 2013-03-15 2016-12-06 Microsoft Technology Licensing, Llc Photosensor having enhanced sensitivity
US9733344B2 (en) 2013-11-25 2017-08-15 Electronics And Telecommunications Research Institute Laser radar apparatus and method for operating thereof
EP2884460B1 (en) * 2013-12-13 2020-01-01 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
US9196039B2 (en) * 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
KR102135177B1 (ko) 2014-06-27 2020-07-20 한국전자통신연구원 능동형 이미징 시스템 구현 방법 및 장치
JP2016114963A (ja) 2014-12-11 2016-06-23 株式会社リコー 入力操作検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及びプロジェクタシステム
CN107864667A (zh) * 2014-12-27 2018-03-30 贾迪安光学技术有限公司 用于检测表面的多个振动的系统及方法
US10717001B2 (en) 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
US10421012B2 (en) 2016-03-25 2019-09-24 Zero Latency PTY LTD System and method for tracking using multiple slave servers and a master server
US9916496B2 (en) 2016-03-25 2018-03-13 Zero Latency PTY LTD Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects
US10486061B2 (en) 2016-03-25 2019-11-26 Zero Latency Pty Ltd. Interference damping for continuous game play
US10071306B2 (en) 2016-03-25 2018-09-11 Zero Latency PTY LTD System and method for determining orientation using tracking cameras and inertial measurements
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
JP6333921B2 (ja) * 2016-11-09 2018-05-30 ファナック株式会社 撮像装置及び撮像方法
CN114143435A (zh) * 2016-11-10 2022-03-04 奇跃公司 用于多个f值镜头的方法和系统
US10687000B1 (en) * 2018-06-15 2020-06-16 Rockwell Collins, Inc. Cross-eyed sensor mosaic
EP3671277A1 (en) * 2018-12-21 2020-06-24 Infineon Technologies AG 3d imaging apparatus and method
US11597104B2 (en) * 2019-07-31 2023-03-07 X Development Llc Mobile robot sensor configuration
US11516391B2 (en) 2020-06-18 2022-11-29 Qualcomm Incorporated Multiple camera system for wide angle imaging

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025340A (ja) 2004-07-09 2006-01-26 Canon Inc 広角撮像装置、撮像システムおよびその制御方法
JP2010206643A (ja) 2009-03-04 2010-09-16 Fujifilm Corp 撮像装置、方法およびプログラム

Family Cites Families (191)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
JPS60172888A (ja) * 1984-02-17 1985-09-06 Matsushita Electric Ind Co Ltd 広角テレビカメラ
JPS60172888U (ja) 1984-04-20 1985-11-15 株式会社　田中コンクリ−ト 側溝ブロツク
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
GB2185360B (en) 1986-01-11 1989-10-25 Pilkington Perkin Elmer Ltd Display system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ko) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ　スポーテク　コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5532737A (en) 1993-05-03 1996-07-02 Bell Communications Research, Inc. Camera arrangement with wide field of view
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
WO1995034044A1 (en) * 1994-06-09 1995-12-14 Kollmorgen Instrument Corporation Stereoscopic electro-optical system for automated inspection and/or alignment of imaging devices on a production assembly line
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5657073A (en) 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
WO1997041925A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
US5937212A (en) * 1996-11-15 1999-08-10 Canon Kabushiki Kaisha Image pickup apparatus
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6304285B1 (en) 1998-06-16 2001-10-16 Zheng Jason Geng Method and apparatus for omnidirectional imaging
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US6744569B2 (en) 2001-06-19 2004-06-01 Genex Technologies, Inc Method and apparatus for omnidirectional three dimensional imaging
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
DE50302813D1 (de) 2002-04-19 2006-05-18 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20030222977A1 (en) 2002-06-03 2003-12-04 Kazutora Yoshino Intelligent system and 3D virtual object generator
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7893957B2 (en) * 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
US7084904B2 (en) * 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US20050117015A1 (en) * 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7495694B2 (en) * 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
JP2005099572A (ja) 2003-09-26 2005-04-14 Chuo Electronics Co Ltd 広域撮影方法および表示方法
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
WO2006074289A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
US7062006B1 (en) * 2005-01-19 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Computed tomography with increased field of view
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
WO2006124935A2 (en) 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
KR100693316B1 (ko) 2005-10-24 2007-03-13 (주) 지씨티인터내셔날 서로 다른 영역을 촬영하는 2대의 카메라가 일체화된차량용 후방 감시카메라와 이의 구동 제어를 위한 시스템
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US8059185B2 (en) 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
DE102006027836B4 (de) * 2006-06-16 2020-02-20 Carl Zeiss Microscopy Gmbh Mikroskop mit Autofokuseinrichtung
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7749892B2 (en) * 2006-11-29 2010-07-06 International Business Machines Corporation Embedded nano UV blocking and diffusion barrier for improved reliability of copper/ultra low K interlevel dielectric electronic devices
US8224122B2 (en) 2006-12-15 2012-07-17 Microsoft Corporation Dynamic viewing of wide angle images
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
EP2185255A4 (en) * 2007-09-21 2013-08-14 Playdata Llc SYSTEM AND PROCESS FOR LOCATION AND MOVEMENT
US7852461B2 (en) 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US20100110069A1 (en) 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
GB2480193B (en) * 2009-01-19 2015-01-21 Minoru Inaba Stereoscopic video imaging display system
US8570423B2 (en) * 2009-01-28 2013-10-29 Hewlett-Packard Development Company, L.P. Systems for performing visual collaboration between remotely situated participants
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
US8988508B2 (en) * 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
US9823339B2 (en) * 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
US9720089B2 (en) * 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025340A (ja) 2004-07-09 2006-01-26 Canon Inc 広角撮像装置、撮像システムおよびその制御方法
JP2010206643A (ja) 2009-03-04 2010-09-16 Fujifilm Corp 撮像装置、方法およびプログラム

Also Published As

Publication number Publication date
CA2810892A1 (en) 2012-03-29
US20120075427A1 (en) 2012-03-29
CA2810892C (en) 2017-11-07
US8988508B2 (en) 2015-03-24
CN102508391B (zh) 2014-11-19
JP5845266B2 (ja) 2016-01-20
KR20130114100A (ko) 2013-10-16
JP2013544455A (ja) 2013-12-12
EP2619987A4 (en) 2014-08-27
WO2012040463A3 (en) 2012-06-07
CN102508391A (zh) 2012-06-20
WO2012040463A2 (en) 2012-03-29
EP2619987A2 (en) 2013-07-31
IL225137A (en) 2017-01-31
EP2619987B1 (en) 2017-09-20

Similar Documents

Publication Publication Date Title
KR101833576B1 (ko) 넓은 각도의 ｆｏｖ를 갖는 능동 조명 영상 시스템
US9720089B2 (en) 3D zoom imager
TWI668997B (zh) 產生全景深度影像的影像裝置及相關影像裝置
US6304285B1 (en) Method and apparatus for omnidirectional imaging
KR100988872B1 (ko) 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서
JP4115801B2 (ja) ３次元撮影装置
US20140192238A1 (en) System and Method for Imaging and Image Processing
US8908054B1 (en) Optics apparatus for hands-free focus
CN100501569C (zh) 全方向立体摄像机及其控制方法
CN102609152B (zh) 大视场角图像检测电子白板图像采集方法及装置
CN112866512B (zh) 复眼摄像装置及复眼系统
CN110440763B (zh) 一种航测装置
US20220201163A1 (en) Background display device, background display system, recording system, camera system, digital camera and method of controlling a background display device
JP3752063B2 (ja) 全方位ステレオ画像撮影装置
CN102819179A (zh) 一种单照相机全景立体成像系统
KR100624051B1 (ko) Ｃｍｏｓ 이미지 센서 및 그를 포함하는 전방위 영상시스템
Wang High resolution 2D imaging and 3D scanning with line sensors
JP2021004762A (ja) 計測装置、撮像装置、計測システム、制御方法、プログラム及び記録媒体
JP2016046774A (ja) 撮像装置
US20220321779A1 (en) Measuring system with panoramic image acquisition functionality
JP6901022B2 (ja) 撮像装置
JP2007057386A (ja) カメラ１台を用いたインライン３次元計測装置及び計測方法
JP4020911B2 (ja) ３次元撮影装置
JP2001309403A (ja) 全周立体カメラ
JP2002214726A (ja) 撮像装置及びその方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant