JP7270702B2 - 深度感知システムおよび方法 - Google Patents
深度感知システムおよび方法 Download PDFInfo
- Publication number
- JP7270702B2 JP7270702B2 JP2021179296A JP2021179296A JP7270702B2 JP 7270702 B2 JP7270702 B2 JP 7270702B2 JP 2021179296 A JP2021179296 A JP 2021179296A JP 2021179296 A JP2021179296 A JP 2021179296A JP 7270702 B2 JP7270702 B2 JP 7270702B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- projection device
- sensor
- light projection
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 33
- 239000000835 fiber Substances 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims 1
- 230000010363 phase shift Effects 0.000 claims 1
- 238000001228 spectrum Methods 0.000 description 55
- 230000003287 optical effect Effects 0.000 description 37
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 7
- 238000003672 processing method Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 238000003708 edge detection Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000033458 reproduction Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
- G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Power Engineering (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Human Computer Interaction (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Description
本願は、米国仮出願第62/301,847号,出願日2016年3月1日、代理人管理番号ML.30066.00、発明の名称“DEPTH SENSING SYSTEMS AND METHODS”に対する優先権を主張するものである。本願は、米国仮特許出願第62/012,273号,出願日2014年6月14日(代理人管理番号ML.30019.00)および米国特許出願第14/738,877号、出願日2013年6月13日(代理人管理番号ML.20019.00)に関連している。上記特許出願の内容は、完全に記載されているかのように、それらの全体が参照により本明細書中に明示的かつ完全に援用される。特許出願第62/012,273号および第14/738,877号に記載されているのは、仮想現実および拡張現実システムの実施形態であり、そこでは、投影された光が深度感知において用いられる。本明細書中に記載されているのは、投影光深度感知システムおよび深度感知のための光センサのさらなる実施形態である。
本発明は、例えば、以下を提供する。
(項目1)
深度感知システムであって、
光を表面から受信する第1および第2のセンサピクセルを有するセンサと、
赤外線光を前記第2のセンサピクセルに伝送することを防止しながら、フルスペクトル光を前記第1のセンサピクセルに伝送し、可視光を前記第2のセンサピクセルに伝送することを可能にするフィルタと、
前記フルスペクトル光および前記可視光を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記フィルタは、前記センサと前記表面との間に配置される、システム。
(項目2)
前記センサは、前記第2のセンサピクセルを含む複数の第2のセンサピクセルを有し、
前記複数の第2のセンサピクセルのそれぞれは、前記第1のセンサピクセルに隣接し、
前記フィルタは、赤外線光を前記複数の第2のセンサピクセルのそれぞれに伝送することを防止しながら、可視光を前記複数の第2のセンサピクセルのそれぞれに伝送することを可能にする、項目1に記載のシステム。
(項目3)
前記フルスペクトル光および前記可視光を分析することは、前記複数の第2のセンサピクセルに対応する複数の検出された可視光値に基づいて、前記第1のセンサピクセルに関して推定される可視光値を計算することを含む、項目2に記載のシステム。
(項目4)
前記推定される可視光値を計算することは、前記複数の検出された可視光値を平均化することを含む、項目3に記載のシステム。
(項目5)
前記推定される可視光値を計算することは、縁検出を前記複数の検出された可視光値に行うことを含む、項目3に記載のシステム。
(項目6)
前記センサは、前記第1のセンサピクセルを含む複数の第1のセンサピクセルを有し、前記複数の第1のセンサピクセルのそれぞれは、前記第1のセンサピクセルに隣接し、
前記フィルタは、赤外線光を前記複数の第2のセンサピクセルのそれぞれに伝送することを防止しながら、可視光を前記複数の第2のセンサピクセルのそれぞれに伝送することを可能にする、項目2に記載のシステム。
(項目7)
前記フルスペクトル光および前記可視光を分析することは、
前記複数の第1のセンサピクセルの各々に対し、複数の推定される可視光値を計算することと、
前記複数の推定される可視光値の少なくともいくつかに基づいて、前記第1のセンサピクセルに関して推定される可視光値を計算することと
を含む、項目6に記載のシステム。
(項目8)
前記光を前記表面に向かって投影する空間変調光投影デバイスをさらに備え、前記光は、前記表面から前記センサに向かって反射される、項目1に記載のシステム。
(項目9)
前記フルスペクトル光および前記可視光を分析することは、前記表面の赤外線光画像を生成することを含む、項目1に記載のシステム。
(項目10)
前記フルスペクトル光および前記可視光を分析することは、前記表面の赤外線光画像内のPOIを三角測量することを含む、項目9に記載のシステム。
(項目11)
深度感知システムであって、
光を表面に向かって投影する空間変調光投影デバイスと、
前記表面から反射された光を受信するセンサと、
前記光投影デバイスの空間変調を制御し、光情報を前記センサから受信するアクチュエータと、
前記表面から反射された光を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記光は、波長約700nm~約1mmを有する赤外線光を含む、システム。
(項目12)
前記光は、波長約390nm~約700nmを有する可視光を含む、項目11に記載のシステム。
(項目13)
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、前記赤外線光および前記可視光を含むパターンを形成する、項目12に記載のシステム。
(項目14)
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、2つの交差する線セグメントを前記表面上に形成する、項目11に記載のシステム。
(項目15)
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、2つの交差する線セグメントを含む静的パターンを前記表面上に形成する、項目14に記載のシステム。
(項目16)
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、2つの交差する線セグメントを含む動的パターンを前記表面上に形成する、項目14に記載のシステム。
(項目17)
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、複数の離散交差線セグメントを含むパターンを前記表面上に形成する、項目14に記載のシステム。
(項目18)
前記光投影デバイスの空間変調を制御することは、前記光投影デバイスの少なくとも一部の移動を制御することを含む、項目11に記載のシステム。
(項目19)
前記光投影デバイスの空間変調を制御することは、前記光投影デバイスによって前記光の投影を制御することを含む、項目18に記載のシステム。
(項目20)
前記空間変調光投影デバイスは、ファイバ走査ディスプレイを備える、項目11に記載のシステム。
(項目21)
前記空間変調光投影デバイスは、レーザ光源を備える、項目11に記載のシステム。
(項目22)
前記空間変調光投影デバイスは、レーザ走査ディスプレイを備える、項目11に記載のシステム。
(項目23)
深度感知システムであって、
光を表面から受信する第1および第2のセンサピクセルを有するセンサと、
第1の割合の可視光および第2の割合の赤外線光を前記第1のセンサピクセルに伝送し、第3の割合の可視光および第4の割合の赤外線光を前記第2のセンサピクセルに伝送することを可能にするフィルタであって、
前記第1の割合の可視光および前記第2の割合の赤外線光は、第1の感知された値を前記第1のセンサピクセルにもたらし、
前記第3の割合の可視光および前記第4の割合の赤外線光は、第2の感知された値を前記第2のセンサピクセルにもたらす、
フィルタと、
前記第1および第2の感知された値を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記フィルタは、前記センサと前記表面との間に配置される、システム。
(項目24)
前記第1および第2の感知された値を分析することは、前記表面の赤外線光画像を生成することを含む、項目23に記載のシステム。
(項目25)
前記第1および第2の感知された値を分析することは、前記表面の赤外線光画像内のPOIを三角測量することを含む、項目24に記載のシステム。
表面の深度(すなわち、3D空間内の既知の点と表面上の点との間の距離)を光学的に推定または感知するための種々の方法が、存在する。深度感知方法は、2つの主要モード、すなわち、受動および能動に分類されることができる。受動システムは、表面によって反射されたシステム外の光源(例えば、頭上光または太陽)からの周囲光を検出する。能動システムは、光を表面上に投影し、表面によって反射された投影された光を検出する。
ファイバ走査プロジェクタ(「FSP」)は、ファイバ光学先端を高周波数で選択的に振動させることによって、光を投影する。FSPは、ファイバ走査型ディスプレイ(「FSD(fiber scanned displays)」)、ファイバ走査式ディスプレイ(「FSD(fiber scanning displays)」)、走査型ファイバディスプレイ、および走査式ファイバディスプレイとしても知られる。FSPは、動的画像をヒト観察のための表示として投影することができる。その超小型サイズおよび低潜在的電力消費は、複合現実システム等のある用途に理想的である。例示的FSPは、米国特許出願第14/738,877号(代理人管理番号第ML.20019.00号)および第14/555,585号(代理人管理番号第ML.20011.00号)に説明されており、その内容は、参照することによって本明細書の前述で組み込まれている。
受動および能動深度感知システムは両方とも、少なくとも1つのセンサ(例えば、カメラ)を含み、表面から反射された光を検出する。上記に説明されるように、いくつかの深度感知システムは、可視光(例えば、周囲光)を検出する一方、その他は、投影された光パターン(例えば、投影された赤外線光)を検出する。
Claims (16)
- 深度感知システムであって、
光を表面に向かって投影する空間変調光投影デバイスと、
前記光投影デバイスを変調し、相互から位相オフセットされる第1の正弦波および第2の正弦波を形成し、複数の交差する光セグメントを形成するアクチュエータと、
前記表面から反射された光を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記アクチュエータは、前記光投影デバイスを変調し、前記複数の交差する光セグメントのサブセットを連続的に変化させ、動的パターンを形成する、システム。 - 前記アクチュエータは、前記光投影デバイスを変調し、2つ以上の交差する線セグメントを前記表面上に形成する、請求項1に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスを変調し、前記2つ以上の交差する線セグメントを含む動的パターンを前記表面上に形成する、請求項2に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスを変調し、複数の離散交差線セグメントを含むパターンを前記表面上に形成する、請求項2に記載のシステム。
- 前記光投影デバイスの変調は、前記光投影デバイスの少なくとも一部の移動を制御することを含む、請求項1に記載のシステム。
- 前記光投影デバイスの変調は、前記光投影デバイスによる前記光の投影を制御することを含む、請求項5に記載のシステム。
- 前記空間変調光投影デバイスは、ファイバ走査ディスプレイを備える、請求項1に記載のシステム。
- 前記光投影デバイスの変調は、前記光投影デバイスの位相オフセットまたは走査周波数を変動させることを含む、請求項1に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスを変調し、前記第1の正弦波および前記第2の正弦波の形状を連続的に変化させ、前記動的パターンを形成する、請求項1に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスを変調し、前記光を連続的に位相偏移させ、前記動的パターンを形成する、請求項1に記載のシステム。
- 前記光を生成するための光源をさらに備える、請求項1に記載のシステム。
- 前記光源は、レーザである、請求項11に記載のシステム。
- 前記アクチュエータは、前記光源のアクティブ化も制御する、請求項11に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスを変調し、前記第1の正弦波および前記第2の正弦波を形成し、
前記アクチュエータは、前記第1の正弦波および前記第2の正弦波が相互に交差するときのみ、前記光源をアクティブ化する、請求項13に記載のシステム。 - 前記プロセッサは、パターン設計器を備え、前記パターン設計器は、パターンを生成し、前記生成されたパターンを規定するデータを前記アクチュエータに送信する、請求項1に記載のシステム。
- 前記プロセッサは、前記表面から反射された光から情報を抽出するパターン検出器を備える、請求項1に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662301847P | 2016-03-01 | 2016-03-01 | |
US62/301,847 | 2016-03-01 | ||
JP2020075247A JP6972224B2 (ja) | 2016-03-01 | 2020-04-21 | 深度感知システムおよび方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020075247A Division JP6972224B2 (ja) | 2016-03-01 | 2020-04-21 | 深度感知システムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022009902A JP2022009902A (ja) | 2022-01-14 |
JP7270702B2 true JP7270702B2 (ja) | 2023-05-10 |
Family
ID=59724237
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018545442A Active JP6695440B2 (ja) | 2016-03-01 | 2017-02-28 | 深度感知システム |
JP2020075247A Active JP6972224B2 (ja) | 2016-03-01 | 2020-04-21 | 深度感知システムおよび方法 |
JP2021179296A Active JP7270702B2 (ja) | 2016-03-01 | 2021-11-02 | 深度感知システムおよび方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018545442A Active JP6695440B2 (ja) | 2016-03-01 | 2017-02-28 | 深度感知システム |
JP2020075247A Active JP6972224B2 (ja) | 2016-03-01 | 2020-04-21 | 深度感知システムおよび方法 |
Country Status (10)
Country | Link |
---|---|
US (3) | US10565717B2 (ja) |
EP (2) | EP3423784B1 (ja) |
JP (3) | JP6695440B2 (ja) |
KR (1) | KR20180118189A (ja) |
CN (2) | CN108779978B (ja) |
AU (2) | AU2017227599A1 (ja) |
CA (1) | CA3014766A1 (ja) |
IL (3) | IL288771B2 (ja) |
NZ (2) | NZ745309A (ja) |
WO (1) | WO2017151671A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10565717B2 (en) | 2016-03-01 | 2020-02-18 | Magic Leap, Inc. | Depth sensing systems and methods |
WO2019054204A1 (ja) * | 2017-09-14 | 2019-03-21 | ソニー株式会社 | 画像処理装置および方法 |
CN111566705B (zh) * | 2017-12-29 | 2023-07-21 | 上海联影医疗科技股份有限公司 | 一种确定医学成像中的感兴趣区域的系统和方法 |
WO2019127385A1 (en) | 2017-12-29 | 2019-07-04 | Shenzhen United Imaging Healthcare Co., Ltd. | Systems and methods for patient positioning |
US11176694B2 (en) * | 2018-10-19 | 2021-11-16 | Samsung Electronics Co., Ltd | Method and apparatus for active depth sensing and calibration method thereof |
TWI720602B (zh) * | 2019-08-27 | 2021-03-01 | 國立中央大學 | 重建物體表面的方法與光學系統 |
CN112532848A (zh) * | 2020-12-16 | 2021-03-19 | 歌尔光学科技有限公司 | 一种摄像机 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005501279A (ja) | 2001-08-23 | 2005-01-13 | ユニバーシティ・オブ・ワシントン | 奥行きを強調した画像の収集 |
WO2011135848A1 (ja) | 2010-04-28 | 2011-11-03 | パナソニック株式会社 | 走査型画像表示装置 |
JP2013513179A (ja) | 2009-12-08 | 2013-04-18 | キネテイツク・リミテツド | 距離に基づく検知 |
JP2014059239A (ja) | 2012-09-18 | 2014-04-03 | Fujitsu Ltd | 形状計測装置及び形状計測方法 |
Family Cites Families (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5621529A (en) * | 1995-04-05 | 1997-04-15 | Intelligent Automation Systems, Inc. | Apparatus and method for projecting laser pattern with reduced speckle noise |
IL127534A (en) * | 1996-06-13 | 2001-08-26 | Leuven K U Res & Dev | Method and system for acquiring a three-dimensional shape description |
JPH10253330A (ja) * | 1997-03-06 | 1998-09-25 | Toshiba Corp | 表面形状測定装置 |
JP2001194114A (ja) * | 2000-01-14 | 2001-07-19 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム提供媒体 |
US7061628B2 (en) * | 2001-06-27 | 2006-06-13 | Southwest Research Institute | Non-contact apparatus and method for measuring surface profile |
JP4035978B2 (ja) * | 2001-10-05 | 2008-01-23 | コニカミノルタホールディングス株式会社 | 3次元形状モデルの評価方法および生成方法並びに装置 |
JP2004126416A (ja) * | 2002-10-07 | 2004-04-22 | Fuji Photo Film Co Ltd | カメラ |
US20070057946A1 (en) * | 2003-07-24 | 2007-03-15 | Dan Albeck | Method and system for the three-dimensional surface reconstruction of an object |
WO2008130906A1 (en) | 2007-04-17 | 2008-10-30 | Mikos, Ltd. | System and method for using three dimensional infrared imaging to provide psychological profiles of individuals |
US8757812B2 (en) * | 2008-05-19 | 2014-06-24 | University of Washington UW TechTransfer—Invention Licensing | Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber |
EP4336447A1 (en) * | 2008-05-20 | 2024-03-13 | FotoNation Limited | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
JP5874116B2 (ja) * | 2009-07-30 | 2016-03-02 | 国立研究開発法人産業技術総合研究所 | 画像撮影装置および画像撮影方法 |
US8723118B2 (en) * | 2009-10-01 | 2014-05-13 | Microsoft Corporation | Imager for constructing color and depth images |
KR20110040402A (ko) * | 2009-10-14 | 2011-04-20 | 삼성전자주식회사 | 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법 |
KR101648201B1 (ko) * | 2009-11-04 | 2016-08-12 | 삼성전자주식회사 | 영상 센서 및 이의 제조 방법. |
US8456521B2 (en) | 2009-12-14 | 2013-06-04 | Berliner Glas Kgaa Herbert Kubatz Gmbh & Co. | Triangulation camera device and triangulation imaging method |
JP2011199798A (ja) * | 2010-03-24 | 2011-10-06 | Sony Corp | 物理情報取得装置、固体撮像装置、物理情報取得方法 |
MX2012011600A (es) | 2010-04-09 | 2012-11-30 | Univ Michigan | Biomarcadores para inhibidores de mdm2 para su uso en el tratamiento de enfermedad. |
EP2583312A2 (en) * | 2010-06-18 | 2013-04-24 | Sionyx, Inc. | High speed photosensitive devices and associated methods |
KR101680762B1 (ko) * | 2010-10-29 | 2016-11-29 | 삼성전자주식회사 | 3d 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치 |
KR101739880B1 (ko) * | 2010-12-01 | 2017-05-26 | 삼성전자주식회사 | 컬러 필터 어레이, 이를 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 장치 |
KR101861765B1 (ko) * | 2011-03-03 | 2018-05-29 | 삼성전자주식회사 | 마이크로 렌즈를 포함하는 깊이 픽셀 및 상기 깊이 픽셀을 포함하는 깊이 센서 |
KR20120105169A (ko) * | 2011-03-15 | 2012-09-25 | 삼성전자주식회사 | 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법 |
JP5761750B2 (ja) * | 2011-07-19 | 2015-08-12 | 国立研究開発法人産業技術総合研究所 | 画像処理方法および装置 |
US9248457B2 (en) | 2011-07-29 | 2016-02-02 | Homax Products, Inc. | Systems and methods for dispensing texture material using dual flow adjustment |
CN102663725B (zh) | 2012-03-05 | 2014-07-16 | 西北工业大学 | 基于线特征和控制点的可见光和sar图像配准方法 |
JP5958837B2 (ja) * | 2012-05-28 | 2016-08-02 | パナソニックIpマネジメント株式会社 | 奥行き推定撮像装置 |
CN104541127B (zh) * | 2012-07-30 | 2017-07-04 | 独立行政法人产业技术综合研究所 | 图像处理系统以及图像处理方法 |
EP3869797B1 (en) * | 2012-08-21 | 2023-07-19 | Adeia Imaging LLC | Method for depth detection in images captured using array cameras |
US10014335B2 (en) * | 2012-09-14 | 2018-07-03 | Panasonic Intellectual Property Management Co., Ltd. | Solid-state imaging device and camera module |
US9041914B2 (en) * | 2013-03-15 | 2015-05-26 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
US9646384B2 (en) * | 2013-09-11 | 2017-05-09 | Google Technology Holdings LLC | 3D feature descriptors with camera pose information |
US8917327B1 (en) * | 2013-10-04 | 2014-12-23 | icClarity, Inc. | Method to use array sensors to measure multiple types of data at full resolution of the sensor |
KR102493498B1 (ko) | 2013-11-27 | 2023-01-27 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
US10051211B2 (en) * | 2013-12-05 | 2018-08-14 | Omnivision Technologies, Inc. | Image sensors for capturing both visible light images and infrared light images, and associated systems and methods |
US9392262B2 (en) * | 2014-03-07 | 2016-07-12 | Aquifi, Inc. | System and method for 3D reconstruction using multiple multi-channel cameras |
US10051209B2 (en) * | 2014-04-09 | 2018-08-14 | Omnivision Technologies, Inc. | Combined visible and non-visible projection system |
US9325973B1 (en) * | 2014-07-08 | 2016-04-26 | Aquifi, Inc. | Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data |
JP6794981B2 (ja) * | 2015-03-17 | 2020-12-02 | ソニー株式会社 | 情報処理装置および方法 |
US9694498B2 (en) * | 2015-03-30 | 2017-07-04 | X Development Llc | Imager for detecting visual light and projected patterns |
US10066933B2 (en) * | 2015-05-04 | 2018-09-04 | Facebook, Inc. | Camera depth mapping using structured light patterns |
CN105049829B (zh) * | 2015-07-10 | 2018-12-25 | 上海图漾信息科技有限公司 | 滤光片、图像传感器、成像装置以及三维成像系统 |
US10503265B2 (en) * | 2015-09-08 | 2019-12-10 | Microvision, Inc. | Mixed-mode depth detection |
US10453185B2 (en) * | 2015-11-12 | 2019-10-22 | Aquifi, Inc. | System and method for high dynamic range depth capture using multiple cameras |
JP2017112169A (ja) * | 2015-12-15 | 2017-06-22 | ソニー株式会社 | イメージセンサ、撮像システム及びイメージセンサの製造方法 |
US10565717B2 (en) | 2016-03-01 | 2020-02-18 | Magic Leap, Inc. | Depth sensing systems and methods |
US10616519B2 (en) * | 2016-12-20 | 2020-04-07 | Microsoft Technology Licensing, Llc | Global shutter pixel structures with shared transfer gates |
JP7418181B2 (ja) * | 2018-11-06 | 2024-01-19 | ミヨシ油脂株式会社 | 分散剤とそれを用いた分散液 |
-
2017
- 2017-02-28 US US15/445,818 patent/US10565717B2/en active Active
- 2017-02-28 NZ NZ745309A patent/NZ745309A/en unknown
- 2017-02-28 CN CN201780014934.2A patent/CN108779978B/zh active Active
- 2017-02-28 AU AU2017227599A patent/AU2017227599A1/en not_active Abandoned
- 2017-02-28 EP EP17760653.0A patent/EP3423784B1/en active Active
- 2017-02-28 CA CA3014766A patent/CA3014766A1/en active Pending
- 2017-02-28 CN CN202011337750.XA patent/CN112399028A/zh active Pending
- 2017-02-28 NZ NZ785500A patent/NZ785500A/en unknown
- 2017-02-28 KR KR1020187028216A patent/KR20180118189A/ko not_active Application Discontinuation
- 2017-02-28 IL IL288771A patent/IL288771B2/en unknown
- 2017-02-28 EP EP21178691.8A patent/EP3902249A1/en active Pending
- 2017-02-28 WO PCT/US2017/020030 patent/WO2017151671A1/en active Application Filing
- 2017-02-28 JP JP2018545442A patent/JP6695440B2/ja active Active
-
2018
- 2018-08-14 IL IL261149A patent/IL261149B/en active IP Right Grant
-
2020
- 2020-01-08 US US16/737,765 patent/US10964039B2/en active Active
- 2020-04-21 JP JP2020075247A patent/JP6972224B2/ja active Active
-
2021
- 2021-02-24 US US17/184,358 patent/US11475583B2/en active Active
- 2021-03-21 IL IL281676A patent/IL281676B/en unknown
- 2021-11-02 JP JP2021179296A patent/JP7270702B2/ja active Active
- 2021-11-10 AU AU2021266266A patent/AU2021266266A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005501279A (ja) | 2001-08-23 | 2005-01-13 | ユニバーシティ・オブ・ワシントン | 奥行きを強調した画像の収集 |
JP2013513179A (ja) | 2009-12-08 | 2013-04-18 | キネテイツク・リミテツド | 距離に基づく検知 |
WO2011135848A1 (ja) | 2010-04-28 | 2011-11-03 | パナソニック株式会社 | 走査型画像表示装置 |
JP2014059239A (ja) | 2012-09-18 | 2014-04-03 | Fujitsu Ltd | 形状計測装置及び形状計測方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210183087A1 (en) | 2021-06-17 |
US10964039B2 (en) | 2021-03-30 |
JP6972224B2 (ja) | 2021-11-24 |
IL261149B (en) | 2021-04-29 |
JP6695440B2 (ja) | 2020-05-20 |
EP3902249A1 (en) | 2021-10-27 |
WO2017151671A1 (en) | 2017-09-08 |
IL288771A (en) | 2022-02-01 |
US10565717B2 (en) | 2020-02-18 |
IL281676B (en) | 2022-01-01 |
JP2020144136A (ja) | 2020-09-10 |
CN108779978B (zh) | 2020-12-11 |
NZ785500A (en) | 2023-03-31 |
KR20180118189A (ko) | 2018-10-30 |
JP2019512678A (ja) | 2019-05-16 |
EP3423784A1 (en) | 2019-01-09 |
CN108779978A (zh) | 2018-11-09 |
CN112399028A (zh) | 2021-02-23 |
CA3014766A1 (en) | 2017-09-08 |
US20170256069A1 (en) | 2017-09-07 |
NZ745309A (en) | 2023-03-31 |
US20200143553A1 (en) | 2020-05-07 |
IL281676A (en) | 2021-05-31 |
EP3423784B1 (en) | 2021-07-28 |
IL288771B1 (en) | 2023-05-01 |
AU2021266266A1 (en) | 2021-12-09 |
EP3423784A4 (en) | 2019-01-09 |
IL288771B2 (en) | 2023-09-01 |
AU2017227599A1 (en) | 2018-08-30 |
JP2022009902A (ja) | 2022-01-14 |
US11475583B2 (en) | 2022-10-18 |
IL261149A (en) | 2018-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7270702B2 (ja) | 深度感知システムおよび方法 | |
US11115633B2 (en) | Method and system for projector calibration | |
Sarbolandi et al. | Kinect range sensing: Structured-light versus Time-of-Flight Kinect | |
US10401143B2 (en) | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device | |
CN107430324B (zh) | 具有不可见光通道的数字光投影仪 | |
JP5486113B2 (ja) | パノラマ投影デバイスによって実施される投影方法 | |
Bimber et al. | Multifocal projection: A multiprojector technique for increasing focal depth | |
JP2018514237A (ja) | 歯科用3dスキャナ用のテクスチャマッピングの装置及び方法 | |
JP2009524849A (ja) | シーン画像および奥行き形状を取り込んで補償画像を生成するためのシステム、方法、および媒体 | |
Kitajima et al. | Simultaneous projection and positioning of laser projector pixels | |
US20180152697A1 (en) | Systems, Devices, and Methods for Calibrating A Light Field Projection System | |
JP2011075336A (ja) | 3次元形状計測装置、3次元形状計測方法 | |
TW202028694A (zh) | 光學相位輪廓測定系統 | |
US11747135B2 (en) | Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor | |
Kaminokado et al. | Augmented environment mapping for appearance editing of glossy surfaces | |
Hieda | Digital video projection for interactive entertainment | |
Kamimigaki et al. | Real reproducing of 3D appearance with multi-projectors and cameras | |
Epskamp | On the influence of stereographic 3D on user dependent direct projected augmented reality in the OR |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7270702 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |