JPWO2018042801A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JPWO2018042801A1 JPWO2018042801A1 JP2018513025A JP2018513025A JPWO2018042801A1 JP WO2018042801 A1 JPWO2018042801 A1 JP WO2018042801A1 JP 2018513025 A JP2018513025 A JP 2018513025A JP 2018513025 A JP2018513025 A JP 2018513025A JP WO2018042801 A1 JPWO2018042801 A1 JP WO2018042801A1
- Authority
- JP
- Japan
- Prior art keywords
- camera
- light
- distance
- flight
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims description 172
- 238000005259 measurement Methods 0.000 claims abstract description 73
- 230000015572 biosynthetic process Effects 0.000 claims description 19
- 238000003786 synthesis reaction Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 abstract description 4
- 238000000691 measurement method Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 48
- 238000000034 method Methods 0.000 description 40
- 238000001514 detection method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 12
- 238000002674 endoscopic surgery Methods 0.000 description 12
- 239000000203 mixture Substances 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010336 energy treatment Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 101100478627 Arabidopsis thaliana S-ACP-DES2 gene Proteins 0.000 description 2
- 101000836261 Homo sapiens U4/U6.U5 tri-snRNP-associated protein 2 Proteins 0.000 description 2
- 101150038966 SAD2 gene Proteins 0.000 description 2
- 102100027243 U4/U6.U5 tri-snRNP-associated protein 2 Human genes 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004049 embossing Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000002861 polymer material Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
1.第1の実施の形態(ToFカメラとステレオカメラを用いた例)
2.第2の実施の形態(ToFカメラと単眼カメラを用いた例)
3.第3の実施の形態(ToFカメラとストラクチャライトカメラを用いた例)
4.第4の実施の形態(2台のToFカメラを用いた例)
5.第5の実施の形態(ToFカメラとストラクチャライトカメラを一体化させた例)
6.移動体への応用例
7.内視鏡手術システムへの応用例
[撮像装置の構成]
図1は、本技術の実施の形態における撮像装置100の構成例を示す図である。この撮像装置100は、被写体20を撮像して、被写体の画像信号および距離情報を取得するものである。この撮像装置100は、光飛行時間測距カメラ11と、空間情報測距カメラ12と、光源投影部130と、デプス合成部160と、入力受付部170と、撮影制御部180とを備えている。
d=(1/2)・c・Δt・(Q2/(Q1+Q2))
r=Q1+Q2
CSAD=1.0−RSAD1/RSAD2
図9は、本技術の実施の形態における撮影制御部180の動作手順例を示す流れ図である。
上述の第1の実施の形態では、ToFカメラ110の他にステレオカメラ120を設けていたが、ToFカメラ110によって左右画像の一方を撮像することにより、ステレオカメラ120ではなく通常の単眼カメラを利用することが可能となる。ToFカメラ110のQ1+Q2の値はシーンを撮影した画像そのものであるため、ToFカメラ110からはデプス値と通常画像も同時に取得される。この第2の実施の形態では、ToFカメラ110による撮影画像を左右画像の一方とするものであり、ToFカメラ110と通常の単眼カメラを組み合わせて、左右画像を取得することを想定する。
上述の第1の実施の形態では、空間情報測距カメラ12としてステレオカメラ120を想定していたが、空間情報を利用して測距できれば他の種類のカメラであってもよい。この第3の実施の形態では、空間情報測距カメラ12としてストラクチャライトカメラを想定する。
上述の第2の実施の形態では、ToFカメラ110とカメラ126を組み合わせていたが、カメラ126を他のToFカメラに置き換えてもよい。この第4の実施の形態では、ToFカメラ110による撮影画像を左右画像の一方とするものであり、ToFカメラ110と他のToFカメラを組み合わせて、左右画像を取得することを想定する。
上述の第3の実施の形態では、ToFカメラ110とストラクチャライトカメラ140を組み合わせていたが、これらを1台のカメラに一体化してもよい。この第5の実施の形態では、光飛行時間測距カメラ11および空間情報測距カメラ12として一体化されたカメラを想定する。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
(1)強度変調された空間パターン光を投影する光源投影部と、
前記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測する光飛行時間測距カメラと、
前記反射光に含まれる空間情報に基づいて前記被写体との距離を計測する空間情報測距カメラと、
前記光飛行時間測距カメラおよび前記空間情報測距カメラにおける距離の計測結果を合成して前記光飛行時間測距カメラまたは前記空間情報測距カメラにより撮像された画像の各画素位置のデプス値を決定するデプス合成部と
を具備する撮像装置。
(2)前記光源投影部は、
所定の変調信号および垂直同期信号に従って強度変調された光源を発生する光源発生部と、
前記光源を空間位置に応じて変形させて前記空間パターン光を生成する光学素子と
を備える前記(1)に記載の撮像装置。
(3)前記光飛行時間測距カメラおよび前記空間情報測距カメラの各々は、前記計測結果として各画素位置のデプス値とその信頼度とを生成し、
前記デプス合成部は、前記計測結果における前記信頼度の大きさに基づいて各画素位置のデプス値を決定する
前記(1)または(2)に記載の撮像装置。
(4)前記デプス合成部は、前記計測結果のうち前記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定する
前記(3)に記載の撮像装置。
(5)前記空間情報測距カメラは、左右の2つの撮像素子を備え、前記反射光に含まれる前記空間情報について前記2つの撮像素子から得られた左右画像から求められた各画素位置における視差量および前記2つの撮像素子の基線長に基づいて前記被写体との距離を計測するステレオカメラである
前記(1)から(4)のいずれかに記載の撮像装置。
(6)前記空間情報測距カメラは、前記反射光に含まれる前記空間情報について三角測量計算に基づいて前記被写体との距離を計測するストラクチャライトカメラである
前記(1)から(4)のいずれかに記載の撮像装置。
(7)前記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測する第2の光飛行時間測距カメラをさらに具備し、
前記光飛行時間測距カメラおよび前記第2の光飛行時間測距カメラは、前記空間情報測距カメラとして動作する
前記(1)から(4)のいずれかに記載の撮像装置。
(8)前記光飛行時間測距カメラおよび前記第2の光飛行時間測距カメラの各々は、前記計測結果として各画素位置のデプス値とその信頼度とを生成し、
前記光飛行時間測距カメラおよび前記第2の光飛行時間測距カメラは、前記空間情報測距カメラとしての前記計測結果である各画素位置のデプス値とその信頼度とを生成し、
前記デプス合成部は、前記光飛行時間測距カメラおよび前記第2の光飛行時間測距カメラの各々の前記計測結果と前記空間情報測距カメラとしての前記計測結果とのうち前記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定する
前記(7)に記載の撮像装置。
(9)前記光飛行時間測距カメラおよび空間情報測距カメラは、前記反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測するとともに、前記反射光に含まれる前記空間情報について三角測量計算に基づいて前記被写体との距離を計測する、一体化されたカメラである
前記(1)から(4)のいずれかに記載の撮像装置。
12 空間情報測距カメラ
20 被写体
100 撮像装置
110、116 ToFカメラ
111 ToF画素
113 デプス計算部
115 露光制御部
120 ステレオカメラ
121 左側撮像素子
122 右側撮像素子
123 デプス計算部
125 露光制御部
126 カメラ
130 光源投影部
131 光源発生部
133 光学素子
135 光源制御部
140 ストラクチャライトカメラ
141 撮像素子
143 デプス計算部
145 露光制御部
150 カメラ(ToFカメラ兼ストラクチャライトカメラ)
151 ToF画素
153、154 デプス計算部
155 露光制御部
160、165 デプス合成部
161、162 座標変換部
163 デプス合成処理部
170 入力受付部
180 撮影制御部
181 垂直同期生成部
182 変調信号発生部
Claims (9)
- 強度変調された空間パターン光を投影する光源投影部と、
前記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測する光飛行時間測距カメラと、
前記反射光に含まれる空間情報に基づいて前記被写体との距離を計測する空間情報測距カメラと、
前記光飛行時間測距カメラおよび前記空間情報測距カメラにおける距離の計測結果を合成して前記光飛行時間測距カメラまたは前記空間情報測距カメラにより撮像された画像の各画素位置のデプス値を決定するデプス合成部と
を具備する撮像装置。 - 前記光源投影部は、
所定の変調信号および垂直同期信号に従って強度変調された光源を発生する光源発生部と、
前記光源を空間位置に応じて変形させて前記空間パターン光を生成する光学素子と
を備える請求項1記載の撮像装置。 - 前記光飛行時間測距カメラおよび前記空間情報測距カメラの各々は、前記計測結果として各画素位置のデプス値とその信頼度とを生成し、
前記デプス合成部は、前記計測結果における前記信頼度の大きさに基づいて各画素位置のデプス値を決定する
請求項1記載の撮像装置。 - 前記デプス合成部は、前記計測結果のうち前記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定する
請求項3記載の撮像装置。 - 前記空間情報測距カメラは、左右の2つの撮像素子を備え、前記反射光に含まれる前記空間情報について前記2つの撮像素子から得られた左右画像から求められた各画素位置における視差量および前記2つの撮像素子の基線長に基づいて前記被写体との距離を計測するステレオカメラである
請求項1記載の撮像装置。 - 前記空間情報測距カメラは、前記反射光に含まれる前記空間情報について三角測量計算に基づいて前記被写体との距離を計測するストラクチャライトカメラである
請求項1記載の撮像装置。 - 前記空間パターン光の被写体からの反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測する第2の光飛行時間測距カメラをさらに具備し、
前記光飛行時間測距カメラおよび前記第2の光飛行時間測距カメラは、前記空間情報測距カメラとして動作する
請求項1記載の撮像装置。 - 前記光飛行時間測距カメラおよび前記第2の光飛行時間測距カメラの各々は、前記計測結果として各画素位置のデプス値とその信頼度とを生成し、
前記光飛行時間測距カメラおよび前記第2の光飛行時間測距カメラは、前記空間情報測距カメラとしての前記計測結果である各画素位置のデプス値とその信頼度とを生成し、
前記デプス合成部は、前記光飛行時間測距カメラおよび前記第2の光飛行時間測距カメラの各々の前記計測結果と前記空間情報測距カメラとしての前記計測結果とのうち前記信頼度が最も高いデプス値を画素ごとに選択して各画素位置のデプス値を決定する
請求項7記載の撮像装置。 - 前記光飛行時間測距カメラおよび空間情報測距カメラは、前記反射光に含まれる変調成分の光飛行時間に基づいて前記被写体との距離を計測するとともに、前記反射光に含まれる前記空間情報について三角測量計算に基づいて前記被写体との距離を計測する、一体化されたカメラである
請求項1記載の撮像装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016171048 | 2016-09-01 | ||
JP2016171048 | 2016-09-01 | ||
PCT/JP2017/020862 WO2018042801A1 (ja) | 2016-09-01 | 2017-06-05 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018042801A1 true JPWO2018042801A1 (ja) | 2019-06-24 |
JP7022057B2 JP7022057B2 (ja) | 2022-02-17 |
Family
ID=61300336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018513025A Active JP7022057B2 (ja) | 2016-09-01 | 2017-06-05 | 撮像装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10866321B2 (ja) |
EP (1) | EP3508814B1 (ja) |
JP (1) | JP7022057B2 (ja) |
KR (1) | KR102499586B1 (ja) |
CN (1) | CN108027238B (ja) |
WO (1) | WO2018042801A1 (ja) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11232590B2 (en) * | 2017-05-24 | 2022-01-25 | Sony Corporation | Information processing apparatus, information processing method, and program |
US10891745B1 (en) * | 2017-08-14 | 2021-01-12 | Apple Inc. | Hybrid system with a structured-light stereo device and a time of flight device |
US10613228B2 (en) | 2017-09-08 | 2020-04-07 | Microsoft Techology Licensing, Llc | Time-of-flight augmented structured light range-sensor |
TW201939452A (zh) * | 2018-03-15 | 2019-10-01 | 艾沙技術有限公司 | 移動載具、安全警示裝置及安全警示方法 |
WO2019196049A1 (zh) * | 2018-04-12 | 2019-10-17 | 深圳市汇顶科技股份有限公司 | 影像传感系统及电子装置 |
US10663567B2 (en) * | 2018-05-04 | 2020-05-26 | Microsoft Technology Licensing, Llc | Field calibration of a structured light range-sensor |
US11187804B2 (en) | 2018-05-30 | 2021-11-30 | Qualcomm Incorporated | Time of flight range finder for a structured light system |
EP3581881A1 (de) * | 2018-06-15 | 2019-12-18 | Hexagon Technology Center GmbH | Oberflächenvermessung mittels angeregter fluoreszenz |
EP3811113A1 (en) * | 2018-06-22 | 2021-04-28 | Ams Ag | Using time-of-flight and pseudo-random bit sequences to measure distance to object |
JP7121269B2 (ja) * | 2018-07-06 | 2022-08-18 | ミツミ電機株式会社 | 測距カメラ |
US10791277B2 (en) * | 2018-09-11 | 2020-09-29 | Cognex Corporation | Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns |
JP7195093B2 (ja) * | 2018-09-18 | 2022-12-23 | 直之 村上 | テレビカメラの映す画像の距離を計測する方法 |
US11353588B2 (en) * | 2018-11-01 | 2022-06-07 | Waymo Llc | Time-of-flight sensor with structured light illuminator |
JP7036227B2 (ja) * | 2018-11-19 | 2022-03-15 | 日本電気株式会社 | 画像処理方法および画像処理装置 |
JP7395511B2 (ja) * | 2019-01-16 | 2023-12-11 | 株式会社小糸製作所 | イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法 |
JP2020122774A (ja) * | 2019-01-29 | 2020-08-13 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、測距方法、並びにプログラム |
JPWO2020170621A1 (ja) * | 2019-02-19 | 2021-12-16 | ソニーグループ株式会社 | 医療用観察システム、医療用システム及び距離測定方法 |
US20220179072A1 (en) * | 2019-04-05 | 2022-06-09 | Sony Group Corporation | Signal processing device, signal processing method, and distance-measuring module |
CN109889809A (zh) * | 2019-04-12 | 2019-06-14 | 深圳市光微科技有限公司 | 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法 |
CN110095781B (zh) * | 2019-05-06 | 2021-06-01 | 歌尔光学科技有限公司 | 基于lbs投影系统的测距方法、设备及计算机可读存储介质 |
JP7346080B2 (ja) * | 2019-05-22 | 2023-09-19 | 日立Astemo株式会社 | ステレオカメラシステム、及び測距方法 |
JP7290485B6 (ja) * | 2019-06-26 | 2023-06-30 | 株式会社 日立産業制御ソリューションズ | 距離画像生成装置 |
CN110471080A (zh) * | 2019-07-12 | 2019-11-19 | 深圳奥比中光科技有限公司 | 基于tof图像传感器的深度测量装置 |
WO2021010174A1 (ja) * | 2019-07-16 | 2021-01-21 | ソニー株式会社 | 受光装置、および、受光装置の駆動方法 |
US11906628B2 (en) | 2019-08-15 | 2024-02-20 | Apple Inc. | Depth mapping using spatial multiplexing of illumination phase |
JP2021056141A (ja) * | 2019-09-30 | 2021-04-08 | ソニーセミコンダクタソリューションズ株式会社 | 測距センサ、信号処理方法、および、測距モジュール |
WO2021085128A1 (ja) * | 2019-10-28 | 2021-05-06 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置、測定方法、および、測距システム |
CN110909617B (zh) * | 2019-10-28 | 2022-03-25 | 广州多益网络股份有限公司 | 基于双目视觉的活体人脸检测方法及装置 |
US11763433B2 (en) * | 2019-11-14 | 2023-09-19 | Samsung Electronics Co., Ltd. | Depth image generation method and device |
US20210156881A1 (en) * | 2019-11-26 | 2021-05-27 | Faro Technologies, Inc. | Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking |
WO2021140886A1 (ja) * | 2020-01-10 | 2021-07-15 | パナソニックIpマネジメント株式会社 | 三次元モデル生成方法、情報処理装置およびプログラム |
US20230043994A1 (en) | 2020-02-17 | 2023-02-09 | Fanuc Corporation | Three-dimensional measurement device for generating three-dimensional point position information |
WO2021176873A1 (ja) * | 2020-03-03 | 2021-09-10 | ソニーグループ株式会社 | 情報処理装置と情報処理方法およびプログラム |
EP4128748A1 (en) * | 2020-03-23 | 2023-02-08 | Ricoh Company, Ltd. | Information processing apparatus and method of processing information |
US11763472B1 (en) | 2020-04-02 | 2023-09-19 | Apple Inc. | Depth mapping with MPI mitigation using reference illumination pattern |
CN111708039B (zh) * | 2020-05-24 | 2023-09-05 | 奥比中光科技集团股份有限公司 | 一种深度测量装置、方法及电子设备 |
CN115552285A (zh) | 2020-06-11 | 2022-12-30 | 苹果公司 | 具有飞行时间感测能力的全局快门图像传感器 |
DE102020117060B4 (de) * | 2020-06-29 | 2022-05-05 | Audi Aktiengesellschaft | Vorrichtung und Verfahren zur Umfelderfassung eines Fahrzeugs |
US11276154B2 (en) * | 2020-07-17 | 2022-03-15 | Samsung Electronics Co., Ltd. | Multi-frame depth-based multi-camera relighting of images |
US11659290B2 (en) * | 2020-07-21 | 2023-05-23 | Canon Kabushiki Kaisha | Light detection system |
WO2022103770A1 (en) * | 2020-11-11 | 2022-05-19 | New View Surgical, Inc. | Multi-camera imaging system |
CN112462388A (zh) * | 2020-11-12 | 2021-03-09 | 深圳博升光电科技有限公司 | 三维成像装置、方法及电子设备 |
CN112255639B (zh) * | 2020-12-23 | 2021-09-03 | 杭州蓝芯科技有限公司 | 一种感兴趣区域深度感知传感器及深度感知传感模块 |
JP2022165344A (ja) * | 2021-04-19 | 2022-10-31 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置及び測距システム |
CN113382165B (zh) * | 2021-05-31 | 2023-03-24 | 上海集成电路制造创新中心有限公司 | 相机对焦方法及相机对焦系统 |
CN113466884B (zh) * | 2021-06-30 | 2022-11-01 | 深圳市汇顶科技股份有限公司 | 飞行时间深度测量发射装置及电子设备 |
CN113484852B (zh) * | 2021-07-07 | 2023-11-07 | 烟台艾睿光电科技有限公司 | 一种测距方法及系统 |
US11922606B2 (en) | 2021-10-04 | 2024-03-05 | Samsung Electronics Co., Ltd. | Multipass interference correction and material recognition based on patterned illumination without frame rate loss |
WO2023058839A1 (en) * | 2021-10-04 | 2023-04-13 | Samsung Electronics Co., Ltd. | Multipass interference correction and material recognition based on patterned illumination without frame rate loss |
CN115143929A (zh) * | 2022-03-28 | 2022-10-04 | 南京大学 | 一种基于光纤束的内窥测距仪 |
CN115442591B (zh) * | 2022-11-04 | 2023-03-24 | 合肥的卢深视科技有限公司 | 相机质量测试方法、系统、电子设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH095050A (ja) * | 1995-06-20 | 1997-01-10 | Olympus Optical Co Ltd | 三次元画像計測装置 |
JP2001337166A (ja) * | 2000-05-26 | 2001-12-07 | Minolta Co Ltd | 3次元入力方法および3次元入力装置 |
JP2008145263A (ja) * | 2006-12-11 | 2008-06-26 | Fujifilm Corp | 撮影装置および方法並びにプログラム |
JP2013104784A (ja) * | 2011-11-14 | 2013-05-30 | Mitsubishi Electric Corp | 光3次元カメラ |
US20150070684A1 (en) * | 2013-09-09 | 2015-03-12 | Samsung Electronics Co., Ltd. | Methods for calculating distance using depth sensor and apparatuses performing the same |
WO2017159312A1 (ja) * | 2016-03-15 | 2017-09-21 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4402400B2 (ja) | 2003-08-28 | 2010-01-20 | オリンパス株式会社 | 物体認識装置 |
KR20110087112A (ko) * | 2010-01-25 | 2011-08-02 | 현대모비스 주식회사 | Tof 원리를 이용한 3d 영상 표시 장치 및 그 방법 |
US9414051B2 (en) * | 2010-07-20 | 2016-08-09 | Memory Engine, Incorporated | Extensible authoring and playback platform for complex virtual reality interactions and immersive applications |
CN103477186B (zh) | 2011-04-07 | 2016-01-27 | 松下知识产权经营株式会社 | 立体摄像装置 |
WO2013127975A1 (en) * | 2012-03-01 | 2013-09-06 | Iee International Electronics & Engineering S.A. | Compact laser source for active illumination for hybrid three-dimensional imagers |
RU2012154657A (ru) * | 2012-12-17 | 2014-06-27 | ЭлЭсАй Корпорейшн | Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной |
JP6476831B2 (ja) * | 2013-12-26 | 2019-03-06 | 株式会社リコー | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
KR102144543B1 (ko) * | 2014-05-08 | 2020-08-18 | 주식회사 히타치엘지 데이터 스토리지 코리아 | Tof 카메라에서 신호 검출 방법 |
US20160205378A1 (en) * | 2015-01-08 | 2016-07-14 | Amir Nevet | Multimode depth imaging |
CN105869167A (zh) * | 2016-03-30 | 2016-08-17 | 天津大学 | 基于主被动融合的高分辨率深度图获取方法 |
-
2017
- 2017-06-05 WO PCT/JP2017/020862 patent/WO2018042801A1/ja active Application Filing
- 2017-06-05 CN CN201780003289.4A patent/CN108027238B/zh active Active
- 2017-06-05 KR KR1020187007747A patent/KR102499586B1/ko active IP Right Grant
- 2017-06-05 US US15/762,631 patent/US10866321B2/en active Active
- 2017-06-05 JP JP2018513025A patent/JP7022057B2/ja active Active
- 2017-06-05 EP EP17845812.1A patent/EP3508814B1/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH095050A (ja) * | 1995-06-20 | 1997-01-10 | Olympus Optical Co Ltd | 三次元画像計測装置 |
JP2001337166A (ja) * | 2000-05-26 | 2001-12-07 | Minolta Co Ltd | 3次元入力方法および3次元入力装置 |
JP2008145263A (ja) * | 2006-12-11 | 2008-06-26 | Fujifilm Corp | 撮影装置および方法並びにプログラム |
JP2013104784A (ja) * | 2011-11-14 | 2013-05-30 | Mitsubishi Electric Corp | 光3次元カメラ |
US20150070684A1 (en) * | 2013-09-09 | 2015-03-12 | Samsung Electronics Co., Ltd. | Methods for calculating distance using depth sensor and apparatuses performing the same |
WO2017159312A1 (ja) * | 2016-03-15 | 2017-09-21 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN108027238B (zh) | 2022-06-14 |
CN108027238A (zh) | 2018-05-11 |
JP7022057B2 (ja) | 2022-02-17 |
KR20190042485A (ko) | 2019-04-24 |
EP3508814A4 (en) | 2020-03-11 |
WO2018042801A1 (ja) | 2018-03-08 |
EP3508814B1 (en) | 2023-08-23 |
US20180275278A1 (en) | 2018-09-27 |
KR102499586B1 (ko) | 2023-02-14 |
EP3508814A1 (en) | 2019-07-10 |
US10866321B2 (en) | 2020-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7022057B2 (ja) | 撮像装置 | |
US11847759B2 (en) | Image processing device, image processing method, and image processing program | |
JP7147562B2 (ja) | 測光装置、測光方法、プログラムおよび撮像装置 | |
US11029579B2 (en) | Imaging apparatus and electronic apparatus for controlling a position of a lens | |
JP2018200980A (ja) | 撮像装置および固体撮像素子、並びに電子機器 | |
CN111886541B (zh) | 成像装置和电子设备 | |
US20230085852A1 (en) | Image processing apparatus, image processing method, and electronic apparatus | |
WO2018003245A1 (ja) | 信号処理装置、撮像装置、及び信号処理方法 | |
US11936979B2 (en) | Imaging device | |
US11330209B2 (en) | Imaging device and electronic device enabled to control position of lens | |
US20210297589A1 (en) | Imaging device and method of controlling imaging device | |
US20220279134A1 (en) | Imaging device and imaging method | |
US11838656B2 (en) | Imaging device and correction method for reducing image height dependency of a depth | |
WO2024062813A1 (ja) | 撮像装置および電子機器 | |
WO2019082775A1 (ja) | 画像処理装置、画像処理方法および撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7022057 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |