JPWO2018131514A1 - 信号処理装置、信号処理方法、およびプログラム - Google Patents
信号処理装置、信号処理方法、およびプログラム Download PDFInfo
- Publication number
- JPWO2018131514A1 JPWO2018131514A1 JP2018561328A JP2018561328A JPWO2018131514A1 JP WO2018131514 A1 JPWO2018131514 A1 JP WO2018131514A1 JP 2018561328 A JP2018561328 A JP 2018561328A JP 2018561328 A JP2018561328 A JP 2018561328A JP WO2018131514 A1 JPWO2018131514 A1 JP WO2018131514A1
- Authority
- JP
- Japan
- Prior art keywords
- pixel group
- light
- charge accumulation
- period
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 135
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000009825 accumulation Methods 0.000 claims abstract description 192
- 238000001514 detection method Methods 0.000 claims abstract description 187
- 238000003384 imaging method Methods 0.000 claims description 85
- 238000003860 storage Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 description 135
- 230000008569 process Effects 0.000 description 113
- 238000004891 communication Methods 0.000 description 48
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
1.第1実施の形態:距離検出装置(図1乃至図20)
2.第2実施の形態:距離検出装置(図21)
3.第3実施の形態:距離検出装置(図22)
4.第4実施の形態:距離検出装置(図23)
5.第5実施の形態:距離検出装置(図24)
6.第6実施の形態:距離検出装置(図25乃至図27)
7.第7実施の形態:コンピュータ(図28)
8.応用例(図29および図30)
(信号処理装置の第1実施の形態の構成例)
図1は、本開示を適用した信号処理装置としての距離検出装置の第1実施の形態の構成例を示すブロック図である。
図3は、図1の距離検出装置10の距離検出処理を説明するフローチャートである。この距離検出処理は、例えば、所定の単位時間内に投光される1以上のパルス光であるパルス光群ごとに行われる。
なお、以下において、時刻T1は、撮像制御部14から供給される第1の画素グループの候補としての各画素グループの電荷蓄積期間の開始時刻であり、時刻T2は、投光制御部12から供給されるペア決定処理の処理対象のパルス光の投光期間の開始時刻である。時刻T3は、処理対象のパルス光の被写体からの反射光の撮像素子13による受光期間の開始時刻であり、時刻T4は、撮像制御部14から供給される第2の画素グループの候補としての各画素グループの電荷蓄積期間の開始時刻である。時刻T5は、投光制御部12から供給される処理対象のパルス光の投光期間の終了時刻であり、時刻T6は、処理対象のパルス光の受光期間の終了時刻である。時刻T7は、撮像制御部14から供給される第1の画素グループの候補の電荷蓄積期間の終了時刻であり、時刻T8は、撮像制御部14から供給される第2の画素グループの候補の電荷蓄積期間の終了時刻である。時刻T9は、投光制御部12から供給される処理対象のパルス光の次のパルス光の投光期間の開始時刻である。
図5は、撮像素子13と第1の画素グループの画素における被写体(対象物体)が離れている場合に、ペア決定処理の第1の例により決定される第1の画素グループと第2の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。また、図6は、撮像素子13から被写体までの距離が0[m]である場合に、ペア決定処理の第1の例により決定される第1の画素グループと第2の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。
図7は、図3のステップS13のペア決定処理の第2の例を説明するフローチャートである。
図8は、撮像素子13と第1の画素グループの画素における被写体(対象物体)が離れている場合に、ペア決定処理の第2の例により決定される第1の画素グループと第2の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。また、図9は、撮像素子13から被写体までの距離が0[m]である場合に、ペア決定処理の第2の例により決定される第1の画素グループと第2の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。
図10は、図3のステップS13のペア決定処理の第3の例を説明するフローチャートである。
図11は、撮像素子13と第1の画素グループの画素における被写体(対象物体)が離れている場合に、ペア決定処理の第3の例により決定される第1の画素グループと第2の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。また、図12は、撮像素子13から被写体までの距離が0[m]である場合に、ペア決定処理の第3の例により決定される第1の画素グループと第2の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。
図13は、図3のステップS13のペア決定処理の第4の例を説明するフローチャートである。
図14は、撮像素子13と第1の画素グループの画素における被写体(対象物体)が離れている場合に、ペア決定処理の第4の例により決定される第1の画素グループと第2の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。また、図15は、撮像素子13から被写体までの距離が0[m]である場合に、ペア決定処理の第4の例により決定される第1の画素グループと第2の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。
=(Q1+Q2)×(T5−T4)÷(2×T5−T4−T2)・・・(13)
図16は、図3のステップS13のペア決定処理の第5の例を説明するフローチャートである。
図17は、撮像素子13と第1の画素グループの画素における被写体(対象物体)が離れている場合に、ペア決定処理の第5の例により決定される第1の画素グループと第2の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。また、図18は、撮像素子13から被写体までの距離が0[m]である場合に、ペア決定処理の第5の例により決定される第1の画素グループと第2の画素グループのペアの電荷蓄積期間等を示すタイミングチャートである。
図19は、図3のステップS13のペア決定処理の第6の例を説明するフローチャートである。
図20は、図3のステップS13のペア決定処理の第7の例を説明するフローチャートである。
(信号処理装置の第2実施の形態の構成例)
図21は、本開示を適用した信号処理装置としての距離検出装置の第2実施の形態の構成例を示すブロック図である。
(信号処理装置の第3実施の形態の構成例)
図22は、本開示を適用した信号処理装置としての距離検出装置の第3実施の形態の構成例を示すブロック図である。
(信号処理装置の第4実施の形態の構成例)
図23は、本開示を適用した信号処理装置としての距離検出装置の第4実施の形態の構成例を示すブロック図である。
(信号処理装置の第5実施の形態の構成例)
図24は、本開示を適用した信号処理装置としての距離検出装置の第5実施の形態の構成例を示すブロック図である。
(信号処理装置の第6実施の形態の構成例)
図25は、本開示を適用した信号処理装置としての距離検出装置の第6実施の形態の構成例を示すブロック図である。
図26は、図25の距離検出装置110の距離検出処理を説明するフローチャートである。この距離検出処理は、例えば、所定の単位時間内に投光される1以上のパルス光であるパルス光群ごとに行われる。
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
画素グループごとに電荷蓄積期間が制御される撮像素子の前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアを決定する決定部
を備える信号処理装置。
(2)
前記決定部は、前記電荷蓄積期間が前記投光期間と同一である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
前記(1)に記載の信号処理装置。
(3)
前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の終了時刻と同一である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
前記(2)に記載の信号処理装置。
(4)
前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の開始時刻より前であり、かつ、前記電荷蓄積期間の終了時刻が前記投光期間の終了時刻と同一である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
前記(1)に記載の信号処理装置。
(5)
前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の終了時刻と同一である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
前記(4)に記載の信号処理装置。
(6)
前記決定部は、前記電荷蓄積期間の開始時刻が、前記投光期間の開始時刻より後であり、前記投光期間の終了時刻と同一または前記投光期間の終了時刻より前である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
前記(4)に記載の信号処理装置。
(7)
前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の開始時刻より前であり、かつ、前記電荷蓄積期間の終了時刻が前記投光期間の開始時刻より後であり、前記投光期間の終了時刻と同一または前記投光期間の終了時刻より前である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
前記(1)に記載の信号処理装置。
(8)
前記決定部は、前記電荷蓄積期間の開始時刻が、前記ペアの一方の画素グループの前記電荷蓄積期間の終了時刻と同一である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
前記(7)に記載の信号処理装置。
(9)
前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の開始時刻より前であり、かつ、前記電荷蓄積期間の終了時刻が前記投光期間の終了時刻と同一または前記投光期間の終了時刻より後である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
前記(1)に記載の信号処理装置。
(10)
前記決定部は、前記電荷蓄積期間の開始時刻が、前記投光期間の開始時刻より後であり、前記投光期間の終了時刻と同一または前記投光期間の終了時刻より前である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
前記(9)に記載の信号処理装置。
(11)
前記決定部は、前記電荷蓄積期間の開始時刻が、前記撮像素子と前記被写体との距離が所定の距離である場合に前記パルス光の反射光の前記撮像素子による受光が開始される受光開始時刻より前である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
前記(1)に記載の信号処理装置。
(12)
前記決定部は、前記電荷蓄積期間の終了時刻が、前記撮像素子と前記被写体との距離が所定の距離である場合に前記パルス光の反射光の前記撮像素子による受光が終了される受光終了時刻と同一または前記受光終了時刻より後である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
前記(11)に記載の信号処理装置。
(13)
前記決定部は、前記電荷蓄積期間の時間が、前記パルス光の投光周期より小さい2つの画素グループを前記ペアに決定する
ように構成された
前記(1)乃至(12)のいずれかに記載の信号処理装置。
(14)
前記決定部により決定された前記ペアの前記画素グループに分類される画素の前記電荷蓄積期間だけ蓄積された電荷の画素信号に基づいて、前記撮像素子と前記被写体との距離を検出する距離検出部
をさらに備える
前記(1)乃至(13)のいずれかに記載の信号処理装置。
(15)
前記パルス光を前記被写体に向けて投光する投光部
をさらに備える
前記(1)乃至(14)のいずれかに記載の信号処理装置。
(16)
前記投光期間の間、前記パルス光を投光するように前記投光部を制御する投光制御部
をさらに備える
前記(15)に記載の信号処理装置。
(17)
前記撮像素子
をさらに備える
前記(1)乃至(16)のいずれかに記載の信号処理装置。
(18)
前記画素グループごとに、前記画素グループに分類された画素が、前記電荷蓄積期間の間、電荷を蓄積するように、前記撮像素子を制御する撮像素子制御部
をさらに備える
前記(17)に記載の信号処理装置。
(19)
信号処理装置が、
画素グループごとに電荷蓄積期間が制御される撮像素子の前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアを決定する決定ステップ
を含む信号処理方法。
(20)
コンピュータを
画素グループごとに電荷蓄積期間が制御される撮像素子の前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアを決定する決定部
を備える信号処理装置として機能させるためのプログラム。
(21)
撮像素子の第1の画素グループに対する第1の電荷蓄積期間と、前記撮像素子の第2の画素グループに対する第2の電荷蓄積期間と、前記撮像素子の被写体に向けて投光されるパルス光の投光期間とに基づいて、前記撮像素子から前記被写体までの距離演算が可能であるかを判断する距離可能判断部
を備える信号処理装置。
(22)
信号処理装置が、
撮像素子の第1の画素グループに対する第1の電荷蓄積期間と、前記撮像素子の第2の画素グループに対する第2の電荷蓄積期間と、前記撮像素子の被写体に向けて投光されるパルス光の投光期間とに基づいて、前記撮像素子から前記被写体までの距離演算が可能であるかを判断する距離可能判断ステップ
を含む信号処理方法。
Claims (22)
- 画素グループごとに電荷蓄積期間が制御される撮像素子の前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアを決定する決定部
を備える信号処理装置。 - 前記決定部は、前記電荷蓄積期間が前記投光期間と同一である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
請求項1に記載の信号処理装置。 - 前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の終了時刻と同一である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
請求項2に記載の信号処理装置。 - 前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の開始時刻より前であり、かつ、前記電荷蓄積期間の終了時刻が前記投光期間の終了時刻と同一である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
請求項1に記載の信号処理装置。 - 前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の終了時刻と同一である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
請求項4に記載の信号処理装置。 - 前記決定部は、前記電荷蓄積期間の開始時刻が、前記投光期間の開始時刻より後であり、前記投光期間の終了時刻と同一または前記投光期間の終了時刻より前である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
請求項4に記載の信号処理装置。 - 前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の開始時刻より前であり、かつ、前記電荷蓄積期間の終了時刻が前記投光期間の開始時刻より後であり、前記投光期間の終了時刻と同一または前記投光期間の終了時刻より前である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
請求項1に記載の信号処理装置。 - 前記決定部は、前記電荷蓄積期間の開始時刻が、前記ペアの一方の画素グループの前記電荷蓄積期間の終了時刻と同一である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
請求項7に記載の信号処理装置。 - 前記決定部は、前記電荷蓄積期間の開始時刻が前記投光期間の開始時刻より前であり、かつ、前記電荷蓄積期間の終了時刻が前記投光期間の終了時刻と同一または前記投光期間の終了時刻より後である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
請求項1に記載の信号処理装置。 - 前記決定部は、前記電荷蓄積期間の開始時刻が、前記投光期間の開始時刻より後であり、前記投光期間の終了時刻と同一または前記投光期間の終了時刻より前である画素グループを、前記ペアの他方の画素グループに決定する
ように構成された
請求項9に記載の信号処理装置。 - 前記決定部は、前記電荷蓄積期間の開始時刻が、前記撮像素子と前記被写体との距離が所定の距離である場合に前記パルス光の反射光の前記撮像素子による受光が開始される受光開始時刻より前である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
請求項1に記載の信号処理装置。 - 前記決定部は、前記電荷蓄積期間の終了時刻が、前記撮像素子と前記被写体との距離が所定の距離である場合に前記パルス光の反射光の前記撮像素子による受光が終了される受光終了時刻と同一または前記受光終了時刻より後である画素グループを、前記ペアの一方の画素グループに決定する
ように構成された
請求項11に記載の信号処理装置。 - 前記決定部は、前記電荷蓄積期間の時間が、前記パルス光の投光周期より小さい2つの画素グループを前記ペアに決定する
ように構成された
請求項1に記載の信号処理装置。 - 前記決定部により決定された前記ペアの前記画素グループに分類される画素の前記電荷蓄積期間だけ蓄積された電荷の画素信号に基づいて、前記撮像素子と前記被写体との距離を検出する距離検出部
をさらに備える
請求項1に記載の信号処理装置。 - 前記パルス光を前記被写体に向けて投光する投光部
をさらに備える
請求項1に記載の信号処理装置。 - 前記投光期間の間、前記パルス光を投光するように前記投光部を制御する投光制御部
をさらに備える
請求項15に記載の信号処理装置。 - 前記撮像素子
をさらに備える
請求項1に記載の信号処理装置。 - 前記画素グループごとに、前記画素グループに分類された画素が、前記電荷蓄積期間の間、電荷を蓄積するように、前記撮像素子を制御する撮像素子制御部
をさらに備える
請求項17に記載の信号処理装置。 - 信号処理装置が、
画素グループごとに電荷蓄積期間が制御される撮像素子の前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアを決定する決定ステップ
を含む信号処理方法。 - コンピュータを
画素グループごとに電荷蓄積期間が制御される撮像素子の前記画素グループごとの前記電荷蓄積期間と、投光されるパルス光の投光期間とに基づいて、前記撮像素子と被写体との距離の検出に用いる画素グループのペアを決定する決定部
を備える信号処理装置として機能させるためのプログラム。 - 撮像素子の第1の画素グループに対する第1の電荷蓄積期間と、前記撮像素子の第2の画素グループに対する第2の電荷蓄積期間と、前記撮像素子の被写体に向けて投光されるパルス光の投光期間とに基づいて、前記撮像素子から前記被写体までの距離演算が可能であるかを判断する距離可能判断部
を備える信号処理装置。 - 信号処理装置が、
撮像素子の第1の画素グループに対する第1の電荷蓄積期間と、前記撮像素子の第2の画素グループに対する第2の電荷蓄積期間と、前記撮像素子の被写体に向けて投光されるパルス光の投光期間とに基づいて、前記撮像素子から前記被写体までの距離演算が可能であるかを判断する距離可能判断ステップ
を含む信号処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017003916 | 2017-01-13 | ||
JP2017003916 | 2017-01-13 | ||
PCT/JP2017/047287 WO2018131514A1 (ja) | 2017-01-13 | 2017-12-28 | 信号処理装置、信号処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018131514A1 true JPWO2018131514A1 (ja) | 2019-11-07 |
JP7172603B2 JP7172603B2 (ja) | 2022-11-16 |
Family
ID=62839648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018561328A Active JP7172603B2 (ja) | 2017-01-13 | 2017-12-28 | 信号処理装置、信号処理方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11585898B2 (ja) |
EP (1) | EP3570066A4 (ja) |
JP (1) | JP7172603B2 (ja) |
WO (1) | WO2018131514A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019164039A (ja) * | 2018-03-20 | 2019-09-26 | ソニーセミコンダクタソリューションズ株式会社 | 距離センサおよび距離測定装置 |
WO2020066637A1 (ja) * | 2018-09-28 | 2020-04-02 | パナソニックIpマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
CN109544618B (zh) * | 2018-10-30 | 2022-10-25 | 荣耀终端有限公司 | 一种获取深度信息的方法及电子设备 |
WO2020100514A1 (ja) * | 2018-11-12 | 2020-05-22 | ソニーセミコンダクタソリューションズ株式会社 | 光モジュール及び測距装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008152647A2 (en) * | 2007-06-15 | 2008-12-18 | Ben Gurion University Of The Negev Research And Development Authority | Three-dimensional imaging method and apparatus |
JP2014208018A (ja) * | 2014-04-18 | 2014-11-06 | 株式会社大一商会 | 遊技機 |
WO2014208018A1 (ja) * | 2013-06-26 | 2014-12-31 | パナソニックIpマネジメント株式会社 | 測距システム |
WO2015118884A1 (ja) * | 2014-02-07 | 2015-08-13 | 国立大学法人静岡大学 | 電荷変調素子及び固体撮像装置 |
JP2016090435A (ja) * | 2014-11-06 | 2016-05-23 | 株式会社デンソー | 光飛行型測距装置 |
WO2018101187A1 (ja) * | 2016-11-29 | 2018-06-07 | パナソニックIpマネジメント株式会社 | 距離測定装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4235729B2 (ja) | 2003-02-03 | 2009-03-11 | 国立大学法人静岡大学 | 距離画像センサ |
JP5404112B2 (ja) | 2009-03-12 | 2014-01-29 | キヤノン株式会社 | 固体撮像素子、その駆動方法及び撮像システム |
WO2016075945A1 (ja) * | 2014-11-14 | 2016-05-19 | 株式会社デンソー | 光飛行型測距装置 |
-
2017
- 2017-12-28 WO PCT/JP2017/047287 patent/WO2018131514A1/ja unknown
- 2017-12-28 EP EP17892009.6A patent/EP3570066A4/en active Pending
- 2017-12-28 US US16/474,367 patent/US11585898B2/en active Active
- 2017-12-28 JP JP2018561328A patent/JP7172603B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008152647A2 (en) * | 2007-06-15 | 2008-12-18 | Ben Gurion University Of The Negev Research And Development Authority | Three-dimensional imaging method and apparatus |
WO2014208018A1 (ja) * | 2013-06-26 | 2014-12-31 | パナソニックIpマネジメント株式会社 | 測距システム |
WO2015118884A1 (ja) * | 2014-02-07 | 2015-08-13 | 国立大学法人静岡大学 | 電荷変調素子及び固体撮像装置 |
JP2014208018A (ja) * | 2014-04-18 | 2014-11-06 | 株式会社大一商会 | 遊技機 |
JP2016090435A (ja) * | 2014-11-06 | 2016-05-23 | 株式会社デンソー | 光飛行型測距装置 |
WO2018101187A1 (ja) * | 2016-11-29 | 2018-06-07 | パナソニックIpマネジメント株式会社 | 距離測定装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2018131514A1 (ja) | 2018-07-19 |
EP3570066A4 (en) | 2019-12-25 |
US11585898B2 (en) | 2023-02-21 |
US20190339366A1 (en) | 2019-11-07 |
JP7172603B2 (ja) | 2022-11-16 |
EP3570066A1 (en) | 2019-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200344421A1 (en) | Image pickup apparatus, image pickup control method, and program | |
US10957029B2 (en) | Image processing device and image processing method | |
WO2017057043A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
WO2017057044A1 (ja) | 情報処理装置及び情報処理方法 | |
WO2017212928A1 (ja) | 画像処理装置、画像処理方法、および車両 | |
WO2017057057A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7226440B2 (ja) | 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体 | |
JP6977722B2 (ja) | 撮像装置、および画像処理システム | |
JP7172603B2 (ja) | 信号処理装置、信号処理方法、およびプログラム | |
WO2018180579A1 (ja) | 撮像制御装置、および撮像制御装置の制御方法、並びに移動体 | |
WO2019116746A1 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
JP2018032986A (ja) | 情報処理装置および方法、車両、並びに情報処理システム | |
US20230186651A1 (en) | Control device, projection system, control method, and program | |
JP2019145021A (ja) | 情報処理装置、撮像装置、及び撮像システム | |
US20210295563A1 (en) | Image processing apparatus, image processing method, and program | |
WO2018034157A1 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP7173056B2 (ja) | 認識装置と認識方法およびプログラム | |
WO2022190801A1 (ja) | 情報処理装置、情報処理システム、情報処理方法及び記録媒体 | |
WO2021229983A1 (ja) | 撮像装置及びプログラム | |
WO2023162733A1 (ja) | 測距装置及び測距方法 | |
US10791287B2 (en) | Imaging control apparatus and method, and vehicle | |
JP2023122396A (ja) | 測距装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221017 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7172603 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |