JP7262064B2 - 測距撮像システム、測距撮像方法、及びプログラム - Google Patents
測距撮像システム、測距撮像方法、及びプログラム Download PDFInfo
- Publication number
- JP7262064B2 JP7262064B2 JP2021508967A JP2021508967A JP7262064B2 JP 7262064 B2 JP7262064 B2 JP 7262064B2 JP 2021508967 A JP2021508967 A JP 2021508967A JP 2021508967 A JP2021508967 A JP 2021508967A JP 7262064 B2 JP7262064 B2 JP 7262064B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional image
- dimensional
- image
- dimensional data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Description
(1.1)概要
図1に示すように、本実施形態の測距撮像システム1は、第1取得部21と、第2取得部22と、第3取得部23と、演算処理部3と、を備えている。
本実施形態の測距撮像システム1について、図1~図10Bを参照して、より詳細に説明する。本実施形態では、測距撮像システム1が自動車等の車両に搭載されて障害物を検知する物体認識システムとして用いられる場合を想定するが、測距撮像システム1の用途はこれに限られない。測距撮像システム1は、例えば、物体(人)等を検知する監視カメラ、セキュリティカメラ等にも利用することができる。
上述の実施形態は、本開示の様々な実施形態の一つに過ぎない。上述の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。
本変形例の測距撮像システム1A及び測距撮像方法について、図11を参照して説明する。
測距撮像システム1,1Aの演算処理部3,3Aと同様の機能は、測距撮像方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。
以上説明した実施形態及び変形例等から以下の態様が開示されている。
21 第1取得部
22 第2取得部
23A 第2取得部
23 第3取得部
3,3A 演算処理部
31 輝度画像変換部
32 距離画像変換部
33 融合データ生成部
4,4A 撮像部
5 測距部
6,6A 検出部
S1 対象空間
O1 対象物
Claims (15)
- 対象空間の第1の2次元画像を取得する撮像部から、前記第1の2次元画像を示す第1の2次元データを取得する第1取得部と、
前記対象空間の第1の3次元画像を取得する測距部から、前記第1の3次元画像を示す第1の3次元データを取得する第2取得部と、
同軸光学系で、前記対象空間の第2の2次元画像と第2の3次元画像とを取得する検出部から、前記第2の2次元画像を示す第2の2次元データと前記第2の3次元画像を示す第2の3次元データとを取得する第3取得部と、
前記第1の2次元データと前記第2の2次元データとを対応付ける第1対応付け処理と、前記第1の3次元データと前記第2の3次元データとを対応付ける第2対応付け処理と、前記第1の2次元データと前記第1の3次元データとを対応付ける第3対応付け処理と、を実行する演算処理部と、
を備え、
前記第1対応付け処理は、前記第1の2次元画像に含まれる対象物の特徴量及び前記第2の2次元画像に含まれる対象物の特徴量に基づいて、前記第1の2次元画像に含まれる複数の画素と前記第2の2次元画像に含まれる複数の画素との間の対応付けを行う処理を含み、
前記第2対応付け処理は、前記第1の3次元画像に含まれる対象物までの距離の情報及び前記第2の3次元画像に含まれる対象物までの距離の情報に基づいて、前記第1の3次元画像に含まれる複数の画素と前記第2の3次元画像に含まれる複数の画素との間の対応付けを行う処理を含み、
前記第3対応付け処理は、前記第1対応付け処理の結果、前記第2対応付け処理の結果、及び1対1に対応する前記第2の2次元画像に含まれる複数の画素と前記第2の3次元画像に含まれる複数の画素との対応関係に基づいて、前記第1の2次元画像に含まれる複数の画素と前記第1の3次元画像に含まれる複数の画素との間の対応付けを行う処理を含む、
測距撮像システム。 - 前記演算処理部は、
前記第1の2次元画像の各画素の画素値を、前記第2の2次元画像における対応する画素領域へ割り当て変換して演算2次元画像を生成する2次元画像変換部と、
前記第1の3次元画像の各画素の画素値を、前記第2の3次元画像における対応する画素領域へ割り当て変換して演算3次元画像を生成する3次元画像変換部と、
前記演算2次元画像と前記演算3次元画像とに基づき、前記第1の2次元データと前記第1の3次元データとを対応付けた融合データを生成する融合データ生成部と、
を備える、
請求項1に記載の測距撮像システム。 - 前記検出部は、
前記対象空間を、前記検出部からの距離に基づいて複数の距離範囲に分割して、複数の距離範囲にそれぞれ対応する複数の2次元画像を生成し、
前記複数の2次元画像を、前記距離範囲を識別せず合成することによって、前記第2の2次元画像を生成し、
前記複数の2次元画像を、前記距離範囲を識別して合成することによって、前記第2の3次元画像を生成し、
前記第2の2次元画像に含まれる複数の画素と、前記第2の3次元画像に含まれる複数の画素とが、1対1で対応する、
請求項1又は2に記載の測距撮像システム。 - 前記撮像部と前記検出部とは、互いに異なる光軸を有し、
前記測距部と前記検出部とは、互いに異なる光軸を有する、
請求項1~3のいずれか1項に記載の測距撮像システム。 - 前記撮像部と前記検出部とは、互いに異なる空間分解能を有し、
前記測距部と前記検出部とは、互いに異なる距離分解能を有する、
請求項1~4のいずれか1項に記載の測距撮像システム。 - 前記撮像部、前記測距部、及び前記検出部のうちの少なくとも一つを更に備える、
請求項1~5のいずれか1項に記載の測距撮像システム。 - 対象空間の第1の2次元画像を取得する撮像部から、前記第1の2次元画像を示す第1の2次元データを取得する第1取得ステップと、
前記対象空間の第1の3次元画像を取得する測距部から、前記第1の3次元画像を示す第1の3次元データを取得する第2取得ステップと、
同軸光学系で、前記対象空間の第2の2次元画像と第2の3次元画像とを取得する検出部から、前記第2の2次元画像を示す第2の2次元データと前記第2の3次元画像を示す第2の3次元データとを取得する第3取得ステップと、
前記第1の2次元データと前記第2の2次元データとを対応付ける第1対応付け処理と、前記第1の3次元データと前記第2の3次元データとを対応付ける第2対応付け処理と、前記第1の2次元データと前記第1の3次元データとを対応付ける第3対応付け処理と、を実行する処理ステップと、
を含み、
前記第1対応付け処理は、前記第1の2次元画像に含まれる対象物の特徴量及び前記第2の2次元画像に含まれる対象物の特徴量に基づいて、前記第1の2次元画像に含まれる複数の画素と前記第2の2次元画像に含まれる複数の画素との間の対応付けを行う処理を含み、
前記第2対応付け処理は、前記第1の3次元画像に含まれる対象物までの距離の情報及び前記第2の3次元画像に含まれる対象物までの距離の情報に基づいて、前記第1の3次元画像に含まれる複数の画素と前記第2の3次元画像に含まれる複数の画素との間の対応付けを行う処理を含み、
前記第3対応付け処理は、前記第1対応付け処理の結果、前記第2対応付け処理の結果、及び1対1に対応する前記第2の2次元画像に含まれる複数の画素と前記第2の3次元画像に含まれる複数の画素との対応関係に基づいて、前記第1の2次元画像に含まれる複数の画素と前記第1の3次元画像に含まれる複数の画素との間の対応付けを行う処理を含む、
測距撮像方法。 - 1以上のプロセッサに、請求項7の測距撮像方法を実行させるための、
プログラム。 - 第1の2次元画像を示す第1の2次元データを取得する第1取得部と、
同軸光学系で取得された第2の2次元画像を示す第2の2次元データと第1の3次元画像を示す第1の3次元データとを取得する第2取得部と、
前記第1の2次元データと前記第2の2次元データとを対応付ける第1対応付け処理と、前記第1の2次元データと前記第1の3次元データとを対応付ける第2対応付け処理と、を実行する演算処理部と、
を備え、
前記第1対応付け処理は、前記第1の2次元画像に含まれる対象物の特徴量及び前記第2の2次元画像に含まれる対象物の特徴量に基づいて、前記第1の2次元画像に含まれる複数の画素と前記第2の2次元画像に含まれる複数の画素との間の対応付けを行う処理を含み、
前記第2対応付け処理は、前記第1対応付け処理の結果、及び1対1に対応する前記第2の2次元画像に含まれる複数の画素と前記第1の3次元画像に含まれる複数の画素との対応関係に基づいて、前記第1の2次元画像に含まれる複数の画素と前記第1の3次元画像に含まれる複数の画素との間の対応付けを行う処理を含む、
測距撮像システム。 - 前記演算処理部は、
前記第1の2次元データの各画素の画素値を、前記第2の2次元データにおける対応する画素領域へ割り当て変換して演算2次元データを生成することで、前記第1の2次元データと前記第2の2次元データとを対応付ける処理を行う2次元データ変換部と、
前記演算2次元データと前記第1の3次元データとに基づき、前記第1の2次元データと前記第1の3次元データとを対応付けた融合データを生成する融合データ生成部と、
を備える、
請求項9に記載の測距撮像システム。 - 前記第2の2次元データに含まれる複数の画素と、前記第1の3次元データに含まれる複数の画素とが、1対1で対応する、
請求項9又は10に記載の測距撮像システム。 - 前記第1取得部と前記第2取得部とは、互いに異なる光軸を有する、
請求項9~11のいずれか1項に記載の測距撮像システム。 - 前記第1取得部と前記第2取得部とは、互いに異なる空間分解能を有する、
請求項9~12のいずれか1項に記載の測距撮像システム。 - 第1の2次元画像を示す第1の2次元データを取得する第1取得ステップと、
同軸光学系で取得された第2の2次元画像を示す第2の2次元データ第1の3次元画像を示す第1の3次元データとを取得する第2取得ステップと、
前記第1の2次元データと前記第2の2次元データとを対応付ける第1対応付け処理と、前記第1の2次元データと前記第1の3次元データとを対応付ける第2対応付け処理と、を実行する処理ステップと、
を含み、
前記第1対応付け処理は、前記第1の2次元画像に含まれる対象物の特徴量及び前記第2の2次元画像に含まれる対象物の特徴量に基づいて、前記第1の2次元画像に含まれる複数の画素と前記第2の2次元画像に含まれる複数の画素との間の対応付けを行う処理を含み、
前記第2対応付け処理は、前記第1対応付け処理の結果、及び1対1に対応する前記第2の2次元画像に含まれる複数の画素と前記第1の3次元画像に含まれる複数の画素との対応関係に基づいて、前記第1の2次元画像に含まれる複数の画素と前記第1の3次元画像に含まれる複数の画素との間の対応付けを行う処理を含む、
測距撮像方法。 - 1以上のプロセッサに、請求項14の測距撮像方法を実行させるための、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019059472 | 2019-03-26 | ||
JP2019059472 | 2019-03-26 | ||
PCT/JP2020/010092 WO2020195755A1 (ja) | 2019-03-26 | 2020-03-09 | 測距撮像システム、測距撮像方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020195755A1 JPWO2020195755A1 (ja) | 2020-10-01 |
JP7262064B2 true JP7262064B2 (ja) | 2023-04-21 |
Family
ID=72610079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021508967A Active JP7262064B2 (ja) | 2019-03-26 | 2020-03-09 | 測距撮像システム、測距撮像方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220003875A1 (ja) |
JP (1) | JP7262064B2 (ja) |
CN (1) | CN113597534B (ja) |
WO (1) | WO2020195755A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4372419A1 (en) * | 2021-07-16 | 2024-05-22 | Nuvoton Technology Corporation Japan | Object detection device and object detection method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008008687A (ja) | 2006-06-27 | 2008-01-17 | Toyota Motor Corp | 距離測定システム及び距離測定方法 |
US9215382B1 (en) | 2013-07-25 | 2015-12-15 | The United States Of America As Represented By The Secretary Of The Navy | Apparatus and method for data fusion and visualization of video and LADAR data |
JP2016091516A (ja) | 2014-11-11 | 2016-05-23 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2018506700A (ja) | 2014-11-05 | 2018-03-08 | シエラ・ネバダ・コーポレイション | 移動体用の改良型環境表示を生成するためのシステムおよび方法 |
JP2018044942A (ja) | 2016-09-08 | 2018-03-22 | パナソニックIpマネジメント株式会社 | カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体 |
US20180249143A1 (en) | 2017-02-24 | 2018-08-30 | Analog Devices Global | Systems and methods for compression of three dimensional depth sensing |
JP2019012915A (ja) | 2017-06-30 | 2019-01-24 | クラリオン株式会社 | 画像処理装置、画像変換方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04169805A (ja) * | 1990-11-01 | 1992-06-17 | Matsushita Electric Ind Co Ltd | 三次元画像測定装置 |
JP2016040520A (ja) * | 2013-01-10 | 2016-03-24 | 三洋電機株式会社 | 物体検出装置 |
EP2918972B1 (de) * | 2014-03-14 | 2019-10-09 | Leica Geosystems AG | Verfahren und handhaltbares Entfernungsmessgerät zum Erzeugen eines Raummodells |
JP6646361B2 (ja) * | 2015-04-27 | 2020-02-14 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
WO2016199518A1 (ja) * | 2015-06-09 | 2016-12-15 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
CN109285220B (zh) * | 2018-08-30 | 2022-11-15 | 阿波罗智能技术(北京)有限公司 | 一种三维场景地图的生成方法、装置、设备及存储介质 |
-
2020
- 2020-03-09 CN CN202080022206.8A patent/CN113597534B/zh active Active
- 2020-03-09 JP JP2021508967A patent/JP7262064B2/ja active Active
- 2020-03-09 WO PCT/JP2020/010092 patent/WO2020195755A1/ja active Application Filing
-
2021
- 2021-09-21 US US17/480,458 patent/US20220003875A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008008687A (ja) | 2006-06-27 | 2008-01-17 | Toyota Motor Corp | 距離測定システム及び距離測定方法 |
US9215382B1 (en) | 2013-07-25 | 2015-12-15 | The United States Of America As Represented By The Secretary Of The Navy | Apparatus and method for data fusion and visualization of video and LADAR data |
JP2018506700A (ja) | 2014-11-05 | 2018-03-08 | シエラ・ネバダ・コーポレイション | 移動体用の改良型環境表示を生成するためのシステムおよび方法 |
JP2016091516A (ja) | 2014-11-11 | 2016-05-23 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2018044942A (ja) | 2016-09-08 | 2018-03-22 | パナソニックIpマネジメント株式会社 | カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体 |
US20180249143A1 (en) | 2017-02-24 | 2018-08-30 | Analog Devices Global | Systems and methods for compression of three dimensional depth sensing |
JP2019012915A (ja) | 2017-06-30 | 2019-01-24 | クラリオン株式会社 | 画像処理装置、画像変換方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113597534B (zh) | 2023-07-25 |
US20220003875A1 (en) | 2022-01-06 |
JPWO2020195755A1 (ja) | 2020-10-01 |
WO2020195755A1 (ja) | 2020-10-01 |
CN113597534A (zh) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hussmann et al. | A performance review of 3D TOF vision systems in comparison to stereo vision systems | |
US20140168424A1 (en) | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene | |
US9978148B2 (en) | Motion sensor apparatus having a plurality of light sources | |
US11300400B2 (en) | Three-dimensional measurement device | |
EP2530442A1 (en) | Methods and apparatus for thermographic measurements. | |
CN112189147B (zh) | 一种飞行时间ToF相机和一种ToF方法 | |
EP2927710B1 (en) | Ranging system, information processing method and program thereof | |
KR20160045670A (ko) | 비행-시간 카메라 시스템 | |
JP2020003446A (ja) | 光測距装置 | |
JP2015049200A (ja) | 計測装置、方法及びプログラム | |
US20100110209A1 (en) | Fast motion measurement device for gaming | |
KR20210127950A (ko) | 동적 비전 센서 및 패턴 투사를 사용하는 3차원 이미징 및 감지 | |
CN113780349A (zh) | 训练样本集的获取方法、模型训练方法及相关装置 | |
JP2018021776A (ja) | 視差演算システム、移動体及びプログラム | |
CN110986816B (zh) | 一种深度测量系统及其测量方法 | |
JP7262064B2 (ja) | 測距撮像システム、測距撮像方法、及びプログラム | |
CN112740065B (zh) | 成像装置、用于成像的方法和用于深度映射的方法 | |
JP6776692B2 (ja) | 視差演算システム、移動体及びプログラム | |
CN112230244B (zh) | 一种融合的深度测量方法及测量装置 | |
JP7206855B2 (ja) | 三次元位置検出装置、三次元位置検出システム、及び三次元位置検出方法 | |
WO2022195954A1 (ja) | センシングシステム | |
JP7450237B2 (ja) | 情報処理システム、センサシステム、情報処理方法、及びプログラム | |
WO2021084891A1 (ja) | 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム | |
CN112929519B (zh) | 深度相机、成像装置和电子设备 | |
Jawad et al. | Measuring object dimensions and its distances based on image processing technique by analysis the image using sony camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230331 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7262064 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |