JP7439006B2 - 距離推定装置及び距離推定方法 - Google Patents
距離推定装置及び距離推定方法 Download PDFInfo
- Publication number
- JP7439006B2 JP7439006B2 JP2021044764A JP2021044764A JP7439006B2 JP 7439006 B2 JP7439006 B2 JP 7439006B2 JP 2021044764 A JP2021044764 A JP 2021044764A JP 2021044764 A JP2021044764 A JP 2021044764A JP 7439006 B2 JP7439006 B2 JP 7439006B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- pixels
- point cloud
- unit
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 50
- 230000004075 alteration Effects 0.000 description 178
- 238000012545 processing Methods 0.000 description 89
- 238000004364 calculation method Methods 0.000 description 64
- 238000010586 diagram Methods 0.000 description 24
- 238000001739 density measurement Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000010354 integration Effects 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Description
図1は、第1実施形態による距離推定装置の一例を示すブロック図である。距離推定装置は、物標の画像から画像の各画素の距離を推定するものであるが、第1実施形態では、距離推定装置は、推定した各画素の距離から各画素の3次元位置(3次元座標とも称される)も推定するとする。各画素の3次元座標を推定することは点を推定すると称される。ただし、距離推定装置は必ずしも点を推定する必要はなく、距離を推定るすだけでもよい。物標を構成する点の集合は点群と称される。
図15は、第2実施形態による距離推定装置の収差マップ領域選択部52aの一例を示す機能ブロック図である。第2実施形態による距離推定装置は図2に示された構成と大部分同じである。第2実施形態では、図2の収差マップ領域選択部52が収差マップ領域選択部52aに変更される。
図17は、第3実施形態による距離推定装置の収差マップ処理部26bの一例を示す機能ブロック図である。
上述の実施形態は、収差マップ処理部26が主として点群を推定し、収差マップ処理部26が点群を推定しにくい領域について、SLAM処理部24が補完的に点群を推定する。次に、上述の実施形態とは反対に、SLAM処理部24が主として点群を推定し、SLAM処理部24が点群を推定しにくい領域について、収差マップ処理部26が補完的に点群を推定する第4実施形態を説明する。
上述の実施形態では、SLAM処理部がカメラ12からの画像からエゴモーションを推定する。次に、収差マップ処理部がエゴモーションを推定する第5実施形態を説明する。
Claims (10)
- 物標の画像の少なくとも一部の第1領域内の第1の複数の画素の距離を第1推定方式に基づき推定する第1距離推定部と、
前記画像の少なくとも一部の第2領域内の第2の複数の画素の距離を前記第1推定方式とは異なる第2推定方式に基づき推定する第2距離推定部と、を具備し、
前記第1距離推定部は、前記第2の複数の画素の距離に応じて前記第1領域を決定し、
前記第2距離推定部は、前記第1の複数の画素の距離と前記第2の複数の画素の距離に応じて前記第2領域を決定する、距離推定装置。 - 前記第1距離推定部は、前記第1の複数の画素の距離の信頼度を推定し、第1信頼度以上の距離を出力し、
前記第2距離推定部は、前記第2の複数の画素の距離の信頼度を推定し、第2信頼度以上の距離を出力する、請求項1記載の距離推定装置。 - 前記第1距離推定部は、異なるアングルで撮影された前記物標の2枚の画像に基づいて距離測定装置のエゴモーションを推定し、
前記第2距離推定部は、前記エゴモーションと、前記第1の複数の画素の距離と、前記第2の複数の画素の距離と、に基づいて前記第2領域を決定する、請求項1または請求項2記載の距離推定装置。 - 前記第1距離推定部は、第1時刻で撮影された前記物標の第1画像と、時系列において前記第1時刻より前の第2時刻で撮影された前記物標の第2画像と、に基づいて前記エゴモーションを推定し、
前記第2距離推定部は、前記エゴモーションと、前記第1距離推定部により推定された前記第2画像の前記第1の複数の画素の距離と、前記第2距離推定部により推定された前記第2画像の前記第2の複数の画素の距離と、に基づいて前記第2領域を決定する、請求項3記載の距離推定装置。 - 前記第1領域の形状と前記第2領域の形状は矩形である、請求項3記載の距離推定装置。
- 前記第2距離推定部は、領域指定信号を受信し、前記エゴモーションと、前記第1の複数の画素の距離と、前記第2の複数の画素の距離と、前記領域指定信号と、に基づいて前記第2領域を決定する、請求項3記載の距離推定装置。
- 前記第2領域は、複数の部分領域を含み、
前記第2距離推定部は、前記エゴモーションと、前記第1の複数の画素の距離と、前記第2の複数の画素の距離と、に基づいて前記複数の部分領域毎に全画素数に対する距離が推定された画素数の割合を計算し、前記割合が第1割合より大きい部分領域については距離を推定せず、前記割合が第1割合以下の部分領域について距離を推定する、請求項3記載の距離推定装置。 - 前記第1距離推定部は、前記第2距離推定部により距離が推定されない画素を含む領域を前記第1領域として決定する、請求項3記載の距離推定装置。
- 物標の画像の少なくとも一部の第1領域内の第1の複数の画素の距離を第1距離推定部により第1推定方式に基づき推定し、
前記画像の少なくとも一部の第2領域内の第2の複数の画素の距離を第2距離推定部により第2推定方式に基づき推定し、
前記第1距離推定部は、前記第2の複数の画素の距離に応じて前記第1領域を選択し、
前記第2距離推定部は、前記第1の複数の画素の距離と前記第2の複数の画素の距離に応じて前記第2領域を選択する、距離推定方法。 - 前記第1距離推定部は、異なるアングルで撮影された前記物標の2枚の画像に基づいて距離測定装置のエゴモーションを推定し、
前記第2距離推定部は、前記エゴモーションと、前記第1の複数の画素の距離と、前記第2の複数の画素の距離と、に基づいて前記第2領域を決定する、請求項9記載の距離推定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021044764A JP7439006B2 (ja) | 2021-03-18 | 2021-03-18 | 距離推定装置及び距離推定方法 |
US17/468,390 US12045997B2 (en) | 2021-03-18 | 2021-09-07 | Distance estimation device and distance estimation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021044764A JP7439006B2 (ja) | 2021-03-18 | 2021-03-18 | 距離推定装置及び距離推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022143955A JP2022143955A (ja) | 2022-10-03 |
JP7439006B2 true JP7439006B2 (ja) | 2024-02-27 |
Family
ID=83283860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021044764A Active JP7439006B2 (ja) | 2021-03-18 | 2021-03-18 | 距離推定装置及び距離推定方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US12045997B2 (ja) |
JP (1) | JP7439006B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007240275A (ja) | 2006-03-07 | 2007-09-20 | Olympus Corp | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 |
JP2007263657A (ja) | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | 3次元座標取得装置 |
WO2015059346A1 (en) | 2013-10-25 | 2015-04-30 | Nokia Technologies Oy | An apparatus and a method for producing a depth-map |
WO2017159312A1 (ja) | 2016-03-15 | 2017-09-21 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10311595B2 (en) * | 2013-11-19 | 2019-06-04 | Canon Kabushiki Kaisha | Image processing device and its control method, imaging apparatus, and storage medium |
JP6880822B2 (ja) | 2017-02-24 | 2021-06-02 | 株式会社リコー | 装置、移動体装置及び方法 |
JP2018195241A (ja) * | 2017-05-22 | 2018-12-06 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7204326B2 (ja) * | 2018-01-15 | 2023-01-16 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム |
WO2020090390A1 (ja) * | 2018-10-29 | 2020-05-07 | 日本電気株式会社 | センサ情報統合システム、センサ情報統合方法、プログラム、及び記録媒体 |
JP7074090B2 (ja) | 2019-01-30 | 2022-05-24 | 日本電信電話株式会社 | 深度超解像装置、深度超解像方法、及びプログラム |
US11727588B2 (en) * | 2020-04-14 | 2023-08-15 | Toyota Research Institute, Inc. | Depth estimation based on ego-motion estimation and residual flow estimation |
-
2021
- 2021-03-18 JP JP2021044764A patent/JP7439006B2/ja active Active
- 2021-09-07 US US17/468,390 patent/US12045997B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007240275A (ja) | 2006-03-07 | 2007-09-20 | Olympus Corp | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 |
JP2007263657A (ja) | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | 3次元座標取得装置 |
WO2015059346A1 (en) | 2013-10-25 | 2015-04-30 | Nokia Technologies Oy | An apparatus and a method for producing a depth-map |
WO2017159312A1 (ja) | 2016-03-15 | 2017-09-21 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
US12045997B2 (en) | 2024-07-23 |
JP2022143955A (ja) | 2022-10-03 |
US20220301208A1 (en) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2858008B1 (en) | Target detecting method and system | |
TWI536318B (zh) | 深度測量之品質提升 | |
KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
US10574967B2 (en) | Autonomous performance of an operation on an object using a generated dense 3D model of the object | |
US11093762B2 (en) | Method for validation of obstacle candidate | |
KR101551026B1 (ko) | 차량 검출 방법 | |
KR101864127B1 (ko) | 무인 차량을 위한 주변 환경 매핑 방법 및 장치 | |
JP2014029604A (ja) | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 | |
CN112287824B (zh) | 基于双目视觉的三维目标检测方法、装置及系统 | |
JP6592991B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP2016152027A (ja) | 画像処理装置、画像処理方法およびプログラム | |
EP3293700A1 (en) | 3d reconstruction for vehicle | |
JP2008262333A (ja) | 路面判別装置および路面判別方法 | |
JP2000306108A (ja) | オプティカルフロー推定方法 | |
KR101896307B1 (ko) | 깊이 영상을 처리하는 방법 및 장치 | |
US9025022B2 (en) | Method and apparatus for gesture recognition using a two dimensional imaging device | |
JP7439006B2 (ja) | 距離推定装置及び距離推定方法 | |
JP2017033366A (ja) | 道路境界検出装置、自己位置推定装置及び道路境界検出方法 | |
US20130142388A1 (en) | Arrival time estimation device, arrival time estimation method, arrival time estimation program, and information providing apparatus | |
JP5903901B2 (ja) | 車両位置算出装置 | |
JP2019207607A (ja) | 移動体追跡装置 | |
KR20150130078A (ko) | 신장 트리 생성 방법 및 장치,스테레오 매칭 방법 및 장치,업 샘플링 방법 및 장치,및 기준 픽셀 생성 방법 및 장치 | |
JP2019020171A (ja) | 車幅検出装置、車幅検出方法、およびプログラム | |
JP2014211694A (ja) | 画像処理装置、距離測定装置及び画像処理用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7439006 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |