JP7383584B2 - 情報処理装置、情報処理方法、プログラムおよび車両制御システム - Google Patents
情報処理装置、情報処理方法、プログラムおよび車両制御システム Download PDFInfo
- Publication number
- JP7383584B2 JP7383584B2 JP2020129662A JP2020129662A JP7383584B2 JP 7383584 B2 JP7383584 B2 JP 7383584B2 JP 2020129662 A JP2020129662 A JP 2020129662A JP 2020129662 A JP2020129662 A JP 2020129662A JP 7383584 B2 JP7383584 B2 JP 7383584B2
- Authority
- JP
- Japan
- Prior art keywords
- detection
- distortion
- information
- information processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 53
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000001514 detection method Methods 0.000 claims description 80
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 36
- 238000000034 method Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 17
- 239000011521 glass Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
(T1)ガラスを介して撮像された画像を、光学的な歪み分布で補正し、補正した画像を用いてガラス歪みを考慮しない既知の手法により対象までの奥行距離を推定する。
(T2)ステレオカメラの一方のカメラのモーションから推定した3次元点に対応付けることで、他方のカメラの相対的な位置関係とカメラパラメータを画像歪みパラメータを含めて推定する。
第1の実施形態にかかる情報処理装置は、ガラスの歪みに起因する画像の歪みを画像上の各位置でのフローで近似した歪みマップを用いる。そして本実施形態にかかる情報処理装置は、カメラモーション、3次元特徴点の位置、および、歪みマップを同時に推定するように3次元再構成を行う。これにより、より精度の高い推定が可能となる。
・厚みの違い、および、曲面形状のような設計上の大域的な歪み
・周囲を固定されていることによる変曲および波状の凹凸
・温度変化による時間的な変化のような細かい局所的な歪み
第2の実施形態にかかる情報処理装置は、画像が分類される複数のグループごとに歪みマップを推定する。
(R1)カメラ10Bとフロントガラス30との相対的な位置が類似する複数の画像を同一のグループに分類する。
(R2)状態が類似するフロントガラス30による歪みを含む複数の画像を同一のグループに分類する。
第3の実施形態にかかる情報処理装置は、歪みマップを推定する領域を示すマスクを生成し、生成したマスクに従い特徴点を補正して歪みマップを推定する。
(M1)画像に含まれる領域のうち、フロントガラス30を透過した光により撮像された領域を示すマスクを生成する。
(M2)画像内の特定の対象が含まれる領域を示すマスクを生成する。
(M3)他の領域より多い特徴点を含む領域を示すマスクを生成する。
10A 出力部
10B カメラ
10C センサ
10D 通信部
10E ディスプレイ
10F スピーカ
10G 動力制御部
10H 動力部
10I バス
20 情報処理装置
20A、20A-2、20A-3 処理部
30 フロントガラス
101 取得部
102 検出部
103、103-2、103-3 推定部
104-2 分類部
105-3 マスク生成部
Claims (15)
- 1以上の検知装置により相互に異なる検知位置で電磁波を用いて対象を検知して得られる、2次元の位置ごとの検知結果を含む情報であって、前記検知装置と前記対象との間に存在し、前記電磁波を透過する透過体による歪みを含む複数の検知情報を取得する取得部と、
複数の前記検知情報それぞれから特徴点を検出する検出部と、
2次元の位置ごとの歪みを表す歪みマップに基づいて補正した前記特徴点の検出位置と、前記特徴点に対応する3次元位置と、の誤差を最小化することにより、前記歪みマップと、前記3次元位置と、前記検知位置と、を推定する推定部と、を備え、
前記歪みマップは、前記検知情報より小さい解像度の複数の格子点ごとの前記歪みを示すフローを含み、
格子内の前記特徴点は、前記特徴点の周辺の複数の前記格子点のフローを補間して求められるフローの値を用いて補正される、
情報処理装置。 - 前記歪みは、2次元の位置ごとの変位量である、
請求項1に記載の情報処理装置。 - 取得された複数の前記検知情報を、歪みが相互に類似する複数の検知情報を含む複数のグループに分類する分類部をさらに備え、
前記推定部は、複数の前記グループごとに、前記歪みマップと前記3次元位置と前記検知位置とを推定する、
請求項1に記載の情報処理装置。 - 前記分類部は、前記検知装置と前記透過体との相対的な位置が類似する複数の検知情報を同一のグループに分類する、
請求項3に記載の情報処理装置。 - 前記分類部は、状態が類似する前記透過体による歪みを含む複数の検知情報を同一のグループに分類する、
請求項3に記載の情報処理装置。 - 前記歪みマップを推定する領域を示すマスクを生成するマスク生成部をさらに備え、
前記推定部は、前記マスクが示す領域に含まれる位置ごとの前記歪みを表す前記歪みマップに基づいて前記特徴点を補正する、
請求項1に記載の情報処理装置。 - 前記マスク生成部は、前記検知情報に含まれる領域のうち、前記透過体を透過した前記電磁波により検知された検知結果を含む領域を示す前記マスクを生成する、
請求項6に記載の情報処理装置。 - 前記マスク生成部は、前記検知情報内の特定の対象が含まれる領域を示す前記マスクを生成する、
請求項6に記載の情報処理装置。 - 前記マスク生成部は、他の領域より多い前記特徴点を含む領域を示す前記マスクを生成する、
請求項6に記載の情報処理装置。 - 前記推定部は、前記誤差を表す関数であって、隣接する複数の前記格子点のフローの平滑化項を含む誤差関数を最小化することにより、前記歪みマップと、前記3次元位置と、前記検知位置と、を推定する、
請求項1に記載の情報処理装置。 - 前記推定部は、前記誤差を表す関数であって、特定のモデルからのフローの変位をパラメータとするバイアス項を含む誤差関数を最小化することにより、前記歪みマップと、前記3次元位置と、前記検知位置と、を推定する、
請求項1に記載の情報処理装置。 - 前記検知装置がカメラであり、前記透過体が可視光を透過する透明体である
請求項1乃至請求項11のいずれか1項に記載の情報処理装置。 - 1以上の検知装置により相互に異なる検知位置で電磁波を用いて対象を検知して得られる、2次元の位置ごとの検知結果を含む情報であって、前記検知装置と前記対象との間に存在し、前記電磁波を透過する透過体による歪みを含む複数の検知情報を取得する取得ステップと、
複数の前記検知情報それぞれから特徴点を検出する検出ステップと、
2次元の位置ごとの歪みを表す歪みマップに基づいて補正した前記特徴点の検出位置と、前記特徴点に対応する3次元位置と、の誤差を最小化することにより、前記歪みマップと、前記3次元位置と、前記検知位置と、を推定する推定ステップと、を含み、
前記歪みマップは、前記検知情報より小さい解像度の複数の格子点ごとの前記歪みを示すフローを含み、
格子内の前記特徴点は、前記特徴点の周辺の複数の前記格子点のフローを補間して求められるフローの値を用いて補正される、
情報処理方法。 - コンピュータに、
1以上の検知装置により相互に異なる検知位置で電磁波を用いて対象を検知して得られる、2次元の位置ごとの検知結果を含む情報であって、前記検知装置と前記対象との間に存在し、前記電磁波を透過する透過体による歪みを含む複数の検知情報を取得する取得ステップと、
複数の前記検知情報それぞれから特徴点を検出する検出ステップと、
2次元の位置ごとの歪みを表す歪みマップに基づいて補正した前記特徴点の検出位置と、前記特徴点に対応する3次元位置と、の誤差を最小化することにより、前記歪みマップと、前記3次元位置と、前記検知位置と、を推定する推定ステップと、を実行させ、
前記歪みマップは、前記検知情報より小さい解像度の複数の格子点ごとの前記歪みを示すフローを含み、
格子内の前記特徴点は、前記特徴点の周辺の複数の前記格子点のフローを補間して求められるフローの値を用いて補正される、
プログラム。 - 車両を制御する車両制御システムであって、
対象の3次元位置を推定する情報処理装置と、
前記3次元位置に基づき車両を駆動するための駆動機構を制御する車両制御装置と、
を備え、
前記情報処理装置は、
1以上の検知装置により相互に異なる検知位置で電磁波を用いて前記対象を検知して得られる、2次元の位置ごとの検知結果を含む情報であって、前記検知装置と前記対象との間に存在し、前記電磁波を透過する透過体による歪みを含む複数の検知情報を取得する取得部と、
複数の前記検知情報それぞれから特徴点を検出する検出部と、
2次元の位置ごとの歪みを表す歪みマップに基づいて補正した前記特徴点の検出位置と、前記特徴点に対応する前記3次元位置と、の誤差を最小化することにより、前記歪みマップと、前記3次元位置と、前記検知位置と、を推定する推定部と、を備え、
前記歪みマップは、前記検知情報より小さい解像度の複数の格子点ごとの前記歪みを示すフローを含み、
格子内の前記特徴点は、前記特徴点の周辺の複数の前記格子点のフローを補間して求められるフローの値を用いて補正される、
車両制御システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020129662A JP7383584B2 (ja) | 2020-07-30 | 2020-07-30 | 情報処理装置、情報処理方法、プログラムおよび車両制御システム |
EP21160377.4A EP3945455A1 (en) | 2020-07-30 | 2021-03-03 | Information processing device, information processing method, computer-readable medium, and vehicle control system |
US17/190,681 US11897517B2 (en) | 2020-07-30 | 2021-03-03 | Information processing device, information processing method, computer program product, and vehicle control system |
CN202110237636.8A CN114092548A (zh) | 2020-07-30 | 2021-03-04 | 信息处理装置、信息处理方法、存储介质以及车辆控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020129662A JP7383584B2 (ja) | 2020-07-30 | 2020-07-30 | 情報処理装置、情報処理方法、プログラムおよび車両制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022026277A JP2022026277A (ja) | 2022-02-10 |
JP7383584B2 true JP7383584B2 (ja) | 2023-11-20 |
Family
ID=74856710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020129662A Active JP7383584B2 (ja) | 2020-07-30 | 2020-07-30 | 情報処理装置、情報処理方法、プログラムおよび車両制御システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11897517B2 (ja) |
EP (1) | EP3945455A1 (ja) |
JP (1) | JP7383584B2 (ja) |
CN (1) | CN114092548A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000502447A (ja) | 1995-12-19 | 2000-02-29 | コグネックス コーポレイション | 半導体製造に用いる複数視野較正プレート |
WO2019171984A1 (ja) | 2018-03-08 | 2019-09-12 | ソニー株式会社 | 信号処理装置、信号処理方法、及び、プログラム |
CN110296691A (zh) | 2019-06-28 | 2019-10-01 | 上海大学 | 融合imu标定的双目立体视觉测量方法与系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9509979B2 (en) | 2013-11-26 | 2016-11-29 | Mobileye Vision Technologies Ltd. | Stereo auto-calibration from structure-from-motion |
US9881235B1 (en) * | 2014-11-21 | 2018-01-30 | Mahmoud Narimanzadeh | System, apparatus, and method for determining physical dimensions in digital images |
WO2017057057A1 (ja) | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP6685836B2 (ja) * | 2016-05-30 | 2020-04-22 | 株式会社東芝 | 情報処理装置、および、情報処理方法 |
JP6975003B2 (ja) | 2017-09-29 | 2021-12-01 | 株式会社デンソー | 周辺監視装置およびその校正方法 |
-
2020
- 2020-07-30 JP JP2020129662A patent/JP7383584B2/ja active Active
-
2021
- 2021-03-03 EP EP21160377.4A patent/EP3945455A1/en active Pending
- 2021-03-03 US US17/190,681 patent/US11897517B2/en active Active
- 2021-03-04 CN CN202110237636.8A patent/CN114092548A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000502447A (ja) | 1995-12-19 | 2000-02-29 | コグネックス コーポレイション | 半導体製造に用いる複数視野較正プレート |
WO2019171984A1 (ja) | 2018-03-08 | 2019-09-12 | ソニー株式会社 | 信号処理装置、信号処理方法、及び、プログラム |
CN110296691A (zh) | 2019-06-28 | 2019-10-01 | 上海大学 | 融合imu标定的双目立体视觉测量方法与系统 |
Also Published As
Publication number | Publication date |
---|---|
US20220032969A1 (en) | 2022-02-03 |
CN114092548A (zh) | 2022-02-25 |
EP3945455A1 (en) | 2022-02-02 |
US11897517B2 (en) | 2024-02-13 |
JP2022026277A (ja) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10949684B2 (en) | Vehicle image verification | |
US11035958B2 (en) | Systems and methods for correcting a high-definition map based on detection of obstructing objects | |
JP7073315B2 (ja) | 乗物、乗物測位システム、及び乗物測位方法 | |
US11620837B2 (en) | Systems and methods for augmenting upright object detection | |
JP6589926B2 (ja) | 物体検出装置 | |
US11275673B1 (en) | Simulated LiDAR data | |
JP7427614B2 (ja) | センサ較正 | |
CN110378919B (zh) | 一种基于slam的窄道通行障碍物检测方法 | |
WO2018149539A1 (en) | A method and apparatus for estimating a range of a moving object | |
US20230049383A1 (en) | Systems and methods for determining road traversability using real time data and a trained model | |
JP6351917B2 (ja) | 移動物体検出装置 | |
JP7383584B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび車両制御システム | |
JP7423500B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび車両制御システム | |
WO2022133986A1 (en) | Accuracy estimation method and system | |
KR102225321B1 (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
WO2022186814A1 (en) | Vehicle environment modeling with a camera | |
CN113327192A (zh) | 一种通过三维测量技术测算汽车行驶速度的方法 | |
US20240112363A1 (en) | Position estimation system, position estimation method, and program | |
US20230286548A1 (en) | Electronic instrument, movable apparatus, distance calculation method, and storage medium | |
US20210390720A1 (en) | System of depth estimation and method thereof | |
GB2624483A (en) | Image processing method and method for predicting collisions | |
CN117576199A (zh) | 一种驾驶场景视觉重建方法、装置、设备及介质 | |
WO2024099786A1 (en) | Image processing method and method for predicting collisions | |
Al-Harasis | Design and Implementation of a Real-Time Surveillance Vision System Based on Two Fisheye Cameras | |
Jansson | On Vergence Calibration of a Stereo Camera System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7383584 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |