JP7445415B2 - 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 - Google Patents
姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 Download PDFInfo
- Publication number
- JP7445415B2 JP7445415B2 JP2019215294A JP2019215294A JP7445415B2 JP 7445415 B2 JP7445415 B2 JP 7445415B2 JP 2019215294 A JP2019215294 A JP 2019215294A JP 2019215294 A JP2019215294 A JP 2019215294A JP 7445415 B2 JP7445415 B2 JP 7445415B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- feature point
- plane
- point
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 25
- 238000012937 correction Methods 0.000 title claims description 21
- 238000000034 method Methods 0.000 title claims description 19
- 230000005856 abnormality Effects 0.000 title description 25
- 230000003287 optical effect Effects 0.000 claims description 110
- 230000008859 change Effects 0.000 claims description 54
- 239000013598 vector Substances 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 17
- 239000000284 extract Substances 0.000 description 12
- 230000007717 exclusion Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000004075 alteration Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 101000786631 Homo sapiens Protein SYS1 homolog Proteins 0.000 description 3
- 102100025575 Protein SYS1 homolog Human genes 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 101100309712 Arabidopsis thaliana SD11 gene Proteins 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
図1は、実施形態に係る異常検出システムSYS1の構成を示すブロック図である。本実施形態において、異常は、カメラの取付けのずれが生じた状態である。すなわち、異常検出システムSYS1は、車両に搭載されたカメラ(車載カメラ)の取付けのずれを検出するシステムである。図1に示すように、異常検出システムSYS1は、異常検出装置1及び撮影部2を備える。
図1に示すように、異常検出装置1は、取得部11と、制御部12と、記憶部13と、を備える。
図10は、実施形態に係る補正システムSYS2の構成を示すブロック図である。図10において、図1と同一の部分には同一の符号を付し詳細な説明を省略する。図10に示すように、補正システムSYS2は、補正装置1’及び撮影部2を備える。
本明細書における実施形態や実施例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。
1’ 補正装置
14 姿勢推定装置
21~24 車載カメラ
11 取得部
121 抽出部
121a 除外部
122 特定部
123 推定部
124 判定部
125 補正部
126 変更部
Claims (13)
- 移動体に搭載されたカメラで撮影された撮影画像から路面上の第1特徴点及び第2特徴点を含む複数の特徴点を抽出し、
異なる時刻で撮影された2つの前記撮影画像から前記カメラの投影面上における前記第1特徴点の位置変化の始点及び終点と、前記第2特徴点の位置変化の始点及び終点を導出し、
前記第1特徴点の位置変化の始点及び前記第2特徴点の位置変化の始点と前記カメラの光学中心とが含まれる第1平面、前記第2特徴点の位置変化の始点及び終点と前記カメラの光学中心とが含まれる第2平面、前記第1特徴点の位置変化の終点及び前記第2特徴点の位置変化の終点と前記カメラの光学中心とが含まれる第3平面、並びに前記第1特徴点の位置変化の始点及び終点と前記カメラの光学中心とが含まれる第4平面とし、
前記第1平面と前記第3平面の交線のベクトルと、前記第2平面と前記第4平面の交線のベクトルとの外積により路面の法線を算出し、
前記算出した路面の法線と実際の路面の法線である垂直方向との違いに基づき前記カメラの姿勢を推定する、
姿勢推定装置。 - 前記異なる時刻は、前記移動体の直進移動中における時刻である、請求項1に記載の姿勢推定装置。
- 前記撮影画像において前記特徴点が他に比べて集中して存在する高密度領域の中から前記第1特徴点及び前記第2特徴点を抽出する、請求項1又は請求項2に記載の姿勢推定装置。
- 前記第1特徴点及び前記第2特徴点は、コーナーらしさを示すコーナー度が所定のコーナー度閾値以上となる特定の特徴点である、請求項1~3のいずれか一項に記載の姿勢推定装置。
- 所定の条件を満たす特徴点を抽出対象から除外する、請求項1~4のいずれか一項に記載の姿勢推定装置。
- 前記所定の条件の少なくとも一つは、前記移動体の移動に基づく条件である、請求項5に記載の姿勢推定装置。
- 前記所定の条件の少なくとも一つは、各々の特徴点の履歴に基づく条件である、請求項5又は請求項6に記載の姿勢推定装置。
- 前記所定の条件の少なくとも一つは、第1時刻から第2時刻までの複数の特徴点の各位置変化間の比較に基づく条件である、請求項5~7のいずれか一項に記載の姿勢推定装置。
- 前記カメラのパラメータ、特徴点の密度、特徴点の位置変化を算出する処理の内容、前記移動体の状態、前記カメラのレンズの状態、及び特徴点の位置変化間のばらつきの少なくとも一つに基づき信頼度を変更し、
前記信頼度に基づき処理内容を決定する、請求項1~8のいずれか一項に記載の姿勢推定装置。 - 請求項1~9のいずれか一項に記載の姿勢推定装置と、
前記推定された前記カメラの姿勢に基づき、前記カメラの取付けのずれが生じた状態であるか否かを判定する、
異常検出装置。 - 請求項1~9のいずれか一項に記載の姿勢推定装置と、
前記推定された前記カメラの姿勢に基づき、前記カメラのパラメータを補正する、
補正装置。 - 走行中の移動体に搭載されたカメラで撮影された撮影画像から、路面上における第1オプティカルフロー及び第2オプティカルフローを抽出して、前記カメラの投影面上の座標に変換し、
前記第1及び第2オプティカルフローの各始点と前記カメラの光学中心とが含まれる第1平面、前記第2オプティカルフローと前記カメラの光学中心とが含まれる第2平面、前記第1及び第2オプティカルフローの各終点と前記カメラの光学中心とが含まれる第3平面、並びに前記第1オプティカルフローと前記カメラの光学中心とが含まれる第4平面により、
前記第1平面と前記第3平面の交線のベクトルと、前記第2平面と前記第4平面の交線のベクトルとの外積により前記路面の法線を算出し、
算出した前記法線と実際の路面の法線との違いに基づき前記カメラの姿勢を推定する、
姿勢推定装置。 - 移動体に搭載されたカメラで撮影された撮影画像から路面上の第1特徴点及び第2特徴点を含む複数の特徴点を抽出し、
異なる時刻で撮影された2つの前記撮影画像から前記カメラの投影面上における前記第1特徴点の位置変化の始点及び終点と、前記第2特徴点の位置変化の始点及び終点を導出し、
前記第1特徴点の位置変化の始点及び前記第2特徴点の位置変化の始点と前記カメラの光学中心とが含まれる第1平面、前記第2特徴点の位置変化の始点及び終点と前記カメラの光学中心とが含まれる第2平面、前記第1特徴点の位置変化の終点及び前記第2特徴点の位置変化の終点と前記カメラの光学中心とが含まれる第3平面、並びに前記第1特徴点の位置変化の始点及び終点と前記カメラの光学中心とが含まれる第4平面とし、
前記第1平面と前記第3平面の交線のベクトルと、前記第2平面と前記第4平面の交線のベクトルの外積により路面の法線を算出し、
前記算出した路面の法線と実際の路面の法線である垂直方向との違いに基づき前記カメラの姿勢を推定する、
姿勢推定装置が行う姿勢推定方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019100191 | 2019-05-29 | ||
JP2019100191 | 2019-05-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020198074A JP2020198074A (ja) | 2020-12-10 |
JP7445415B2 true JP7445415B2 (ja) | 2024-03-07 |
Family
ID=73649218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019215294A Active JP7445415B2 (ja) | 2019-05-29 | 2019-11-28 | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7445415B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7237773B2 (ja) * | 2019-08-23 | 2023-03-13 | 株式会社デンソーテン | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 |
CN116888641A (zh) * | 2021-03-08 | 2023-10-13 | 三菱电机株式会社 | 数据处理装置、数据处理方法和数据处理程序 |
WO2023032255A1 (ja) * | 2021-09-02 | 2023-03-09 | 日立Astemo株式会社 | 画像処理装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014165810A (ja) | 2013-02-27 | 2014-09-08 | Fujitsu Ten Ltd | パラメータ取得装置、パラメータ取得方法及びプログラム |
JP2018160732A (ja) | 2017-03-22 | 2018-10-11 | 株式会社デンソーテン | 画像処理装置、カメラずれ判定システム、及び画像処理方法 |
-
2019
- 2019-11-28 JP JP2019215294A patent/JP7445415B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014165810A (ja) | 2013-02-27 | 2014-09-08 | Fujitsu Ten Ltd | パラメータ取得装置、パラメータ取得方法及びプログラム |
JP2018160732A (ja) | 2017-03-22 | 2018-10-11 | 株式会社デンソーテン | 画像処理装置、カメラずれ判定システム、及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020198074A (ja) | 2020-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7445415B2 (ja) | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 | |
CN107004277B (zh) | 机动车辆摄像头系统的在线标定 | |
JP7256734B2 (ja) | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 | |
JP7270499B2 (ja) | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム | |
KR102104005B1 (ko) | 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 | |
KR20180112014A (ko) | 자동차의 주변 영역에 대한 두 개의 이미지들 사이의 모션 추정 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 | |
JP7212486B2 (ja) | 位置推定装置 | |
JP2019191806A (ja) | 異常検出装置および異常検出方法 | |
JP3765862B2 (ja) | 車両用環境認識装置 | |
US20190078876A1 (en) | Road surface displacement detection device and suspension control method | |
WO2019156072A1 (ja) | 姿勢推定装置 | |
JP2019191807A (ja) | 異常検出装置および異常検出方法 | |
JP7303064B2 (ja) | 画像処理装置、および、画像処理方法 | |
JP7311407B2 (ja) | 姿勢推定装置、および、姿勢推定方法 | |
WO2017010268A1 (ja) | 推定装置及び推定プログラム | |
JP7232005B2 (ja) | 車両の走行環境検出装置及び走行制御システム | |
JP2018136739A (ja) | キャリブレーション装置 | |
JP7009209B2 (ja) | カメラずれ検出装置、カメラずれ検出方法および異常検出装置 | |
JP7237773B2 (ja) | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 | |
JP6747176B2 (ja) | 画像処理装置、撮影装置、プログラム、機器制御システム及び機器 | |
JP7297595B2 (ja) | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 | |
JP7311406B2 (ja) | 画像処理装置、および、画像処理方法 | |
JP7236352B2 (ja) | 姿勢推定装置、および、姿勢推定方法 | |
WO2020121757A1 (ja) | 画像処理装置 | |
JP6981881B2 (ja) | カメラずれ検出装置およびカメラずれ検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7445415 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |