JP7167097B2 - 位置推定装置、車両、位置推定方法およびプログラム - Google Patents
位置推定装置、車両、位置推定方法およびプログラム Download PDFInfo
- Publication number
- JP7167097B2 JP7167097B2 JP2020114804A JP2020114804A JP7167097B2 JP 7167097 B2 JP7167097 B2 JP 7167097B2 JP 2020114804 A JP2020114804 A JP 2020114804A JP 2020114804 A JP2020114804 A JP 2020114804A JP 7167097 B2 JP7167097 B2 JP 7167097B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- processing target
- area
- running speed
- position estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000012545 processing Methods 0.000 claims description 131
- 238000001514 detection method Methods 0.000 claims description 22
- 230000007717 exclusion Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 13
- 230000001133 acceleration Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Description
以下、第1の実施形態に係る検証処理装置について、図1~図5を参照しながら説明する。
図1は、第1の実施形態に係る車両の全体構成を示す図である。
図2は、第1の実施形態に係る車両の機能構成を示す図である。
以下、図1、図2を参照しながら、本実施形態に係る車両の構成について詳しく説明する。
位置推定装置10は、内部にCPU100を備えている。このCPU100の詳細な構成及び機能については後述する。
なお、他の実施形態においては、速度検出手段はエンコーダ13に限られることはない。速度検出手段は、例えば、IMU12による加速度の検出結果を時間積分することで走行速度を算出する態様であってもよいし、位置推定装置10による自己位置推定結果の時刻歴を時間微分することで走行速度を算出する態様であってもよい。
図3は、第1の実施形態に係る位置推定装置の処理フローを示す図である。
図3に示す処理フローは、車両1が倉庫内を走行中に、位置推定装置10によって繰り返し実行される処理フローである。
ここで、今回撮影フレームで抽出された特徴点のうち前回撮影フレームと共通する特徴点が、当該今回撮影フレームにてどのような配置で写っているかを検出することで、前回撮影フレーム取得時における車両1の位置・姿勢の推定結果を基準に、現在の車両1の位置・姿勢を簡単な処理で大まかに絞り込むことができる。これは、V-SLAMの技術分野で一般によく用いられている技術である。
図4、図5は、第1の実施形態に係る特定部の処理の詳細な説明に用いる図である。
以下、図4、図5を参照しながら、特定部1003による図3のステップS02の処理について詳しく説明する。
車両1が高速で走行している場合、フレームF1およびフレームF0で共通する背景が撮影される領域は、車両1が低速で走行している場合と比較して面積が小さくなる。そのため、位置推定装置10は、十分なマッチング数を確保すべく(図3のステップS05)、オーバーラップ領域O(フレームF1の処理対象領域P1とフレームF0の処理対象領域P0とが重なる領域)をなるべく広く確保する必要がある。そこで、位置推定装置10の特定部1003は、特徴点の抽出処理を行う処理対象領域P1(処理対象領域P0)を画像全体に設定する。このようにすることで、オーバーラップ領域Oの面積をできるだけ広くとることができ、十分な数のマッチング数を確保しやすくなる。
車両1が低速で走行している場合、フレームF1およびフレームF0で共通する背景が撮影される領域は、車両1が高速で走行している場合と比較して面積が大きくなる。そのため、位置推定装置10は、フレームF1の画像全体に渡って特徴点を抽出しなくとも十分なオーバーラップ領域Oを確保できる可能性が高い。そこで、位置推定装置10の特定部1003は、フレームF1の画像全体から走行速度に応じた量だけ狭めた領域を処理対象領域P1(処理対象領域P0)に設定する。具体的には、図5に示す例のように、フレームF1の画像全体から走行方向に沿った方向にマージンmだけ狭めた領域を処理対象領域P1(処理対象領域P0)に設定する。
このようにすることで、オーバーラップ領域Oの面積を十分に確保しつつ、フレームF1(フレームF0)から特徴点を抽出する処理の負担を軽減することができる。
すなわち、少なくとも、車両1の走行速度が第1の走行速度(低速)であるときの処理対象領域の面積が、車両1の走行速度が第1の走行速度よりも大きい第2の走行速度(高速)であるときの前記処理対象領域の面積よりも小さくなる態様であればよい。
以上の通り、第1の実施形態に係る位置推定装置10は、走行速度検出手段(エンコーダ13)によって検出された車両1の走行速度に基づいて処理対象領域P1を特定する特定部1003を備える。そして、特定部1003は、車両1の走行速度が小さいほど、処理対象領域P1の面積が小さくなるように特定する。
このようにすることで、いかなる走行速度であっても十分なオーバーラップ領域Oを確保しながらも、低速走行時には処理対象領域の面積を狭くすることで特徴点抽出処理の負担を軽減することができる。
また、第1の実施形態に係る位置推定装置10は、以下のように変形可能である。
変形例に係る位置推定装置10の特定部1003は、更に、車両1の運転条件によっては、走行速度に応じて処理対象領域P1を変化させる機能を制限する機能を有していてもよい。
以下、第2の実施形態に係る検証処理装置について、図6~図9を参照しながら説明する。
図6は、第2の実施形態に係る車両の機能構成を示す図である。
第2の実施形態に係る車両1の位置推定装置10は、CPU100が除外部1004としての機能を有する点で第1の実施形態とは異なる。
除外部1004は、車両1の加速度又は角速度が急峻に変化した期間に取得されたフレームを除外し、当該フレームを用いた自己位置推定が行われないようにする。
図7は、第2の実施形態に係る位置推定装置の処理フローを示す図である。
図7に示す処理フローのうち、第1の実施形態(図3)と同じ処理内容のステップについては、同一の符号を付して説明を省略する。
図8は、第2の実施形態に係る特定部の処理の詳細な説明に用いる図である。
図8に示すように、倉庫内にわずかな段差Dが存在する場合、車両1がこの段差Dを横切る際に車体が揺れて車載カメラ11の姿勢が急峻に変化する。そうすると、車載カメラ11の画像にぶれが発生してしまい、正常に特徴点を検出できなくなる場合がある。そうすると、その画像を用いた自己位置推定処理ができない。
そこで、本実施形態に係る位置推定装置10は、特に、水平軸周りの角速度が所定の判定閾値以上となった場合には、その間に取得されたフレームを自己位置推定処理への入力から除外する。このようにすることで、正常に特徴点を検出できない可能性が高い画像を自己位置推定処理の対象から除外されるため、無駄な特徴点抽出処理が実行されることが抑制される。したがって、自己位置推定処理の負荷を一層軽減することができる。
図9は、第2の実施形態の変形例に係る除外部の処理の説明に用いる図である。
以下、図9を参照しながら、第2の実施形態の変形例に係る除外部1004の処理について詳しく説明する。
第2の実施形態の変形例に係る除外部1004は、事前に用意された地図Mを参照して、フレームを自己位置推定処理の入力から除外するか否かを判定する。具体的には、図9に示すように、地図Mには、画像のぶれが繰り返し発生しやすい倉庫内の所定エリア(段差エリアL)が事前に規定されている。本変形例にかかる除外部1004は、図8のステップS00aにて、車両1の現在位置がこの段差エリアL内に属しているか否かを判定し、段差エリアL内に属している場合には、得られた画像を、自己位置推定処理に用いることなく除外する。
このように、画像の除外が繰り返される段差エリアLを地図上に保存しておくことで、角速度の変化を捉える前から、より安全側に画像の除外ができる。したがって、一層自己位置推定処理の負荷を軽減することができる。
各実施形態に記載の位置推定装置、位置推定方法およびプログラムは、例えば以下のように把握される。
10 位置推定装置
100 CPU
1000 取得部
1001 抽出部
1002 位置推定部
1003 特定部
1004 除外部
11 車載カメラ
12 IMU
13 エンコーダ
14 記録媒体
Claims (9)
- 車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定装置であって、
前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出する抽出部と、
今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定する位置推定部と、
前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定する特定部と、
を備え、
前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さく、
前記特定部は、前記車両であるフォークリフトが、「積荷作業を行っている状態」または「積荷を運搬している状態」である場合に、前記走行速度が小さいほど前記処理対象領域の面積が小さくなるように特定することを制限する、
位置推定装置。 - 前記特定部は、前記走行速度が小さいほど前記処理対象領域の面積が小さくなるように特定する、
請求項1に記載の位置推定装置。 - 前記特定部は、所定の速度閾値を境にステップ状に前記処理対象領域の面積を変化させる、
請求項1に記載の位置推定装置。 - 前記特定部は、前記車両の走行方向に沿って前記処理対象領域の面積を変化させる、
請求項1から請求項3のいずれか一項に記載の位置推定装置。 - 前記車両の加速度又は角速度が閾値以上となった期間に取得された前記画像を除外する除外部をさらに備える、
請求項1から請求項4のいずれか一項に記載の位置推定装置。 - 前記車両が地図上に予め規定された所定エリアを走行中の間に取得された前記画像を除外する除外部をさらに備える、
請求項1から請求項5のいずれか一項に記載の位置推定装置。 - 請求項1から請求項6のいずれか一項に記載の位置推定装置と、
前記車載カメラと、
前記走行速度検出手段と、
を備える車両。 - 車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定方法であって、
位置推定装置が、前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、
前記位置推定装置が、今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、
前記位置推定装置が、前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、
を有し、
前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さく、
前記処理対象領域を特定するステップでは、前記位置推定装置は、前記車両であるフォークリフトが、「積荷作業を行っている状態」または「積荷を運搬している状態」である場合に、前記走行速度が小さいほど前記処理対象領域の面積が小さくなるように特定することを制限する、
位置推定方法。 - 車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定のコンピュータに、
前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、
今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、
前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、
を実行させ、
前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さく、
前記処理対象領域を特定するステップでは、前記車両であるフォークリフトが、「積荷作業を行っている状態」または「積荷を運搬している状態」である場合に、前記走行速度が小さいほど前記処理対象領域の面積が小さくなるように特定することを制限する、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020114804A JP7167097B2 (ja) | 2020-07-02 | 2020-07-02 | 位置推定装置、車両、位置推定方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020114804A JP7167097B2 (ja) | 2020-07-02 | 2020-07-02 | 位置推定装置、車両、位置推定方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022022715A JP2022022715A (ja) | 2022-02-07 |
JP7167097B2 true JP7167097B2 (ja) | 2022-11-08 |
Family
ID=80225128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020114804A Active JP7167097B2 (ja) | 2020-07-02 | 2020-07-02 | 位置推定装置、車両、位置推定方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7167097B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023234384A1 (ja) * | 2022-06-03 | 2023-12-07 | Necソリューションイノベータ株式会社 | 地図生成装置、地図生成方法、及びコンピュータ読み取り可能な記録媒体 |
JP2024060968A (ja) * | 2022-10-20 | 2024-05-07 | 三菱ロジスネクスト株式会社 | 位置推定システム、フォークリフト、位置推定方法及びプログラム |
JP2024060983A (ja) | 2022-10-20 | 2024-05-07 | 三菱ロジスネクスト株式会社 | 位置推定装置、フォークリフト、位置推定方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014203145A (ja) | 2013-04-02 | 2014-10-27 | パナソニック株式会社 | 自律移動装置 |
WO2015125300A1 (ja) | 2014-02-24 | 2015-08-27 | 日産自動車株式会社 | 自己位置算出装置及び自己位置算出方法 |
JP2017223483A (ja) | 2016-06-14 | 2017-12-21 | 日立オートモティブシステムズ株式会社 | 自車位置推定装置 |
-
2020
- 2020-07-02 JP JP2020114804A patent/JP7167097B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014203145A (ja) | 2013-04-02 | 2014-10-27 | パナソニック株式会社 | 自律移動装置 |
WO2015125300A1 (ja) | 2014-02-24 | 2015-08-27 | 日産自動車株式会社 | 自己位置算出装置及び自己位置算出方法 |
JP2017223483A (ja) | 2016-06-14 | 2017-12-21 | 日立オートモティブシステムズ株式会社 | 自車位置推定装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022022715A (ja) | 2022-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7167097B2 (ja) | 位置推定装置、車両、位置推定方法およびプログラム | |
US10139832B2 (en) | Computer-assisted or autonomous driving with region-of-interest determination for traffic light analysis | |
CN109074078A (zh) | 用于捕捉交通标志的图像的方法和装置 | |
US20150154458A1 (en) | Lane change determining apparatus, junction entry determining apparatus and method thereof | |
US11501452B2 (en) | Machine learning and vision-based approach to zero velocity update object detection | |
JP6776707B2 (ja) | 自車位置推定装置 | |
KR102441073B1 (ko) | 자이로 센싱값 보상 장치, 그를 포함한 시스템 및 그 방법 | |
CN105571606A (zh) | 能够改进车辆定位的方法和系统 | |
EP2175237B1 (en) | System and methods for image-based navigation using line features matching | |
US11221230B2 (en) | System and method for locating the position of a road object by unsupervised machine learning | |
EP4036857A1 (en) | Vehicle and method for generating map corresponding to three-dimensional space | |
US11436815B2 (en) | Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same | |
JP2018081545A (ja) | 画像データ抽出装置及び画像データ抽出方法 | |
CN109932738B (zh) | 用于确定对象位置的方法和设备 | |
JP2017045396A (ja) | 画像記録装置および画像記録方法 | |
CN114088114B (zh) | 车辆位姿校准方法、装置和电子设备 | |
JP2018205950A (ja) | 自車位置推定用環境地図生成装置、自車位置推定装置、自車位置推定用環境地図生成プログラム、及び自車位置推定プログラム | |
US12106669B2 (en) | Control apparatus, movable object, control method, and computer readable storage medium | |
CN113341443A (zh) | 一种定位轨迹信息的处理方法和车载导航装置 | |
US20220155075A1 (en) | Method and apparatus with localization | |
JP6611315B2 (ja) | 映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラム | |
JP2021017073A (ja) | 位置推定装置 | |
CN113034538B (zh) | 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备 | |
CN113724390A (zh) | 匝道生成方法及装置 | |
JP6955464B2 (ja) | 車両位置判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7167097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |