JP7167097B2 - 位置推定装置、車両、位置推定方法およびプログラム - Google Patents

位置推定装置、車両、位置推定方法およびプログラム Download PDF

Info

Publication number
JP7167097B2
JP7167097B2 JP2020114804A JP2020114804A JP7167097B2 JP 7167097 B2 JP7167097 B2 JP 7167097B2 JP 2020114804 A JP2020114804 A JP 2020114804A JP 2020114804 A JP2020114804 A JP 2020114804A JP 7167097 B2 JP7167097 B2 JP 7167097B2
Authority
JP
Japan
Prior art keywords
vehicle
processing target
area
running speed
position estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020114804A
Other languages
English (en)
Other versions
JP2022022715A (ja
Inventor
克将 北島
裕介 木内
匠 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Logisnext Co Ltd
Original Assignee
Mitsubishi Logisnext Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Logisnext Co Ltd filed Critical Mitsubishi Logisnext Co Ltd
Priority to JP2020114804A priority Critical patent/JP7167097B2/ja
Publication of JP2022022715A publication Critical patent/JP2022022715A/ja
Application granted granted Critical
Publication of JP7167097B2 publication Critical patent/JP7167097B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Description

本開示は、位置推定装置、車両、位置推定方法およびプログラムに関する。
車両に搭載したカメラを用いて自己位置推定が実現できれば、屋内を走行する車両の動線分析等に応用できる。カメラはGNSS(Global Navigation Satellite System)と異なり屋内使用が可能であり、また、同じく屋内使用が可能なセンサであるLiDAR(Laser Imaging Detection and Ranging)と比べて価格が低いという長所がある。
車載カメラを用いて自己位置推定を行う方法に、環境の「地図」、すなわち環境中の画像特徴の3次元分布を記録したものを作成し、この地図中の特徴点とカメラ画像中の特徴点とを照合することで自己位置推定を行う方式がよく用いられる(例えば、特許文献1参照)。
国際公開第2019/188391号
上述の自己位置推定処理は、各カメラ画像から特徴点を抽出する必要があるが、特徴点の抽出処理は計算負荷が大きいという課題がある。
本開示の目的は、カメラ画像を用いた自己位置推定処理の計算負荷を低減可能な位置推定装置、車両、位置推定方法およびプログラムを提供することにある。
本開示の一態様によれば、位置推定装置は、車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定装置であって、前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出する抽出部と、今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定する位置推定部と、前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定する特定部と、を備え、前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さい。
本開示の一態様によれば、位置推定方法は、車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定方法であって、前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、を有し、前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さい。
本開示の一態様によれば、プログラムは、車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定のコンピュータに、前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、を実行させ、前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さい。
上述の各態様によれば、カメラ画像を用いた自己位置推定処理の計算負荷を軽減できる。
本開示の少なくとも一実施形態に係る車両の全体構成を示す図である。 本開示の少なくとも一実施形態に係る車両の機能構成を示す図である。 本開示の少なくとも一実施形態に係る車両の処理フローを示す図である。 本開示の少なくとも一実施形態に係る特定部の処理の詳細な説明に用いる図である。 本開示の少なくとも一実施形態に係る特定部の処理の詳細な説明に用いる図である。 本開示の少なくとも一実施形態に係る車両の機能構成を示す図である。 本開示の少なくとも一実施形態に係る車両の処理フローを示す図である。 本開示の少なくとも一実施形態に係る除外部の処理の詳細な説明に用いる図である。 本開示の少なくとも一実施形態に係る除外部の処理の詳細な説明に用いる図である。
<第1の実施形態>
以下、第1の実施形態に係る検証処理装置について、図1~図5を参照しながら説明する。
(車両の構成)
図1は、第1の実施形態に係る車両の全体構成を示す図である。
図2は、第1の実施形態に係る車両の機能構成を示す図である。
以下、図1、図2を参照しながら、本実施形態に係る車両の構成について詳しく説明する。
本実施形態に係る車両1は、物流に用いられる産業用車両であって、例えば、倉庫内で荷役作業を行うべく、予め定められたルートを自律走行する無人フォークリフトである。なお、他の実施形態においてはこの態様に限定されることはなく、あらゆる技術分野に応用可能である。
図1、図2に示すように、車両1は、位置推定装置10と、車載カメラ11と、IMU12と、エンコーダ13と、記録媒体14とを備えている。
位置推定装置10は、V-SLAM(Visual-Simultaneous Localization and Mapping)による自己位置推定処理を行う。V-SLAMでは、例えば、車載カメラ等の撮像装置を用いて取得した周辺環境の画像から特徴点を抽出し、地図作成と自己位置推定が同時に実行される。V-SLAMを実行する手法としては様々なものが提案されているが、例えば、ORB-SLAM等の手法を用いることができる。具体的には、位置推定装置10は、車載カメラ11から逐次取得される画像に基づいて、車両1の位置及び姿勢を推定する。
位置推定装置10は、内部にCPU100を備えている。このCPU100の詳細な構成及び機能については後述する。
車載カメラ11は、動画撮影、即ち、連続的に画像を取得可能な撮影装置である。画像の1つ1つは、動画を構成する“フレーム”に相当する。図1に示すように、本実施形態に係る車載カメラ11は、車両1の上方を撮影可能に設置される。これは、地図作成時点から環境が大きく変化すると照合に失敗する恐れがあり、荷に覆われやすい水平向き画像よりも真上向き画像の方が倉庫環境では有利と考えられるためである。ただし、これは車載カメラ11の設置方法の一態様にすぎず、他の実施形態においてはこの態様に限定されない。
IMU12は、車両1の3軸(X、Y、Z軸)加速度を検出可能な加速度センサ、および、車両1の3軸(ロール、ピッチ、ヨー)角速度を検出可能なジャイロセンサ等を含む慣性計測装置(IMU;Inertial Measurement Unit)である。
エンコーダ13は、車両1のタイヤの回転数(回転速度)を検出可能なセンサである。本実施形態においては、エンコーダ13は、タイヤの回転数から車両1の走行速度を検出可能な走行速度検出手段の一態様である。
なお、他の実施形態においては、速度検出手段はエンコーダ13に限られることはない。速度検出手段は、例えば、IMU12による加速度の検出結果を時間積分することで走行速度を算出する態様であってもよいし、位置推定装置10による自己位置推定結果の時刻歴を時間微分することで走行速度を算出する態様であってもよい。
記録媒体14は、HDD、SSDなどのいわゆる補助記憶装置であって、不揮発性の大容量記憶デバイスである。本実施形態においては、ORB-SLAMに用いられる倉庫の地図情報などが事前に格納されている。
次に、CPU100は、予め用意されたプログラムに従って動作することで種々の機能を発揮する。具体的には、本実施形態に係るCPU100は、取得部1000、抽出部1001、位置推定部1002、及び、特定部1003としての機能を有する。
取得部1000は、車載カメラ11から画像(以下、「フレーム」とも表記する。)を逐次取得する。また、取得部1000は、IMU12、エンコーダ13のそれぞれから各々のセンサ情報(加速度、角速度、及び、走行速度)を取得する。
抽出部1001は、車載カメラ11にて取得された画像の処理対象領域(後述)から特徴点を抽出する。
位置推定部1002は、今回取得されたフレーム(第1フレーム)と直前に取得されたフレーム(第2フレーム)とのオーバーラップ領域にて、特徴点のマッチング処理を行う。そして、位置推定部1002は、そのマッチング結果を用いて自己位置(車両1の位置)を推定する。
特定部1003は、エンコーダ13によって検出された車両1の走行速度に基づいて処理対象領域を特定する。「処理対象領域」とは、抽出部1001が特徴点を抽出する処理の対象とする、画像内の一部または全部の領域である。特定部1003は、車両1の走行速度が小さいほど、処理対象領域の面積が小さくなるように特定する。
(位置推定装置の処理フロー)
図3は、第1の実施形態に係る位置推定装置の処理フローを示す図である。
図3に示す処理フローは、車両1が倉庫内を走行中に、位置推定装置10によって繰り返し実行される処理フローである。
位置推定装置10の取得部1000は、車載カメラ11を通じて現在のフレーム(第1フレーム)を取得する(ステップS00)。
同時に、取得部1000は、エンコーダ13の検出結果を通じて、車両1の現在の走行速度を取得する(ステップS01)。
次に、位置推定装置10の特定部1003は、ステップS00で取得したフレームのうち、特徴点抽出の対象とする領域である処理対象領域を特定する(ステップS02)。ここで、特定部1003は、処理対象領域を特定するにあたり、ステップS01で取得された走行速度を用いる。この処理については、後に図4および図5を参照しながら詳しく説明する。
次に、位置推定装置10の抽出部1001は、ステップS00で取得されたフレームのうち、ステップS02で特定された処理対象領域について特徴点を抽出する(ステップS03)。
次に、位置推定装置10の位置推定部1002は、ステップS00の直前に取得したフレーム(第2フレーム)から抽出された特徴点とのマッチング処理を行う(ステップS04)。マッチング処理とは、今回撮影フレーム(第1フレーム)と前回撮影フレーム(第2フレーム)とのオーバーラップ領域に属する特徴点(つまり、今回撮影フレームと前回撮影フレームとの間で共通する特徴点)を特定する処理である。
ここで、今回撮影フレームで抽出された特徴点のうち前回撮影フレームと共通する特徴点が、当該今回撮影フレームにてどのような配置で写っているかを検出することで、前回撮影フレーム取得時における車両1の位置・姿勢の推定結果を基準に、現在の車両1の位置・姿勢を簡単な処理で大まかに絞り込むことができる。これは、V-SLAMの技術分野で一般によく用いられている技術である。
位置推定装置10は、ステップS04のマッチング処理で、十分な数の特徴点をマッチングできたか否かを判定する(ステップS05)。
十分な数の特徴点をマッチングできなかった場合(ステップS05;NO)、位置推定装置10は、大域的な復帰処理(いわゆるリローカリゼーション)を行う(ステップS07)。この大域的な復帰処理は、一例としては、現在取得されている画像における特徴点の配置を、倉庫の地図情報全域を総当たりで検索する処理であるため、非常に処理負荷が高い。
一方、十分な数の特徴点をマッチングできた場合(ステップS05;YES)、位置推定装置10の位置推定部1002は、マッチングした特徴点に基づいて、現在の車両1の位置・姿勢を大まかに絞り込む。そして、位置推定部1002は、この絞り込みの後、地図情報を用いて、現在の車両1の位置・姿勢を高精度に推定する(ステップS06)。
(処理対象領域の特定処理)
図4、図5は、第1の実施形態に係る特定部の処理の詳細な説明に用いる図である。
以下、図4、図5を参照しながら、特定部1003による図3のステップS02の処理について詳しく説明する。
図4は、車両1がある走行速度v1で走行している例を示している。図5は、車両1が走行速度v1よりも低い速度である走行速度v2で走行している例を示している。
図4、図5において、ある時刻t0で取得されたフレームをフレームF0とする(図3の説明における前回撮影フレーム(第2フレーム))。同様に、図4、図5において、ある時刻t1で取得されたフレームをフレームF1(図3の説明における今回撮影フレーム(第1フレーム))とする。ここで、時刻t1は、時刻t0の次の画像取得のタイミングである。
図4を参照しながら、車両1が高速(第2の走行速度)で走行している場合の処理を説明する。
車両1が高速で走行している場合、フレームF1およびフレームF0で共通する背景が撮影される領域は、車両1が低速で走行している場合と比較して面積が小さくなる。そのため、位置推定装置10は、十分なマッチング数を確保すべく(図3のステップS05)、オーバーラップ領域O(フレームF1の処理対象領域P1とフレームF0の処理対象領域P0とが重なる領域)をなるべく広く確保する必要がある。そこで、位置推定装置10の特定部1003は、特徴点の抽出処理を行う処理対象領域P1(処理対象領域P0)を画像全体に設定する。このようにすることで、オーバーラップ領域Oの面積をできるだけ広くとることができ、十分な数のマッチング数を確保しやすくなる。
次に、図5を参照しながら、車両1が低速(第1の走行速度)で走行している場合の処理を説明する。
車両1が低速で走行している場合、フレームF1およびフレームF0で共通する背景が撮影される領域は、車両1が高速で走行している場合と比較して面積が大きくなる。そのため、位置推定装置10は、フレームF1の画像全体に渡って特徴点を抽出しなくとも十分なオーバーラップ領域Oを確保できる可能性が高い。そこで、位置推定装置10の特定部1003は、フレームF1の画像全体から走行速度に応じた量だけ狭めた領域を処理対象領域P1(処理対象領域P0)に設定する。具体的には、図5に示す例のように、フレームF1の画像全体から走行方向に沿った方向にマージンmだけ狭めた領域を処理対象領域P1(処理対象領域P0)に設定する。
このようにすることで、オーバーラップ領域Oの面積を十分に確保しつつ、フレームF1(フレームF0)から特徴点を抽出する処理の負担を軽減することができる。
本実施形態においては、マージンmの量は、車両1の走行速度に反比例するように滑らかに変化させる態様としてよい。換言すれば、車両1の走行速度が小さいほど処理対象領域の面積が小さくなる態様としてよい。ただし、他の実施形態においてはこの態様に限定されることはなく、例えば、車両1の走行速度が予め規定した速度閾値以上か否かの判定結果に応じて、マージンmの量を2段階又は3段階以上でステップ状に変化させる態様としてもよい。換言すれば、特定部1003は、所定の速度閾値を境にステップ状に処理対象領域の面積を変化させてもよい。
すなわち、少なくとも、車両1の走行速度が第1の走行速度(低速)であるときの処理対象領域の面積が、車両1の走行速度が第1の走行速度よりも大きい第2の走行速度(高速)であるときの前記処理対象領域の面積よりも小さくなる態様であればよい。
(作用・効果)
以上の通り、第1の実施形態に係る位置推定装置10は、走行速度検出手段(エンコーダ13)によって検出された車両1の走行速度に基づいて処理対象領域P1を特定する特定部1003を備える。そして、特定部1003は、車両1の走行速度が小さいほど、処理対象領域P1の面積が小さくなるように特定する。
このようにすることで、いかなる走行速度であっても十分なオーバーラップ領域Oを確保しながらも、低速走行時には処理対象領域の面積を狭くすることで特徴点抽出処理の負担を軽減することができる。
また、第1の実施形態に係る位置推定装置10は、車両1の走行方向に沿って処理対象領域P1の面積を変化させる。このようにすることで、特に、車載カメラ11が上向きに設置されている場合において、マッチング数を確保可能な必要最小限のオーバーラップ領域Oを確保しながら、効果的に処理対象領域P1の面積を低減することができる。
(第1の実施形態の変形例)
また、第1の実施形態に係る位置推定装置10は、以下のように変形可能である。
変形例に係る位置推定装置10の特定部1003は、更に、車両1の運転条件によっては、走行速度に応じて処理対象領域P1を変化させる機能を制限する機能を有していてもよい。
ここで、「運転状態」とは、例えば、無人フォークリフトである車両1が“積荷作業を行っている状態”や“積荷を運搬している状態”などである。車両1が“積み込み作業を行っている状態”である場合、車両1の走行速度が低速であったとしても積み込み中は高精度な位置検出が求められる場合がある。したがって、運転状態が“積み込み作業を行っている状態”と判定される場合には、特定部1003は、車両1の走行速度が低速であったとしても、当該走行速度に応じて処理対象領域P1の面積を狭める処理を行わない。このようにすることで、車両1が“積荷を運搬している状態”である場合には、オーバーラップ領域Oが一層広がって多くのマッチング数を得ることができるようになるので、自己位置推定の高精度化を図ることができる。
また、別の変形例においては、「運転状態」は、事前に地図上に規定された所定エリア(「高精度要求エリア」とも表記する。)を走行中か否かを示す情報であってもよい。この場合、利用者は、倉庫内で高精度な自己位置推定が要求されるエリアを高精度要求エリアとして地図上に規定しておく。そして、位置推定装置10は、車両1の現在位置が当該高精度要求エリアに属している場合には、走行速度に寄らず、常に、処理対象領域P1を最大(画像全体)に設定するようにしてもよい。このようにすることで、車両1が高精度要求エリアを走行中の場合には、常に高精度な自己位置推定が実行される。
以上のように、変形例に係る位置推定装置10は、車両1が予め規定された運転状態である場合に、走行速度が小さいほど処理対象領域P1の面積が小さくなるように特定することを制限するようにしてもよい。
<第2の実施形態>
以下、第2の実施形態に係る検証処理装置について、図6~図9を参照しながら説明する。
(車両の構成)
図6は、第2の実施形態に係る車両の機能構成を示す図である。
第2の実施形態に係る車両1の位置推定装置10は、CPU100が除外部1004としての機能を有する点で第1の実施形態とは異なる。
除外部1004は、車両1の加速度又は角速度が急峻に変化した期間に取得されたフレームを除外し、当該フレームを用いた自己位置推定が行われないようにする。
(位置推定装置の処理フロー)
図7は、第2の実施形態に係る位置推定装置の処理フローを示す図である。
図7に示す処理フローのうち、第1の実施形態(図3)と同じ処理内容のステップについては、同一の符号を付して説明を省略する。
第2の実施形態に係る位置推定装置10は、第1の実施形態の処理フローに加えて、ステップS00aの処理を有する。即ち、除外部1004は、車両1の角速度が所定の閾値以上となったか否かを判定する(ステップS00a)。
車両1の角速度が所定の閾値未満であった場合(ステップS00a;NO)、位置推定装置10は、第1の実施形態と同様の処理(ステップS01~ステップS09)を通じて、自己位置推定処理を行う。
他方、車両1の角速度が所定の閾値以上であった場合(ステップS00a;YES)、除外部1004は、ステップS00で取得したフレームを自己位置推定処理(ステップS01~ステップS09)に用いることなく、処理を完了する。
(除外処理)
図8は、第2の実施形態に係る特定部の処理の詳細な説明に用いる図である。
図8に示すように、倉庫内にわずかな段差Dが存在する場合、車両1がこの段差Dを横切る際に車体が揺れて車載カメラ11の姿勢が急峻に変化する。そうすると、車載カメラ11の画像にぶれが発生してしまい、正常に特徴点を検出できなくなる場合がある。そうすると、その画像を用いた自己位置推定処理ができない。
そこで、本実施形態に係る位置推定装置10は、特に、水平軸周りの角速度が所定の判定閾値以上となった場合には、その間に取得されたフレームを自己位置推定処理への入力から除外する。このようにすることで、正常に特徴点を検出できない可能性が高い画像を自己位置推定処理の対象から除外されるため、無駄な特徴点抽出処理が実行されることが抑制される。したがって、自己位置推定処理の負荷を一層軽減することができる。
なお、第2の実施形態に係る位置推定装置10は、上述したように、車両1の角速度を画像除外の判定に用いたが、他の実施形態においてはこれに限定されない。他の実施形態に係る位置推定装置10は、例えば、車両1の加速度を画像除外の判定に用いてもよいし、角速度および加速度の両方を用いてもよい。
(第2の実施形態の変形例)
図9は、第2の実施形態の変形例に係る除外部の処理の説明に用いる図である。
以下、図9を参照しながら、第2の実施形態の変形例に係る除外部1004の処理について詳しく説明する。
第2の実施形態の変形例に係る除外部1004は、事前に用意された地図Mを参照して、フレームを自己位置推定処理の入力から除外するか否かを判定する。具体的には、図9に示すように、地図Mには、画像のぶれが繰り返し発生しやすい倉庫内の所定エリア(段差エリアL)が事前に規定されている。本変形例にかかる除外部1004は、図8のステップS00aにて、車両1の現在位置がこの段差エリアL内に属しているか否かを判定し、段差エリアL内に属している場合には、得られた画像を、自己位置推定処理に用いることなく除外する。
このように、画像の除外が繰り返される段差エリアLを地図上に保存しておくことで、角速度の変化を捉える前から、より安全側に画像の除外ができる。したがって、一層自己位置推定処理の負荷を軽減することができる。
上述の実施形態においては、位置推定装置10の各種処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
上記プログラムは、上述した機能の一部を実現するためのものであってもよい。更に、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
<付記>
各実施形態に記載の位置推定装置、位置推定方法およびプログラムは、例えば以下のように把握される。
(1)第1の態様に係る位置推定装置10は、車載カメラ11及び走行速度検出手段(エンコーダ13)を備える車両1の位置を推定する位置推定装置であって、車載カメラ11にて取得された画像の処理対象領域から特徴点を抽出する抽出部1001と、今回取得された画像である第1フレームと直前に取得された画像である第2フレームとのオーバーラップ領域にて特徴点のマッチング処理を行い、車両1の位置を推定する位置推定部1002と、走行速度検出手段によって検出された車両1の走行速度に基づいて処理対象領域を特定する特定部1003と、を備え、走行速度が第1の走行速度であるときの処理対象領域の面積は、走行速度が第1の走行速度よりも大きい第2の走行速度であるときの処理対象領域の面積よりも小さい。
(2)第2の態様に係る特定部1003は、走行速度が小さいほど処理対象領域の面積が小さくなるように特定する。
(3)第3の態様に係る特定部1003は、所定の速度閾値を境にステップ状に処理対象領域の面積を変化させる。
(4)第3の態様に係る特定部1003は、車両1の走行方向に沿って処理対象領域の面積を変化させる。
(5)第5の態様に係る特定部1003は、車両1が予め規定された運転状態である場合に、走行速度が小さいほど処理対象領域の面積が小さくなるように特定することを制限する。
(6)第6の態様に係る位置推定装置10は、車両1の加速度又は角速度が閾値以上となった期間に取得された画像を除外する除外部1004をさらに備える。
(7)第7の態様に係る位置推定装置10は、車両1が地図上に予め規定された所定エリアを走行中の間に取得された画像を除外する除外部1004をさらに備える。
(8)第8の態様に係る車両1は、上記の位置推定装置10と、車載カメラ11と、走行速度検出手段と、を備える。
(9)第9の態様に係る位置推定方法は、車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定方法であって、前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、を有し、前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さい。
(10)第10の態様に係るプログラムは、車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定のコンピュータに、前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、を実行させ、前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さい。
1 車両
10 位置推定装置
100 CPU
1000 取得部
1001 抽出部
1002 位置推定部
1003 特定部
1004 除外部
11 車載カメラ
12 IMU
13 エンコーダ
14 記録媒体

Claims (9)

  1. 車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定装置であって、
    前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出する抽出部と、
    今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定する位置推定部と、
    前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定する特定部と、
    を備え、
    前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さく、
    前記特定部は、前記車両であるフォークリフトが、「積荷作業を行っている状態」または「積荷を運搬している状態」である場合に、前記走行速度が小さいほど前記処理対象領域の面積が小さくなるように特定することを制限する、
    位置推定装置。
  2. 前記特定部は、前記走行速度が小さいほど前記処理対象領域の面積が小さくなるように特定する、
    請求項1に記載の位置推定装置。
  3. 前記特定部は、所定の速度閾値を境にステップ状に前記処理対象領域の面積を変化させる、
    請求項1に記載の位置推定装置。
  4. 前記特定部は、前記車両の走行方向に沿って前記処理対象領域の面積を変化させる、
    請求項1から請求項3のいずれか一項に記載の位置推定装置。
  5. 前記車両の加速度又は角速度が閾値以上となった期間に取得された前記画像を除外する除外部をさらに備える、
    請求項1から請求項4のいずれか一項に記載の位置推定装置。
  6. 前記車両が地図上に予め規定された所定エリアを走行中の間に取得された前記画像を除外する除外部をさらに備える、
    請求項1から請求項5のいずれか一項に記載の位置推定装置。
  7. 請求項1から請求項6のいずれか一項に記載の位置推定装置と、
    前記車載カメラと、
    前記走行速度検出手段と、
    を備える車両。
  8. 車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定方法であって、
    位置推定装置が、前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、
    前記位置推定装置が、今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、
    前記位置推定装置が、前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、
    を有し、
    前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さく、
    前記処理対象領域を特定するステップでは、前記位置推定装置は、前記車両であるフォークリフトが、「積荷作業を行っている状態」または「積荷を運搬している状態」である場合に、前記走行速度が小さいほど前記処理対象領域の面積が小さくなるように特定することを制限する、
    位置推定方法。
  9. 車載カメラ及び走行速度検出手段を備える車両の位置を推定する位置推定のコンピュータに、
    前記車載カメラにて取得された画像の処理対象領域から特徴点を抽出するステップと、
    今回取得された前記画像である第1フレームと直前に取得された前記画像である第2フレームとのオーバーラップ領域にて、前記特徴点のマッチング処理を行い、前記車両の位置を推定するステップと、
    前記走行速度検出手段によって検出された前記車両の走行速度に基づいて前記処理対象領域を特定するステップと、
    を実行させ、
    前記走行速度が第1の走行速度であるときの前記処理対象領域の面積は、前記走行速度が前記第1の走行速度よりも大きい第2の走行速度であるときの前記処理対象領域の面積よりも小さく、
    前記処理対象領域を特定するステップでは、前記車両であるフォークリフトが、「積荷作業を行っている状態」または「積荷を運搬している状態」である場合に、前記走行速度が小さいほど前記処理対象領域の面積が小さくなるように特定することを制限する、
    プログラム。
JP2020114804A 2020-07-02 2020-07-02 位置推定装置、車両、位置推定方法およびプログラム Active JP7167097B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020114804A JP7167097B2 (ja) 2020-07-02 2020-07-02 位置推定装置、車両、位置推定方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020114804A JP7167097B2 (ja) 2020-07-02 2020-07-02 位置推定装置、車両、位置推定方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2022022715A JP2022022715A (ja) 2022-02-07
JP7167097B2 true JP7167097B2 (ja) 2022-11-08

Family

ID=80225128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020114804A Active JP7167097B2 (ja) 2020-07-02 2020-07-02 位置推定装置、車両、位置推定方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7167097B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023234384A1 (ja) * 2022-06-03 2023-12-07 Necソリューションイノベータ株式会社 地図生成装置、地図生成方法、及びコンピュータ読み取り可能な記録媒体
JP2024060968A (ja) * 2022-10-20 2024-05-07 三菱ロジスネクスト株式会社 位置推定システム、フォークリフト、位置推定方法及びプログラム
JP2024060983A (ja) 2022-10-20 2024-05-07 三菱ロジスネクスト株式会社 位置推定装置、フォークリフト、位置推定方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014203145A (ja) 2013-04-02 2014-10-27 パナソニック株式会社 自律移動装置
WO2015125300A1 (ja) 2014-02-24 2015-08-27 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
JP2017223483A (ja) 2016-06-14 2017-12-21 日立オートモティブシステムズ株式会社 自車位置推定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014203145A (ja) 2013-04-02 2014-10-27 パナソニック株式会社 自律移動装置
WO2015125300A1 (ja) 2014-02-24 2015-08-27 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
JP2017223483A (ja) 2016-06-14 2017-12-21 日立オートモティブシステムズ株式会社 自車位置推定装置

Also Published As

Publication number Publication date
JP2022022715A (ja) 2022-02-07

Similar Documents

Publication Publication Date Title
JP7167097B2 (ja) 位置推定装置、車両、位置推定方法およびプログラム
US10139832B2 (en) Computer-assisted or autonomous driving with region-of-interest determination for traffic light analysis
CN109074078A (zh) 用于捕捉交通标志的图像的方法和装置
US20150154458A1 (en) Lane change determining apparatus, junction entry determining apparatus and method thereof
US11501452B2 (en) Machine learning and vision-based approach to zero velocity update object detection
JP6776707B2 (ja) 自車位置推定装置
KR102441073B1 (ko) 자이로 센싱값 보상 장치, 그를 포함한 시스템 및 그 방법
CN105571606A (zh) 能够改进车辆定位的方法和系统
EP2175237B1 (en) System and methods for image-based navigation using line features matching
US11221230B2 (en) System and method for locating the position of a road object by unsupervised machine learning
EP4036857A1 (en) Vehicle and method for generating map corresponding to three-dimensional space
US11436815B2 (en) Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same
JP2018081545A (ja) 画像データ抽出装置及び画像データ抽出方法
CN109932738B (zh) 用于确定对象位置的方法和设备
JP2017045396A (ja) 画像記録装置および画像記録方法
CN114088114B (zh) 车辆位姿校准方法、装置和电子设备
JP2018205950A (ja) 自車位置推定用環境地図生成装置、自車位置推定装置、自車位置推定用環境地図生成プログラム、及び自車位置推定プログラム
US12106669B2 (en) Control apparatus, movable object, control method, and computer readable storage medium
CN113341443A (zh) 一种定位轨迹信息的处理方法和车载导航装置
US20220155075A1 (en) Method and apparatus with localization
JP6611315B2 (ja) 映像基準点決定システム、映像基準点決定方法および映像基準点決定プログラム
JP2021017073A (ja) 位置推定装置
CN113034538B (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN113724390A (zh) 匝道生成方法及装置
JP6955464B2 (ja) 車両位置判定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221026

R150 Certificate of patent or registration of utility model

Ref document number: 7167097

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150