JP7151387B2 - 自車挙動推定装置、自車挙動推定プログラム、記憶媒体および自車挙動推定装置の制御方法 - Google Patents

Description

本発明は、自車挙動を推定する自車挙動推定装置、自車挙動推定プログラム、記憶媒体および自車挙動推定装置の制御方法に関する。

特許文献１には、車両に搭載されたカメラにより撮像された画像を用いてランドマークなどの位置情報を記録し、それら情報をサーバなどにアップロードして疎な地図を生成し、車両の走行時には生成された疎な地図をダウンロードして自車両の位置を決定するシステムに関する技術が開示されている。

特表２０１８－５１０３７３号公報

上述したようなシステムにおいて、サーバにアップロードするためのデータ、つまりプローブデータを車両側にて生成する際、Structure From Motionの手法が用いられる。以下では、Structure From MotionのことをＳＦＭと省略する。ＳＦＭなどのオプティカルフローを用いて自車挙動を高精度に推定する技術は、地図生成およびローカライズに欠かすことができない重要な技術である。オプティカルフローは、２時刻間の画像中の物体の動きをベクトルで表したものであり、連続的に撮影された画像から特徴点の移動を見出すために用いられる。

ただし、車両周辺環境によっては、オプティカルフローでのエゴモーションの推定が不安定になることがある。なお、エゴモーションとは、車両に搭載されたカメラの姿勢、ひいては車両自身の姿勢を表すパラメータである。例えば、高速道路などにおいて、同じ形状の防音壁が連続して設けられたような区間を車両が走行している場合、自車両の移動量と防音壁により形成される模様の繰り返し間隔とによってはエイリアシングが発生し、オプティカルフローでのエゴモーションの推定ひいては自車挙動の推定ができなくなる可能性がある。なお、エイリアシングとは、例えば実際には物体に動きがあるにもかかわらず、その物体が停止しているといった誤った結果が得られてしまうことを意味している。

本発明は上記事情に鑑みてなされたものであり、その目的は、画像でのエゴモーションの推定が不安定になる箇所でも精度良く自車挙動を推定することができる自車挙動推定装置、自車挙動推定プログラム、記憶媒体および自車挙動推定装置の制御方法を提供することにある。

請求項１に記載の自車挙動推定装置は、車両の周辺を撮像する撮像装置（３）により撮像された画像に基づいて車両の挙動である自車挙動を推定するものであり、情報取得部（１６）および挙動推定部（１３）を備える。情報取得部は、車両の周辺の状況が画像に基づいた自車挙動の推定が不安定になるような状況となる特定箇所を表す情報である特定箇所情報を予め取得する。挙動推定部は、撮像装置により撮像された画像および特定箇所情報に基づいて自車挙動を推定する。挙動推定部は、Structure From Motionの手法を利用して自車挙動を推定する構成である。特定箇所は、車両の進行方向に沿うように同じ模様が繰り返された外見を有する物体が存在する箇所であり、特定箇所情報には、模様の位置および模様の繰り返し間隔が含まれる。

このような構成によれば、例えば同じ形状の防音壁が連続して設けられた区間など、画像に基づいた自車挙動の推定が不安定になるような状況となる特定箇所を車両が走行している場合、挙動推定部は、特定箇所情報に基づいて、画像での自車挙動の推定を補うことができる。そのため、上記構成によれば、画像でのエゴモーションの推定が不安定になる箇所でも精度良く自車挙動を推定することができるという優れた効果が得られる。

第１実施形態に係る地図システムの構成を模式的に示す図 第１実施形態に係るＳＦＭ認識部による処理を説明するための図であり、所定の時刻ｔ１に撮像された画像を模式的に示す図 第１実施形態に係るＳＦＭ認識部による処理を説明するための図であり、所定の時刻ｔ２に撮像された画像を模式的に示す図 第１実施形態に係るエイリアシング発生のメカニズムを説明するための図であり、所定の時刻ｔ１１に撮像された画像を模式的に示す図 第１実施形態に係るエイリアシング発生のメカニズムを説明するための図であり、所定の時刻ｔ１２に撮像された画像を模式的に示す図 第２実施形態に係るエイリアシングによる誤推定の発生を抑制するための処理を説明するための図であり、所定の時刻ｔ１１に撮像された画像を模式的に示す図 図６の画像について車両の上方から見た平面図を模式的に示す図

以下、複数の実施形態について図面を参照して説明する。なお、各実施形態において実質的に同一の構成には同一の符号を付して説明を省略する。
（第１実施形態）
以下、第１実施形態について図１～図５を参照して説明する。

図１に示す地図システム１は、自律的ナビゲーションのための地図システムである。地図システム１は、ＧＰＳなどの自車両の位置を特定する従来の機能に対して、追加的に機能してより高精度に位置の特定をすることに効果を発揮する。地図システム１は、大きく分けて、地図活用および地図更新の２つの機能を備えている。

地図活用においては、サーバ２に格納された地図情報が車両にダウンロードされ、車両はダウンロードされた地図情報と、例えばカメラなどの画像センサ３により撮像された画像に含まれる標識などのランドマークの位置とに基づいて自車両の位置を特定する。以下では、サーバ２に格納された地図情報のことを統合地図とも呼ぶ。この場合、特定した自車両の現在位置に基づいて、車両制御部４が車両に搭載されたハードウェアを動作させるためのアクチュエータに対して対応する命令を出力することで運転支援が実現される。アクチュエータとは、例えばブレーキ、スロットル、ステアリング、ランプなど、車両をハードウェア的に制御するための装置である。

一方、地図更新においては、車両に搭載された画像センサ３、車速センサ５、図示しないミリ波センサなどの各種センサにより得られた情報がプローブデータとしてサーバ２にアップロードされ、サーバ２内の統合地図が逐次更新される。これにより、車両は、常に最新の地図情報に基づいて高精度に位置特定がされつつ、例えば運転支援や自動ステアリングが実現される。

地図システム１において、ヒューマンマシンインターフェース６は、各種の情報をユーザに通知したり、ユーザが所定の操作を車両に伝達したりするためのユーザインタフェースである。以下の説明および図１などでは、ヒューマンマシンインターフェースのことをＨＭＩと省略する。ＨＭＩ６には、例えばカーナビゲーション装置に付属するディスプレイ、インストルメントパネルに内蔵されたディスプレイ、ウィンドシールドに投影されるヘッドアップディスプレイ、マイク、スピーカなどが含まれる。さらには、車両と通信可能に接続されたスマートフォンなどのモバイル端末も地図システム１内のＨＭＩ６になり得る。

ユーザはＨＭＩ６に表示される情報を視覚的に得るほか、音声や警告音、振動によっても情報を得ることができる。また、ユーザは、ディスプレイのタッチ操作や音声により車両に対して所望の動作を要求することができる。例えば、ユーザが地図情報を活用して自動ステアリングなどの高度運転支援のサービスを受けようとするとき、ユーザはＨＭＩ６を介して該機能を有効化する。例えば、ディスプレイ上に示された「地図連携」ボタンをタップすると地図活用の機能が有効化され、地図情報のダウンロードが開始される。

別の例では、音声にて命令を与えることにより地図活用の機能が有効化される。なお、地図更新に係る地図情報のアップロードについては、車両とサーバ２との通信が確立されている間常時実行されていてもよいし、「地図連携」ボタンをタップして地図活用の機能が有効化されている間に実行されるようにされてもよいし、ユーザの意思を反映する別のＵＩによって有効化されてもよい。

本実施形態の地図システム１は、サーバ２、画像センサ３、車両制御部４、車速センサ５、ＨＭＩ６、ＧＰＳ受信部７、制御装置８などを備える。サーバ２は、画像センサ３などが搭載される車両から隔離した箇所に設けられている。サーバ２は、制御装置９を備えている。制御装置９は、ＣＰＵ、ＲＯＭ、ＲＡＭおよびＩ／Ｏなどを有するマイクロコンピュータを主体として構成されており、統合部１０および更新部１１を備える。これら各機能ブロックは、制御装置９のＣＰＵが非遷移的実体的記憶媒体に格納されているコンピュータプログラムを実行することでコンピュータプログラムに対応する処理を実行することにより実現されている、つまりソフトウェアにより実現されている。統合部１０および更新部１１は、前述した地図更新に関する各種の処理を実行するためのものであり、それらの詳細については後述する。

ＧＰＳ受信部７は、図示しないＧＰＳアンテナを介して受信した信号により表されるＧＰＳ情報を表すデータＤａを制御装置８などへと出力する。車速センサ５は、車両の速度である車速を検出するものであり、車両が有する車輪の速度を検出する車輪速センサとして構成されている。車速センサ５は、その検出値である検出速度を表す信号Ｓａを制御装置８などへと出力する。

画像センサ３は、車両に搭載され、車両周辺の環境、具体的には車両の進行方向前方における所定範囲の環境を撮像する撮像装置である。なお、画像センサ３は、車両の進行方向前方を撮像するものに限らずともよく、例えば後方、側方を撮像するものでもよい。画像センサ３により撮像された車両周辺の環境の情報は、静止画または動画（以下、これらを総称して画像と称する）の形式で図示しないメモリに格納される。制御装置８は、そのメモリに格納されたデータＤｂを読み出し可能に構成されており、そのデータＤｂに基づいて各種処理を実行する。

制御装置８は、ＣＰＵ、ＲＯＭ、ＲＡＭおよびＩ／Ｏなどを有するマイクロコンピュータを主体として構成されている。制御装置８は、スケールファクタ補正部１２、エゴモーション算出部１３、ランドマーク検出部１４、地図生成部１５、ローカライズ部１６、中止処理部１７などの機能ブロックを備える。これら各機能ブロックは、制御装置８のＣＰＵが非遷移的実体的記憶媒体である記憶装置２２に格納されているコンピュータプログラムを読み込んで実行することでコンピュータプログラムに対応する処理を実行することにより実現されている、つまりソフトウェアにより実現されている。なお、記憶装置２２は、例えばメモリであり、画像センサ３、制御装置８などとともに車両に搭載される。

制御装置８は、演算装置に相当するもので、画像センサ３により撮像された画像に基づいて車両の挙動である自車挙動を推定する自車挙動推定装置として機能するようになっている。したがって、制御装置８のマイクロコンピュータが実行するコンピュータプログラムには、画像センサ３により撮像された画像に基づいて車両の挙動である自車挙動を推定するための自車挙動推定プログラムが含まれている。

スケールファクタ補正部１２は、車速センサ５から与えられる信号Ｓａおよび画像センサ３により撮像された画像を表すデータＤｂに基づいて、車速センサ５のスケールファクタを学習する。なお、以下の説明および図１などでは、スケールファクタ補正部のことをＳＦ補正部と省略する。車速センサ５のスケールファクタとは、車速センサ５の測定対象である車速に対する車速センサ５の検出値の比、つまり車速センサ５の入力変化に対する出力変化の比のことであり、車速センサ５の検出値から車速の真値を求めるための係数である。ＳＦ補正部１２は、車速センサ５から与えられる信号Ｓａと学習により補正されたスケールファクタとに基づいて自車両の車速を検出し、その検出値を表すデータＤｃをエゴモーション算出部１３へと出力する。

エゴモーション算出部１３は、画像センサ３により撮像された画像に基づいて車両の挙動である自車挙動を推定するものであり、挙動推定部に相当する。なお、エゴモーション算出部１３により実行される各処理は、挙動推定手順に相当する。この場合、エゴモーション算出部１３は、ＳＦＭの手法を利用して自車挙動を推定する構成となっている。エゴモーション算出部１３は、ＳＦＭモジュールにより構成されるＳＦＭ認識部１８および走行軌跡生成部１９を備えている。

ＳＦＭ認識部１８は、データＤｂに基づいて、自車挙動、つまり車両自身の姿勢を表すパラメータであるエゴモーションの推定と、後述する特徴点の距離推定とを行う。なお、エゴモーションには、ヨー、ロール、ピッチおよび並進移動を示す情報が含まれる。上記構成では、画像センサ３は、車両の走行に伴い、移動しながら車両の周辺画像を撮像することになる。ＳＦＭ認識部１８は、画像センサ３が移動しながら撮像した２視点の画像、つまり１つの画像センサ３により異なるタイミングで撮像された撮像位置の異なる２つのフレーム分の画像において、コーナーやエッジなどの対応がとり易い特徴点を抽出する。

ＳＦＭ認識部１８は、２つのフレーム分の画像において抽出した特徴点を対応付け、それらの位置関係に基づいて特徴点のオプティカルフローを算出する。例えば、図２および図３に示すように、所定の時刻ｔ１に撮像された画像における特徴点Ｐ１～Ｐ６と、その画像の１フレーム後の画像である所定の時刻ｔ２に撮像された画像における特徴点Ｐ１～Ｐ６とが対応付けられ、それら特徴点Ｐ１～Ｐ６の動きをベクトルで表したオプティカルフローＡ１～Ａ６が算出される。なお、図２では、時刻ｔ１における各特徴点を黒塗りの丸印で表している。また、図３では、時刻ｔ２における各特徴点を黒塗りの丸印で表すとともに、時刻ｔ１における各特徴点の位置を白抜きの丸印で表している。

ＳＦＭ認識部１８は、このようにして算出される複数のオプティカルフローを手掛かりに、各特徴点の三次元位置と、画像センサ３の姿勢、つまりエゴモーションを推定する。なお、ＳＦＭ認識部１８は、このような手法により自車両の移動量を知ることができるが、そのスケールの精度に課題がある。そこで、ＳＦＭ認識部１８は、ＧＰＳ情報を表すデータＤａおよび車速の検出値を表すデータＤｃに基づいて自車両の移動速度を取得し、その移動速度に基づいて上記スケールの精度を向上させるようになっている。

ＳＦＭ認識部１８は、推定したエゴモーションを表すデータＤｄを、走行軌跡生成部１９およびランドマーク検出部１４へと出力する。走行軌跡生成部１９は、ＳＦＭ認識部１８により推定されるエゴモーションを毎時積算し、自車両がどのように移動したのかを表す走行軌跡を生成する。走行軌跡生成部１９は、生成した走行軌跡を表すデータＤｅを地図生成部１５へと出力する。

上記構成のエゴモーション算出部１３では、エイリアシングが発生すると、推定される自車挙動および各特徴点の距離が実際とは異なったものとなるおそれがある。ここで言うエイリアシングは、誤対応によるオプティカルフロー、つまり特徴点の対応付けに誤りがある状態で算出されたオプティカルフローが原因で発生するものである。すなわち、車両の進行方向に沿うように同じ模様が繰り返された外見を有する物体が存在する箇所、例えば防音壁やトンネルなどでは、同じ模様が繰り返された箇所、つまり繰り返しパターンに対して誤対応が継続して発生する場合がある。上述したような箇所は、車両の周辺の状況がエゴモーション算出部１３による自車挙動の推定が不安定になるような状況となる特定箇所に相当する。

ＳＦＭでは全体で最適化が図られるため、このような誤対応の発生が少数であればエゴモーションの推定に大きな影響はないものの、誤対応の発生数が増加すると、エゴモーションの推定が破綻するおそれがある。以下、このようなエイリアシング発生のメカニズムについて、図４および図５を参照して説明する。なお、以下の説明では、繰り返しパターンの間隔をグリッドとも呼ぶこととする。

ここでは、図４および図５に示すように、同じ形状の防音壁が連続して設けられた区間を車両が走行している場合を例にエイリアシング発生のメカニズムを説明する。図４は、所定の時刻ｔ１１に撮像された画像を示しており、図５は、図４に示す画像の１フレーム後の画像である所定の時刻ｔ１２に撮像された画像を示している。この場合、図４および図５の２フレーム分の画像について、４つの特徴点Ｐ１１～Ｐ１５の対応付けが行われるものとする。なお、この場合における繰り返しパターンの間隔は、防音壁の壁エッジ同士の間隔となる。図４および図５では、一部の壁エッジについて、符号Ｅを付して表している。

ここで、１フレームで車両が２グリッド分だけ移動した場合であれば、矢印Ａ１１～Ａ１５で示すフローが正しいオプティカルフローとなる。しかし、誤対応により矢印Ａ２１～Ａ２５で示すフローが支配的になると、１フレームで車両が１グリッド分だけしか進んでいないと誤った推定がなされたり、または、特徴点Ｐ１１～Ｐ１５が実際よりも遠方の点であると誤った推定がなされたりするおそれがある。また、誤対応により矢印Ａ３１、Ａ３２で示すフローが支配的になると、１フレームで車両が１グリッド分だけ沈んだと誤った推定がなされるおそれがある。なお、ＳＦＭ認識部１８においてベクトルが最小となる対応付けが行われる場合、「グリッド幅≒車両の移動量」となる時点で誤対応が発生し始め、移動量が大きくなるほど影響が大きくなる。

そこで、本実施形態では、このようなエイリアシングによる誤推定の発生を抑制するため、次のような工夫が加えられている。すなわち、本実施形態において、ローカライズ部１６は、特定箇所を表す情報である特定箇所情報を予め取得する情報取得部としての機能を有する。特定箇所は、前述したように、例えば同じ形状の防音壁が連続して設けられた区間など、車両の進行方向に沿うように同じ模様が繰り返された外見を有する物体が存在する箇所である。

特定箇所情報には、その時点において車両が特定箇所を通過しているか否かを表す情報、上記模様の位置（例えば防音壁の位置）および上記模様の繰り返し間隔、つまり繰り返しパターンの間隔（例えば壁エッジ同士の間隔）などが含まれている。ローカライズ部１６は、特定箇所情報を表すデータＤｆを、エゴモーション算出部１３へと出力する。ＳＦＭ認識部１８は、画像センサ３により撮像された画像を表すデータＤｂに加え、ローカライズ部１６から送信される特定箇所情報を表すデータＤｆに基づいて自車挙動を推定する。

具体的には、ＳＦＭ認識部１８は、特定箇所情報に基づいて、車両が特定箇所を通過しているか否かを判断する、つまりエイリアシングが発生するか否かを判断する。ＳＦＭ認識部１８は、エイリアシングが発生すると判断すると、下記（１）式の条件を満たすように、画像センサ３の撮像周期、つまりＳＦＭ自体の作動周期を設定する。ただし、画像センサ３により撮像された画像の１フレーム間における車両の移動量をｄｘとし、模様の繰り返し間隔をｗとする。
ｗ／２＞ｄｘ …（１）

つまり、ＳＦＭ認識部１８は、車両の移動量ｄｘが模様の繰り返し間隔ｗの１／２より小さくなるようにＳＦＭの周期を設定し、そのうえで画像センサ３により撮像された画像を表すデータＤｂに基づいて自車挙動を推定する。なお、ＳＦＭ認識部１８は、上記（１）式の条件を満たしていない場合にだけ上記した周期の設定を実施すればよく、既に上記（１）式の条件を満たしている場合には周期の設定を実施する必要はない。このようにＳＦＭの周期が設定されることにより、エイリアシングによる誤推定の発生が抑制される。

一般的なエイリアシングの対策では、サンプリング周波数の１／２の周波数より高い周波数の入力信号をサンプリングするとエイリアシングが発生することから、このような条件とならないようにサンプリング周波数を設定するようになっている。上述した本実施形態におけるエイリアシングによる誤推定の発生への対策についても、このような一般的なエイリアシングの対策と同様の原理に基づいている。

ランドマーク検出部１４は、認識部２０および物標生成部２１を備えている。認識部２０は、データＤｂに基づいて、画像センサ３により撮像された画像上におけるランドマークの位置を検出する。なお、ランドマークの位置の検出手法としては、様々な手法を採用することができる。上記ランドマークには、例えば標識、看板、電柱や街灯などのポール、白線、信号機、前述した壁エッジなどが含まれる。

また、認識部２０は、データＤｂに基づいて、自車両の走路を認識して道路パラメータおよび区画線を表す情報である区画線情報を取得する。道路パラメータには、車線の幅であるレーン幅、車線すなわち道路の曲率などの車線の形状を表す情報が含まれる。また、道路パラメータには、車線の幅方向中央位置から自車両の位置までの距離を表すオフセット、車線すなわち道路の接線方向と自車両の進行方向とのなす角度を表すヨー角などの車線の形状に対する自車両の走行状態を表す情報も含まれる。

この場合、上述した区画線情報などの走路情報も上記ランドマークに含まれる。認識部２０は、このようなランドマークの検出結果を表すデータＤｇを物標生成部２１へと出力する。物標生成部２１は、認識部２０から与えられるデータＤｇと、ＳＦＭ認識部１８から与えられるデータＤｄと、に基づいて、検出されたランドマークとその中のＳＦＭの点を照合し、これにより、ランドマークの距離、横位置を含めた物理位置情報を求める。ランドマーク検出部１４は、認識部２０により取得された道路パラメータを表すデータＤｈを車両制御部４へと出力する。また、ランドマーク検出部１４は、物標生成部２１により生成された区画線情報などの走路情報も含まれたランドマークの位置に関する情報を表すデータＤｉを地図生成部１５へと出力する。

地図生成部１５は、ＧＰＳ情報を表すデータＤａ、エゴモーション算出部１３から与えられるデータＤｅおよびランドマーク検出部１４から与えられるデータＤｉに基づいて地図情報を生成する。具体的には、地図生成部１５は、ＧＰＳ情報、生成されたランドマークおよび走行軌跡を紐付け、それにより断片的な地図データである地図情報を生成する。以下では、地図生成部１５により生成される地図情報のことをプローブ地図とも呼ぶ。地図生成部１５により生成されたプローブ地図を表すデータＤｊは、プローブデータとしてサーバ２にアップロードされるとともに、ローカライズ部１６へと出力される。

プローブ地図は、ＳＦＭの精度に限界があることなどから、その精度は十分に高いとは言い難い。そこで、サーバ２の統合部１０は、各車両の車載器から送信されるデータＤｊに基づいて、複数のプローブ地図を重ね合わせて統合し、地図の精度を向上させる。サーバ２の更新部１１は、統合部１０による統合が成功すると、統合地図を更新する。サーバ２は、統合地図を表すデータＤｋを各車両の車載器へと配信する。この場合、サーバ２は、配信先の車両の概略位置をＧＰＳ情報などに基づいて特定し、その概略位置の周辺（例えば概略位置を中心とした半径数ｋｍの範囲）の統合地図を配信する。なお、車載器側に地図が存在する場合、その地図との差分配信も可能である。

ローカライズ部１６は、自車両の現在位置を推定するローカライズを実行する。ローカライズ部１６は、サーバ２から統合地図を表すデータＤｋをダウンロードし、そのダウンロードしたデータＤｋと、プローブ地図を表すデータＤｊおよび画像センサ３により撮像された画像を表すデータＤｂに基づいて、統合地図に対してローカライズを行う。なお、ローカライズ部１６は、プローブ地図を表すデータＤｊを用いることなく、ローカライズを実行することもできる。

ローカライズ部１６は、ローカライズが成功した場合、地図情報に基づく道路パラメータを算出する。ローカライズ部１６は、地図情報に基づく道路パラメータを表すデータＤｌを車両制御部４へと出力する。車両制御部４は、ランドマーク検出部１４から与えられるデータＤｈとローカライズ部１６から与えられるデータＤｌとに基づいて、自車両の走行を制御するための各種の処理を実行する。すなわち、車両制御部４は、道路パラメータに基づいて自車両の走行を制御するための各種の処理を実行する。

上記構成において、地図生成部１５は、車両が特定箇所に相当する箇所を通過したか否かを判断する通過判断部としての機能を有するとともに、車両が上記箇所を通過したと判断すると、その通過した箇所に関連する関連情報を車両から隔離したサーバ２に送信する情報送信部としての機能を有する。なお、地図生成部１５により実行される後述する各処理は、通過判断手順および情報送信手順に相当する。

この場合、地図生成部１５は、データＤｅが表す車両の走行軌跡およびデータＤｉが表すランドマーク情報が物理的にあり得ないものになっているか否かを判断する。なお、物理的にあり得ない走行軌跡としては、例えば車両の運動性能を超えた挙動を示すような軌跡が想定される。また、物理的にあり得ないランドマーク情報としては、例えば標識のサイズが存在しないほど大きくなっている、または小さくなっている、といったものが想定される。走行軌跡およびランドマーク情報の少なくとも一方が物理的にあり得ない状態になっている場合、車両が特定箇所に相当する箇所を通過している、つまりエイリアシングが発生している可能性が高いと考えられる。

そこで、地図生成部１５は、走行軌跡およびランドマーク情報の少なくとも一方が物理的にあり得ない状態になっていると判断すると、その際に車両が通過した箇所に関連する関連情報をサーバ２に送信する。この場合、関連情報は、前述したデータＤｊに含める形でサーバ２に送信することができる。サーバ２は、複数の車両から送信されるデータＤｊが表す関連情報に基づいて、特定箇所情報を生成または更新する。

地図生成部１５は、このような処理、つまり通過判断部および情報送信部としての処理を、常時実行するようになっている。したがって、地図生成部１５は、ローカライズ部１６が既に取得した特定箇所情報に対応した特定箇所を車両が通過する際にも、上述した各処理を実行する。このようにすれば、サーバ２において生成される特定箇所情報の精度を高めることができる。

なお、車載器側では、特定箇所に関して高精度な判定が難しいため、サーバ２が上記関連情報だけに基づいて特定箇所情報を生成すると、その精度が低くなるおそれがある。そこで、サーバ２は、車速、車線オフセット違いなどのデータを収集し、その中で不整合となる異常データを検出する。サーバ２は、異常データについて、車線、走行車線、そのとき推定された自車挙動などをチェックし、正常データで作成された統合地図と照合し、エイリアシングの発生を判定する。

サーバ２は、このようにしてエイリアシングの発生する箇所、つまり特定箇所を検出し、統合地図を表すデータＤｋに対し、特定箇所に関する情報である特定箇所情報を付与する。サーバ２は、前述したように、データＤｋを各車両の車載器へと配信する。情報取得部としての機能を有するローカライズ部１６は、サーバ２から配信されたデータＤｋに基づいて特定箇所情報を取得し、その取得した特定箇所情報を表すデータＤｆをエゴモーション算出部１３へと出力する。

ローカライズ部１６は、推定した自車両の現在位置、その現在位置と認識しているランドマークとの位置関係、自車両の車速などに基づいて、その時点において車両が特定箇所を通過しているか否か、つまりエイリアシングが発生するか否か、を判定することができる。そのため、このような判定の結果を、エゴモーション算出部１３に送信するデータＤｆに含めるようにしてもよい。この場合、サーバ２から送信されるデータＤｋには、車両が特定箇所を通過しているか否かを表す情報は含まれていなくともよい。なお、ローカライズ部１６により実行される上記各処理は、情報取得手順に相当する。

本実施形態では、上述した通りエイリアシングによる誤推定の発生を抑制するための工夫が加えられているが、エイリアシングによる誤推定の発生が回避できないケースも考えられる。このようなケースでは、エゴモーション算出部１３による自車挙動の推定ができなくなる。そうすると、エゴモーション算出部１３により推定された自車挙動を用いて実行される処理に問題が生じるおそれがある。

そこで、中止処理部１７は、このような異常、つまりエゴモーション算出部１３による自車挙動の推定ができなくなる異常の発生を検出する。例えば、現在、車両が特定箇所に相当する箇所を通過しているにもかかわらず、その特定箇所に関する情報（例えば、模様の繰り返し間隔など）が不足しているときに上記異常が発生すると判断することができる。また、車速、模様の繰り返し間隔の値によっては、上記（１）式を満たすようにＳＦＭの周期を変更することが困難となる場合も考えられるが、このような場合にも上記異常が発生すると判断することができる。なお、中止処理部１７により実行される上記処理および後述する各処理は、中止処理手順に相当する。

中止処理部１７は、上記異常の発生が検出されると、エゴモーション算出部１３により推定された自車挙動を直接的または間接的に用いて行われる車両に関連する処理の実行を中止または変更する。その結果、各機能ブロックの処理が、次のように中止または変更される。すなわち、この場合、ＳＦＭ認識部１８がリセットされる。なお、ここで言う「リセット」とは、ＳＦＭ認識部１８が、その時点までにおいて取得した特徴点に関する情報を全て破棄して、一から特徴点に関する情報の取得をやり直す、ということを意味している。

また、この場合、走行軌跡生成部１９は、ＳＦＭ認識部１８から正しいデータＤｄが送信されないことから、データＤｄ以外の情報を活用し、例えば車両上の車速、ヨーレート、ＧＰＳ情報などに基づいて補間することにより、比較的精度の低い軌跡推定を実施する。また、この場合、物標生成部２１は、ＳＦＭ認識部１８の非動作中、あるいは、ＳＦＭ認識部１８のリセット中には、距離を正しく推定することができないため、後処理において使用されることがないように物標を全て無効状態で出力する。

または、この場合、物標生成部２１は、ＳＦＭ、オプティカルフローを用いない、簡易距離推定ロジックに切り替えて処理を実行する。簡易距離推定ロジックとしては、例えばピンホール原理により距離を推定する手法、ランドマークに対して仮定を置いて距離を推定する手法など、様々な手法を採用することができる。ただし、物標生成部２１は、簡易距離推定ロジックによって推定できないもの（例えばポールなど）については、無効状態で出力する。

また、この場合、地図生成部１５は、出力を無効値に設定するなどして、プローブデータをアップロードさせないようにするか、または、無効フラグだけをアップロードする。これに伴い、サーバ２の統合部１０は、無効フラグが付与されたプローブデータは、統合対象から除外する。また、この場合、ローカライズ部１６は、前述した簡易距離推定ロジックによって走行軌跡およびランドマーク情報が求められていることから、それらを利用することで可能となる範囲でローカライズの処理を実行する。

ただし、この場合、ローカライズの精度が低下している可能性が高い。そのため、ローカライズ部１６は、車両制御部４へ出力するデータＤｌに対し、ローカライズの精度が低下している旨を表す精度低下情報を付与する。これに伴い、車両制御部４は、精度低下情報が付与されたデータＤｌが送信された場合には、精度低下を前提として、各種の制御を実行する。例えば、この場合、車両制御部４は、制御量を弱めて制御を実行したり、高い精度が要求される制御についての実行を中止したりする。

以上説明したように、本実施形態の制御装置８は、車両の周辺を撮像する画像センサ３により撮像された画像に基づいて自車挙動を推定する自車挙動推定装置として機能する。そして、制御装置８が備えるエゴモーション算出部１３は、画像センサ３により撮像された画像に加え、ローカライズ部１６が予め取得した特定箇所情報に基づいて自車挙動を推定する。このような構成によれば、画像に基づいた自車挙動の推定が不安定になるような状況となる特定箇所を車両が走行している場合、エゴモーション算出部１３は、特定箇所情報に基づいて、画像での自車挙動の推定を補うことができる。そのため、上記構成によれば、画像でのエゴモーションの推定が不安定になる箇所でも精度良く自車挙動を推定することができるという優れた効果が得られる。

この場合、特定箇所としては、例えば同じ形状の防音壁が連続して設けられた区間など、車両の進行方向に沿うように同じ模様が繰り返された外見を有する物体が存在する箇所が想定される。そして、エゴモーション算出部１３は、ＳＦＭの手法を利用して自車挙動を推定する構成となっている。そのため、上記したような区間を車両が走行する際、エイリアシングが発生し、エゴモーション算出部１３のＳＦＭ認識部１８による自車挙動の推定に誤りが生じる、つまりエイリアシングによる誤推定が発生するおそれがある。

そこで、本実施形態では、特定箇所情報には、模様の位置および模様の繰り返し間隔が含まれている。そして、ＳＦＭ認識部１８は、画像センサ３により撮像された画像の１フレーム間における車両の移動量が模様の繰り返し間隔の１／２より小さくなるようにＳＦＭの周期を設定し、そのうえで画像センサ３により撮像された画像に基づいて自車挙動を推定する。このようにすれば、自車挙動を推定するための処理内容に変更を加えることなく、ＳＦＭの周期を変更するための処理を実行するだけで、エイリアシングによる誤推定の発生を抑制することができる。

制御装置８は、エゴモーション算出部１３による自車挙動の推定ができなくなる異常の発生が検出されるとエゴモーション算出部１３により推定された自車挙動を直接的または間接的に用いて行われる車両に関連する所定の処理の実行を中止または変更する中止処理部１７を備える。このような構成によれば、エイリアシングによる誤推定の発生が回避できない場合であっても、誤って推定された自車挙動を用いて上記処理がそのまま実行されることがなくなる。したがって、上記構成によれば、例えば車両制御部４による制御の不具合、地図生成部１５により生成されるプローブ地図、ひいてはサーバ２において生成される統合地図の精度低下、ローカライズ部１６によるローカライズの精度低下など、自車挙動を用いて行われる各種処理における不具合が生じることを防止することができる。

上記構成において、地図生成部１５は、車両が特定箇所に相当する箇所を通過したか否かを判断し、車両が上記箇所を通過したと判断すると、その通過した箇所に関連する関連情報をサーバ２に送信する機能を有する。サーバ２は、複数の車両から送信される関連情報に基づいて、特定箇所情報を生成する。このような構成によれば、サーバ２において生成される特定箇所情報の精度を高めることができる。

（第２実施形態）
以下、第２実施形態について図６および図７を参照して説明する。
本実施形態では、エゴモーション算出部１３により実行される処理の内容、より具体的には、ＳＦＭ認識部１８により実行されるエイリアシングによる誤推定の発生を抑制するための処理の内容が、第１実施形態とは異なっている。本実施形態のＳＦＭ認識部１８は、エイリアシングが発生すると判断すると、模様の位置および模様の繰り返し間隔に基づいて、画像センサ３により撮像された画像上における模様の位置の変化を予測し、その予測結果を利用して自車挙動を推定するようになっている。

以下、本実施形態におけるエイリアシングによる誤推定の発生を抑制するための処理の具体的な内容について図６および図７を参照して説明する。なお、ここでは、図４および図５に示したように、同じ形状の防音壁が連続して設けられた区間を車両が走行しているシーンを想定するとともに、特徴点Ｐ１２の対応付けを例にして、誤推定の発生を抑制するための処理内容を説明する。

なお、図６は、図４と同様に所定の時刻ｔ１１に撮像された画像を示している。また、図６では、その１フレーム後の画像上における特徴点Ｐ１２の位置を白抜きの丸印で示しし、自車両の中心位置を表す点線に符号Ｃを付している。さらに、図７では、時刻ｔ１１に撮像された画像上における車両の位置をＭ１とし、その１フレーム後の画像上における車両の位置をＭ２とし、白線をＷＬとし、道路端をＲＥとしている。

繰り返しパターン幅θ３は、画像上の座標である画像座標から算出することができる。また、繰り返しパターン間隔ｗは、壁エッジ同士の間隔であり、模様の繰り返し間隔に相当する。つまり、繰り返しパターン間隔ｗは、特定箇所情報に含まれているため、予め取得することができる。さらに、車両の中心から道路端ＲＥまでの横位置ｙは、地図情報およびローカライズ、または道路端ＲＥの検出結果から取得することができる。

時刻ｔ１１における特徴点Ｐ１２までの車両の進行方向に沿う距離ｘは、車両が道路端ＲＥおよび白線ＷＬと平行して走行していると仮定すると、上述したように既知の値である繰り返しパターン幅θ３、横位置ｙおよび繰り返しパターン間隔ｗを用いて算出することができる。また、時刻ｔ１１における車両から見た特徴点Ｐ１２の方位角θ１は、画像座標から算出することができる。さらに、画像の１フレーム間における車両の移動量ｄｘは、車速の検出値を用いて算出することができる。

１フレーム後における特徴点Ｐ１２の方位角θ２は、上述したように既知の値である方位角θ１、移動量ｄｘ、距離ｘおよび横位置ｙを用いて算出することができる。このように、繰り返しパターンの位置および間隔が明らかであれば、１フレーム後の画像上における特徴点の位置を予測することが可能であり、その予測結果を用いることにより誤対応を防ぐことができる。そして、上述した繰り返しパターンの位置および間隔は、ローカライズ部１６により予め取得される特定箇所情報に含まれている。

ＳＦＭ認識部１８は、上述した手法により予測した１フレーム後の画像上における特徴点の位置に基づいて、２フレーム分の画像に基づいて算出した各オプティカルフローの正否を判断することができる。このようにすれば、ＳＦＭ認識部１８は、その成否の判断の結果、正しくないと判断したオプティカルフローを除外して、正しいと判断したオプティカルフローだけを用いて自車挙動の推定を行うことができる。または、ＳＦＭ認識部１８は、正しくないと判断したオプティカルフローについて正しいフローとなるように補正をしたうえで、自車挙動の推定を行うことができる。これにより、エイリアシングによる誤推定の発生が抑制される。

以上説明したように、本実施形態によっても、エゴモーション算出部１３は、特定箇所情報に基づいて、画像での自車挙動の推定を補うことができる。そのため、本実施形態によっても、第１実施形態と同様、画像でのエゴモーションの推定が不安定になる箇所でも精度良く自車挙動を推定することができるという優れた効果が得られる。さらに、本実施形態によれば、次のような効果も得られる。

すなわち、本実施形態では、第１実施形態のようにＳＦＭの周期を変更する必要がないため、車速および模様の繰り返し間隔の値に関係なく、エイリアシングによる誤推定の発生を抑制することができる。したがって、本実施形態によれば、第１実施形態に比べ、エゴモーション算出部１３による自車挙動の推定ができなくなる異常の発生頻度を低く抑えることができる。また、第１実施形態の手法は、ＳＦＭの周期を変更することでエイリアシングによる誤推定の発生を抑制する手法であったため、１フレームで車両が沈んだと誤った推定がなされるようなケースには対応することができなかった。しかし、本実施形態の手法によれば、このようなケースであっても、誤推定の発生を抑制することができる。

（その他の実施形態）
なお、本発明は上記し且つ図面に記載した各実施形態に限定されるものではなく、その要旨を逸脱しない範囲で任意に変形、組み合わせ、あるいは拡張することができる。
上記各実施形態で示した数値などは例示であり、それに限定されるものではない。

地図システム１において、それぞれの機能ブロックは分散されていてもよい。例えば、車両側、つまり車載器側の制御装置８が備える各機能ブロックの一部がサーバ２側の制御装置９に設けられ、各制御装置が通信を介して各種データの送受信を行うことにより、自車挙動の推定などを実行する構成としてもよい。

第１実施形態において、ＳＦＭ認識部１８は、上記した（１）式の条件を満たすようにＳＦＭの周期を変更するようになっていたが、これに代えてまたは加えて、（１）式の条件を満たすように車速を変化させるようにしてもよい。このようにした場合でも、ＳＦＭの周期を変更した場合と同様の作用および効果が得られる。

本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

２…サーバ、３…画像センサ、８…制御装置、１３…エゴモーション算出部、１５…地図生成部、１６…ローカライズ部、１７…中止処理部、２２…記憶装置。

Claims (9)

1. 車両の周辺を撮像する撮像装置（３）により撮像された画像に基づいて前記車両の挙動である自車挙動を推定する自車挙動推定装置であって、
   前記車両の周辺の状況が画像に基づいた前記自車挙動の推定が不安定になるような状況となる特定箇所を表す情報である特定箇所情報を予め取得する情報取得部（１６）と、
   前記撮像装置により撮像された画像および前記特定箇所情報に基づいて前記自車挙動を推定する挙動推定部（１３）と、
   を備え、
   前記挙動推定部は、Structure From Motionの手法を利用して前記自車挙動を推定する構成であり、
   前記特定箇所は、前記車両の進行方向に沿うように同じ模様が繰り返された外見を有する物体が存在する箇所であり、
   前記特定箇所情報には、前記模様の位置および前記模様の繰り返し間隔が含まれる自車挙動推定装置。
2. 前記挙動推定部は、前記撮像された画像の１フレーム間における前記車両の移動量が前記模様の繰り返し間隔の１／２より小さくなるように前記Structure From Motionの周期を設定し、前記自車挙動を推定する請求項１に記載の自車挙動推定装置。
3. 前記挙動推定部は、前記模様の位置および前記模様の繰り返し間隔に基づいて、前記撮像された画像上における前記模様の位置の変化を予測し、その予測結果を利用して前記自車挙動を推定する請求項１または２に記載の自車挙動推定装置。
4. さらに、前記挙動推定部による前記自車挙動の推定ができなくなる異常の発生が検出されると、前記挙動推定部により推定された前記自車挙動を直接的または間接的に用いて行われる前記車両に関連する所定の処理の実行を中止または変更する中止処理部（１７）を備える請求項１から３のいずれか一項に記載の自車挙動推定装置。
5. さらに、
   前記車両が前記特定箇所に相当する箇所を通過したか否かを判断する通過判断部（１５）と、
   前記通過判断部により前記車両が前記箇所を通過したと判断されると、その通過した前記箇所に関連する関連情報を前記車両から隔離したサーバ（２）に送信する情報送信部（１５）と、
   を備え、
   前記サーバは、複数の車両の前記情報送信部から送信される前記関連情報に基づいて前記特定箇所情報を生成または更新し、
   前記情報取得部は、前記サーバから前記特定箇所情報を取得するようになっている請求項１から４のいずれか一項に記載の自車挙動推定装置。
6. 車両の周辺を撮像する撮像装置（３）により撮像された画像に基づいて前記車両の挙動である自車挙動を推定する自車挙動推定装置に、
   前記車両の周辺の状況が画像に基づいた前記自車挙動の推定が不安定になるような状況となる特定箇所を表す情報である特定箇所情報を予め取得する情報取得手順と、
   前記撮像装置により撮像された画像および前記特定箇所情報に基づいて前記自車挙動を推定する挙動推定手順と、
   を実行させる自車挙動推定プログラムであって、
   前記挙動推定手順は、Structure From Motionの手法を利用して前記自車挙動を推定する手順であり、
   前記特定箇所は、前記車両の進行方向に沿うように同じ模様が繰り返された外見を有する物体が存在する箇所であり、
   前記特定箇所情報には、前記模様の位置および前記模様の繰り返し間隔が含まれる自車挙動推定プログラム。
7. 請求項６に記載の自車挙動推定プログラムを記憶するコンピュータ読み取り可能な非一時的な記憶媒体。
8. 車両の周辺を撮像する撮像装置（３）を備える車両に搭載され、前記撮像装置により撮像された画像に基づいて前記車両の挙動である自車挙動を推定する自車挙動推定装置であって、
   プログラムを格納した記憶装置（２２）と、
   前記記憶装置から前記プログラムを読み込んで、前記車両の周辺の状況が画像に基づいた前記自車挙動の推定が不安定になるような状況となる特定箇所を表す情報である特定箇所情報を予め取得し、前記撮像装置により撮像された画像および前記特定箇所情報に基づいて前記自車挙動を推定する演算装置（８）と、
   を備え、
   前記演算装置は、Structure From Motionの手法を利用して前記自車挙動を推定する構成であり、
   前記特定箇所は、前記車両の進行方向に沿うように同じ模様が繰り返された外見を有する物体が存在する箇所であり、
   前記特定箇所情報には、前記模様の位置および前記模様の繰り返し間隔が含まれる自車挙動推定装置。
9. 車両の周辺を撮像する撮像装置（３）およびプログラムを格納した記憶装置（２２）を備える車両に搭載され、前記撮像装置により撮像された画像に基づいて前記車両の挙動である自車挙動を推定する自車挙動推定装置によって実行される制御方法であって、
   前記記憶装置から前記プログラムを読み込み、
   前記車両の周辺の状況が画像に基づいた前記自車挙動の推定が不安定になるような状況となる特定箇所を表す情報である特定箇所情報を予め取得し、
   前記撮像装置により撮像された画像および前記特定箇所情報に基づいて、且つStructure From Motionの手法を利用して前記自車挙動を推定する、
   自車挙動推定装置の制御方法であって、
   前記特定箇所は、前記車両の進行方向に沿うように同じ模様が繰り返された外見を有する物体が存在する箇所であり、
   前記特定箇所情報には、前記模様の位置および前記模様の繰り返し間隔が含まれる自車挙動推定装置の制御方法。

Images