JP7186804B2 - 移動体搭載カメラキャリブレーション補助装置、移動体搭載カメラキャリブレーションシステムおよび移動体搭載カメラキャリブレーション補助方法 - Google Patents

Description

本開示は、移動体搭載カメラキャリブレーション補助装置および移動体搭載カメラキャリブレーションシステムに関する。

近年、車両の運転支援または自動運転を実現するため、車両の周辺を監視するカメラなど車両に搭載されるセンサーの数が増加している。例えば、車両に設置された複数のカメラによって撮影された画像を合成し、車両周辺の俯瞰映像を生成することで、運転者が容易に車両の周辺状況の把握することを可能にするシステムが知られている。

それら車両に設置される複数のカメラは、車両ごとに設置位置が異なる。システムの要求を満たすためには、カメラが車両に設置された状態で、そのキャリブレーションを行う必要がある。

例えば、そのキャリブレーション方法として、車両周辺の路上に設置されたキャリブレーション用の専用マーカーの情報を車載カメラにより取得して校正する手法が知られている。

また、特許文献１に記載の車載カメラのキャリブレーション装置は、車載カメラによって撮影された車両の輪郭画像から抽出される車両の特徴点に基づき、車載カメラをキャリブレーションしている。

特開２０１４－１７４０６７号公報

車載カメラのキャリブレーションに専用マーカーが用いられる場合、その専用マーカーを用意する必要があり、また、その専用マーカーを設置するための広い場所も必要となる。

本開示は、上記のような問題点を解決するためになされたものであり、キャリブレーションのための専用マーカーや広い場所を必要としないで、移動体搭載カメラのキャリブレーションを可能にする移動体搭載カメラキャリブレーション補助装置の提供を目的とする。

本開示に係る１つの移動体搭載カメラキャリブレーション補助装置は、移動体に設置されかつ移動体の周辺を撮影する複数の移動体搭載カメラについて、複数の移動体搭載カメラの移動体への設置状態を調整する移動体搭載カメラキャリブレーション装置に対し、移動体搭載カメラキャリブレーション装置がキャリブレーションを行うための補助制御を行う。移動体搭載カメラキャリブレーション補助装置は、特徴点抽出部と軌跡算出部と比較演算処理部とを含む。特徴点抽出部は、複数の移動体搭載カメラの各々によって撮影される画像内の特徴点を抽出する。軌跡算出部は、移動体が走行することにより、画像内で移動する特徴点の軌跡を、複数の移動体搭載カメラの各々ごとに算出する。比較演算処理部は、特徴点の軌跡と、予め定められた正確な設置状態で設置された複数の移動体搭載カメラの各々の画像における特徴点の軌跡である予め用意された規定軌跡と、に基づいて、移動体搭載カメラキャリブレーション装置に対し、複数の移動体搭載カメラの設置状態を複数の移動体搭載カメラの各々ごとに予め定められた正確な設置状態に戻すための信号を出力して補助制御を行う。比較演算処理部は、複数の移動体搭載カメラのうち、互いに異なる方向を撮影する少なくとも２つの移動体搭載カメラによって撮影された画像における特徴点の軌跡に基づいて、移動体の傾き度合いを算出する、走行状態判定部を含む。比較演算処理部は、移動体の傾き度合いと複数の移動体搭載カメラの各々の予め用意された規定軌跡とに基づいて、移動体が傾いている場合の規定軌跡を求め、複数の移動体搭載カメラの各々の画像における特徴点の軌跡と、移動体が傾いている場合の規定軌跡とに基づいて、信号を出力する補助制御を行う。

本開示によれば、キャリブレーションのための専用マーカーや広い場所を必要としないで、移動体搭載カメラのキャリブレーションを可能にする移動体搭載カメラキャリブレーション補助装置の提供が可能である。

本開示の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白になる。

実施の形態１における車載カメラキャリブレーション補助装置の構成を示すブロック図である。 車載カメラキャリブレーション補助装置が有する処理回路の構成の一例を示す図である。 車載カメラキャリブレーション補助装置が有する処理回路の構成の別の一例を示す図である。 実施の形態１における車載カメラキャリブレーション補助装置の動作を示すフローチャートである。 実施の形態１における車載カメラの設置位置および撮影範囲を示す図である。 実施の形態１における第２画像および特徴点の軌跡を示す図である。 実施の形態２における車載カメラの設置位置および撮影範囲を示す図である。 実施の形態２における第２画像および特徴点の軌跡を示す図である。 実施の形態３における車載カメラキャリブレーション補助装置およびそれに関連して動作する装置の構成を示すブロック図である。 実施の形態４における車載カメラキャリブレーション補助装置の構成を示すブロック図である。 実施の形態４における走行状態判定方法を示すフローチャートである。 実施の形態４の変形例における車両の旋回量の一例を示す図である。 実施の形態５における車両の傾き度合いの一例を示す図である。

以下に記載する各実施の形態において、移動体搭載カメラキャリブレーション補助装置の一例として、車載カメラキャリブレーション補助装置について説明する。車載カメラキャリブレーション補助装置は、車載カメラキャリブレーション装置がキャリブレーションを行うための補助制御を行う。その車載カメラキャリブレーション装置は、車両に設置された車載カメラの車両への設置状態を調整する装置である。

＜実施の形態１＞
図１は、実施の形態１における車載カメラキャリブレーション補助装置１００の構成を示すブロック図である。また、図１には、車載カメラキャリブレーション補助装置１００と関連して動作する装置として、複数の車載カメラ２および車載カメラキャリブレーション装置１０が示されている。

複数の車載カメラ２は、車両に設置されており、車両の周辺を撮影する。複数の車載カメラ２の各々は、設置状態について自由度を確保して設置されており、予め定められた正確な設置状態からずれた場合には、車載カメラキャリブレーション装置１０による微調整が可能である。設置状態とは、例えば、設置位置または設置角度である。図１に示されるように、車両には複数の車載カメラ２として車載カメラ２Ａから２Ｎが設置されているが、少なくとも１台の車載カメラが設置されていればよい。

車載カメラキャリブレーション装置１０は、車載カメラ２の車両への設置状態を調整する装置である。

車載カメラキャリブレーション補助装置１００は、車載カメラキャリブレーション装置１０がキャリブレーションを行うための補助制御を行う。車載カメラキャリブレーション補助装置１００は、特徴点抽出部３、軌跡算出部６、比較演算処理部７および記憶部４を有する。記憶部４は、特徴点記憶部５および規定軌跡記憶部８を有する。

特徴点抽出部３は、車載カメラ２によって撮影される画像内の特徴点を抽出する。特徴点抽出部３は、車両の移動前および移動後の少なくとも２つの画像間で、互いに対応する少なくとも２つの特徴点を抽出する。特徴点は、画像内の任意の部分である。特徴点は、例えば、画像内に写っている路上の白線、路上表示または模様等を含む。

特徴点記憶部５は、特徴点抽出部３によって抽出された特徴点の情報を記憶する。特徴点の情報とは、例えば、特徴点抽出部３によって抽出された特徴点の位置（座標）および特徴点の形態等を含む。特徴点の形態とは、特徴点に対応する対象物の形状、模様、色等を含む。

軌跡算出部６は、車両が移動することにより、画像内で移動する特徴点の軌跡を算出する。軌跡算出部６は、特徴点記憶部５に記憶されている特徴点の情報を読み込んで特徴点の軌跡を算出する。軌跡算出部６は、車両の移動前および移動後の画像間で、互いに対応する少なくとも２つの特徴点の位置を比較し、特徴点の軌跡を算出する。特徴点の軌跡は、特徴点が車両の移動前後でどれだけ移動したか等の情報を含んでいてもよい。

規定軌跡記憶部８は、予め用意された規定軌跡を記憶する。予め用意された規定軌跡とは、予め定められた正確な設置状態で車両に設置された車載カメラ２によって撮影された画像に基づく、特徴点の軌跡である。予め定められた正確な設置状態とは、車載カメラ２が正確な位置および正確な角度で設置されている状態である。

比較演算処理部７は、予め定められた正確な設置状態からずれた状態で車両に設置された車載カメラ２によって撮影された画像に基づいて求められる特徴点の軌跡と、規定軌跡記憶部８に記憶されている予め用意された規定軌跡と、を比較する。比較の結果、現在の車載カメラ２の設置状態における特徴点の軌跡が、規定軌跡と異なると判断された場合、比較演算処理部７は、車載カメラキャリブレーション装置１０に対し、車載カメラ２の設置状態を予め定められた正確な設置状態に戻すための信号を出力する。

図２は、車載カメラキャリブレーション補助装置１００が有する処理回路９０の構成の一例を示す図である。特徴点抽出部３、特徴点記憶部５、軌跡算出部６、規定軌跡記憶部８および比較演算処理部７の各機能は、処理回路９０により実現される。すなわち、処理回路９０は、特徴点抽出部３、特徴点記憶部５、軌跡算出部６、規定軌跡記憶部８および比較演算処理部７を有する。

処理回路９０が専用のハードウェアである場合、処理回路９０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせた回路等である。特徴点抽出部３、特徴点記憶部５、軌跡算出部６、規定軌跡記憶部８および比較演算処理部７の各機能は、複数の処理回路により個別に実現されてもよいし、１つの処理回路によりまとめて実現されてもよい。

図３は、車載カメラキャリブレーション補助装置１００が有する処理回路の構成の別の一例を示す図である。処理回路は、プロセッサ９１とメモリ９２とを有する。プロセッサ９１がメモリ９２に格納されるプログラムを実行することにより、特徴点抽出部３、特徴点記憶部５、軌跡算出部６、規定軌跡記憶部８および比較演算処理部７の各機能が実現される。例えば、プログラムとして記述されたソフトウェアまたはファームウェアがプロセッサ９１により実行されることにより各機能が実現される。すなわち、車載カメラキャリブレーション補助装置１００は、プログラムを格納するメモリ９２と、そのプログラムを実行するプロセッサ９１とを有する。記憶部４の機能は、メモリ９２によって実現されてもよく、特徴点記憶部５および規定軌跡記憶部８は、記憶部４に実装されている。

プログラムには、車載カメラキャリブレーション補助装置１００が、車載カメラ２によって撮影される画像内の特徴点を抽出し、車両が移動することにより、画像内で移動する特徴点の軌跡を算出し、予め定められた正確な設置状態からずれた状態で設置された車載カメラ２の画像における特徴点の軌跡と、予め用意された規定軌跡と、に基づいて、車載カメラキャリブレーション装置１０に対し、車載カメラ２の設置状態を予め定められた正確な設置状態に戻すための信号を出力して補助制御を行う機能が記述されている。また、プログラムは、特徴点抽出部３、特徴点記憶部５、軌跡算出部６、規定軌跡記憶部８および比較演算処理部７の手順または方法をコンピュータに実行させるものである。

プロセッサ９１は、例えば、ＣＰＵ（Central Processing Unit）、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。メモリ９２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の、不揮発性または揮発性の半導体メモリである。または、メモリ９２は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等、今後使用されるあらゆる記憶媒体であってもよい。

上述した特徴点抽出部３、特徴点記憶部５、軌跡算出部６、規定軌跡記憶部８および比較演算処理部７の各機能は、一部が専用のハードウェアによって実現され、他の一部がソフトウェアまたはファームウェアにより実現されてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現する。

次に、車載カメラキャリブレーション補助装置１００の動作（以下、車載カメラキャリブレーション補助制御方法という。）を説明する。図４は、実施の形態１における車載カメラキャリブレーション補助制御方法を示すフローチャートである。車載カメラキャリブレーション補助装置１００は、一例として、時間差で撮影された２枚の画像間で、互いに対応する特徴点の位置の差分に基づき、特徴点の軌跡を求める。

図５は、実施の形態１における車載カメラ２Ａの設置位置および撮影範囲を示す図である。ここでは、複数の車載カメラ２のうちの一の車載カメラ２Ａは、車両１のフロント部に設置されたフロントカメラである。車載カメラ２Ａは、車両１の前方の地面を撮影できるように設置されている。車載カメラ２Ａの撮影範囲が破線１２および１３によって示されている。すなわち、破線１２および１３は、車載カメラ２Ａで撮影される画像における両端を示している。

ステップＳ１０にて、特徴点抽出部３は、車載カメラ２Ａが任意の時刻ｔに撮影した第１画像を取得する。なお、ステップＳ１０の開始のタイミングは、定期的であってもよいし、運転者が決定してもよい。

ステップＳ２０にて、特徴点抽出部３は、第１画像内の特徴点を抽出する。ここでは、図５に示されるように、特徴点抽出部３は、２つの特徴点Ｐ１およびＰ２を抽出する。

ステップＳ３０にて、特徴点記憶部５は、特徴点抽出部３で抽出された特徴点Ｐ１およびＰ２の情報を保存する。ここでは、特徴点記憶部５は、特徴点Ｐ１およびＰ２の位置（座標）および形態を保存する。

ステップＳ４０にて、特徴点抽出部３は、車載カメラ２Ａが時刻ｔ＋αに撮影した第２画像を取得する。

ステップＳ５０にて、特徴点抽出部３は、第２画像内の特徴点を抽出する。ここでは、特徴点抽出部３は、少なくとも１つの特徴点を抽出する。

ステップＳ６０にて、軌跡算出部６は、第２画像内の少なくとも１つの特徴点の中に、第１画像内の特徴点Ｐ１またはＰ２と一致する特徴点があるか否かを判定する。第２画像内に一致する特徴点がある場合、ステップＳ７０が実行される。第２画像内に一致する特徴点がない場合、再び、ステップＳ１０が実行される。第１画像が取得された時刻ｔと、第２画像が取得された時刻ｔ＋αの間が長い場合、第１画像で得られた特徴点が、第２画像の外に移動する可能性がある。その場合、ステップＳ６０によって、車載カメラキャリブレーション補助装置１００は、再びステップＳ１０から一連の処理をやり直す。このように、ステップＳ６０は、第２画像内に、特徴点Ｐ１およびＰ２に対応する特徴点が存在しない場合に備えた処理である。なお、ステップＳ６０は、特徴点抽出部３が実行してもよい。

ステップＳ７０にて、軌跡算出部６は、特徴点の軌跡を算出する。ここでは、第２画像内に特徴点Ｐ１およびＰ２のそれぞれに対応する特徴点が存在した場合を説明する。軌跡算出部６は、特徴点記憶部５に保存されている特徴点Ｐ１およびＰ２の位置（座標）と、特徴点抽出部３により抽出された第２画像内の特徴点Ｐ１およびＰ２の位置（座標）に基づき、特徴点の軌跡を算出する。

ステップＳ８０にて、比較演算処理部７は、特徴点の軌跡が予め用意された規定軌跡と一致するか否かを判定する。ここでは、比較演算処理部７は、規定軌跡を規定軌跡記憶部８から読み込んで、上記の判定を行う。

図６は、実施の形態１における第２画像および特徴点の軌跡を示す図である。図６における破線１２および１３は、画像の両端を示しており、図５における車載カメラ２Ａの撮影範囲に対応する。図６の特徴点Ｐ１およびＰ２の位置は、図５に示された任意の時刻ｔにおける特徴点Ｐ１およびＰ２の位置にそれぞれ対応する。図６における実線は規定軌跡１４および１５を示している。つまり、車載カメラ２Ａが予め定められた正確な設置状態で車両１に設置されている場合、特徴点Ｐ１およびＰ２は、それぞれ規定軌跡１４および１５上を移動する。

特徴点の軌跡が規定軌跡１４および１５と一致する場合、車載カメラ２Ａは予め定められた正確な設置状態で設置されているため、車載カメラキャリブレーション補助制御方法は終了する。一致しない場合、ステップＳ９０が実行される。

ステップＳ９０にて、比較演算処理部７は、規定軌跡１４および１５に対する特徴点の軌跡のずれを算出する。比較演算処理部７は、軌跡のずれに基づき、車載カメラ２Ａの予め定められた正確な設置状態からのずれを算出する。例えば、図６において、一点鎖線で示される特徴点の軌跡１６および１７は、規定軌跡１４および１５よりも上方にずれている。この場合、比較演算処理部７は、正確な設置角度に対して下方へのずれを算出する、すなわち車載カメラ２Ａが下方に傾いていることを把握する。または例えば、図６において、二点鎖線で示される特徴点の軌跡１８は規定軌跡１４よりも上方にずれている。その一方で、特徴点の軌跡１９は規定軌跡１５よりも下方にずれている。この場合、比較演算処理部７は、正確な設置角度に対して左方向のずれを算出する、すなわち車載カメラ２Ａが左に傾いていることを把握する。このように、比較演算処理部７は、少なくとも２つの規定軌跡と、車載カメラ２Ａによって撮影された画像内の少なくとも２つの特徴点の軌跡と、を比較することにより車載カメラ２Ａの設置角度のずれを把握することができる。

ステップＳ１００にて、比較演算処理部７は、車載カメラ２Ａの設置状態を予め定められた正確な設置状態に戻すための信号を、車載カメラキャリブレーション装置１０に出力する。

ステップＳ１１０にて、車載カメラキャリブレーション装置１０は、車載カメラ２Ａを予め定められた正確な設置状態に調整する。例えば、角度がずれている場合、車載カメラキャリブレーション装置１０は、車載カメラ２Ａを正確な設置角度に調整する。そして、再び、ステップＳ１０すなわち車載カメラキャリブレーション補助制御方法が実行される。

実施の形態１においては、車載カメラ２の一例として、フロントカメラをキャリブレーションするための補助制御方法を示した。しかし、車載カメラ２はそれに限定されるものではなく、車両１のリア部に設置され、車両１の後方を撮影するリアカメラであってもよい。車載カメラキャリブレーション補助装置１００は、リアカメラのキャリブレーションに対しても同様の補助制御を可能とする。

また、実施の形態１における車載カメラキャリブレーション装置１０は、特徴点の軌跡と、予め用意された規定軌跡１４および１５とにより補助制御を行ったが、特徴点Ｐ１およびＰ２の移動量と予め用意された規定移動量とによって、上記の補助制御を行ってもよい。

以上をまとめると、実施の形態１における車載カメラキャリブレーション補助装置１００（移動体搭載カメラキャリブレーション補助装置）は、車両１（移動体）に設置されかつ車両１の周辺を撮影する車載カメラ２Ａ（移動体搭載カメラ）について、車載カメラ２Ａの車両１への設置状態を調整する車載カメラキャリブレーション装置１０（移動体搭載カメラキャリブレーション装置）に対し、車載カメラキャリブレーション装置１０がキャリブレーションを行うための補助制御を行う。車載カメラキャリブレーション補助装置１００は、特徴点抽出部３と軌跡算出部６と比較演算処理部７とを含む。特徴点抽出部３は、車載カメラ２Ａによって撮影される画像内の特徴点Ｐ１およびＰ２を抽出する。軌跡算出部６は、車両１が移動することにより、画像内で移動する特徴点の軌跡を算出する。比較演算処理部７は、予め定められた正確な設置状態からずれた状態で車両１に設置された車載カメラ２Ａの画像における特徴点の軌跡と、予め用意された規定軌跡１４および１５であって、予め定められた正確な設置状態で設置された車載カメラ２Ａの画像における特徴点の軌跡である規定軌跡１４および１５と、に基づいて、車載カメラキャリブレーション装置１０に対し、車載カメラ２Ａの設置状態を予め定められた正確な設置状態に戻すための信号を出力して補助制御を行う。

このような車載カメラキャリブレーション補助装置１００は、キャリブレーションのための専用マーカーや広い場所を必要としないで、車載カメラ２Ａのキャリブレーションを可能にする。

また、車両の輪郭が車載カメラのキャリブレーションにおける特徴点として用いられるようなキャリブレーション方法においては、必ずしも専用マーカーは必要でないものの、車載カメラは車両の輪郭を撮影可能な位置に設けられる必要がある。この場合、車載カメラは、その設置角度に関して自由度がない。また、車両の外形が変形した場合には、正確なキャリブレーションが不可能となる。その一方で、実施の形態１における車載カメラキャリブレーション補助装置１００は、車両１の移動による特徴点の軌跡に基づいて、車載カメラキャリブレーション装置１０に対して補助制御を行う。そのため、車載カメラ２Ａは車両１の輪郭を撮影する必要がない。つまり、車載カメラキャリブレーション補助装置１００は、車載カメラ２Ａの設置角度を制限しない。また、車両１の外形が変形した場合であっても、車載カメラキャリブレーション補助装置１００は、補助制御が可能である。

また、車載カメラキャリブレーション補助装置１００によれば、運転者が車両１を運転している間に、つまり、車両１が走行している間に、車載カメラキャリブレーション装置１０によるキャリブレーションが完了する。そのため、車載カメラキャリブレーション補助装置１００が、予め定められた正確な設置状態における規定軌跡１４および１５を有していれば、車載カメラキャリブレーション補助装置１００は、車両１の出荷の前に行われる車載カメラ２Ａのキャリブレーション作業を省略することを可能にする。

また、実施の形態１における車載カメラキャリブレーション補助装置１００は、特徴点抽出部３により抽出された特徴点Ｐ１およびＰ２の情報を記憶する特徴点記憶部５をさらに含む。軌跡算出部６は、特徴点記憶部５に記憶されている特徴点Ｐ１およびＰ２の情報を読み込んで特徴点の軌跡を算出する。

このような車載カメラキャリブレーション補助装置１００は、複数の画像間で互いに対応する特徴点Ｐ１およびＰ２を抽出し、特徴点の軌跡を算出することを可能にする。そのため、キャリブレーションの精度が向上する。

また、実施の形態１における車載カメラキャリブレーション補助装置１００は、規定軌跡１４および１５を記憶する規定軌跡記憶部８をさらに含む。比較演算処理部７は、規定軌跡記憶部８に記憶されている規定軌跡１４および１５を読み込んで補助制御を行う。

このような車載カメラキャリブレーション補助装置１００は、運転者が車両１を運転している間に、つまり、車両１が走行している間に、車載カメラキャリブレーション装置１０がキャリブレーションを完了することを可能にする。そのため、車載カメラキャリブレーション補助装置１００が予め定められた正確な設置状態における規定軌跡１４および１５を有していれば、車載カメラキャリブレーション補助装置１００は、車両１の出荷前に行われる車載カメラ２Ａのキャリブレーション作業を省略することを可能にする。

また、実施の形態１における車載カメラキャリブレーション補助装置１００の特徴点抽出部３は、撮影時間の異なる少なくとも２つの画像内の互いに対応する少なくとも２つの特徴点を抽出する。軌跡算出部６は、少なくとも２つの特徴点の位置に基づき、特徴点の軌跡を算出する。

このような車載カメラキャリブレーション補助装置１００は、キャリブレーションの精度を向上させる。

また、実施の形態１における車載カメラキャリブレーション補助装置１００の特徴点抽出部３は、複数の車載カメラ２の各々によって撮影される画像内の特徴点Ｐ１およびＰ２を抽出する。軌跡算出部６は、車両１が走行することにより、画像内で移動する特徴点の軌跡を、複数の車載カメラ２の各々ごとに算出する。比較演算処理部７は、予め定められた正確な設置状態からずれた状態で車両１に設置された複数の車載カメラ２の各々の画像における特徴点の軌跡と、予め用意された規定軌跡１４および１５であって、予め定められた正確な設置状態で設置された複数の車載カメラ２の各々の画像における特徴点の軌跡である規定軌跡１４および１５と、に基づいて、車載カメラキャリブレーション装置１０に対し、複数の車載カメラ２の設置状態を複数の車載カメラ２の各々ごとに予め定められた正確な設置状態に戻すための信号を出力して補助制御を行う。

このような車載カメラキャリブレーション補助装置１００は、複数の車載カメラ２が設置される場合であっても、車載カメラキャリブレーション装置１０が、専用マーカーや広い場所を必要としないで、複数の車載カメラ２の各々のキャリブレーションを行うことを可能にする。

＜実施の形態２＞
実施の形態２における車載カメラキャリブレーション補助装置１００を説明する。実施の形態２における車載カメラキャリブレーション補助装置１００は、実施の形態１における車載カメラキャリブレーション補助装置１００の各構成を含む。なお、実施の形態１と同様の構成および動作については説明を省略する。

図７は、実施の形態２における車載カメラ２Ｂの設置位置および撮影範囲を示す図である。ここでは、複数の車載カメラ２のうちの一の車載カメラ２Ｂは、車両１の右側面のドラミラー部に設置されたサイドカメラである。車載カメラ２Ｂは、車両１の右側方の地面を撮影できるように設置されている。車載カメラ２Ｂの撮影範囲が破線２０および２１によって示されている。すなわち、破線２０および２１は、車載カメラ２Ｂで撮影される画像における両端を示している。また、実施の形態２において、特徴点抽出部３は、車載カメラ２Ｂが撮影した第１画像において、３つの特徴点Ｐ３、Ｐ４およびＰ５を抽出する。

図８は、実施の形態２における第２画像および特徴点の軌跡を示す図である。図８における破線２０および２１は、画像の両端を示しており、図７における車載カメラ２Ｂの撮影範囲に対応する。図８の特徴点Ｐ３、Ｐ４およびＰ５の位置は、図７に示された特徴点Ｐ３、Ｐ４およびＰ５の位置にそれぞれ対応する。図８において、実線は規定軌跡記憶部８に記憶されている規定軌跡２２、２３および２４を示している。つまり、車載カメラ２Ｂが予め定められた正確な設置状態で車両１に設置されている場合、特徴点Ｐ３、Ｐ４およびＰ５は、規定軌跡２２、２３および２４上をそれぞれ移動する。規定軌跡記憶部８は、特徴点Ｐ３、Ｐ４およびＰ５の規定移動量の比を記憶していてもよく、ここでは、その移動量の比はＰ３：Ｐ４：Ｐ５＝１：２：１である。

軌跡算出部６は、第１画像および第２画像間で、互いに対応する特徴点Ｐ３、Ｐ４およびＰ５の位置（座標）に基づき、例えば、一点鎖線で示される特徴点の軌跡２５、２６および２７を算出する。また、軌跡算出部６は、特徴点Ｐ３、Ｐ４およびＰ５の移動量の比を算出してもよく、ここでは、その移動量の比はＰ３：Ｐ４：Ｐ５＝３：２：１である。

比較演算処理部７は、規定移動量と、軌跡算出部６によって算出された特徴点Ｐ３、Ｐ４およびＰ５の移動量の比と、に基づき、車載カメラ２Ｂの設置角度に関して上下方向のずれを把握する。それらの比が上記の値である場合、比較演算処理部７は、車載カメラ２Ｂの設置角度が、正確な設置角度に対して下方に傾いていることを把握する。

また別の一例として、例えば、図８において、二点鎖線で示される特徴点の軌跡２８、２９および３０は、規定軌跡２２、２３および２４よりも上方にずれている。この場合、比較演算処理部７は、車載カメラ２Ｂの設置角度が、正確な設置角度に対して傾いていることを把握する。

実施の形態２においては、車載カメラ２の一例として、車両１の右側面に設置されたサイドカメラをキャリブレーションするための補助制御方法を示した。しかし、車載カメラ２はそれに限定されるものではなく、車両１の左側面に設置され、車両１の左側方を撮影するサイドカメラであってもよい。車載カメラキャリブレーション補助装置１００は、左側面のサイドカメラのキャリブレーションに対しても同様の補助制御を可能とする。

実施の形態１で述べたように、特徴点として抽出される対象物は、路上の白線、標識および模様等を含む。しかし、それら対象物が縁石、ガードレール等の立体物に隠れる場合、特徴点抽出部３は特徴点を抽出できない。または、特徴点が抽出されたとしても、比較演算処理部７は、正確な特徴点の軌跡を算出することができない。この問題を解決するため、特徴点抽出部３は、車載カメラ２が撮影した路上の画像において車両１側の路上が写っている領域内で特徴点を抽出することが好ましい。車両１の走行時、車両１側の路上には立体物の数が少ない。また、路上の白線、標識および模様等は、車両１側の路上が写っている領域に写る可能性が高い。例えば、図８において、車両１側の路上が写っている領域は、画像の下部である。車載カメラキャリブレーション補助装置１００は、車両１側の路上が写っている領域内で特徴点を抽出することにより、正確な特徴点の軌跡を算出することができる。その結果、車載カメラキャリブレーション装置１０による車載カメラ２のキャリブレーションの精度が向上する。

車載カメラキャリブレーション補助装置１００は、実施の形態１においては、２つ（２種類）の特徴点の軌跡に基づき車載カメラ２のずれを算出し、実施の形態２においては、３つ（３種類）の特徴点の軌跡に基づきそのずれを算出した。さらなるキャリブレーション精度の向上のため、車載カメラキャリブレーション補助装置１００は、４種類以上の特徴点に基づきそのずれを算出してもよい。

規定軌跡および特徴点の軌跡は、車両１が直進している場合の軌跡が最も単純である。よって、車載カメラキャリブレーション補助装置１００は、車両１が直進している場合に、補助制御を容易に実行可能である。しかし、軌跡算出部６が２枚の画像から特徴点の軌跡を算出する場合、車両１が直進していない場合であっても、算出される特徴点の軌跡は必ず直線となる。そのため、特徴点抽出部３は、撮影時間の異なる少なくとも３枚の画像間で互いに対応する少なくとも３つの特徴点を抽出し、軌跡算出部６は、その少なくとも３つの特徴点の位置に基づいて、特徴点の軌跡を算出することが好ましい。それにより、車載カメラキャリブレーション補助装置１００は、車両１が直進しているか否かを検出することができる。このような車載カメラキャリブレーション補助装置１００は、直進検出用の他のセンサーを使用することなく、簡単に特徴点の軌跡を比較し、補助制御を実行することができる。

また、画像内の特徴点を抽出する領域に、特徴点となる対象物以外の立体物等が写り込んだ場合、車載カメラ２と物体との距離が変化する。そのため、車載カメラキャリブレーション補助装置１００は、正常に特徴点の軌跡を検知することができなくなる可能性がある。このような問題を解決するため、特徴点抽出部３は、車載カメラ２が撮影した平坦な路上の画像内で特徴点を抽出することが好ましい。

また、図４に示された車載カメラキャリブレーション補助制御方法は、時間差を置いて複数回繰り返し実行することにより、キャリブレーションの精度が向上する。例えば、正規分布等の数学的手法によりキャリブレーションの精度が向上する。

車載カメラ２の設置位置（設置高さ）は、車種（移動体の種別）によって異なる。そのため、特徴点の規定軌跡も車種によって異なる。したがって、規定軌跡記憶部８は、規定軌跡を車種（移動体の種別）ごとに記憶していることが好ましい。また、車載カメラキャリブレーション補助装置１００は、規定軌跡記憶部８に保存する規定軌跡のデータの入れ替えにより、あらゆる車種に対応した補助制御を可能にする。

また、車載カメラキャリブレーション補助装置１００は、車載カメラキャリブレーション装置１０が出荷時に行う車両１に対する車載カメラ２のキャリブレーションを省略することを可能にし、また、それにともなう作業工数の削減、作業者の削減等を可能にする。さらに、車載カメラキャリブレーション補助装置１００は、車両１が走行している状態であれば、車両１の出荷後に車載カメラキャリブレーション装置１０に対する補助制御を可能にする。車両１の接触等によりカメラの設置方向が変化した場合にも、車載カメラキャリブレーション補助装置１００は、車載カメラキャリブレーション装置１０に対する補助制御を可能にする。

実施の形態１または２においては、移動体搭載カメラキャリブレーション補助装置の一例として、車載カメラキャリブレーション補助装置を示した。しかし、移動体搭載カメラキャリブレーション補助装置は、それに限定されるものではなく、例えば、ロボット掃除機、無人航空機等の運動する移動体に搭載されるカメラに対しても適用することができる。

＜実施の形態３＞
以上の各実施の形態に示された車載カメラキャリブレーション補助装置１００は、ナビゲーション装置と、通信端末と、サーバと、これらにインストールされるアプリケーションの機能とを適宜に組み合わせて構築されるシステムにも適用することができる。ここで、ナビゲーション装置とは、例えば、ＰＮＤ（Portable Navigation Device）などを含む。通信端末とは、例えば、携帯電話、スマートフォンおよびタブレットなどの携帯端末を含む。

図９は、実施の形態３における車載カメラキャリブレーション補助装置１００およびそれに関連して動作する装置の構成を示すブロック図である。

車載カメラキャリブレーション補助装置１００および通信装置１２０がサーバ３００に設けられている。車載カメラキャリブレーション補助装置１００は、車両１に設けられた車載カメラ２から通信装置１１０および通信装置１２０を介して車両１の周辺の画像を取得する。車載カメラキャリブレーション補助装置１００は、車両１に設けられた車載カメラキャリブレーション装置１０に、車載カメラ２の設置状態を予め定められた正確な設置状態に戻すための信号を、各通信装置を介して出力することにより補助制御を行う。

このように、車載カメラキャリブレーション補助装置１００がサーバ３００に配置されることにより、車載装置の構成を簡素化することができる。

また、車載カメラキャリブレーション補助装置１００の機能あるいは構成要素の一部がサーバ３００に設けられ、他の一部が車両１に設けられるなど、分散して配置されてもよい。

＜実施の形態４＞
実施の形態４における車載カメラキャリブレーション補助装置および車載カメラキャリブレーションシステムを説明する。なお、実施の形態１から実施の形態３のいずれかと同様の構成および動作については説明を省略する。

図１０は、実施の形態４における車載カメラキャリブレーション補助装置１０１の構成を示すブロック図である。車載カメラキャリブレーション補助装置１０１は、特徴点抽出部３、軌跡算出部６、比較演算処理部７０および記憶部４を含む。比較演算処理部７０は、走行状態判定部７１を含む。車載カメラキャリブレーション補助装置１０１は、複数の車載カメラ２のうち少なくとも２つの車載カメラによって撮影された画像を収集して、車両１の走行状態を判定する。また、車載カメラキャリブレーション補助装置と車載カメラキャリブレーション装置とは、車載カメラキャリブレーションシステムを構成している。

走行状態判定部７１は、複数の車載カメラ２のうち、少なくとも２つの車載カメラによって撮影された画像における特徴点の軌跡に基づいて、車両１が直進しているか否かを判定する。その少なくとも２つの車載カメラは、互いに異なる方向を撮影可能に設置されている。ここでは、その少なくとも２つの車載カメラとは、車両１の前方を撮影するフロントカメラ、後方を撮影するリアカメラ、左右のそれぞれを撮影する２つのサイドカメラである。

比較演算処理部７０は、走行状態判定部７１によって車両１が直進していると判定された場合に、実施の形態１または２に示された補助制御を行う。

図１１は、実施の形態４における走行状態判定方法を示すフローチャートである。

ステップＳ２１０にて、走行状態判定部７１は、前方画像および後方画像の特徴点の移動方向が互いに一致するか否かを判定する。例えば、特徴点抽出部３および軌跡算出部６は、フロントカメラによって撮影される画像に対して、図４のステップＳ１０からＳ７０を実行し、前方画像における特徴点の軌跡を算出する。同様に、特徴点抽出部３および軌跡算出部６は、リアカメラによって撮影される画像に対して、図４のステップＳ１０からＳ７０を実行し、後方画像における特徴点の軌跡を算出する。走行状態判定部７１は、それら前方画像の特徴点の軌跡と後方画像の特徴点の軌跡とを比較する。特徴点の移動方向が互いに一致する場合、ステップＳ２２０が実行される。移動方向が一致しない場合、ステップＳ２７０が実行される。

ステップＳ２２０にて、走行状態判定部７１は、前方画像および後方画像の特徴点の軌跡がそれぞれの規定軌跡と一致するか否かを判定する。特徴点の軌跡が規定軌跡と一致する場合、ステップＳ２３０が実行される。特徴点の軌跡が規定軌跡と一致しない場合、ステップＳ２５０が実行される。

ステップＳ２３０にて、走行状態判定部７１は、車両１が直進していると判定する。

ステップＳ２４０にて、比較演算処理部７０は、左右のサイドカメラについてキャリブレーションの要否の判定を行うよう、車載カメラキャリブレーション補助装置１０１を制御する。それにより、特徴点抽出部３、軌跡算出部６および比較演算処理部７０は、左右のサイドカメラによって撮影された画像に対して、図４に示される補助制御を実行する。その際、比較演算処理部８０は、特徴点の軌跡と規定軌跡とに基づいて、左右のサイドカメラのキャリブレーション量を算出する。キャリブレーション量は、ずれ量およびずれの方向の情報を含む。キャリブレーションが必要と判断された場合、車載カメラキャリブレーション装置１０は、キャリブレーション量に基づいて、左右のサイドカメラのキャリブレーションを行う。

ステップＳ２５０にて、走行状態判定部７１は、車両１が旋回していると判定する。

ステップＳ２６０にて、比較演算処理部７０は、フロントカメラ等の車載カメラ２について、キャリブレーションの要否の判定をしないよう、車載カメラキャリブレーション補助装置１０１を制御する。この場合、走行状態判定部７１は、予め定められた時間経過後に、再度、ステップＳ２１０を実行して、車両１の走行状態を判定してもよい。

ステップＳ２７０にて、走行状態判定部７１は、左側方画像および右側方画像の特徴点の移動方向が互いに一致するか否かを判定する。例えば、特徴点抽出部３および軌跡算出部６は、左のサイドカメラによって撮影される画像に対して、図４のステップＳ１０からＳ７０を実行し、左側方画像における特徴点の軌跡を算出する。同様に、特徴点抽出部３および軌跡算出部６は、右のサイドカメラによって撮影される画像に対して、図４のステップＳ１０からＳ７０を実行し、右側方画像における特徴点の軌跡を算出する。走行状態判定部７１は、それら左側方画像の特徴点の軌跡と右側方画像の特徴点の軌跡とを比較する。特徴点の移動方向が互いに一致する場合、ステップＳ２８０が実行される。移動方向が一致しない場合、ステップＳ３１０が実行される。

ステップＳ２８０にて、走行状態判定部７１は、左側方画像および右側方画像の特徴点の軌跡がそれぞれの規定軌跡と一致するか否かを判定する。特徴点の軌跡が規定軌跡と一致する場合、ステップＳ２９０が実行される。特徴点の軌跡が規定軌跡と一致しない場合、ステップＳ３１０が実行される。

ステップＳ２９０にて、走行状態判定部７１は、車両１が直進していると判定する。

ステップＳ３００にて、比較演算処理部７０は、フロントカメラおよびリアカメラについて、キャリブレーションの要否の判定を行うよう、車載カメラキャリブレーション補助装置１０１を制御する。それにより、特徴点抽出部３、軌跡算出部６および比較演算処理部７０は、フロントカメラおよびリアカメラによって撮影された画像に対して、図４に示される補助制御を実行する。その際、比較演算処理部８０は、特徴点の軌跡と規定軌跡とに基づいて、フロントカメラおよびリアカメラのキャリブレーション量を算出する。キャリブレーションが必要と判断された場合、車載カメラキャリブレーション装置１０は、キャリブレーション量に基づいて、フロントカメラおよびリアカメラのキャリブレーションを行う。

ステップＳ３１０にて、走行状態判定部７１は、車両１の走行状態は不明と判定する。この状態は、例えば、車両１が平坦な道路と坂道との境界を走行している場合、または、凹凸の激しい道路を走行している場合等が想定される。

ステップＳ３２０にて、比較演算処理部７０は、フロントカメラ等の車載カメラ２について、キャリブレーションの要否を判定しない、つまり上記の補助制御を実行しない。この場合、走行状態判定部７１は、予め定められた時間経過後に、再度、ステップＳ２１０を実行して、車両１の走行状態を判定してもよい。

以上のように、実施の形態４における車載カメラキャリブレーション補助装置１０１は、複数の車載カメラ２のうち少なくとも２つの車載カメラによって撮影された画像を収集して、車両１の走行状態を判定する。そして、車載カメラキャリブレーション補助装置１０１は、車両１が平坦な道路を直進している場合に、車載カメラ２のキャリブレーションについての補助制御を行う。そのため、車載カメラキャリブレーション補助装置１０１は、車載カメラ２の設置状態が正確な設置状態からずれているにも関わらず、キャリブレーションを不要と判断することを防ぐ。また、そのような構成により、車載カメラキャリブレーション補助装置１０１は、正確に車載カメラ２の設置状態を判定することができる。

（実施の形態４の変形例）
実施の形態４の変形例における車載カメラキャリブレーション補助装置１０１は、車両１が旋回している場合であっても、特徴点の軌跡と規定軌跡とに基づいて、車載カメラ２のキャリブレーションについての補助制御を行う。

図１１のステップＳ２５０おいて、車両１が旋回していると判定された場合、比較演算処理部７０は、フロントカメラおよびリアカメラによって撮影された画像における特徴点の軌跡に基づいて、車両１の旋回量を算出する。図１２は、実施の形態４の変形例における車両１の旋回量θの一例を示す図である。

比較演算処理部７は、その旋回量θに基づいて、規定軌跡記憶部８に記憶されている規定軌跡を補正し、旋回時の規定軌跡を求める。旋回時の規定軌跡とは、車載カメラ２が予め定められた正確な設置状態にあり、かつ、車両１が旋回している場合の特徴点の軌跡である。そして、比較演算処理部７は、車載カメラ２によって撮影される画像における特徴点の軌跡と、旋回時の規定軌跡とに基づいて、キャリブレーションのための補助制御を行う。車載カメラキャリブレーション装置１０は、その補助制御に従い、車載カメラ２のキャリブレーションを行う。その際、車載カメラキャリブレーション装置１０は、車載カメラキャリブレーション補助装置１０１によって算出されたキャリブレーション量に基づいて、車載カメラ２のキャリブレーションを行う。

このように、実施の形態４の変形例における車載カメラキャリブレーション補助装置１０１は、車両１が旋回している場合であっても、複数の車載カメラ２のうち少なくとも２つの車載カメラによって撮影された画像を収集して解析することにより、車載カメラキャリブレーション装置１０に対する補助制御を行うことができる。

＜実施の形態５＞
実施の形態５における車載カメラキャリブレーション補助装置１０１および車載カメラキャリブレーションシステムを説明する。なお、実施の形態１から実施の形態４のいずれかと同様の構成および動作については説明を省略する。

実施の形態５において、走行状態判定部７１は、複数の車載カメラ２のうち、少なくとも２つの車載カメラによって撮影された画像における特徴点の軌跡に基づいて、車両１の傾き度合いを算出する。車両１の傾き度合いとは、車両１の搭乗者もしくは積載物の配置およびその重量、またはタイヤの状態等に起因した車両１の傾きの大きさおよび傾きの方向である。少なくとも２つの車載カメラは、互いに異なる方向を撮影可能に設置されている。ここでは、その少なくとも２つの車載カメラとは、車両１の前方を撮影するフロントカメラ、後方を撮影するリアカメラ、左右のそれぞれを撮影する２つのサイドカメラである。

図１３は、実施の形態５における車両１の傾き度合いの一例を示す図である。特徴点の軌跡は、ΔｘおよびΔｙで示される。例えば、図１３において、前方画像における特徴点の軌跡は、Δｘ_前およびΔｙ_前で表されている。後方画像、左側方画像および右側方画像におけるそれぞれの特徴点の軌跡も同様に表わされている。Δｘ_前＝Δｘ_後、Δｙ_前＝Δｙ_後、Δｘ_右＝Δｘ_左、Δｙ_右＝Δｙ_左を満たす場合、走行状態判定部７１は、車両１が傾きながら直進していると判定する。

比較演算処理部７は、それらΔｘおよびΔｙに基づいて、規定軌跡記憶部８に記憶されている車載カメラ２についての規定軌跡を補正し、車両が傾いて走行している場合の規定軌跡を求める。車両が傾いて走行している場合の規定軌跡とは、車載カメラ２が予め定められた正確な設置状態にあり、かつ、車両１が傾いて走行している場合の特徴点の軌跡である。そして、比較演算処理部７は、車載カメラ２の特徴点の軌跡と、車両１が傾いて走行している場合の規定軌跡とに基づいて、キャリブレーションのための補助制御を行う。車載カメラキャリブレーション装置１０は、その補助制御に従い、車載カメラ２のキャリブレーションを行う。その際、車載カメラキャリブレーション装置１０は、車載カメラキャリブレーション補助装置１０１によって算出されたキャリブレーション量に基づいて、車載カメラ２のキャリブレーションを行う。

このように、実施の形態５における車載カメラキャリブレーション補助装置１０１は、車両１が傾いて走行している場合であっても、複数の車載カメラ２のうち少なくとも２つの車載カメラによって撮影された画像を収集して解析することにより、車載カメラキャリブレーション装置１０に対する補助制御を行うことができる。車載カメラキャリブレーション補助装置１０１は、車両１が直進している場合であっても、その傾きの度合いに起因して直進していないと判定することを防ぐ。

＜実施の形態６＞
実施の形態６における車載カメラキャリブレーション補助装置および車載カメラキャリブレーションシステムを説明する。なお、実施の形態１から実施の形態５のいずれかと同様の構成および動作については説明を省略する。

以上の車載カメラキャリブレーション補助装置１００，１０１は、車両１に設けられていてもよいし、実施の形態３に示されるようにサーバ３００に設けられていてもよい。車載カメラキャリブレーション補助装置１００，１０１が車両１に設けられている場合、車載カメラキャリブレーション補助装置１００，１０１の各機能を実現する処理回路（図２および図３）は、例えば、車両１のＥＣＵ（Electronic Control Unit）である。車載カメラキャリブレーション補助装置１００，１０１がサーバ３００に設けられている場合、車載カメラキャリブレーション補助装置１００，１０１の各機能は、車載通信等の通信ネットワークを介したクラウドコンピューティングシステム等の演算処理システムによって実現される。言い換えると、ネットワークを介して、車載カメラキャリブレーションシステムが構築されている。その場合、実施の形態３にも既に記載されているように、車載カメラキャリブレーション補助装置１００，１０１は、車両１に設けられた車載カメラ２から車載通信を介して車両１の周辺の画像を取得する。車載カメラキャリブレーション補助装置１００，１０１は、その画像における特徴点の軌跡に基づいて、キャリブレーションの要否を判定する。キャリブレーションが必要な場合、車載カメラキャリブレーション補助装置１００，１０１は、キャリブレーション量を算出し、車載通信を介して、車載カメラキャリブレーション装置１０に信号を出力する。車載カメラキャリブレーション装置１０は、その補助制御に従い車載カメラ２のキャリブレーションを行う。

車載カメラキャリブレーション補助装置１００，１０１の機能がＥＣＵ以外の演算処理装置によって実現されることにより、ＥＣＵの計算負荷が低減する。これは、車載装置の発熱対策部品のコスト低減につながる。

なお、本開示は、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

本開示は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本開示がそれに限定されるものではない。例示されていない無数の変形例が、本開示の範囲から外れることなく想定され得るものと解される。

１ 車両、２ 車載カメラ、２Ａ 車載カメラ、２Ｂ 車載カメラ、３ 特徴点抽出部、４ 記憶部、５ 特徴点記憶部、６ 軌跡算出部、７ 比較演算処理部、８ 規定軌跡記憶部、１０ 車載カメラキャリブレーション装置、１４ 規定軌跡、１５ 規定軌跡、１６ 特徴点の軌跡、１７ 特徴点の軌跡、１８ 特徴点の軌跡、１９ 特徴点の軌跡、７０ 比較演算処理部、７１ 走行状態判定部、１００ 車載カメラキャリブレーション補助装置、１０１ 車載カメラキャリブレーション補助装置、Ｐ１ 特徴点、Ｐ２ 特徴点。

Claims (9)

1. 移動体に設置されかつ前記移動体の周辺を撮影する複数の移動体搭載カメラについて、前記複数の移動体搭載カメラの前記移動体への設置状態を調整する移動体搭載カメラキャリブレーション装置に対し、前記移動体搭載カメラキャリブレーション装置がキャリブレーションを行うための補助制御を行う移動体搭載カメラキャリブレーション補助装置であって、
   前記複数の移動体搭載カメラの各々によって撮影される画像内の特徴点を抽出する特徴点抽出部と、
   前記移動体が走行することにより、前記画像内で移動する前記特徴点の軌跡を、前記複数の移動体搭載カメラの各々ごとに、算出する軌跡算出部と、
   前記特徴点の軌跡と、予め定められた正確な設置状態で設置された前記複数の移動体搭載カメラの各々の画像における特徴点の軌跡である予め用意された規定軌跡と、に基づいて、前記移動体搭載カメラキャリブレーション装置に対し、前記複数の移動体搭載カメラの前記設置状態を前記複数の移動体搭載カメラの各々ごとに前記予め定められた正確な設置状態に戻すための信号を出力して前記補助制御を行う比較演算処理部と、を備え、
   前記比較演算処理部は、
   前記複数の移動体搭載カメラのうち、互いに異なる方向を撮影する少なくとも２つの移動体搭載カメラによって撮影された画像における特徴点の軌跡に基づいて、前記移動体の傾き度合いを算出する、走行状態判定部を含み、
   前記比較演算処理部は、
   前記移動体の前記傾き度合いと前記複数の移動体搭載カメラの各々の前記予め用意された規定軌跡とに基づいて、前記移動体が傾いている場合の規定軌跡を求め、
   前記複数の移動体搭載カメラの各々の前記画像における前記特徴点の軌跡と、前記移動体が傾いている場合の規定軌跡とに基づいて、前記信号を出力する前記補助制御を行う移動体搭載カメラキャリブレーション補助装置。
2. 前記特徴点抽出部により抽出された前記特徴点の情報を記憶する特徴点記憶部をさらに備え、
   前記軌跡算出部は、前記特徴点記憶部に記憶されている前記特徴点の情報を読み込んで前記特徴点の前記軌跡を算出する、請求項１に記載の移動体搭載カメラキャリブレーション補助装置。
3. 前記予め用意された規定軌跡を記憶する規定軌跡記憶部をさらに備え、
   前記比較演算処理部は、前記規定軌跡記憶部に記憶されている前記予め用意された規定軌跡を読み込んで前記補助制御を行う、請求項１または請求項２に記載の移動体搭載カメラキャリブレーション補助装置。
4. 前記規定軌跡記憶部は、前記予め用意された規定軌跡を前記移動体の種別ごとに記憶している、請求項３に記載の移動体搭載カメラキャリブレーション補助装置。
5. 前記比較演算処理部は、前記複数の移動体搭載カメラの各々の前記画像における前記特徴点の軌跡と前記予め用意された規定軌跡とに基づいて、前記複数の移動体搭載カメラの各々の前記設置状態を前記予め定められた正確な設置状態に戻すためのキャリブレーション量を算出し、
   前記比較演算処理部から出力される前記信号は、前記キャリブレーション量の情報を含む、請求項１から請求項４のいずれか１項に記載の移動体搭載カメラキャリブレーション補助装置。
6. 前記特徴点抽出部と前記軌跡算出部と前記比較演算処理部とは、サーバに設けられ、
   前記特徴点抽出部は、前記画像をネットワークを介して前記複数の移動体搭載カメラから取得し、
   前記比較演算処理部は、前記信号を、前記ネットワークを介して、前記移動体搭載カメラキャリブレーション装置に出力する、請求項１から請求項５のいずれか一項に記載の移動体搭載カメラキャリブレーション補助装置。
7. 請求項１から請求項６のいずれか一項に記載の移動体搭載カメラキャリブレーション補助装置と、
   前記移動体に設置された前記移動体搭載カメラキャリブレーション装置と、を備え、
   前記移動体搭載カメラキャリブレーション装置は、前記移動体搭載カメラキャリブレーション補助装置から出力される前記信号に基づいて、前記複数の移動体搭載カメラの前記移動体への前記設置状態を調整する、移動体搭載カメラキャリブレーションシステム。
8. 移動体に設置されかつ前記移動体の周辺を撮影する複数の移動体搭載カメラについて、前記複数の移動体搭載カメラの前記移動体への設置状態を調整する移動体搭載カメラキャリブレーション装置に対し、前記移動体搭載カメラキャリブレーション装置がキャリブレーションを行うための補助制御を行う移動体搭載カメラキャリブレーション補助方法であって、
   前記複数の移動体搭載カメラの各々によって撮影される画像内の特徴点を抽出し、
   前記移動体が移動することにより、前記画像内で移動する前記特徴点の軌跡を、前記複数の移動体搭載カメラの各々ごとに算出し、
   前記特徴点の軌跡と、予め定められた正確な設置状態で設置された前記移動体搭載カメラの各々の画像における特徴点の軌跡である予め用意された規定軌跡と、に基づいて、前記移動体搭載カメラキャリブレーション装置に対し、前記複数の移動体搭載カメラの前記設置状態を前記複数の移動体搭載カメラの各々ごとに前記予め定められた正確な設置状態に戻すための信号を出力して前記補助制御を行い、
   前記複数の移動体搭載カメラのうち、互いに異なる方向を撮影する少なくとも２つの移動体搭載カメラによって撮影された画像における特徴点の軌跡に基づいて、前記移動体の傾き度合いを算出し、
   前記移動体の前記傾き度合いと前記複数の移動体搭載カメラの各々の前記予め用意された規定軌跡とに基づいて、前記移動体が傾いている場合の規定軌跡を求め、
   前記複数の移動体搭載カメラの各々の前記画像における前記特徴点の軌跡と、前記移動体が傾いている場合の規定軌跡とに基づいて、前記信号を出力する前記補助制御を行う、
   移動体搭載カメラキャリブレーション補助方法。
9. 前記複数の移動体搭載カメラの各々の前記画像における前記特徴点の軌跡と前記予め用意された規定軌跡とに基づいて、前記複数の移動体搭載カメラの各々の前記設置状態を前記予め定められた正確な設置状態に戻すためのキャリブレーション量を算出し、
   前記信号は、前記キャリブレーション量の情報を含む、請求項８に記載の移動体搭載カメラキャリブレーション補助方法。

Images