JP7270499B2 - 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム - Google Patents

Description

本発明は、異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システムに関する。

従来、自動車等の車両には、駐車支援等に利用されるカメラが搭載されている。例えば車両に搭載される車載カメラは、車両を工場から出荷する前に、車両に固定した状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付け状態からずれを起こすことがある。車載カメラの取付け位置や角度がずれると、例えば、カメラ画像を利用して判断されるハンドルの操舵量等に誤差が生じるために、車載カメラの取付けのずれを検出することは重要である。

特許文献１には、車両の外界を撮像して得た撮像画像を出力する車載撮像手段と、車載撮像手段から出力された撮像画像において所定の特徴点を抽出し、特徴点の移動の時間変化からオプティカルフローを演算する演算手段と、演算手段により演算されたオプティカルフローに基づき車載撮像手段の光軸を補正する補正手段とを備える車両用撮像装置が開示される。

特開２０１１－５５３４２号公報

ところで、車載カメラを用いて自動駐車等の低速走行時の運転支援を行う場合、車載カメラによって車両周辺に存在する移動物や静止物を認識する必要がある。このために、車両の低速走行時には、車両周辺環境の認識処理を他の処理に優先して行うことが考えられる。この場合、車載カメラのカメラずれの検出処理は、車両周辺環境の認識処理を優先して行う必要がない高速走行時に行うことが考えられる。しかし、車両の移動速度が大きくなると、特徴点の追跡が難しくなり、カメラずれの検出精度が低下することが懸念される。

また、異なる視点において、特徴点の追跡を精度良く行うためにコーナー度が高い特徴点が利用される構成とした場合、例えば車両の出庫時や、車両が狭い道路を走行する場合等においてコーナー度が高い特徴点が存在せず、特徴点の抽出を行えない可能性がある。この結果、カメラずれの有無の判定機会が減少することが懸念される。

本発明は、カメラの移動体への搭載目的に応じた処理をできる限り優先しつつ、カメラの異常を適切に検出することができる技術を提供することを目的とする。また、本発明は、判定精度をなるべく良くしつつ、カメラの異常の有無を判定する機会を増やすことができる技術を提供することを他の目的とする。なお、本発明は、前述の２つの目的のうちの少なくともいずれか一方を達成することができる技術を提供することを目的とする。

上記目的を達成するために本発明の異常検出装置は、移動体に搭載されるカメラの異常を検出する異常検出装置であって、前記カメラの異常の有無を、前記カメラで撮影された撮影画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を実行する制御部を備え、前記判定処理は、前記特徴点を抽出する閾値を第１閾値とする第１処理モードと、前記閾値を前記第１閾値より小さい第２閾値とする第２処理モードと、を選択可能に設けられ、前記第１処理モードは、前記第２処理モードに比べて、前記移動体の速度が高速である場合に使用される構成（第１の構成）になっている。

上記第１の構成の異常検出装置において、前記第１処理モードは、通常時に使用される処理モードであり、前記第２処理モードは、前記第１処理モードにより所定の処理結果が得られた場合に使用される処理モードである構成（第２の構成）であることが好ましい。

上記第２の構成の異常検出装置において、前記所定の処理結果には、前記カメラに異常が有るとの処理結果が含まれる構成（第３の構成）であることが好ましい。

上記第２又は第３の構成の異常検出装置において、前記所定の処理結果には、前記カメラの異常の有無を所定期間判定することができていないとの処理結果が含まれる構成（第４の構成）であることが好ましい。

上記第２から第４のいずれかの構成の異常検出装置において、前記制御部は、前記移動体の周辺環境を前記カメラで撮影された撮影画像に基づき認識する認識処理を実行可能に設けられ、前記制御部は、通常時において、前記移動体の速度が前記第２処理モードに対応する速度である場合には、前記認識処理を前記判定処理よりも優先し、前記制御部は、前記第２処理モードの実行が決まった場合に、前記認識処理よりも前記判定処理を優先する構成（第５の構成）であることが好ましい。

上記第１から第５のいずれかの構成の異常検出装置において、前記制御部は、前記第１処理モードから前記第２処理モードに切り替える場合に、前記移動体に搭載される表示装置に、前記第２処理モードに適した運転を行うことを促すメッセージを表示させる処理を行う構成（第６の構成）であってよい。

上記第１から第６のいずれかの構成の異常検出装置において、前記制御部は、前記第１処理モードから前記第２処理モードに切り替える場合に、前記移動体の自動運転を制御する自動運転制御装置に対して、自動運転を要求する構成（第７の構成）であってよい。

上記第１から第７のいずれかの構成の異常検出装置において、前記第１処理モードによる前記判定処理と、前記第２処理モードによる前記判定処理とのいずれにおいても、前記特徴点の位置の時間変化から前記移動体の移動情報の推定値が求められ、前記移動情報の推定値に基づき前記カメラの異常の有無が判定される構成（第８の構成）であってよい。

上記第１の構成の異常検出装置において、前記第１処理モードによる前記判定処理と、前記第２処理モードによる前記判定処理とのいずれにおいても、前記特徴点の位置の時間変化から前記カメラの姿勢が推定され、推定された前記カメラの姿勢に基づき前記カメラの異常の有無が判定される構成（第９の構成）であってよい。

上記第１の構成の異常検出装置において、前記第１処理モードによる前記判定処理においては、前記特徴点の位置の時間変化から前記カメラの姿勢が推定され、推定された前記カメラの姿勢に基づき前記カメラの異常の有無が判定され、前記第２処理モードによる前記判定処理においては、前記特徴点の位置の時間変化から前記移動体の移動情報の推定値が求められ、前記移動情報の推定値に基づき前記カメラの異常の有無が判定される構成（第１０の構成）であってよい。

上記第１又は第１０の構成の異常検出装置において、前記制御部は、前記移動体が停車中である場合に、前記判定処理とは異なる処理で前記カメラの異常の有無を判定する停車時用判定処理を実行する構成（第１１の構成）であってよい。

上記第１１の構成の異常検出装置において、前記停車時用判定処理においては、前記カメラで撮影された撮影画像から得られる前記移動体のボディのエッジ画像に基づき前記カメラの異常の有無が判定される構成（第１２の構成）であることが好ましい。

上記目的を達成するために本発明の姿勢推定装置は、移動体に搭載されるカメラで撮影された撮影画像から抽出される特徴点の位置の時間変化に基づき前記カメラの姿勢を推定する推定処理を実行する制御部を備え、前記推定処理は、前記特徴点を抽出する閾値を第１閾値とする第１処理モードと、前記閾値を前記第１閾値より小さい第２閾値とする第２処理モードと、を選択可能に設けられ、前記第１処理モードは、前記第２処理モードに比べて、前記移動体の速度が高速である場合に使用される構成（第１３の構成）になっている。

上記目的を達成するために本発明の移動体制御システムは、上記第１から第７のいずれかの構成の異常検出装置と、前記移動体の自動運転を制御する自動運転制御装置と、を備え、少なくとも前記第２処理モードで前記判定処理を行う場合に、前記移動体を自動運転させる構成（第１４の構成）になっている。

上記目的を達成するために本発明の異常検出方法は、装置によって、移動体に搭載されるカメラの異常を検出する異常検出方法であって、前記カメラの異常の有無を、前記カメラで撮影された撮影画像から抽出される特徴点の位置の時間変化に基づき判定する処理工程を備え、前記処理工程は、前記特徴点を抽出する閾値を第１閾値とする第１処理モードと、前記閾値を前記第１閾値より小さい第２閾値とする第２処理モードと、を選択可能に設けられ、前記第１処理モードは、前記第２処理モードに比べて、前記移動体の速度が高速である場合に使用される構成（第１５の構成）になっている。

本発明によると、カメラの移動体への搭載目的に応じた処理をできる限り優先しつつ、カメラの異常を適切に検出することができる。また、本発明によると、判定精度をなるべく良くしつつ、カメラの異常の有無を判定する機会を増やすことができる。

第１実施形態に係る移動体制御システムの構成を示すブロック図 第１実施形態におけるカメラずれの検出フローの一例を示すフローチャート 第１実施形態の異常検出装置における第１処理モードによるカメラずれの有無の判定処理の一例を示すフローチャート 特徴点を抽出する手法を説明するための図 オプティカルフローを求める手法を説明するための図 座標変換処理を説明するための図 第１実施形態におけるずれ判定の一例を示すフローチャート 第１処理モードによる処理結果が所定の処理結果であるか否かを判断する処理の詳細例を示すフローチャート 第１実施形態の異常検出装置における第２処理モードによるカメラずれの有無の判定処理の一例を示すフローチャート 第１ヒストグラムの一例を示す図 第２ヒストグラムの一例を示す図 大きなカメラずれを生じたカメラによって撮影された撮影画像を例示する模式図 大きなカメラずれを生じたカメラによって撮影された撮影画像に基づいて生成された第１ヒストグラムを例示する図 第２実施形態に係る異常検出システムの構成を示すブロック図 第２実施形態におけるカメラずれの検出フローの一例を示すフローチャート 処理モードの選択処理の一例を示すフローチャート 抽出部によって抽出された第１特徴点と第２特徴点とを例示する図 第１特徴点のオプティカルフロー及び第２特徴点のオプティカルフローを導出する手法を説明するための図 オプティカルフローから仮想的に形成される四角形を示す図 所定の平面との交線が互いに平行になる面の組を２組特定する手法を説明するための図 特定した面の組の一方に基づき、面同士の交線の方向を求める手法を説明するための図 特定した面の組の他方に基づき、面同士の交線の方向を求める手法を説明するための図 第３実施形態に係る異常検出システムの構成を示すブロック図 第３実施形態におけるカメラずれの検出フローの一例を示すフローチャート 停車時用判定処理を用いたカメラずれの検出フローの一例を示すフローチャート

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、本発明が適用される移動体が車両である場合を例にとり説明するが、本発明が適用される移動体は車両に限定される趣旨ではない。本発明は、例えば船舶、航空機、ロボット等に適用されてもよい。車両には、例えば自動車、電車、無人搬送車等の車輪を有する乗り物が広く含まれる。

また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。なお、前後左右の方向は、単に説明のために用いられる名称であって、実際の位置関係及び方向を限定する趣旨ではない。

＜＜Ａ．第１実施形態＞＞
＜１．移動体制御システム＞
図１は、本発明の第１実施形態に係る移動体制御システムＳＹＳ１の構成を示すブロック図である。本実施形態において移動体は車両であり、移動体制御システムＳＹＳ１は車両制御システムである。図１に示すように、移動体制御システムＳＹＳ１は、異常検出システムＳＹＳ２と、自動運転制御装置５と、表示装置６とを備える。後述のように、異常検出システムＳＹＳ２は異常検出装置１を備える。換言すると、移動体制御システムＳＹＳ１は、異常検出装置１と自動運転制御装置５とを備える。

自動運転制御装置５は、移動体の自動運転を制御する。自動運転制御装置５は、各移動体に搭載される。詳細には、自動運転制御装置５は、車両の駆動部と、制動部と、操舵部とを制御するＥＣＵ（Electronic Control Unit）である。駆動部には、例えばエンジンやモータが含まれる。制動部にはブレーキが含まれる。操舵部には、ステアリングホイール（ハンドル）が含まれる。自動運転制御装置５による制御動作のオンオフは、異常検出装置１からの指示によって切替可能に設けられている。自動運転制御装置５による制御が開始されると、アクセル、ブレーキ、および、ハンドルが運転者の操作によらず自動で行われる。なお、自動運転制御装置５による制御動作のオンオフは、運転者によって切替可能であることが好ましい。

表示装置６は、各移動体に搭載される。詳細には、表示装置６は、車両の室内に、表示面が運転者から見える位置に配置される。表示装置６は、例えば液晶表示装置、有機ＥＬ表示装置、プラズマ表示装置等であってよい。表示装置６は、車両に固定される装置であってもよいが、車両外に持ち出すことが可能な装置であってもよい。

＜２．異常検出システム＞
図１に示すように、異常検出システムＳＹＳ２は、異常検出装置１と、撮影部２と、センサ部３とを備える。なお、本実施形態において、異常は、車両に搭載されるカメラの取付けのずれ（以下、「カメラずれ」と表現する）が生じた状態を指す。すなわち、異常検出システムＳＹＳ２は、車両に搭載されるカメラのカメラずれを検出するシステムである。詳細には、異常検出システムＳＹＳ２は、例えば、工場出荷時における車両へのカメラの取付け状態等の基準となる取付け状態からのカメラずれを検出するシステムである。カメラずれには、軸ずれや、軸周りの回転によるずれ等が広く含まれる。軸ずれには、取付け位置のずれや取付け角度のずれ等が含まれる。

撮影部２は、車両周辺の状況を認識する目的で車両に設けられる。撮影部２はカメラ２１を備える。カメラ２１は車載カメラである。カメラ２１は例えば魚眼レンズを用いて構成される。カメラ２１は、異常検出装置１に有線又は無線により接続され、撮影画像を異常検出装置１に出力する。

なお、本実施形態では、撮影部２は複数のカメラ２１を備える。複数のカメラ２１は、フロントカメラ、バックカメラ、左サイドカメラ、右サイドカメラの４つのカメラである。フロントカメラは車両の前方を撮影するカメラである。バックカメラは車両の後方を撮影するカメラである。左サイドカメラは車両の左方を撮影するカメラである。右サイドカメラは車両の右方を撮影するカメラである。４つのカメラ２１により、車両の水平方向における全周囲を撮影することができる。これにより、車両の駐車支援を安全に行うことができる。ただし、撮影部２が備えるカメラ２１の数は単数でもよいし、４つ以外の複数であってもよい。

異常検出装置１は、移動体に搭載されるカメラ２１の異常を検出する装置である。詳細には、異常検出装置１は、車両に搭載されたカメラ２１からの情報に基づき当該カメラ２１自身のカメラずれを検出する。すなわち、異常検出装置１はカメラずれ検出装置である。異常検出装置１を用いることによって、車両を走行させながらカメラずれを迅速に検出することができる。異常検出装置１により、例えば、カメラずれが生じた状態で駐車支援等の運転支援が行われることを防止できる。

本実施形態では、異常検出装置１は、カメラずれの検出対象となるカメラを搭載する車両に搭載される。以下、異常検出装置１を搭載する車両のことを自車両と呼ぶことがある。ただし、異常検出装置１は、カメラずれの検出対象となるカメラを搭載する車両以外の場所に配置されてもよい。例えば、異常検出装置１は、カメラ２１を有する車両と通信可能なデータセンタ等に配置されてもよい。

本実施形態では、撮影部２が複数のカメラ２１を有するために、異常検出装置１は、カメラ２１毎にカメラずれの検出を行う。異常検出装置１は、自動運転制御装置５および表示装置６と有線又は無線により接続され、これらの装置５、６と情報のやりとりを行う。異常検出装置１の詳細については後述する。

センサ部３は、カメラ２１が搭載される車両に関する情報を検出する複数のセンサを有する。本実施形態では、センサ部３は、速度センサ３１と舵角センサ３２とを含む。速度センサ３１は、車両の速度を検出し、その検出値に応じた電気信号を出力する。舵角センサ３２は、車両のステアリングホイール（ハンドル）の回転角を検出し、その検出値に応じた電気信号を出力する。速度センサ３１および舵角センサ３２は、通信バス４を介して異常検出装置１に接続される。すなわち、速度センサ３１で取得された車両の速度情報は、通信バス４を介して異常検出装置１に入力される。舵角センサ３２で取得された車両のステアリングホイールの回転角情報は、通信バス４を介して異常検出装置１に入力される。なお、通信バス４は、例えばＣＡＮ（Controller Area Network）バスであってよい。

＜３．異常検出装置＞
図１に示すように、異常検出装置１は、画像取得部１１と、制御部１２と、記憶部１３とを備える。

画像取得部１１は、自車両のカメラ２１からアナログ又はデジタルの撮影画像（フレーム画像）を所定周期（例えば１／３０秒周期）で周期的に取得する。本実施形態では、撮影部２が複数のカメラ２１を有するために、画像取得部１１は各カメラ２１からフレーム画像を取得する。取得したフレーム画像がアナログの場合には、そのアナログのフレーム画像をデジタルのフレーム画像に変換（Ａ／Ｄ変換）する。画像取得部１１は、取得したフレーム画像に対して所定の画像処理を行い、処理後のフレーム画像を制御部１２に出力する。

制御部１２は、例えばマイクロコンピュータであり、異常検出装置１の全体を統括的に制御する。制御部１２は、ＣＰＵ、ＲＡＭおよびＲＯＭ等を備える。記憶部１３は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１３は、各種のコンピュータプログラム１３１やデータ（不図示）を記憶する。制御部１２の各種の機能は、ＣＰＵが記憶部１３に記憶されるコンピュータプログラム１３１に従って演算処理を行うことによって実現される。なお、画像取得部１１は、制御部１２のＣＰＵがコンピュータプログラム１３１に従って演算処理を行うことによって実現される構成でもよい。

本実施形態では、制御部１２は、カメラ２１の異常の有無を、カメラ２１で撮影された撮影画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を実行する。判定処理は、第１処理モードと第２処理モードとを選択可能に設けられる。すなわち、制御部１２は、第１処理モードに従ってカメラずれの有無を判定する場合と、第２処理モードにしたがってカメラずれの有無を判定する場合とがある。なお、本実施形態では、撮影部２が複数のカメラ２１を備えるために、各カメラ２１に対してカメラ２１の異常の有無を判定する判定処理が行われる。

第１処理モードでは、特徴点を抽出する閾値が第１閾値とされる。一方、第２処理モードでは、特徴点を抽出する閾値が第１閾値より小さい第２閾値とされる。第１処理モードと第２処理モードとでは、特徴点の抽出結果に差が生じる。

特徴点は、フレーム画像中のエッジの交点など、フレーム画像において際立って検出できる点である。特徴点は、例えば白線等で描かれる路面標示のコーナー、路面上のひび、路面上のしみ、路面上の砂利等から抽出される。特徴点は、例えば、ハリスオペレータ等の公知の手法を用いて抽出することができる。

本実施形態では、制御部１２は、フレーム画像を構成する画素それぞれについて特徴量を算出し、特徴量が所定の閾値を超える画素を特徴点として抽出する。特徴量は、画素がどれだけ特徴的であるかの指標であり、例えばいわゆるコーナーらしさを示すコーナー度である。所定の閾値は、第１処理モードと第２処理モードとで異なる。

本実施形態では、特徴量の算出には、ＫＬＴ法（Kanade-Lucus-Tomasi tracker）が用いられる。特徴量の算出にあたって、フレーム画像上にｘｙ座標系が規定され、各画素について、ソベルフィルタを用いて、以下の３つのパラメータＧ１１、Ｇ１２、Ｇ２２が求められる。

なお、Ｇ１１は、ｘ方向の微分結果の２乗値である。Ｇ１２は、ｘ方向の微分結果とｙ方向の微分結果の積である。Ｇ２２は、ｙ方向の微分結果の２乗値である。

ソベルフィルタを用いた処理により、各画素について以下の行列Ｍが得られる。

行列Ｍ（式（４））の固有値λは、Ｉを単位行列として、下記の式（５）から求められる。

式（５）の解は、２次方程式の解として下記の式（６）、（７）に示すλ１と、λ２として求められる。

本実施形態では、以下の式（８）を満たす画素を特徴点として抽出する。極小値となる固有値λ１を特徴量とする。式（８）において、Ｔは特徴点を検出するための所定の閾値である。詳細には、所定の閾値Ｔは、第１処理モードでは第１閾値Ｔ１、第２処理モードでは第２閾値Ｔ２とされる。第２閾値Ｔ２は第１閾値Ｔ１より小さい。第１閾値Ｔ１は、例えば白線のコーナーのような非常に大きな特徴量を有する特徴点のみが抽出されるように設定される。第２閾値Ｔ２は、路面の細かい凹凸に由来する特徴点が多数抽出されるように設定される。

第１処理モードは、第２処理モードに比べて、移動体（車両）の速度が高速である場合に使用される。第１処理モードでは、白線のコーナーのような非常に大きな特徴量を有する特徴点を利用して特徴点の追跡を行うことができる。このために、車両の速度がある程度速い場合でも、特徴点の位置の時間変化を精度良く求めることができ、カメラずれの有無の判定精度の低下を抑制できる。一方、第２処理モードは、特徴点の数が多数となるが、特徴量の小さな特徴点を多く含む。車両の速度が速くなると、特徴量の小さな特徴点は追跡が難しくなる。このために、第２処理モードは、車両が低速の場合に適したモードである。すなわち、第１処理モードは高速走行用の処理モードであり、第２処理モードは低速走行用の処理モードである。

本実施形態の構成によれば、車両が高速走行する場合には第１処理モードによってカメラずれの判定処理を行い、車両が低速走行する場合には第２処理モードによってカメラずれの判定処理を行うことができる。すなわち、走行速度に適した手法でカメラずれの判定を行うことができ、カメラずれの誤検出を低減することができる。

本実施形態では、詳細には、第１処理モードは、通常時に使用される処理モードである。第２処理モードは、第１処理モードによって所定の処理結果が得られた場合に使用される処理モードである。すなわち、異常検出装置１は、原則として、高速で走行する車両から得られる情報を用いて、第１処理モードによりカメラずれの有無を判定する。そして、異常検出装置１は、特定の条件の場合に限って、例外的に第１処理モードから第２処理モードに切り替え、低速で走行する車両から得られる情報を用いてカメラずれの有無を判定する。本実施形態によれば、低速走行時にカメラずれの検出に関わる処理が行われることを抑制することができ、低速走行時にカメラずれの検出とは関係のない処理を実行することができる。

本実施形態では、制御部１２は、移動体（車両）の周辺環境をカメラ２１で撮影された撮影画像に基づき認識する認識処理を実行可能に設けられる。当該認識処理は、例えばフレーム画像からエッジを抽出し、車両周辺の移動物や静止物を認識する処理である。例えば、公知のパターンマッチング処理やニューラルネットワークを用いた演算処理等により、移動物や静止物の認識が行われる。換言すると、制御部１２は、カメラ２１の異常を検出する装置としての機能以外の機能を備える。本実施形態では、制御部１２は、駐車支援を行う装置としての機能も備える。

制御部１２は、通常時において、移動体（車両）の速度が第２処理モードに対応する速度である場合には、車両の周辺環境を認識する認識処理を、カメラ２１の異常の有無を判定する判定処理よりも優先する。本実施形態では、通常時においては、制御部１２は、低速走行時に周辺環境の認識処理を優先して行い、高速走行時にカメラずれの有無を判定する判定処理を優先して行う。これによれば、制御部１２の処理が一時期に過度に集中することを抑制することができ、制御部１２の処理負荷を低減することができる。車両の駐車支援のための周辺環境の認識処理は低速走行時に行われるために、本実施形態の構成は、制御部１２が駐車支援を行う装置としての機能も備える場合に好適である。

図２は、第１実施形態の異常検出装置１によるカメラずれの検出フローの一例を示すフローチャートである。カメラずれの検出処理は、例えば、所定期間毎（１週間毎等）、所定走行距離毎（１００ｋｍ毎等）、エンジン起動毎（イグニッション（ＩＧ）オン毎）、エンジン起動が所定回数に達した時点毎等に実行されてよい。なお、本実施形態では、撮影部２が４つのカメラ２１を備えるために、各カメラ２１について、図２に示すカメラずれの検出フローが実施される。重複説明を避けるために、ここでは、カメラ２１がフロントカメラである場合を代表例として、カメラずれの検出フローを説明する。

図２に示すように、まず、制御部１２は、カメラ２１を搭載する車両が直進しているか否かを監視する（ステップＳ１）。車両が直進しているか否かは、例えば、舵角センサ３２から得られるステアリングホイールの回転角情報に基づいて判断することができる。なお、直進には、前進方向の直進と、後退方向の直進との両方が含まれる。

制御部１２は、車両の直進を検出するまで、ステップＳ１の監視を繰り返す。すなわち、制御部１２は、車両が直進走行を行っていることを条件としてカメラずれに関する処理を進める。これによれば、車両の進行方向が曲がっている場合の情報を用いることなくカメラずれの検出に関する処理を行うことができるために、情報処理が複雑になることを避けられる。

車両が直進していると判断される場合（ステップＳ１でＹｅｓ）、制御部１２は、車両の速度が第１速度範囲内であるか否かを確認する（ステップＳ２）。第１速度範囲は、例えば時速１５ｋｍ以上３０ｋｍ以下としてよい。第１速度範囲は、車両の駐車支援が行われる速度より速い速度に設定されることが好ましい。なお、車両の速度が速くなりすぎると、特徴点の追跡が困難になるために、車両の速度は速すぎないことが好ましい。

制御部１２は、車両の速度が第１速度範囲外である場合（ステップＳ２でＮｏ）、ステップＳ１に戻る。すなわち、制御部１２は、車両が直進走行を行っていること、および、車両の速度が第１速度範囲内であることを条件としてカメラずれに関する処理を進める。本実施形態では、原則として低速走行の場合にはカメラずれに関する処理が開始されないために、車両の周辺環境の認識処理とカメラずれに関する処理とが同時に進められることを避けることができ、制御部１２の処理負荷が一時に集中することを抑制することができる。

車両が第１速度範囲内で走行していると判断される場合（ステップＳ２でＹｅｓ）、制御部１２は、第１処理モードによるカメラずれの有無の判定処理を行う（ステップＳ３）。なお、ステップＳ１とステップＳ２とは、順番が入れ替わってもよい。

図３は、第１実施形態の異常検出装置１における第１処理モードによるカメラずれの有無の判定処理の一例を示すフローチャートである。図３に示すように、制御部１２は、フレーム画像から特徴点を抽出する処理を行う（ステップＳ３１）。第１処理モードでは、特徴点を抽出するための第１閾値Ｔ１が高い値に設定されている。このために、抽出される特徴点は、コーナーらしさを示す特徴量が大きな特徴点である。

図４は、特徴点ＦＰを抽出する手法を説明するための図である。図４は、カメラ２１（フロントカメラ）で撮影されたフレーム画像Ｐを模式的に示す。図４に示すように、制御部１２は、フレーム画像Ｐに所定の抽出領域ＥＲを設定する。制御部１２は、所定の抽出領域ＥＲから特徴点ＦＰを抽出する。所定の抽出領域ＥＲは、路面ＲＳ部分が映る位置に設定される。所定の抽出領域ＥＲは、フレーム画像Ｐの中心部Ｃを含む広範囲に設定されることが好ましい。これにより、特徴点ＦＰの発生箇所が均一でなく偏った範囲に偏在する場合でも、特徴点ＦＰを抽出することができる。

なお、図４においては、特徴点ＦＰの数は２つとされているが、この数は便宜的なものであり、実際の数を示すものではない。複数の特徴点ＦＰが抽出される場合もあれば、１つの特徴点ＦＰのみしか抽出されない場合もある。また、特徴点ＦＰが抽出されない場合もある。

図３に戻って、特徴点ＦＰの抽出処理が行われると、特徴点数が所定数以上であるか否かが確認される（ステップＳ３２）。特徴点数が所定数に満たない場合には（ステップＳ３２でＮｏ）、制御部１２はカメラずれの有無が判定できないと判断し（ステップＳ３７）、第１処理モードによる判定処理を終了する。一方、特徴点数が所定数以上である場合には（ステップＳ３２でＹｅｓ）、所定の時間間隔をあけて入力された２つのフレーム画像間における特徴点ＦＰの動きを示すオプティカルフローの算出が行われる（ステップＳ３３）。なお、所定数は、１つ以上であればよく、その数は、例えば実験やシミュレーション等によって決定してよい。

図５は、オプティカルフローＯＦを求める手法を説明するための図である。図５は、図４と同様に便宜的に示された模式図である。図５は、図４に示すフレーム画像（前回フレーム画像）Ｐの撮影後、所定の撮影時間間隔（１周期に相当）が経過した後にカメラ２１で撮影されたフレーム画像（今回フレーム画像）Ｐ´である。図４に示すフレーム画像Ｐの撮影後、所定時間間隔が経過するまでの間に、自車両は後退している。図５に示す破線の丸印は、図４に示す前回フレーム画像Ｐにおいて抽出された特徴点ＦＰの位置を示す。

図５に示すように、自車両が後退すると、自車両の前方に存在する特徴点ＦＰは自車両から離れる。すなわち、特徴点ＦＰは、今回フレーム画像Ｐ´と前回フレーム画像Ｐとで異なる位置に現れる。制御部１２は、今回フレーム画像Ｐ´の特徴点ＦＰと前回フレーム画像Ｐの特徴点ＦＰとを、その近傍の画素値も考慮に入れて対応付け、対応付けた特徴点ＦＰのそれぞれの位置に基づいてオプティカルフローＯＦを求める。なお、制御部１２は、前回フレーム画像（１周期前のフレーム画像）がない場合にはオプティカルフローＯＦの算出処理を行わない。この場合もカメラずれの有無は判定されない。また、フレーム画像Ｐから複数の特徴点ＦＰが抽出された場合には、各特徴点ＦＰに対してオプティカルフローＯＦの算出処理が行われる。

図３に戻って、特徴点ＦＰのオプティカルフローＯＦが算出されると、制御部１２は、カメラ座標系で与えられるオプティカルフローＯＦの座標変換を行って移動ベクトルＶを算出する（ステップＳ３４）。座標変換は、カメラ座標系を路面上の座標系に変換する処理である。なお、制御部１２は、フレーム画像Ｐから抽出された特徴点ＦＰの座標について先に路面上の座標に変換し、オプティカルフローＯＦを求めることなく移動ベクトルを求めてもよい。

図６は、座標変換処理を説明するための図である。図６に示すように、制御部１２は、カメラ２１の位置（視点ＶＰ１）から見たオプティカルフローＯＦを、自車両が存在する路面ＲＳの上方の視点ＶＰ２から見た移動ベクトルＶに変換する。制御部１２は、フレーム画像上のオプティカルフローＯＦを、路面に相当する仮想平面ＲＳ_Ｖに投影することで移動ベクトルＶに変換する。移動ベクトルＶの大きさは、自車両の路面ＲＳ上の移動量（移動距離）を示す。なお、本実施形態では、カメラ２１が魚眼レンズであるために座標変換処理には歪補正が含まれることが好ましい。また、複数のオプティカルフローＯＦが求められた場合には、各オプティカルフローＯＦに対して移動ベクトルＶの算出処理が行われる。

図３に戻って、路面ＲＳ上の動きを示す移動ベクトルＶが算出されると、制御部１２は、移動ベクトルＶに基づき移動量（移動距離）の推定値を求める（ステップＳ３５）。本実施形態では、制御部１２は、移動ベクトルＶの前後方向成分の長さを前後方向の移動量の推定値とする。また、制御部１２は、移動ベクトルＶの左右方向成分の長さを左右方向の移動量の推定値とする。

なお、移動ベクトルＶの数が複数である場合には、前後方向および左右方向のそれぞれについて、各移動ベクトルＶから求められる長さの平均値を推定値としてよい。また、移動ベクトルＶの数が複数である場合には、特徴量が最も大きい特徴点ＦＰから得られた移動ベクトルＶのみを用いて前後方向および左右方向の移動量の推定値を求めてもよい。また、移動ベクトルＶの数が多数である場合には、後述のヒストグラムを用いた統計処理によって前後方向および左右方向の移動量の推定値を求めてもよい。

移動量の推定値が得られると、制御部１２は、当該推定値と、センサ部３からの情報によって得られる比較値とを比較してカメラずれの有無を判定する（ステップＳ３６）。本実施形態では、前後方向の移動量について推定値と比較値との比較が行われる。また、左右方向の移動量について推定値と比較値との比較が行われる。比較値を正解値として、当該正解値に対する推定値のずれの大きさを判断する。当該ずれの大きさが所定の閾値を超える場合に、カメラずれが発生していると判断される。

前後方向の比較値（移動量）は、オプティカルフローＯＦを導出するための２つのフレーム画像の撮影時間間隔と、当該時間間隔における速度センサ３１から得られる自車両の速度とによって算出することができる。また、本実施形態では、自車両が前後方向に直進している場合に得られるフレーム画像に基づいてカメラずれの有無が判定される。このために、左右方向の比較値（移動量）はゼロになる。

なお、比較値は、センサ部３以外からの情報に基づいて求められてもよい。例えば、ＧＰＳセンサや、カメラずれの判定対象以外のカメラから得られる情報に基づいて比較値が求められてもよい。また、推定値および比較値は、移動量でなくてもよく、例えば速度であってもよい。

図７は、第１実施形態における制御部１２によって行われるずれ判定の一例を示すフローチャートである。なお、図７に示す処理は、図３のステップＳ３６の詳細処理例である。

まず、制御部１２は、自車両の前後方向の移動量について、推定値と比較値との差の大きさ（前後方向のずれ量）が、第１ずれ閾値より小さいか否かを確認する（ステップＳ３６１）。前後方向のずれ量が第１ずれ閾値以上である場合（ステップＳ３６１でＮｏ）、制御部１２は、カメラずれ有りと判定する（ステップＳ３６４）。

一方、前後方向のずれ量が第１ずれ閾値より小さい場合（ステップＳ３６１でＹｅｓ）、制御部１２は、自車両の左右方向の移動量について、推定値と比較値との差の大きさ（左右方向のずれ量）が、第２ずれ閾値より小さいか否かを確認する（ステップＳ３６２）。左右方向のずれ量が第２ずれ閾値以上である場合（ステップＳ３６２でＮｏ）、制御部１２は、カメラずれ有りと判定する（ステップＳ３６４）。

一方、左右方向のずれ量が第２ずれ閾値より小さい場合（ステップＳ３６２でＹｅｓ）、制御部１２はカメラずれ無しと判定する（ステップＳ３６３）。

本実施形態では、前後方向の移動量および左右方向の移動量のうち、いずれか１つでも、ずれ量が大きくなると、カメラずれが発生していると判定する。これによれば、カメラずれが発生しているにもかかわらず、カメラずれが発生していないと判定する可能性を低減できる。ただし、これは例示である。例えば、前後方向の移動量および左右方向の移動量の両方においてずれ量が大きくなった場合に限って、カメラずれが発生していると判定する構成としてもよい。また、カメラずれの判定は、前後方向および左右方向の移動量だけでなく、例えばこれらを組み合わせた指標（例えば、前後方向の移動量の二乗値と、左右方向の移動量の二乗値との和）に基づいて判定されてもよい。カメラずれの判定は、前後方向の移動量と、左右方向の移動量とのいずれか一方のみを用いて判定されてもよい。

また、本実施形態では、前後方向の移動量および左右方向の移動量について、順番に比較を行う構成としたが、これらの比較は同じタイミングで行われてもよい。また、前後方向の移動量および左右方向の移動量について順番に比較を行う構成の場合、その順番は特に限定されず、図７に示す順番とは異なる順番で比較が行われてもよい。また、以上では、１つのフレーム画像の処理結果に基づきカメラずれの有無を判定する構成としているが、これは例示にすぎない。複数のフレーム画像の処理結果に基づきカメラずれの有無を判定する構成としてもよい。これにより、カメラずれの有無を誤判定する可能性を低減することができる。

図２に戻って、第１処理モードによるカメラずれの有無の判定処理が終了すると、制御部１２は、処理結果が所定の処理結果であるか否かを判定する（ステップＳ４）。処理結果が所定の処理結果である場合（ステップＳ４でＹｅｓ）、第１処理モードから第２処理モードに切り替えてカメラずれの有無の判定処理を行う必要があると判断する（ステップＳ５）。一方、処理結果が所定の処理結果でない場合（ステップＳ４でＮｏ）、ステップＳ１に戻り、ステップＳ１以降の処理が繰り返される。

図８は、第１処理モードによる処理結果が所定の処理結果であるか否かを判断する処理の詳細例を示すフローチャートである。図８は、図２のステップＳ４の詳細例を示すフローチャートである。図８に示すように、第１処理モードによる判定処理によりカメラずれ有りと判定されたか否かが確認される（ステップＳ４１）。

カメラずれ有りと判定された場合（ステップＳ４１でＹｅｓ）、図２に示すステップＳ５に進む。一方、カメラずれ有りと判定されなかった場合（ステップＳ４１でＮｏ）、所定期間判定が未判定か否かが確認される（ステップＳ４２）。第１処理モードにおいて、所定の複数フレームにわたって連続してカメラずれの有無の判定が行われていない場合、所定期間未判定と判定される。

所定期間未判定である場合（ステップＳ４２でＹｅｓ）、図２に示すステップＳ５に進む。一方、所定期間未判定でない場合には（ステップＳ４２でＮｏ）、カメラずれ無しとの判定を確定し（ステップＳ４３）、ステップＳ１に戻ってステップＳ１以降の処理を繰り返す。

以上のように、本実施形態では、図２のステップＳ４に示す所定の処理結果には、カメラ２１に異常が有る（カメラずれ有り）との処理結果が含まれる。これによれば、高速走行時に行われる第１処理モードでカメラずれが認められた場合に、低速走行による第２処理モードでのカメラずれの判定処理が行われるために、カメラずれの誤検出を低減することができる。

また、本実施形態では、図２のステップＳ４に示す所定の処理結果には、カメラ２１の異常の有無（カメラずれの有無）を所定期間判定することができていないとの処理結果が含まれる。特徴点ＦＰが所定数以上検出されないという事態は、白線のコーナーのような高い特徴量を示す特徴点ＦＰが存在しない場合の他に、カメラ２１の取付けが大きくずれている場合にも起こる。第１処理モードだけでは、この差を明確に区別することができない。本実施形態のように、カメラずれの有無の判定ができない状態が繰り返される場合に、特徴点ＦＰを抽出するための閾値を下げる第２処理モードによる判定処理が行われることによって、カメラずれを適切に検出することができる。

図２に戻って、制御部１２は、ステップＳ５以降の第２処理モードが実行される場合に、カメラ２１を用いた車両の周辺環境の認識処理よりもカメラ２１の異常（カメラずれ）の判定処理を優先する。これによれば、車両の低速走行時において、カメラずれが生じている可能性がある場合に限って周辺環境の認識処理よりもカメラずれの判定処理が優先される。このために、カメラ２１の車両への搭載目的に応じた処理（周辺環境の認識処理）をできる限り優先しつつ、カメラ２１の異常を適切に検出することができる。

本実施形態では、制御部１２は、第１処理モードから第２処理モードに切り替える場合に、自動運転制御装置５に対して自動運転を要求する。当該要求により、移動体制御システムＳＹＳ１は、第２処理モードでカメラ２１の異常（カメラずれ）の有無を判定する判定処理を行う場合に、移動体（車両）を自動運転させる。なお、自動運転は、第１処理モードから第２処理モードに切り替える必要があると判断された後、安全を確保できるタイミングで開始されることが好ましい。この判断は、自動運転制御装置５によって行われてよく、自動運転制御装置５は、自動運転の開始を制御部１２に通知する。例えば、自動運転は、車両の発進や停車のタイミングで一時的に行われる。

本実施形態によれば、車両を所定の速度範囲で低速走行させつつ、ハンドルを一定として直線走行させることを精度良く行わせることができ、第２処理モードによるカメラずれの有無の判定処理を精度良く行うことができる。

第２処理モードでの判定処理のための自動運転が開始されると、第１処理モードの場合と同様に、直進走行しているか否かが確認される（ステップＳ６）。そして、直進走行している場合（ステップＳ６でＹｅｓ）には、制御部１２は、車両の速度が第２速度範囲内であるか否かを確認する（ステップＳ７）。第２速度範囲は、例えば時速３ｋｍ以上５ｋｍ以下としてよい。

制御部１２は、車両の速度が第２速度範囲外である場合（ステップＳ７でＮｏ）、ステップＳ６に戻る。すなわち、制御部１２は、車両が直進走行を行っていること、および、車両の速度が第２速度範囲内であることを条件としてカメラずれに関する処理を進める。車両が第２速度範囲内で走行していると判断される場合（ステップＳ７でＹｅｓ）、制御部１２は、第２処理モードによるカメラずれの有無の判定処理を行う（ステップＳ８）。

図９は、第１実施形態の異常検出装置における第２処理モードによるカメラずれの有無の判定処理の一例を示すフローチャートである。なお、第２処理モードによる判定処理は、図３で示した第１処理モードによる判定処理と似ている。図３と処理内容が同様であるものについては、詳細な説明を省略する。

図９に示すように、制御部１２は、フレーム画像から特徴点ＦＰを抽出する処理を行う（ステップＳ８１）。第２処理モードでは、第２閾値Ｔ２を超える特徴量を有する画素が特徴点ＦＰとして抽出される。第２閾値Ｔ２は第１閾値Ｔ１（第１処理モードの閾値）に比べて低い値に設定されている。このために、路面の細かな凹凸に由来する特徴点ＦＰが多数抽出される。例えばアスファルト路面のように表面に凹凸が多い路面からは多くの特徴点ＦＰが抽出される。なお、例えばコンクリート路面のような平滑な路面では特徴点ＦＰの数が少なくなる傾向がある。すなわち、路面の状態によっては、抽出される特徴点数が十分に得られないことも起こり得る。このような点を考慮して、第２処理モードにおいても第１処理モードと同様に、特徴点数が所定数に満たない場合には判定不能として、判定処理をやり直す構成としてもよい。

特徴点ＦＰの抽出処理が行われると、制御部１２はオプティカルフローＯＦを算出する（ステップＳ８２）。オプティカルフローＯＦが算出されると、制御部１２は、オプティカルフローＯＦの座標変換を行って移動ベクトルＶを算出する（ステップＳ８３）。これらの処理は、第１処理モードと同様である。

移動ベクトルＶが算出されると、制御部１２は、複数の移動ベクトルＶに基づいてヒストグラムを生成する（ステップＳ８４）。本実施形態では、制御部１２は、各移動ベクトルＶを前後方向と左右方向との２成分に分けて、第１ヒストグラムと第２ヒストグラムとを生成する。制御部１２は、第１ヒストグラムと第２ヒストグラムとを用いて移動量の推定値を算出する（ステップＳ８５）。

図１０は、制御部１２によって生成された第１ヒストグラムＨＧ１の一例を示す図である。図１１は、制御部１２によって生成された第２ヒストグラムＨＧ２の一例を示す図である。なお、制御部１２は、ヒストグラムＨＧ１、ＨＧ２の生成の前後において、先に求められた全ての移動ベクトルＶの中から所定の条件に該当する移動ベクトルＶを処理対象から除外する処理を行ってもよい。例えば、自車両の速度、舵角、シフトレバー位置等から予想される大きさや方向と大きくずれる移動ベクトルＶは除外されてよい。また、例えば、ヒストグラムＨＧ１、ＨＧ２において、度数が極端に低い階級に属する移動ベクトルＶは除外されてよい。

図１０に示す第１ヒストグラムＨＧ１は、移動ベクトルＶの前後方向成分に基づいて得られたヒストグラムである。第１ヒストグラムＨＧ１は、移動ベクトルＶの数を度数とし、前後方向への移動量（移動ベクトルの前後方向成分の長さ）を階級とするヒストグラムである。図１１に示す第２ヒストグラムＨＧ２は、移動ベクトルＶの左右方向成分に基づいて得られたヒストグラムである。第２ヒストグラムＨＧ２は、移動ベクトルＶの数を度数とし、左右方向への移動量（移動ベクトルの左右方向成分の長さ）を階級とするヒストグラムである。

図１０および図１１は、自車両が後方に直進した場合に得られたヒストグラムである。図１０および図１１は、カメラずれが生じていない場合のヒストグラムの一例である。第１ヒストグラムＨＧ１は、後方側の特定の移動量（階級）に偏って度数が多くなる正規分布形状になっている。一方、第２ヒストグラムＨＧ２は、移動量ゼロの近傍の階級に偏って度数が多くなる正規分布形状になっている。カメラずれが生じると、ヒストグラムの形状に変化が見られる。

本実施形態では、制御部１２は、第１ヒストグラムＨＧ１の中央値（メジアン）を前後方向の移動量の推定値とする。制御部１２は、第２ヒストグラムＨＧ２の中央値を左右方向の移動量の推定値とする。ただし、制御部１２による推定値の決定方法は、これに限定されない。制御部１２は、例えば、各ヒストグラムＨＧ１、ＨＧ２の度数が最大となる階級の移動量（最頻値）を推定値としてもよい。

移動量の推定値が得られると、制御部１２は、第１処理モードの場合と同様に、当該推定値と、センサ部３からの情報によって得られる比較値とを比較してカメラずれの有無を判定する（ステップＳ８６）。カメラずれの有無の判定は、図７に示す処理と同様であるために、詳細説明は省略する。第２処理モードでは、多数の特徴点を用いて移動量の推定を行うことができるために、第１処理モードに比べてカメラずれの有無の判定処理の精度を向上することができる。第２処理モードにおいても、第１処理モードと同様に、複数のフレーム画像の処理結果に基づきカメラずれの有無を判定する構成としてもよい。

第２処理モードでカメラずれ有りとの判定が行われた場合に、異常検出装置１はカメラずれを検出する。カメラずれが検出された場合、異常検出装置１は、表示装置６にカメラずれの発生を表示させるための処理を行い、運転者等にカメラ２１の異常を報知することが好ましい。また、異常検出装置１は、カメラ２１からの情報を用いて運転支援を行う機能（例えば自動駐車機能等）を停止（オフ）するための処理を行うことが好ましい。この際、運転支援機能を停止したことを表示装置６に表示させることが好ましい。車両に複数のカメラ２１が搭載される場合、複数のカメラ２１のうちの１つでもカメラずれが発生した場合には、上述した運転者等への報知処理、および、運転支援装機能の停止処理を行うことが好ましい。

第２処理モードでカメラずれ無しとの判定が行われた場合には、異常検出装置１はカメラずれが検出されなかったとして一旦、カメラずれの検出処理を終了する。そして、その後、所定のタイミングでカメラずれの検出処理を再度開始する。

本実施形態では、通常は、高速走行でカメラずれの有無を判定する第１処理モードを使用し、第１処理モードでカメラずれの発生が疑われる結果が得られた場合のみ、低速走行でカメラずれの有無の判定を行う第２処理モードを使用する。このために、低速走行時においては、原則として、カメラずれの検出処理に邪魔されることなく、カメラ２１による周辺環境の認識処理を行うことができる。また、２つの処理モードを用いてカメラずれの判定を行うことができるために、カメラずれを誤検出する可能性を低減することができる。

また、本実施形態では、カメラ２１の取付け状態が大きくずれたことも適切に検出することができる。これについて、図１２および図１３を参照して説明する。図１２は、大きなカメラずれを生じたカメラ２１によって撮影された撮影画像Ｐを例示する模式図である。図１３は、大きなカメラずれを生じたカメラ２１によって撮影された撮影画像Ｐに基づいて生成された第１ヒストグラムＨＧ１を例示する図である。

図１２に示す例では、カメラ２１が大きくずれて、特徴点の抽出領域ＥＲ内には、空および遠方の建物（立体物）が主として映っている。通常、空や遠方の立体物の特徴点ＦＰは、特徴量が小さいために、大きな閾値が設定される第１処理モードでは特徴点ＦＰとして抽出されない。すなわち、大きなカメラずれが生じている場合には、第１処理モードでは、特徴点ＦＰが所定数以上抽出されず、カメラずれの判定ができない状態が所定期間以上続く。この結果、第１処理モードから第２処理モードに切り替わってカメラずれの判定処理が行われる。第２処理モードでは、特徴点ＦＰを抽出するための閾値が小さくされるために、空や遠方の立体物に由来する特徴点ＦＰが抽出される。

図１３に示すように、空および遠方の立体物に由来する特徴点ＦＰの移動ベクトルＶは、車両が移動しているにもかかわらず、ベクトルの大きさはゼロ又はゼロ近傍の値になる。これは、空および遠方の立体物に由来する特徴点ＦＰは、自車両から非常に遠い位置に存在するためである。この結果、大きなカメラずれが生じた場合には、推定値と比較値との値が大きくずれ、カメラずれを検出することができる。

以上に説明した通り、本実施形態では、第１処理モードによる判定処理と、第２処理モードによる判定処理とのいずれにおいても、特徴点の位置の時間変化から車両（移動体）の移動情報（例えば移動量）の推定値が求められる。そして、いずれの判定処理においても、移動情報の推定値に基づきカメラ２１の異常の有無が判定される。すなわち、本構成によれば、第１処理モードと第２処理モードとのいずれにおいても、カメラ２１の異常の有無を判定するに際して、車両の移動情報の推定値を得ることができる。

＜４．変形例＞
以上においては、第２処理モードでカメラずれの有無の判定処理を行う場合に、自動運転が行われる構成としたが、これは例示にすぎない。第２処理モードでカメラずれの有無の判定処理を行う場合に、運転者による運転（手動運転）が行われてもよい。この場合には、制御部１２は、第１処理モードから第２処理モードへの切り替えを行う場合に、移動体（車両）に搭載される表示装置６に、第２処理モードに適した運転を行うことを促すメッセージを表示させる処理を行うことが好ましい。表示画面の表示内容には、例えば、カメラずれの判定処理を行う必要があること、および、当該判定処理のために、どのような運転をする必要があるかが含まれてよい。表示装置６による表示処理によって、運転者はカメラずれの判定を行うことが必要であることを認識して、それに応じた運転を開始することができる。なお、画面によるメッセージに加えて、或いは、画面によるメッセージに替えて、例えば音声により第２処理モードに適した運転を促す構成としてもよい。また、第１処理モードで判定処理が行われる場合においても、表示装置６に、第１処理モードに適した運転を行うことを促すメッセージを表示させる構成としてもよい。また、場合によっては、第１処理モードでカメラずれの有無の判定処理を行う場合に、自動運転が行われる構成としてもよい。

また、以上においては、通常時は第１処理モードが使用され、第２処理モードは、第１処理モードで所定の処理結果が得られた場合にのみ使用される構成としたが、これは例示である。第２処理モードは、第１処理モードの処理結果と関係なく、使用されてもよい。例えば、ナビゲーション装置等によって自車両が駐車場以外の場所を走行していると判断される場合には、自車両が低速走行（例えば時速３ｋｍ以上５ｋｍ以下）をしていることを条件として、第１処理モードの代わりに第２処理モードを用いたカメラずれの検出処理が行われてよい。

また、以上においては、判定処理のために切り替えて使用可能な処理モードの数を２つとしたが、処理モードの数は３つ以上であってもよい。

また、以上においては、カメラ２１の異常検出に用いるデータは、自車両が直進走行している場合に収集される構成とした。ただし、これは例示であり、カメラ２１の異常検出に用いるデータは、自車両が直進走行していない場合に収集されてもよい。

＜＜Ｂ．第２実施形態＞＞
＜１．異常検出システム＞
次に、第２実施形態について説明する。第２実施形態の説明にあたって、第１実施形態と重複する内容については、特に必要がない場合には、その説明を省略する。また、第１実施形態と重複する部分には、同じ符号を付す。

図１４は、本発明の第２実施形態に係る異常検出システムＳＹＳ２Ａの構成を示すブロック図である。第２実施形態の異常検出システムＳＹＳ２Ａは、第１実施形態の異常検出システムＳＹＳ２と同様に、異常検出装置１Ａと、撮影部２と、センサ部３とを備える。異常検出システムＳＹＳ２Ａも、第１実施形態と同様に、カメラずれを検出するシステムである。なお、撮影部２およびセンサ部３の構成は、第１実施形態と同様であるために、その説明は省略する。

＜２．異常検出装置＞
異常検出装置１Ａは、第１実施形態と同様に、カメラを搭載する車両ごとに備えられる。異常検出装置１Ａは、カメラで撮影された撮影画像に基づいて異常を検出する装置（カメラずれ検出装置）である。

図１４に示すように、異常検出装置１Ａは、画像取得部１１１と、制御部１２Ａと、記憶部１３Ａと、を備える。画像取得部１１１の構成は、第１実施形態と同様であるために、その説明は省略する。

制御部１２Ａは、第１実施形態と同様に、例えば、ＣＰＵ、ＲＡＭおよびＲＯＭ等を備えるコンピュータであり、異常検出装置１Ａの全体を統括的に制御する。また、記憶部１３Ａは、第１実施形態と同様に、不揮発性のメモリであり、ファームウェアとしてのプログラムを含む各種の情報を記憶する。制御部１２Ａの各種の機能は、ＣＰＵが記憶部１３Ａに記憶されるコンピュータプラグラムに従って演算処理を行うことによって実現される。

第２実施形態においても、第１実施形態と同様に、制御部１２Ａは、カメラ２１の異常の有無を、カメラ２１で撮影された撮影画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を実行する。判定処理は、第１処理モードと第２処理モードとを選択可能に設けられる。ただし、判定処理の方式、および、処理モードの選択方式が第１実施形態と異なる。以下、この相違点を中心に説明する。なお、本実施形態においてもカメラ２１の数は複数であり、各カメラ２１について判定処理が行われる。

制御部１２Ａは、モード選択部１２０、抽出部１２１、特定部１２２、推定部１２３、及び判定部１２４を備える。モード選択部１２０、抽出部１２１、特定部１２２、推定部１２３、及び判定部１２４は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてよい。

モード選択部１２０は、第１処理モードと、第２処理モードとを選択する。詳細には、モード選択部１２０は、車両の速度に応じて第１処理モードと第２処理モードとを選択する。第１処理モードは、第２処理モードに比べて車両の速度が高速である場合に使用される。

抽出部１２１は、カメラ２１からの撮影画像から第１特徴点及び第２特徴点を含む複数の特徴点を抽出する。抽出部１２１は、撮影画像を構成する画素それぞれについて特徴量を算出し、特徴量が所定の閾値を超える画素を特徴点として抽出する。所定の閾値は、第１処理モードでは第１閾値、第２処理モードでは第２閾値とされる。第２閾値は第１閾値より小さい。第１閾値は、例えば白線のコーナーのような非常に大きな特徴量を有する特徴点のみが抽出されるように設定される。第２閾値は、路面の細かい凹凸に由来する特徴点が多数抽出されるように設定される。抽出部１２１は、路面上の特徴点の中から第１特徴点及び第２特徴点を選定する。なお、本実施形態では、所定の平面として路面を想定する。

特定部１２２は、異なる時刻で撮影された２つの撮影画像から抽出された第１特徴点及び第２特徴点の各オプティカルフローを導出する。オプティカルフローは、異なる時刻で撮影された２つの撮影画像間における特徴点の動きを示す動きベクトルである。異なる時刻の間隔は、画像取得部１１のフレーム周期と同一であってもよく、画像取得部１１のフレーム周期の複数倍であってもよい。

特定部１２２は、第１特徴点及び第２特徴点の各オプティカルフローを用いて、異なる時刻で撮影された２つの撮影画像から抽出された第１特徴点及び第２特徴点の各位置変化を算出する。特定部１２２は、第１特徴点の位置変化及び第２特徴点の位置変化に基づき、所定の平面との交線が互いに平行となる面の組を２組特定する。なお、特定部１２２の処理は、第１処理モードと第２処理モードとで同じであってよい。

推定部１２３は、特定部１２２で特定した面の組に基づきカメラの姿勢（カメラの取付け角度）を推定する。例えば抽出部１２１がフロントカメラから第１特徴点及び第２特徴点を抽出した場合、推定部１２３はフロントカメラの姿勢（カメラの取付け角度）を推定する。なお、推定部１２３の処理は、第１処理モードと第２処理モードとで同じであってよい。

判定部１２４は、推定部１２３によって推定されたカメラ２１の姿勢に基づき、カメラずれの有無を判定する。カメラずれ有りと判定されると、異常検出装置１Ａがカメラ２１の異常を検出したことになる。例えば、この異常を異常検出装置１Ａが車両のユーザに報知することで、車両のユーザはディーラによるカメラの取付調整を依頼する等の対策をとることが可能となる。なお、判定部１２４の処理は、第１処理モードと第２処理モードとで同じであってよい。

なお、画像取得部１１、モード選択部１２０、抽出部１２１、特定部１２２、及び推定部１２３によって姿勢推定装置１４が構成される。姿勢推定装置１４との観点からは、制御部１２Ａは、車両（移動体）に搭載されるカメラ２１で撮影された撮影画像から抽出される特徴点の位置の変化に基づきカメラ２１の姿勢を推定する推定処理を実行する。推定処理は、第１処理モードと第２処理モードとを選択可能に設けられる。姿勢推定装置１４を備える異常検出装置１Ａは、姿勢推定装置１４による推定処理に基づいてカメラ２１の異常の有無を判定する。

図１５は、本発明の第２実施形態に係る異常検出装置１Ａにおけるカメラずれの検出フローの一例を示すフローチャートである。カメラずれの検出処理は、例えば、イグニッションオン（電気自動車の場合パワーオン）の後、所定のタイミングで繰り返し行われる。以下、カメラ２１がフロントカメラである場合を例に挙げてカメラずれの検出処理を説明する。

図１５に示すように、まず、制御部１２Ａは、カメラ２１を搭載する車両が直進しているか否かを監視する（ステップＳ１０１）。当該監視は、第１実施形態の場合と同様である。制御部１２Ａは、車両が直進走行を開始するまでカメラずれの有無の判定を行わない。なお、後述するステップＳ１０４の処理において、互いに重なっていない第１特徴点のオプティカルフローと第２特徴点のオプティカルフローが導出できればカメラの姿勢を推定することができるので、本実施形態とは異なり車両の進行方向が曲がっているときにカメラずれの判定を行ってもよい。

本実施形態では、車両が直進していると判断される場合（ステップＳ１０１でＹｅｓ）、モード選択部１２０により判定処理の処理モードの選択が行われる（ステップＳ１０２）。図１６は、処理モードの選択処理の一例を示すフローチャートである。図１６は、図１５のステップＳ１０２の詳細例を示すフローチャートである。

まず、モード選択部１２０は、車両の速度が第１速度範囲内か否かを確認する（ステップＳ１０２１）。車両の速度は、例えば速度センサ３１から得られる。第１速度範囲は、例えば時速５ｋｍ以上３０ｋｍ未満とされる。

車両の速度が第１速度範囲内である場合（ステップＳ１０２１でＹｅｓ）、モード選択部１２０は第１処理モードを選択する（ステップＳ１０２２）。一方、車両の速度が第１速度範囲外である場合（ステップＳ１０２１でＮｏ）、モード選択部１２０は、車両の速度が第２速度範囲内か否かを確認する（ステップＳ１０２３）。第２速度範囲は、例えば時速３ｋｍ以上５ｋｍ未満とされる。

車両の速度が第２速度範囲内である場合（ステップＳ１０２３でＹｅｓ）、モード選択部１２０は第２処理モードを選択する（ステップＳ１０２４）。一方、車両の速度が第２速度範囲外である場合（ステップＳ１０２３でＮｏ）、処理モードの選択を行わず、ステップＳ１０１に戻る。例えば、車両の速度が時速３０ｋｍ以上である場合や、時速３ｋｍ未満の場合にステップＳ１０１に戻る。車両の速度が速すぎると、特徴点の動きを追えない可能性があり、車両の速度が遅すぎるとオプティカルフローの長さが短くなって判定の精度が低下する可能性があることを考慮するものである。

なお、本実施形態では、第１速度範囲内か否かが確認された後に第２速度範囲内か否かが確認される構成としたが、これは例示にすぎない。例えば、第２速度範囲内か否かが確認された後に第１速度範囲内か否かが確認される構成としてもよい。

図１５に戻って、処理モードが選択されると、抽出部１２１によって特徴点の抽出が行われる（ステップＳ１０３）。特徴点の抽出方法は第１実施形態と同様である。第１処理モードが選択された場合、白線のコーナーのようなコーナー度が高い特徴点のみが抽出される。一方、第２処理モードが選択された場合、白線のコーナーのようなコーナー度が高い特徴点以外に、例えば路面（例えばアスファルト路面）の凹凸に由来する特徴点が多数得られる。

なお、特徴点の抽出前に撮影画像に対して前処理が行われてよい。例えば、第１処理モードが選択された場合に、追跡精度が悪い特徴点が誤って抽出されないように、特徴点の抽出前に撮影画像にノイズを除去する処理が施されてよい。また、抽出部１２１による特徴点の抽出処理によって、以下の処理に必要となる特徴点が得られない場合が起こり得る。このような場合には、カメラずれの有無が判定できないと判断されて、カメラずれの検出処理が一旦終了されてよい。

本実施形態では、抽出部１２１は、第１特徴点ＦＰ１と第２特徴点ＦＰ２とを抽出する。図１７は、抽出部１２１によって抽出された第１特徴点ＦＰ１と第２特徴点ＦＰ２とを例示する図である。なお、図１７は、カメラ２１で撮影された撮影画像Ｐを模式的に示した図である。撮影画像Ｐは、車両のボディが映り込む領域ＢＯを含む。第１特徴点ＦＰ１及び第２特徴点ＦＰ２は路面ＲＳ上に存在する。図１７においては、路面に描かれている制限速度を示す数字の部分に第１特徴点ＦＰ１及び第２特徴点ＦＰ２が存在する。

なお、抽出部１２１で抽出される特徴点の数は２つより多いことがある。特に、第２処理モードでは多数の特徴点が抽出される。特徴点が２つより多く抽出された場合には、複数の特徴点の中から、以下の処理に適した２つの特徴点を選定する構成としてよい。また、第１特徴点ＦＰ１と第２特徴点ＦＰ２との組を２つ以上抽出して、それぞれに対して以下の処理を行ってもよい。

図１５に戻って、第１特徴点ＦＰ１及び第２特徴点ＦＰ２が抽出されると、特定部１２２は、第１特徴点ＦＰ１のオプティカルフローＯＦ１と、第２特徴点ＦＰ２のオプティカルフローＯＦ２と、を導出する（ステップＳ１０４）。

図１８は、第１特徴点ＦＰ１のオプティカルフローＯＦ１及び第２特徴点ＦＰ２のオプティカルフローＯＦ２を導出する手法を説明するための図である。図１８は、図１７と同様に便宜的に示された模式図である。図１８は、図１７に示す撮影画像（前フレームＰ）の撮影後、所定時間が経過した後にカメラ２１で撮影された撮影画像（現フレームＰ’）である。図１７に示す撮影画像Ｐの撮影後、所定時間が経過するまでの間に、車両は前方に直進している。図１８に示す丸印ＦＰ１Ｐは、図１７に示す撮影画像Ｐの撮影時点における第１特徴点ＦＰ１の位置を示す。図１８に示す丸印ＦＰ２Ｐは、図１７に示す撮影画像Ｐの撮影時点における第２特徴点ＦＰ２の位置を示す。

図１８に示すように、車両が前方に直進すると、車両の前方に存在する第１特徴点ＦＰ１及び第２特徴点ＦＰ２は車両に近づく。すなわち、第１特徴点ＦＰ１及び第２特徴点ＦＰ２は、現フレームＰ’と前フレームＰとで異なる位置に現れる。特定部１２２は、現フレームＰ’の第１特徴点ＦＰ１と前フレームＰの第１特徴点ＦＰ１とを、その近傍の画素値に基づいて対応付け、対応付けた第１特徴点ＦＰ１のそれぞれの位置に基づいて、第１特徴点ＦＰ１のオプティカルフローＯＦ１を導出する。同様に、特定部１２２は、現フレームＰ’の第２特徴点ＦＰ２と前フレームＰの第２特徴点ＦＰ２とを、その近傍の画素値に基づいて対応付け、対応付けた第２特徴点ＦＰ２のそれぞれの位置に基づいて、第２特徴点ＦＰ２のオプティカルフローＯＦ２を導出する。

第１特徴点ＦＰ１のオプティカルフローＯＦ１と第２特徴点ＦＰ２のオプティカルフローＯＦ２が導出されると、特定部１２２は、特徴点に対し、記憶部１３Ａに記憶されているカメラ２１に内部パラメータを用いて座標変換を行う。座標変換では、カメラ２１の収差補正と、歪補正とが行われる。収差補正は、カメラ２１の光学系の収差による歪みを補正するために行われる。具体的には樽型歪みや糸巻歪みなど歪曲収差の補正である。歪み補正は、カメラ２１の光学系そのものの歪みを補正するために行われる。具体的には魚眼補正などである。座標変換により、特徴点の座標は、被写体が透視投影によって撮影された場合に二次元画像上で得られる座標に変換される。

特徴点の座標変換が行われると、特定部１２２は、図１９に示すように、第１特徴点ＦＰ１のオプティカルフローＯＦ１の始点を頂点ＳＰ１、第１特徴点ＦＰ１のオプティカルフローＯＦ１の終点を頂点ＥＰ１、第２特徴点ＦＰ２のオプティカルフローＯＦ２の始点を頂点ＳＰ２、及び第２特徴点ＦＰ２のオプティカルフローＯＦ２の終点を頂点ＥＰとする四角形ＱＬを仮想的に形成する（ステップＳ１０５、図１５参照）。以降、説明のために四角形や、該四角形の辺などの幾何的要素を仮想的に形成して用いる。しかし、実際の処理では、特徴点の座標や直線の方向などのベクトル演算に基づき、同等の作用を持つ幾何的要素に基づかない処理としてもよい。

四角形ＱＬが仮想的に形成されると、図２０に示すように、特定部１２２は、四角形ＱＬと、記憶部１３Ａに記憶されているカメラ２１の内部パラメータとを用いて、三次元空間におけるカメラ２１の投影面ＩＭＧ上に四角形ＱＬを移動させ、投影面ＩＭＧ上での四角形ＱＬ１を仮想的に生成する（ステップＳ１０６）。

なお説明のため、以下のように辺を定義する。四角形ＱＬ１の第１辺ＳＤ１は、四角形ＱＬ（図１９参照）において、頂点ＳＰ１および頂点ＳＰ２を結んだ辺に対応する。つまり、前フレームＰにおける第１特徴点ＦＰ１と第２特徴点ＦＰ２を結んだ辺に相当する。同様に、四角形ＱＬ１の第２辺ＳＤ２は、四角形ＱＬにおいて、頂点ＳＰ２および頂点ＥＰ２を結んだ辺に対応する。つまり、第２特徴点ＦＰ２のオプティカルフローＯＦ２に相当する。同様に、四角形ＱＬ１の第３辺ＳＤ３は、四角形ＱＬにおいて、頂点ＥＰ１および頂点ＥＰ２を結んだ辺に対応する。つまり、現フレームＰ’における第１特徴点ＦＰ１と第２特徴点ＦＰ２とを結んだ辺に相当する。同様に、四角形ＱＬ１の第４辺ＳＤ４は、四角形ＱＬにおいて、頂点ＳＰ１および頂点ＥＰ１を結んだ辺に対応する。つまり、第１特徴点ＦＰ１のオプティカルフローＯＦ１に相当する。

また、以下のように面を定義する（図２０参照）。四角形ＱＬ１の第１辺ＳＤ１とカメラ２１の光学中心ＯＣとが含まれる面を第１面Ｆ１とする。同様に、四角形ＱＬ１の第２辺ＳＤ２とカメラ２１の光学中心ＯＣとが含まれる面を第２面Ｆ２とする。同様に、四角形ＱＬ１の第３辺ＳＤ３とカメラ２１の光学中心ＯＣとが含まれる面を第３面Ｆ３とする。同様に、四角形ＱＬ１の第４辺ＳＤ４とカメラ２１の光学中心ＯＣとが含まれる面を第４面Ｆ４とする。

次に、特定部１２２は、所定の平面との交線が互いに平行になる面の組を２組特定する（ステップＳ１０７）。所定の平面とはあらかじめ平面の法線が分かっている面である。具体的には車両が移動を行っている平面であり、つまり路面である。所定の平面は、厳密な平面でなくてもよく、特定部１２２が所定の平面との交線が互いに平行になる面の組を２組特定する際に平面とみなすことができるものであればよい。

本実施形態では、異常検出装置１Ａは、車両が直進している場合に、異なる時刻に撮影された２つの画像から特徴点を抽出し、該特徴点のオプティカルフローを算出する。また、該特徴点は路面などの所定の平面上に位置している静止物から抽出される。したがって、算出されるオプティカルフローは実世界上では、車両に対する静止物の相対的な位置変化を表す。つまり向きが逆となった車両の移動ベクトルである。

四角形ＱＬ１の第２辺ＳＤ２と第４辺ＳＤ４とは、共に特徴点のオプティカルフローに対応するので、共に実世界上では車両の移動ベクトルに相当する。したがって、路面上では互いに平行となると想定される。

また、四角形ＱＬ１の第１辺ＳＤ１と第３辺ＳＤ３とは、共に特徴点同士の位置関係なので、実世界上では車両の移動に伴う静止物同士の位置関係に相当する。移動前の位置関係が第１辺ＳＤ１に相当し、移動後の位置関係が第３辺ＳＤ３に相当する。このとき静止物の位置は変わらないため、移動前後で位置関係は変わらない。したがって、路面上ではこれも互いに平行となると想定される。

したがって、特定部１２２は、路面との交線が平行な面として、第２面Ｆ２と第４面Ｆ４との組と、第１面Ｆ１と第３面Ｆ３との組と、の２つの組を特定する。つまり、特定部１２２は、オプティカルフローを含む面同士を１つの組とし、同時刻に撮影された特徴点を含む面同士を他の組として、計２つの組を特定する。

なお、図２０において四角形ＱＬ２は、現フレームＰ’の撮影時点での第１特徴点ＦＰ１の３次元空間（実世界）上の位置、現フレームＰ’の撮影時点での第２特徴点ＦＰ２の３次元空間上の位置、前フレームＰの撮影時点での第１特徴点ＦＰ１の３次元空間上の位置、及び前フレームＰの撮影時点での第２特徴点ＦＰ２の３次元空間上の位置を頂点とする四角形である。第１面Ｆ１は、四角形ＱＬ２の第１辺ＳＤ１１を含む。同様に、第２面Ｆ２は四角形ＱＬ２の第２辺ＳＤ１２を含み、第３面Ｆ３は四角形ＱＬ２の第３辺ＳＤ１３を含み、第４面Ｆ４は四角形ＱＬ２の第４辺ＳＤ１４を含む。このとき、上記のように四角形ＱＬ２は路面上に形成される平行四辺形であると想定される。

次に、推定部１２３は、路面の法線を算出する（ステップＳ１０８）。まず、推定部１２３は、特定部１２２で特定した面の組の一方である第１面Ｆ１と第３面Ｆ３とに基づき、面同士の交線の方向を求める。詳細には、第１面Ｆ１と第３面Ｆ３との交線ＣＬ１の向きを求める（図２１参照）。交線ＣＬ１の方向ベクトルＶ１は、第１面Ｆ１の法線ベクトル及び第３面Ｆ３の法線ベクトルそれぞれと垂直なベクトルである。したがって、推定部１２３は、第１面Ｆ１の法線ベクトルと第３面Ｆ３の法線ベクトルとの外積により、交線ＣＬ１の方向ベクトルＶ１を求める。第１面Ｆ１と第３面Ｆ３は、路面との交線が平行となるため、方向ベクトルＶ１は路面と平行になる。

同様に、推定部１２３は、特定部１２２で特定した面の組の他方である第２面Ｆ２と第４面Ｆ４との交線の方向を求める。詳細には第２面Ｆ２と第４面Ｆ４との交線ＣＬ２の向きを求める（図２２参照）。交線ＣＬ２の方向ベクトルＶ２は、第２面Ｆ２の法線ベクトル及び第４面Ｆ４の法線ベクトルそれぞれと垂直なベクトルである。したがって、推定部１２３は、第２面Ｆ２の法線ベクトルと第４面Ｆ４の法線ベクトルとの外積により、交線ＣＬ２の方向ベクトルＶ２を求める。第２面Ｆ２と第４面Ｆ４も同様に、路面との交線が平行となるため、方向ベクトルＶ２は路面と平行になる。

推定部１２３は、方向ベクトルＶ１と方向ベクトルＶ２との外積により、四角形ＱＬ２の面の法線、すなわち路面の法線を算出する。推定部１２３が算出した路面の法線はカメラ２１のカメラ座標系で算出されるため、実際の路面の法線である垂直方向との違いから３次元空間の座標系を求め、路面に対するカメラ２１の姿勢を推定することができる。その推定結果から推定部１２３は車両に対するカメラ２１の姿勢を推定する（ステップＳ１０９）。なお、ステップＳ１０８の算出処理は、例えば公知のARToolkitを利用して実行することができる。

カメラ２１の姿勢推定を行うと、判定部１２４は、推定部１２３によって推定されたカメラ２１の姿勢に基づき、カメラずれの有無を判定する（ステップＳ１１０）。カメラ２１の取付時の姿勢は、予め記憶部１３Ａに記憶されており、記憶部１３Ａに記憶されるデータとの比較によりカメラずれの有無を判定することができる。ステップＳ１１０におけるカメラずれの有無の判定が完了すると、図１５に示すフローが終了する。

以上からわかるように、本実施形態の異常検出装置１Ａによれば、車両（移動体）の速度が速い場合と遅い場合とで、カメラずれ（カメラ２１の異常）の有無を判定する判定処理の処理モードを変更する。これにより、車両の速度に合った適切な判定処理を行うことができる。例えば出庫時や狭い道を走行する場合等の低速で走行する場合には、第２処理モードが利用される。このようなシーンでは、コーナー度が高い特徴点を見つけ難い可能性が高く、特徴点の抽出閾値を下げる第２処理モードを利用した判定処理は適切と言える。一方、車両がある程度の速度で走行するシーンでは、道路に白線表示が記載されていることが多く、特徴点の追跡を行い易く判定精度を向上できる第１処理モードを利用した判定処理は適切と言える。本実施形態によれば、判定精度をなるべく良くしつつ、カメラ２１の異常の有無を判定する機会を増やすことができる。

また、本実施形態の姿勢推定装置１４によれば、車両（移動体）の速度が速い場合と遅い場合とで、カメラ２１の姿勢を推定する推定処理の処理モードを変更する。これにより、車両の速度に合った適切な推定処理を行うことができる。例えば出庫時や狭い道を走行する場合等の低速で走行するシーンでは、コーナー度が高い特徴点を見つけ難可能性が高く、特徴点の抽出閾値を下げる第２処理モードを利用した推定処理は適切と言える。一方、車両がある程度の速度で走行するシーンでは、道路に白線表示が記載されていることが多く、特徴点の追跡を行い易く推定精度を向上できる第１処理モードを利用した推定処理は適切と言える。本実施形態によれば、姿勢推定の精度をなるべく良くしつつ、カメラ２１の姿勢推定の機会を増やすことができる。

また、本実施形態では、第１処理モードによる判定処理と、第２処理モードによる判定処理とのいずれにおいても、特徴点の位置の時間変化からカメラ２１の姿勢が推定される。そして、いずれの判定処理においても、推定されたカメラ２１の姿勢に基づきカメラ２１の異常の有無が判定される。すなわち、本構成によれば、第１処理モードと第２処理モードとのいずれにおいても、カメラ２１の異常の有無を判定するに際して、カメラ２１の姿勢の推定値を得ることができる。

＜３．変形例＞
上記の説明ではカメラ２１の光学中心ＯＣと、四角形ＱＬ１の１つの辺を含む平面を特定するとしたがこの限りではない。当該平面の法線方向の特定をもって平面を特定することとしてもよい。例えば光学中心ＯＣから各頂点への方向ベクトルの外積により平面の法線方向を求め、該法線方向によって面を特定するとしてもよい。この場合、第１面Ｆ１の法線方向と第３面Ｆ３の法線方向とを１つの組とし、第２面Ｆ２の法線方向と第４面Ｆ４の法線方向とを他の組として２つの組を特定するとよい。

また、面は平行移動させてもよい。例えば第１面Ｆ１の代わりに、第１面Ｆ１を平行移動させた面を第３面Ｆ３と組としてもよい。平行移動しても所定の平面との交線の向きは変わらないからである。

また、第１処理モードによる判定処理と、第２処理モードによる判定処理とのいずれにおいても、特徴点の位置の時間変化から車両の移動情報の推定値が求められ、移動情報の推定値に基づきカメラ２１の異常の有無が判定されてもよい。

＜＜Ｃ．第３実施形態＞＞
＜１．異常検出システム＞
次に、第３実施形態について説明する。第３実施形態の説明にあたって、第１実施形態および第２実施形態と重複する内容については、特に必要がない場合には、その説明を省略する。また、第１実施形態および第２実施形態と重複する部分には、同じ符号を付す。

図２３は、本発明の第３実施形態に係る異常検出システムＳＹＳ２Ｂの構成を示すブロック図である。第３実施形態の異常検出システムＳＹＳ２Ｂは、第１実施形態の異常検出システムＳＹＳ２および第２実施形態の異常検出システムＳＹＳ２Ａと同様に、異常検出装置１Ｂと、撮影部２と、センサ部３とを備える。異常検出システムＳＹＳ２Ｂも、第１実施形態および第２実施形態と同様に、カメラずれを検出するシステムである。なお、撮影部２およびセンサ部３の構成は、第１実施形態および第２実施形態と同様であるために、その説明は省略する。

＜２．異常検出装置＞
異常検出装置１Ｂは、第１実施形態および第２実施形態と同様に、カメラを搭載する車両ごとに備えられる。異常検出装置１Ｂは、カメラで撮影された撮影画像に基づいて異常を検出する装置（カメラずれ検出装置）である。

図２３に示すように、異常検出装置１Ｂは、画像取得部１１１と、制御部１２Ｂと、記憶部１３Ｂと、を備える。画像取得部１１１の構成は、第１実施形態および第２実施形態と同様であるために、その説明は省略する。制御部１２Ｂおよび記憶部１３Ｂについて、第１実施形態および第２実施形態と異なる部分を有する。なお、記憶部１３Ｂは、制御部１２Ｂの機能を実現するためのプログラムについて、第１実施形態および第２実施形態と異なるものを記憶する。

第３実施形態においても、第１実施形態および第２実施形態と同様に、制御部１２Ｂは、カメラ２１の異常の有無を、カメラ２１で撮影された撮影画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を実行する。判定処理は、第１処理モードと第２処理モードとを選択可能に設けられる。ただし、例えば判定処理の方式が第１実施形態および第２実施形態と異なる。また、第３実施形態では、車両が移動中だけでなく、車両が停車中においてもカメラ２１の異常の有無を検出することができる。この点においても、第３実施形態は、第１実施形態および第２実施形態と異なる。なお、本実施形態においてもカメラ２１の数は複数であり、各カメラ２１について判定処理が行われる。

図２４は、本発明の第３実施形態に係る異常検出装置１Ｂにおけるカメラずれの検出フローの一例を示すフローチャートである。カメラずれの検出処理は、例えば、イグニッションオン（電気自動車の場合パワーオン）の後、所定のタイミングで繰り返し行われる。以下、カメラ２１がフロントカメラである場合を例に挙げてカメラずれの検出処理を説明する。

図２４に示すように、まず、制御部１２Ｂは、カメラ２１を搭載する車両が停車中であるか否かを確認する（ステップＳ２０１）。車両が停車中であるか否かについては、例えば速度センサ３１から得られる速度情報により確認することができる。

車両が停車中である場合（ステップＳ２０１でＹｅｓ）、制御部１２Ｂは停車時用判定処理を実行する（ステップＳ２０２）。停車時用判定処理は、特徴点の位置の時間変化に基づきカメラ２１の異常の有無を判定する判定処理とは異なる処理でカメラ２１の異常の有無（カメラずれの有無）を判定する。

これによれば、車両が移動している場合だけでなく、車両が停止している場合にもカメラ２１の異常の有無を判定することができるために、判定の機会を増やすことができる。すなわち、カメラ２１の異常に素早く気付くことができる。カメラずれは、車両が駐車中等にカメラ２１に物体がぶつかって生じることがある。このために、車両の停車中にもカメラずれの判定を行うことは有効である。

本実施形態においては、停車時用判定処理においては、カメラ２１で撮影された撮影画像から得られる車両（移動体）のボディのエッジ画像に基づきカメラ２１の異常の有無が判定される。例えば上述した図４や図１７等に示すように、カメラ２１の撮影画像には車両のボディが映る。カメラずれが生じると、ボディの映り方が変化する。このために、ボディのエッジ画像を利用してカメラずれを検出することができる。

図２５は、停車時用判定処理を用いたカメラずれの検出フローの一例を示すフローチャートである。図２５は、図２４のステップＳ２０２の詳細例を示すフローチャートである。

制御部１２Ｂは、車両が停車中にカメラ２１から取得した撮影画像に対して、前処理（ぼかし）を行う（ステップＳ２０２１）。前処理は、撮影画像を平滑化する処理であり、ノイズを低減する目的で行われる。前処理は、例えば、ガウシアンフィルタ処理やメディアンフィルタ処理であってよい。また、前処理は、撮影画像の部位ごとに処理条件を変更して実施されてもよい。例えば、撮影画像の中央側が先鋭であり、端側がぼやけた印象である場合には、画像の真ん中側のぼかしが端側より強調された処理となるように、撮影画像の部位ごとに処理条件が変更されてよい。

制御部１２Ｂは、前処理を行った撮影画像に対して、エッジ検出を行う（ステップＳ２０２２）。エッジは、画像内の画素の画素値が急激に変化している部分であり、画像内のオブジェクトの輪郭を表す線である。制御部１２Ｂは、撮影画像内の画素の画素値を微分処理することにより、撮影画像内のエッジを検出する。撮影画像内の画素の画素値を微分処理すると、撮影画像内の画素の画素値が急激に変化している部分の微分値が大きくなる。制御部１２Ｂは、予め決められた基準に基づいて、微分値が大きい部分をエッジとして検出する。なお、エッジ検出の手法としては、例えばＣａｎｎｙ法等が用いられてよい。

制御部１２Ｂは、エッジ検出を行って得られたエッジ画像に対して、マスク処理を行う（ステップＳ２０２３）。制御部１２Ｂは、車種毎のボディ形状に応じて予め設定される車両のエッジの探索領域を除いて画像のマスク処理を行う。これにより、例えば風景等の不要なエッジを適切に除去することができ、ボディのエッジを誤検出する可能性を低減することができる。また、これにより、カメラずれの判定のための画像を迅速に取得することができる。マスク処理は行われなくてもよい。

制御部１２Ｂは、マスク処理後に得られるエッジ画像に対して、不要なエッジを除去する処理を行う（ステップＳ２０２４）。例えば、制御部１２Ｂは、マスク処理後に得られるエッジ画像のうち、車両のボディの設計値から想定されるエッジと異なると判断されるエッジを除去する処理を行う。

制御部１２Ｂは、取得したボディのエッジ画像と、基準画像とのパターンマッチング処理を行う（ステップＳ２０２５）。基準画像は、予め記憶部１３Ｂに記憶された画像であり、カメラ２１が車両に正しく取り付けられた状態の撮影画像から得られた比較用の画像である。

制御部１２Ｂは、パターンマッチング処理が終了すると、パターンマッチング処理の結果に基づいてカメラずれの判定を行う（ステップＳ２０２６）。制御部１２Ｂは、例えば、取得されたエッジ画像の基準画像に対する一致率を算出して、一致率に基づいてカメラずれの有無を判定する。

図２４に戻って、車両が停車中でない場合（ステップＳ２０１でＮｏ）、制御部１２Ｂは車両が直進しているか否かを確認する（ステップＳ２０３）。車両が直進しているか否かの確認手法は、第１実施形態と同様であってよい。車両が直進していないと判断される場合（ステップＳ２０３でＮｏ）、ステップＳ２０１に戻る。

車両が直進していると判断される場合（ステップＳ２０３でＹｅｓ）、制御部１２Ｂは、車両の速度が第１速度範囲内か否かを確認する（ステップＳ２０４）。車両の速度は、例えば速度センサ３１から得られる。第１速度範囲は、例えば時速５ｋｍ以上３０ｋｍ未満とされる。

車両の速度が第１速度範囲内である場合（ステップＳ２０４でＹｅｓ）、制御部１２Ｂは、第１処理モードによる判定処理を実行する（ステップＳ２０５）。第１処理モードによる判定処理は、カメラ２１の撮影画像からカメラ２１の姿勢を推定する姿勢推定処理の結果に基づいてカメラずれの有無を判定する処理である。当該判定処理は、第２実施形態で説明した処理と同様であるために、詳細な説明は省略する。なお、第１処理モードであるために、カメラ２１の姿勢推定に用いられる特徴点はコーナー度が高く、特徴点の抽出誤差を少なくできる。すなわち、カメラ２１の姿勢の推定処理の精度を良くして、カメラずれの判定の精度も向上することができる。

車両の速度が第１速度範囲外である場合（ステップＳ２０４でＮｏ）、制御部１２Ｂは、車両の速度が第２速度範囲内か否かを確認する（ステップＳ２０６）。第２速度範囲は、例えば時速３ｋｍ以上５ｋｍ未満とされる。車両の速度が第２速度範囲外である場合（ステップＳ２０６でＮｏ）、カメラずれの判定が行われることなく、ステップＳ２０１に戻る。

車両の速度が第２速度範囲内である場合（ステップＳ２０６でＹｅｓ）、制御部１２Ｂは、第２処理モードによる判定処理を実行する（ステップＳ２０７）。第２処理モードによる判定処理は、カメラ２１の撮影画像から車両の移動情報（例えば移動量）を推定する移動情報推定の結果に基づいてカメラずれの有無を判定する処理である。当該判定処理は、第１実施形態で説明した処理（図９参照）と同様であるために、詳細な説明は省略する。なお、第２処理モードであるために、白線のコーナーのようなコーナー度が高い特徴点が抽出できないような場合でも特徴点を抽出してカメラずれの有無の判定処理を行える。例えば、車両の出庫時や狭い道路の走行時等においてもカメラずれの有無の判定を行うことができ、カメラずれの有無の判定機会を増やしてカメラずれを素早く検出することができる。

第３実施形態によれば、車両の速度状態に応じて適切なカメラずれの判定処理を行うことができるために、カメラずれの有無の判定を精度良く行うことができ、更には、カメラずれの検出を素早く行うことができる。

また、本実施形態では、第１処理モードによる判定処理においては、特徴点の位置の時間変化からカメラ２１の姿勢が推定され、推定されたカメラ２１の姿勢に基づきカメラ２１の異常の有無が判定される。第２処理モードによる判定処理においては、特徴点の位置の時間変化から車両（移動体）の移動情報（例えば移動量）の推定値が求められ、移動情報の推定値に基づきカメラ２１の異常の有無が判定される。車両の速度に応じて、カメラ２１の異常の有無を判定する判定処理の方式が使い分けられる構成であり、速度に応じてカメラ２１の異常の有無を適切に判断することができる。

なお、場合によっては、第１処理モードによる判定処理において、特徴点の位置の時間変化から車両の移動情報の推定値が求められ、移動情報の推定値に基づきカメラ２１の異常の有無が判定されてよい。第２処理モードによる判定処理において、特徴点の位置の時間変化からカメラ２１の姿勢が推定され、推定されたカメラ２１の姿勢に基づきカメラ２１の異常の有無が判定されてよい。

＜＜Ｄ．留意事項＞＞
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。

また、以上においては、コンピュータプログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これらの機能のうちの少なくとも一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの少なくとも一部は、ソフトウェア的に実現されてもよい。

本発明は、自動駐車等の移動体の運転支援を行うカメラの異常検知や姿勢推定を行うために利用することができる。また、本発明は、ドライブレコーダ等の運転情報を記録するカメラの異常検知や姿勢の推定を行うために利用することができる。また、本発明は、カメラの異常情報や姿勢の推定情報を利用して撮影画像を補正する補正装置等に利用することができる。また、本発明は、複数の移動体とネットワークにより通信可能に設けられるセンターと連携して動作する装置等に利用することができる。当該装置は、例えば、センターに撮影画像を送信する場合に、カメラの異常情報や姿勢の推定情報を撮影画像とセットにして送信する構成であってよい。そして、センターでは、カメラの姿勢の推定情報を用いて、各種画像処理（カメラの姿勢も考慮した画像の視点・視方向を変更する処理、例えば車両の車体前方方向の画像に視点・視方向変換した画像を生成する等）、画像を用いた計測処理におけるカメラの姿勢に対する補正処理、カメラ姿勢の経年変化の統計処理（多くの車両のデータ）、等を行い、ユーザへの有用な提供データを生成する等する。

１、１Ａ、１Ｂ・・・異常検出装置
５・・・自動運転制御装置
６・・・表示装置
１２、１２Ａ、１２Ｂ・・・制御部
２１・・・カメラ
ＦＰ・・・特徴点
ＳＹＳ１・・・移動体制御システム
Ｔ１・・・第１閾値
Ｔ２・・・第２閾値

Claims (15)

1. 移動体に搭載されるカメラの異常を検出する異常検出装置であって、
   前記カメラで撮影された撮影画像から画素それぞれについて特徴量を算出し、前記特徴量が所定の閾値を超える画素を特徴点として抽出し、
   前記カメラの異常の有無を、前記抽出される特徴点の位置の時間変化に基づき判定する判定処理を実行する制御部を備え、
   前記判定処理は、
   前記特徴点を抽出する前記所定の閾値を第１閾値とする第１処理モードと、
   前記所定の閾値を前記第１閾値より小さい第２閾値とする第２処理モードと、
   を選択可能に設けられ、
   前記第１処理モードは、前記第２処理モードに比べて、前記移動体の速度が高速である場合に使用される、異常検出装置。
2. 前記第１処理モードは、通常時に使用される処理モードであり、
   前記第２処理モードは、前記第１処理モードにより所定の処理結果が得られた場合に使用される処理モードである、請求項１に記載の異常検出装置。
3. 前記所定の処理結果には、前記カメラに異常が有るとの処理結果が含まれる、請求項２に記載の異常検出装置。
4. 前記所定の処理結果には、前記カメラの異常の有無を所定期間判定することができていないとの処理結果が含まれる、請求項２又は３に記載の異常検出装置。
5. 前記制御部は、前記移動体の周辺環境を前記カメラで撮影された撮影画像に基づき認識する認識処理を実行可能に設けられ、
   前記制御部は、通常時において、前記移動体の速度が前記第２処理モードに対応する速度である場合には、前記認識処理を前記判定処理よりも優先し、
   前記制御部は、前記第２処理モードの実行が決まった場合に、前記認識処理よりも前記判定処理を優先する、請求項２から４のいずれか１項に記載の異常検出装置。
6. 前記制御部は、前記第１処理モードから前記第２処理モードに切り替える場合に、前記移動体に搭載される表示装置に、前記第２処理モードに適した運転を行うことを促すメッセージを表示させる処理を行う、請求項１から５のいずれか１項に記載の異常検出装置。
7. 前記制御部は、前記第１処理モードから前記第２処理モードに切り替える場合に、前記移動体の自動運転を制御する自動運転制御装置に対して、自動運転を要求する、請求項１から６のいずれか１項に記載の異常検出装置。
8. 前記第１処理モードによる前記判定処理と、前記第２処理モードによる前記判定処理とのいずれにおいても、前記特徴点の位置の時間変化から前記移動体の移動情報の推定値が求められ、前記移動情報の推定値に基づき前記カメラの異常の有無が判定される、請求項１から７のいずれか１項に記載の異常検出装置。
9. 前記第１処理モードによる前記判定処理と、前記第２処理モードによる前記判定処理とのいずれにおいても、前記特徴点の位置の時間変化から前記カメラの姿勢が推定され、推定された前記カメラの姿勢に基づき前記カメラの異常の有無が判定される、請求項１に記載の異常検出装置。
10. 前記第１処理モードによる前記判定処理においては、前記特徴点の位置の時間変化から前記カメラの姿勢が推定され、推定された前記カメラの姿勢に基づき前記カメラの異常の有無が判定され、
    前記第２処理モードによる前記判定処理においては、前記特徴点の位置の時間変化から前記移動体の移動情報の推定値が求められ、前記移動情報の推定値に基づき前記カメラの異常の有無が判定される、請求項１に記載の異常検出装置。
11. 前記制御部は、前記移動体が停車中である場合に、前記判定処理とは異なる処理で前記カメラの異常の有無を判定する停車時用判定処理を実行する、請求項１又は１０に記載の異常検出装置。
12. 前記停車時用判定処理においては、前記カメラで撮影された撮影画像から得られる前記移動体のボディのエッジ画像に基づき前記カメラの異常の有無が判定される、請求項１１に記載の異常検出装置。
13. 移動体に搭載されるカメラで撮影された撮影画像から画素それぞれについて特徴量を算出し、前記特徴量が所定の閾値を超える画素を特徴点として抽出し、
    前記抽出される特徴点の位置の時間変化に基づき前記カメラの姿勢を推定する推定処理を実行する制御部を備え、
    前記推定処理は、
    前記特徴点を抽出する前記所定の閾値を第１閾値とする第１処理モードと、
    前記所定の閾値を前記第１閾値より小さい第２閾値とする第２処理モードと、
    を選択可能に設けられ、
    前記第１処理モードは、前記第２処理モードに比べて、前記移動体の速度が高速である場合に使用される、姿勢推定装置。
14. 請求項１から１２のいずれか１項に記載の異常検出装置と、
    前記移動体の自動運転を制御する自動運転制御装置と、
    を備え、
    少なくとも前記第２処理モードで前記判定処理を行う場合に、前記移動体を自動運転させる、移動体制御システム。
15. 装置によって、移動体に搭載されるカメラの異常を検出する異常検出方法であって、
    前記カメラで撮影された撮影画像から画素それぞれについて特徴量を算出し、前記特徴量が所定の閾値を超える画素を特徴点として抽出し、
    前記カメラの異常の有無を、前記抽出される特徴点の位置の時間変化に基づき判定する処理工程を備え、
    前記処理工程は、
    前記特徴点を抽出する前記所定の閾値を第１閾値とする第１処理モードと、
    前記所定の閾値を前記第１閾値より小さい第２閾値とする第２処理モードと、
    を選択可能に設けられ、
    前記第１処理モードは、前記第２処理モードに比べて、前記移動体の速度が高速である場合に使用される、異常検出方法。

Images