JP6350113B2 - 画像処理装置、及び画像処理装置の故障診断方法 - Google Patents

Description

本発明は、画像処理装置、及び画像処理装置の故障診断方法に関する。

車載カメラで車両の周辺を撮影した際に、撮影されたカメラ画像の輝度分布に基づいて、カメラへの異物付着等の異常を検出する手法が知られている（例えば、特許文献１参照。）。

特開２００３−３１２４０８号公報

しかし、上述のような輝度分布による異常診断では、カメラ画像の異常が、外的な環境要因（例えば、カメラへの異物付着。）による異常なのか、機器の故障（例えば、ハードウェアやソフトウェアの故障）による異常なのかを区別することは難しい。

例えば、カメラにより撮影されたカメラ画像の歪みを補正する画像処理装置が故障した場合、そのような画像処理装置でカメラ画像を補正すると、その補正後の画像にも異常な輝度分布が生じる可能性がある。しかし、そのような異常が生じた場合、上記従来技術では、画像処理装置が故障していると判断することは困難である。

以上のような事情から、画像処理装置が故障していることを診断可能な技術を提供することが望ましい。

本明細書で説明する画像処理装置は、画像補正部と故障診断部とを有する。画像補正部は、カメラにより撮影されたカメラ画像の歪みを補正し、当該歪みが補正された画像であって少なくとも一つの消失点を有する画像である補正画像を出力する。故障診断部は、画像補正部から出力される補正画像中の消失点に異常があるか否かに基づいて、画像補正部が故障しているか否かを判定する。

このように構成された画像処理装置によれば、画像補正部が故障して、歪補正が正しくできない状態に陥っている場合に、そのような画像補正部で補正された補正画像からは消失点が正しく求められないことを利用して、画像補正部が故障していると判定する。

したがって、補正画像から消失点が正しく求められるか否かには着目していない技術とは異なり、画像補正部において補正画像を生成する段階で、何らかの障害が発生していることを特定できる。よって、例えば、そのような補正画像を生成する画像補正部に異常があることを利用者に対して報知することができる。あるいは、例えば、そのような異常な補正画像に基づく制御を中止するなどの対処をすることができる。

また、本明細書で説明する画像処理装置の故障診断方法は、カメラにより撮影されたカメラ画像の歪みを補正し、当該歪みが補正された画像であって少なくとも一つの消失点を有する画像である補正画像を出力する画像補正部を有する画像処理装置を対象にして、画像補正部の故障を判定する方法である。この画像処理装置の故障診断方法は、画像補正部から出力される補正画像中の消失点に異常があるか否かに基づいて、画像補正部が故障しているか否かを判定する手順を含む。

したがって、このような故障診断方法によれば、上述の画像処理装置について述べた通りの作用、効果を奏し、画像補正部において補正画像を生成する段階で、何らかの障害が発生していることを特定できる。

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

図１は車載画像処理システムの構成を示すブロック図である。 図２リアルタイム故障検出処理のフローチャートである。 図３は画像異常判定処理（その１）のフローチャートである。 図４は画像異常判定処理（その２）のフローチャートである。 図５は始動時故障検出処理のフローチャートである。 図６は補正画像を複数のセグメントに分割した例を示す説明図である。

次に、上述の画像処理装置、及び画像処理装置の故障診断方法について、例示的な実施形態を挙げて説明する。
［画像処理装置の構成］
以下に説明する車載画像処理システムは、図１に示すように、上述の画像処理装置として機能する電子制御装置１（Electronic Control Unit；以下、ＥＣＵ１と略称する。）を中心に構成される。ＥＣＵ１の他には、カメラ３、外的要因判定部５、表示部７、ダイアグ処理部９、車速センサ１１、舵角センサ１３、及び姿勢センサ１５などを備える。

カメラ３は、車両上に取り付けられ、車両の前方、後方、あるいは側方などを撮影可能に構成されている。カメラ３は、広角レンズを備える。そのため、カメラ３によって撮影された（以下、カメラ画像とも称する。）は、撮影範囲の中心部に比べ、周辺部ほど被写体の縮小度合いが大きくなるような歪みを有する。

外的要因判定部５は、カメラ３から画像や画像以外の情報を入出力可能なハードウェア及びソフトウェアによって構成される。外的要因判定部５は、カメラ３がハードウェアとして正常に機能しているか否かを判定可能に構成され、カメラ３が正常に機能している場合に、カメラ３から入力したカメラ画像をＥＣＵ１へと出力する。

表示部７は、例えば液晶ディスプレイ装置などにより、車両の運転者等に対して各種情報を表示可能に構成されている。ダイアグ処理部９、車速センサ１１、舵角センサ１３、及び姿勢センサ１５は、ＣＡＮ（Controller Area Network）１７を介してＥＣＵ１を含む各種機器と通信可能に構成されている。

ＥＣＵ１を含む各種機器からダイアグ処理部９に対しては各種診断情報が伝送される。ダイアグ処理部９では、それらの情報をダイアグ情報として蓄積する処理が実行される。また、ダイアグ処理部９では、必要に応じて警告灯を点灯させるなど、車両の運転者等に対して注意喚起を行うための処理が実行される。

車速センサ１１は、車両の速度を検出し、検出した速度をＣＡＮ１７経由でＥＣＵ１へ伝送する。舵角センサ１３は、ステアリングの操舵角を検出し、検出した操舵角をＣＡＮ１７経由でＥＣＵ１へ伝送する。姿勢センサ１５は、ジャイロや、ヨーレートセンサ、勾配センサなどから構成され、車両の姿勢情報（例えば、車両の走行面に垂直な方向を軸とする回転角（ヨー）、車両の進行方向を軸とする回転角（ロール）、車両の車幅方向を軸とする回転角（ピッチ）など。）を検出し、検出した姿勢情報をＣＡＮ１７経由でＥＣＵ１へ伝送する。

ＥＣＵ１は、画像補正部２１、認識部２３、及び故障診断部２５などを備える。カメラ３から外的要因判定部５経由でＥＣＵ１へ入力されるカメラ画像は、画像補正部２１において歪補正処理が施される。なお、以下の説明では、画像補正部２１において歪補正処理が施された画像のことを補正画像とも称する。画像補正部２１から出力される補正画像は、認識部２３及び故障診断部２５それぞれに入力される。

認識部２３では、画像補正部２１から入力される補正画像に基づき、各種物標を認識する処理が実行される。例えば、車両の前方が撮影された補正画像に基づいて、道路上の区画線を認識する白線認識処理や、道路に設置された標識を認識する標識認識処理などが実行される。あるいは、例えば、車両の後方が撮影された補正画像に基づいて、車両の後方に存在する物標を認識する後方認識処理や、車両の側方が撮影された補正画像に基づいて、車両の側方に存在する物標を認識する側方認識処理などが実行される。そして、これらの処理により、例えば車線逸脱や障害物との接触などの発生が予測される場合には、その旨の警告情報を表示部７へと出力することにより、車両の運転者等に対して注意喚起を行う。

故障診断部２５では、画像補正部２１から入力される補正画像に基づき、画像補正部２１に対する故障診断処理が実行される。この故障診断処理の詳細については後述する。また、外的要因判定部５において、カメラ３が正常に機能していないと判定された場合には、その旨の情報が外的要因判定部５から故障診断部２５へと伝達される。

故障診断部２５は、外的要因判定部５から伝達される情報、及び故障診断部２５で実施した故障診断処理の結果に基づき、少なくとも一方において何らかの故障が検出されている場合、その旨の情報をＣＡＮ１７経由でダイアグ処理部９へ伝送する。

［故障診断処理］
次に、上述のシステムによって実行される故障診断処理について、図２−図５に示すフローチャートに基づいて説明する。以下に説明する故障診断処理には、図２−図４に示すリアルタイム故障検出処理と、図５に示す始動時故障検出処理が含まれ得る。リアルタイム故障検出処理は、車両の走行中にリアルタイムで画像補正部２１の故障を検出するための処理である。始動時故障検出処理は、車両の始動時あるいは工場出荷時などに画像補正部２１の故障を検出するための処理である。

まず、リアルタイム故障検出処理について説明する。リアルタイム故障検出処理は、車両の始動に伴って開始され、以降は車両が停止するまで繰り返し実行される処理である。リアルタイム故障検出処理を開始すると、まず、カメラ３によって上述のカメラ画像として静止画又は動画を入力する（Ｓ１０）。Ｓ１０では、後述する故障判定手法に応じて、所定のフレームレートで動画を入力してもよいし、定期的又は不定期に静止画を入力してもよい。ただし、本実施形態では、所定のフレームレートで動画を入力し、必要時には動画を構成する複数の画像それぞれを静止画としても利用するものとして説明を続ける。

Ｓ１０において静止画又は動画を入力したら、引き続いて、外的要因判定部５において、外的要因判定を実行する（Ｓ２０）。Ｓ２０では、カメラ３自体の異常状態が判定される。例えば、電源ショートや信号異常など、カメラ３が正常に機能していない場合には、そのような異常があることを、外的要因判定部５において判定する。これにより、画像補正部２１で異常が発生しているのか、画像補正部２１よりも前段階にあるカメラ３で異常が発生しているのかを、切り分けて判定することができる。

Ｓ２０において、カメラ３が正常に機能している場合には、画像補正部２１において画像補正が実行される（Ｓ３０）。Ｓ３０において、画像補正部２１は、上述した広角レンズに起因する歪みを補正する。画像補正部２１が正常に機能している場合、画像補正部２１によって補正された画像は、少なくとも一つの消失点を有する画像となる。

そのため、自車両に向かって接近する撮影対象物（例えば、車両前方の路肩にある物標。）が存在する場合、その撮影対象物は、補正画像中において消失点から画像周辺部に向かって経時的に移動する画素群（以下、この画素群を移動要素とも称する。）として表れる。また、自車両から遠ざかる撮影対象物（例えば、車両後方の路肩にある物標。）が存在する場合、その撮影対象物は、補正画像中において画像周辺部から消失点に向かって経時的に移動する画素群（以下、この画素群を移動要素とも称する。）として表れる。

さらに、カメラによる撮影領域の奥行き方向に向かって線状に延びている撮影対象物（例えば、自車両の進行方向に向かって直線的に延びる路面上の白線や路肩にあるガードレール等。）が存在する場合、その撮影対象物のエッジを画像処理によって抽出すると、抽出されたエッジは、補正画像中において消失点に向かって線状に延びる画素群（以下、この画素群を線状要素とも称する。）として表れる。

そこで、故障診断部２５では、画像補正部２１から入力される補正画像に基づき、画像異常判定処理を実行する（Ｓ４０）。Ｓ４０において、故障診断部２５では、上述のような移動要素や線状要素を抽出し、消失点が正しく求められるかどうかを判定する。

例えば、Ｓ４０では、上述のような移動要素を対象として、図３に例示するような画像異常判定処理を実行する。この画像異常判定処理では、まず、動画を構成する複数の画像のうち、前後のフレームを対比して、移動している対象物の画像と推定される特徴点を算出する（Ｓ１１０）。Ｓ１１０において算出される特徴点は、ＥＣＵ１の演算性能に応じた数であれば、いくつであってもよいが、信頼性を高めるためには数点以上あることが好ましい。続いて、Ｓ１１０で算出した特徴点を対象に、前フレームからの移動方向を算出し（Ｓ１２０）、特徴点の移動ベクトルの収束点を消失点として算出する（Ｓ１３０）。

補正画像の中からいくつかの移動要素を抽出した場合、それらの移動要素それぞれの移動方向に基づいて、各移動要素に対応付けて消失点が存在すると推定される方向を特定することができる。Ｓ１３０では、上述のような手法により、移動要素ごとに消失点が存在する方向を推定し、それら推定された消失点の方向が所定の位置に収束するか否かを判断する。この判断では、画像処理時のノイズや誤差を考慮して、ある程度の範囲内に消失点が収束すれば、画像補正部２１が正常に機能しているものと判断すればよい。

また、Ｓ１１０−Ｓ１３０では、図６に示すように、補正画像全体を複数（図６では９つ）のセグメントに分割して、収束点が補正画像中央のセグメント（図６中に示す有効セグメント。）から逸脱するものは使用しないようにしてもよい。例えば、車両がカーブした道路を走行している場合、収束点が補正画像の中央付近に収束しなくなる可能性がある。

したがって、カーブでは補正画像中央に収束しないと予想される移動要素が出現する可能性があるエリア（例えば、図６中に示す有効セグメント以外のセグメント。）を、補正画像上であらかじめ規定し、そのような移動要素については判定対象から外すようにしてもよい。また、車速センサ１１、舵角センサ１３、及び姿勢センサ１５などから得られる情報に基づき、車両がカーブした道路を走行していると推定される場合には、消失点の算出を一時的に見合わせるように構成してもよい。

また、車速センサ１１、舵角センサ１３、及び姿勢センサ１５などから得られる車両状態の情報やサスペンションの負荷情報などに基づき、突発的な振動や衝撃が検知された場合には、その間の画像を故障判定の対象から除外する。

以上のような手順で、特徴点の収束点を求めた結果、ある程度の範囲内に消失点が収束しない場合は、画像補正部２１による補正画像の画像異常と診断し（Ｓ１４０）、ダイアグ処理部９に対して異常判定結果を通知する（Ｓ１５０）。

また、上述のＳ４０では、例えば、上述のような線状要素を対象として、図４に例示するような画像異常判定処理を実行することもできる。この画像異常判定処理では、まず、動画を構成する複数の画像それぞれに対して画像処理を施して、エッジ（線状要素）を抽出する（Ｓ２１０）。そして、抽出したエッジのうち、消失点算出に使えるエッジを判断する（Ｓ２２０）。Ｓ２２０では、消失点算出に使えるエッジとして、エッジが延びる方向を特定できる程度の長さがあり、かつ、その位置や向きが、概ね消失点との関係で妥当な範囲内にあるものが選ばれる。

続いて、Ｓ２２０において使えると判断したエッジから、収束点を消失点として算出する（Ｓ２３０）。Ｓ２３０では、抽出されたエッジが延びる方向に基づいて、消失点が存在すると推定される方向を特定する。Ｓ２１０−Ｓ２３０においても、路面の白線等、カーブでは画面中央に収束しないと予想される要素について、上述のような有効セグメントなどを利用する手法で除外することが好ましい。また、Ｓ２１０−Ｓ２３０においても、突発的な振動や衝撃が検知された場合に、その間の画像を故障判定の対象から除外することが好ましい。

そして、特徴点の収束点を求めた結果、ある程度の範囲内に消失点が収束しない場合は、画像補正部２１による補正画像の画像異常と診断し（Ｓ２４０）、ダイアグ処理部９に対して異常判定結果を通知する（Ｓ２５０）。

図２に示すＳ４０において、上述のような画像異常判定処理（図３及び図４に示す処理）を実行したら、引き続いて、故障診断部２５は、外的要因判定を実行する（Ｓ５０）。Ｓ５０では、カメラ３の取付位置の経年変化や、路面凹凸等の一時的な異常を判定する。これにより、Ｓ４０において消失点が算出できない場合でも、Ｓ５０において、何らかの問題が検出された場合には、直ちに画像補正部２１の故障とは判断しないようにすることができる。例えば、特定のフレーム間だけ消失点が求められなくても、その後は消失点が求められる場合は、路面凹凸等の一時的な異常に起因する可能性があるので、画像補正部２１の故障とは判断しないようにする。あるいは、消失点が予期しない位置に算出されるものの、その状態が定常的に続く場合は、カメラ３の取付位置の経年変化による可能性があるので、画像補正部２１の故障とは判断しないようにする。

そして、Ｓ５０を終えたら、故障診断部２５は、画像補正部２１におけるハード異常を判定する（Ｓ６０）。Ｓ６０では、Ｓ５０等による判定で例外ケースを除外しても、一定時間以上にわたって異常が検出される状態が継続している場合に、画像補正部２１の故障と判定する。そして、その場合は、ダイアグ処理部９に対して故障診断結果を通知する（Ｓ７０）。

次に、始動時故障検出処理について説明する。始動時故障検出処理は、車両の始動時に初期処理として一度だけ実行される。あるいは、上述のようなリアルタイム故障検出処理を採用している場合は、車両の工場出荷時や整備点検時に特別に実行される処理として、始動時故障検出処理が実行されるように構成してもよい。

始動時故障検出処理を開始すると、まず、画像補正部２１は、メモリ２５Ａ内に保存された評価用画像を入力する（Ｓ３１０）。すなわち、上述のリアルタイム故障検出処理において、Ｓ１０ではカメラ３からカメラ画像を入力していたが、これに代えて、Ｓ３１０では、メモリ２５Ａ内に保存された評価用画像を入力する。評価用画像は、カメラ３で撮影した場合と同様な歪みを有する画像である。

Ｓ３１０を終えたら、続いて、画像補正部２１において画像補正を実行し（Ｓ３２０）、故障診断部２５は、その補正画像に基づいて画像補正部２１におけるハード異常を判定する（Ｓ３３０）。メモリ２５Ａ内には、上述の評価用画像の他に、画像補正部２１が正常であった場合に得られるべき補正画像が、基準画像としてあらかじめ記憶されている。Ｓ３３０では、Ｓ３２０において得られた補正画像と、メモリ内に記憶されている基準画像との整合を判定し、同等な画像ではなかった場合に、画像補正部２１におけるハード異常と判定する。画像補正部２１におけるハード異常が検出された場合は、ダイアグ処理部９に対して故障診断結果を通知する（Ｓ３４０）。

［効果］
以上説明したように、上記車載画像処理システムによれば、画像補正部２１が故障して、歪補正が正しくできない状態に陥っている場合に、故障診断部２５は、画像補正部２１で補正された補正画像からは消失点が正しく求められないことを利用して、画像補正部２１が故障していると判定する。

したがって、補正画像から消失点が正しく求められるか否かには着目していない技術とは異なり、画像補正部２１において補正画像を生成する段階で（すなわち、カメラ３の異常とは別の段階で）、何らかの障害が発生していることを特定できる。よって、例えば、そのような補正画像を生成する画像補正部２１に異常があることを利用者に対して報知することができる。あるいは、例えば、そのような異常な補正画像に基づく制御を中止するなどの対処をすることができる。

また、故障診断部２５は、Ｓ１１０−Ｓ１５０により、移動している撮影対象物の画像と推定される移動要素が含まれている場合に、その移動要素の移動状態から消失点を推定可能か否かに基づいて、画像補正部２１が故障しているか否かを判定可能に構成されている。したがって、動画を用いて、フレーム間での特徴点の移動から消失点を演算し、画像補正部２１の故障を判定することができる。

また、故障診断部２５は、Ｓ２１０−Ｓ２５０により、カメラ３による撮影領域の奥行き方向に向かって線状に延びている撮影対象物の画像と推定される線状要素が含まれている場合に、線状要素が延びる方向から消失点を推定可能か否かに基づいて、画像補正部２１が故障しているか否かを判定可能に構成されている。したがって、静止画のエッジを抽出することで消失点を演算し、画像補正部２１の故障を判定することができる。

故障診断部２５は、図６に示したように、補正画像中に含まれる一部の範囲を有効セグメントとして選択し、選択された範囲において補正画像中の消失点に異常があるか否かに基づいて、画像補正部２１が故障しているか否かを判定可能に構成されている。したがって、車両がカーブを走行中でも、予期しない箇所に消失点があると誤認識するのを抑制することができる。

また、上記車載画像処理システムは、カメラ３とともに車両に搭載され、画像補正部２１は、車両の移動中に、カメラ３により撮影されたカメラ画像の歪みを補正してその歪みが補正された補正画像を出力可能に構成され、故障診断部２５は、車両の移動中に、画像補正部２１から出力される補正画像中の消失点に異常があるか否かに基づいて、画像補正部２１が故障しているか否かを判定可能に構成されている。したがって、車両の走行中にリアルタイムに画像補正部２１の故障を検出することができる。

また、上記車載画像処理システムでは、車速センサ１１、舵角センサ１３、及び姿勢センサ１５（これらが本明細書でいう検出部の一例に相当。）などから得られる車両状態の情報やサスペンションの負荷情報などに基づき、突発的な振動や衝撃が検知された場合には、その間の画像を故障判定の対象から除外している。したがって、車両の振動で、画像が大きく揺れた場合などには、その画像を判定対象から外すことができ、これにより、故障診断の精度向上を図ることができる。

また、上記車載画像処理システムは、故障診断用としてあらかじめ用意された評価用画像を記憶するメモリ２５Ａ（本明細書でいう記憶部の一例に相当。）を有し、Ｓ３１０−Ｓ３４０により、画像補正部２１は、メモリ２５Ａに記憶された評価用画像の歪みを補正して、その歪みが補正された診断用補正画像を出力可能に構成され、故障診断部２５は、画像補正部２１から出力される診断用補正画像の異常状態に基づいて、画像補正部２１の故障を判定可能に構成されている。したがって、工場検査時や始動時には、あらかじめ用意されている評価用画像を用いて、故障診断を実施することができ、リアルタイム故障検出処理とは別に、カメラ３の経年変化や車両の走行状態などの影響を排除して、より高精度な故障診断を実施することができる。

［他の実施形態］
以上、画像処理装置、及び画像処理装置の故障診断方法について、例示的な実施形態を挙げて説明したが、本発明は、上述の例示的な実施形態に限定されることなく、種々の形態を採用し得る。

例えば、上記実施形態では、リアルタイム故障検出処理と始動時故障検出処理の双方を採用している例を示したが、これらはいずれか一方だけを採用してもよい。
また、上記実施形態では、補正画像を所定の位置で９つのセグメントに分割する例を示したが、セグメントの分割位置や分割数は任意であり、例示したものに限られない。

また、上記実施形態では、図示の都合上、便宜的にメモリ２５Ａを故障診断部２５が備える構成として図示してあるが、画像補正部２１及び故障診断部２５がアクセス可能なメモリであればよく、画像補正部２１が備えるメモリであっても、画像補正部２１及び故障診断部２５からは独立したＥＣＵ１内のメモリであってもよい。あるいは、ＥＣＵ１がＥＣＵ１の外部にあるメモリにアクセス可能な構成を備えていれば、ＥＣＵ１の外部にあるメモリであってもよい。

また、上記実施形態では、車載画像処理システムを例示したが、車両以外に同等なシステムを搭載してもよい。
また、上記実施形態において、一つの構成要素で実現していた所定の機能を、複数の構成要素が協働して実現するように構成してあってもよい。あるいは、上記実施形態では、複数の構成要素それぞれが有していた複数の機能や、複数の構成要素が協働して実現していた所定の機能を、一つの構成要素が実現するように構成してあってもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

また、上述した画像処理装置、及び画像処理装置の故障診断方法の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体など、種々の形態で本発明を実現することもできる。

１…電子制御装置（ＥＣＵ）、３…カメラ、５…外的要因判定部、７…表示部、９…ダイアグ処理部、１１…車速センサ、１３…舵角センサ、１５…姿勢センサ、１７…ＣＡＮ、２１…画像補正部、２３…認識部、２５…故障診断部、２５Ａ…メモリ。

Claims (8)

1. カメラ（３）により撮影されたカメラ画像の歪みを補正し、当該歪みが補正された画像であって少なくとも一つの消失点を有する画像である補正画像を出力する画像補正部（２１，Ｓ３０）と、
   前記画像補正部から出力される前記補正画像中の前記消失点に異常があるか否かに基づいて、前記画像補正部が故障しているか否かを判定する故障診断部（２５，Ｓ４０−Ｓ６０）と
   を有する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像補正部は、前記カメラによって撮影される動画中に含まれる複数の前記カメラ画像それぞれの歪みを補正することにより、複数の前記補正画像を出力するように構成され、
   前記故障診断部は、複数の前記補正画像に含まれる特徴要素として、移動している撮影対象物の画像と推定される移動要素が含まれている場合に、当該移動要素の移動状態から前記消失点を推定可能か否かに基づいて、前記画像補正部が故障しているか否かを判定可能に構成されている（Ｓ１１０−Ｓ１４０）
   画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置であって、
   前記故障診断部は、前記補正画像に含まれる特徴要素として、前記カメラによる撮影領域の奥行き方向に向かって線状に延びている撮影対象物の画像と推定される線状要素が含まれている場合に、前記線状要素が延びる方向から前記消失点を推定可能か否かに基づいて、前記画像補正部が故障しているか否かを判定可能に構成されている（Ｓ２１０−Ｓ２４０）
   画像処理装置。
4. 請求項１−請求項３のいずれか一項に記載の画像処理装置であって、
   前記故障診断部は、前記補正画像中に含まれる一部の範囲を選択し、選択された範囲において前記補正画像中の前記消失点に異常があるか否かに基づいて、前記画像補正部が故障しているか否かを判定可能に構成されている（Ｓ１１０−Ｓ１３０，Ｓ２１０−Ｓ２３０）
   画像処理装置。
5. 請求項１−請求項４のいずれか一項に記載の画像処理装置であって、
   前記画像処理装置は、前記カメラとともに、少なくとも車両を含む移動体に搭載され、
   前記画像補正部は、前記移動体の移動中に、前記カメラにより撮影されたカメラ画像の歪みを補正して当該歪みが補正された補正画像を出力可能に構成され、
   前記故障診断部は、前記移動体の移動中に、前記画像補正部から出力される前記補正画像中の前記消失点に異常があるか否かに基づいて、前記画像補正部が故障しているか否かを判定可能に構成されている（Ｓ１０−Ｓ７０）
   画像処理装置。
6. 請求項１−請求項５のいずれか一項に記載の画像処理装置であって、
   前記カメラによる撮影に影響を及ぼす外乱を検出可能な検出部を有し、
   前記検出部で前記外乱を検出した時点で前記カメラによって撮影された前記カメラ画像は、前記故障診断部による判定対象から除外されるように構成されている（Ｓ１１０−Ｓ１３０，Ｓ２１０−Ｓ２３０）
   画像処理装置。
7. 請求項１−請求項６のいずれか一項に記載の画像処理装置であって、
   故障診断用としてあらかじめ用意された評価用画像を記憶する記憶部（２５Ａ）を有し、
   前記画像補正部は、前記記憶部に記憶された前記評価用画像の歪みを補正して、当該歪みが補正された診断用補正画像を出力可能に構成され（Ｓ３２０）、
   前記故障診断部は、前記画像補正部から出力される前記診断用補正画像の異常状態に基づいて、前記画像補正部の故障を判定可能に構成されている（Ｓ３３０）
   画像処理装置。
8. カメラにより撮影されたカメラ画像の歪みを補正し、当該歪みが補正された画像であって少なくとも一つの消失点を有する画像である補正画像を出力する画像補正部（２１）を有する画像処理装置（１）を対象にして、前記画像補正部の故障を判定する方法であって、
   前記画像補正部から出力される前記補正画像中の前記消失点に異常があるか否かに基づいて、前記画像補正部が故障しているか否かを判定する手順を含む
   画像処理装置の故障診断方法。

Images