JP7137356B2 - 車載用故障検出装置、及び故障検出方法 - Google Patents

Description

本発明は、車載用故障検出装置、及び故障検出方法に関する。

従来、車両にカメラを搭載して、カメラが撮像した車両周囲の撮像画像に基づいて車両の各種制御を行う技術が種々提案され、実用化されている。

特許文献１の撮像装置は、撮像素子を収容する筐体のパン（左右）移動及びチルト（上下）移動を、振動ジャイロの出力により検出し、撮像素子の出力に基づいて被写体像の移動方向である画像移動方向を検出する。そして、撮像装置は、筐体のパン移動の方向と、画像移動方向とが一致する場合に、撮像素子の出力から得られる画像信号を左右反転させる。また、撮像装置は、筐体のチルト移動方向と、画像移動方向が一致する場合に、画像信号を上下反転させる。

特開２０１１－１３００１４号公報

車両に搭載される撮像部は、安全上の対策を講じる必要がある。特許文献１の撮像装置は、振動ジャイロの出力により撮像素子を収容する筐体のパン移動及びチルト移動を検出する。このため、筐体の移動方向の検出精度が、振動ジャイロの出力の精度に依存し、検出精度が安定しないという課題がある。

本発明は上記事情に鑑みてなされたものであり、撮像部の撮像画像により車両の走行を安全に支援することを目的とする。

上記課題を解決するため、本発明は、車両に搭載され、前記車両の外部を含む所定の撮像範囲を撮像する撮像部と、前記車両から前記車両の走行状態を示す車両情報を取得する取得部と、前記撮像部が撮像した複数の撮像画像に基づいて、前記撮像部の撮像範囲における被写体の移動方向を検出する検出部と、前記取得部が取得した前記車両情報に基づいて前記車両の進行方向を判定する進行方向判定部と、前記進行方向判定部が判定した進行方向に前記車両が走行し、かつ、前記撮像部が正常に動作していると仮定した場合に、前記撮像部の撮像画像により検出される前記被写体の移動方向を取得し、取得した前記被写体の移動方向と、前記検出部が検出した前記被写体の移動方向とが一致するか否かを判定して、前記撮像部の故障を判定する故障判定部と、を備えることを特徴とする。

また、本発明は、前記検出部は、前記複数の撮像画像に含まれる第１の撮像画像と、前記第１の撮像画像よりも後に撮像された第２の撮像画像とに撮像された静止物の前記第１の撮像画像及び前記第２の撮像画像での撮像位置の変化に基づいて前記撮像部の撮像範囲における被写体の移動方向を検出することを特徴とする。

また、本発明は、前記故障判定部が前記撮像部の故障を判定した場合に、前記撮像部が出力する撮像画像データの左右を反転させる処理部を備えることを特徴とする。

また、本発明は、前記故障判定部が前記撮像部の故障を判定した場合に、前記撮像部の故障を報知する報知部を備えることを特徴とする。

また、本発明は、前記進行方向判定部は、前記取得部が前記車両情報として取得した前記車両の車速、ステアリングの舵角及びシフトレバーのシフト位置の少なくともいずれかに基づいて前記車両の進行方向を判定することを特徴とする。

上記課題を解決するため、本発明は、車両から前記車両の走行状態を示す車両情報を取得する取得ステップと、車両に搭載され、前記車両の外部を含む所定の撮像範囲を撮像する撮像部が撮像した複数の撮像画像に基づいて、前記撮像部の撮像範囲における被写体の移動方向を検出する検出ステップと、前記取得ステップにより取得した前記車両情報に基づいて前記車両の進行方向を判定する進行方向判定ステップと、前記進行方向判定ステップにより判定した進行方向に前記車両が走行し、かつ、前記撮像部が正常に動作していると仮定した場合に、前記撮像部の撮像画像により検出される前記被写体の移動方向を取得し、取得した前記被写体の移動方向と、前記検出ステップにより検出した前記被写体の移動方向とが一致するか否かを判定して、前記撮像部の故障を判定する故障判定ステップと、を有することを特徴とする。

また、本発明は、前記検出ステップは、前記複数の撮像画像に含まれる第１の撮像画像と、前記第１の撮像画像よりも後に撮像された第２の撮像画像とに撮像された静止物の前記第１の撮像画像及び前記第２の撮像画像での撮像位置の変化に基づいて前記撮像部の撮像範囲における被写体の移動方向を検出することを特徴とする。

また、本発明は、前記故障判定ステップにより前記撮像部の故障を判定した場合に、前記撮像部が出力する撮像画像データの左右を反転させる反転ステップを有することを特徴とする。

また、本発明は、前記故障判定ステップにより前記撮像部の故障を判定した場合に、前記撮像部の故障を報知する報知ステップを有することを特徴とする部を備えることを特徴とする。

また、本発明は、前記進行方向判定ステップは、前記取得ステップが前記車両情報として取得した前記車両の車速、ステアリングの舵角及びシフトレバーのシフト位置の少なくともいずれかに基づいて前記車両の進行方向を判定することを特徴とする。

本発明によれば、撮像部の撮像画像により車両の走行を安全に支援することができる。

車両の概略構成を示す構成図である。 移動方向登録テーブルを示す図である。 表示制御ＥＣＵの動作を示すフローチャートである。 リアカメラの撮像画像データを示す図である。 リアカメラの撮像画像データの一部を拡大して示す図である。 リアカメラの撮像画像データの一部を拡大して示す図である。 左右を反転したリアカメラの撮像画像データを示す図である。

以下、添付図面を参照しながら本発明を適用した実施形態について説明する。

図１は、車両１０の概略構成を示す構成図である。
車両１０には、車速センサ１１、アクセル開度センサ１２、ブレーキセンサ１３、舵角センサ１４、シフト位置センサ１５及び車両制御ＥＣＵ（Electronic Control Unit）２０等が搭載される。

車速センサ１１は、車両１０の走行速度（以下、車速という）を検出し、検出した車速を示すセンサ信号を車両制御ＥＣＵ２０に出力する。アクセル開度センサ１２は、アクセルペダル２の開度を検出し、検出した開度を示すセンサ信号を車両制御ＥＣＵ２０に出力する。ブレーキセンサ１３は、ブレーキペダル３の踏み込み量を検出し、検出した踏み込み量を示すセンサ信号を車両制御ＥＣＵ２０に出力する。舵角センサ１４は、ステアリングホイール４の操舵角を検出し、検出した操舵角を示すセンサ信号を車両制御ＥＣＵ２０に出力する。シフト位置センサ１５は、シフトレバー５のシフト位置を検出し、検出したシフト位置を示すセンサ信号を車両制御ＥＣＵ２０に出力する。

車両制御ＥＣＵ２０は、ＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えるコンピュータ装置である。ＲＯＭは、ＣＰＵが実行する各種の制御プログラムやマップを記憶する。ＣＰＵは、制御プログラムを実行して各種の演算処理を実行する。ＲＡＭは、ＣＰＵの演算結果等のデータを一時的に記憶する。

車両制御ＥＣＵ２０は、車速センサ１１や、アクセル開度センサ１２、ブレーキセンサ１３、舵角センサ１４、シフト位置センサ１５から入力されるセンサ信号に基づいて車両１０の走行を制御する。具体的には、車両制御ＥＣＵ２０は、アクセルペダル２の開度や、車速を示すセンサ信号に基づいて、不図示のエンジンの出力を制御する。また、車両制御ＥＣＵ２０は、操舵角を示すセンサ信号に基づいて不図示のステアリング装置が備えるアクチュエータを制御し、操舵輪である前輪の向きを変更する。さらに、車両制御ＥＣＵ２０は、ブレーキペダル３の踏み込み量を示すセンサ信号に基づいて不図示のブレーキ装置が備えるアクチュエータを制御し、車輪に付与する制動力を制御する。

また、車両１０には、複数のカメラ５０、表示部６０及び表示制御ＥＣＵ７０を有する車載用故障検出装置１００が搭載されている。
表示制御ＥＣＵ７０は、複数のカメラ５０の撮像した撮像画像データを処理して、例えば、車両１０の上方の仮想的な視点から見た車両周囲の撮像画像データ（以下、車両周囲画像データという）を生成する。表示制御ＥＣＵ７０は、生成した車両周囲画像データに基づく画像を表示部６０に表示させる。車両１０のドライバは、表示部６０に表示された画像により車両１０の周囲の状況、例えば、後続車が存在するか、車両１０の周囲に障害物が存在するか等を確認する。また、表示制御ＥＣＵ７０は、車両１０に搭載された複数のカメラ５０の故障を診断する。

車両１０には、複数のカメラ５０として、フロントカメラ５１、リアカメラ５２、左サイドカメラ５３及び右サイドカメラ５４が搭載されている。以下、フロントカメラ５１、リアカメラ５２、左サイドカメラ５３及び右サイドカメラ５４を総称する場合には、簡単に「カメラ５０」と表記する。フロントカメラ５１、リアカメラ５２、左サイドカメラ５３及び右サイドカメラ５４は、本発明の「撮像部」に相当する。

フロントカメラ５１は、車両１０の前部に設置され、車両１０の外部であって前方を含む所定の範囲を撮像範囲として予め設定された時間間隔ごとに撮像を行う。リアカメラ５２は、車両１０の後部に設置され、車両１０の外部であって後方を含む所定の範囲を撮像範囲として、予め設定された時間間隔ごとに撮像を行う。左サイドカメラ５３は、車両１０の左ドアミラー（不図示）に設置され、車両１０の外部であって左側方を含む所定の範囲を撮像範囲として、予め設定された時間間隔ごとに撮像を行う。右サイドカメラ５４は、車両１０の右ドアミラー（不図示）に設置され、車両１０の外部であって右側方を含む所定の範囲を撮像範囲として、予め設定された時間間隔ごとに撮像を行う。ここで「左」とは、車両１０に搭乗し、前方（フロントカメラ５１の方向）を向いた乗員の左手側をいい、「右」は乗員の右手側をいう。

カメラ５０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ５０には、例えば、１８０度以上の画角を有する超広角レンズが装着され、比較的広範囲の画像を撮像することができる。カメラ５０が生成した撮像画像データは、カメラ５０を識別する識別情報や、撮像時刻等の付加情報が付加され、表示制御ＥＣＵ７０に出力され、メモリ７３に一時的に記憶される。

表示部６０は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬパネル等の表示デバイスにより構成され、表示制御ＥＣＵ７０の制御により各種データを表示する。

表示制御ＥＣＵ７０は、ＣＰＵ８０、ＲＯＭやＲＡＭ等のメモリ７３、各種インターフェース回路等により構成された電子回路ユニットである。ＣＰＵ８０は、メモリ７３が記憶する制御プログラムを実行して各種の演算処理を実行する。これにより、ＣＰＵ８０は、検出部８１、進行方向判定部８２及び故障判定部８３として機能する。また、ＣＰＵ８０が制御プログラムを実行することで、本発明の故障検出方法を構成する「取得ステップ」、「検出ステップ」、「進行方向判定ステップ」及び「故障判定ステップ」が実行される。検出部８１、進行方向判定部８２及び故障判定部８３の動作の詳細については後述する。

メモリ７３は、不揮発性の記憶装置であり、ＣＰＵ８０が実行する各種の制御プログラムや、カメラ５０の撮像画像データを記憶する。また、メモリ７３は、後述する移動方向登録テーブル６５や、第１しきい値及び第２しきい値を記憶する。これらの詳細については後述する。

また、表示制御ＥＣＵ７０は、ＣＡＮ（Controller Area Network）通信部７１及び画像処理部７２を備える。表示制御ＥＣＵ７０は、車両１０の各部を制御する複数のＥＣＵ（複数のＥＣＵには、車両制御ＥＣＵ２０が含まれる）とＣＡＮケーブルにより接続される。ＣＡＮ通信部７１は、他のＥＣＵとの間でＣＡＮの通信規格に準拠したデータ通信を行う。例えば、ＣＡＮ通信部７１は、車両制御ＥＣＵ２０とデータ通信を行って、車速や、操舵角、シフト位置等の情報（以下、これらの情報を総称して車両情報という）を取得する。ＣＡＮ通信部７１は、本発明の「取得部」として動作する。

画像処理部７２は、ＤＳＰ（Digital Signal Processor）やＧＰＵ（Graphics Processing Unit）等の画像処理用の演算装置である。画像処理部７２は、メモリ７３から撮像画像データを読み出して画像処理を行い、車両周囲画像データを生成する。また、画像処理部７２は、撮像画像データに写った被写体を検出する処理を実行する。画像処理部７２は、撮像画像データに撮像された物体を検出して、カメラ５０の撮像範囲における被写体の移動方向を特定する。物体には、例えば、人や、車両、トンネル、橋、家屋、道路の路面に表示された交通情報を示す文字、道路交通標識等が含まれる。

リアカメラ５２の撮像画像データを処理する場合を例に挙げて撮像画像データから物体を検出する処理について説明する。なお、画像処理部７２は、フロントカメラ５１や、左サイドカメラ５３、右サイドカメラ５４の撮像画像データに対しても同一の処理を実行する。
画像処理部７２は、メモリ７３からリアカメラ５２の撮像画像データを読み出し、読み出した撮像画像データに対して、例えば、特徴量マッチング等の一般的に知られた処理を行って、撮像画像データに写った物体を検出する。また、画像処理部７２は、撮像画像データから物体を検出することができない場合、次の撮像画像データをメモリ７３から読み出して処理を行う。画像処理部７２が検出する物体には、例えば、車両１０と同一の車線を走行する車両や、対向車線を走行する車両、道路脇に設けられた交通標識、信号機、家屋、街路樹、自動販売機等が挙げられる。画像処理部７２は、撮像画像データから物体を検出すると、検出した物体の撮像画像データ上での位置を示す座標情報と、検出した物体を特定する情報として物体の形状や色、大きさ等を示す情報とをＣＰＵ８０に通知する。画像処理部７２は、撮像画像データに対する処理が終了すると、次の撮像画像データをメモリ７３から読み出して撮像画像データに写った物体を検出する。

ＣＰＵ８０は、カメラ５０の故障検出を行う。ここで、ＣＰＵ８０が検出するカメラ５０の故障について説明する。
カメラ５０は、撮像画像データを生成すると、生成した撮像画像データの左右を反転させた鏡像の撮像画像データを生成する。撮像画像データを鏡像とすることで、実空間における車両１０の左右の位置関係と、表示部６０に表示される画像における車両１０の左右の位置関係とを同一とすることができる。また、撮像画像データを鏡像とすることで、ユーザは車両１０の周囲に存在する物体の位置関係を直感的に理解し易くなる。

カメラ５０に故障が生じると、左右を反転させた鏡像ではなく、撮像画像データが正像のままの出力される場合がある。カメラ５０は、撮像画像データを一時的に記憶するメモリや、メモリから撮像画像データを読み出して鏡像を生成するＤＳＰ（Digital Signal Processor）等の演算装置等を備え、演算装置とＤＳＰとが通信線を介して接続された構成を備える。メモリに故障が生じた場合や、メモリと演算装置との通信に障害が生じた場合、鏡像の撮像画像データがカメラ５０から出力されない場合がある。

検出部８１は、撮像画像データと、この撮像画像データの後に撮像された撮像画像データとに基づいて、フロントカメラ５１、リアカメラ５２、左サイドカメラ５３及び右サイドカメラ５４の撮像範囲の移動方向を検出する。具体的には、検出部８１は、画像処理部７２が検出した物体の移動方向を検出することで、各カメラ５０の撮像範囲の移動方向を検出する。

検出部８１の動作について、リアカメラ５２の撮像画像データを例にして説明する。検出部８１は、画像処理部７２が検出した各物体の移動方向や、移動速度を求める。ここで、検出部８１が検出する移動方向や移動速度は、リアカメラ５２から見た物体の移動方向や移動速度、すなわち、車両１０と共に移動する視点から見た物体の移動方向や移動速度である。

検出部８１は、連続して撮像されたリアカメラ５２の撮像画像データに写った物体の撮像画像データ上の位置（座標）の変化に基づいて物体の移動方向や移動速度を求める。このとき、検出部８１は、画像処理部７２から通知された物体の形状や、色、サイズ等の情報に基づいて複数の撮像画像データに写った物体が同一の物体であるか否かを判定してもよい。また、検出部８１は、複数の撮像画像データの撮像時刻や、撮像画像データ上での位置に基づいて複数の撮像画像データに写った物体が同一の物体であるか否かを判定してもよい。

検出部８１は、連続して撮像されたリアカメラ５２の撮像画像データに写った同一の物体を特定すると、特定した物体の撮像範囲における移動方向及び移動速度を求める。例えば、検出部８１は、ある時刻に撮像された撮像画像データ（第１の撮像画像という）と、この撮像画像データよりも後に撮像された撮像画像データ（第２の撮像画像という）とに撮像された物体の位置の変化に基づいて物体の移動方向や移動速度を求める。具体的には、検出部８１は、第１の撮像画像及び第２の撮像画像の撮像時間の差や、座標情報により求められる物体の移動距離により物体の移動速度を求める。また、検出部８１は、物体が検出された複数の撮像画像データ上での座標により移動方向を検出する。

検出部８１は、画像処理部７２により検出された各物体の移動方向及び移動速度を求めると、車両制御ＥＣＵ２０から取得した車速に対応した第１しきい値及び第２しきい値をメモリ７３から取得する。第１しきい値は、画像処理部７２が検出した物体から対向車線を走行する車両１０を特定するためのしきい値である。また、第２しきい値は、画像処理部７２が検出した物体から同一車線を走行する車両１０を特定するためのしきい値である。第２しきい値は、第１しきい値よりも値が小さい。
第１しきい値及び第２しきい値は、車両１０の車速に応じて複数用意され、メモリ７３に予め記憶されている。例えば、車速をＶとして、０ｋｍ／ｈ＜Ｖ≦１０ｋｍ／ｈ、１１ｋｍ／ｈ≦Ｖ≦２０ｋｍ／ｈ、２１ｋｍ／ｈ≦Ｖ≦３０ｋｍ／ｈ・・・のように、予め設定された間隔の車速ごとに値の異なる第１しきい値及び第２しきい値が用意される。

検出部８１は、画像処理部７２が検出した物体から車両と推定される物体を除外する。後続車両や、対向車線を走行する車両の速度はわからないため、これらの車両の移動方向や移動速度によりカメラ５０の故障検出を行った場合、誤った故障検出をしてしまう場合がある。このため、検出部８１は、車両の移動速度や移動方向を故障検出の判断材料から除外する。
検出部８１は、移動速度が第１しきい値よりも大きい物体を、対向車線を走行する車両と判定し、この物体の移動速度や移動方向を故障検出の判断材料から除外する。また、検出部８１は、移動速度が第２しきい値よりも小さい物体を、同一車線を走行する後続車と判定し、この物体の移動速度や移動方向を故障検出の判断材料から除外する。

次に、検出部８１は、画像処理部７２が検出した物体であって、車両と判定した物体を除く物体の中から静止している物体（以下、静止物という）を検出する。走行する車両１０のリアカメラ５２により静止物を撮像した場合、連続して撮像された撮像画像データにおいて、一定の速度で一定の方向に移動しているように写る。

検出部８１は、検出した各物体の移動方向や移動速度を比較して、同一の移動方向に、同一の移動速度で移動する少なくとも２以上の物体を静止物と判定する。なお、撮像画像データから求められる移動速度や移動方向には、誤差が含まれる場合がある。このため、移動速度や移動方向は完全に一致している必要はなく、誤差の範囲内にあればよい。
また、本実施形態では、同一の移動方向に、同一の移動速度で移動する２以上の物体を静止物と判定しているが、車両制御ＥＣＵ２０から車両情報として入力される車速に基づいて静止物を検出してもよい。すなわち、撮像画像データから求めた移動速度が車速にほぼ一致する物体を静止物と判定してもよい。

検出部８１は、撮像画像データから２以上の静止物を特定すると、特定した２以上の制止物体の移動方向を、リアカメラ５２の撮像範囲における被写体の移動方向として検出する。また、検出部８１は、特定した２以上の制止物体の移動速度を、撮像範囲における被写体の移動速度として検出する。ここで撮像範囲とは、走行する車両１０と共に移動するカメラ５０によって撮像される範囲である。車両１０の移動に伴ってカメラ５０の撮像範囲も移動する。検出部８１は、複数枚の撮像画像に撮像された被写体の各撮像画像における撮像位置の変化により被写体の移動方向を検出する。

進行方向判定部８２は、車両制御ＥＣＵ２０から入力される車速や、操舵角、シフト位置等の車両情報に基づいて車両１０の進行方向を判定する。
進行方向判定部８２は、車両情報に基づいて車両１０が走行状態にあるのか、停車状態にあるのかを判定する。走行状態は、車両１０の車速が０ｋｍ／ｈではない状態をいい、停車状態は、車速が０ｋｍ／ｈである状態をいう。進行方向判定部８２は、車両制御ＥＣＵ２０から取得した車速に基づいて車両１０が走行状態にあるのか、停車状態にあるのかを判定する。

また、進行方向判定部８２は、車両１０が走行状態にある場合に、車両１０が前進しているのか、後退しているのかを判定する。ＣＰＵ８０は、車両制御ＥＣＵ２０から取得したシフト位置に基づいて、車両１０が前進しているのか後退しているのかを判定する。

さらに、進行方向判定部８２は、車両１０が走行状態にある場合に、車両１０が直進走行の状態にあるのか、右方向又は左方向への旋回走行の状態にあるのかを判定する。進行方向判定部８２は、車両制御ＥＣＵ２０から取得した操舵角に基づいて、車両１０が直進走行の状態にあるのか、旋回走行の状態にあるのかを判定する。例えば、進行方向判定部８２は、車両制御ＥＣＵ２０から取得した操舵角が、予め設定された基準範囲以内にある場合、車両１０が直進走行の状態にあると判定する。

進行方向判定部８２は、車両制御ＥＣＵ２０から取得した操舵角が、予め設定された基準範囲よりも外側にあり、操舵角によりステアリングホイール４が右方向に回転していると判定される場合、右方向への旋回（以下、右旋回という）を行っていると判定する。また、進行方向判定部８２は、車両制御ＥＣＵ２０から取得した操舵角が、基準範囲よりも外側にあり、操舵角によりステアリングホイール４が左方向に回転していると判定される場合、左方向への旋回（以下、左旋回という）を行っていると判定する。進行方向判定部８２が判定した前進、後退、右旋回、左旋回を、以下では総称して、車両走行状態という。

故障判定部８３は、検出部８１が検出した静止物の移動方向が、進行方向判定部８２が判定した進行方向に進行する車両１０のカメラ５０により撮像される静止物の移動方向に一致するか否かを判定する。
まず、故障判定部８３は、進行方向判定部８２が判定した車両１０の進行方向に基づいて移動方向登録テーブル６５を参照する。故障判定部８３は、進行方向判定部８２が判定した進行方向に車両１０が進行する場合に、車両１０に搭載された各カメラ５０に撮像される静止物の移動方向の情報を移動方向登録テーブル６５から取得する。移動方向登録テーブル６５から取得する移動方向の情報を、基準移動方向という。

図２に、移動方向登録テーブル６５の一例を示す。移動方向登録テーブル６５には、カメラ５０が正常に動作している場合に、各カメラ５０に撮像される撮像画像における静止物の移動方向の情報が、車両走行状態ごとに登録されている。

移動方向登録テーブル６５の登録情報のうち、リアカメラ５２に撮像される撮像画像における静止物の基準移動方向の情報について、まず、説明する。
例えば、車両走行状態が、前進かつ右旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、左方向から右方向であって、車両１０から徐々に遠ざかる方向との情報が登録されている。
また、車両走行状態が、前進かつ左旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、右方向から左方向であって、車両１０から徐々に遠ざかる方向との情報が登録されている。
また、車両走行状態が、後退かつ右旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、右方向から左方向であって、車両１０に徐々に近づく方向との情報が登録されている。
また、車両走行状態が、後退かつ左旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、左方向から右方向であって、車両１０に徐々に近づく方向との情報が登録されている。

次に、フロントカメラ５１に撮像される撮像画像における静止物の基準移動方向の情報について説明する。
車両走行状態が、前進かつ右旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、左方向から右方向であって、車両１０に徐々に近づく方向との情報が登録されている。
また、車両走行状態が、前進かつ左旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、右方向から左方向であって、車両１０に徐々に近づく方向との情報が登録されている。
また、車両走行状態が、後退かつ右旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、右方向から左方向であって、車両１０から徐々に遠ざかる方向との情報が登録されている。
また、車両走行状態が、後退かつ左旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、左方向から右方向であって、車両１０から徐々に遠ざかる方向との情報が登録されている。

次に、左サイドカメラ５３に撮像される撮像画像における静止物の基準移動方向の情報について説明する。
車両走行状態が、直進であって前進である場合、移動方向登録テーブル６５には、静止物の移動方向として、左方向から右方向との情報が登録されている。
また、車両走行状態が、直進であって後退である場合、移動方向登録テーブル６５には、静止物の移動方向として、右方向から左方向との情報が登録されている。
また、車両走行状態が、前進かつ右旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、左方向から右方向との情報が登録されている。
また、車両走行状態が、前進かつ左旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、左方向から右方向との情報が登録されている。
また、車両走行状態が、後退かつ右旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、右方向から左方向との情報が登録されている。
また、車両走行状態が、後退かつ左旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、右方向から左方向との情報が登録されている。

次に、右サイドカメラ５４に撮像される撮像画像における静止物の基準移動方向の情報について説明する。
車両走行状態が、直進であって前進である場合、移動方向登録テーブル６５には、静止物の移動方向として、右方向から左方向との情報が登録されている。
また、車両走行状態が、直進であって後退である場合、移動方向登録テーブル６５には、静止物の移動方向として、左方向から右方向との情報が登録されている。
また、車両走行状態が、前進かつ右旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、右方向から左方向との情報が登録されている。
また、車両走行状態が、前進かつ左旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、右方向から左方向との情報が登録されている。
また、車両走行状態が、後退かつ右旋回である場合、移動方向登録テーブル６５には、静止物移動方向として、左方向から右方向との情報が登録されている。
また、車両走行状態が、後退かつ左旋回である場合、移動方向登録テーブル６５には、静止物の移動方向として、左方向から右方向との情報が登録されている。

故障判定部８３は、進行方向判定部８２が判定した車両１０の進行方向に対応した基準移動方向の情報を取得すると、検出部８１が検出した静止物の移動方向が基準移動方向に一致するか否かを判定する。故障判定部８３は、検出部８１が検出した静止物の移動方向が基準移動方向に一致していない場合、カメラ５０が故障していると判定する。故障判定部８３は、検出部８１が検出した静止物の移動方向が基準移動方向に一致している場合、カメラ５０は故障していないと判定する。

故障判定部８３は、カメラ５０が故障していると判定すると、報知動作を行う。例えば、故障判定部８３は、故障が生じたカメラ５０を示す情報と、カメラ５０に故障が生じている旨を示すメッセージとを表示部６０に表示させる。また、故障判定部８３は、車両１０に搭載されたスピーカー（不図示）により故障が生じたカメラ５０の情報を出力してもよい。故障判定部８３（ＣＰＵ８０）及び表示部６０は、本発明の「報知部」として動作する。

また、故障判定部８３は、カメラ５０に故障が生じた場合、鏡像の撮像画像データを画像処理部７２に生成させてもよい。故障判定部８３は、故障が生じていると判定したカメラ５０の識別情報と、鏡像の生成指示とを画像処理部７２に出力する。画像処理部７２は、故障判定部８３から鏡像の生成指示と、カメラ５０の識別情報とが入力されると、識別情報に対応したカメラ５０の撮像画像データをメモリ７３から読み出すときに、左右が反転した画像となるようにメモリ７３から撮像画像データを読み出す。画像処理部７２は、本発明の「処理部」として動作する。

図３は、表示制御ＥＣＵ７０の動作を示すフローチャートである。
図３に示すフローチャートを参照しながら表示制御ＥＣＵ７０の動作を説明する。
表示制御ＥＣＵ７０は、まず、ＣＡＮ通信部７１により車両制御ＥＣＵ２０から車両情報を取得する（ステップＳ１）。このステップＳ１は、本発明の「取得ステップ」に相当する。表示制御ＥＣＵ７０は、車両情報を取得すると、取得した車両情報に含まれるシフト位置がパーキングレンジであるか否かを判定する（ステップＳ２）。表示制御ＥＣＵ７０は、シフト位置がパーキングレンジである場合（ステップＳ２／ＹＥＳ）、車両１０が停車状態にあると判定する。この場合、表示制御ＥＣＵ７０は、車両制御ＥＣＵ２０から車両情報を再度取得し、取得した車両情報に含まれるシフト位置がパーキングレンジ以外のレンジとなるまで処理の開始を待機する。また、表示制御ＥＣＵ７０は、シフト位置がパーキングレンジではないと判定すると（ステップＳ２／ＮＯ）、車両１０の車速が０ｋｍ／ｈであるか否かを判定する（ステップＳ３）。

表示制御ＥＣＵ７０は、車両１０の車速が０ｋｍ／ｈである場合（ステップＳ３／ＹＥＳ）、車両１０は停車状態にあると判定する。この場合、表示制御ＥＣＵ７０は、車両制御ＥＣＵ２０から車両情報を再度取得し、取得した車両情報に含まれる車速が０ｋｍ／ｈではなくなるまで処理の開始を待機する。
また、表示制御ＥＣＵ７０は、車速が０ｋｍ／ｈではない場合（ステップＳ３／ＮＯ）、車両走行状態の判定を行う（ステップＳ４）。表示制御ＥＣＵ７０は、車両走行状態として、車両１０が前進しているのか、又は後退しているのかを判定する。また、表示制御ＥＣＵ７０は、車両走行状態として、車両１０が直進しているのか、右旋回しているのか、又は左旋回しているのかを判定する。

表示制御ＥＣＵ７０は、車両走行状態を判定すると（ステップＳ４）、判定した車両走行状態に対応した基準移動方向の情報を、移動方向登録テーブル６５を参照して取得する（ステップＳ５）。次に、表示制御ＥＣＵ７０は、画像処理部７２により物体を検出したか否かを判定する（ステップＳ６）。表示制御ＥＣＵ７０は、物体が検出されない場合（ステップＳ６／ＮＯ）、ステップＳ１の判定に戻り、ステップＳ１～Ｓ６の処理を繰り返す。

また、表示制御ＥＣＵ７０は、画像処理部７２が物体を検出した場合（ステップＳ６／ＹＥＳ）、検出した物体の移動方向や移動速度を、連続して撮像された撮像画像データに基づいて求める。表示制御ＥＣＵ７０は、求めた物体の移動速度を第１しきい値と比較して、移動速度が第１しきい値よりも大きい物体を、対向車線を走行する車両として除外する（ステップＳ７）。また、表示制御ＥＣＵ７０は、求めた物体の移動速度を第２しきい値と比較して、移動速度が第２しきい値よりも小さい物体を、同一車線を走行する車両として除外する（ステップＳ８）。

次に、表示制御ＥＣＵ７０は、撮像画像データから検出した物体のうち、ステップＳ７及びＳ８で除外した物体を除いた物体の数が複数あるか否かを判定する（ステップＳ９）。表示制御ＥＣＵ７０は、物体の数が複数ない場合（ステップＳ９／ＮＯ）、ステップＳ６に戻って撮像画像データから物体を検出する処理を再度行なう。また、表示制御ＥＣＵ７０は、物体の数が複数ある場合（ステップＳ９／ＹＥＳ）、複数の物体のうち、同一方向に、同一の速度で移動する２以上の物体があるか否かを判定する（ステップＳ１０）。表示制御ＥＣＵ７０は、同一方向に、同一の速度で移動する２以上の物体がない場合（ステップＳ１０／ＮＯ）、ステップＳ６の処理に戻って撮像画像データから物体を検出する処理を行なう。

また、表示制御ＥＣＵ７０は、同一方向に、同一の速度で移動する２以上の物体がある場合（ステップＳ１０／ＹＥＳ）、これらの物体を静止物と判定し、判定した静止物の移動方向が基準移動方向に一致するか否かを判定する（ステップＳ１１）。表示制御ＥＣＵ７０は、静止物の移動方向が基準移動方向に一致する場合（ステップＳ１１／ＹＥＳ）、ステップＳ１に戻り、再度、ステップＳ１からの処理を繰り返す。また、表示制御ＥＣＵ７０は、静止物の移動方向が基準移動方向に一致しない場合（ステップＳ１１／ＮＯ）、カメラ５０の故障検出を報知する（ステップＳ１２）。ステップＳ１２は、本発明の「報知ステップ」に相当する。例えば、表示制御ＥＣＵ７０は、故障を検出したカメラ５０と、故障が生じている旨を示すメッセージとを表示部６０に表示させる。また、表示制御ＥＣＵ７０は、画像処理部７２に、撮像画像データの左右を反転させて鏡像の撮像画像データを生成させ（ステップＳ１３）、生成した鏡像の撮像画像データを表示部６０に表示させる。ステップＳ１３は、本発明の「反転ステップ」に相当する。

図４は、リアカメラ５２の撮像画像データ２００を示す図である。
リアカメラ５２の撮像画像データ２００には、同一車線を走行する車両２０１や、対向車線を走行する車両２０２、家屋２０３、街路樹２０４、交通標識２０５等が写っている。表示制御ＥＣＵ７０の画像処理部７２は、これらの物体をリアカメラ５２の撮像画像データ２００から検出する。

次に、表示制御ＥＣＵ７０は、検出した物体の移動方向や移動速度を求める。表示制御ＥＣＵ７０は、リアカメラ５２が連続して撮像した撮像画像データ２００の各々から物体を検出して、撮像画像データ上での位置や、撮像画像データの撮像時間等に基づいて物体の移動方向や移動速度を求める。表示制御ＥＣＵ７０は、物体の移動方向や移動速度を求めると、求めた物体の移動速度を第１しきい値や第２しきい値と比較することで、車両２０１や２０２を検出し、検出した車両２０１や２０２を対象から除外する。

図５及び図６は、リアカメラ５２の撮像画像データ２００を示す図である。特に、図５及び図６は、検出された物体のうち、車両２０１及び２０２を除く物体である家屋２０３、街路樹２０４及び交通標識２０５を拡大して示す図である。
以下の説明では、車両１０が前進及び右旋回の車両走行状態にあると仮定して説明する。表示制御ＥＣＵ７０は、前進及び右旋回の車両走行状態に対応したリアカメラ５２の基準移動方向を、移動方向登録テーブル６５を参照して取得する。移動方向登録テーブル６５には、前進及び右旋回に対応したリアカメラ５２の基準移動方向として「左方向から右方向に遠ざかる」との情報が登録されている。

図５及び図６において、ある時刻Ａに撮像された撮像画像データ２００（第１の撮像画像に相当する）に写った家屋２０３、街路樹２０４、交通標識２０５の位置を破線で示す。また、時刻Ａに撮像された家屋２０３、街路樹２０４及び交通標識２０５を、それぞれ家屋２０３Ａ、街路樹２０４Ａ及び交通標識２０５Ａと表記する。また、時刻Ａから一定時間経過後の時刻Ｂに撮像された撮像画像データ（第２の撮像画像）に写った家屋２０３、街路樹２０４、交通標識２０５の位置を実線で示す。また、時刻Ｂに撮像された家屋２０３、街路樹２０４及び交通標識２０５を、それぞれ家屋２０３Ｂ、街路樹２０４Ｂ及び交通標識２０５Ｂと表記する。

図５には、連続して撮像された撮像画像データに基づいて求めた静止物の移動方向と、基準移動方向とが一致しない場合を示す。また、図６には、連続して撮像された撮像画像データに基づいて求めた静止物の移動方向と、基準移動方向とが一致する場合を示す。
車両１０の車両走行状態が前進及び右旋回である場合、基準移動方向は、「左方向から右方向に遠ざかる」との情報である。図５に示す撮像画像データ２００の場合、家屋２０３Ｂ、街路樹２０４Ｂ及び交通標識２０５Ｂの位置が、家屋２０３Ａ、街路樹２０４Ａ及び交通標識２０５Ａの位置よりも左にある。このため、家屋２０３、街路樹２０４及び交通標識２０５は右から左に移動したと判定できる。従って、表示制御ＥＣＵ７０は、リアカメラ５２に故障が生じていると判定する。
また、図６に示す撮像画像データ２００の場合、家屋２０３Ｂ、街路樹２０４Ｂ及び交通標識２０５Ｂの位置が、家屋２０３Ａ、街路樹２０４Ａ及び交通標識２０５Ａの位置よりも右にある。このため、家屋２０３、街路樹２０４及び交通標識２０５は、左から右に移動したと判定できる。従って、表示制御ＥＣＵ７０は、リアカメラ５２に故障が生じていないと判定する。

図７は、図４に示すリアカメラ５２の撮像画像データ２００の左右を反転させた鏡像の撮像画像データ３００を示す図である。
表示制御ＥＣＵ７０は、リアカメラ５２に故障が生じていると判定すると、画像処理部７２に、撮像画像データ２００の左右を反転させて鏡像の撮像画像データ３００を生成させる。これによって、実空間における車両１０の左右の位置関係と、表示部６０に表示される画像における車両１０の左右の位置関係とを同一とすることができる。

以上、説明したように本実施形態の表示制御ＥＣＵ７０は、検出部８１、進行方向判定部８２、故障判定部８３を備える。
検出部８１は、カメラ５０の撮像画像データと、この撮像画像データの後に撮像された撮像画像データとに基づいて、カメラ５０の撮像範囲の移動方向を検出する。
進行方向判定部８２は、車両１０から取得した車両情報に基づいて車両１０の進行方向を判定する。
故障判定部８３は、進行方向判定部８２が判定した進行方向に車両１０が進行する場合に、カメラ５０が撮像する撮像範囲の移動方向が、検出部８１が検出した撮像範囲の移動方向に一致するか否かを判定する。
故障判定部８３は、進行方向に進行する車両１０に搭載されたカメラ５０の撮像範囲の移動方向が、検出部８１が検出した撮像範囲の移動方向に一致する場合、カメラ５０は故障していないと判定する。また、故障判定部８３は、進行方向に進行する車両１０に搭載されたカメラ５０の撮像範囲の移動方向が、検出部８１が検出した撮像範囲の移動方向に一致しない場合、カメラ５０の故障と判定する。
このため、表示制御ＥＣＵ７０は、車両情報や、カメラ５０の撮像画像データによりカメラ５０の故障を検出することができる。従って、カメラ５０の故障を早期に検出して、カメラ５０の撮像画像データにより車両の走行を安全に支援することができるようにすることができる。

また、検出部８１は、カメラ５０によって連続して撮像された撮像画像データに撮像された静止物の撮像画像データの撮像位置の変化に基づいてカメラ５０の撮像範囲の移動方向を検出する。このため、できるだけ簡易な構成で、カメラ５０の故障を検出することができる。

また、故障判定部８３がカメラ５０の故障を判定した場合に、カメラ５０が出力する撮像画像データの左右を反転させた鏡像の撮像画像データを画像処理部７２により生成する。表示制御ＥＣＵ７０は、生成した鏡像の撮像画像データを表示部６０に表示させる。従って、カメラ５０に故障が生じても、故障前と同じ撮像画像データを表示させることができる。

また、故障判定部８３がカメラ５０の故障を判定した場合に、カメラ５０の故障を表示部６０に表示して報知する。従って、カメラ５０の故障を運転者に通知して、事故等の発生を未然に防ぐことができる。

また、進行方向判定部８２は、車両１０から取得した車両情報としての車速、ステアリングの舵角及びシフトレバーのシフト位置の少なくともいずれかに基づいて車両の進行方向を判定する。従って、車両の進行方向を精度よく特定することができる。

上述した実施形態は、あくまでも本発明の一態様を例示するものであって、本発明の趣旨を逸脱しない範囲で任意に変形、及び応用が可能である。
例えば、図１に示す機能ブロックは、表示制御ＥＣＵ７０の備える機能を主な処理内容に応じて分類して示した概略図である。表示制御ＥＣＵ７０の構成は、処理内容に応じて、さらに多くのブロックに分割することもできる。また、この機能ブロックは、図１に示す１つのブロックによりさらに多くの処理を実行するように構成してもよい。また、各ブロックの処理は、１つのハードウェアで実行してもよいし、複数のハードウェアで実行してもよい。また、各ブロックの処理は、１つのプログラムで実現してもよいし、複数のプログラムで実現してもよい。

また、図３に示すフローチャートの処理単位は、表示制御ＥＣＵ７０の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって本発明が制限されることはない。表示制御ＥＣＵ７０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。

２ アクセルペダル
３ ブレーキペダル
４ ステアリングホイール
５ シフトレバー
１０ 車両
１１ 車速センサ
１２ アクセル開度センサ
１３ ブレーキセンサ
１４ 舵角センサ
１５ シフト位置センサ
５０ カメラ
５１ フロントカメラ
５２ リアカメラ
５３ 左サイドカメラ
５４ 右サイドカメラ
６５ 移動方向登録テーブル
７１ ＣＡＮ通信部
７２ 画像処理部
７３ メモリ
８０ ＣＰＵ
８１ 検出部
８２ 進行方向判定部
８３ 故障判定部
１００ 車載用故障検出装置

Claims (10)

1. 車両に搭載され、前記車両の外部を含む所定の撮像範囲を撮像する撮像部と、
   前記車両から前記車両の走行状態を示す車両情報を取得する取得部と、
   前記撮像部が撮像した複数の撮像画像に基づいて、前記撮像部の撮像範囲における被写体の移動方向を検出する検出部と、
   前記取得部が取得した前記車両情報に基づいて前記車両の進行方向を判定する進行方向判定部と、
   前記進行方向判定部が判定した進行方向に前記車両が走行し、かつ、前記撮像部が正常に動作していると仮定した場合に、前記撮像部の撮像画像により検出される前記被写体の移動方向を取得し、
   取得した前記被写体の移動方向と、前記検出部が検出した前記被写体の移動方向とが一致するか否かを判定して、前記撮像部の故障を判定する故障判定部と、
   を備えることを特徴とする車載用故障検出装置。
2. 前記検出部は、前記複数の撮像画像に含まれる第１の撮像画像と、前記第１の撮像画像よりも後に撮像された第２の撮像画像とに撮像された静止物の前記第１の撮像画像及び前記第２の撮像画像での撮像位置の変化に基づいて前記撮像部の撮像範囲における被写体の移動方向を検出することを特徴とする請求項１に記載の車載用故障検出装置。
3. 前記故障判定部が前記撮像部の故障を判定した場合に、前記撮像部が出力する撮像画像データの左右を反転させる処理部を備えることを特徴とする請求項１又は２に記載の車載用故障検出装置。
4. 前記故障判定部が前記撮像部の故障を判定した場合に、前記撮像部の故障を報知する報知部を備えることを特徴とする請求項１から３のいずれか１項に記載の車載用故障検出装置。
5. 前記進行方向判定部は、前記取得部が前記車両情報として取得した前記車両の車速、ステアリングの舵角及びシフトレバーのシフト位置の少なくともいずれかに基づいて前記車両の進行方向を判定することを特徴とする請求項１から４のいずれか１項に記載の車載用故障検出装置。
6. 車両から前記車両の走行状態を示す車両情報を取得する取得ステップと、
   車両に搭載され、前記車両の外部を含む所定の撮像範囲を撮像する撮像部が撮像した複数の撮像画像に基づいて、前記撮像部の撮像範囲における被写体の移動方向を検出する検出ステップと、
   前記取得ステップにより取得した前記車両情報に基づいて前記車両の進行方向を判定する進行方向判定ステップと、
   前記進行方向判定ステップにより判定した進行方向に前記車両が走行し、かつ、前記撮像部が正常に動作していると仮定した場合に、前記撮像部の撮像画像により検出される前記被写体の移動方向を取得し、
   取得した前記被写体の移動方向と、前記検出ステップにより検出した前記被写体の移動方向とが一致するか否かを判定して、前記撮像部の故障を判定する故障判定ステップと、
   を有することを特徴とする故障検出方法。
7. 前記検出ステップは、前記複数の撮像画像に含まれる第１の撮像画像と、前記第１の撮像画像よりも後に撮像された第２の撮像画像とに撮像された静止物の前記第１の撮像画像及び前記第２の撮像画像での撮像位置の変化に基づいて前記撮像部の撮像範囲における被写体の移動方向を検出することを特徴とする請求項６に記載の故障検出方法。
8. 前記故障判定ステップにより前記撮像部の故障を判定した場合に、前記撮像部が出力する撮像画像データの左右を反転させる反転ステップを有することを特徴とする請求項６又は７に記載の故障検出方法。
9. 前記故障判定ステップにより前記撮像部の故障を判定した場合に、前記撮像部の故障を報知する報知ステップを有することを特徴とする部を備えることを特徴とする請求項６から８のいずれか１項に記載の故障検出方法。
10. 前記進行方向判定ステップは、前記取得ステップが前記車両情報として取得した前記車両の車速、ステアリングの舵角及びシフトレバーのシフト位置の少なくともいずれかに基づいて前記車両の進行方向を判定することを特徴とする請求項６から９のいずれか１項に記載の故障検出方法。

Images