JP7137356B2 - 車載用故障検出装置、及び故障検出方法 - Google Patents
車載用故障検出装置、及び故障検出方法 Download PDFInfo
- Publication number
- JP7137356B2 JP7137356B2 JP2018097921A JP2018097921A JP7137356B2 JP 7137356 B2 JP7137356 B2 JP 7137356B2 JP 2018097921 A JP2018097921 A JP 2018097921A JP 2018097921 A JP2018097921 A JP 2018097921A JP 7137356 B2 JP7137356 B2 JP 7137356B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- unit
- failure
- captured
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
車両10には、車速センサ11、アクセル開度センサ12、ブレーキセンサ13、舵角センサ14、シフト位置センサ15及び車両制御ECU(Electronic Control Unit)20等が搭載される。
表示制御ECU70は、複数のカメラ50の撮像した撮像画像データを処理して、例えば、車両10の上方の仮想的な視点から見た車両周囲の撮像画像データ(以下、車両周囲画像データという)を生成する。表示制御ECU70は、生成した車両周囲画像データに基づく画像を表示部60に表示させる。車両10のドライバは、表示部60に表示された画像により車両10の周囲の状況、例えば、後続車が存在するか、車両10の周囲に障害物が存在するか等を確認する。また、表示制御ECU70は、車両10に搭載された複数のカメラ50の故障を診断する。
画像処理部72は、メモリ73からリアカメラ52の撮像画像データを読み出し、読み出した撮像画像データに対して、例えば、特徴量マッチング等の一般的に知られた処理を行って、撮像画像データに写った物体を検出する。また、画像処理部72は、撮像画像データから物体を検出することができない場合、次の撮像画像データをメモリ73から読み出して処理を行う。画像処理部72が検出する物体には、例えば、車両10と同一の車線を走行する車両や、対向車線を走行する車両、道路脇に設けられた交通標識、信号機、家屋、街路樹、自動販売機等が挙げられる。画像処理部72は、撮像画像データから物体を検出すると、検出した物体の撮像画像データ上での位置を示す座標情報と、検出した物体を特定する情報として物体の形状や色、大きさ等を示す情報とをCPU80に通知する。画像処理部72は、撮像画像データに対する処理が終了すると、次の撮像画像データをメモリ73から読み出して撮像画像データに写った物体を検出する。
カメラ50は、撮像画像データを生成すると、生成した撮像画像データの左右を反転させた鏡像の撮像画像データを生成する。撮像画像データを鏡像とすることで、実空間における車両10の左右の位置関係と、表示部60に表示される画像における車両10の左右の位置関係とを同一とすることができる。また、撮像画像データを鏡像とすることで、ユーザは車両10の周囲に存在する物体の位置関係を直感的に理解し易くなる。
第1しきい値及び第2しきい値は、車両10の車速に応じて複数用意され、メモリ73に予め記憶されている。例えば、車速をVとして、0km/h<V≦10km/h、11km/h≦V≦20km/h、21km/h≦V≦30km/h・・・のように、予め設定された間隔の車速ごとに値の異なる第1しきい値及び第2しきい値が用意される。
検出部81は、移動速度が第1しきい値よりも大きい物体を、対向車線を走行する車両と判定し、この物体の移動速度や移動方向を故障検出の判断材料から除外する。また、検出部81は、移動速度が第2しきい値よりも小さい物体を、同一車線を走行する後続車と判定し、この物体の移動速度や移動方向を故障検出の判断材料から除外する。
また、本実施形態では、同一の移動方向に、同一の移動速度で移動する2以上の物体を静止物と判定しているが、車両制御ECU20から車両情報として入力される車速に基づいて静止物を検出してもよい。すなわち、撮像画像データから求めた移動速度が車速にほぼ一致する物体を静止物と判定してもよい。
進行方向判定部82は、車両情報に基づいて車両10が走行状態にあるのか、停車状態にあるのかを判定する。走行状態は、車両10の車速が0km/hではない状態をいい、停車状態は、車速が0km/hである状態をいう。進行方向判定部82は、車両制御ECU20から取得した車速に基づいて車両10が走行状態にあるのか、停車状態にあるのかを判定する。
まず、故障判定部83は、進行方向判定部82が判定した車両10の進行方向に基づいて移動方向登録テーブル65を参照する。故障判定部83は、進行方向判定部82が判定した進行方向に車両10が進行する場合に、車両10に搭載された各カメラ50に撮像される静止物の移動方向の情報を移動方向登録テーブル65から取得する。移動方向登録テーブル65から取得する移動方向の情報を、基準移動方向という。
例えば、車両走行状態が、前進かつ右旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、左方向から右方向であって、車両10から徐々に遠ざかる方向との情報が登録されている。
また、車両走行状態が、前進かつ左旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、右方向から左方向であって、車両10から徐々に遠ざかる方向との情報が登録されている。
また、車両走行状態が、後退かつ右旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、右方向から左方向であって、車両10に徐々に近づく方向との情報が登録されている。
また、車両走行状態が、後退かつ左旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、左方向から右方向であって、車両10に徐々に近づく方向との情報が登録されている。
車両走行状態が、前進かつ右旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、左方向から右方向であって、車両10に徐々に近づく方向との情報が登録されている。
また、車両走行状態が、前進かつ左旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、右方向から左方向であって、車両10に徐々に近づく方向との情報が登録されている。
また、車両走行状態が、後退かつ右旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、右方向から左方向であって、車両10から徐々に遠ざかる方向との情報が登録されている。
また、車両走行状態が、後退かつ左旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、左方向から右方向であって、車両10から徐々に遠ざかる方向との情報が登録されている。
車両走行状態が、直進であって前進である場合、移動方向登録テーブル65には、静止物の移動方向として、左方向から右方向との情報が登録されている。
また、車両走行状態が、直進であって後退である場合、移動方向登録テーブル65には、静止物の移動方向として、右方向から左方向との情報が登録されている。
また、車両走行状態が、前進かつ右旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、左方向から右方向との情報が登録されている。
また、車両走行状態が、前進かつ左旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、左方向から右方向との情報が登録されている。
また、車両走行状態が、後退かつ右旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、右方向から左方向との情報が登録されている。
また、車両走行状態が、後退かつ左旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、右方向から左方向との情報が登録されている。
車両走行状態が、直進であって前進である場合、移動方向登録テーブル65には、静止物の移動方向として、右方向から左方向との情報が登録されている。
また、車両走行状態が、直進であって後退である場合、移動方向登録テーブル65には、静止物の移動方向として、左方向から右方向との情報が登録されている。
また、車両走行状態が、前進かつ右旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、右方向から左方向との情報が登録されている。
また、車両走行状態が、前進かつ左旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、右方向から左方向との情報が登録されている。
また、車両走行状態が、後退かつ右旋回である場合、移動方向登録テーブル65には、静止物移動方向として、左方向から右方向との情報が登録されている。
また、車両走行状態が、後退かつ左旋回である場合、移動方向登録テーブル65には、静止物の移動方向として、左方向から右方向との情報が登録されている。
図3に示すフローチャートを参照しながら表示制御ECU70の動作を説明する。
表示制御ECU70は、まず、CAN通信部71により車両制御ECU20から車両情報を取得する(ステップS1)。このステップS1は、本発明の「取得ステップ」に相当する。表示制御ECU70は、車両情報を取得すると、取得した車両情報に含まれるシフト位置がパーキングレンジであるか否かを判定する(ステップS2)。表示制御ECU70は、シフト位置がパーキングレンジである場合(ステップS2/YES)、車両10が停車状態にあると判定する。この場合、表示制御ECU70は、車両制御ECU20から車両情報を再度取得し、取得した車両情報に含まれるシフト位置がパーキングレンジ以外のレンジとなるまで処理の開始を待機する。また、表示制御ECU70は、シフト位置がパーキングレンジではないと判定すると(ステップS2/NO)、車両10の車速が0km/hであるか否かを判定する(ステップS3)。
また、表示制御ECU70は、車速が0km/hではない場合(ステップS3/NO)、車両走行状態の判定を行う(ステップS4)。表示制御ECU70は、車両走行状態として、車両10が前進しているのか、又は後退しているのかを判定する。また、表示制御ECU70は、車両走行状態として、車両10が直進しているのか、右旋回しているのか、又は左旋回しているのかを判定する。
リアカメラ52の撮像画像データ200には、同一車線を走行する車両201や、対向車線を走行する車両202、家屋203、街路樹204、交通標識205等が写っている。表示制御ECU70の画像処理部72は、これらの物体をリアカメラ52の撮像画像データ200から検出する。
以下の説明では、車両10が前進及び右旋回の車両走行状態にあると仮定して説明する。表示制御ECU70は、前進及び右旋回の車両走行状態に対応したリアカメラ52の基準移動方向を、移動方向登録テーブル65を参照して取得する。移動方向登録テーブル65には、前進及び右旋回に対応したリアカメラ52の基準移動方向として「左方向から右方向に遠ざかる」との情報が登録されている。
車両10の車両走行状態が前進及び右旋回である場合、基準移動方向は、「左方向から右方向に遠ざかる」との情報である。図5に示す撮像画像データ200の場合、家屋203B、街路樹204B及び交通標識205Bの位置が、家屋203A、街路樹204A及び交通標識205Aの位置よりも左にある。このため、家屋203、街路樹204及び交通標識205は右から左に移動したと判定できる。従って、表示制御ECU70は、リアカメラ52に故障が生じていると判定する。
また、図6に示す撮像画像データ200の場合、家屋203B、街路樹204B及び交通標識205Bの位置が、家屋203A、街路樹204A及び交通標識205Aの位置よりも右にある。このため、家屋203、街路樹204及び交通標識205は、左から右に移動したと判定できる。従って、表示制御ECU70は、リアカメラ52に故障が生じていないと判定する。
表示制御ECU70は、リアカメラ52に故障が生じていると判定すると、画像処理部72に、撮像画像データ200の左右を反転させて鏡像の撮像画像データ300を生成させる。これによって、実空間における車両10の左右の位置関係と、表示部60に表示される画像における車両10の左右の位置関係とを同一とすることができる。
検出部81は、カメラ50の撮像画像データと、この撮像画像データの後に撮像された撮像画像データとに基づいて、カメラ50の撮像範囲の移動方向を検出する。
進行方向判定部82は、車両10から取得した車両情報に基づいて車両10の進行方向を判定する。
故障判定部83は、進行方向判定部82が判定した進行方向に車両10が進行する場合に、カメラ50が撮像する撮像範囲の移動方向が、検出部81が検出した撮像範囲の移動方向に一致するか否かを判定する。
故障判定部83は、進行方向に進行する車両10に搭載されたカメラ50の撮像範囲の移動方向が、検出部81が検出した撮像範囲の移動方向に一致する場合、カメラ50は故障していないと判定する。また、故障判定部83は、進行方向に進行する車両10に搭載されたカメラ50の撮像範囲の移動方向が、検出部81が検出した撮像範囲の移動方向に一致しない場合、カメラ50の故障と判定する。
このため、表示制御ECU70は、車両情報や、カメラ50の撮像画像データによりカメラ50の故障を検出することができる。従って、カメラ50の故障を早期に検出して、カメラ50の撮像画像データにより車両の走行を安全に支援することができるようにすることができる。
例えば、図1に示す機能ブロックは、表示制御ECU70の備える機能を主な処理内容に応じて分類して示した概略図である。表示制御ECU70の構成は、処理内容に応じて、さらに多くのブロックに分割することもできる。また、この機能ブロックは、図1に示す1つのブロックによりさらに多くの処理を実行するように構成してもよい。また、各ブロックの処理は、1つのハードウェアで実行してもよいし、複数のハードウェアで実行してもよい。また、各ブロックの処理は、1つのプログラムで実現してもよいし、複数のプログラムで実現してもよい。
3 ブレーキペダル
4 ステアリングホイール
5 シフトレバー
10 車両
11 車速センサ
12 アクセル開度センサ
13 ブレーキセンサ
14 舵角センサ
15 シフト位置センサ
50 カメラ
51 フロントカメラ
52 リアカメラ
53 左サイドカメラ
54 右サイドカメラ
65 移動方向登録テーブル
71 CAN通信部
72 画像処理部
73 メモリ
80 CPU
81 検出部
82 進行方向判定部
83 故障判定部
100 車載用故障検出装置
Claims (10)
- 車両に搭載され、前記車両の外部を含む所定の撮像範囲を撮像する撮像部と、
前記車両から前記車両の走行状態を示す車両情報を取得する取得部と、
前記撮像部が撮像した複数の撮像画像に基づいて、前記撮像部の撮像範囲における被写体の移動方向を検出する検出部と、
前記取得部が取得した前記車両情報に基づいて前記車両の進行方向を判定する進行方向判定部と、
前記進行方向判定部が判定した進行方向に前記車両が走行し、かつ、前記撮像部が正常に動作していると仮定した場合に、前記撮像部の撮像画像により検出される前記被写体の移動方向を取得し、
取得した前記被写体の移動方向と、前記検出部が検出した前記被写体の移動方向とが一致するか否かを判定して、前記撮像部の故障を判定する故障判定部と、
を備えることを特徴とする車載用故障検出装置。 - 前記検出部は、前記複数の撮像画像に含まれる第1の撮像画像と、前記第1の撮像画像よりも後に撮像された第2の撮像画像とに撮像された静止物の前記第1の撮像画像及び前記第2の撮像画像での撮像位置の変化に基づいて前記撮像部の撮像範囲における被写体の移動方向を検出することを特徴とする請求項1に記載の車載用故障検出装置。
- 前記故障判定部が前記撮像部の故障を判定した場合に、前記撮像部が出力する撮像画像データの左右を反転させる処理部を備えることを特徴とする請求項1又は2に記載の車載用故障検出装置。
- 前記故障判定部が前記撮像部の故障を判定した場合に、前記撮像部の故障を報知する報知部を備えることを特徴とする請求項1から3のいずれか1項に記載の車載用故障検出装置。
- 前記進行方向判定部は、前記取得部が前記車両情報として取得した前記車両の車速、ステアリングの舵角及びシフトレバーのシフト位置の少なくともいずれかに基づいて前記車両の進行方向を判定することを特徴とする請求項1から4のいずれか1項に記載の車載用故障検出装置。
- 車両から前記車両の走行状態を示す車両情報を取得する取得ステップと、
車両に搭載され、前記車両の外部を含む所定の撮像範囲を撮像する撮像部が撮像した複数の撮像画像に基づいて、前記撮像部の撮像範囲における被写体の移動方向を検出する検出ステップと、
前記取得ステップにより取得した前記車両情報に基づいて前記車両の進行方向を判定する進行方向判定ステップと、
前記進行方向判定ステップにより判定した進行方向に前記車両が走行し、かつ、前記撮像部が正常に動作していると仮定した場合に、前記撮像部の撮像画像により検出される前記被写体の移動方向を取得し、
取得した前記被写体の移動方向と、前記検出ステップにより検出した前記被写体の移動方向とが一致するか否かを判定して、前記撮像部の故障を判定する故障判定ステップと、
を有することを特徴とする故障検出方法。 - 前記検出ステップは、前記複数の撮像画像に含まれる第1の撮像画像と、前記第1の撮像画像よりも後に撮像された第2の撮像画像とに撮像された静止物の前記第1の撮像画像及び前記第2の撮像画像での撮像位置の変化に基づいて前記撮像部の撮像範囲における被写体の移動方向を検出することを特徴とする請求項6に記載の故障検出方法。
- 前記故障判定ステップにより前記撮像部の故障を判定した場合に、前記撮像部が出力する撮像画像データの左右を反転させる反転ステップを有することを特徴とする請求項6又は7に記載の故障検出方法。
- 前記故障判定ステップにより前記撮像部の故障を判定した場合に、前記撮像部の故障を報知する報知ステップを有することを特徴とする部を備えることを特徴とする請求項6から8のいずれか1項に記載の故障検出方法。
- 前記進行方向判定ステップは、前記取得ステップが前記車両情報として取得した前記車両の車速、ステアリングの舵角及びシフトレバーのシフト位置の少なくともいずれかに基づいて前記車両の進行方向を判定することを特徴とする請求項6から9のいずれか1項に記載の故障検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018097921A JP7137356B2 (ja) | 2018-05-22 | 2018-05-22 | 車載用故障検出装置、及び故障検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018097921A JP7137356B2 (ja) | 2018-05-22 | 2018-05-22 | 車載用故障検出装置、及び故障検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019205032A JP2019205032A (ja) | 2019-11-28 |
JP7137356B2 true JP7137356B2 (ja) | 2022-09-14 |
Family
ID=68727454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018097921A Active JP7137356B2 (ja) | 2018-05-22 | 2018-05-22 | 車載用故障検出装置、及び故障検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7137356B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021184539A (ja) * | 2020-05-21 | 2021-12-02 | ソフトバンク株式会社 | 基地局調整装置、基地局、基地局調整システム及び基地局調整方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014010546A1 (ja) | 2012-07-10 | 2014-01-16 | 本田技研工業株式会社 | 故障判定装置 |
JP2016058912A (ja) | 2014-09-10 | 2016-04-21 | 株式会社デンソー | 車載カメラ診断装置 |
JP2017216517A (ja) | 2016-05-30 | 2017-12-07 | アイシン精機株式会社 | 画像表示システム |
-
2018
- 2018-05-22 JP JP2018097921A patent/JP7137356B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014010546A1 (ja) | 2012-07-10 | 2014-01-16 | 本田技研工業株式会社 | 故障判定装置 |
JP2016058912A (ja) | 2014-09-10 | 2016-04-21 | 株式会社デンソー | 車載カメラ診断装置 |
JP2017216517A (ja) | 2016-05-30 | 2017-12-07 | アイシン精機株式会社 | 画像表示システム |
Also Published As
Publication number | Publication date |
---|---|
JP2019205032A (ja) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6828501B2 (ja) | 駐車支援装置 | |
JP5421072B2 (ja) | 接近物体検知システム | |
US10179608B2 (en) | Parking assist device | |
CN108886602B (zh) | 信息处理装置 | |
WO2011043006A1 (ja) | 制御装置および車両周囲監視装置 | |
WO2019008764A1 (ja) | 駐車支援方法及び駐車支援装置 | |
JP6878196B2 (ja) | 位置推定装置 | |
US10703275B2 (en) | Image generation apparatus | |
US11477373B2 (en) | Periphery monitoring device | |
JP2018142885A (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム | |
JP6869467B2 (ja) | 駐車支援装置 | |
JP2009277021A (ja) | 接近物検出装置および接近物検出方法 | |
WO2015122124A1 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP2017151606A (ja) | 脇見見落とし注意システム及びコンピュータプログラム | |
JP6595647B2 (ja) | 走行制御装置、車両および走行制御方法 | |
JP7271908B2 (ja) | 周辺監視装置 | |
JP2022023870A (ja) | 表示制御装置 | |
CN113060156B (zh) | 车辆周围监视装置、车辆、车辆周围监视方法和程序 | |
JP7137356B2 (ja) | 車載用故障検出装置、及び故障検出方法 | |
JP2020042355A (ja) | 周辺監視装置 | |
JP7395913B2 (ja) | 物体検知装置 | |
WO2020148957A1 (ja) | 車両制御装置及び方法 | |
JP2004051063A (ja) | 車両周辺視認装置 | |
US11104380B2 (en) | Display controller | |
JP2009214790A (ja) | 撮像装置および方法、並びに、画像処理装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220902 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7137356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |