JP7162572B2

JP7162572B2 - 外界認識装置

Info

Publication number: JP7162572B2
Application number: JP2019119461A
Authority: JP
Inventors: 恵史塩見
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-06-27
Filing date: 2019-06-27
Publication date: 2022-10-28
Anticipated expiration: 2039-06-27
Also published as: JP2021005820A

Description

本発明は、外界を撮像する撮像素子を備えた外界認識装置に係り、特に撮像素子の故障検知に関する。

車両制御装置には、ある機能、部品が故障した場合に生じる事象を回避する安全機構が必要になる。車両制御装置には、外界を認識するセンサと、センサによって得た信号を処理して情報を得る認識系マイコンと、その情報をもとに他の車両制御装置と通信して、制御指令を送る制御系マイコンの２種類を備えるものがある。車両制御手段を持った外界認識装置の故障による事象の例として、撮像素子の故障によって異常な画像データが出力された場合に、車両制御を誤り、意図しない急制動が発生する場合がある。この解決策として、外界認識装置が起動する際に、特定のデータを撮像素子に送り、期待通りのデータが戻ってくるがどうかを判別することによって、故障を検知する方法がある。

特開２００８－１９０８６８号公報

上記方法を、外界認識装置が起動した後に行う場合、一度外界認識の機能を止めた後に、特定のデータを送らなければ、診断することができない。車両制御する場合には、起動後に外界認識の機能を止めることはできないため、車両が動いている時の外界認識装置の故障を検出することができない。

外界認識装置が起動後に故障検出を行う場合、撮像素子の故障を判断できない場合がある。撮像素子の故障としては、画像データを出力できなくなる、または、撮像素子から出力された画像データ（複数のビット）を伝送する複数の信号線（以下、画像データ線）のいずれかが異物によってＧＮＤと短絡しＬｏｗレベルに固着することが考えられる。一方、前方が確認できないほど外界が暗い場合も、撮像素子から出力される画像データを構成する複数のビットのうち上位側の１または複数のビット（以下、上位側ビット）を伝送する画像データ線がＬｏｗレベルに固着する。そのため、画像データの上位側ビットを伝送する画像データ線がＬｏｗレベルに固着した場合、それが撮像素子の故障に起因するものか外界が暗闇であることに起因するものか区別がつかない。よって、画像データの上位側ビットを伝送する画像データ線がＬｏｗレベルで固着した場合、外界認識装置が正常か故障かを判別することができない。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、外界の撮像中に撮像素子の故障を検出できると共に、外界が暗闇である場合に撮像素子の故障を誤検出することを防止できる外界認識装置を提供することにある。

上記目的を達成するために、本発明は、外界を撮像する画素からの電圧信号を複数のビットからなるビット列に変換して出力する複数の撮像素子と、前記複数の撮像素子から出力されるビット列からなる画像データを処理する第１のコントローラとを備えた外界認識装置において、前記第１のコントローラは、前記複数の撮像素子のうちの少なくとも１つの撮像素子が出力するビット列のうち最上位ビットから数えて１つまたは複数のビットからなる上位側ビットが所定時間Ｌｏｗレベルに固着しなかった場合に、前記複数の撮像素子から出力されるビット列に基づいて前記複数の撮像素子の故障判定を実行し、前記複数の撮像素子の全ての上位側ビットが前記所定時間Ｌｏｗレベルに固着した場合に、前記複数の撮像素子の故障判定を実行しないものとする。

以上のように構成した本発明によれば、複数の撮像素子のうちの少なくとも１つの撮像素子の上位側ビットが所定時間Ｌｏｗレベルに固着しなかった場合（外界が暗闇でない場合）に、複数の撮像素子から出力されるビット列に基づいて複数の撮像素子の故障判定が実行され、複数の撮像素子の全ての上位側ビットが前記所定時間Ｌｏｗレベルに固着した場合（外界が暗闇である場合）に、複数の撮像素子の故障判定が実行されない。これにより、外界の撮像中に撮像素子の故障を検出できると共に、外界が暗闇である場合に撮像素子の故障を誤検出することを防止できる。

発明に係る外界認識装置によれば、外界の撮像中に撮像素子の故障を検出できると共に、外界が暗闇である場合に撮像素子の故障を誤検出することを防止できる。

本発明の実施の形態に係るステレオカメラの全体概略構成図である。本発明の実施の形態に係るステレオカメラの概略回路構成図である。本発明の実施の形態に係るステレオカメラの故障判定に関わる動作を示すフローチャートである。

以下、本発明の実施の形態に係る車両制御装置としてステレオカメラを例に挙げ、図面を参照して説明する。なお、各図中、同等の部材には同一の符号を付し、重複した説明は適宜省略する。

図１は、本実施の形態に係るステレオカメラの全体概略構成図であり、図２は、本実施の形態に係るステレオカメラの概略回路構成図である。

図１、図２に示すように、本発明の実施の形態に係るステレオカメラ１０１は、外界情報を取得する撮像素子１０２，１０３と、撮像素子１０２，１０３から画像データ線２０１，２０２を介して受信した１２ビットＤ０～Ｄ１１からなる画像データを処理して、人や車などの立体物や車線情報を出力する認識系マイコン１０４と、認識系マイコン１０４から出力された情報をもとに車両制御指令を生成し、出力する制御系マイコン１０５とを備える。

本実施の形態では、認識系マイコン１０４は、撮像素子１０２，１０３から出力される画像データを伝送する画像データ線２０１，２０２のそれぞれが一定時間閾値電圧を越えなかった場合に固着と判定する固着判定部２０３，２０４と、固着判定部２０３，２０４の判定結果をもとに撮像素子１０２，１０３の故障を判定する故障判定部２０５と、外部からの入力によって認識系マイコン１０４をリセットするリセット部２０６とを備える。

制御系マイコン１０５は、故障判定部２０５からの故障判定をもとに、他の車両制御装置に故障を通知する故障通知部２０７と、認識系マイコン１０４のリセット信号を出力するリセット信号出力部２０８を備える。

次に、どのように故障を検知するかについて説明する。撮像素子１０２，１０３の故障としては、画像データを出力できなくなる、または、撮像素子１０２，１０３から出力された画像データ（複数のビット）を伝送する画像データ線２０１，２０２のいずれかが異物によってＧＮＤと短絡しＬｏｗレベルに固着することが考えられる。

一方、前方が確認できないほど外界が暗い場合も、撮像素子１０２，１０３から出力される画像データを構成する複数のビットＤ０～Ｄ１１のうち上位側の１または複数のビット（以下、上位側ビット）を伝送する画像データ線がＬｏｗレベルに固着する。例えば、本実施の形態では、撮像素子１０２，１０３から出力される画像データを構成する複数のビットＤ０～Ｄ１１のうち、上位側の２ビットＤ１０，Ｄ１１がＬｏｗレベルに固着するものとする。

そのため、一方の撮像素子から出力される画像データの上位側ビットＤ１１，Ｄ１０を伝送する画像データ線がＬｏｗレベルに固着した場合、それが前記一方の撮像素子の故障に起因するものか外界が暗闇であることに起因するものか区別がつかない。しかし、複数の撮像素子１０２，１０３が同時に故障することは考えにくく、一方の撮像素子が故障することによって複数の撮像素子１０２，１０３の上位側ビットを伝送する画像データ線が同時にＬｏｗレベルに固着することは通常あり得ない。

そこで、本実施の形態では、撮像素子１０２，１０３のどちらか一方の画像データ線のみがＬｏｗレベルに固着した場合は、故障判定部２０５は画像データ線がＬｏｗレベルに固着した方の撮像素子を故障と判定し、撮像素子１０２，１０３の双方の画像データ線がＬｏｗレベルに固着した場合は、故障判定部２０５は外界が暗闇であると判定し、撮像素子１０２，１０３の故障判定を行わないこととする。本実施の形態では、ステレオカメラ１０１を動作させた状態での画像データを基に故障判定を行っているので、車両が動いている時に撮像素子１０２，１０３の故障を検知することが可能となる。

図３は、ステレオカメラ１０１の故障判定に関わる動作を示すフローチャートである。以下、各ステップを順に説明する。

まず、ステップＳ１において、認識系マイコン１０４の固着判定部２０３は、撮像素子１０２の上位側ビットＤ１１，Ｄ１０が所定時間Ｌｏｗレベルに固着しているか否かを判定し、判定結果を故障判定部２０５へ出力する。

ステップＳ１でＹＥＳ（撮像素子１０２の上位側ビットＤ１１，Ｄ１０が所定時間Ｌｏｗレベルに固着している）と判定された場合は、認識系マイコン１０４の固着判定部２０４は、撮像素子１０３の上位側ビットＤ１１，Ｄ１０が所定時間Ｌｏｗレベルに固着しているか否かを判定し、判定結果を認識系マイコン１０４の故障判定部２０５へ出力する（ステップＳ２）。

ステップＳ２でＹＥＳ（撮像素子１０３の上位側ビットＤ１１，Ｄ１０が所定時間Ｌｏｗレベルに固着している）と判定された場合は、故障判定部２０５は、外界が暗闇であると判定し、判定結果を制御系マイコン１０５の故障通知部２０７へ出力する（ステップＳ３）。

ステップＳ３に続き、故障通知部２０７は、他の車両制御装置がステレオカメラ１０１からの車両制御の指令を実行しないように、他の車両制御装置にステレオカメラ１０１の機能停止を通知し（ステップＳ４）、ステップＳ１に戻る。

ステップＳ１でＮＯ（撮像素子１０２の上位側ビットＤ１１，Ｄ１０のいずれかが所定時間Ｌｏｗレベルに固着していない）と判定された場合は、故障判定部２０５は、外界が暗闇でないと判定し、判定結果を故障通知部２０７へ出力する（ステップＳ６）。

ステップＳ６に続き、故障通知部２０７は、他の車両制御装置がステレオカメラ１０１の機能を利用できるように、他の車両制御装置にステレオカメラ１０１の機能停止の通知を解除する（ステップＳ７）。

ステップＳ７に続き、固着判定部２０３は、撮像素子１０２のビットＤ１１～Ｄ０のいずれかが所定時間Ｌｏｗレベルに固着しているか否かを判定する（ステップＳ８）。

ステップＳ８でＹＥＳ（撮像素子１０２のビットＤ１１～Ｄ０のいずれかが所定時間Ｌｏｗレベルに固着している）と判定された場合は、故障判定部２０５は、撮像素子１０２を故障と判定し、判定結果を故障通知部２０７へ出力する（ステップＳ９）。

ステップＳ９に続き、故障通知部２０７は、撮像素子１０２の故障を制御系マイコン１０５のリセット信号出力部２０８および他の車両制御装置に通知する（ステップＳ１０）。

ステップＳ１０に続き、リセット信号出力部２０８は、認識系マイコン１０４のリセット部２０６へリセット信号を出力し、認識系マイコン１０４を停止させ（ステップＳ１１）、処理を終了する。認識系マイコン１０４を停止させることで、認識系マイコン１０４から誤った認識結果が出力されることを防止できる。仮に、故障から復帰し画像データが出力されたとしても、一度故障した撮像素子からの画像データで処理を行わないように、認識系マイコン１０４は復帰させず、故障通知はそのまま保持する。この状態がステレオカメラ１０１をシャットダウンするまで続く。

ステップＳ８でＮＯ（撮像素子１０２のビットＤ１１～Ｄ０のいずれも所定時間Ｌｏｗレベルに固着していない）と判定された場合は、固着判定部２０４は、撮像素子１０３のビットＤ１１～Ｄ０のいずれかが所定時間Ｌｏｗレベルに固着しているか否かを判定し、判定結果を故障判定部２０５へ出力する（ステップＳ１２）。

ステップＳ１２でＹＥＳ（撮像素子１０３のビットＤ１１～Ｄ０のいずれかが所定時間Ｌｏｗレベルに固着している）と判定された場合は、故障判定部２０５は、撮像素子１０３を故障と判定し、判定結果を故障通知部２０７へ出力する（ステップＳ１３）。

ステップＳ１３に続き、故障通知部２０７は、撮像素子１０３の故障をリセット信号出力部２０８および他の車両制御装置に通知し（ステップＳ１４）、ステップＳ１１へ進む。

本実施の形態では、外界を撮像する画素からの電圧信号を複数のビットからなるビット列に変換して出力する複数の撮像素子１０２，１０３と、複数の撮像素子１０２，１０３から出力されるビット列に基づいて前記外界の画像を形成する第１のコントローラ１０４とを備えた外界認識装置１０１において、第１のコントローラ１０４は、複数の撮像素子１０２，１０３のうちの少なくとも１つの撮像素子が出力するビット列のうち最上位ビットＤ１１から数えて１つまたは複数のビットからなる上位側ビットＤ１１，Ｄ１０が所定時間Ｌｏｗレベルに固着しなかった場合に、複数の撮像素子１０２，１０３から出力されるビット列Ｄ０～Ｄ１１に基づいて複数の撮像素子１０２，１０３の故障判定Ｓ８，Ｓ１２を実行し、複数の撮像素子１０２，１０３の全ての上位側ビットＤ１１，Ｄ１０が前記所定時間Ｌｏｗレベルに固着した場合に、複数の撮像素子１０２，１０３の故障判定Ｓ８，Ｓ１２を実行しない。

以上のように構成した本実施の形態によれば、複数の撮像素子１０２，１０３のうちの少なくとも１つの撮像素子の上位側ビットＤ１１，Ｄ１０が所定時間Ｌｏｗレベルに固着しなかった場合（外界が暗闇でない場合）に、複数の撮像素子１０２，１０３から出力されるビット列Ｄ０～Ｄ１１に基づいて複数の撮像素子１０２，１０３の故障判定Ｓ８，Ｓ１２が実行され、複数の撮像素子１０２，１０３の全ての上位側ビットＤ１１，Ｄ１０が前記所定時間Ｌｏｗレベルに固着した場合（外界が暗闇である場合）に、複数の撮像素子１０２，１０３の故障判定Ｓ８，Ｓ１２が実行されない。これにより、外界の撮像中に撮像素子１０２，１０３の故障を検出できると共に、外界が暗闇である場合に撮像素子１０２，１０３の故障を誤検出することを防止できる。なお、本実施の形態では、上位側ビットを２ビットで構成したが、上位側ビットは外界が暗闇の場合に確実にＬｏｗレベルに固着するビットであれば良く、最上位ビットＤ１１の１ビットのみ、または最上位ビットＤ１１を含む連続する３ビット以上で構成しても良い。

また、第１のコントローラ１０４は、複数の撮像素子１０２，１０３の全ての上位ビットＤ１１，Ｄ１０が所定時間Ｌｏｗレベルに固着した場合に、外界が暗闇であると判定する。これにより、画像データ線２０１，２０２のいずれかがＬｏｗレベルに固着した場合に、それが故障によるものか外界が暗闇であることによるものかを識別することが可能となる。

また、本実施の形態に係る外界認識装置１０１は、第２のコントローラ１０５を備え、第２のコントローラ１０５は、第１のコントローラ１０４が一の撮像素子を故障と判定した場合に、第１のコントローラ１０４をリセットし、第１のコントローラ１０４が外界を暗闇と判定した場合に、第１のコントローラ１０４をリセットしない。これにより、外界が暗闇であって撮像素子１０２，１０３の故障判定が行われない場合に、第１のコントローラ１０４の動作を継続させ、撮像素子１０２，１０３のいずれかが故障と判定された場合に、第１のコントローラ１０４を停止させることができる。

以上、本発明の実施例について詳述したが、本発明は、上記した実施例に限定されるものではなく、様々の変形例や応用例が含まれる。例えば、上記した実施例は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

１０１…ステレオカメラ（外界認識装置）、１０２，１０３…撮像素子、１０４…認識系マイコン（第１のコントローラ）、１０５…制御系マイコン（第２のコントローラ）、２０１，２０２…画像データ線、２０３，２０４…固着判定部、２０５…故障判定部、２０６…リセット部、２０７…故障通知部、２０８…リセット信号出力部、Ｄ０～Ｄ９…ビット、Ｄ１０，Ｄ１１…ビット（上位側ビット）。

Claims

外界を撮像する画素からの電圧信号を複数のビットからなるビット列に変換して出力する複数の撮像素子と、
前記複数の撮像素子から出力されるビット列からなる画像データを処理する第１のコントローラとを備えた外界認識装置において、
前記第１のコントローラは、
前記複数の撮像素子のうちの少なくとも１つの撮像素子が出力するビット列のうち最上位ビットから数えて１つまたは複数のビットからなる上位側ビットが所定時間Ｌｏｗレベルに固着しなかった場合に、前記複数の撮像素子から出力されるビット列に基づいて前記複数の撮像素子の故障判定を実行し、
前記複数の撮像素子の全ての上位側ビットが前記所定時間Ｌｏｗレベルに固着した場合に、前記複数の撮像素子の故障判定を実行しない
ことを特徴とする外界認識装置。
請求項１に記載の外界認識装置において、
前記第１のコントローラは、前記複数の撮像素子の全ての上位側ビットが所定時間Ｌｏｗレベルに固着した場合に、前記外界が暗闇であると判定する
ことを特徴とする外界認識装置。
請求項２に記載の外界認識装置において、
第２のコントローラを備え、
前記第２のコントローラは、
前記第１のコントローラが前記複数の撮像素子のいずれかを故障と判定した場合に、前記第１のコントローラをリセットし、
前記第１のコントローラが前記外界を暗闇と判定した場合に、前記第１のコントローラをリセットしない
ことを特徴とする外界認識装置。