JP6259132B2

JP6259132B2 - 車載用カメラ装置

Info

Publication number: JP6259132B2
Application number: JP2016570579A
Authority: JP
Inventors: 善之武藤; 力也樫村
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2015-01-20
Filing date: 2016-01-12
Publication date: 2018-01-10
Anticipated expiration: 2036-01-12
Also published as: JPWO2016117401A1; EP3249902A4; US20170345306A1; WO2016117401A1; US10152890B2; EP3249902A1

Description

本発明は、車載用カメラ装置に関する。

特許文献１には、非有効画素領域に故障検出用パターン領域を形成し、有効画素領域の全領域から画像信号を読み出した後、有効画素領域とは異なる駆動方法に切り換えて故障検出用パターンを読み出し、パターンに応じた信号が出力されなくなったときを故障と判断する技術が示されている。

特開2009-118427号公報

特許文献１の技術では、有効画素領域の画像信号を読み出した後、駆動方法を切り換えて故障検出用パターンを読み出しているので、全体の読み出し期間がその分だけ長くなり、画像認識処理の開始が遅くなり、画像認識の結果を用いた動作が遅れる。また、故障検出用パターンを読み出している間の画像処理が中断されるおそれがある。

本発明は、撮像素子からの各ビットのデータ線信号を毎フレームで迅速且つ的確に検出することを目的とする。

上記課題を解決する本発明の車載用カメラ装置は、撮像素子部のデータ線信号が固着状態となっているか否かを診断する故障診断処理部を有する車載用カメラ装置であって、前記撮像素子部は、出力される画像データが画像演算に用いられる有効画像領域と、出力される画像データが画像演算に用いられない無効画像領域とに区分される全撮像領域を有し、前記無効画像領域内に前記撮像素子部のデータ線信号が固着状態となっているか否かを診断するための固着診断用データを有する診断用データ領域が設けられており、前記故障診断処理部は、前記全撮像領域の画像データを取得している画像取得期間と、該画像取得期間の後で前記有効画像領域の画像データに基づいて画像演算処理を行っている画像演算処理期間との少なくとも一方において、前記診断用データ領域の固着診断用データを用いて故障診断処理を行うことを特徴とする。

本発明によれば、撮像素子からのデータ線信号のいずれかが固着状態となり、取得画像データの輝度値に異常が発生し、適切な視差算出処理、および画像認識処理が出来なくなることで、ターゲット距離の算出が不能状態に陥っていることを精度良く検出し、より信頼性の高い安全運転システムを提供できる車載用カメラ装置を構築することが出来る。

実施例における、撮像素子の出力画像領域の構成を示す図。ステレオカメラのブロック構成図。診断用データ領域の構成図。左右撮像素子部から画像データを取得してから画像認識処理を実行するまでのタイミングの一例を示す図。データ線固着診断用データ領域の格納先の一例を示す図。データ線固着診断用データ領域の格納先の一例を示す図。左右撮像素子部に対して診断処理を実行するタイミングの一例を示す図。優先度及び処理負荷に応じた処理内容の切り替えを説明するフローチャート。

以下、本発明に関する実施例を、添付の図面を参照しながら詳細に説明する。なお、以下の説明では、一実施例としてステレオカメラの場合を例に説明するが、本発明はステレオカメラに限定されるものではなく、単眼カメラあるいは複数のカメラを有する車載用カメラ装置にも適用できるものである。

自動車の安全運転支援システムとして、車間距離警報システム、アダプティブクルーズコントロールシステム、プリクラッシュブレーキシステム等が挙げられるが、上記システムを構築する際に、先行車両、走行車線、自車周辺の障害物など、車両前方の環境を的確に認識するセンシング技術が必須となる。車両前方の環境認識センサとして車載用カメラ装置がある。

車載用カメラ装置の中でも、ステレオカメラは左右のカメラの視差情報から立体物認識が可能となるため、歩行者や縁石など任意形状の立体物を検出する上で優れている。ステレオカメラでは、車両進行方向に対して左右に取り付けられたカメラの撮像素子部で同タイミングに取得した画像の輝度情報の差異より、視差を算出することで立体物の認識が可能となる。

しかし、左右の撮像素子部とのデータ線の断線や短絡によって出力信号であるデータ線信号が固着状態に陥った場合、画像認識処理部で得られる画像は実環境と異なる輝度情報となってしまうため、視差算出結果が異常になり、立体物を適切に検出することができなくなる。したがって、ステレオカメラの信頼性を確保するには、撮像素子部からのデータ線信号が固着状態になったことを検出するための診断機能が必要となる。

本発明の車載用カメラ装置は、撮像素子が出力する画像領域において、画像認識処理部が使用する有効画像領域以外の無効画像領域中に、データ線信号固着診断用の固定値データを埋め込み、適切なタイミングでデータ線信号固着診断を毎フレーム適切に実行することを特徴とする。

本発明の車載用カメラ装置のうち代表的な一つは、二つの撮像素子を有したステレオカメラ２０１であり、図１に示す画像データを撮像素子から取得することを特徴とする。

図１は、本実施例における、撮像素子の出力画像領域の構成を示す図である。
全撮像領域１０１は、撮像素子によって出力される全画面の画像データであり、有効画像領域１０２と無効画像領域１０３と診断用データ領域１０４とを有した構成となっている。有効画像領域１０２は、例えば立体物を認識するための画像認識処理部２０７において使用される画像データを有する領域であり、無効画像領域１０３は、画像認識処理部２０７では画像データが使用されていない領域である。そして、診断用データ領域１０４は、無効画像領域１０３内の一部に格納されている領域である。すなわち、全撮像領域１０１は、出力される画像データが画像演算に用いられる有効画像領域１０２と、出力される画像データが画像演算に用いられない無効画像領域１０３とに区分され、無効画像領域１０３内に撮像素子部のデータ線信号が固着状態となっているか否かを診断するための固着診断用データを有する診断用データ領域１０４が設けられている。

有効画像領域１０２の位置や大きさは、固定、あるいは、アプリケーションに応じて可変とすることもできる。診断用データ領域１０４は、データ線信号の固着状態を検出可能な固着診断用データを有しており、具体的には、データ線信号のＨＩレベル固着状態を検出可能な固定値データであるＨＩレベル固着診断用データ３０２と、データ線信号のＬＯレベル固着状態を検出可能な固定値データであるＬＯレベル固着診断用データ３０１とを有している。診断用データ領域１０４は、有効画像領域１０２よりもデータ取得方向前側に画像データが取得される位置に配置されており、本実施例では、全撮像領域１０１の左上の隅に設けられている。

図３は、診断用データ領域の構成図であり、１６ビット階調を有する撮像素子を使用した場合の固着診断用データの構成例を示す図である。
ＬＯレベル固着診断用データ３０１は、１６ビット階調のデータ線信号の固着診断を実行するために最低１６画素分の診断用データを有する。データ線信号のＬＯレベル固着状態を検出するために、診断用データとして無効画像領域１０３に埋め込む期待値データは、診断対象データ線ビットに相当するビットのみＨＩ、上記以外のビットはＬＯとなるような値を設定する。

例としてＢｉｔ０のＬＯレベル固着状態を検出するための期待値データは、診断用１６ビットデータとして０ｘ０００１（Ｂｉｔ０の値のみＨＩ）を設定する。Ｂｉｔ０のデータ線信号がＬＯレベル固着状態となっている場合、撮像素子から出力された画像データの取得時において、上記Ｂｉｔ０のＬＯレベル固着診断用データが格納された画素の値は０ｘ００００となるため、データ線信号がＬＯレベル固着状態になっていると診断できる。Ｂｉｔ１〜Ｂｉｔ１５のＬＯレベル固着診断用データも同様に設定する。

ＨＩレベル固着診断用データ３０２も同様に、撮像素子の階調と同じ１６画素分の診断用データを有する。データ線信号のＨＩレベル固着状態を検出するために、診断用データとして無効画像領域１０３に埋め込む期待値データは、診断対象データ線ビットに相当するビットのみＬＯ、上記以外のビットはＨＩとなるような値を設定する。

例としてＢｉｔ０のＨＩレベル固着状態を検出するための期待値データは、診断用１６ビットデータとして０ｘＦＦＦＥ（Ｂｉｔ０の値のみＬＯ）を設定する。Ｂｉｔ０のデータ線がＨＩレベル固着状態となっている場合、撮像素子から出力された画像データの取得時において、上記Ｂｉｔ０のＨＩレベル固着診断用データが格納された画素の値は０ｘＦＦＦＦとなるため、データ線信号がＨＩレベル固着状態になっていると診断できる。Ｂｉｔ１〜Ｂｉｔ１５のＨＩレベル固着診断用データも同様に設定する。

上記した固着診断用データを撮像素子から出力させ、画像データ取得時点の固着診断用データの格納箇所を確認することで、データ線信号のＬＯレベル固着状態、またはＨＩレベル固着状態を検出可能となる。

図２は、本発明の一実施例に関するステレオカメラ２０１のブロック構成図である。
ステレオカメラ２０１は、車両進行方向に対して右側に取り付けられた右撮像素子部２０２と、車両進行方向に対して左側に取り付けられた左撮像素子部２０３と、右撮像素子部２０２および左撮像素子部２０３から出力される画像データを取得する画像データ取得部２０４と、画像データ取得部２０４で取得された左右画像データから立体物の認識処理で必要な視差情報などを算出する画像演算処理部２０５と、画像データ取得部２０４で取得された左右画像データや画像演算処理部２０５で生成された画像データを使用する処理領域に転送する画像データ転送部２０６と、視差情報など各種画像データを元にして立体物認識などを実行する画像認識処理部２０７と、画像データ線固着診断用データを用いてデータ線信号が固着状態であるか否かの故障診断を実行する故障診断処理部２０８と、画像認識処理部２０７にて検出された認識結果を元にして車両制御処理を演算する車両制御処理部２０９と、故障診断処理部２０８にて異常判定された際に、外部に異常状態を伝達するための報知処理部２１０を備えている。

また、ステレオカメラ２０１は、車両制御処理部２０９にて演算された車両制御情報や、報知処理部２１０から出力される故障情報をＣＡＮ（Controller Area Network）などの車載用通信バス２１１などに接続し、外部ＥＣＵにステレオカメラ２０１の出力情報を伝達する。

右撮像素子部２０２と左撮像素子部２０３は、それぞれ複数の画素が行列配置された構成を有している。右撮像素子部２０２と左撮像素子部２０３で撮像された画像の画像データは、画像データ取得部２０４によって取得される。本実施例では、右撮像素子部２０２と左撮像素子部２０３において各々全撮像領域１０１の１列目左端の画素から右端に向かって行方向に画像データが取得され、２列目以降に順次下方に列方向に移行しながら全撮像領域１０１のすべての画像データ（全画面の画像データ）が取得される。そして、取得されたすべての画像データの中から有効画像領域１０２の画像データが画像演算処理部２０５の画像演算処理に用いられる。診断用データ領域１０４は、全撮像領域１０１の左上の隅に設けられているので、全撮像領域１０１から画像データを取得する際に、最初に取得される。

図４は、右撮像素子部２０２および左撮像素子部２０３から画像データを取得してから画像認識処理部２０７での処理開始までのタイミングの一例を示す図である。
撮像素子からの画像データ取得タイミングを表す垂直同期信号４０１が、画像データ出力期間中はＨＩレベル信号になっている例を挙げると、撮像素子が出力する全有効ライン数のデータを画像データ取得部２０４で取得中のとき、すなわち、全撮像領域１０１の画像データを取得中のときは、垂直同期信号４０１はＨＩレベルとなっている。

画像データ取得部２０４にて全撮像領域１０１の画像データの取得を完了した時点ｔ１で垂直同期信号４０１はＬＯレベルとなり、同タイミングより画像演算処理部２０５で画像演算処理が開始される。そして、画像演算処理部２０５での演算処理が完了した時点ｔ２で立体物認識に必要な画像データが揃うので、画像認識処理部２０７での演算処理が開始される。よって、画像認識処理部２０７での演算処理が開始される前までに、撮像素子からのデータ線信号の固着状態を検出する必要がある。

本発明によれば、無効画像領域１０３に診断用データ領域１０４を設けて、画像データ取得部２０４で全撮像領域１０１の画像データを取得する際に、診断用データ領域１０４の固着診断用データも取得することにより、認識処理が開始される前まで、すなわち、画像取得期間と画像演算処理期間の少なくとも一方において、データ線信号の固着状態の診断を行うことができる。したがって、明暗などの環境に影響を受けることなく、撮像素子からのデータ線信号が固着状態となって立体物認識が正常に実行されない状態になっていることを迅速に精度良く検出し、より信頼性の高い運転支援システムを提供することができる。

本発明のデータ線固着診断用データ領域は、図５に示す領域に格納する態様も一例として挙げられる。図５は、データ線固着診断用データ領域の格納先の一例を示す図である。

本実施例において特徴的なことは、診断用データ領域１０４を有効画像領域１０２の画像データが取得される直前の位置に配置したことである。

診断用データ領域１０４は、有効画像領域１０２における画像データの取得を開始する開始点よりもデータ取得方向前側に連続して配置されている。本実施例では、全撮像領域１０１の左端から右端に向かって画像データが取得され、順次下方に移動して全撮像領域１０１のすべての画像データが取得されるようになっているので、診断用データ領域１０４は、有効画像領域１０２の図中上部左端となる開始点よりも左側の位置に連続して配置されている。かかる位置に診断用データ領域１０４を配置することで、有効画像領域１０２の画像データを撮像素子から取得する直前におけるデータ線信号の固着状態を診断することが可能となる。したがって、例えば全撮像領域１０１の上部左端より画像データの取得を開始してから固定診断用データ領域１０４の固着診断用データを取得するまでの間に、データ線信号の固着状態が発生した場合でも、かかる固着状態を検出することができる。

本発明のデータ線固着診断用データ領域は、図６に示す領域に格納する態様も一例として挙げられる。図６は、データ線固着診断用データ領域の格納先の一例を示す図である。

本実施例において特徴的なことは、診断用データ領域１０４を有効画像領域１０２よりもデータ取得方向後側に配置したことであり、特に、有効画像領域１０２のすべての画像データが取得された直後の位置に配置したことである。

診断用データ領域１０４は、有効画像領域１０２における画像データの取得を終了する終了点よりもデータ取得方向後側に連続して配置されている。本実施例では、全撮像領域１０１の左端から右端に向かって画像データが取得され、順次下方に移動して全撮像領域１０１のすべての画像データが取得されるようになっているので、診断用データ領域１０４は、有効画像領域１０２の図中下部右端となる終了点よりも右側の位置に連続して配置されている。かかる位置に診断用データ領域１０４を配置することで、有効画像領域１０２のすべての画像データを取得した直後に診断用データ領域１０４から固着診断用データを取得することができる。したがって、当該フレームの画像データの信頼性を確認することができる。

図７は、左右撮像素子部に対して診断処理を実行するタイミングの一例を示す図である。
撮像素子から出力される画像データによって、画像認識処理部２０７での演算処理負荷が変動することが考えられる。例として、車両走行中に先行車両や歩行者など立体物のターゲットが複数存在する画像データを取得した場合、立体物検知処理が数多く動作するため、処理負荷が大きくなる。一方で、車両停止中で立体物が何もなく、認識すべきターゲットが存在しない画像データを取得した場合は、画像認識処理部２０７の処理負荷は軽くなる。

ステレオカメラ２０１のハードウェア制約条件によっては、故障診断実行で発生する処理負荷の影響によって、画像認識処理が所定時間以内に完了しない場合が発生する。上記問題を解決するため、画像認識処理の処理負荷が大きい画像データを取得した場合は、データ線信号の固着診断を実行する撮像素子部の個数を限定させることで、認識処理実行に対する影響を最小限に抑えることが可能となる。

ここで、画像認識処理を実行する際に、左右撮像素子部２０２、２０３から出力される各画像データのうち、いずれかの優先度が高い場合には、優先度が高い画像データを出力する撮像素子部に対するデータ線信号の固着診断を優先して実行することが望ましい。例として、一方の撮像素子部で得られた画像のみを使用して露光制御を実行したり、特定に認識処理を実行する場合は、同撮像素子部のデータ線信号の固着診断を優先的に実行すべきである。

図８は、優先度及び処理負荷に応じた処理内容の切り替えを説明するフローチャートである。
初めに、撮像素子部の優先度の確認（Ｓ８０１）を実行する。左右一対の撮像素子部は、互いの間で優先度が設定されている。一対の撮像素子部のうち、診断対象の撮像素子部が優先度の高い側の場合（Ｓ８０１でＹＥＳ）、処理負荷の大小に関わらず、優先度が高い側の撮像素子部の診断処理を実行する。そして、優先度が低い側の撮像素子部の場合、当該フレームの処理負荷状況の確認（Ｓ８０２）を実行し、診断処理の実行有無を判断する。

処理負荷状況の確認（Ｓ８０２）で、当該フレームの処理負荷が予め設定された基準値よりも小さいと判断した場合（Ｓ８０２でＹＥＳ）、優先度が低い側の撮像素子部の診断処理も実行する。逆に、当該フレームの処理負荷が大きい（基準値以上）と判断した場合（Ｓ８０２でＮＯ）、優先度が低い側の撮像素子部の診断処理を実行しないようにする。これにより、認識処理実行に対する影響を最小限に抑えることが可能となる。

例えば図７に示す例では、フレーム１の認識処理期間における処理負荷が基準値以上（処理負荷:大）との判断に基づき、優先度が高い側である右の撮像素子部２０２の診断処理のみを実行し、優先度が低い側である左の撮像素子部２０３の診断処理は実行しないようにしている。そして、フレーム２の認識処理期間における処理負荷が基準値よりも小さい（処理負荷:小）との判断に基づき、優先度が高い側である右の撮像素子部２０２の診断処理と、優先度が低い側である左の撮像素子部２０３の診断処理の両方を実行するようにしている。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１０１全撮像領域
１０２有効画像領域
１０３無効画像領域
１０４診断用データ領域
２０１ステレオカメラ（車載用カメラ装置）
２０２右撮像素子部
２０３左撮像素子部
２０４画像データ取得部
２０５画像演算処理部
２０６画像データ転送部
２０７画像認識処理部
２０８故障診断処理部
２０９車両制御処理部
２１０報知処理部
２１１車載用通信バス
３０１ＬＯレベル固着診断用データ
３０２ＨＩレベル固着診断用データ
４０１垂直同期信号

Claims

撮像素子部のデータ線信号が固着状態となっているか否かを診断する故障診断処理部を有する車載用カメラ装置であって、
前記撮像素子部は、出力される画像データが画像演算に用いられる有効画像領域と、出力される画像データが画像演算に用いられない無効画像領域とに区分される全撮像領域を有し、前記無効画像領域内に前記撮像素子部のデータ線信号が固着状態となっているか否かを診断するための固着診断用データを有する診断用データ領域が設けられており、
前記故障診断処理部は、前記全撮像領域の画像データを取得している画像取得期間と、該画像取得期間の後で前記有効画像領域の画像データに基づいて画像演算処理を行っている画像演算処理期間との少なくとも一方において、前記診断用データ領域の固着診断用データを用いて故障診断処理を行うことを特徴とする車載用カメラ装置。
請求項１に記載の車載用カメラ装置であって、
前記診断用データ領域は、前記有効画像領域よりもデータ取得方向前側に配置されている車載用カメラ装置。
請求項２に記載の車載用カメラ装置であって、
前記診断用データ領域は、前記有効画像領域における前記画像データの取得を開始する開始点よりもデータ取得方向前側に連続して配置されている車載用カメラ装置。
請求項１に記載の車載用カメラ装置であって、
前記診断用データ領域は、前記有効画像領域よりもデータ取得方向後側に配置されている車載用カメラ装置。
請求項４に記載の車載用カメラ装置であって、
前記診断用データ領域は、前記有効画像領域における前記画像データの取得を終了する終了点よりもデータ取得方向後側に連続して配置されている車載用カメラ装置。
請求項１に記載の車載用カメラ装置であって、
前記有効画像領域の画像データに基づいて画像認識処理を行う画像認識処理部を有し、
前記故障診断処理部は、前記画像認識処理部による画像認識処理の処理負荷状況に応じて前記撮像素子部の診断処理の実行有無を判断する車載用カメラ装置。
請求項６に記載の車載用カメラ装置であって、
互いの間で優先度が設定された左右一対の前記撮像素子部を有し、
前記故障診断処理部は、前記画像認識処理部による画像認識処理の処理負荷が予め設定された基準値以上の場合に、前記撮像素子部のうち、優先度が高い側の診断処理のみを実行し、前記基準値よりも小さい場合に、優先度が高い側と低い側の両方の診断処理を実行する車載用カメラ装置。