JP6137081B2 - 車載機器 - Google Patents

Description

本発明は、自車両に搭載される車載機器に関し、特に自車両の周辺の撮影画像を取得する車載機器に関する。

車両に搭載される車載機器として、自車両の周辺の映像を撮影する撮影装置と、撮影装置の撮影画像を処理するマイコンとを備えた画像処理装置が知られている。画像処理装置による撮影画像の処理結果は、車両走行等に反映される場合がある。

この際、マイコンの撮影画像の取込部に異常が生じていると、撮影画像の画像処理の結果に基づく制御に影響が及ぶおそれがある。

そこで特許文献１では、撮影装置から所定のテストパターンを発生させるとともに、マイコンにテストパターンに対応したデータを格納する。そして撮影装置による撮影が開始される前に、マイコンが撮影装置から取得したテストパターンとマイコンのデータとを比較することで、撮影画像の取込部における異常を検出している。

特開２０１３−２１１７５６号公報

しかし、上記ではテストパターンを用いた異常判定の実行中は、撮影装置による撮影を行うことができない。また、撮影画像を記憶する記憶部とマイコンとを接続する経路がある場合には、その経路における異常判定を別途実行する必要が生じる。

本発明は上記に鑑みてなされたものであり、撮影画像を取得する際に、撮影画像の取込経路における異常判定を実行できる車載機器を提供することを主たる目的とする。

本発明は、自車両の周辺を撮影する撮影手段（１１）から撮影画像を取得する車載機器であって、前記撮影画像を取得する第１取込部（２１ａ）及び第２取込部（２１ｂ）を備える撮影画像取得手段（２１）と、前記撮影画像取得手段に通信手段（２５，３１）を介して接続され、前記第１取込部を介して取得した撮影画像である第１撮影画像と、前記第２取込部を介して取得した撮影画像である第２撮影画像とを異なる記憶領域に記憶する記憶手段（３０）と、前記記憶手段から取得した、前記第１撮影画像と前記第２撮影画像とについて、それら撮影画像が一致しているか否かに基づいて、前記撮影画像取得手段及び前記通信手段における異常の有無を判定する異常判定手段（２２ａ）と、前記異常判定手段で異常なしと判定された場合に、前記記憶手段に記憶された前記第１撮影画像及び前記第２撮影画像の少なくとも一方、または前記第１撮影画像及び前記第２撮影画像を合成して生成した撮影画像である合成撮影画像を画像処理して、障害物、先行車両、先行歩行者、先行物、静止車両、静止歩行者、静止物、対向車両、対向歩行者、対向物、車線、路面状態、道路形状、光源、道路標識、交通信号のうちの少なくとも一つを自車両周辺の識別情報として検出する画像処理手段（２２ｂ）と、前記画像処理手段が検出した識別情報に従って、衝突回避、速度警報、車線逸脱防止、追突警報、車間警報、車線逸脱警報、オートハイビーム、標識表示、全車速アダプティブクルーズコントロール、車線維持、車線変更事故防止、ブラインドスポット警報、ブラインドスポットモニタ、自動車線変更、前方クロストラフィック警報、後方クロストラフィック警報、踏み間違い防止、自動駐車のうち少なくとも一つに関する車両制御を実行するための指令信号を出力する車両制御手段（５０）と、を備えることを特徴とする。
特徴とする。

上記発明では、撮影画像取得手段として第１取込部及び第２取込部を設け、各取込部によって同一の撮影画像を複数の撮影画像として取得する。そして各取込部で取得した撮影画像を通信手段を介して記憶手段の異なる記憶領域に記憶する。そして記憶手段から取得した同一の撮影画像に基づく撮影画像が一致しているか否かに基づいて、撮影画像の取込経路である撮影画像取得手段及び通信手段における異常の有無を判定するようにした。この場合、撮影画像を取得しつつ、取得した撮影画像を利用して、撮影画像の取込経路である撮影画像取得手段及び通信手段における異常の有無をまとめて判定することができる。

車両制御システムの説明図。 画像処理装置の処理のフローチャート。 変容例の異常判定処理の説明図。

以下、一実施形態について図面を参照して説明する。図１において、車両制御システム１００は、画像処理装置１０、ＥＣＵ５０、センサ群６０、車両制御アクチュエータ７０を備えている。

画像処理装置１０は、撮影装置１１、レーダセンサ１２、マイコン２０、外部メモリ３０を備えている。

撮影装置１１は、ウィンドシールド内側のワイパ払拭エリア内に視野を持つ、リアビューミラー周辺に装着されるＣＭＯＳイメージセンサ等を用いたカメラであり、自車両の前方の所定領域を撮影して撮影画像を繰り返し生成し、生成した撮影画像をマイコン２０に出力する。レーダセンサ１２は、ミリ波帯またはレーザ光によるレーダ波を送受信することによって、所定の探査範囲内に存在しレーダ波を反射した物体（物標）を検出するものであり、物体と自車両との距離、相対速度、横位置等を含む情報を生成してＥＣＵ５０に送信する。なお撮影装置１１、レーダセンサ１２では、検出した物体に関する情報を生成する際に、センサ群６０から得られる情報も利用することができる。

マイコン２０は、画像取込部２１、インタフェース２５，２６、信号処理部２２を備えている。外部メモリ３０は、ＤＲＡＭ等であり、インタフェース３１、メモリセル３２を備えている。

画像取込部２１は、撮影装置１１が出力した撮影画像を画像データとして取り込む第１取込部２１ａと第２取込部２１ｂとを有している。画像取込部２１に複数の取込部を設けることで、撮影装置１１から出力された撮影画像が、複数の画像データとしてマイコン２０に取り込まれる。なお以下の説明において、第１取込部２１ａが取得した撮影画像を第１画像データ、第２取込部２１ｂが取得した撮影画像を第２画像データとする。

また第１取込部２１ａ及び第２取込部２１ｂは、取得した画像データにガンマ補正等の画像処理を施す機能を有している。各取込部によって画像データに所定の画像処理が施されることで、マイコン２０が画像データから所定の対象物を識別情報として抽出できるようになる。

識別情報となる対象物には、例えば、障害物、先行車両、先行歩行者、先行物、静止車両、静止歩行者、静止物、対向車両、対向歩行者、対向物、車線、路面状態、道路形状、光源、道路標識、交通信号等が含まれている。但し、これら全ての対象物が識別情報として検出される必要はなく、ＥＣＵ５０が実行する車両制御処理に必要となる対象物が識別情報として検出されればよい。

インタフェース２５は、マイコン２０と外部メモリ３０とをシリアル通信可能に接続する通信手段であり、第１取込部２１ａが取得した第１画像データ，第２取込部２１ｂが取得した第２画像データをそれぞれ外部メモリ３０に出力する。また、インタフェース２５は、外部メモリ３０のメモリセル３２に記憶した第１，第２画像データをマイコン２０に出力する。

外部メモリ３０のインタフェース３１は、マイコン２０のインタフェース２５と通信可能に接続された通信手段であり、第１画像データ及び第２画像データを個別に取得する。インタフェース３１を介して外部メモリ３０に出力された第１画像データ及び第２画像データは、メモリセル３２の異なるアドレス（番地）に記憶される。例えば、周知のＣｏｌｕｍｎ、Ｒｏｗ、Ｂａｎｋごとに異なるアドレスに記憶される。なお第１画像データはメモリセル３２の第１アドレス、第２画像データは第２アドレスに記憶されるとする。

信号処理部２２は、ＣＰＵ，ＲＡＭ、ＲＯＭ等を備えた周知の論理演算部を中心に構成されている。ＣＰＵは、撮影画像の取得経路における異常判定を実行する異常判定処理部２２ａと、撮影画像の画像処理を実行して識別情報を抽出する画像処理部２２ｂとを有している。ＲＯＭには、異常判定処理部２２ａ及び画像処理部２２ｂの各処理を実行するためのプログラムが記憶されている。なお、撮影画像の取込経路とは、マイコン２０に取り込まれた画像データが異常判定処理部２２ａに入力されるまでの経路であり、第１取込部２１ａ，第２取込部２１ｂ、インタフェース２５、３１が少なくとも含まれている。

異常判定処理部２２ａによる異常判定処理では、取込経路を介して取得した第１画像データ及び第２画像データの比較処理を実行して、これら２つの画像データが一致しているか否かに基づいて、撮影画像の取込経路における異常の有無をまとめて判定する。すなわち第１取込部２１ａ，第２取込部２１ｂ，インタフェース２５，３１の異常の有無を一度に判定する。

画像処理部２２ｂは、異常判定処理部２２ａによって異常なしと判定され、外部メモリ３０から取込経路を介して取得した第１画像データ及び第２画像データの少なくとも一方、または第１画像データ及び第２画像データを合成して生成した画像データ（合成画像データ）から所定の識別情報を抽出する。

マイコン２０のインタフェース２６は、マイコン２０とＥＣＵ５０とをシリアル通信可能に接続するものであり、マイコン２０が抽出した識別情報をＥＣＵ５０に出力したり、ＥＣＵ５０からの信号（応答信号等）をマイコン２０に出力したりする。

センサ群６０は、車速センサ、各種加速度センサ、舵角センサ等、車両の挙動を検出するセンサの他、自車両の位置データを出力する装置（例えばＧＰＳ）、地図データの供給源となる装置（例えばナビゲーション装置）、通信装置（例えば路車間通信装置やスマートフォン等の携帯端末）、レーダ等、車両の周辺環境を検出するセンサ等が含まれる。これらのセンサは単独で或いは各センサの検出結果を融合して使用する。

ＥＣＵ５０は、ＣＰＵ、ＲＡＭ、ＲＯＭを少なくとも備えた周知のマイクロコンピュータを中心に構成されている。ＲＯＭには、画像処理部２２ｂから出力された識別情報に基づき、車両制御アクチュエータ７０を用いて後述の各種車両制御を実現するためのプログラムが記憶されている。ＥＣＵ５０は、インタフェース２６を介して入力された識別情報に基づいて、後述する所定の車両制御を実行するための指令信号を、車内ＬＡＮ等（図示略）を通じて車両制御アクチュエータ７０に出力する。

車両制御アクチュエータ７０は、車両におけるボディ系、パワートレイン系、シャーシ系の制御対象の挙動を制御する複数の装置からなる。その制御対象には、操舵装置７１（電動パワーステアリング等）、スピーカ７２、ディスプレイ７３、制御装置７４（ブレーキ等）、駆動装置７５（アクセル等）、灯火類７６等が含まれている。

車両制御アクチュエータ７０は、車両の走行状態に応じて制御対象の挙動を制御する他、ＥＣＵ５０からの指令によって制御対象の挙動を制御することにより、衝突回避、速度警報、車線逸脱防止、追突警報、車間警報、車線逸脱警報、オートハイビーム、標識表示、全車速アダプティブクルーズコントロール（ＡＣＣ）、車線維持、車線変更事故防止、ブラインドスポット警報、ブラインドスポットモニタ、自動車線変更、前方クロストラフィック警報、後方クロストラフィック警報、踏み間違い防止、自動駐車などの周知の車両制御を実行する。なお車両制御では、これらの全ての車両制御を実現する必要はなく、少なくとも一つを実行するように構成されていればよい。また車両制御は、外部からの指示やセンサ群６０から把握される情報状況に応じて適宜実行されるように構成されてもよい。

次に、以上の車両制御システム１００において、マイコン２０の信号処理部２２が実行する異常判定処理の詳細を説明する。なお以下の処理は、所定の周期で実行する。

図２において、ステップＳ１０で撮影画像が入力されたか否かを判定する。詳しくは、インタフェース２５，３１を介して、外部メモリ３０から信号処理部２２の画像処理部２２ｂに画像情報が入力された際に、撮影画像が入力されたと肯定判定する。ステップＳ１０で肯定判定した場合には、ステップＳ１１で、入力された撮影画像の異常判定を実施済みであるか否かを判定する。ステップＳ１１で否定判定した場合には、ステップＳ１２で、撮影画像の異常判定を実行する。

異常判定処理では、外部メモリ３０の第１アドレスに記憶された第１画像データ、第２アドレスに記憶された第２画像データをインタフェース２５，３１を介して呼び出して、これらの第１，第２画像データが一致するか否かを判定する。例えば、比較処理として、各画像データを構成する各画素を所定の輝度レベルで二値化した際に、第１画像データと第２画像データの画素の輝度情報が所定の割合以上で一致するか否かを判定する。そして第１，第２画像データが一致すると判定した場合には異常判定フラグをオフにする。一方、第１，第２画像データが不一致であると判定した場合には異常判定フラグをオンにする。

ステップＳ１１で、異常判定を実施済みであると判定した場合、ステップＳ１３で異常判定フラグがオフであるか否かを判定する。ステップＳ１３で異常判定フラグがオフと判定した場合には、ステップＳ１４で、識別情報を抽出する。例えば、第１画像データ及び第２画像データのいずれか（又は両方）を外部メモリ３０から呼び出して、呼び出した画像データに周知のフィルタ処理をすることで識別情報を抽出する。ステップＳ１５では、識別情報をＥＣＵ５０に出力する。この場合、ＥＣＵ５０は、識別情報に基づいて所定の車両制御を実行するための指令信号を出力する。

ステップＳ１３で異常判定フラグがオンであると判定した場合には、ステップＳ１６でその画像データをＥＣＵ５０の処理に使用しないようにする。例えば、外部メモリ３０から呼び出した画像データに無効化処理を行う。又は、外部メモリ３０から該当する画像データを呼び出さないようにする。この場合、ＥＣＵ５０はその撮影画像（画像データ）を用いた制御を実行しないこととなる。なおステップＳ１０で否定判定した場合には処理を終了する。

上記によれば以下の優れた効果を奏することができる。

・マイコン２０に第１取込部２１ａ，第２取込部２１ｂを設け、各取込部２１ａ，２１ｂによって同一の撮影画像を複数の画像データとして取得する。そして各取込部２１ａ，２１ｂで取得した複数の画像データをインタフェース２５，３１を介して外部メモリ３０の異なるメモリセル３２に記憶する。そして、マイコン２０が、インタフェース２５，３１を介して外部メモリ３０から取得した同一の撮影画像に基づく画像データが一致しているか否かに基づき、撮影画像の取込経路（取込部２１ａ，２１ｂ、インタフェース２５，３１）における異常の有無を判定するようにした。この場合、撮影画像を取得しつつ、取得した撮影画像を利用して、撮影画像の取込経路における異常の有無をまとめて判定することができる。

・車両制御においては、現在の撮影画像だけでなく、過去に取得した撮影画像も用いて、各種の画像解析が実行される。その観点からすると、取込部２１ａ，２１ｂの取込データを外部メモリ３０に記憶して、その記憶データを使う場合において、その信頼性を担保することができる。

・異常判定処理部２２ａにより異常なしと判定された場合に、異常なしと判定された撮影画像を用いて自車両の運転を支援するための処理が実行されるようにした。この場合、正常な撮影画像を用いて自車両の運転を支援するための処理を適切に実行できる。

本発明は、上記実施形態の記載内容に限定されず、次のように実行されてもよい。なお以下の説明において上記と同じ構成には同じ図番号を付し詳述は省略する。

・上記において、第１画像データ及び第２画像データの共通する一部の画像領域のデータを用いて異常判定を実行してもよい。例えば、図３に示すように、第１画像データＡにおける画像領域Ｒ１のデータと、第２画像データＢにおける画像領域Ｒ２のデータとを用いて、異常判定を実行する。この場合、マイコン２０による処理負荷を軽減できる。

・異常判定処理部２２ａによって取込経路に異常ありと判定された場合、第１取込部２１ａと第２取込部２１ｂの処理を交互に実行するようにしてもよい。すなわち、１つの撮影手段に対して２つの取込部を設ける構成では、撮影画像の相互比較による異常判定が可能である一方、各取込部からは各々独立して正常な撮影画像を取得し、それを用いることができる。この場合、第１取込部２１ａによる第１撮影画像の取込処理と、第２取込部２１ｂによる第２撮影画像の取込処理とを交互に実行する場合、一方の取込部に異常が生じている際に、異常状態の取込部によって連続して撮影画像が取り込まれることに伴う不都合の発生を回避できる。

例えば、第１取込部２１ａに異常があることで取込経路に異常ありと判定された場合、第１取込部２１ａと第２取込部２１ｂとによる画像データの取得を交互に実行することで、異常状態の第１取込部２１ａによる画像データの取込み処理が連続して実行されることに伴う不都合を回避することができる。なお、異常判定処理部２２ａによる異常判定の有無の結果に関わらず、第１取込部２１ａ及び第２取込部２１ｂによる画像データの取得が交互に実施されるようにしてもよい。

・複数の取込部を設けた場合、各取込部で取得された画像データを用いて異なる種類の識別情報を抽出できる。例えば、第１画像データ及び第２画像データの各々に異なる画像処理（例えばガンマ補正）を実施する。すなわち各画像データに識別情報の種類に応じてより適切な画像処理を実施する。この場合、画像処理部２２ｂが識別情報を抽出する精度を高めることができ、識別情報を用いた車両制御の適切なる実施が可能となる。なおこの場合にも、所定の周期で上記の異常判定処理が実施されることで、取込経路における異常の有無を判定しつつ、識別情報に基づく車両制御の精度を高めることができる。また第１画像データ及び第２画像データからそれぞれ異なる識別情報を抽出した場合には、抽出された各識別情報を車両制御アクチュエータ７０による異なる種類の車両制御に使用できる。このように第１撮影画像及び第２撮影画像から異なる種類の識別情報が検出されるようにしたことで、ＥＣＵ５０は異なる識別情報に基づいて、複数の指令信号を出力することができ、複数種類の車両制御を同時に実行することができる。

・上記では、撮影装置１１を用いて車両の進行方向前方の画像を撮影する例を示した。これ以外にも撮影装置１１を用いて車両の左右方向又は後方の撮影画像を取得する場合にも、上記の構成を適用可能である。

・上記では、画像取込部２１、インタフェース２５，３１を介して、外部メモリ３０のメモリセル３２に記憶した第１画像データ及び第２画像データを用いて、異常判定を行う例を説明した。これ以外にも、画像取込部２１で取得した第１画像データ及び第２画像データを、図示を略すマイコン２０のＲＡＭ等に記憶して、異常判定処理部２２ａがＲＡＭの画像情報を呼び出して異常判定を実行する場合にも、撮影画像の取込経路における異常の有無を一度に判定することができる。

・異常判定処理部２２ａによる異常判定処理は、全ての撮影画像に対して実行される他、選択された撮影画像に対して実行されてもよい。

１１…撮影装置、２１ａ…第１取込部、２１ｂ…第２取込部、２２ａ…異常判定処理部、２５…インタフェース、３０…外部メモリ、３１…インタフェース。

Claims (7)

1. 自車両の周辺を撮影する単一の撮影手段（１１）から撮影画像を取得する車載機器であって、
   前記撮影手段が取得した同一の前記撮影画像を、複数の画像データとして取得する第１取込部（２１ａ）及び第２取込部（２１ｂ）を備える撮影画像取得手段（２１）と、
   前記撮影画像取得手段に通信手段（２５，３１）を介して接続され、前記第１取込部を介して取得した撮影画像である第１撮影画像と、前記第２取込部を介して取得した撮影画像である第２撮影画像とを異なる記憶領域に記憶する記憶手段（３０）と、
   前記記憶手段から取得した、前記第１撮影画像と前記第２撮影画像とについて、それら撮影画像が一致しているか否かに基づいて、前記撮影画像取得手段及び前記通信手段における異常の有無を判定する異常判定手段（２２ａ）と、
   前記異常判定手段で異常なしと判定された場合に、前記記憶手段に記憶された前記第１撮影画像及び前記第２撮影画像の少なくとも一方、または前記第１撮影画像及び前記第２撮影画像を合成して生成した撮影画像である合成撮影画像を画像処理して、障害物、先行車両、先行歩行者、先行物、静止車両、静止歩行者、静止物、対向車両、対向歩行者、対向物、車線、路面状態、道路形状、光源、道路標識、交通信号のうちの少なくとも一つを自車両周辺の識別情報として検出する画像処理手段（２２ｂ）と、
   前記画像処理手段が検出した識別情報に従って、衝突回避、速度警報、車線逸脱防止、追突警報、車間警報、車線逸脱警報、オートハイビーム、標識表示、全車速アダプティブクルーズコントロール、車線維持、車線変更事故防止、ブラインドスポット警報、ブラインドスポットモニタ、自動車線変更、前方クロストラフィック警報、後方クロストラフィック警報、踏み間違い防止、自動駐車のうち少なくとも一つに関する車両制御を実行するための指令信号を出力する車両制御手段（５０）と、
   を備えることを特徴とする車載機器。
2. 前記異常判定手段は、前記撮影画像取得手段、前記通信手段からなる取込経路を介して取得した前記第１撮影画像及び前記第２撮影画像が一致しているか否かに基づいて、前記取込経路における異常の有無を判定する請求項１に記載の車載機器。
3. 前記画像処理手段は、前記異常判定手段によって前記第１撮影画像及び前記第２撮影画像が不一致であると判定された際、前記記憶手段に記憶された当該第１撮影画像及び第２撮影画像を用いた前記識別情報の検出を実行しない請求項１又は２に記載の車載機器。
4. 前記異常判定手段は、前記記憶手段に記憶された前記第１撮影画像及び前記第２撮影画像の共通する一部の画像領域のデータを用いて異常判定を実行する請求項１乃至３のいずれか１項に記載の車載機器。
5. 前記第１取込部による前記第１撮影画像の取込処理と、前記第２取込部による前記第２撮影画像の取込処理とを交互に実行する手段を備える請求項１乃至４のいずれか１項に記載の車載機器。
6. 前記画像処理手段は、前記第１撮影画像から第１識別情報を検出し、前記第２撮影画像から前記第１識別情報とは異なる種類の第２識別情報を検出する請求項１乃至５のいずれか１項に記載の車載機器。
7. 前記車両制御手段は、前記第１識別情報に基づく第１指令信号と、前記第２識別情報に基づく第２指令信号とをそれぞれ出力する請求項６に記載の車載機器。

Images