JP6698779B2 - 画像処理装置 - Google Patents

Description

本願は、画像処理装置に関するものである。

車両に搭載されたカメラで撮影された画像から、道路上の他の車両、歩行者、自転車、二輪車等の障害物の物標を画像処理装置によって検知し、所定距離に物標が存在すると判断した場合には警告を発生させること、およびブレーキあるいはハンドルを自動で操作することによって事故を未然に防止することが行われている。
ここで、「物標」とは、レーダ方式あるいは交通制御システムの分野において使用されている用語で、ターゲットに相当する用語である。

車両に搭載された画像処理装置において、画像を認識する機能が故障した場合には、制御が不安定な状態になる可能性が高い。そのため、極めて信頼性の高い装置が必要とされている。
画像処理装置は、カメラで撮影されたカメラ画像の歪を補正して画像認識を行う画像認識部を備えており、この画像を補正する段階で故障が発生して、歪補正が正しくできない状態に陥っている場合には、画像認識部に異常が発生していると判定する必要がある。

画像認識部に異常が発生しているか否かの判定を行うため、カメラ画像の歪を補正した画像中の消失点に着目し、画像補正部から出力された補正画像中の消失点に異常があるか否かに基づいて、画像補正部が故障しているか否かを判定することが提案されている（特許文献１）。

特許文献１に提案されている技術は、画像の中の消失点が正しく求められる状態か否かによって画像処理装置が正常に動作しているか否かの判定を行っている。
すなわち、自車両に向かって接近する撮影対象物（例えば、車両前方の路肩にある物標）が存在する場合、その撮影対象物は、カメラで撮影されたカメラ画像を補正して作成された補正後の画像の中において、消失点から画像周辺部に向かって経時的に移動する画素群として表れる。また、自車両から遠ざかる撮影対象物（例えば、車両後方の路肩にある物標）が存在する場合、その撮影対象物は、補正した画像中において画像周辺部から消失点に向かって経時的に移動する画素群として表れる。

さらに、カメラによる撮影領域の奥行き方向に向かって線状に延びている撮影対象物（例えば、自車両の進行方向に向かって直線的に延びる路面上の白線および路肩にあるガードレール）が存在する場合、その撮影対象物のエッジを画像処理によって抽出すると、抽出されたエッジは、補正した画像の中において、消失点に向かって線状に延びる画素群として表れる。このように、認識の対象となる画像が正常な場合には、移動する画素群を抽出し、消失点が正しく求められることになる。しかし、画像が異常な状態では、消失点が異常な状態になる。したがって、特許文献１に示された技術では、画像の中に消失点が正しく求められない場合には、画像認識が異常な状態であると判定するとしている。

特開２０１６−４５７１６号公報

しかし、実際の車両の運転状態において、カメラで撮影したカメラ画像データを補正した場合に、画像中に消失点がなく、画像認識が異常な状態であると判定してしまう恐れがある。例えば、車両がカーブした道路を走行している場合には、消失点が存在せず、撮影対象物が、突然、画像領域に出現することになる。そのため、他の装置から得られる情報に基づいて、車両がカーブした道路を走行していると推定される場合には、消失点の算出を一時的に見合わせることが必要になる。また、突発的な振動あるいは衝撃が検知された場合には、その間の画像を故障判定の対象から除外することが必要になる。しかし、画像処理装置による出力情報は、車両の安全走行に不可欠の情報であるため、車両の様々な走行状態に応じて判定結果が断続的になるのでは信頼性を損なうことになる。

本願は、車両の走行状態に係りなく画像認識部の故障診断を要求に応じてリアルタイムに行うことの可能な画像処理装置を提供することを目的とする。

本願の画像処理装置は、カメラ画像データから物標を検知し、検知結果を出力する画像認識部と、前記画像認識部において認識される画像処理領域に仮想の物標の仮想物標画像データを生成する仮想物標画像データ生成部と、前記カメラ画像データに前記仮想物標画像データを付加して前記画像認識部に出力する画像データ付加部と、前記画像認識部の出力した仮想物標の検知結果と前記仮想物標画像データとを照合して前記画像認識部の故障の診断を行う故障診断部とを備え、前記画像データ付加部は、前記カメラ画像データの画素値と前記仮想物標画像データの画素値を加算することを特徴とする。

カメラ画像データに仮想物標の画像データを付加して画像認識部に入力し、カメラの撮像画像の物標の検知と仮想物標の検知を同時に行い、仮想物標の検知結果から故障の診断を行うため、画像認識部の故障診断を車両走行中にリアルタイムに行うことができる。

本願の実施の形態１の画像処理装置の構成を示すブロック図である。 実施の形態１の画像処理装置における画像の状態を示す図である。 実施の形態１の画像処理装置の動作を示すフローチャートである。 実施の形態２の画像処理装置における画像の状態を示す図である。

実施の形態１
図１に本願の実施の形態１の構成を示す。
図１において、カメラ１０は、車両上に取り付けられ、車両の前方、側方、または後方を撮影した画像のカメラ画像データＤ１を画像処理装置１００に向けて出力する。カメラ画像データＤ１には、画面の各画素の輝度、色を示す数値（画素値）含まれている。画像処理装置１００は、カメラ１０が出力したカメラ画像データＤ１から、歩行者、他の車両、白線などの物標を検知し、検知した物標の画像上の位置、大きさなどの情報を検知結果として出力する。

画像処理装置１００において、カメラ画像データＤ１は、補正部２０において補正処理を受け、補正された後の画像データＤ２が画像データ付加部３０に送られる。画像データ付加部３０の出力は、画像認識部４０に送られる。画像認識部４０において、画像データ付加部３０からの画像データＤ３に基づいた物標の検知が行われ、検知した物標の画面上の位置および大きさを示す検知結果が、検知結果出力部５０を通じて出力される。

また、画像処理装置１００は、仮想物標画像データ生成部６０および仮想物標位置指定部７０を備えている。仮想物標画像データ生成部６０は、画像データＤ２とは関係なく仮想物標画像データＤ４を生成する。この仮想物標画像データＤ４は、故障診断に使用される画像データである。仮想物標位置指定部７０は、画像認識部４０が処理を行う画像データの画面上の画像処理領域における仮想物標の位置および大きさを指定するデータＤ５を出力する。仮想物標の位置および大きさを指定するデータＤ５は、仮想物標画像データ生成部６０と故障診断部８０にそれぞれ入力される。

したがって、仮想物標画像データ生成部６０は、仮想物標位置指定部７０によって指定された画面上の位置に、指定された大きさの物標を描画した仮想物標画像データＤ４を出力する。出力された仮想物標画像データＤ４は、画像データ付加部３０において、画像データＤ２に付加されて、画像データＤ３として画像認識部４０に入力される。

画像認識部４０において、仮想物標画像データを含む画像データＤ３の画像認識が行われる。そして画像認識部４０から故障診断部８０に認識の結果のデータＤ６が出力される。故障診断部８０においては、仮想物標画像データ生成部６０からの仮想物標画像データＤ４と、仮想物標位置指定部７０からの仮想物標の位置および大きさを指定するデータＤ５とを受け、認識の結果のデータＤ６が正常であるかの診断が行われ、診断の結果のデータＤ７が診断結果出力部９０から出力されるように構成されている。

図１に示した構成における画像データの状態を図２に示す。図２において（Ａ）は、画像データＤ２による画像を表している。（Ｂ）は、仮想物標画像データＤ４による画像を表している。そして、画像データＤ２に仮想物標画像データＤ４が付加された状態の画像データＤ３の状態が（Ｃ）の状態となる。この図２に示すように、仮想物標画像データは、画面の（ｘ、ｙ）の位置に、大きさ（幅ｗ、高さｈ）の単色（所定の画素値）の矩形の仮想物標のある画像データを生成している。

画像データ付加部３０は、画像データＤ２の画素値に、仮想物標画像データＤ４の画素値を加算した画像データを出力する。
画像認識部４０は、画像データ付加部３０から入力される画像データＤ３から、各種物標を検知し、検知した物標の画面上の位置および大きさを示す検知結果を出力する。画像認識部４０は、カメラ画像データから検知する物標（歩行者、他の車両、白線など）に加えて、仮想物標を検知する。

故障診断部８０は、仮想物標位置指定部７０から入力される仮想物標の位置および大きさを指定するデータＤ５と、画像認識部４０から入力される仮想物標の検知結果の位置および大きさのデータＤ６とを照合し、データＤ５とデータＤ６とが一致していれば故障していないと診断し、データＤ５とデータＤ６とが一致していなければ故障していると診断し、故障診断結果Ｄ７を出力する。

次に、上記の画像処理装置により実行される故障診断処理について、図３のフローチャートに基づいて説明する。
故障診断処理は、カメラ１０と画像処理装置１００の起動より開始され、それらが停止するまで繰り返して実行される。

はじめに、仮想物標位置指定部７０によって、カメラ画像データに仮想物標の画像を付加する位置（ｘ、ｙ）と仮想物標の大きさ（幅ｗ、高さｈ）の大きさを指定する（ステップＳ００１）。
次に、仮想物標画像データ生成部６０により、仮想物標位置指定部７０により指定された画面上の位置に、指定された大きさの物標を描画した画像データ（仮想物標画像データ）を生成する（ステップＳ００２）。

次に、画像データ付加部３０によって、カメラ画像データの画素値に、仮想物標画像データの画素値を加算した画像データを生成する（ステップＳ００３）。
次に、画像認識部４０によって、カメラ画像データに仮想物標画像データを付加した画像データに対して、物標（歩行者、他の車両、白線などの本来の物標と仮想物標）の検知を行い（ステップＳ００４）、検知した物標の画面上の位置および大きさを示す検知結果を出力する（ステップＳ００５）。

次に、故障診断部８０により、仮想物標位置指定部７０から入力される指定の仮想物標の位置および大きさと、画像認識部４０から入力される検知結果の仮想物標の位置および大きさを照合する（ステップＳ００６）。画像処理装置１００に故障がなければ、画像認識部４０の検知結果に仮想物標の検知結果が含まれ、仮想物標の位置および大きさの結果が一致するので、故障なしの診断結果を出力する（ステップＳ００７）。一致しなければ、故障ありの診断結果を出力する（ステップＳ００８）。

以上の構成によって、仮想物標の画像データがカメラ画像データに付加されて画像認識部４０に入力され、カメラ画像データからの物標の検知と仮想物標の検知を同時に行い、その仮想物標の検知結果に基づいて故障の診断を行うため、画像処理装置１００の故障診断を車両走行中にリアルタイムに行うことができる。
仮想物標画像データ生成部６０で生成される仮想物標画像データを用いて故障の診断を行うため、カメラ画像に消失点がない場合においても故障の診断を行うことができる。そのため、故障の検出率を向上させることができる。

実施の形態２
本願の実施の形態２について次に説明する。
この実施の形態２の構成は、実施の形態１に示した構成と同じである。異なるところは、画像認識部４０において処理される画像データの画像処理領域をカメラ画像データによる画像領域と、仮想物標画像データによる画像領域とに区分しているところである。
すなわち、図４に示すように、画像領域画面の一部に、カメラ画像データ領域外に仮想物標の画像データを付加するための画素値のない領域（カメラ画像データによる画素値が０（ゼロ）の領域）を予め設けている。図４の（Ａ）、（Ｂ）、（Ｃ）は、図２に示した画像の状態と同様の、各部における画像の状態を表している。

この実施の形態において、画像処理装置１００は、実施の形態１と同様、仮想物標位置指定部７０、仮想物標画像データ生成部６０、画像データ付加部３０、画像認識部４０、故障診断部８０を備え、カメラ１０の出力したカメラ画像データから、歩行者、他の車両、白線などの物標を検知し、検知した物標の画像上の位置、大きさなどの情報を検知結果として出力する。

仮想物標位置指定部７０は、実施の形態１と同様、故障診断に用いる画像データの物標の画面上の位置、大きさのデータ（仮想物標の位置および大きさデータ）を出力する。この実施の形態２においては、図４の（Ｂ）に示すように、仮想物標画像データ生成部６０の生成する仮想物標の位置および大きさを、カメラ画像データの仮想物標の画像データを付加するための領域内に収まるように指定する。
仮想物標の位置および大きさのデータは、実施の形態１と同様、仮想物標画像データ生成部６０と故障診断部８０にそれぞれ入力される。

仮想物標画像データ生成部６０は、仮想物標位置指定部７０により指定された画面上の位置に、指定された大きさの物標を描画した画像データ（仮想物標画像データ）を出力する。この実施の形態２の画像処理装置１００が実行される故障診断処理は、実施の形態１と同様に、図２のフローチャートに基づいて実施され、仮想物標の検知結果により画像認識部４０の故障が診断され、故障診断結果が出力される。

この実施の形態２においては、実施の形態１と同様に、仮想物標の画像データがカメラ画像データに付加されて画像認識部に入力され、カメラ画像データからの物標の検知と仮想物標の検知を同時に行い、その仮想物標の検知結果から故障の診断を行うため、画像処理装置の故障診断を車両走行中にリアルタイムに行うことができる。
仮想物標画像データ生成部で生成される仮想物標画像データを用いて故障の診断を行うため、カメラ画像に消失点がないときにおいても故障の診断を行うことができる。そのため、故障の検出率を向上することできる。

実施の形態１、２では、仮想物標が１つの場合を示したが、仮想物標は複数あってもよい。
また、実施の形態１、２では、仮想物標の位置・大きさは固定していたが、仮想物標位置指定部７０が仮想物標の位置および大きさを逐次変更して指定することにより、画面の一部の領域の物標が検知できなくなるという故障を検知することができる。

本願は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１０ カメラ、２０ 補正部、３０ 画像データ付加部、４０ 画像認識部、
５０ 検知結果出力部、６０ 仮想物標画像データ生成部、７０ 仮想物標位置指定部、８０ 故障診断部、９０ 診断結果出力部、１００ 画像処理装置

Claims (4)

1. カメラ画像データから物標を検知し、検知結果を出力する画像認識部と、前記画像認識部において認識される画像処理領域に仮想の物標の仮想物標画像データを生成する仮想物標画像データ生成部と、前記カメラ画像データに前記仮想物標画像データを付加して前記画像認識部に出力する画像データ付加部と、前記画像認識部の出力した仮想物標の検知結果と前記仮想物標画像データとを照合して前記画像認識部の故障の診断を行う故障診断部とを備え、前記画像データ付加部は、前記カメラ画像データの画素値と前記仮想物標画像データの画素値を加算することを特徴とする画像処理装置。
2. 前記仮想物標画像データ生成部は、前記カメラ画像データの領域内に前記仮想物標画像データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記仮想物標画像データ生成部は、前記カメラ画像データの領域外に前記仮想物標画像データを生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記仮想物標画像データ生成部は、前記仮想物標画像データの位置を逐次変更し得る仮想物標位置指定部を備えたことを特徴とする請求項１に記載の画像処理装置。

Images