JP6427611B2 - 車両画像処理装置、及び、車両画像処理システム - Google Patents

Description

本発明の実施形態は、車両画像処理装置、及び、車両画像処理システムに関する。

自動車等の車両に搭載して、前方車両と衝突の恐れがある場合に、アラートを発する前方衝突警報装置が普及してきている。このような前方衝突警報装置では、当該車両と前方車両との間の距離を計測するために、ミリ波レーダーやツインカメラなど、特別な機器を装備する必要がある。また、撮像した車両の前方の画像をリアルタイムで処理する必要があることから、高性能な演算処理能力が必要である。

一方で、衝突事故等が発生した場合の記録を保持するために、車両の前方を継続的に撮像し続ける、車両画像処理装置の一種であるドライブレコーダも普及してきている。このドライブレコーダに、撮像した画像に基づく画像処理機能を持たせ、前方車両と衝突の恐れがある場合にアラートを発する機能を持たせたものも登場してきている。しかし、既存のドライブレコーダでは、前方車両との距離を計算する上で必要とされる消失点に関する情報について、内蔵モニター等を見ながら、運転者等が事前に設定する必要があり、また、ドライブレコーダのカメラ位置の微調整を繰り返さなければならない。これは、運転者等にとって煩雑であり、改善が望まれている。

また、ドライブレコーダが撮像をした画像から前方車両と当該車両との間の距離を算出するために、前方車両の形が定義された辞書を用いて、パターンマッチングを行うことから、大きなデータ量の定義辞書が必要となる。このため、ドライブレコーダに高度な演算処理能力が求められ、ドライブレコーダの製造コストを低減する妨げとなっている。

特許第２８７０３７２号 特許第４３７７４７４号

本実施形態の目的は、設定作業が簡易で、且つ、演算処理の軽減が図られた、車両画像処理装置、及び、そのような車両画像処理装置を備える車両画像処理システムを提供することにある。

本実施形態に係る画像処理装置は、自車両の前方車両の画像を連続的且つ継続的に撮影する撮影装置と、少なくとも画像検出領域算出プログラム、および車両位置算出プログラムを実行する演算処理部と、を具備し、前記演算処理部は、前記前方車両の画像に基づいて算出した、前記画像上の消失点と自車両のボンネット位置とを取得し、前記撮影装置により撮像された前記前方車両の画像のうち、取得した前記消失点よりも下方で前記ボンネット位置より上方にある一部の領域を画像検出領域として算出し、前記前方車両の画像の輝度信号に基づいて画像平均輝度値を算出し、前記画像平均輝度値が第１輝度閾値以上の場合は昼間と判定し、前記昼間と判定した場合、前記画像検出領域の直下の切り出した矩形領域の平均輝度値から路面輝度値を算出し、前記路面輝度値に基づいて前記画像検出領域に含まれる影領域を抽出し、前記抽出された影領域に基づいて画像上の前記前方車両の位置を算出し、前記画像平均輝度値が第２輝度閾値以下の場合は夜間と判定し、前記夜間と判定した場合、前記画像検出領域の輝度マップを用いて前記前方車両のテールランプの位置を特定するとともに、自車両のヘッドライトが前記前方車両に当たり反射している画像上のハイライト領域を特定し、前記テールランプの位置と前記画像上のハイライト領域とに基づいて画像上の前記前方車両の位置を算出する。

本実施形態に係る車両画像処理システムは、車両に搭載可能な車両画像処理装置と、前記車両画像処理装置がネットワークを介して接続するサーバとを備える車両画像処理システムであって、前記サーバは、前記車両画像処理装置に設けられた撮影装置で撮像された、自車両の前方車両の画像を前記ネットワークを介して取得し、前記撮影装置の画像取得部で取得した前記前方車両の画像に基づいて消失点、および前記自車両のボンネット位置を算出して前記車両画像処理装置に送信し、前記車両画像処理装置は、前記サーバから前記消失点と前記ボンネット位置とを取得し、前記撮影装置により撮像された前記前方車両の画像のうち、取得した前記消失点よりも下方で前記ボンネット位置より上方にある一部の領域を画像検出領域として算出し、前記前方車両の画像の輝度信号に基づいて画像平均輝度値を算出し、前記画像平均輝度値が第１輝度閾値以上の場合は昼間と判定し、前記昼間と判定した場合、前記画像検出領域の直下の切り出した矩形領域の平均輝度値から路面輝度値を算出し、前記路面輝度値に基づいて前記画像検出領域に含まれる影領域を抽出し、前記抽出された影領域に基づいて画像上の前記前方車両の位置を算出し、前記画像平均輝度値が第２輝度閾値以下の場合は夜間と判定し、前記夜間と判定した場合、前記画像検出領域の輝度マップを用いて前記前方車両のテールランプの位置を特定するとともに、自車両のヘッドライトが前記前方車両に当たり反射している画像上のハイライト領域を特定し、前記テールランプの位置と前記画像上のハイライト領域とに基づいて画像上の前記前方車両の位置を算出する。

本実施形態に係る車両画像処理システムのハードウェア構成を説明するブロック図。 本実施形態に係る車両画像処理装置で実行される前方衝突アラート処理の内容を説明するフローチャートを示す図。 本実施形態に係るサーバで実行される撮像装置位置補正処理の内容を説明するフローチャートを示す図。 撮像装置で撮像された車両の前方の画像の一例を用いて、消失点とボンネット位置と画像検出領域との関係を説明する図。 本実施形態に係るサーバで実行される消失点算出処理の内容を説明するフローチャートを示す図。 本実施形態に係るサーバで実行されるボンネット位置算出処理の内容を説明するフローチャートを示す図。 本実施形態に係る車両画像処理装置で実行される距離算出処理の内容を説明するフローチャートを示す図。 本実施形態に係る車両画像処理装置で実行される画像検出領域算出処理の内容を説明するフローチャートを示す図。 本実施形態に係る車両画像処理装置で実行される昼間の前方車両位置算出処理の内容を説明するフローチャートを示す図。 撮像装置で撮像された車両の前方の昼間の画像の一例を用いて、画像上の前方車両の位置を算出する処理を説明する図。 本実施形態に係る車両画像処理装置で実行される夜間の前方車両位置算出処理の内容を説明するフローチャートを示す図。 撮像装置で撮像された車両の前方における夜間の画像の一例を用いて、テールランプの位置から、画像上の前方車両の位置を算出する処理を説明する図。 撮像装置で撮像された車両の前方における夜間の画像の一例を用いて、ハイライト領域の位置から、画像上の前方車両の位置を算出する処理を説明する図。 撮像装置で撮像された車両の前方における画像の一例を用いて、算出された画像上の前方車両の位置を説明する図。 画像上の前方車両の位置に基づいて、当該車両から前方車両までの距離を算出する際に用いられる距離算出テーブルの一例を示す図。 本実施形態に係る車両画像処理システムにおける車両画像処理装置とサーバを機能ブロックとして説明する図。

以下、図面を参照しながら、一実施形態に係る車両画像処理装置及び車両画像処理システムを説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行うこととする。

図１は、本実施形態に係る車両画像処理システム１のハードウェア構成を説明するためのブロック図である。この図１に示すように、本実施形態に係る車両画像処理システム１は、車両画像処理装置１０と、サーバ２０とを備えて構成されている。車両画像処理装置１０は、いわゆるドライブレコーダとも呼ばれる装置であり、自動車やバス、トラック等の車両に設置される。但し、車両画像処理装置１０は、専用のドライブレコーダで構成せずとも、例えば、スマートフォン等の撮像機能と通信機能を兼ね備えた携帯型情報端末で構成することも可能である。

車両画像処理装置１０は、ネットワークを介して、サーバ２０に接続される。本実施形態においては、車両画像処理装置１０は、車両が移動している間にも随時、サーバ２０とデータの送受信ができるように、無線ネットワークを介して、サーバ２０に接続される。サーバ２０は、企業のデータセンタや管理センタに設置された演算処理能力の高い大型コンピュータであり、車両画像処理装置１０から受信した各種データを蓄積するとともに、蓄積されたデータを解析する機能を有している。複数の車両に車両画像処理装置１０が設置された場合、サーバ２０は、複数の車両画像処理装置１０と接続されることとなる。

より具体的には、車両画像処理装置１０は、例えば、演算処理部３０を備えており、また、この演算処理部３０に接続された、撮像装置３２と、画像処理部３４と、位置測定部３６と、角度検出部３８と、加速度検出部４０と、無線通信部４２と、アラート出力部４４と、メモリ４６とを備えており、さらに、このメモリ４６に接続されたインターフェース４８を備えている。

演算処理部３０は、例えば、ＣＰＵ（Central Processing Unit）により構成されており、車両画像処理装置１０が取得したデータの各種処理を行うとともに、この車両画像処理装置１０の全体的な制御を行う。演算処理部３０は、例えばメモリ４６に格納されているプログラムを読み込んで実行することにより、各種処理や制御を実現する。

撮像装置３２は、例えば、動画撮像用のカメラで構成されており、この車両画像処理装置１０が設置された車両の前方を、連続的且つ継続的に撮像する。撮像装置３２で撮像した車両の前方の画像は、例えば、メモリ４６に動画像として格納される。なお、図１においては、撮像装置３２は、車両画像処理装置１０の構成要素の一部をなしているが、必ずしも、車両画像処理装置１０の構成要素でなくてもよい。例えば、運転者が所有するスマートフォン等の携帯型情報端末に備えられたカメラを撮像装置３２として車両に設置して、この携帯型情報端末のカメラが撮像した画像を用いることにより、車両画像処理装置１０を実現するようにしてもよい。

画像処理部３４は、例えば、ＧＰＵ（Graphics Processing Unit）等の専用プロセッサで構成されており、撮像装置３２で撮像された画像に対して各種の処理を行う。画像処理部３４が処理をする画像に関するデータは、撮像装置３２から直接取得をしてもよいし、或いは、メモリ４６に格納された画像に関するデータを間接的に取得するようにしてもよい。なお、専用プロセッサである画像処理部３４は、必ずしも必要な処理部ではなく、演算処理装置３０によるソフトウェア演算により画像処理を行うようにすれば、この画像処理部３４は省略することも可能である。

位置測定部３６は、例えば、ＧＰＳ（Global Positioning System）信号受信装置により構成されており、この車両画像処理装置１０が設置された車両の位置を測定して特定する。位置測定部３６は、位置測定精度を向上させるために、受信したＧＰＳ信号の情報に加えて、加速度検出部４０で検出された加速度の情報等を補助的に用いるようにしてもよい。

角度検出部３８は、例えば、ジャイロセンサ等により構成されており、この車両画像処理装置１０が設置された車両の角度を検出する。加速度検出部４０は、例えば、ＭＥＭＳ（Micro Electro Mechanical System）技術を用いた半導体センサにより構成されており、この車両画像処理装置１０が設置された車両の加速度を検出する。

無線通信部４２は、車両画像処理装置１０とサーバ２０との間の無線通信を実現するための装置であり、本実施形態においては、例えば、撮像装置３２で撮像された車両の前方の画像が、サーバ２０に送信され、また、位置測定部３６で測定された位置情報、角度検出部３８で検出された角度情報、及び、加速度検出部４０で検出された加速度情報が、サーバ２０に送信される。なお、図１においては、無線通信部４２は、車両画像処理装置１０の構成要素の一部をなしているが、必ずしも、車両画像処理装置１０の構成要素でなくてもよい。例えば、運転者が所有するスマートフォン等の携帯型情報端末に備えられた通信機能を無線通信部４２として使用して、画像に関するデータや各種情報をサーバ２０に送信することにより、車両画像処理装置１０を実現するようにしてもよい。

アラート出力部４４は、例えば、スピーカやＬＥＤ（Light Emitting Diode）により構成されており、本実施形態においては、この車両画像処理装置１０が搭載された車両と、前方車両との間の距離が、所定の閾値以下になった場合に、アラートを運転者に出力する機能を有している。具体的には、アラート出力部４４がスピーカで構成されている場合には、警告音を鳴らして運転者に注意を喚起し、アラート出力部４４がＬＥＤで構成されている場合には、ＬＥＤが点滅して運転者に注意を喚起する。

メモリ４６は、例えば、ハードディスクドライブやソリッドステートドライブにより構成されており、上述したように、撮像装置３２で撮像された車両の前方の画像が格納され、また、演算処理部３０で実行される各種のプログラムが格納される。

インターフェース４８は、外部記憶装置５０に格納されているデータを読み出して、メモリ４６に格納するためのインターフェースであり、ＳＤ規格、ＵＳＢ規格、ＡＴＡ規格などに準拠して、メモリ４６と外部記憶装置５０との間のデータの遣り取りを実現させる。本実施形態においては、例えば、メモリ４６に格納されている、撮像装置３２で撮像された車両の前方の画像を読み出して、外部記憶装置５０に格納することが可能である。

これに対して、サーバ２０は、演算処理部６０を備えており、また、この演算処理部６０に接続された、無線通信部６２と、データ記憶部６４と、メモリ６６と、画像処理部６８と、データ加工部７０とを備えている。

演算処理部６０は、例えば、ＣＰＵ（Central Processing Unit）により構成されており、サーバ２０が取得したデータの各種処理を行うとともに、このサーバ２０の全体的な制御を行う。演算処理部６０は、例えばメモリ６６に格納されているプログラムを読み込んで実行することにより、各種処理や制御を実現する。

無線通信部６２は、車両画像処理装置１０とサーバ２０との間の無線通信を実現するための装置であり、本実施形態においては、例えば、撮像装置３２で撮像された車両の前方の画像を、車両画像処理装置１０から受信して取得し、また、位置測定部３６で測定された位置情報、角度検出部３８で検出された角度情報、及び、加速度検出部４０で検出された加速度情報を、車両画像処理装置１０から受信して取得する。

データ記憶部６４は、例えば、大容量ハードディスクドライブにより構成されており、車両画像処理装置１０から取得した画像に関するデータが、格納されている。複数の車両画像処理装置１０から画像に関するデータを取得するため、本実施形態においては、例えば、１分あたり３コマの静止画を取得して格納することにより、記憶すべきデータ量を削減している。さらに、本実施形態においては、１分あたり３コマの静止画を取得して格納するのは、最初の１０分であり、その後の１０分は静止画を取得しない。そして、静止画を取得しない１０分が経過した後に、再度、１分あたり３コマの静止画を１０分間取得して格納し、これを都合３回繰り返す。このため、本実施形態においては、データ記憶部６４に、合計９０枚の静止画が格納されることとなる。

さらには、サーバ２０においては、静止画をデータ記憶部６４に格納するのではなく、後述するように、取得した画像データに基づいて演算処理装置３０が算出した消失点及びボンネット位置を、データとして格納するようにしてもよい。これにより、さらなるデータ量の削減を図ることができる。

メモリ６６は、例えば、ハードディスクドライブやソリッドステートドライブにより構成されており、上述したように、演算処理部６０で実行される各種のプログラムが格納される。画像処理部６８は、例えば、ＧＰＵ（Graphics Processing Unit）等の専用プロセッサで構成されており、データ記憶部６４に格納されている画像に関するデータに対して各種の処理を行う。データ加工部７０は、例えば、コプロセッサにより構成されており、演算処理部６０が実行すべきデータ加工の処理を補助する。なお 、専用プロセッサである画像処理部６８及びデータ加工部７０は、必ずしも必要な処理部ではなく、演算処理装置６０によるソフトウェア演算により画像処理やデータ加工処理を行うようにすれば、これら画像処理部６８及びデータ加工部７０は省略することも可能である。

次に、各種フローチャートに基づいて、本実施形態に係る車両画像処理システム１の処理内容について詳しく説明する。

図２は、本実施形態に係る前方衝突アラート処理の内容を説明するフローチャートを示す図である。この前方衝突アラート処理は、車両画像処理装置１０で実行される処理であり、例えば、演算処理部３０がメモリ４６に格納されている前方衝突アラートプログラムを読み込んで実行することにより実現される処理である。この前方衝突アラート処理が、この車両画像処理システム１で前方衝突警報機能を実現するためのメイン処理となる。

この前方衝突アラート処理においては、まず、車両画像処理装置１０が起動される（ステップＳ１０）。例えば、運転者等のユーザが車両画像処理装置１０の主電源をオンにすることにより、車両画像処理装置１０が起動される。

次に、起動された車両画像処理装置１０は、撮像装置３２の位置補正が完了しているか否かを判断する（ステップＳ１２）。この撮像装置３２の位置補正は、車両画像処理装置１０の初期設定であり、運転者等のユーザが車両画像処理装置１０を車両に取り付けた際に、或いは、運転者等のユーザが車両画像処理装置１０の取り付け位置を変更した際などに、必要となる処理である。撮像装置３２の位置補正が完了していない場合（ステップＳ１２：Ｎｏ）には、撮像装置３２の位置補正を行う（ステップＳ１４）。

図３は、ステップＳ１４で実行される撮像装置位置補正処理の内容を説明するフローチャートを示す図である。本実施形態においては、この撮像装置位置補正処理は、サーバ２０で実行される処理であり、例えば、演算処理部６０がメモリ６６に格納されている撮像装置位置補正プログラムを読み込んで実行することにより実現される処理である。すなわち、ステップＳ１４では、車両画像処理装置１０は、サーバ２０に対して、撮像装置位置補正処理の実行を指示し、サーバ２０に撮像装置位置補正処理を実行させる。

この撮像装置位置補正処理においては、まず、サーバ２０は、該当する車両の車両画像処理装置１０における消失点が決まっているか否かを判断する（ステップＳ３０）。消失点が決まっていない場合（ステップＳ３０：Ｎｏ）には、サーバ２０は、車両画像処理装置１０から取得した車両の前方の画像に基づいて、消失点を算出する処理を実行する（ステップＳ３２）。

図４は、撮像装置３２で撮像した車両の前方の画像の一例を示す図であり、消失点Ｐ１を例示的に示している。ここで、消失点とは、遠近法における無限遠点であり、撮像装置３２で撮像された車両の前方の画像において、１点だけ、定める点である。消失点Ｐ１は、一旦定まれば、撮像装置３２を動かさない限り固定的なものとなる。

再び、図３に戻り、サーバ２０は、消失点が決まっていると判断した場合（ステップＳ３０：Ｙｅｓ）には、ボンネット位置が決まっているかどうかを判断する（ステップＳ３４）。ボンネット位置が決まっていない場合（ステップＳ３４：Ｎｏ）には、サーバ２０は、車両画像処理装置１０から取得した車両の前方の画像に基づいて、ボンネット位置を算出する処理を実行する（ステップＳ３６）。一方、サーバ２０は、ボンネット位置が決まっていると判断した場合（ステップＳ３４：Ｙｅｓ）には、この撮像装置位置補正処理を終了する。

図４に示した車両の前方の画像においては、ボンネット位置Ｂ１を例示的に示している。ボンネット位置Ｂ１は、車両画像処理装置１０が設置された車両における画像上のボンネットの先端位置であり、ボンネット位置Ｂ１は、一旦定まれば、撮像装置３２を動かさない限り固定的なものとなる。

図５は、図３のステップＳ３２における消失点算出処理の内容を説明するフローチャートを示す図である。本実施形態においては、この消失点算出処理は、サーバ２０で実行される処理であり、例えば、演算処理部６０がメモリ６６に格納されている消失点算出プログラムを読み込んで実行することにより実現される処理である。

この消失点算出処理においては、まず、サーバ２０は、車両画像処理装置１０から送信された車両の前方の画像に基づいて、路面輝度を算出する（ステップＳ４０）。すなわち、撮像された画像に存在する路面の平均的な輝度を算出する。なお、車両の前方の画像は、車両画像処理装置１０から受信したリアルタイムの画像を使用してもよいし、データ記憶部６４に格納されている過去の画像を使用してもよい。

次に、サーバ２０は、車両の前方の画像から、白線を検出する（ステップＳ４２）。具体的には、ステップＳ４０で算出した路面輝度よりも輝度値が大きく、一定の長さを有する領域を抽出する。

次に、サーバ２０は、左右の白線が検知できたか否かを判断する（ステップＳ４４）。左右の白線が検知できていない場合（ステップＳ４４：Ｎｏ）には、上述したステップＳ４０に戻り、別な画像、一般的には、左右の白線が検出できなかった画像よりも後に取得した画像に基づいて、処理をやり直す。

一方、左右の白線が検出できたと判断した場合（ステップＳ４４：Ｙｅｓ）には、サーバ２０は、検出できた左右の白線の交点を求めて、この交点を消失点とするとともに、一定数の消失点が算出できているか否かを判断する（ステップＳ４６）。具体的な算出処理としては、例えば、左側白線の上端位置と下端位置を結ぶ直線を延長し、右側白線の上端位置と下端位置を結ぶ直線を延長し、延長した二つの直線が交わる点を消失点とする。一定数の消失点を算出したか否かを判断するのは、消失点算出の誤差を抑制するためであり、通常は、複数回、消失点を算出する。しかしながら、１回の消失点の算出で、誤差が無視できる程度の精度が得られる場合には、必ずしも、複数回、消失点を算出しなくてもよい。

ステップＳ４６において、一定数の消失点が算出されていないと判断した場合（ステップＳ４６：Ｎｏ）には、サーバ２０は、上述したステップＳ４０に戻り、次の消失点の算出を開始する。一方、ステップＳ４６において、一定数の消失点が算出されていると判断した場合（ステップＳ４６：Ｙｅｓ）には、サーバ２０は、消失点の平均値を算出して、これを決定された消失点とする（ステップＳ４８）。これにより、図３のステップＳ３２における消失点算出処理が終了する。

図６は、図３のステップＳ３６におけるボンネット位置算出処理の内容を説明するフローチャートを示す図である。本実施形態においては、このボンネット位置算出処理は、サーバ２０で実行される処理であり、例えば、演算処理部６０がメモリ６６に格納されているボンネット位置算出プログラムを読み込んで実行することにより実現される処理である。

このボンネット位置算出処理においては、まず、サーバ２０は、車両画像処理装置１０から取得した車両の前方の画像に基づいて、ボンネットを検出する（ステップＳ５０）。具体的には、例えば、路面輝度よりも輝度値が大きいエッジ領域のうち、一定の長さを有するエッジ領域を抽出する。そして、抽出されたエッジ領域のうち、最も横方向の幅が大きいエッジを、ボンネットの画像上の先端位置として特定する。なお、車両の前方の画像は、消失点算出処理（ステップＳ３２）と同様に、車両画像処理装置１０から受信したリアルタイムの画像を使用してもよいし、データ記憶部６４に格納されている過去の画像を使用してもよい。

次に、サーバ２０は、ステップＳ５０でボンネット位置が検出できたか否かを判断する（ステップＳ５２）。ボンネット位置が検出できていない場合（ステップＳ５２：Ｎｏ）には、上述したステップＳ５０に戻り、別な画像、一般的には、ボンネットが検出できなかった画像よりも後に取得した画像に基づいて、処理をやり直す。

一方、ボンネット位置が検出できたと判断した場合（ステップＳ５２：Ｙｅｓ）には、サーバ２０は、一定数のボンネット位置を算出したか否かを判断する（ステップＳ５４）。一定数のボンネット位置を算出したか否かを判断するのは、車両の揺れや走行状況のよって画像上のボンネット位置に関して誤差が出る可能性があるので、この誤差を抑制するためであり、通常は、複数回、ボンネット位置を算出する。しかしながら、１回のボンネット位置の算出で、誤差が無視できる程度の精度が得られる場合には、必ずしも、複数回、ボンネット位置を算出しなくてもよい。

ステップＳ５４において、一定数のボンネット位置が算出されていないと判断した場合（ステップＳ５４：Ｎｏ）には、サーバ２０は、上述したステップＳ５０に戻り、次のボンネット位置の算出を開始する。一方、ステップＳ５４において、一定数のボンネット位置が算出されていると判断した場合（ステップＳ５４：Ｙｅｓ）には、サーバ２０は、ボンネット位置の平均値を算出して、これを決定されたボンネット位置とする（ステップＳ５６）。ボンネット位置の平均を算出する手法は、単純に算術的に平均値を導出するやり方でも良いが、特に、本実施形態においては、ボンネット位置が設定され得る画像上の領域を予め複数の領域に区切っておき、この予め区切った複数の領域のうち、ボンネット位置が最も高い頻度で位置した領域に含まれるボンネット位置の平均値を導出する。これにより、図３のステップＳ３６におけるボンネット位置算出処理が終了する。

再び、図２に戻り、ステップＳ１４の撮像装置位置補正処理が終了した場合、及び、ステップＳ１２において撮像装置の位置補正が完了していると判断した場合（ステップＳ１２：Ｙｅｓ）には、撮像装置３２で撮像した車両の前方の画像に基づいて、前方車両との距離を算出する（ステップＳ１６）。

図７は、ステップＳ１６で実行される距離算出処理を説明するためのフローチャートを示す図である。本実施形態においては、この距離算出処理は、車両画像処理装置１０で実行される処理であり、例えば、演算処理部３０がメモリ４６に格納されている距離算出プログラムを読み込んで実行することにより実現される処理である。

この図７に示すように、この距離算出処理においては、車両画像処理装置１０は、撮像装置３２で撮像した車両の前方の画像における、一部の領域である画像検出領域を算出する（ステップＳ６０）。本実施形態においては、車両画像処理装置１０が画像処理の対象とする領域を、消失点とボンネット位置に基づいて、撮像した画像の一部の領域に絞ることにより、車両画像処理装置１０における画像処理に要する演算処理負荷を軽減している。図４の画像の例を参照すると、消失点Ｐ１よりも下方で、且つ、ボンネット位置Ｂ１よりも上方にある、画像上の矩形状の領域を、画像検出領域Ｒ１と定めている。遠近法の関係から、本実施形態においては、画像検出領域Ｒ１は、消失点Ｐ１とボンネット位置Ｂ１との間の台形の領域である。

図８は、ステップＳ６０で実行される画像検出領域算出処理の内容を説明するフローチャートを示す図である。本実施形態においては、この画像検出領域算出処理は、車両画像処理装置１０で実行される処理であり、例えば、演算処理部３０がメモリ４６に格納されている画像検出領域算出プログラムを読み込んで実行することにより実現される処理である。

この図８に示すように、画像検出領域算出処理においては、まず、車両画像処理装置１０は、撮像装置３２で撮像した画像の輝度に関するヒストグラム積算値を算出し（ステップＳ８０）、算出したヒストグラム積算値に基づいて、撮像した画像が逆光であるか否かを判定する（ステップＳ８２）。具体的には、撮像した画像の輝度に関するヒストグラム積算値が、中央に偏っているのか、それとも、両端に偏っているのかで、逆光か否かを判定する。例えば、低輝度側の逆光判定閾値ＴｈＡとし、高輝度側の逆光判定閾値ＴｈＢとし、ヒストグラム積算値が１０％を超えた際の輝度値Ａを算出し、ヒストグラム積算値が９０％を超えた場合の輝度値Ｂを算出する。そして、輝度値Ａが逆光判定閾値ＴｈＡより小さく、且つ、輝度値Ｂが逆光判定閾値ＴｈＢより大きい場合、逆光と判定する。

次に、車両画像処理装置１０は、画像検出領域を算出する（ステップＳ８４）。例えば、本実施形態においては、予め画像検出領域が初期設定で用意されており、この初期設定の画像検出領域に対して、撮像装置３２に関するオフセット情報（チルトオフセット情報、パンオフセット情報、設置高オフセット情報、逆光の場合は逆光オフセット情報）を加算して、画像検出領域を算出する。これにより、車両の前方の画像の一部の領域に、画像検出領域が設定され、画像検出領域算出処理が終了する。チルトオフセット情報、逆光オフセット情報で検出領域を上下にずらし、パンオフセット情報で検出領域を左右にずらし、設置高オフセット情報で検出領域の高さをずらす。

再び図７に戻り、ステップＳ６０の画像検出領域算出処理が終了した後、車両画像処理装置１０は、車両の前方の画像における画像平均輝度値を算出する（ステップＳ６２）。すなわち、車両画像処理装置１０は、撮像した画像の輝度信号に基づいて、画像平均輝度値を算出する。

次に、車両画像処理装置１０は、算出した画像平均輝度値に基づいて、前方車両の検出モードを決定する（ステップＳ６４）。具体的には、画像平均輝度値と、昼間と判定する輝度閾値と、夜間と判定する輝度閾値とに基づいて、検出モードを決定する。例えば、昼間の輝度閾値を９０とし、夜間の輝度閾値を４０とした場合、画像平均輝度値が４０以下の場合は夜間と判定し、画像平均輝度値が９０以上の場合は昼間と判定する。また、画像平均輝度値が４０より大きく、９０より小さい場合は、昼間でも夜間でもない、その他と判定する。

このステップＳ６４で、撮像した画像は昼間のものであると判定した場合は、昼間のモードで、前方車両の画像上の位置を算出する（ステップＳ６６）。一方、ステップＳ６４で、撮像した画像は夜間のものであると判定した場合は、夜間のモードで、前方車両の画像上の位置を算出する（ステップＳ６８）。さらに、ステップＳ６４で、撮像した画像は昼間のものでも夜間のものでもない、その他のものであると判定した場合には、昼間のモードで、前方車両の画像上の位置を算出（ステップＳ７０）するとともに、夜間のモードでも、前方車両の画像上の位置を算出（ステップＳ７２）し、算出された両方の前方車両の画像上の位置を合成することにより、前方車両の画像上の位置を決定する（ステップＳ７４）。

例えば、ステップＳ７４においては、ステップＳ７０で算出した昼間の前方車両の位置と、ステップＳ７２で算出した夜間の前方車両の位置との平均を算出して、画像上の前方車両の位置とすることができる。或いは、ステップＳ６２で算出した画像平均輝度値に基づいて、所定の閾値以上の明るい画像であるのか、それとも、所定の閾値以下の暗い画像であるのかを判断し、所定の閾値以上の明るい画像である場合には、ステップＳ７０で算出した昼間の前方車両の位置に大きな比重を置いて画像上の前方車両の位置を算出し、逆に、所定の閾値以下の暗い画像である場合には、ステップＳ７２で算出した夜間の前方車両の位置に大きな比重を置いて画像上の前方車両の位置を算出することもできる。

そして、車両画像処理装置１０は、これらステップＳ６６、ステップＳ６８、又は、ステップＳ７４で算出した前方車両の画像上の位置に基づいて、この車両画像処理装置１０が設置された車両と、その前方を走る前方車両との間の距離を算出する（ステップＳ７６）。これにより、図７の距離算出処理が終了する。

図９は、図７のステップＳ６６及びステップＳ７０で実行される、昼間の前方車両位置算出処理を説明するためのフローチャートを示す図である。本実施形態においては、この昼間の前方車両位置算出処理は、車両画像処理装置１０で実行される処理であり、例えば、演算処理部３０がメモリ４６に格納されている昼間の前方車両位置算出プログラムを読み込んで実行することにより実現される処理である。

この図９に示すように、昼間の前方車両位置算出処理においては、まず、車両画像処理装置１０は、車両の前方の画像における路面輝度値を算出する（ステップＳ９０）。本実施形態においては、例えば、画像検出領域の直下に設定される矩形領域の平均輝度値を算出して、これを路面輝度値とする。

図１０（ａ）は、車両の前方の画像における、画像検出領域Ｒ１と、平均輝度値を算出する矩形領域Ｋ１の一例を示す図である。画像検出領域Ｒ１の直下の領域は、通常、路面であることから、本実施形態においては、この画像検出領域Ｒ１の直下の領域を矩形状に切り出して、平均輝度値を算出して、これを路面輝度値としている。

再び図９に戻り、次に、車両画像処理装置１０は、影領域の輪郭を抽出する（ステップＳ９２）。本実施形態においては、「影マップ」、「幅広影マップ」、及び、「輪郭マップ」の３つを生成し、この３つのマップを合成して、影領域の輪郭を決定する。「影マップ」は、画像検出領域内で路面輝度値より輝度値が低く、一定の長さを持つ影を切り出したマップであり、「幅広影マップ」は、画像検出領域より幅が大きい幅広影領域内で路面輝度値より輝度値が低く、一定の長さを持つ影を切り出したマップであり、「輪郭マップ」は、検出領域内のエッジ領域を切り出したマップである。

図１０（ｂ）は、車両の前方の画像から抽出された影領域の輪郭の一例を示す図である。この図１０（ｂ）から分かるように、ステップＳ９２では、画像検出領域Ｒ１に含まれる影領域の輪郭Ｅ１を抽出する。

再び図９に戻り、ステップＳ９２の影領域の輪郭の抽出と並行して、車両画像処理装置１０は、テールランプを検出する処理を行う（ステップＳ９４）。本実施形態においては、画像検出領域の色差信号Ｕを切り出した色差Ｕマップと、画像検出領域の色差信号Ｖを切り出した色差Ｖマップを生成し、これら色差Ｕマップと色差Ｖマップにおいて、閾値以上の色差値を持つ画素数を算出する。そして、算出された画素数が閾値以上の場合、テールランプと判定する。

次に、車両画像処理装置１０は、ステップＳ９２及びステップＳ９４の結果に基づいて、前方車両の画像上の位置を算出する（ステップＳ９６）。抽出された影領域の輪郭をどのように用いて、前方車両の画像上の位置とするかは、任意であるが、例えば、本実施形態においては、抽出された影領域の輪郭の下端位置を、画像上の前方車両の位置としている。図１０（ｂ）の例においては、影領域の輪郭Ｅ１の下端位置を、画像上の前方車両の位置Ｌ１としている。これにより、車両が黒い場合で、車両と影の境目が画像上識別できないような場合でも、画像上の前方車両の位置Ｌ１を特定できるとともに、想定される最も近い位置を前方車両の位置Ｌ１とするので、運転者にアラートを出力するタイミングが遅れるのを回避することができる。

但し、抽出された影領域の輪郭と前方車両の位置との関係はこれに限られるものではなく、例えば、影領域の輪郭やテールランプの位置などを総合的に判断して、前方車両のより正確な位置を特定して、これを画像上の前方車両の位置とするようにしてもよい。なお、本実施形態においては、ステップＳ９４の処理で、影領域の輪郭の周囲にあるべきテールランプが検出されていないような場合には、前方に車両は存在しないと判定することとしている。これにより、街路樹やビルなどの影を前方車両であると誤検知してしまう可能性を低減している。このステップＳ９６により昼間の前方車両位置算出処理が終了する。

図１１は、図７のステップＳ６８及びステップＳ７２で実行される、夜間の前方車両位置算出処理を説明するためのフローチャートを示す図である。本実施形態においては、この夜間の前方車両位置算出処理は、車両画像処理装置１０で実行される処理であり、例えば、演算処理部３０がメモリ４６に格納されている夜間の前方車両位置算出プログラムを読み込んで実行することにより実現される処理である。

この図１１に示すように、夜間の前方車両位置算出処理においては、まず、車両画像処理装置１０は、車両の前方の画像内のテールランプを検出する（ステップＳ１００）。本実施形態においては、例えば、画像検出領域の輝度マップを生成し、輝度マップと、入力画像の色差Ｖ信号から、輝度が高く、且つ、赤色のレベルが高い領域を抽出する。そして、抽出された領域の最も下端の位置にオフセットを追加した位置を、画像上の前方車両の位置として算出する。なお、必要な精度が得られるのであれば、このオフセットは必ずしも追加する必要はなく、抽出された領域の最も下端を、画像上の前方車両の位置として算出しても良い。

図１２は、このステップＳ１００におけるテールランプ検出の処理を、車両の前方の画像の一例を用いて説明する図である。まず、図１２（ａ）に示すように、画像検出領域Ｒ１の領域のうち、輝度が高い領域を抽出する。そして、図１２（ｂ）に示すように、抽出された輝度が高い領域のうち、赤色成分が高い領域をテールランプと判定する。続いて、図１２（ｃ）に示すように、テールランプと判定された領域のうち、最も下端の位置にオフセットを追加した位置を、前方車両の位置Ｌ１として算出する。

再び図１１に戻り、車両画像処理装置１０は、テールランプの検出処理と並行して、車両の前方の画像のハイライト割合を算出する（ステップＳ１０２）。すなわち、画像検出領域についての輝度マップを生成し、この輝度マップから所定の閾値以上の輝度を持つハイライトマップ生成する。そして、このハイライトマップに基づいて、ハイライト領域の割合を算出する。これは、夜間であると、自らの車両からのヘッドライトが前方車両の後方に当たって反射し、画像が白っぽくなってしまう、いわゆるハレーションを起こすことがある。このため、ヘッドライトが当たって反射しているハイライト領域が、ハイライト領域でない領域よりも大きいということは、当該車両と前方車両との間の距離が短いということを意味している。そこで、本実施形態においては、ヘッドライトが反射しているハイライト領域と、そうでない非ハイライト領域との割合を算出し、割合が大きいほど、当該車両と前方車両との間の距離が短いと判定するのである。但し、その精度が必ずしも高いとは言えないことから、本実施形態では、上述するように、ハイライト割合は、画像上の前方車両の位置を決定する際の補助的な要素として用いている。

また、このステップＳ１０２と並行して、車両画像処理装置１０は、車両の前方の画像におけるハイライトを検出する（ステップＳ１０４）。本実施形態においては、例えば、画像検出領域におけるハイライトマップに基づいて、所定の閾値以上の輝度値を有するハイライト領域を抽出し、抽出されたハイライト領域の最も下端の位置にオフセットを追加した位置を、前方車両の位置として算出する。なお、必要な精度が得られるのであれば、このオフセットは必ずしも追加する必要はなく、抽出されたハイライト領域の最も下端を、画像上の前方車両の位置として算出しても良い。

図１３は、ステップＳ１０４におけるハイライト検出の処理を、車両の前方の画像の一例を用いて説明する図である。図１３（ａ）において、上述した図１２（ａ）と同じように画像検出領域Ｒ１に含まれる輝度値が高い領域を抽出しても、図１３（ｂ）に示すように、テールランプが白飛びしており、赤色成分が抽出できないため、テールランプが検出できない。このため、図１３（ｂ）では、ヘッドライトが反射しているハイライト領域を抽出し、図１３（ｃ）では、この抽出したハイライト領域の最も下端の位置を、前方車両の位置Ｌ１として算出する。

再び図１１に戻り、次に、車両画像処理装置１０は、ステップＳ１００、ステップＳ１０２、及び、ステップＳ１０４の算出結果に基づいて、前方車両の位置を算出する（ステップＳ１０６）。すなわち、ステップＳ１００で算出されたテールランプの最も下端の位置である前方車両の位置と、ステップＳ１０４で算出されたハイライトされている領域の最も下端の位置である前方車両の位置と、ステップＳ１０２で算出されたハイライト割合の算出結果とを合成し、画像上の前方車両の位置を算出する。

或いは、ハイライト割合に応じて、ステップＳ１００で算出された前方車両の位置とステップＳ１０４で算出された前方車両の位置とに対する重み付けを、変更するようにしてもよい。例えば、ハイライト割合が所定の値の範囲内と判定できる場合には、ステップＳ１００で算出された前方車両の位置とステップＳ１０４で算出された前方車両の位置とのちょうど中間の位置を、ステップＳ１０６における前方車両の位置として算出する。また、例えば、ハイライト割合が所定の閾値より小さいと判定できる場合には、ヘッドライトがあまり前方車両に反射していないと想定できるので、ステップＳ１０４で算出された前方車両の位置よりも、ステップＳ１００で算出された前方車両の位置に高い比重を置いて、ステップＳ１０６における前方車両の位置を算出する。逆に、ハイライト割合が所定の閾値より大きい判定できる場合には、ヘッドライトが前方車両に強く反射していると想定できるので、ステップＳ１００で算出された前方車両の位置よりも、ステップＳ１０４で算出された前方車両の位置に高い比重を置いて、ステップＳ１０６における前方車両の位置を算出する。このステップＳ１０６の処理により、夜間の前方車両位置算出処理が終了する。

図１４は、図７のステップＳ７６で実行される前方車両との距離を算出する処理を具体的に説明するための車両の前方の画像の一例を示す図であり、図１５は、画像上の前方車両の位置と、車高と、前方車両までの距離との関係を表した距離算出テーブルの一例を示す図である。図１５に示す距離算出テーブルは、例えば、車両画像処理装置１０のメモリ４６に格納されている。

例えば、ステップＳ６６、ステップＳ６８、又は、ステップＳ７４で算出された、画像上の前方車両の位置が３００であったと仮定する。すなわち、図１４の例では、左上の座標（０，０）を原点としており、画像上の前方車両の位置が、この座標系で（６４０，３００）であったと仮定する。本実施形態においては、前方車両の車高も画像から算出している。この算出した車高が１１０ｃｍであったと仮定する。これらの条件の場合、図１５に示す距離算出テーブルを用いると、当該車両と前方車両との間の距離は、２５０ｃｍとなる。

再び図２に示すように、ステップＳ１６で前方車両との距離が算出された後、車両画像処理装置１０は、当該車両と前方車両との間の距離が、所定の閾値以下であるか否かを判断する（ステップＳ１８）。所定の閾値とは、例えば、２００ｃｍや１５０ｃｍである。また、ＧＰＳ等の位置測定部３６の測定結果に基づいて車速を推定し、或いは、撮像した車両の前方の画像に基づいて車速を推定し、推定した車速に応じて、所定の閾値を変更するようにしてもよい。例えば、時速２０ｋｍ未満である場合は、所定の閾値は２００ｃｍであるが、時速２０ｋｍ以上である場合は、所定の閾値を５０００ｃｍとするようにしてもよい。

このステップＳ１８において、前方車両までの距離が所定の閾値以下ではないと判断した場合（ステップＳ１８：Ｎｏ）には、上述したステップＳ１６に戻り、当該車両と前方車両との間の距離の算出を繰り返す。

一方、ステップＳ１８において、前方車両までの距離が所定の閾値以下であると判断した場合（ステップＳ１８：Ｙｅｓ）には、車両画像処理装置１０は、運転者に前方車両と衝突する可能性があるとしてアラートを出力する（ステップＳ２０）。例えば、車両画像処理装置１０は、上述したように、アラート出力部４４から警告音を鳴らして注意を喚起したり、ＬＥＤを点滅させて注意を喚起したりする。

アラートを出力した後は、上述したステップＳ１６に戻り、前方車両との距離の算出を繰り返す。但し、運転者等のユーザが車両画像処理装置１０の電源をオフにした場合や、アラート機能の停止を運転者等のユーザが車両画像処理装置１０に入力した場合などは、図２に示す前方衝突アラート処理を終了する（ステップＳ２２）。

図１６は、図１に示す車両画像処理装置１０の演算処理部３０がメモリ４６に格納されているプログラムを読み込んで実行することにより実現される機能と、サーバ２０の演算処理部６０がメモリ６６に格納されているプログラムを読み込んで実行することにより実現される機能とをブロックで表して説明する図である。この図１６に示すように、本実施形態に係る車両画像処理装置１０は、上述したアラート出力部４４に加えて、画像前方車両位置算出部１００と、距離算出部１０２と、取得部１０４と、画像検出領域算出部１０６と、第１位置算出部１０８と、第２位置算出部１１０と、昼夜判定部１１２と、切り替え部１１４と、第３位置算出部１１６とを備えて構成される。また、本実施形態に係るサーバ２０は、画像取得部２００と、消失点算出部２０２と、ボンネット位置算出部２０４が実現される。

この図１６において、車両画像処理装置１０は、撮像装置で車両の前方を撮像した画像に基づいて、画像上の前方車両の位置を算出する、画像前方車両位置算出部１００と、画像前方車両位置算出部１００で算出した画像上の前方車両の位置に基づいて、当該車両と前方車両との間の距離を算出する、距離算出部１０２と、距離算出部１０２で算出した距離が、閾値以下である場合に、当該車両の運転者にアラートを出力する、アラート出力部４４と、を備える。

車両画像処理装置１０は、車両の前方の画像に基づいて算出した、画像上の消失点と当該車両のボンネット位置とを取得する、取得部１０４と、撮像装置で撮像する車両の前方の画像のうち、消失点とボンネット位置より定められた一部の領域を、画像検出領域として算出する、画像検出領域算出部１０６とを、さらに備えており、画像前方車両位置算出部１００は、画像検出領域について画像処理を行うことにより、画像上の前方車両の位置を算出するようにしてもよい。

取得部１０４は、当該車両画像処理装置１０がネットワークを介して接続したサーバ２０が、車両の前方の画像に基づいて算出した消失点とボンネット位置を、サーバ２０から取得するようにしてもよい。

画像前方車両位置算出部１００は、画像検出領域における前方車両の影の位置を特定し、特定された影に基づいて、画像上の前方車両の位置を算出する、第１位置算出部１０８を備えてもよい。

第１位置算出部１０８は、前方車両の影における画像上の下端位置を、画像上の前方車両の位置とするようにしてもよい。

第１位置算出部１０８は、画像上の影の周囲にあるべきテールランプを検出する処理を行い、テールランプが検出されない場合には、前方車両は存在しないと判断するようにしてもよい。

画像前方車両位置算出部１００は、画像検出領域における前方車両のテールランプの位置を特定するとともに、当該車両のヘッドライトが前方車両に当たり反射している画像上のハイライト領域を特定し、テールランプの位置と画像上のハイライト領域とに基づいて、画像上の前方車両の位置を算出する、第２位置算出部１１０をさらに備えるようにしてもよい。

第２位置算出部１１０は、画像上のハイライト領域と、画像上のハイライト領域ではいない非ハイライト領域との割合に基づいて、テールランプに基づいて算出された画像上の前方車両の位置とハイライト領域に基づいて算出された画像上の前方車両の位置とに対する重み付けを変更するようにしてもよい。

画像前方車両位置算出部１００は、画像の輝度に基づいて、撮像した画像が昼間のものであるのか、夜間のものであるのかを判定する、昼夜判定部１１２と、昼夜判定部１１２が昼間と判断した場合には、第１位置算出部１０８により、画像上の前方車両の位置を算出し、昼夜判定部１１２が夜間と判断した場合には、前記第２位置算出部１１０により、画像上の前方車両の位置を算出するように、切り替えを行う、切り替え部１１４と、をさらに備えるようにしてもよい。

画像前方車両位置算出部１００は、昼夜判定部１１２が、昼間でも夜間でもないと判定した場合には、第１位置算出部１０８により算出した画像上の前方車両の位置と、第２位置算出部１１０により算出した画像上の前方車両の位置とを合成して、画像上の前方車両の位置を算出する、第３位置算出部１１６をさらに備えるようにしてもよい。

また、車両画像処理システム１は、少なくとも１つの車両画像処理装置１０と、車両画像処理装置１０がネットワークを介して接続するサーバ２０とを備えている。サーバ２０は、撮像装置で撮像された、車両の前方の画像を取得する、画像取得部２００と、画像取得部２００で取得した車両の前方の画像に基づいて、消失点を算出する、消失点算出部２０２と、画像取得部２００で取得した車両の前方の画像に基づいて、車両のボンネット位置を算出する、ボンネット位置算出部２０４と、を備えている。車両画像処理装置１０は、サーバ２０から、サーバ２０が算出した消失点とボンネット位置とを取得する、取得部１０４と、撮像装置で撮像された車両の前方の画像のうち、消失点とボンネット位置より定められた一部の領域を、画像検出領域として算出する、画像検出領域算出部１０６と、撮像装置された車両の前方の画像における画像検出領域について画像処理を行うことにより、画像上の前方車両の位置を算出する、画像前方車両位置算出部１００と、画像前方車両位置算出部１００で算出した画像上の前方車両の位置に基づいて、当該車両と前方車両との間の距離を算出する、距離算出部１０２と、距離算出部１０２で算出した距離が、閾値以下である場合に、車両の運転者にアラートを出力する、アラート出力部４４と、を備える。

以上のように、本実施形態に係る車両画像処理システム１によれば、撮像装置３２で撮像した車両の前方の画像に基づいて、画像上の前方車両の位置を算出し、この算出された画像上の前方車両の位置に基づいて、当該車両と前方車両との間の距離を算出することとした。このため、車両画像処理装置１０を車両に設置する際に、運転者等のユーザは特別な設定を行うことなく、車両画像処理装置１０の使用を開始することができる。このため、運転者等のユーザの利便性を向上させることができる。

また、画像上の消失点と、車両のボンネット位置とに基づいて、画像検出領域を設定し、この画像検出領域について画像処理を行うことにより、画像上の前方車両の位置を算出することした。このように画像処理の対象となる領域を、画像の一部に限定したことにより、車両画像処理装置１０の演算処理負荷を軽減することができる。このため、高い演算処理能力を備えた車両画像処理装置１０でなくとも、本実施形態に係る前方衝突アラート処理を実行させることができる。

さらに、車両画像処理装置１０は、撮像した車両の前方の画像をサーバ２０にネットワークを介して送信し、サーバ２０は、サーバ２０が取得した画像に基づいて、消失点とボンネット位置を算出することとした。このように、消失点とボンネット位置の算出をサーバ２０に行わせるようにしたことによっても、車両画像処理装置１０の演算処理負荷を軽減することができる。すなわち、車両画像処理装置１０は、サーバ２０に撮像した車両の画像を送信し、サーバ２０が算出した消失点とボンネット位置とを取得することにより、自ら、消失点やボンネット位置の算出を行う必要がなくなる。

また、本実施形態に係る車両画像処理システム１によれば、車両画像処理装置１０は、撮像された車両の前方の画像が昼間の画像である場合には、画像の前方車両の影に基づいて、画像上の前方車両の位置を算出することとした。このように前方車両の影を前方車両の特定のために用いることにより、車両の形が定義された大きなデータ量の辞書を用意する必要がなくなるとともに、撮像された画像を辞書に登録された車両の形とパターンマッチングする必要がなくなり、演算処理負荷のさらなる低減を図ることができる。

一方、撮像された車両の前方の画像が夜間の画像である場合には、前方車両のテールランプの位置と、前方車両にヘッドライトが当たって反射したハイライト領域の位置に基づいて、画像上の前方車両の位置を算出することとした。このため、昼間の画像のみならず、夜間の画像についても、高い精度で、画像上の前方車両の位置を特定し、前方車両との距離を算出することができる。

以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置および方法は、その他の様々な形態で実施することができる。また、本明細書で説明した装置および方法の形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。添付の特許請求の範囲およびこれに均等な範囲は、発明の範囲や要旨に含まれるこのような形態や変形例を含むように意図されている。

例えば、上述した実施形態においては、図３の撮像装置位置補正処理、図５の消失点算出処理、及び、図６のボンネット位置算出処理は、サーバ２０で実行することで、車両画像処理装置１０の演算処理能力が高くなくとも、図２の前方衝突アラート処理が実現できるようにしたが、車両画像処理装置１０が相応の演算処理能力を有する場合には、図３の撮像装置位置補正処理、図５の消失点算出処理、及び、図６のボンネット位置算出処理を、車両画像処理装置１０で実行するようにしてもよい。この場合、車両画像処理装置１０は、画像上の消失点と車両のボンネット位置とを自ら算出して取得することとなる。

或いは、撮像装置３２で撮像した車両の前方の画像を、メモリ４６から外部記憶装置５０に複製して格納し、運転者等が所有する別のコンピュータに、この外部記憶装置５０に格納された画像を読み込ませ、上述した図３の撮像装置位置補正処理、図５の消失点算出処理、及び、図６のボンネット位置算出処理を別のコンピュータに実行させることにより、消失点とボンネット位置を算出させるようにしてもよい。この場合、算出された消失点とボンネット位置を別のコンピュータから外部記憶装置５０に格納し、これを外部記憶装置５０を介して車両画像処理装置１０に読み込ませることにより、車両画像処理装置１０は、消失点とボンネット位置を取得することが可能となる。

さらには、上述した実施形態においては、アラート出力部４４は運転者に注意を喚起するアラートを出力することとしたが、車両が自動化された無人運転である場合も想定されるため、このような場合には、アラート出力部４４は車両自体に、具体的には、無人運転の制御機構に、アラートを信号として出力するようにしてもよい。

１：車両画像処理システム、１０：車両画像処理装置、２０：サーバ、３０演算処理部、３２：撮像装置、３４：画像処理部、３６：位置測定部、３８：角度検出部、４０：加速度検出部、４２：無線通信部、４４：アラート出力部、４６：メモリ、４８：インターフェース、５０：外部記憶装置、６０：演算処理部、６２：無線通信部、６４：データ記憶部、６６：メモリ、６８：画像処理部、７０：データ加工部

Claims (16)

1. 自車両の前方車両の画像を連続的且つ継続的に撮影する撮影装置と、
   少なくとも画像検出領域算出プログラム、および車両位置算出プログラムを実行する演算処理部と、
   を具備し、
   前記演算処理部は、
   前記前方車両の画像に基づいて算出した、前記画像上の消失点と自車両のボンネット位置とを取得し、
   前記撮影装置により撮像された前記前方車両の画像のうち、取得した前記消失点よりも下方で前記ボンネット位置より上方にある一部の領域を画像検出領域として算出し、
   前記前方車両の画像の輝度信号に基づいて画像平均輝度値を算出し、
   前記画像平均輝度値が第１輝度閾値以上の場合は昼間と判定し、
   前記昼間と判定した場合、前記画像検出領域の直下の切り出した矩形領域の平均輝度値から路面輝度値を算出し、前記路面輝度値に基づいて前記画像検出領域に含まれる影領域を抽出し、前記抽出された影領域に基づいて画像上の前記前方車両の位置を算出し、
   前記画像平均輝度値が第２輝度閾値以下の場合は夜間と判定し、
   前記夜間と判定した場合、前記画像検出領域の輝度マップを用いて前記前方車両のテールランプの位置を特定するとともに、自車両のヘッドライトが前記前方車両に当たり反射している画像上のハイライト領域を特定し、前記テールランプの位置と前記画像上のハイライト領域とに基づいて画像上の前記前方車両の位置を算出する
   車両画像処理装置。
2. 前記演算処理部は、前記昼間と判定した場合、
   前記画像検出領域内で前記路面輝度値より輝度値が低く、一定の長さを持つ影を切り出した影マップと、
   前記画像検出領域より幅が大きい幅広影領域内で前記路面輝度値より輝度値が低く、一定の長さを持つ影を切り出した幅広影マップと、
   前記画像検出領域のエッジ領域を切り出した輪郭マップと、を生成し、
   前記影マップ、幅広影マップ、および輪郭マップを合成して前記影領域の輪郭を決定する請求項１に記載の車両画像処理装置。
3. 前記演算処理部は、前記影領域の輪郭の下端位置を前記前方車両の位置とする請求項２に記載の車両画像処理装置。
4. 前記演算処理部は、前記夜間と判定した場合、
   前記テールランプの下端の位置である前方車両の位置と、前記ハイライト領域の下端の位置である前方車両の位置と、前記輝度マップから所定閾値以上のハイライト領域の割合の算出結果と、を合成して、前記画像上の前記前方車両の位置を算出する請求項１に記載の車両画像処理装置。
5. 前記演算処理部は、
   前記所定閾値以上のハイライト領域の割合が所定値の範囲内と判定される場合、前記テールランプの下端の位置である前方車両の位置と、前記ハイライト領域の下端の位置である前方車両の位置との中間位置を前記前方車両の位置として算出し、
   前記所定閾値以上のハイライト領域の割合が前記所定値より小さいと判定される場合、前記ハイライト領域の下端の位置である前方車両の位置よりも前記テールランプの下端の位置である前方車両の位置に高い比重をおいて前記前方車両の位置を算出し、
   前記所定閾値以上のハイライト領域の割合が前記所定値より大きいと判定される場合、前記テールランプの下端の位置である前方車両の位置よりも前記ハイライト領域の下端の位置である前方車両の位置に高い比重をおいて前記前方車両の位置を算出する請求項４に記載の車両画像処理装置。
6. 前記画像上のハイライト領域と、前記画像上の前記ハイライト領域ではいない非ハイライト領域との割合に基づいて、前記テールランプに基づいて算出された画像上の前方車両の位置と前記ハイライト領域に基づいて算出された画像上の前方車両の位置とに対する重み付けを変更する請求項４に記載の車両画像処理装置。
7. 前記演算処理部は、
   前記画像平均輝度値が前記第２輝度閾値より大きく、前記第１輝度閾値より小さい場合は、昼間でも夜間でもないと判定し、
   昼間でも夜間でもないと判定した場合、
   前記画像検出領域の直下の切り出した矩形領域の平均輝度値から路面輝度値を算出し、前記路面輝度値に基づいて前記画像検出領域に含まれる影領域を抽出し、前記抽出された影領域に基づいて前記前方車両の位置を算出し、
   前記画像検出領域の輝度マップを用いて前記前方車両のテールランプの位置を特定するとともに、自車両のヘッドライトが前記前方車両に当たり反射している画像上のハイライト領域を特定し、前記テールランプの位置と前記画像上のハイライト領域とに基づいて、画像上の前記前方車両の位置を算出し、
   前記算出された両方の前方車両の画像上の位置を合成して、前記前方車両の位置を決定する
   請求項１に記載の車両画像処理装置。
8. 前記画像上の前方車両の位置と、車高と、前記前方車両までの距離との関係を表した距離算出テーブルを更に具備し、
   前記演算処理部は、前記画像上の前方車両の位置と前記車高とに基づき、前記距離算出テーブルを参照して前記前方車両までの距離を求め、衝突する恐れがある距離と判定した場合、警告音を発生する請求項１に記載の車両画像処理装置。
9. 車両に搭載可能な車両画像処理装置と、前記車両画像処理装置がネットワークを介して接続するサーバとを備える車両画像処理システムであって、
   前記サーバは、
   前記車両画像処理装置に設けられた撮影装置で撮像された、自車両の前方車両の画像を前記ネットワークを介して取得し、
   前記撮影装置の画像取得部で取得した前記前方車両の画像に基づいて消失点、および前記自車両のボンネット位置を算出して前記車両画像処理装置に送信し、
   前記車両画像処理装置は、
   前記サーバから前記消失点と前記ボンネット位置とを取得し、
   前記撮影装置により撮像された前記前方車両の画像のうち、取得した前記消失点よりも下方で前記ボンネット位置より上方にある一部の領域を画像検出領域として算出し、
   前記前方車両の画像の輝度信号に基づいて画像平均輝度値を算出し、
   前記画像平均輝度値が第１輝度閾値以上の場合は昼間と判定し、
   前記昼間と判定した場合、前記画像検出領域の直下の切り出した矩形領域の平均輝度値から路面輝度値を算出し、前記路面輝度値に基づいて前記画像検出領域に含まれる影領域を抽出し、前記抽出された影領域に基づいて画像上の前記前方車両の位置を算出し、
   前記画像平均輝度値が第２輝度閾値以下の場合は夜間と判定し、
   前記夜間と判定した場合、前記画像検出領域の輝度マップを用いて前記前方車両のテールランプの位置を特定するとともに、自車両のヘッドライトが前記前方車両に当たり反射している画像上のハイライト領域を特定し、前記テールランプの位置と前記画像上のハイライト領域とに基づいて画像上の前記前方車両の位置を算出する
   車両画像処理システム。
10. 前記車両画像処理装置は、前記昼間と判定した場合、
    前記画像検出領域内で前記路面輝度値より輝度値が低く、一定の長さを持つ影を切り出した影マップと、
    前記画像検出領域より幅が大きい幅広影領域内で前記路面輝度値より輝度値が低く、一定の長さを持つ影を切り出した幅広影マップと、
    前記画像検出領域のエッジ領域を切り出した輪郭マップと、を生成し、
    前記影マップ、幅広影マップ、および輪郭マップを合成して前記影領域の輪郭を決定する請求項９に記載の車両画像処理システム。
11. 前記車両画像処理装置は、前記影領域の輪郭の下端位置を前記前方車両の位置とする請求項１０に記載の車両画像処理システム。
12. 前記車両画像処理装置は、前記夜間と判定した場合、
    前記テールランプの下端の位置である前方車両の位置と、前記ハイライト領域の下端の位置である前方車両の位置と、前記輝度マップから所定閾値以上のハイライト領域の割合の算出結果と、を合成して、前記画像上の前記前方車両の位置を算出する請求項９に記載の車両画像処理システム。
13. 前記車両画像処理装置は、
    前記所定閾値以上のハイライト領域の割合が所定値の範囲内と判定される場合、前記テールランプの下端の位置である前方車両の位置と、前記ハイライト領域の下端の位置である前方車両の位置との中間位置を前記前方車両の位置として算出し、
    前記所定閾値以上のハイライト領域の割合が前記所定値より小さいと判定される場合、前記ハイライト領域の下端の位置である前方車両の位置よりも前記テールランプの下端の位置である前方車両の位置に高い比重をおいて前記前方車両の位置を算出し、
    前記所定閾値以上のハイライト領域の割合が前記所定値より大きいと判定される場合、前記テールランプの下端の位置である前方車両の位置よりも前記ハイライト領域の下端の位置である前方車両の位置に高い比重をおいて前記前方車両の位置を算出する請求項１２に記載の車両画像処理システム。
14. 前記画像上のハイライト領域と、前記画像上の前記ハイライト領域ではいない非ハイライト領域との割合に基づいて、前記テールランプに基づいて算出された画像上の前方車両の位置と前記ハイライト領域に基づいて算出された画像上の前方車両の位置とに対する重み付けを変更する請求項１２に記載の車両画像処理システム。
15. 前記車両画像処理装置は、
    前記画像平均輝度値が前記第２輝度閾値より大きく、前記第１輝度閾値より小さい場合は、昼間でも夜間でもないと判定し、
    昼間でも夜間でもないと判定した場合、
    前記画像検出領域の直下の切り出した矩形領域の平均輝度値から路面輝度値を算出し、前記路面輝度値に基づいて前記画像検出領域に含まれる影領域を抽出し、前記抽出された影領域に基づいて前記前方車両の位置を算出し、
    前記画像検出領域の輝度マップを用いて前記前方車両のテールランプの位置を特定するとともに、自車両のヘッドライトが前記前方車両に当たり反射している画像上のハイライト領域を特定し、前記テールランプの位置と前記画像上のハイライト領域とに基づいて、画像上の前記前方車両の位置を算出し、
    前記算出された両方の前方車両の画像上の位置を合成して、前記前方車両の位置を決定する
    請求項９に記載の車両画像処理システム。
16. 前記車両画像処理装置は、前記画像上の前方車両の位置と、車高と、前記前方車両までの距離との関係を表した距離算出テーブルを更に具備し、
    前記車両画像処理装置は、前記画像上の前方車両の位置と前記車高とに基づき、前記距離算出テーブルを参照して前記前方車両までの距離を求め、衝突する恐れがある距離と判定した場合、警告音を発生する請求項９に記載の車両画像処理システム。

Images