JP5943084B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置等に関する。

運転中に横断者に接触しそうになる等、ヒヤリハット、すなわち、運転者がヒヤリとしたりハッとしたりするような事象の発生しやすい位置の情報を運転者に知らせることが出来れば、事故の発生を防止することが出来る。ヒヤリハットの発生しやすい位置の情報を特定するためには、ドライブレコーダに記録されたデータを利用することができる。例えば、ドライブレコーダには、車両の位置、撮影日時、車両の加速度、車両の速度、車両前方の映像等が記録されている。

ここで、ドライブレコーダで記録された加速度などの数値データだけでヒヤリハットの検出を試みると、本当はヒヤリハットではなかった事象をヒヤリハットであると誤検出する場合がある。これは、車両走行中において、道路の起伏等により、ヒヤリハットとは関係がなくても、加速度が急激に変化する場合があるためである。

上記のようなヒヤリハットの誤検出を防止するためには、加速度と一緒に記録されている車両前方の映像からヒヤリハットであったか否かを解析することが求められる。

ヒヤリハットの発生原因として、自車線内に存在する前方車、横断者、自転車等の検出対象の存在が挙げられる。従って、ヒヤリハットの原因であるであろう前記検出対象が映像内に存在するか否かを判断するためには、映像から検出された物体が、自車線内に存在しているか否かの判定が行われることとなる。ここで、自車線を検出対象の監視対象領域とする従来技術として、自車両が走行しているレーンを監視対象領域とする従来技術、また、自車両の左右の白線位置と無限遠点とを結ぶ領域を監視対象領域とする技術が挙げられる。

特開２０００−３１５２５５号公報 特開２００４−２８０１９４号公報 特開２００６−０１８７５１号公報

ここで、監視対象領域には、車両のボンネットが写っている領域が含まれる場合がある。ボンネットが写っている領域は、当然ながら検出対象が存在しえない領域であるため、監視対象領域から、ボンネットの領域を除外することが考えられる。このような場合に、例えば、ボンネットのテンプレート画像を用いて、ボンネットの領域を検出する方法が考えられる。

しかしながら、このような方法では、監視対象領域から除外される車両のボンネットの領域を正確に検出することが出来ないという問題があった。

例えば、上述したようなボンネットの領域の検出方法では、ボンネットにより光が反射され、ボンネットの領域とテンプレート画像との類似度が低くなるため、正確にボンネットの領域を検出することが難しい。なお、ドライブレコーダ用のカメラは、取付位置が車両毎にバラバラであるため、ボンネットの領域の画像上の位置を一意に決めることは出来ない。

１つの側面では、上記に鑑みてなされたものであって、監視対象領域から除外される車両のボンネットの領域を正確に検出することが出来る画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

第１の案では、画像処理装置は、作成部、算出部および特定部を有する。作成部は、１つの動画データ内において、隣接する２つのフレームの差分に基づいて、動画データにおける差分画像の平均画像を作成する。算出部は、平均画像の横方向の輝度値の合計を平均画像の縦方向の点ごとに算出する。特定部は、平均画像における消失点の位置から下方向の点のうち、輝度値の合計の二次微分値の値が高い方から所定個数の点を選択し、選択した所定個数の点の中からボンネットと道路との境目の点を特定する。

本発明の１実施形態によれば、監視対象領域から除外される車両のボンネットの領域を正確に検出することが出来るという効果を奏する。

図１は、本実施例１に係る画像処理装置の構成を示す機能ブロック図である。 図２は、本実施例２に係る画像処理装置の構成を示す機能ブロック図である。 図３は、ドラレコ情報のデータ構造の一例を示す図である。 図４Ａは、処理フレームの一例を示す図である。 図４Ｂは、処理フレームの一例を示す図である。 図４Ｃは、処理フレームの一例を示す図である。 図４Ｄは、処理フレームの一例を示す図である。 図５Ａは、差分画像の一例を示す図である。 図５Ｂは、差分画像の一例を示す図である。 図５Ｃは、差分画像の一例を示す図である。 図６は、作成画像の一例を示す図である。 図７は、輝度値の合計を示すグラフを平均画像に重畳した場合の画面の一例を示す図である。 図８は、Ｖ（ｙ）の算出方法の一例を示す図である。 図９は、Ｖ（ｙ）の算出方法の一例を示す図である。 図１０は、処理フレームにボンネットの領域が含まれない場合の輝度の合計値の一例を示す図である。 図１１は、ボンネットと道路の境目の点のＹ座標の値ｙ´における自車線の幅の両端の位置を特定する処理を説明するための図である。 図１２は、監視対象領域の一例を示す図である。 図１３は、本実施例２に係る画像処理装置の処理手順を示すフローチャートである。 図１４は、画像処理プログラムを実行するコンピュータの一例を示す図である。

以下に、本発明に係る画像処理装置、画像処理方法および画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例１に係る画像処理装置の構成について説明する。図１は、本実施例１に係る画像処理装置の構成を示す機能ブロック図である。図１に示すように、この画像処理装置１０は、作成部１１、算出部１２、特定部１３を有する。

作成部１１は、１つの動画データ内において、隣接する２つのフレームの差分に基づいて、動画データにおける差分画像の平均画像を作成する。

算出部１２は、平均画像の横方向の輝度値の合計を平均画像の縦方向の点ごとに算出する。

特定部１３は、平均画像における消失点の位置から下方向の点のうち、輝度値の合計の二次微分値の値が高い方から所定個数の点を選択し、選択した所定個数の点の中からボンネットと道路との境目の点を特定する。

本実施例１に係る画像処理装置１０の効果について説明する。画像処理装置１０は、１つの動画データ内において、隣接する２つのフレームの差分に基づいて、動画データにおける差分画像の平均画像を作成し、作成した平均画像の横方向の輝度値の合計を平均画像の縦方向の点ごとに算出する。画像処理装置１０は、平均画像における消失点の位置から下方向の点のうち、輝度値の合計の二次微分値の値が高い方から所定個数の点を選択し、選択した所定個数の点の中からボンネットと道路との境目の点を特定する。例えば、ボンネットの先端部分では外光が反射される。このため、画像中のボンネットの先端部分の領域に対応する上述の輝度値の合計と先端部分に隣接する領域に対応する上述の輝度値の合計との差は、次のようなものとなる。すなわち、かかる差は、先端部分の領域以外の他の領域に対応する上述の輝度値の合計とかかる他の領域に隣接する領域に対応する上述の輝度値の合計との差よりも大きい場合が多い。このため、ボンネットの先端部分の領域に対応する輝度値の合計の二次微分値は、他の領域に対応する輝度値の合計の二次微分値よりも大きい場合が多い。また、光源の位置によっては、フレーム中に写っているボンネット上に光源が写りこんでいる場合がある。このような場合は、ボンネットの先端部分の領域に対応する輝度値の合計の二次微分値は、他の領域に対応する二次微分値よりも大凡大きいことに変わりはないが、もっと大きい二次微分値は、光源が写りこんでいる位置のＹ座標で算出されることがある。画像処理装置１０によれば、輝度値の合計の二次微分値が高い方から所定個数の点を選択し、選択した所定個数の点の中からボンネットと道路との境目の点を特定するので、監視対象領域から除外される車両のボンネットの領域を正確に検出することが出来る。

本実施例２に係る画像処理装置の構成について説明する。図２は、本実施例２に係る画像処理装置の構成を示す機能ブロック図である。図２に示すように、画像処理装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。

通信部１１０は、ネットワークを介して他の装置とデータ通信を実行する処理部である。例えば、通信部１１０は、通信装置等に対応する。

入力部１２０は、各種のデータを画像処理装置１００に入力する入力装置である。例えば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。表示部１３０は、制御部１５０から出力されるデータを表示する表示装置である。例えば、表示部１３０は、液晶ディスプレイやタッチパネル等に対応する。

記憶部１４０は、ドラレコ情報１４１、カメラパラメータ１４２を記憶する記憶部である。記憶部１４０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子などの記憶装置に対応する。

ドラレコ情報１４１は、ドライブレコーダによって記録された各種のデータを含む。例えば、ドラレコ情報１４１は、加速度が所定値以上変化した時点の前後数秒の動画データデータである。図３は、ドラレコ情報のデータ構造の一例を示す図である。図３に示すように、このドラレコ情報１４１は、フレーム番号、日時、速度、加速度、位置座標、画像を対応付けて記憶する。フレーム番号は、フレームを一意に識別する番号である。日時は、該当するフレームが撮影された日時である。速度は、該当するフレームを撮影した時点における、ドライブレコーダを搭載した車両の速度である。また、加速度は、該当するフレームを撮影した時点における、ドライブレコーダを搭載した車両の加速度である。また、位置座標は、該当するフレームが撮影された時点の、ドライブレコーダを搭載した車両の位置座標である。また、画像は、該当するフレームの画像データである。

カメラパラメータ１４２は、ドライブレコーダが利用するカメラのパラメータを含む。カメラパラメータ１４２に関する具体的な説明は後述する。

制御部１５０は、フレーム特定部１５１、検出部１５２、作成部１５３、算出部１５４、特定部１５５、決定部１５６、距離算出部１５７、判定部１５８を有する。制御部１５０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１５０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

フレーム特定部１５１は、ドラレコ情報１４１を参照し、ドライブレコーダおよびカメラを搭載した車両が直線走行をしている場合に撮影されたフレームを特定する処理部である。例えば、フレーム特定部１５１は、ドラレコ情報１４１の加速度を利用して、加速度がほぼ０である場合のフレームの画像データをドラレコ情報１４１から特定することで、車両が直線走行をしている場合に撮影されたフレームを特定することができる。なお、加速度がほぼ０である場合のフレームとは、例えば、加速度が（−α）以上（α）以下の範囲内であるフレームを指す。ここで、αは所定値である。以下の説明では、車両が直線走行をしている場合に撮影されたフレームを、処理フレームと表記する。このように処理フレームを特定することで、フレーム特定部１５１は、車両がカーブを走行している場合や、段差等がある道路を車両が走行している場合に撮影された上下左右にブレがあるフレームを後述の各種処理に用いるフレームから除外することができる。

フレーム特定部１５１によって特定される処理フレームの一例について説明する。図４Ａ〜図４Ｄは、処理フレームの一例を示す図である。図４Ａには、カメラにより所定のフレームレートで撮影された複数のフレームの中からフレーム特定部１５１により特定された処理フレーム２０が示されている。また、図４Ｂには、複数のフレームの中からフレーム特定部１５１により特定された処理フレーム２１が示されている。なお、処理フレーム２１は、処理フレーム２０の次にカメラによって撮影されたフレームであり、処理フレーム２０と処理フレーム２１とは隣接するフレームである。また、図４Ｃには、複数のフレームの中からフレーム特定部１５１により特定された処理フレーム２２が示されている。なお、処理フレーム２２は、処理フレーム２１の次にカメラによって撮影されたフレームであり、処理フレーム２１と処理フレーム２２とは隣接するフレームである。また、図４Ｄには、複数のフレームの中からフレーム特定部１５１により特定された処理フレーム２３が示されている。なお、処理フレーム２３は、処理フレーム２２の次にカメラによって撮影されたフレームであり、処理フレーム２２と処理フレーム２３とは隣接するフレームである。図４Ａ〜図４Ｄに示すように、処理フレーム２０〜２３の画像は、車両の直線走行に伴って変化する。

また、フレーム特定部１５１は、ドラレコ情報１４１の速度を利用して、速度の変化がほぼ０である場合のフレームの画像データをドラレコ情報１４１から特定することで、処理フレームを特定することもできる。なお、速度の変化がほぼ０である場合のフレームとは、例えば、速度の変化が所定の範囲内であるフレームを指す。

さらに、フレーム特定部１５１は、各フレームの位置情報と地図情報とを比較し、地図情報が示す直線の道路上に位置する各フレームを処理フレームとして特定することもできる。

検出部１５２は、処理フレームにおける消失点を検出する処理部である。例えば、検出部１５２は、各処理フレームにおいて、後述する候補点を検出する。そして、検出部１５２は、各処理フレームの候補点の位置の平均位置を算出し、算出した平均位置を消失点とすることで、消失点を検出する。

ここで、検出部１５２による候補点の検出方法の一例について説明する。例えば、検出部１５２は、１つの処理フレームにおいて、処理フレームの画像データをハフ変換して複数の直線を検出する。そして、検出部１５２は、検出した直線のうち、処理フレームの左側の画面の領域の中で左下から右上に延びる直線のうち、画面の横方向に対する角度が所定の範囲、例えば、（４５−β）°以上（４５＋β）°以下の範囲内である直線を抽出する。また、検出部１５２は、検出した直線のうち、処理フレームの右側の画面の領域の中で右下から左上に延びる直線のうち、画面の横方向に対する角度が所定の範囲、例えば、（１３５−β）°以上（１３５＋β）°以下の範囲内である直線を抽出する。続いて、検出部１５２は、抽出した直線の交点を求める。そして、検出部１５２は、求めた交点の位置の平均位置を算出し、算出した交点の位置の平均位置を１つの処理フレームにおける候補点として検出する。そして、検出部１５２は、全ての処理フレームに対して同様に候補点を検出する処理を行う。

ここで、処理フレームは、車両が直線走行をしている場合に撮影されたフレームである。このため、処理フレームの画像データをハフ変換することにより検出される直線は、消失点に向かって伸びる直線である。一方、車両がカーブを走行している場合に撮影されたフレームの画像データをハフ変換することにより検出される直線は、消失点に向かって伸びる直線ではない場合が多い。そこで、検出部１５２は、複数のフレームのうち処理フレームのみハフ変換の対象とすることで、正確に消失点を検出することができる。

作成部１５３は、フレーム特定部１５１により特定された処理フレームから差分画像を作成する処理と、作成した差分画像から平均画像を作成する処理とを行う処理部である。

まず、作成部１５３による差分画像を作成する処理について説明する。例えば、作成部１５３は、処理フレームの中から、隣接する２つの処理フレームのペアを特定する。例えば、図４Ａ〜図４Ｄの例に示す４つの処理フレーム２０〜２３がフレーム特定部１５１により特定された場合には、作成部１５３は、次のような処理を行う。すなわち、作成部１５３は、隣接する処理フレーム２０と処理フレーム２１とのペア、隣接する処理フレーム２１と処理フレーム２２とのペア、および、隣接する処理フレーム２２と処理フレーム２３とのペアの３つのペアを特定する。そして、作成部１５３は、特定したペアごとに、一方の処理フレームの各画素の画素値から、他方の処理フレームの各画素の画素値を減算することで、差分画像を作成する。図５Ａ〜図５Ｃは、差分画像の一例を示す図である。例えば、作成部１５３は、処理フレーム２１の各画素の画素値から、処理フレーム２０の各画素の画素値を減算することで、図５Ａに示すように、差分画像３０を作成する。また、作成部１５３は、処理フレーム２２の各画素の画素値から、処理フレーム２１の各画素の画素値を減算することで、図５Ｂに示すように、差分画像３１を作成する。また、作成部１５３は、処理フレーム２３の各画素の画素値から、処理フレーム２２の各画素の画素値を減算することで、図５Ｃに示すように、差分画像３２を作成する。

次に、作成部１５３による平均画像を作成する処理について説明する。例えば、作成部１５３は、作成した各差分画像の各画素の画素値を画素毎に加算する。そして、作成部１５３は、加算した画素毎の画素値を差分画像の数で除算することで、平均画像を作成する。図６は、作成画像の一例を示す図である。例えば、作成部１５３は、差分画像３０〜３２の各画素の画素値を画素毎に加算し、加算した画素毎の画素値を差分画像３０〜３２の数「３」で除算することによって、図６に示すように、平均画像３５を作成する。

なお、作成部１５３が差分画像を作成する処理および平均画像を作成する処理は、上記の処理に限られず、周知技術など他の方法を用いて、差分画像や平均画像を作成することができる。

算出部１５４は、作成部１５３により作成された平均画像の横方向の画素の輝度値の合計を、平均画像の縦方向の画素ごとに算出する処理部である。例えば、平均画像が、横方向（Ｘ方向）に６４０画素、縦方向（Ｙ方向）に４８０画素の平均画像、すなわち、４８０行、６４０列の画素で構成された場合を例に挙げて説明する。この平均画像のＮ（０≦Ｎ≦４７９）行目の画素の輝度値の合計ＳＵＭ（Ｎ）は、次の式（１）で表される。
ＳＵＭ（Ｎ）＝ｐ（０，Ｎ）＋ｐ（１，Ｎ）＋・・・＋ｐ（６３９，Ｎ）・・・（１）
ここで、ｐ（ｘ，ｙ）は、平均画像における（ｘ，ｙ）の位置の画素の輝度値を示す。

算出部１５４は、式（１）のＮの値に０から４７９までのそれぞれの整数を代入して、４８０行分の輝度値の合計を算出する。図７は、輝度値の合計を示すグラフを平均画像に重畳した場合の画面の一例を示す。図７には、平均画像３５に輝度値の合計を示すグラフ５０が重畳された場合の画面４１が示されている。図７の例に示すグラフ５０は、縦方向の画素毎の輝度値の合計を示す。図７のグラフ５０は、画面の左端からの位置が大きくなるほど、対応するＹ座標に位置する画素の輝度の合計が大きくなることを示す。なお、グラフ５０は、Ｙ座標の値ｙの関数ｆ（ｙ）で表すことができる。

特定部１５５は、ボンネットの先端部を特定する処理部である。例えば、特定部１５５は、まず、算出部１５４により平均画像の全ての行について算出された画素の輝度値の合計ＳＵＭ（０）〜ＳＵＭ（４７９）の中から、最も値が大きい合計を特定し、特定した合計に対応するＹ座標を特定する。このようにして特定されたＹ座標は、消失点のＹ座標として考えることができる。この理由について説明する。例えば、フレーム中で、変化が大きい領域は、路側の景色に相当する領域である。消失点を境にして、消失点よりも上側は空の領域が多く、消失点よりも下側は、道路の領域が多い。しかしながら、消失点の横方向の領域では、空の領域および道路の領域がほとんどなく、輝度値が高い路側の景色の領域が最大となる。したがって、消失点のＹ座標またはＹ座標付近に対応する輝度値の合計は、算出された合計の中で最も値が大きい。そのため、最も値が大きい合計に対応するＹ座標は、消失点のＹ座標として考えることができる。

そして、特定部１５５は、特定したＹ座標よりも画面の下方向のＹ座標の値ｙ、すなわち、特定したＹ座標よりも大きいＹ座標の値ｙを関数ｆ（ｙ）に代入した場合の２次微分値Ｖ（ｙ）を算出する。例えば、２次微分値Ｖ（ｙ）を算出する際の式としては、下記の式（２）を用いることができる。
Ｖ（ｙ）＝４＊ｆ（ｙ）−ｆ（ｙ−５）−ｆ（ｙ−１０）
＋ｆ（ｙ＋５）＋ｆ（ｙ＋１０）・・・・・・・・・（２）
ここで、「＊」は、乗算を示す記号である。

特定部１５５は、式（２）を用いて、特定したＹ座標よりも画面の下方向であって、かつ、整数である全ての値ｙについて、Ｖ（ｙ）を算出する。図８および図９は、Ｖ（ｙ）の算出方法の一例を示す。図８には、グラフ５０が示されている。特定部１５５は、図８のグラフ５０において、特定したＹ座標５１よりも画面の下方向であって、かつ、整数である全ての値ｙについて、ｆ（ｙ）の二次微分値Ｖ（ｙ）を算出する。図９には、このようにして算出された二次微分値Ｖ（ｙ）のグラフ６０の一例が示されている。図９のグラフ６０において、Ｙ軸を中心に、右側が正の値であり、左側が負の値を示す。

ここで、ボンネットの先端部分では外光が反射される。このため、画像中のボンネットの先端部分の領域のＹ座標に対応する輝度値の合計と先端部分に隣接する領域のＹ座標に対応する輝度値の合計との差は、次のようなものとなる。すなわち、かかる差は、先端部分の領域以外の他の領域のＹ座標に対応する輝度値の合計とかかる他の領域に隣接する領域のＹ座標に対応する輝度値の合計との差よりも大きい場合が多い。このため、ボンネットの先端部分の領域のＹ座標に対応する輝度値の合計の二次微分値は、他の領域のＹ座標に対応する輝度値の合計の二次微分値よりも大きい場合が多い。そこで、特定部１５５は、算出した二次微分値のうち、最も値が大きい二次微分値Ｖ（ｙ´）に対応する点のＹ座標の値ｙ´を、ボンネットの先端部のＹ座標の値、すなわち、ボンネットと道路との境目の点のＹ座標の値として特定する。このように、特定部１５５によれば、輝度値の合計の二次微分値が最も高い点のＹ座標の値ｙ´をボンネットと道路との境目の点のＹ座標の値として特定するので、監視対象領域から除外される車両のボンネットの領域を正確に検出することが出来る。例えば、特定部１５５は、二次微分値Ｖ（ｙ）のグラフ６０を算出した場合には、グラフ６０の点６１のＹ座標の値ｙ´を、ボンネットと道路との境目の点のＹ座標の値として特定する。

もしくは、特定部１５５は、算出した二次微分値のうち、値が高い方から所定個数を選択し、選択した所定個数の値にそれぞれ対応する点のＹ座標の値を求める。そしてその中で、フレーム中で最も上方向にあるＹ座標ｙ´を、ボンネットの先端部のＹ座標の値、すなわち、ボンネットと道路との境目の点のＹ座標の値として特定しても良い。光源の位置によっては、フレーム中に写っているボンネット上に光源が写りこんでいる場合がある。このような場合は、ボンネットの先端部分の領域のＹ座標に対応する輝度値の合計の二次微分値は、他の領域のＹ座標に対応する輝度値の合計の二次微分値よりも大凡大きいことに変わりはないが、もっと大きい二次微分値は、光源が写りこんでいる位置のＹ座標で算出されることがある。

値が高い方から所定個数、例えば２個を選択すると、選択した値に対応する２つの点のＹ座標のうち、一つはボンネットの先端部のＹ座標、もう一つは、ボンネット上に写りこんだ光源のＹ座標である可能性が高い。フレームの中では、ボンネットの先端部のＹ座標は、ボンネット上に写りこんだ光源のＹ座標よりも、上方向に存在する。そこで、特定部１５５では、複数個選択したＹ座標のうち、フレーム中でより上方向にあるＹ座標ｙ´を、ボンネットの先端部のＹ座標の値とする。なお、特定部１５５が値が高い方から選択する所定個数の数は、２に限る必要はない。これを１とすれば、先に説明したように、最も値が大きい二次微分値が選択されることになる。

なお、車両に取り付けられたカメラによって撮影される撮影領域にボンネットが含まれる場合には、先の図８に示すように、特定したＹ座標５１よりも画面の下方向に再び輝度の合計値ｆ（ｙ）が大きくなる点５２が存在する。一方、車両の形状や車両に取り付けられたカメラの視野角によっては、撮影領域にボンネットが含まれない場合がある。図１０は、処理フレームにボンネットの領域が含まれない場合の輝度の合計値の一例を示す図である。図１０の例には、処理フレームにボンネットの領域が含まれない場合の輝度の合計値ｆ（ｙ）のグラフ５５が示されている。図１０のグラフ５５に示すように、撮影領域にボンネットが含まれない場合には、特定したＹ座標５６よりも画面の下方向に再び輝度の合計値ｆ（ｙ）が大きくなる点が存在しない。そのため、このような場合には、特定部１５５によってボンネットと道路との境目の点のＹ座標の値が特定されない。

決定部１５６は、検出部１５２により検出された消失点と、特定部１５５により特定されたボンネットと道路の境目の点のＹ座標の値ｙ´とに基づいて監視対象領域を決定する処理部である。例えば、決定部１５６は、ボンネットと道路の境目の点のＹ座標の値ｙ´における自車線の幅の両端の位置を特定する。

図１１は、ボンネットと道路の境目の点のＹ座標の値ｙ´における自車線の幅の両端の位置を特定する処理を説明するための図である。まず、決定部１５６は、カメラパラメータ１４２を取得する。カメラパラメータ１４２は、カメラ４０の水平画角ＣＨ［radian］、カメラ４０の垂直画角ＣＶ［radian］、フレームの水平解像度ＳＨ［pixel］、フレームの垂直解像度ＳＶ［radian］、カメラ４０の設置高さＨＧＴ［ｍ］を含む。

図１１において、４０ａは、カメラ視野を示し、４０ｂは、消失点の位置を示す。また、４１は、カメラ４０との距離がｄ［ｍ］である投影面ＳＶ上で、検出対象を検出した検出位置に対応する。また、図１１のθ［radian］は、カメラ４０および消失点４０ｂを結ぶ直線と、カメラ４０および検出位置４１を結ぶ直線とのなす角である。また、ｃｙ［pixel］は、消失点４０ｂと検出位置４１との垂直方向の距離である。

ここで、式（３）が成立するため、θは、式（４）によって表される。また、θを用いることで、距離ｄは、式（５）によって表される。

ｃｙ／ＳＶ＝θ／ＣＶ・・・（３）

θ＝ＣＶ×ｃｙ／ＳＶ・・・（４）

ｄ＝ＨＧＴ／ｔａｎ（θ）・・・（５）

また、検出対象のＹ座標の値がｙ´´である場合における、カメラ４０および消失点４０ｂを結ぶ直線と、カメラ４０および検出位置４１を結ぶ直線とのなす角θ（ｙ´´）［radian］は、式（６）によって表される。

θ（ｙ´´）＝ＣＶ×ＡＢＳ（ＶａｎＹ−ｙ´´）／ＳＶ・・・（６）
ここで、ＶａｎＹ［pixel］は、フレーム上の消失点のＹ座標の値を示す。また、ＡＢＳ（Ｘ）は、Ｘの絶対値を示す関数である。

また、検出対象のＹ座標の値がｙ´´である場合における、カメラ４０と投影面ＳＶとの距離ｄ（ｙ´´）［ｍ］は、式（７）によって表される。

ｄ（ｙ´´）＝ＨＧＴ／ｔａｎ（θ（ｙ´´））・・・（７）

ここで、画素のピクセルアスペクト比が１：１（縦：横）であれば、Ｙ座標の値ｙ´´でのＸ方向のＳＨ［pixel］に相当する距離ＳＨｄ（ｙ´´）［ｍ］は、式（８）によって表される。

ＳＨｄ（ｙ´´）＝ｄ（ｙ´´）×ｔａｎ（ＣＨ／２）×２・・・（８）

ここで、車線幅をＷｄ［ｍ］とすると、フレーム上の道路幅Ｗ（ｙ´´）［pixel］は、式（９）によって表される。

Ｗ（ｙ´´）＝ＳＨ×Ｗｄ／ＳＨｄ（ｙ´´）・・・（９）

ここで、ボンネットと道路の境目の点のＹ座標の値ｙ´とすると、式（１０）によって、ボンネットと道路の境目の道路幅Ｗ（ｙ´）が表される。

Ｗ（ｙ´）＝ＳＨ×Ｗｄ／ＳＨｄ（ｙ´）・・・（１０）

そして、決定部１５６は、ボンネットと道路の境目の点のＹ座標の値ｙ´における自車線の幅の両端の位置ｐ１（ＶａｎＸ−（Ｗ（ｙ´）／２），ｙ´）、および、ｐ２（ＶａｎＸ＋（Ｗ（ｙ´）／２），ｙ´）を特定する。なお、ＶａｎＸ［pixel］は、フレーム上の消失点のＸ座標の値を示す。

自車線の幅の両端の位置ｐ１およびｐ２を特定すると、決定部１５６は、消失点と、位置ｐ１と、位置ｐ２とを結ぶ領域を監視対象領域として決定する。図１２は、監視対象領域の一例を示す図である。図１２の例に示すように、決定部１５６は、フレーム６０上において、消失点６１と、自車線の幅の両端の位置ｐ１およびｐ２とを結ぶ領域を監視対象領域６３として決定する。

距離算出部１５７は、ドラレコ情報１４１に含まれる各フレームに、決定部１５６により決定された監視対象領域を設定し、監視対象領域中の検出対象の物体を検出し、検出した物体とカメラとの距離を算出する処理部である。

例えば、距離算出部１５７は、ドラレコ情報１４１およびカメラパラメータ１４２を取得し、ドラレコ情報１４１に含まれる各フレームに監視対象領域を設定する。そして、距離算出部１５７は、フレームごとに、監視対象領域中に存在する検出対象の物体の検出を試みる。なお、距離算出部１５７は、周知技術を用いて物体の検出を試みることができる。物体が検出できた場合には、距離算出部１５７は、次のパラメータを用いて、検出対象の物体のＸ座標の値がｘ´´であり、Ｙ座標の値がｙ´´である場合における、カメラ４０と物体との距離Ｄ（ｘ´´，ｙ´´）を式（１１）によって算出する。すなわち、距離算出部１５７は、ボンネットと道路の境目の点のＹ座標の値ｙ´、消失点の位置（ＶａｎＸ，ＶａｎＹ）、上述した水平画角ＣＨ、垂直画角ＣＶ、水平解像度ＳＨ、垂直解像度ＳＶ、設置高さＨＧＴを用いて、距離Ｄ（ｘ´´，ｙ´´）を算出する。

Ｄ（ｘ´´，ｙ´´）＝ＳＨｄ（ｙ´´）×（ｘ´´−ＶａｎＸ）／ＳＨ・・・（１１）

判定部１５８は、距離算出部１５７により算出された検出対象の物体とカメラとの距離、ドラレコ情報１４１などの加速度、速度などに基づいて、いわゆる「ヒヤリハット」が発生しているか否かを判定する処理部である。

例えば、判定部１５８は、距離算出部１５７により算出された検出対象の物体とカメラとの距離、ドラレコ情報１４１などの加速度、速度などに基づいて、フレームごとに、「ヒヤリハット」が発生しているか否かを判定する。なお、判定部１５８は、周知技術を用いて、「ヒヤリハット」が発生しているか否かを判定することができる。そして、判定部１５８は、フレームごとの判定結果を表示部１３０に出力して、表示部１３０に判定結果を表示させる。

次に、本実施例２に係る画像処理装置１００の処理手順について説明する。図１３は、本実施例２に係る画像処理装置の処理手順を示すフローチャートである。例えば、図１３のフローチャートが示す処理は、処理実行命令を受け付けたことを契機にして実行される。画像処理装置１００は、入力部１２０から処理実行命令を受け付けても良いし、通信部１１０を介して、他の装置から受け付けても良い。

図１３に示すように、画像処理装置１００は、ドラレコ情報１４１を参照し、ドライブレコーダおよびカメラを搭載した車両が直線走行をしている場合に撮影された処理フレームを特定する（ステップＳ１０１）。画像処理装置１００は、各処理フレームにおいて、候補点を検出する（ステップＳ１０２）。画像処理装置１００は、各処理フレームの候補点の位置の平均位置を算出し、算出した平均位置を消失点とすることで、消失点を検出する（ステップＳ１０３）。

画像処理装置１００は、処理フレームから差分画像を作成する（ステップＳ１０４）。画像処理装置１００は、作成した差分画像から平均画像を作成する（ステップＳ１０５）。画像処理装置１００は、平均画像の横方向の画素の輝度値の合計を、平均画像の縦方向の画素ごとに算出する（ステップＳ１０６）。

画像処理装置１００は、平均画像の全ての行について算出した画素の輝度値の合計の中から、最も値が大きい合計に対応するＹ座標を特定する（ステップＳ１０７）。画像処理装置１００は、特定したＹ座標よりも画面の下方向であって、かつ、整数である全ての値ｙについて、ｆ（ｙ）の二次微分値Ｖ（ｙ）を算出する（ステップＳ１０８）。画像処理装置１００は、算出した二次微分値Ｖ（ｙ）のうち、値が大きい方から所定個数の二次微分値に対応する点のＹ座標の値を算出し、次のような処理を行う。すなわち、画像処理装置１００は、算出したＹ座標のうち、フレーム中で最も上方向にあるＹ座標の値ｙ´を、ボンネットと道路との境目の点のＹ座標の値として特定する（ステップＳ１０９）。

画像処理装置１００は、ボンネットと道路の境目の点のＹ座標の値ｙ´における自車線の幅の両端の位置ｐ１、ｐ２を特定する（ステップＳ１１０）。画像処理装置１００は、ドラレコ情報１４１に含まれるフレームのうち、未選択のフレームがあるか否かを判定する（ステップＳ１１１）。未選択のフレームがない場合（ステップＳ１１１，Ｎｏ）には、処理を終了する。

一方、未選択のフレームがある場合（ステップＳ１１１，Ｙｅｓ）には、画像処理装置１００は、未選択のフレームを１つ選択する（ステップＳ１１２）。画像処理装置１００は、選択したフレームに監視対象領域を設定する（ステップＳ１１３）。画像処理装置１００は、設定した監視対象領域中に存在する検出対象の物体の検出を試みる（ステップＳ１１４）。

画像処理装置１００は、物体が検出できたか否かを判定する（ステップＳ１１５）。物体が検出できた場合（ステップＳ１１５，Ｙｅｓ）には、画像処理装置１００は、カメラ４０と物体との距離を算出する（ステップＳ１１６）。画像処理装置１００は、検出対象の物体とカメラとの距離、ドラレコ情報１４１などの加速度、速度などに基づいて、選択したフレームにおいて、「ヒヤリハット」が発生しているか否かを判定する（ステップＳ１１７）。画像処理装置１００は、判定結果を表示部１３０に出力して、表示部１３０に判定結果を表示させ（ステップＳ１１８）、ステップＳ１１１に戻る。一方、物体が検出できなかった場合（ステップＳ１１５，Ｎｏ）にも、ステップＳ１１１に戻る。

次に、本実施例２に係る画像処理装置１００の効果について説明する。画像処理装置１００は、１つの動画データ内において、隣接する２つの処理フレームの差分に基づいて、動画データにおける差分画像の平均画像を作成し、作成した平均画像の横方向の画素の輝度値の合計を平均画像の縦方向の画素ごとに算出する。画像処理装置１００は、平均画像における消失点の位置から下方向の点のうち、輝度値の合計の二次微分値の値が高い方から所定個数の点を選択し、選択した所定個数の点の中からボンネットと道路との境目の点のＹ座標の値ｙ´を特定する。例えば、ボンネットの先端部分では外光が反射される。このため、ボンネットの先端部分の領域のＹ座標に対応する輝度値の合計と先端部分に隣接する領域のＹ座標に対応する輝度値の合計との差は、次のようなものとなる。すなわち、かかる差は、先端部分の領域以外の他の領域のＹ座標に対応する輝度値の合計とかかる他の領域に隣接する領域のＹ座標に対応する輝度値の合計との差よりも大きい場合が多い。このため、ボンネットの先端部分の領域のＹ座標に対応する輝度値の合計の二次微分値は、他の領域のＹ座標に対応する輝度値の合計の二次微分値よりも大きい場合が多い。また、光源の位置によっては、フレーム中に写っているボンネット上に光源が写りこんでいる場合がある。このような場合は、ボンネットの先端部分の領域のＹ座標に対応する輝度値の合計の二次微分値は、他の領域のＹ座標に対応する二次微分値よりも大凡大きいことに変わりはないが、もっと大きい二次微分値は、光源が写りこんでいる位置のＹ座標で算出されることがある。画像処理装置１００によれば、輝度値の合計の二次微分値が高い方から所定個数の点を選択し、選択した所定個数の点の中からボンネットと道路との境目の点を特定するので、監視対象領域から除外される車両のボンネットの領域を正確に検出することが出来る。

また、画像処理装置１００は、車両などの移動体に搭載されたカメラ４０により撮影された動画データの複数のフレームの中から、加速度や移動などの移動体の移動に関する情報に基づいて、移動体が直線走行している場合に撮影された処理フレームを特定する。画像書誌装置１００は、特定した処理フレームごとに、画面左側の領域の中で左下から右上方向の直線と、画面右側の領域の中で右下から左上方向の直線とを抽出し、抽出した直線の交点に基づいて、消失点を検出する。画像処理装置１００は、検出した消失点と、特定したボンネットと道路との境目の点とに基づいて、監視対象領域を決定する。ここで、処理フレームは、車両が直線走行をしている場合に撮影されたフレームである。このため、処理フレームから検出される直線は、消失点に向かって伸びる直線である。一方、車両がカーブを走行している場合に撮影されたフレームから検出される直線は、消失点に向かって伸びる直線ではない場合が多い。そこで、画像処理装置１００は、複数のフレームのうち処理フレームから直線を検出して消失点を検出するので、正確に消失点を検出することができる。

また、画像処理装置１００は、ボンネットと道路の境目の点のＹ座標の値ｙ´、消失点の位置（ＶａｎＸ，ＶａｎＹ）、上述した水平画角ＣＨ、垂直画角ＣＶ、水平解像度ＳＨ、垂直解像度ＳＶ、設置高さＨＧＴを用いて、カメラ４０と物体との距離を算出する。したがって、画像処理装置１００によれば、精度良く検出された消失点を用いてカメラ４０と物体との距離を算出するので、精度良くカメラ４０と物体との距離を算出することができる。

次に、上記の実施例に示した画像処理装置と同様の機能を実現する画像処理プログラムを実行するコンピュータの一例を説明する。図１４は、画像処理プログラムを実行するコンピュータの一例を示す図である。

図１４に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１〜２０７は、バス２０８に接続される。

ハードディスク装置２０７は、例えば、作成プログラム２０７ａ、算出プログラム２０７ｂ、特定プログラム２０７ｃを有する。ＣＰＵ２０１は、各プログラム２０７ａ〜２０７ｃを読み出してＲＡＭ２０６に展開する。

作成プログラム２０７ａは、作成プロセス２０６ａとして機能する。算出プログラム２０７ｂは、算出プロセス２０６ｂとして機能する。特定プログラム２０７ｃは、特定プロセス２０６ｃとして機能する。

例えば、作成プロセス２０６ａは、作成部１１、１５３等に対応する。算出プロセス２０６ｂは、算出部１２、１５４等に対応する。特定プロセス２０６ｃは、特定部１３、１５５等に対応する。

なお、各プログラム２０７ａ〜２０７ｃについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００がこれらから各プログラム２０７ａ〜２０７ｃを読み出して実行するようにしてもよい。

また、ハードディスク装置２０７に、さらに、フレーム特定プログラム、検出プログラム、決定プログラム、距離算出プログラム、判定プログラムを記憶させてもよい。この場合、ＣＰＵ２０１は、各プログラム２０７ａ〜２０７ｃに加えて、これらの各プログラムを読み出してＲＡＭ２０６に展開する。フレーム特定プログラムは、フレーム特定プロセスとして機能する。検出プログラムは、検出プロセスとして機能する。決定プログラムは、決定プロセスとして機能する。距離算出プログラムは、距離算出プロセスとして機能する。判定プログラムは、判定プロセスとして機能する。例えば、フレーム特定プロセスは、フレーム特定部１５１等に対応する。検出プロセスは、検出部１５２等に対応する。決定プロセスは、決定部１５６等に対応する。距離算出プロセスは、距離算出部１５７等に対応する。判定プロセスは、判定部１５８等に対応する。

１０ 画像処理装置
１１ 作成部
１２ 算出部
１３ 特定部

Claims (5)

1. １つの動画データ内において、隣接する２つのフレームの差分に基づいて、該動画データにおける差分画像の平均画像を作成する作成部と、
   前記平均画像の横方向の輝度値の合計を前記平均画像の縦方向の点ごとに算出する算出部と、
   前記平均画像における消失点の位置から下方向の点のうち、前記輝度値の合計の二次微分値の値が高い方から所定個数の点を選択し、選択した該所定個数の点の中からボンネットと道路との境目の点を特定する特定部と
   を有することを特徴とする画像処理装置。
2. 移動体に搭載されたカメラにより撮影された動画データの複数のフレームの中から、前記移動体の移動に関する情報に基づいて、前記移動体が直線走行している場合に撮影されたフレームを特定するフレーム特定部と、
   前記フレーム特定部により特定されたフレームごとに、画面左側の領域の中で左下から右上方向の直線と、画面右側の領域の中で右下から左上方向の直線とを抽出し、抽出した直線の交点に基づいて、消失点を検出する検出部と、
   前記検出部により検出された消失点と、前記特定部により特定されたボンネットと道路との境目の点とに基づいて、監視対象領域を決定する決定部と
   をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記特定部により特定されたボンネットと道路との境目の点、前記検出部により検出された消失点、前記カメラの水平方向及び垂直方向の画角、前記カメラの設置高、並びに、前記カメラの解像度情報に基づいて、前記監視対象領域中の物体までの距離を算出する距離算出部をさらに有することを特徴とする請求項２に記載の画像処理装置。
4. コンピュータが実行する画像処理方法であって、
   １つの動画データ内において、隣接する２つのフレームの差分に基づいて、該動画データにおける差分画像の平均画像を作成し、
   前記平均画像の横方向の輝度値の合計を前記平均画像の縦方向の点ごとに算出し、
   前記平均画像における消失点の位置から下方向の点のうち、前記輝度値の合計の二次微分値の値が高い方から所定個数の点を選択し、選択した該所定個数の点の中からボンネットと道路との境目の点を特定する
   各処理を実行する画像処理方法。
5. コンピュータに、
   １つの動画データ内において、隣接する２つのフレームの差分に基づいて、該動画データにおける差分画像の平均画像を作成し、
   前記平均画像の横方向の輝度値の合計を前記平均画像の縦方向の点ごとに算出し、
   前記平均画像における消失点の位置から下方向の点のうち、前記輝度値の合計の二次微分値の値が高い方から所定個数の点を選択し、選択した該所定個数の点の中からボンネットと道路との境目の点を特定する
   各処理を実行させることを特徴とする画像処理プログラム。