JPWO2014061123A1 - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Abstract

画像処理装置（１０）は、算出部（１１）および検出部（１２）を有する。算出部（１１）は、画像の処理対象領域に含まれる第１の方向の座標値毎に、同一の座標値の輝度値を加算して、第１の方向の座標値毎の輝度値の加算値を算出する。算出部（１１）は、処理対象領域に含まれる第２の方向の輝度値の座標値毎に、同一の座標値の輝度値を加算して、第２の方向の座標値毎の輝度値の加算値を算出する。検出部（１２）は、算出部（１１）の算出結果を基にして、第１の方向の座標値毎の輝度値の加算値が同等となる画像の領域、または、第２の方向の座標値毎の輝度値の加算値が同等となる領域を検出する。

Description

本発明は、画像処理装置等に関する。

運転中に横断者に接触しそうになる等、ヒヤリハット、すなわち、運転者がヒヤリとしたりハッとしたりするような事象の発生しやすい位置の情報を運転者に知らせることが出来れば、事故の発生を防止することができる。ヒヤリハットの発生しやすい位置の情報を特定するためには、ドライブレコーダに記録されたデータを利用することができる。例えば、ドライブレコーダには、車両の位置、撮影日時、車両の加速度、車両の速度、車両前方の画像データ等が記録されている。

例えば、ドライブレコーダに記録された画像データを統計的に処理して、危険地点毎の危険事象や危険因子を解析し、解析結果に基づいて運転者にアドバイスを出力する従来技術がある。

特開２００６−３０９４４５号公報 特開２０１１−１００２９８号公報

しかしながら、上述した従来技術では、移動体を精度良く検出することができないという問題がある。

例えば、ドライブレコーダに記録された画像データは、元々の解像度が粗く、さらに容量を抑えるために圧縮されている。また、ヒヤリハットの原因となる移動体を、車両に限ってみても、乗用車、大型車、トラック、オートバイ等様々な形状がある。さらに、自車両と検出対象との位置関係により、画像上での検出対象の形状が異なる。このため、ドライブレコーダ等に記録された画像データから、ヒヤリハットの原因となり得る移動体を精度良く検出することは難しい。

１つの側面では、移動体を精度良く検出することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

第１の案では、画像処理装置は、算出部および検出部を有する。算出部は、画像の処理対象領域に含まれる第１の方向の座標値毎に、同一の座標値の輝度値を加算して、第１の方向の座標値毎の輝度値の加算値を算出する。算出部は、処理対象領域に含まれる第２の方向の輝度値の座標値毎に、同一の座標値の輝度値を加算して、第２の方向の座標値毎の輝度値の加算値を算出する。検出部は、算出部の算出結果を基にして、第１の方向の座標値毎の輝度値の加算値が同等となる画像の領域、または、第２の方向の座標値毎の輝度値の加算値が同等となる領域を検出する。

本発明の１実施態様によれば、移動体を精度良く検出することができるという効果を奏する。

図１は、本実施例１に係る画像処理装置の構成を示す機能ブロック図である。 図２は、本実施例２に係る画像処理装置の構成を示す機能ブロック図である。 図３は、ドラレコ情報のデータ構造の一例を示す図である。 図４は、移動体管理テーブルのデータ構造の一例を示す図である。 図５Ａは、連結管理テーブルのデータ構造の一例を示す図である。 図５Ｂは、統合結果テーブルのデータ構造の一例を示す図である。 図６は、車線検出部が検出する車線領域の一例を示す図である。 図７は、前方領域および側方領域を説明する図である。 図８は、横断領域を説明する図である。 図９は、前方検出部の処理を説明するための図である。 図１０は、側方検出部の処理を説明するための図である。 図１１は、充填率チェックを説明するための図である。 図１２は、コーナー判定の処理を説明する図である。 図１３は、三角形度の算出方法を説明するための図である。 図１４は、移動体とカメラとの距離を算出する処理を説明するための図である。 図１５は、統合部の処理の一例を説明するための図（１）である。 図１６は、統合部の処理の一例を説明するための図（２）である。 図１７は、統合処理のイメージ図である。 図１８は、前方に分類される移動体の一例を示す図である。 図１９は、横断に分類される移動体の一例を示す図である。 図２０は、側方に分類される移動体の一例を示す図（１）である。 図２１は、側方に分類される移動体の一例を示す図（２）である。 図２２は、本実施例２に係る画像処理装置の処理手順を示すフローチャートである。 図２３は、連結処理の処理手順を示すフローチャートである。 図２４は、統合処理の処理手順を示すフローチャートである。 図２５は、側方検出部のその他の処理を説明するための図である。 図２６は、画像処理プログラムを実行するコンピュータの一例を示す図である。

以下に、本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

実施例１に係る画像処理装置の構成について説明する。図１は、実施例１に係る画像処理装置の構成を示す機能ブロック図である。図１に示すように、画像処理装置１０は、算出部１１と、検出部１２とを有する。

算出部１１は、画像の処理対象領域に含まれる第１の方向の座標値毎に、同一の座標値の輝度値を加算して、第１の方向の座標値毎の輝度値の加算値を算出する。または、算出部１１は、処理対象領域に含まれる第２の方向の輝度値の座標値毎に、同一の座標値の輝度値を加算して、第２の方向の座標値毎の輝度値の加算値を算出する。

検出部１２は、算出部１１の算出結果を基にして、第１の方向の座標値毎の輝度値の加算値が同等となる前記画像の領域、または、前記第２の方向の座標値毎の輝度値の加算値が同等となる領域を検出する。

本実施例１に係る画像処理装置１０の効果について説明する。例えば、画像処理装置１０が、ドライブレコーダに記録される画像データに対して、処理を実行すると、処理対象領域に含まれる画像の大半は、路面である。この路面上に移動体が存在している場合には、移動体の画像と路面の画像との間に輝度差が生じる。このため、上記のように、第１の方向または第２の方向の座標値毎の輝度値の加算値が同等となる画像の領域を検出することで、移動体を精度良く検出することができる。

次に、本実施例２に係る画像処理装置について説明する。図２は、本実施例２に係る画像処理装置の構成を示す機能ブロック図である。図２に示すように、画像処理装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。

通信部１１０は、ネットワークを介して他の装置とデータ通信を実行する処理部である。通信部１１０は、例えば、通信装置等に対応する。

入力部１２０は、各種のデータを画像処理装置１００に入力する入力装置である。例えば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。表示部１３０は、制御部１５０から出力されるデータを表示する表示装置である。例えば、表示部１３０は、液晶ディスプレイやタッチパネル等に対応する。

記憶部１４０は、ドラレコ情報１４１、移動体管理テーブル１４２、連結管理テーブル１４３、統合結果テーブル１４４、カメラパラメータ１４５を有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。

ドラレコ情報１４１は、ドライブレコーダによって記録された各種のデータを含む。図３は、ドラレコ情報のデータ構造の一例を示す図である。図３に示すように、ドラレコ情報１４１は、フレーム番号、日時、速度、加速度、位置座標、画像を対応付ける。フレーム番号は、フレームを一意に識別する番号である。日時は、該当するフレームが撮影された日時である。速度は、該当するフレームを撮影した時点における、ドライブレコーダを搭載した車両の速度である。加速度は、該当するフレームを撮影した時点における、ドライブレコーダを搭載した車両の加速度である。位置座標は、該当するフレームを撮影した時点における、ドライブレコーダを搭載した車両の位置座標である。画像は、該当するフレームの画像データである。

移動体管理テーブル１４２は、各フレームから検出される移動体の情報を有するテーブルである。図４は、移動体管理テーブルのデータ構造の一例を示す図である。例えば、移動体管理テーブル１４２は、テーブル１４２ａ，１４２ｂ，１４２ｃを有する。

テーブル１４２ａは、前方検出部１５２ａによって検出される前方領域内の移動体の情報を保持する。前方領域に関する説明は後述する。テーブル１４２ａは、フレーム番号、移動体識別番号、検出座標、信頼度を有する。フレーム番号は、フレームを一意に識別する番号である。移動体識別番号は、移動体を一意に識別する情報である。検出座標は、移動体を検出した領域の座標を示す。信頼度は、検出した移動体が移動体である確からしさの度合いを示す値である。信頼度が大きいほど、移動体が移動体である確からしさが大きい。同一フレームの前方領域内で複数の移動体が検出された場合には、移動体識別番号、検出座標、信頼度の組みが、同一のフレーム番号のレコードに複数存在する。

テーブル１４２ｂは、側方検出部１５２ｂによって検出される側方領域内の移動体の情報を保持する。側方領域に関する説明は後述する。テーブル１４２ｂは、フレーム番号、移動体識別番号、検出座標、信頼度を有する。フレーム番号、移動体識別番号、検出座標、信頼度に関する説明は、テーブル１４２ａの説明と同様である。同一フレームの側方領域内で複数の移動体が検出された場合には、移動体識別番号、検出座標、信頼度の組みが、同一のフレーム番号のレコードに複数存在する。

テーブル１４２ｃは、横断検出部１５２ｃによって検出される横断領域内の移動体の情報を保持する。横断領域に関する説明は後述する。テーブル１４２ｃは、フレーム番号、移動体識別番号、検出座標、信頼度を有する。同一フレームの横断領域内で複数の移動体が検出された場合には、移動体識別番号、検出座標、信頼度の組みが、同一のフレーム番号のレコードに複数存在する。

連結管理テーブル１４３は、各フレームから検出される各移動体を連結した結果の情報を有するテーブルである。各移動体を連結する処理に関する説明は後述する。図５Ａは、連結管理テーブルのデータ構造の一例を示す図である。例えば、連結管理テーブル１４３は、テーブル１４３ａ，１４３ｂ，１４３ｃを有する。

テーブル１４３ａは、前方検出部１５２ａによって検出される前方領域内の移動体を連結した結果の情報を有するテーブルである。例えば、テーブル１４３ａは、連結識別番号と、移動体識別番号群とを有する。連結識別番号は、連結した各移動体の組みを一意に識別する情報である。移動体識別番号群は、連結された各移動体の各移動体識別番号を示す情報である。

テーブル１４３ｂは、側方検出部１５２ｂによって検出される側方領域内の移動体を連結した結果の情報を有するテーブルである。例えば、テーブル１４３ｂは、連結識別番号と、移動体識別番号群とを有する。連結識別番号、移動体識別番号群に関する説明は、テーブル１４３ａの連結識別番号、移動体識別番号群に関する説明と同様である。

テーブル１４３ｃは、横断検出部１５２ｂによって検出される横断領域内の移動体を連結した結果の情報を有するテーブルである。例えば、テーブル１４３ｃは、連結識別番号と、移動体識別番号群とを有する。連結識別番号、移動体識別番号群に関する説明は、テーブル１４３ａの連結識別番号、移動体識別番号群に関する説明と同様である。

統合結果テーブル１４４は、前方領域Ｆ、側方領域Ｓ、横断領域Ｃで検出した移動体を統合した結果の情報を記憶するテーブルである。図５Ｂは、統合結果テーブルのデータ構造の一例を示す図である。図５Ｂに示すように、統合結果テーブル１４４は、統合識別番号と、移動体識別番号群とを有する。統合識別番号は、統合した各移動体の組みを一意に識別する情報である。移動体識別番号群は、統合された各移動体の各移動体識別番号を示す情報である。

カメラパラメータ１４５は、ドライブレコーダが利用するカメラの各種パラメータの情報を含む。例えば、カメラパラメータ１４５は、カメラの水平画角、垂直画角、フレームの水平解像度、フレームの垂直解像度、カメラの設置高さを含む。

制御部１５０は、車線検出部１５１、前方検出部１５２ａ、側方検出部１５２ｂ、横断検出部１５２ｃ、信頼度算出部１５３、連結部１５４、統合部１５５、分類部１５６、評価部１５７を有する。制御部１５０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１５０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

車線検出部１５１は、ドラレコ情報１４１から各フレームの画像データを取得し、画像内の車線の領域を検出する処理部である。以下の説明では、画像内の車線の領域を適宜、車線領域と表記する。

図６は、車線検出部が検出する車線領域の一例を示す図である。図６に示すように、車線領域２０は、点２１ａ，２１ｂ，２１ｃを頂点とする三角形の領域である。点２１ａは、消失点に対応する点である。

車線検出部１５１が消失点を検出する処理の一例について説明する。車両検出部１５１は、画像データをハフ変換して複数の直線を検出し、各直線が交差する点を消失点として特定する。車線検出部１５１は、その他どのような従来技術を用いて、消失点を特定しても良い。

図６の点２１ｂ，２１ｃは、車両のボンネット２２の位置よりも上方に設定される点である。ボンネット２２の位置は、予め設定しておいても良いし、所定の画像処理により特定しても良い。

車線検出部１５１は、点２１ａ，２１ｂ，２１ｃを特定し、点２１ａ，２１ｂ，２１ｃを頂点とする三角形の領域を求めることで、車線領域２０を検出する。車両検出部１５１は、車両領域の情報を、前方検出部１５２ａ、側方検出部１５２ｂ、横断検出部１５２ｃに出力する。

前方検出部１５２ａは、前方領域に含まれる移動体を検出する処理部である。側方領域検出部１５２ｂは、側方領域に含まれる移動体を検出する処理部である。横断検出部１５２ｃは、横断領域に含まれる移動体を検出する処理部である。

図７は、前方領域および側方領域を説明する図である。図７に示すように、前方領域Ｆは、車両領域２０を含む矩形の領域である。側方領域Ｓは、前方領域Ｆと一部重複し、車両領域２０の両側を含む矩形の領域である。

図８は、横断領域を説明する図である。横断領域は、速度に応じて領域の大きさが変動する。速度が０ではない場合には、横断領域Ｃとなる。横断領域Ｃは、図７に示した、前方領域Ｆと、側方領域Ｓの一部を含む。速度が０の場合には、横断領域Ｃａとなる。例えば、横断領域Ｃａは、横断領域Ｃよりも大きい領域となる。

前方検出部１５２ａが、前方領域Ｆに含まれる移動体を検出する処理の一例について説明する。前方検出部１５２ａは、ドラレコ情報１４１から、各フレームの画像データを取得する。図９は、前方検出部の処理を説明するための図である。図９において横軸はｘ座標を示し、縦軸はｙ座標を示す。

前方検出部１５２ａは、前方領域Ｆに対して、縦方向の輝度投影値を算出する。前方検出部１５２ａは、前方領域Ｆに含まれる同一のｘ座標値の輝度値を、ｘ座標値毎にそれぞれ縦方向に加算することで、縦方向の輝度投影値３０ａを算出する。前方検出部１５２ａは、輝度値の加算値が同等となるｘ座標の範囲ｘ１〜ｘ２を検出する。

前方検出部１５２ａは、隣接するｘ座標の輝度値の差が閾値以上となるｘ座標を算出することで、ｘ１，ｘ２を検出する。例えば、前方検出部１５２ａは、輝度投影値３０ａに含まれる各ｘ座標の輝度値の平均を算出し、算出した平均の輝度値を閾値として用いる。

例えば、白系の車両は、道路面よりも輝度が高いため、車両の含まれるｘ座標の範囲の輝度値と閾値との差が大きくなる。また、黒系の車両は、道路面よりも輝度が低いため、車両の含まれるｘ座標の範囲の輝度値と閾値との差が大きくなる。

次に、前方検出部１５２ａは、横方向の輝度投影値を算出する。前方検出部１５２ａは、前方領域Ｆに含まれる同一のｙ座標値の輝度値を、ｙ座標値毎にそれぞれ横方向に加算することで、横方向の輝度投影値３０ｂを算出する。

前方検出部１５２ａは、横方向の輝度投影値３０ｂを基にして、輝度値が最小となるｙ座標を、ｙ１として検出する。

前方検出部１５２ａは、ｘ１とｘ２との中点を、移動体のｘ座標として特定する。また、前方検出部１５２ａは、ｙ１を、移動体のｙ座標として特定する。例えば、前方検出部１５２ａは、移動体の座標の情報、車線領域の情報、移動体のｘ座標の範囲の情報を、信頼度算出部１５３に出力する。

なお、前方検出部１５２ａが、移動体の含まれるｘ座標の範囲ｘ１，ｘ２を求める処理は、上記のものに限定されない。例えば、前方検出部１５２ａは、縦方向の輝度投影値が閾値以上となる領域を、移動体の含まれる領域として特定しても良い。

側方検出部１５２ｂが、側方領域Ｓに含まれる移動体を検出する処理の一例について説明する。側方検出部１５２ｂは、ドラレコ情報１４１から、各フレームの画像データを取得する。側方検出部１５２ｂが、側方領域Ｓから移動体を検出する処理は、前方検出部１５２ａが、前方領域Ｆに含まれる移動体を検出する処理と同様である。

ところで、側方検出部１５２ｂは、縦方向の輝度投影値について、輝度値の加算値が同等となる範囲が、側方領域Ｓの外側に接する場合には、該当範囲を移動体の範囲から除外する。図１０は、側方検出部の処理を説明するための図である。図１０において、線３０ｃは、側方領域Ｓにおける縦方向の輝度投影値である。ｘ１は、側方領域Ｓの左端のｘ座標である。ｘ５は、側方領域Ｓの右端のｘ座標である。

図１０に示すように、輝度投影値３０ｃについて、輝度値の加算値が同等となるｘ座標の範囲は、範囲ｘ１〜ｘ２、範囲ｘ３〜ｘ４となる。ここで、範囲ｘ１〜ｘ２については、側方領域Ｓの外接に接する。このため、側方検出部１５２ｂは、範囲ｘ１〜ｘ２を、移動体の範囲から除外し、例えば、範囲ｘ３〜ｘ４を、移動体の範囲として特定する。

例えば、側方検出部１５２ｂは、移動体の座標の情報、車線領域の情報、移動体のｘ座標の範囲の情報を、信頼度算出部１５３に出力する。

横断検出部１５２ｃが、横断領域Ｃ、Ｃａに含まれる移動体を検出する処理の一例について説明する。横断検出部１５２ｃは、ドラレコ情報１４１の画像データに対応する速度を基にして、速度が０ではない場合には、横断領域Ｃから移動体を検出する。横断検出部１５２ｃは、速度が０の場合には、横断領域Ｃａから移動体を検出する。

横断検出部１５２ｃは、平均画像を生成する処理、二値画像を生成する処理、移動体を検出する処理を順に実行する。

横断検出部１５２ｃが、平均画像を生成する処理について説明する。横断検出部１５２ｃは、ドラレコ情報１４１の各フレームの画像データを取得し、各画素値を画素毎に加算する。横断検出部１５２ｃは、加算した画素毎の画素値をフレーム数で除算することで、平均画像を生成する。なお、横断検出部１５２ｃが、平均画像を作成する処理は、上記の処理に限定されず、どのような周知技術を用いても構わない。

横断検出部１５２ｃが、二値画像を生成する処理について説明する。横断検出部１５２ｃは、各フレームについて、各フレームの平均画像と、フレームの画像データとの差分画像をそれぞれ生成する。横断検出部１５２ｃは、各差分画像を基にして、二値画像を生成する。

例えば、横断検出部１５２ｃは、画像データの各画素の画素値から、平均画像の各画素の画素値を減算することで、差分画像を生成する。横断検出部１５２ｃは、全てのフレームに対して差分画像を生成しても良い。

横断検出部１５２ｃは、差分画像をＲＧＢ（Red Green Blue）分解する。横断検出部１５２ｃは、ＲＧＢ分解した後に、差分画像の各画素について、Ｒの値、Ｇの値、Ｂの値がそれぞれ所定の閾値を超える場合に、該当する画素の画素値を「１」に設定し、その他の画素の画素値を「０」に設定することで二値画像を生成する。横断検出部１５２ｃは、各差分画像について、二値画像を生成する。

横断検出部１５２ｃが、移動体を検出する処理について説明する。横断検出部１５２ｃは、移動体を検出する場合には、ラベリング処理とコーナー判定処理を実行する。

横断検出部１５２ｃが実行するラベリング処理について説明する。横断検出部１５２ｃは、二値画像を走査し、画素値が連続して「１」となる各画素を連結するラベリング処理を実行する。以下の説明では、ラベリング処理によって連結された領域を、候補領域と表記する。横断検出部１５２ｃは、候補領域を検出した後に、面積チェック、充填率チェック、縦横比チェックを実行して、検出対象に該当しない候補領域を除外する。

横断検出部１５２ｃが実行する面積チェックについて説明する。横断検出部１５２ｃは、候補領域の面積が、予め設定された所定の面積以上の場合に、該当する候補領域を残す。これに対して、横断検出部１５２ｃは、候補領域の面積が、予め設定された所定の面積未満の場合には、該当する候補領域を除外する。

横断検出部１５２ｃが実行する充填率チェックについて説明する。図１１は、充填率チェックを説明するための図である。図１１に示す例では、横断領域Ｃに、候補領域３５が存在する。横断検出部１５２ｃは、候補領域３５の外接矩形３６を設定する。横断検出部１５２ｃは、外接矩形３６の面積に対する候補領域３５の面積の割合を充填率として算出する。横断検出部１５２ｃは、充填率が所定の充填率以上の場合には、該当する候補領域３５を残す。これに対して、横断検出部１５２ｃは、充填率が所定の充填率未満の場合には、該当する候補領域を除外する。

横断検出部１５２ｃが実行する縦横比チェックについて説明する。横断検出部１５２ｃは、図１１と同様にして、候補領域に対する外接矩形を設定する。横断検出部１５２ｃは、外接矩形について、縦横比を算出する。横断検出部１５２は、外接矩形の横幅に対する縦幅の比率、または外接矩形の縦幅に対する横幅の比率が所定の比率未満の場合には、該当する候補領域３５を残す。

これに対して、横断検出部１５２ｃは、外接矩形の横幅に対する縦幅の比率、または外接矩形の縦幅に対する横幅の比率が所定の比率以上の場合には、該当する候補領域を除外する。外接矩形の横幅に対する縦幅の比率、または外接矩形の縦幅に対する横幅の比率が所定の比率以上の場合には、候補領域が、一般的な横断者の形状と比較して、極端に縦長または横長であることを示すため、候補領域が検出対象であるとは考えにくい。

続いて、横断検出部１５２ｃは、二値画像から検出した候補領域に対して面積チェック、充填率チェック、縦横比チェックを行い、取り除かれなかった候補領域の情報について、コーナー判定を実行する。

横断検出部１５２ｃが実行するコーナー判定処理について説明する。図１２は、コーナー判定の処理を説明する図である。図１２において、候補領域３１は、上記のラベリング処理で検出した候補領域であり、面積チェック、充填率チェック、縦横比チェックにより取り除かれなかった候補領域に対応する。また、外接矩形４１は、候補領域３１の外接矩形である。

横断検出部１５２ｃは、外接矩形４１内の各角４１ａ，４１ｂ，４１ｃ，４１ｄを含む候補領域３１以外のコーナー領域の面積を求める。コーナー領域は、外接矩形を構成する辺と、候補領域を構成する辺とに囲まれた多角形ということができる。図１２に示す例では、横断検出部１５２ｃは、コーナー領域４２ａ，４２ｂ，４２ｃ，４２ｄの面積を求める。横断検出部１５２ｃは、各コーナー領域の大小関係に基づいて、候補領域を除外する。以下の説明において、候補領域の除外条件１〜３について説明する。なお、下記の説明において、コーナー領域４２ａ，４２ｃを対角コーナーと表記する。また、コーナー領域４２ｂ，４２ｄを逆対角コーナーと表記する。

除外条件１について説明する。横断検出部１５２ｃは、対角コーナーの面積が所定の面積以上の場合に、該当する候補領域を除外する。

除外条件２について説明する。横断検出部１５２ｃは、対角コーナーの少なくとも一方の面積が所定の面積以上であり、かつ、逆対角コーナーの面積が所定の面積未満の場合に、該当する候補領域を除外する。

除外条件３について説明する。横断検出部１５２ｃは、対角コーナーの面積が所定の面積以上であり、かつ、対角コーナーの三角形度が所定の三角形度以上であり、かつ、逆対角コーナーの面積が所定の面積未満の場合に、該当する候補領域を除外する。

なお、除外条件１〜３で用いる閾値は、外接矩形４１の面積の大きさに応じて変更して良い。例えば、外接矩形４１の面積をＳとすると、閾値をＳ÷６によって求める。なお、閾値の値が４０画素を下回る場合には、閾値を４０とする。

三角形度の算出方法について説明する。図１３は、三角形度の算出方法を説明するための図である。ここでは、コーナー領域４２ｃの三角形度を求める場合について説明する。三角形ＢＣＤに含まれる画素の画素値を１に設定し、三角形ＡＢＣに囲まれる画素の画素値を０に設定する。そして、矩形ＡＢＣＤに含まれる画素のうち画素値が１となる面積を、矩形ＡＢＣＤで除算することで、横断検出部１５２ｃは、コーナー領域４２ｃの三角形度を算出する。

横断検出部１５２ｃは、上記の除外条件１〜３によって除外されなかった候補領域を移動体として検出する。例えば、横断検出部１５２ｃは、移動体の座標の情報、充填率の情報を、信頼度算出部１５３に出力する。

信頼度算出部１５３は、前方検出部１５２ａ、側方検出部１５２ｂ、横断検出部１５２ｃがそれぞれ検出した移動体の信頼度を算出する処理部である。信頼度算出部１５３は、フレーム番号、移動体識別番号、検出座標、信頼度を対応付けて、移動体管理テーブル１４２に登録する。

信頼度算出部１５３が、前方検出部１５２ａによって検出された移動体の信頼度を算出する処理の一例について説明する。信頼度算出部１５３は、移動体のｘ座標の範囲の情報を、移動体のｙ座標の値を基にして、実際の移動体の幅（ｍ）に換算し、換算した値を基にして、移動体の信頼度を算出する。ここで、移動体のｘ座標の範囲は、図９に示したｘ１〜ｘ２に対応する範囲である。

信頼度算出部１５３が、ｙ座標の値を基にして、実際の移動体の幅に換算する処理の一例について説明する。まず、信頼度算出部１５３は、移動体とカメラの距離とを算出する。図１４は、移動体とカメラとの距離を算出する処理を説明するための図である。

信頼度算出部１５３は、カメラパラメータ１４５を取得する。カメラパラメータ１４５は、カメラ５０の水平画角ＣＨ（radian）、カメラ５０の垂直画角ＣＶ（radian）、処理フレームの水平解像度ＳＨ（pixel）、処理フレームの垂直解像度ＳＶ（pixel）、カメラ５０の設置高さＨＧＴ（ｍ）を含む。

図１４において、５０ａはカメラ視野を示し、５０ｂは消失点の位置を示す。また、５１は、距離ｄでの投影面ＳＶ上で、移動体の座標に対応する。以下では、移動体の座標を適宜、検出位置５１と表記する。図１４のθは、カメラ５０および消失点５０ｂを結ぶ直線と、カメラ５０および検出位置５１を結ぶ直線とのなす角度である。また、ｃｙは、消失点５０ｂと検出位置５１との垂直方向の距離である。

ここで、式（１）が成立するため、θは式（２）によって表される。また、θを用いることで、距離ｄは、式（３）によって表すことができる。

ｃｙ／ＳＶ＝θ／ＣＶ・・・（１）

θ＝ＣＶ×ｃｙ／ＳＶ・・・（２）

ｄ＝ＨＧＴ／ｔａｎ（θ）・・・（３）

より具体的には、式（２）は、式（４）によって表すことができる。式（４）において、ＶａｎＹ[ｐｉｘｅｌ]は、処理フレーム上の消失点のｙ座標を示す。ｙ[ｐｉｘｅｌ]は、処理フレーム上の移動体のｙ座標を示す。ＡＢＳは絶対値を示す。

θ＝ＣＶ[ｒａｄ]×ＡＢＳ（ＶａｎＹ[ｐｉｘｅｌ]−ｙ[ｐｉｘｅｌ]）／ＳＶ[ｐｉｘｅｌ]・・・（４）

なお、移動体とカメラ距離とにつき、ｘ軸方向の距離は、式（５）によって算出される。ｙ軸方向の距離は、式（３）によって求められるｄの値である。

ｘ軸方向の距離＝ｄ×ｔａｎ（ＣＨ[ｒａｄ]／２）×２・・・（５）

上記の式（３）で求められる距離ｄが、移動体とカメラとの距離に対応する。

例えば、信頼度算出部１５３は、移動体とカメラの距離とを算出した後に、式（６）を用いて、ｙ座標から、実際の移動体の幅を算出する。

実際の移動体の幅［ｍ］＝ｄ［ｍ］×移動体のｘ座標の範囲［ｐｉｘｅｌ］／ｙ座標［ｐｉｘｅｌ］・・・（６）

信頼度算出部１５３は、実際の移動体の幅（ｍ）と、平均的な車両の幅との差の絶対値を算出する。信頼度算出部１５３は、差の絶対値が０に近づくほど値が１００に近づき、差の絶対値が大きくなるほど値が０となるように、差の絶対値を正規化し、正規化した値を信頼度として算出する。信頼度算出部１５３は、各フレームの前方領域Ｆに含まれる移動体毎に信頼度を算出する。

信頼度算出部１５３は、フレーム番号毎に、移動体識別番号と検出座標と信頼度とを対応付けて、移動体管理テーブル１４２のテーブル１４２ａに登録する。信頼度算出部１５３は、各移動体にユニークな移動体識別番号を割り振る。検出座標は、移動体の座標に対応する。

信頼度算出部１５３が、側方検出部１５２ｂによって検出された移動体の信頼度を算出する処理の一例について説明する。信頼度算出部１５３が、側方検出部１５２ｂによって検出された移動体の信頼度を算出する処理は、前方検出部１５２ａによって検出された移動体の信頼度を算出する処理と同様である。信頼度算出部１５３は、各フレームの側方領域Ｓに含まれる移動体毎に信頼度を算出する。

信頼度算出部１５３は、フレーム番号毎に、移動体識別番号と検出座標と信頼度とを対応付けて、移動体管理テーブル１４２のテーブル１４２ｂに登録する。信頼度算出部１５３は、各移動体にユニークな移動体識別番号を割り振る。検出座標は、移動体の座標に対応する。

信頼度算出部１５３が、横断検出部１５２ｃによって検出された移動体の信頼度を算出する処理の一例について説明する。例えば、信頼度算出部１５３は、充填率に基づいて、横断領域Ｃの移動体の信頼度を算出しても良い。信頼度算出部１５３は、充填率が大きくなるほど、信頼度を１００に近づけ、充填率が小さくなるほど、信頼度を０に近づけることで、信頼度を算出する。

信頼度算出部１５３は、フレーム番号毎に、移動体識別番号と検出座標と信頼度とを対応付けて、移動体管理テーブル１４２のテーブル１４２ｃに登録する。信頼度算出部１５３は、各移動体にユニークな移動体識別番号を割り振る。検出座標は、移動体の座標に対応する。

連結部１５４は、同一の移動体を時系列に連結する処理部である。連結部１５４は、移動体管理テーブル１４２のテーブル１４２ａを基にして、前方領域Ｆから検出された同一の移動体を時系列に連結する。連結部１５４は、テーブル１４２ｂを基にして、側方領域Ｓから検出された同一の移動体を時系列に連結する。連結部１５４は、テーブル１４２ｃを基にして、横断領域Ｃから検出された同一の移動体を時系列に連結する。連結部１５４は、前方領域Ｆ、側方領域Ｓ、横断領域Ｃでそれぞれ連結した結果を、連結管理テーブル１４３に登録する。

連結部１５４が、前方領域Ｆから検出された同一の移動体を時系列に連結する処理について説明する。連結部１５４は、Ｎフレームの検出座標を中心とする所定範囲の領域Ｎａと、Ｎ＋１フレームの検出座標を中心とする所定範囲の領域Ｎｂとが重なる領域Ｎｃを特定する。連結部１５４は、領域Ｎｃの大きさが閾値以上の場合に、Ｎフレームの移動体と、Ｎ＋１フレームの移動体とを連結する。例えば、連結部１５４は、所定範囲の領域に対する領域Ｎｃの大きさの割合が、５０％以上の場合に、連結を行っても良い。

上記の処理に加えて、連結部１５４は、領域内の色に基づいて、各移動体を連結しても良い。例えば、連結部１５４は、領域Ｎａの色と領域Ｎｂの色とが同色系の色である場合に、Ｎフレームの移動体と、Ｎ＋１フレームの移動体とを連結する。連結部１５４は、領域Ｎａ，Ｎｂの色情報を、ドラレコ情報１４１の画像データから取得する。例えば、連結部１５４は、領域内の画像の輝度値が、１２８以上の場合には、領域内の色は白系と判定する。連結部１５４は、領域内の画像の輝度値が、１２８未満の場合には、領域内の色は黒系と判定する。

連結部１５４は、前方領域Ｆについて、連結識別番号と、連結した各移動体の各移動体識別番号を含む移動体識別番号群とを対応付けて、テーブル１４３ａに登録する。

連結部１５４が、側方領域Ｓから検出された同一の移動体を時系列に連結する処理について説明する。連結部１５４が、側方領域Ｓの移動体を時系列に連結する処理は、上記の前方領域Ｆの移動体を時系列に連結する処理と同様で良い。

連結部１５４は、側方領域Ｓについて、連結識別番号と、連結した各移動体の各移動体識別番号を含む移動体識別番号群とを対応付けて、テーブル１４３ｂに登録する。

連結部１５４が、横断領域Ｃから検出された同一の移動体を時系列に連結する処理について説明する。連結部１５４が、横断領域Ｃの移動体を時系列に連結する処理は、上記の前方領域Ｆの移動体を時系列に連結する処理と同様で良い。なお、連結部１５４は、前方領域Ｆで利用する閾値と比較して、該閾値よりも小さい閾値により、Ｎフレームの移動体と、Ｎ＋１フレームの移動体とを連結する。例えば、連結部１５４は、所定範囲の領域に対する領域Ｎｃの大きさの割合が、１０％以上の場合に、連結を行っても良い。これは、横断領域Ｃで検出される移動体は、移動量が大きいため、連続するフレーム間で、領域が重なる大きさが、小さくなる傾向があるためである。

連結部１５４は、横断領域Ｃについて、連結識別番号と、連結した各移動体の各移動体識別番号を含む移動体識別番号群とを対応付けて、テーブル１４３ｃに登録する。

連結部１５４は、各フレームの移動体において、信頼度が閾値以上となる移動体同士を優先して連結する。しかし、一時的に移動体の信頼度が低くなる場合もあり得る。このため、連結部１５４は、優先度が閾値以上となる移動体同士を連結できない場合がある。このような場合には、連結部１５４は、信頼度が閾値未満となる移動体を連結候補に含めて、各移動体を連結しても良い。

連結部１５４は、信頼度が最大となる移動体を特定し、特定した信頼度が最大となる移動体を起点として、各フレームの移動体を連結しても良い。

統合部１５５は、連結管理テーブル１４３のテーブル１４３ａ，１４３ｂ，１４３ｃの移動体を統合することで、統合結果テーブル１４４を生成する処理部である。図１５および図１６は、統合部の処理の一例を説明するための図である。図１５において、車両６０は、ドライブレコーダを搭載した自車両である。車両６５は、移動体に対応する他の車両である。図１５の横軸は時間軸である。

図１５では一例として、期間Ｔ１において、側方検出部１５２ｂが移動体６５を検出し、期間Ｔ３において、横断検出部１５２ｃが移動体６５を検出し、期間Ｔ６において、前方検出部１５２ａが移動体６５を検出した場合について説明する。ここで、期間Ｔ２では、側方検出部１５２ｂおよび横断検出部１５２ｃが、同一の移動体６５を検出した可能性がある。また、期間Ｔ４では、横断検出部１５２ｃおよび前方検出部１５２ａが、同一の移動体６５を検出した可能性がある。

統合部１５５は、期間Ｔ２において、側方検出部１５２ｂおよび横断検出部１５２ｃが、同一の移動体６５を検出したか否かを判定する。また、統合部１５５は、期間Ｔ４において、横断検出部１５２ｃおよび前方検出部１５２ａが、同一の移動体６５を検出したか否かを判定する。Ｔ２，Ｔ４で同一の移動体６５を検出している場合には、統合部１５５は、期間Ｔ１，Ｔ３，Ｔ６で検出した各移動体の組みを統合して、同一の組みに分類する。統合部１５５は、統合結果を、統合結果テーブル１４４に登録する。

統合部１５５が、期間Ｔ２において、側方検出部１５２ｂおよび横断検出部１５２ｃが、同一の移動体６５を検出したか否かを判定する処理について説明する。

統合部１５５は、期間Ｔ２において、側方検出部１５２ｂが検出した移動体の検出座標を中心とする所定範囲の領域Ｍａと、期間Ｔ２において横断検出部１５２ｃが検出した移動体の検出座標を中心とする所定範囲の領域Ｍｂを求める。統合部１５５は、移動体管理テーブル１４２および連結管理テーブル１４３を基にして、領域Ｍａ，Ｍｂを求める。

統合部１５５は、領域Ｍａと領域Ｍｂとが重なる領域Ｍｃを特定する。統合部１５５は、領域Ｍｃの大きさが閾値以上の場合に、期間Ｔ１で側方検出部１５２ｂが検出した各移動体の組みと、期間Ｔ３で横断検出部１５２ｃが検出した各移動体の組みとを統合する。

上記処理に加えて、統合部１５５は、領域内の色に基づいて、各移動体の組みと、各移動体の組みとを統合しても良い。例えば、統合部１５５は、領域Ｍａの色と、領域Ｍｂの色とが同色系である場合に、期間Ｔ１で側方検出部１５２ｂが検出した各移動体の組みと、期間Ｔ３で横断検出部１５２ｃが検出した各移動体の組みとを統合する。同色系であるか否かを判定する処理の説明は、連結部１５４で説明した、同色系であるか否かを判定する処理の説明と同様である。

続いて、統合部１５５が、期間Ｔ４において、横断検出部１５２ｃおよび前方検出部１５２ａが、同一の移動体６５を検出したか否かを判定する処理について説明する。

統合部１５５は、期間Ｔ４において横断検出部１５２ｃが検出した移動体の検出座標を中心とする所定範囲の領域Ｌａと、期間Ｔ４において前方検出部１５２ａが検出した移動体の検出座標を中心とする所定範囲の領域Ｌｂを求める。統合部１５５は、移動体管理テーブル１４２および連結管理テーブル１４３を基にして、領域Ｌａ，Ｌｂを求める。

統合部１５５は、領域Ｌａと領域Ｌｂとが重なる領域Ｌｃを特定する。統合部１５５は、領域Ｌｃの大きさが閾値以上の場合に、期間Ｔ３で横断検出部１５２ｃが検出した各移動体の組みと、期間Ｔ６で前方検出部１５２ａが検出した各移動体の組みとを統合する。

上記処理に加えて、統合部１５５は、領域内の色に基づいて、各移動体の組みと、各移動体の組みとを統合しても良い。例えば、統合部１５５は、領域Ｌａの色と、領域Ｌｂの色とが同色系である場合に、期間Ｔ３で側方検出部１５２ｂが検出した各移動体の組みと、期間Ｔ６で横断検出部１５２ｃが検出した各移動体の組みとを統合する。同色系であるか否かを判定する処理の説明は、連結部１５４で説明した、同色系であるか否かを判定する処理の説明と同様である。

統合部１５５は、図１５を用いて説明した処理を実行することで、各期間Ｔ１、Ｔ３、Ｔ６で検出した移動体の組みを統合し、統合結果テーブル１４４に情報を登録する。統合部１５５は、統合した各移動体識別番号に、ユニークな統合識別番号を割り当てる。

図１６について説明する。図１６では一例として、期間Ｔ７において前方検出部１５２ａが、移動体６５を検出し、期間Ｔ９において横断検出部１５２ｂが、移動体６５を検出し、期間Ｔ１１において前方検出部１５２ａが、移動体６５を検出した場合について説明する。例えば、移動体６５が車両６０に近づきすぎると、前方検出部１５２ａによって移動体６５を検出できない場合があるため、横断検出部１５２ｃの移動体の検出結果を利用して、前方検出部１５２ａが検出できなかった期間を補うことができる。

統合部１５５は、期間Ｔ８において、前方検出部１５２ａおよび横断検出部１５２ｃが、同一の移動体６５を検出したか否かを判定する。また、統合部１５５は、期間Ｔ１０において、前方検出部１５２ａおよび横断検出部１５２ｃが、同一の移動体６５を検出したか否かを判定する。

統合部１５５が、期間Ｔ８において、前方検出部１５２ａおよび横断検出部１５２ｃが、同一の移動体６５を検出したか否かを判定する処理について説明する。

統合部１５５は、期間Ｔ８において前方検出部１５２ａが検出した移動体の検出座標を中心とする所定範囲の領域Ｋａと、期間Ｔ８において横断検出部１５２ｃが検出した移動体の検出座標を中心とする所定範囲の領域Ｋｂを求める。統合部１５５は、移動体管理テーブル１４２および連結管理テーブル１４３を基にして、領域Ｋａ，Ｋｂを求める。

統合部１５５は、領域Ｋａと領域Ｋｂとが重なる領域Ｋｃを特定する。統合部１５５は、領域Ｋｃの大きさが閾値以上の場合に、期間Ｔ８で前方検出部１５２ａが検出した各移動体の組みと、期間Ｔ８で横断検出部１５２ｃが検出した各移動体の組みとを統合する。なお、統合部１５５は、領域Ｋａと領域Ｋｂとが同色系の色である場合に、各移動体の組みを統合するものとする。

統合部１５５が、期間Ｔ１０において、横断検出部１５２ｃおよび前方検出部１５２ａが、同一の移動体６５を検出したか否かを判定する処理について説明する。期間Ｔ１０において横断検出部１５２ｃが検出した移動体の検出座標を中心とする所定範囲の領域Ｊａと、期間Ｔ１０において前方検出部１５２ａが検出した移動体の検出座標を中心とする所定範囲の領域Ｊｂを求める。統合部１５５は、移動体管理テーブル１４２および連結管理テーブル１４３を基にして、領域Ｊａ，Ｊｂを求める。

統合部１５５は、領域Ｊａと領域Ｊｂとが重なる領域Ｊｃを特定する。統合部１５５は、領域Ｊｃの大きさが閾値以上の場合に、期間Ｔ１０で横断検出部１５２ｃが検出した各移動体の組みと、期間Ｔ１０で前方検出部１５２ａが検出した各移動体の組みとを統合する。なお、統合部１５５は、領域Ｊａと領域Ｊｂとが同色系の色である場合に、各移動体の組みを統合するものとする。

統合部１５５は、図１６を用いて説明した処理を実行することで、各期間Ｔ７、Ｔ９、Ｔ１１で検出した移動体の組みを統合し、統合結果テーブル１４４に情報を登録する。統合部１５５は、結合した各移動体識別番号に、ユニークな統合識別番号を割り当てる。

図１７は、統合処理のイメージ図である。各ステップＳに含まれる２０は、上述した検出領域に対応する。ステップＳ１０において、側方検出部１５２ｂが、移動体７０ａを検出する。ステップＳ１１において、側方検出部１５２ｂおよび横断検出部１５２ｃが、移動体７０ａを検出する。ステップＳ１２において、横断検出部１５２ｃが、移動体７０ａを検出する。

ステップＳ１３において、横断検出部１５２ｃが、移動体７０ａを検出する。ステップＳ１４において、横断検出部１５２ｃが、移動体７０ａを検出する。ステップＳ１５において、前方検出部１５２ａおよび横断検出部１５２ｃが、移動体７０ａを検出する。

例えば、図１７のステップＳ１１、Ｓ１２、Ｓ１５で検出された移動体の信頼度を閾値以上とし、ステップＳ１０、Ｓ１３、Ｓ１４で検出された移動体の信頼度を閾値未満とする。統合部１５５は、ステップＳ１０、Ｓ１３、Ｓ１４で検出された移動体７０ａの信頼度を閾値未満であっても、図１７のステップＳ１１、Ｓ１２、Ｓ１５で検出された移動体７０ａの信頼度が高い場合には、ステップＳ１０〜Ｓ１５の移動体７０ａを、連結する。

分類部１５６は、統合結果テーブル１４４および移動体管理テーブルを基にして、検出した移動体の動きを、前方、横断、側方に分類する処理部である。以下において、分類部１５６の処理について具体的に説明する。

分類部１５６は、信頼度算出部１５３の処理で説明した式（３）、式（５）を用いて、移動体のｘ方向の距離、ｙ方向の距離を、統合結果テーブル１４４の統合識別番号毎に算出する。このｘ方向の距離およびｙ方向の距離は、ドライブレコーダを搭載した自車両を原点とした場合の距離である。

分類部１５６は、自車両の前方を所定期間走行する移動体を、「前方」に分類する。例えば、分類部１５６は、所定期間中において、ｘ方向の距離が閾値Ｆｘ未満で、かつ、ｙ方向の距離が閾値Ｆｙ未満の場合に、統合識別番号に対応付けられた移動体を、「前方」に分類する。

図１８は、前方に分類される移動体の一例を示す図である。図１８に示すように、ステップＳ２０、Ｓ２１、Ｓ２２、Ｓ２３、Ｓ２４において、移動体７１は、検出領域２０付近からほとんど移動していない。このような動きをする移動体７１については、ｘ方向の距離が閾値Ｆｘ未満で、かつ、ｙ方向の距離が閾値Ｆｙ未満となる。このため、分類部１５６は、移動体７１を「前方」に分類する。

分類部１５６は、自車両の前方を右から左あるいは左から右に走行する移動体を、「横断」に分類する。例えば、分類部１５６は、ｘ方向の移動距離が、閾値Ｃｘ以上となる場合に、統合識別番号に対応付けられた移動体を、「横断」に分類する。

図１９は、横断に分類される移動体の一例を示す図である。図１９に示すように、ステップＳ３０、Ｓ３１、Ｓ３２、Ｓ３３において移動体７２が自車両６０を横切っており、ステップＳ３１、Ｓ３２において、移動体７２が検出されている。このような動きをする移動体７２については、ｘ方向の距離が閾値Ｃｘ以上となる。このため、分類部１５６は、移動体７２を「横断」に分類する。

分類部１５６は、自車両の側方を走行する移動体、または、自車両の側方から前方に移動する移動体を「側方」に分類する。例えば、分類部１５６は、所定期間中において、ｘ方向の距離が閾値Ｓｘ以上の状態が保たれている場合に、統合識別番号に対応付けられた移動体を、「側方」に分類する。また、分類部１５６は、所定期間中において、ｘ方向の処理が閾値Ｓｘ以上の状態となった後に、ｙ方向の距離が閾値Ｓｙとなった移動体を、「側方」に分類する。

図２０および図２１は、側方に分類される移動体の一例を示す図である。図２０に示すように、ステップＳ４０、Ｓ４１、Ｓ４２において移動体７３が検出されており、検出領域２０の横側からほとんど移動していない。このような移動体７３については、ｘ方向の距離が閾値Ｓｘ以上の状態が保たれている。このため、分類部１５６は、移動体７３を「側方」に分類する。

図２１に示すように、ステップＳ５０、Ｓ５１、Ｓ５２、Ｓ５３、Ｓ５４において移動体７４が検出されており、検出領域２０の横側を細かく移動している。このような移動体７４については、ｘ方向の距離が閾値Ｓｘ以上の状態が保たれている。このため、分類部１５６は、移動体７４を「側方」に分類する。

分類部１５６は、統合識別番号と、分類結果とを対応付けた情報を、評価部１５７に出力する。ところで、上記のｘ方向の閾値の大小関係を、閾値Ｃｘ＞閾値Ｓｘ＞閾値Ｆｘとする。ｙ方向の閾値の大小関係を、閾値Ｓｙ＞閾値Ｆｙとする。

評価部１５７は、分類部１５６の分類結果を基にして、ヒヤリハットの原因を評価する処理部である。評価部１５７は、評価結果を表示部１３０に出力する。

例えば、評価部１５７は、統合識別番号によって特定される移動体が「前方」に分類されている場合には、この移動体によるヒヤリハットの原因が「人に依存する」と評価する。例えば、移動体が前方に分類されているということは、運転者の前方不注意によって急ブレーキを踏まれた場合に、ドライブレコーダに撮影された移動体だと言える。

これに対して、評価部１５７は、統合識別番号によって特定される移動体が「横断」または「側方」に分類されている場合には、この移動体によるヒヤリハットの原因が「位置に依存する」と評価する。例えば、移動体が横断または側方に分類されていると言うことは、運転者の発見が遅れる、飛び出しのある危険な場所であると言える。

次に、本実施例２に係る画像処理装置１００の処理手順について説明する。図２２は、本実施例２に係る画像処理装置の処理手順を示すフローチャートである。図２２に示すように、画像処理装置１００は、画像から自車線を検出する（ステップＳ１０１）。

画像処理装置１００は、前方検出処理を実行する（ステップＳ１０２）。前方検出処理は、前方領域Ｆから、移動体を検出する処理に対応する。画像処理装置１００は、側方検出処理を実行する（ステップＳ１０３）。側方検出処理は、側方領域Ｓから、移動体を検出する処理に対応する。画像処理装置１００は、横断検出処理を実行する（ステップＳ１０４）。画像処理装置１００は、ステップＳ１０２、Ｓ１０３、Ｓ１０４の各処理を並列的に実行しても良い。

画像処理装置１００は、前方連結処理を実行する（ステップＳ１０５）。前方連結処理は、前方領域Ｆから検出した各移動体を連結する処理に対応する。画像処理装置１００は、側方連結処理を実行する（ステップＳ１０６）。側方連結処理は、側方領域Ｓから検出した各移動体を連結する処理に対応する。画像処理装置１００は、横断連結処理を実行する（ステップＳ１０７）。横断連結処理は、横断領域Ｃから検出した各移動体を連結する処理に対応する。画像処理装置１００は、ステップＳ１０５、Ｓ１０６、Ｓ１０７の各処理を並列的に実行しても良い。

画像処理装置１００は、統合処理を実行する（ステップＳ１０８）。統合処理は、前方領域Ｆ、側方領域Ｓ、横断領域Ｃで連結した移動体の情報を統合する処理である。画像処理装置１００は、移動体の動きを分類し（ステップＳ１０９）、各移動体を評価する（ステップＳ１１０）。

次に、ステップＳ１０５、Ｓ１０６、Ｓ１０７に示した連結処理の処理手順の一例について説明する。図２３は、連結処理の処理手順を示すフローチャートである。図２３に示すように、画像処理装置１００は、信頼度が閾値以上となる移動体を検出する（ステップＳ２０１）。例えば、検出した移動体のフレームをＴとする。

画像処理装置１００は、ｔ１にＴの値を設定し、ｔ２にｔ１−１の値を設定する（ステップＳ２０２）。画像処理装置１００は、ｔ２フレームに移動体が存在するか否かを判定する（ステップＳ２０３）。画像処理装置１００は、移動体が存在する場合には（ステップＳ２０３，Ｙｅｓ）、ｔ１フレームとｔ２フレームとを比較し（ステップＳ２０４）、接続対象が存在するか否かを判定する（ステップＳ２０５）。画像処理装置１００は、接続対象が存在しない場合には（ステップＳ２０５，Ｎｏ）、ステップＳ２０８に移行する。

一方、画像処理装置１００は、接続対象が存在する場合には（ステップＳ２０５，Ｙｅｓ）、ｔ１フレームの移動体とｔ２フレームの移動体を接続する（ステップＳ２０６）。画像処理装置１００は、ｔ１にｔ２の値を設定し、ｔ２にｔ１−１の値を設定し（ステップＳ２０７）、ステップＳ２０３に移行する。

ところで、ステップＳ２０３において、ｔ２フレームに移動体が存在しない場合には（ステップＳ２０３，Ｎｏ）、ステップＳ２０８に移行する。画像処理装置１００は、ｔ１にＴの値を設定し、ｔ２にｔ１＋１の値を設定する（ステップＳ２０８）。

画像処理装置１００は、ｔ２フレームに移動体が存在するか否かを判定する（ステップＳ２０９）。画像処理装置１００は、移動体が存在する場合には（ステップＳ２０９，Ｙｅｓ）、ｔ１フレームとｔ２フレームとを比較し（ステップＳ２１０）、接続対象が存在するか否かを判定する（ステップＳ２１１）。画像処理装置１００は、ｔ２フレームに移動体が存在しない場合には（ステップＳ２０９，Ｎｏ）、ステップＳ２１３に移行する。

一方、画像処理装置１００は、ｔ２フレームに移動体が存在する場合には（ステップＳ２０９，Ｙｅｓ）、ｔ１フレームとｔ２フレームとを比較し（ステップＳ２１０）、接続対象が存在するか否かを判定する（ステップＳ２１１）。画像処理装置１００は、接続対象が存在しない場合には（ステップＳ２１１，Ｎｏ）、ステップＳ２１３に移行する。

一方、画像処理装置１００は、接続対象が存在する場合には（ステップＳ２１１，Ｙｅｓ）、ｔ１にｔ２の値を設定し、ｔ２にｔ１−１の値を設定し（ステップＳ２１２）、ステップＳ２０９に移行する。

画像処理装置１００は、処理対象の移動体で未処理の移動体が存在するか否かを判定する（ステップＳ２１３）。画像処理装置１００は、処理対象の移動体で未処理の移動体が存在する場合には（ステップＳ２１３，Ｙｅｓ）、ステップＳ２０１に移行する。一方、画像処理装置１００は、処理対象の移動体で未処理の移動体が存在しない場合には（ステップＳ２１３，Ｎｏ）、連結処理を終了する。

次に、ステップＳ１０８に示した統合処理の処理手順について説明する。図２４は、統合処理の処理手順を示すフローチャートである。図２４に示すように、画像処理装置１００は、信頼度が閾値以上の連結物体を抽出する（ステップＳ３０１）。ステップＳ３０１において、連結物体は、連結された各移動体の組みを示す。画像処理装置１００は、連結物体に含まれる移動体の信頼度のうちいずれかが閾値以上となる連結物体を抽出する。ステップＳ３０１では一例として、画像処理装置１００が、ｔＳフレーム〜ｔＥフレームで連結された連結物体を抽出したものとする。ｔＳは、連結物体の開始フレームであり、ｔＥは、連結物体の終了フレームである。

画像処理装置１００は、ｔＳ〜ｔＳ＋δのフレームで、他の処理範囲において、連結対象の連結物体を検索する（ステップＳ３０２）。ステップＳ３０２において、先のステップＳ３０１で選択した連結物体の検出元が前方領域Ｆの場合には、他の処理範囲は、側方領域Ｓまたは横断領域Ｃとなる。先のステップＳ３０１で選択した連結物体の検出元が側方領域Ｓの場合には、他の処理範囲は、前方領域Ｆまたは横断領域Ｃとなる。先のステップＳ３０１で選択した連結物体の検出元が横断領域Ｃの場合には、他の処理範囲は、前方領域Ｆまたは側方領域Ｓとなる。

画像処理装置１００は、連結物体が存在するか否かを判定する（ステップＳ３０３）。画像処理装置１００は、連結物体が存在する場合には（ステップＳ３０３，Ｙｅｓ）、ステップＳ３０６に移行する。

一方、画像処理装置１００は、連結物体が存在しない場合には（ステップＳ３０３，Ｎｏ）、ｔＳ−１フレームに、他の処理範囲内において、連結物体または移動体が存在するか否かを判定する（ステップＳ３０４）。画像処理装置１００は、連結物体または移動体が存在する場合には（ステップＳ３０５，Ｙｅｓ）、ステップＳ３０６に移行する。一方、画像処理装置１００は、連結物体または移動体が存在しない場合には（ステップＳ３０５，Ｎｏ）、ステップＳ３０７に移行する。

画像処理装置１００は、移動体を連結し、ｔＳ、ｔＥを更新する（ステップＳ３０６）。例えば、図１５の期間Ｔ１の各フレームの移動体と、期間Ｔ３の各フレームの移動体と連結した場合には、画像処理装置１００は、ｔＳフレームを期間Ｔ１の開始フレームに更新し、ｔＥフレームを期間Ｔ３の終了フレームに更新する。画像処理装置１００は、ステップＳ３０６の処理を実行した後に、ステップＳ３０２に移行する。

ところで、画像処理装置１００は、ｔＳ〜ｔＳ−δのフレームで、他の処理範囲において、連結対象の連結物体を検索する（ステップＳ３０７）。画像処理装置１００は、連結物体が存在するか否かを判定する（ステップＳ３０８）。

画像処理装置１００は、連結物体が存在する場合には（ステップＳ３０８，Ｙｅｓ）、ステップＳ３１１に移行する。一方、画像処理装置１００は、連結物体が存在しない場合には（ステップＳ３０８，Ｎｏ）、ｔＥ＋１フレームに、他の処理範囲において、連結物体または移動体が存在するか否かを検索する（ステップＳ３０９）。

画像処理装置１００は、連結物体または移動体が存在するか否かを判定する（ステップＳ３１０）。画像処理装置１００は、連結物体が存在する場合には（ステップＳ３１０，Ｙｅｓ）、移動体を連結し、ｔＳ、ｔＥを更新し（ステップＳ３１１）、ステップＳ３０８に移行する。

画像処理装置１００は、連結物体が存在しない場合には（ステップＳ３１０，Ｎｏ）、処理対象の移動体で未処理の移動体が存在するか否かを判定する（ステップＳ３１２）。画像処理装置１００は、処理対象の移動体で未処理の移動体が存在する場合には（ステップＳ３１２，Ｙｅｓ）、ステップＳ３０１に移行する。一方、画像処理装置１００は、処理対象の移動体で未処理の移動体が存在しない場合には（ステップＳ３１２，Ｎｏ）、統合処理を終了する。

次に、本実施例２に係る画像処理装置１００の効果について説明する。例えば、画像処理装置１００が、ドライブレコーダに記録される画像データに対して、処理を実行すると、処理対象領域に含まれる画像の大半は、路面である。この路面上に移動体が存在している場合には、移動体の画像と路面の画像との間に輝度差が生じる。このため、例えば、ｘ軸方向の座標毎の輝度値の加算値が同等となる画像の領域を検出することで、移動体を精度良く検出することができる。

また、画像処理装置１００は、図１０で説明したように、縦方向の輝度投影値について、輝度値の加算値が同等となる範囲が、側方領域Ｓの外側に接する場合には、該当範囲を移動体の範囲から除外する。例えば、側方領域Ｓに相手車がいる状態であれば、検出した移動体の領域が側方領域Ｓの外接に接する位置には現れないことが多い。このため、上記の処理を実行することで、ノイズを誤って移動体として検出してしまうことを防止することができる。

また、画像処理装置１００は、前方領域Ｆ、側方領域Ｓ、横断領域Ｃを設け、それぞれの領域について、前方検出部１５２ａ、側方検出部１５２ｂ、横断検出部１５２ｃが、移動体の検出を行う。そして、画像処理装置１００は、各領域Ｆ，Ｓ，Ｃで検出した移動体の座標の変化と時間変化を判定する。このため、前方領域Ｆ、側方領域Ｓ、横断領域Ｃから複数の移動体の候補を検出しておき、それぞれ検出したものが同一の移動体であるか否かを後から判断して、移動体の動きを判定することができる。例えば、前方領域Ｆ、側方領域Ｓで検出できなかった移動体を、横断領域Ｃによって検出できる場合があり、各領域Ｆ、Ｓ、Ｃから連続的に移動体を検出できる。

また、画像処理装置１００は、信頼度が最大となる移動体を特定し、特定した信頼度が最大となる移動体を起点として、各フレームの移動体を連結する。一般的に、前方領域Ｆで検出された移動体の信頼度が最大となる場合が多い。このため、前方領域Ｆで移動体を特定し、特定した前方領域Ｆの移動体と重なりを持つ横断領域Ｃの移動体を特定できる。また、特定した横断領域Ｃの移動体と重なりを持つ側方領域Ｓの移動体を特定できる。このため、側方領域Ｓから、前方領域Ｆに至る移動体の動きを正確にトレースでき、例えば、ヒヤリハットの原因を飛び出しと評価することができる。

また、画像処理装置１００は、自車両が停止しているか否かによって、横断領域の大きさを調整する。例えば、図８で説明したように、速度が０ではない場合には、横断領域Ｃとなる。速度が０の場合には、横断領域Ｃよりも大きい横断領域Ｃａとなる。自車両に速度がある際に横断検出部１５２ｃが差分処理により、移動体検出を試みると、固定物も差分として検出されてしまいノイズが多くなってしまう。このため、自車両に速度があるときは、横断領域を狭くすることで、検出され得るノイズの量を削減することができる。

ところで、上記の実施例２で説明した画像処理装置１００の処理は一例であり、その他の処理を実行しても良い。以下において、画像処理装置１００が実行するその他の処理について説明する。

側方検出部１５２ｂのその他の処理について説明する。例えば、側方検出部１５２ｂは、側方領域Ｓから移動体を検出する際に、夜間判定処理、高輝度領域検出処理、移動体検出処理を順に実行して、移動体を検出しても良い。

側方検出部１５２ｂが実行する夜間判定処理について説明する。側方検出部１５２ｂは、ドラレコ情報を参照し、画像データの所定の領域について、平均輝度を算出する。例えば、側方検出部１５２ｂは、消失点よりも上方に領域を設定し、平均輝度を算出する。側方検出部１５２ｂは、平均輝度が所定の輝度未満の場合に、該当する画像データを夜間の画像データであると判定する。側方検出部１５２ｂは、各フレームの画像データに対して同様の処理を実行し、夜間の画像データの各フレームをドラレコ情報１４１から抽出する。なお、側方検出部１５２ｂは、日時を利用して、夜間の画像データを判定しても良い。

側方検出部１５２ｂが実行する高輝度領域検出処理について説明する。側方検出部１５２ｂは、夜間の画像データの側方領域Ｓにおいて、所定の輝度以上となる高輝度領域を検出する。側方検出部１５２ｂは、高輝度領域の面積が所定の面積よりも大きい場合に、係る高輝度領域を移動体候補として検出する。側方検出部１５２ｂは、夜間の各画像データに対して同様の処理を実行し、各画像データから移動体候補領域を検出する。

側方検出部１５２ｂが実行する移動体検出処理について説明する。側方検出部１５２ｂは、各画像データから検出した移動体候補領域を連結する。例えば、側方検出部１５２ｂは、前後の画像データから検出した移動体候補領域を比較し、重複する領域の大きさが閾値以上の場合に、各移動体候補領域を連結する。

側方検出部１５２ｂは、連結した各移動体候補領域の座標と、カメラパラメータ１４５とを基にして、移動体候補領域のｘ方向の距離の変化およびｙ方向の距離の変化を算出する。例えば、側方検出部１５２ｂは、上述した式（３）、式（５）を基にして、移動体候補領域のｘ方向の距離の変化およびｙ方向の距離の変化を算出する。

側方検出部１５２ｂは、ｘ方向の距離がマイナス方向に変化する場合や、ｙ方向の距離がプラス方向に変化する場合に、移動体候補領域を、移動体として検出する。これに対して、ｘ方向に単調増加し、ｙ方向に単調減少する移動体候補は、静止物体であると考えられる。このため、側方検出部１５２ｂは、ｘ方向に単調増加し、ｙ方向に単調減少する移動体候補を移動体として検出しない。

図２５は、側方検出部のその他の処理を説明するための図である。図２５に示すように、ステップＳ６１、Ｓ６２、Ｓ６３、Ｓ６４、Ｓ６５において、移動体候補領域７５が検出されている。各移動体候補領域７５は、各フレームで連結済みであるものとする。図２５に示す例では、移動体候補領域７５が、自車両に近づき、ｘ方向の距離がマイナス方向に変化している。このような場合には、側方検出部１５２ｂは、移動体候補領域７５を移動体として検出する。

このように、側方検出部１５２ｂが、高輝度領域の塊と、高輝度領域の塊の動きから、移動体を検出することで、画像データの画質が荒くても、精度良く移動体を検出することができる。

信頼度算出部１５３のその他の処理について説明する。信頼度算出部１５３は、前方検出部１５２ａまたは側方検出部１５２ｂが検出した移動体の信頼度を、移動体の輝度値と、所定の輝度値との差を基にして、信頼度を算出しても良い。例えば、信頼度算出部１５３は、図９で説明した輝度投影値３０ａの平均輝度と、移動体の輝度値との差の絶対値を算出する。信頼度算出部１５３は、差の絶対値が０から離れるほど信頼度を１００に近づけ、差の絶対値が０に近づくほど信頼度を０に近づけるように、差の絶対値を正規化し、正規化した値を信頼度として算出する。

例えば、自車線上に前方車両がいる状態であれば、前方領域Ｆの両端と、中央とで輝度を足し込んだ値に差が生じるはずである。この特性を利用すれば、前方領域Ｆに存在する車両を検出した場合の信頼度を高めることができる。

例えば、前方領域Ｆに存在するＴ字路が移動体として誤って検出されている場合を想定すると、前方領域Ｆの両端と、中央とで輝度を足し込んだ値に差が生じなくなる。この特性を利用すると、誤検出された移動体の信頼度を低くすることができる。

また、信頼度算出部１５３は、前方検出部１５２ａまたは側方検出部１５２ｂが検出した移動体の信頼度を、移動体の座標に基づいて算出しても良い。例えば、前方領域Ｆから検出された移動体の座標と、前方領域Ｆの所定の座標との距離を算出する。例えば、所定の座標を、前方領域Ｆの中心座標とする。信頼度算出部１５３は、距離が０に近づくほど信頼度を１００に近づけ、距離が０から離れるほど信頼度を０に近づけるように、正規化し、正規化した値を信頼度として算出する。このような処理を実行することで、前方領域や側方領域の隅で検出され得るノイズを移動体として検出した場合に、係る移動体の信頼度を低く設定できる。

分類部１５６および評価部１５７のその他の処理について説明する。分類部１５６は、検出した移動体の動きを「前方」、「横断」、「側方」に分類していたが、移動体の動きが「前方」、「横断」、「側方」の何れの条件にも合致しない場合には、移動体を「該当無し」に分類しても良い。評価部１５７は、移動体が「該当無し」に分類されている場合には、係る移動体をヒヤリハットの原因ではないと評価する。

また、評価部１５７は、移動体が「側方」または「横断」に分類されている場合には、係る移動体の検出位置を、ヒヤリハットの発生位置として、地図データに記録しても良い。評価部１５７は、更に、ヒヤリハットの発生位置と対応付けて、時刻、天候、季節等を合わせて地図データに記録しても良い。移動体た「側方」または「横断」に分類されている場合には、人に依存しない、場所特有のヒヤリハットである。

画像処理装置１００は、図２に示した処理部の他に、除外部を設けても良い。例えば、除外部は、移動体管理テーブル１４２の信頼度を基にして、信頼度が所定の信頼度未満となるレコードを移動体管理テーブル１４２から削除する。または、除外部は、信頼度が所定の信頼度未満となるレコードに除外フラグを付して、他のレコードと区別できるように記録しても良い。除外部を設けることで、ノイズらしい移動体を除外することができる。

ところで、上記の前方検出部１５２ａ、側方検出部１５２ｂは、算出部および検出部の一例である。上記の横断検出部１５２ｃは、変化領域検出部の一例である。上記信頼度算出部１５３は、信頼度算出部の一例である。上記連結部１５４、統合部１５５は、判定部、連結部の一例である。

次に、上記の実施例に示した画像処理装置と同様の機能を実現する画像処理プログラムを実行するコンピュータの一例を説明する。図２６は、画像処理プログラムを実行するコンピュータの一例を示す図である。

図２６に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３を有する。また、コンピュータ３００は、記憶媒体からプログラム等を読取る読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７を有する。そして、各装置３０１〜３０７は、バス３０８に接続される。

ハードディスク装置３０７は、例えば、算出プログラム３０７ａ、検出プログラム３０７ｂ、変化領域検出プログラム３０７ｃ、信頼度算出プログラム３０７ｄ、連結プログラム３０７ｅ、判定プログラム３０７ｆ、除外プログラム３０７ｇを有する。ＣＰＵ３０１は、各プログラム３０７ａ〜３０７ｇを読み出してＲＡＭ３０６に展開する。

算出プログラム３０７ａは、算出プロセス３０６ａとして機能する。検出プログラム３０７ｂは、検出プロセス３０６ｂとして機能する。変化領域検出プログラム３０７ｃは、変化領域検出プロセス３０６ｃとして機能する。信頼度算出プログラム３０７ｄは、信頼度算出プロセス３０６ｄとして機能する。連結プログラム３０７ｅは、連結プロセス３０６ｅとして機能する。判定プログラム３０７ｆは、判定プロセス３０６ｆとして機能する。除外プログラム３０７ｇは、除外プロセス３０６ｇとして機能する。

例えば、算出プロセス３０６ａおよび検出プロセス３０６ｂは、前方検出部１５２ａ、側方検出部１５２ｂ等に対応する。変化領域検出プロセス３０６ｃは、横断検出部１５２ｃ等に対応する。信頼度算出プロセス３０６ｄは、信頼度算出部１５３等に対応する。連結プロセスは３０６ｅ、連結部１５４、統合部１５５等に対応する。判定プロセス３０６ｆは、連結部１５４、統合部１５５等に対応する。除外プロセス３０６ｇは、上述した除外部等に対応する。

なお、各プログラム３０７ａ〜３０７ｇについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００がこれらから各プログラム３０７ａ〜３０７ｇを読み出して実行するようにしてもよい。

１０ 画像処理装置
１１ 算出部
１２ 検出部

Claims (7)

1. 画像の処理対象領域に含まれる第１の方向の座標値毎に、同一の座標値の輝度値を加算して、前記第１の方向の座標値毎の輝度値の加算値を算出し、前記処理対象領域に含まれる第２の方向の輝度値の座標値毎に、同一の座標値の輝度値を加算して、前記第２の方向の座標値毎の輝度値の加算値を算出する算出部と、
   前記算出部の算出結果を基にして、前記第１の方向の座標値毎の輝度値の加算値が同等となる前記画像の領域、または、前記第２の方向の座標値毎の輝度値の加算値が同等となる領域を検出する検出部と
   を有することを特徴とする画像処理装置。
2. 前記検出部が検出した領域の大きさまたは座標または領域の内側と外側との輝度差に基づいて、前記領域の信頼度を算出する信頼度算出部と、
   前記信頼度算出部によって算出された信頼度に基づいて、前記領域を除外する除外部と
   を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像の処理対象領域と一部領域が重複する他の処理対象領域を対象として、複数のフレーム間で差分画像を生成し、前記差分画像を基にして変化する領域を検出する変化領域検出部と、
   前記検出部で検出された領域と、前記変化領域検出部で検出された領域とを基にして、前記検出部で検出された領域および前記変化領域検出部で検出された領域の座標の変化と時間変化とを判定する判定部と
   を更に有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記処理対象領域から検出された領域または前記他の処理対象領域から検出された領域の信頼度を基にして、信頼度が最大となる領域を特定し、特定した信頼度が最大となる領域を起点として、各フレームで、前記検出部によって検出される領域または前記変化領域検出部によって検出される領域とを連結する連結部
   を更に有することを特徴とする請求項３に記載の画像処理装置。
5. 前記変化領域検出部は、画像撮影時の速度を基にして、前記他の処理対象領域の範囲を調整することを特徴とする請求項３に記載の画像処理装置。
6. コンピュータに、
   画像の処理対象領域に含まれる第１の方向の座標値毎に、同一の座標値の輝度値を加算して、前記第１の方向の座標値毎の輝度値の加算値を算出し、前記処理対象領域に含まれる第２の方向の輝度値の座標値毎に、同一の座標値の輝度値を加算して、前記第２の方向の座標値毎の輝度値の加算値を算出し、
   算出結果を基にして、前記第１の方向の座標値毎の輝度値の加算値が同等となる前記画像の領域、または、前記第２の方向の座標値毎の輝度値の加算値が同等となる領域を検出する
   各処理を実行させることを特徴とする画像処理プログラム。
7. コンピュータが実行する画像処理方法であって、
   画像の処理対象領域に含まれる第１の方向の座標値毎に、同一の座標値の輝度値を加算して、前記第１の方向の座標値毎の輝度値の加算値を算出し、前記処理対象領域に含まれる第２の方向の輝度値の座標値毎に、同一の座標値の輝度値を加算して、前記第２の方向の座標値毎の輝度値の加算値を算出し、
   算出結果を基にして、前記第１の方向の座標値毎の輝度値の加算値が同等となる前記画像の領域、または、前記第２の方向の座標値毎の輝度値の加算値が同等となる領域を検出する
   各処理を実行することを特徴とする画像処理方法。

Images