JP5983749B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置等に関する。

運転中に横断者に接触しそうになる等、ヒヤリハット、すなわち、運転者がヒヤリとしたりハッとしたりするような事象の発生しやすい位置の情報を運転者に知らせることが出来れば、事故の発生を防止することが出来る。ヒヤリハットの発生しやすい位置の情報を特定するためには、ドライブレコーダに記録されたデータを利用することができる。例えば、ドライブレコーダには、車両の位置、撮影日時、車両の加速度、車両の速度、車両前方の映像等が記録されている。

ここで、ドライブレコーダで記録された加速度などの数値データだけでヒヤリハットの検出を試みると、本当はヒヤリハットではなかった事象をヒヤリハットであると誤検出する場合がある。これは、車両走行中において、道路の起伏等により、ヒヤリハットとは関係がなくても、加速度が急激に変化する場合があるためである。

上記のようなヒヤリハットの誤検出を防止するためには、加速度と一緒に記録されている車両前方の映像からヒヤリハットであったか否かを解析することが求められる。

ヒヤリハットの発生原因として、自車線内に存在する横断者、自転車等の検出対象の存在が挙げられる。このため、加速度の情報に加えて、映像内に検出対象が存在するか否かを判定することで、ヒヤリハットの原因が映像内に存在するか否かを判定することができ、ひいては、ヒヤリハットであったか否かを解析することができる。

特開平５−１４３８９７号公報

しかしながら、上述した従来技術では、検出対象を正確に検出することが出来ないという問題があった。

ドライブレコーダ用のカメラは車両に搭載されており、ドライブレコーダに記録される映像では、車両の移動に従ってカメラも移動することになるため、静止物が移動しているように見える。このため、フレーム間で変化のあった領域を単純に検出対象として判定すると、自車線領域において、静止物である車線内のペイント等も検出対象として判定する場合がある。

１つの側面では、上記に鑑みてなされたものであって、検出対象を正確に検出することが出来る画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

第１の案では、画像処理装置は、検出部および特定部を有する。検出部は、動画データに含まれる各フレーム間で画素値の変化する領域を検出する。特定部は、検出部に検出された前記領域の外接矩形に対する前記領域の充填率に基づいて、検出対象を含むフレームを特定する。

本発明の１実施形態によれば、検出対象を正確に検出することが出来るという効果を奏する。

図１は、本実施例１に係る画像処理装置の構成を示す機能ブロック図である。 図２は、本実施例２に係る画像処理装置の構成を示す機能ブロック図である。 図３は、ドラレコ情報のデータ構造の一例を示す図である。 図４は、処理範囲の一例を説明するための図である。 図５は、充填率チェックを説明するための図である。 図６Ａは、コーナー判定の処理を説明するための図である。 図６Ｂは、三角形度の算出方法を説明するための図である。 図７は、除外条件に該当する候補領域の一例を示す図である。 図８は、除外条件に該当する候補領域の一例を示す図である。 図９は、特定部の処理を説明するための図である。 図１０は、本実施例２に係る画像処理装置の処理手順を示すフローチャートである。 図１１は、画像処理プログラムを実行するコンピュータの一例を示す図である。

以下に、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例１に係る画像処理装置の構成について説明する。図１は、本実施例１に係る画像処理装置の構成を示す機能ブロック図である。図１に示すように、この画像処理装置１０は、検出部１１、特定部１２を有する。

検出部１１は、動画データに含まれる各フレーム間で画素値の変化する領域を検出する。

特定部１２は、検出部１１に検出された領域の外接矩形に対する領域の充填率に基づいて、検出対象を含むフレームを特定する。

本実施例１に係る画像処理装置１０の効果について説明する。画像処理装置１０は、動画データに含まれる各フレーム間で画素値の変化する領域を検出し、検出した領域の外接矩形に対する領域の充填率に基づいて、検出対象を含むフレームを特定する。例えば、車両内のペイントは、画像上で矩形に近い形の領域として現れることが多いのに対して、検出対象となる横断者や自転車等は不定形となる。このため、外接矩形に対する充填率を利用することで、検出対象を正確に検出することができる。

本実施例２に係る画像処理装置の構成について説明する。図２は、本実施例２に係る画像処理装置の構成を示す機能ブロック図である。図２に示すように、画像処理装置１００は、通信部１１０、入力部１２０、表示部１３０、記憶部１４０、制御部１５０を有する。

通信部１１０は、ネットワークを介して他の装置とデータ通信を実行する処理部である。例えば、通信部１１０は、通信装置等に対応する。

入力部１２０は、各種のデータを画像処理装置１００に入力する入力装置である。例えば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。表示部１３０は、制御部１５０から出力されるデータを表示する表示装置である。例えば、表示部１３０は、液晶ディスプレイやタッチパネル等に対応する。

記憶部１４０は、ドラレコ情報１４１を記憶する記憶部である。記憶部１４０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子などの記憶装置に対応する。

ドラレコ情報１４１は、ドライブレコーダによって記録された各種のデータを含む。図３は、ドラレコ情報のデータ構造の一例を示す図である。図３に示すように、このドラレコ情報１４１は、フレーム番号、日時、速度、加速度、位置座標、画像を対応付けて記憶する。フレーム番号は、フレームを一意に識別する番号である。日時は、該当するフレームが撮影された日時である。速度は、該当するフレームを撮影した時点における、ドライブレコーダを搭載した車両の速度である。加速度は、該当するフレームを撮影した時点における、ドライブレコーダを搭載した車両の加速度である。位置座標は、該当するフレームが撮影された時点の、ドライブレコーダを搭載した車両の位置座標である。画像は、該当するフレームの画像データである。

制御部１５０は、処理フレーム確定部１５１、平均画像作成部１５２、処理画像作成部１５３、検出部１５４、特定部１５５を有する。制御部１５０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１５０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

処理フレーム確定部１５１は、ドラレコ情報１４１にアクセスし、減速している間のフレーム番号に対応する各画像データを抽出する処理部である。以下の説明では、減速している間のフレーム番号に対応する画像データを、処理フレームと表記する。処理フレーム確定部１５１は、抽出した各処理フレームの情報を、平均画像作成部１５２に出力する。

平均画像作成部１５２は、処理フレーム確定部１５１から取得した各処理フレームの平均画像を作成する処理部である。例えば、平均画像作成部１５２は、処理フレームの各画像値を画素毎に加算する。そして、平均画像作成部１５２は、加算した画素毎の画素値を処理フレームの数で除算することで、平均画像を作成する。平均画像作成部１５２が各処理フレームから平均画像を作成する処理は、上記のものに限定されず、どのような周知技術を用いても構わない。平均画像作成部１５２は、平均画像および各処理フレームの情報を処理画像作成部１５３に出力する。

処理画像作成部１５３は、各処理フレームについて、処理フレームと平均画像との差分画像をそれぞれ生成する。また、処理画像作成部１５３は、各差分画像を基にして、二値画像を生成する。以下において、処理画像作成部１５３が、差分画像を生成する処理と、二値画像を生成する処理について説明する。

処理画像作成部１５３が差分画像を生成する処理について説明する。例えば、差分画像作成部１５３は、処理フレームの各画素の画素値から、平均画像の各画素の画素値を減算することで、差分画像を生成する。処理画像作成部１５３は、全ての処理フレームに対して、差分画像を生成する。

処理画像作成部１５３が二値画像を生成する処理について説明する。処理画像作成部１５３は、差分画像をＲＧＢ（Red Green Blue）分解する。処理画像作成部１５３は、ＲＧＢ分解した後に、差分画像の各画素について、Ｒの値、Ｇの値、Ｂの値がそれぞれ所定の閾値を超える場合に、該当する画素の画素値を「１」に設定し、その他の画素の画素値を「０」に設定することで二値画像を生成する。処理画像作成部１５３は、各差分画像について、二値画像を生成する。処理画像作成部１５３は、二値画像の情報を、検出部１５４に出力する。

例えば、処理画像作成部１５３は、ＲＧＢ値のヒストグラムを作成し、各々８０％を超える値を、Ｒの値、Ｇの値、Ｂの値と比較する閾値としてもよい。

車両のライトや外光の影響により、処理フレームの画像が、赤みがかった画像になる場合がある。これに対応するべく、上記のように、ＲＧＢ分解して、二値画像にすることで、検出対象の検出精度が向上する。

なお、処理画像作成部１５３は、二値画像を生成する処理範囲を限定しても良い。図４は、処理範囲の一例を説明するための図である。例えば、画像データ２０において、領域２１ａ，２１ｂは、車両が動くため、差分が大きくなる。このため、領域２１ａ，２１ｂを検出対象から外す。その代わりに、自車線２２を含む所定の領域を処理範囲２３とすることで、検出対象の検出精度が向上する。例えば、処理画像作成部１５３は、処理範囲２３について、二値画像を生成し、それ以外の領域については二値画像の生成をスキップすることで、処理負荷を軽減しつつ、検出対象の誤検出を防止することもできる。処理画像作成部１５３は、どのような周知技術を用いて、自車線の検出を行っても良い。

検出部１５４は、二値画像を基にして、動画データに含まれる各フレーム間で画素値の変化する領域を検出する処理部である。検出部１５４は、ラベリング処理とコーナー判定処理を実行する。

検出部１５４が実行するラベリング処理について説明する。検出部１５４は、二値画像を走査し、画素値が連続して「１」となる各画素を連結するラベリング処理を実行する。以下の説明では、ラベリング処理によって連結された領域を、候補領域と表記する。検出部１５４は、候補領域を検出した後に、面積チェック、充填率チェック、縦横比チェックを実行して、検出対象に該当しない候補領域を除外する。

検出部１５４が実行する面積チェックについて説明する。検出部１５４は、候補領域の面積が、予め設定された所定の面積以上の場合に、該当する候補領域を残す。これに対して、検出部１５４は、候補領域の面積が、予め設定された所定の面積未満の場合には、該当する候補領域を除外する。

検出部１５４が実行する充填率チェックについて説明する。図５は、充填率チェックを説明するための図である。図５に示す例では、処理範囲２３に、候補領域３０が存在する。検出部１５４は、候補領域３０の外接矩形４０を設定する。検出部１５４は、外接矩形４０の面積に対する候補領域３０の面積の割合を充填率として算出する。検出部１５４は、充填率が所定の充填率以上の場合には、該当する候補領域３０を残す。これに対して、検出部１５４は、充填率が所定の充填率未満の場合には、該当する候補領域を除外する。

検出部１５４が実行する縦横比チェックについて説明する。検出部１５４は、図５と同様にして、候補領域に対する外接矩形を設定する。検出部１５４は、外接矩形について、縦横比を算出する。検出部１５４は、外接矩形の横幅に対する縦幅の比率、または外接矩形の縦幅に対する横幅の比率が所定の比率未満の場合には、該当する候補領域３０を残す。

これに対して、検出部１５４は、外接矩形の横幅に対する縦幅の比率、または外接矩形の縦幅に対する横幅の比率が所定の比率以上の場合には、該当する候補領域を除外する。外接矩形の横幅に対する縦幅の比率、または外接矩形の縦幅に対する横幅の比率が所定の比率以上の場合には、候補領域が、一般的な横断者の形状と比較して、極端に縦長または横長であることを示すため、候補領域が検出対象であるとは考えにくい。

次に、検出部１５４は、二値画像から検出した候補領域に対して面積チェック、充填率チェック、縦横比チェックを行い、取り除かれなかった候補領域の情報について、コーナー判定を実行する。

検出部１５４が実行するコーナー判定の処理について説明する。図６Ａは、コーナー判定の処理を説明するための図である。図６Ａにおいて、候補領域３１は、上記のラベリング処理で検出した候補領域であり、面積チェック、充填率チェック、縦横比チェックにより取り除かれなかった候補領域に対応する。また、外接矩形４１は、候補領域３１の外接矩形である。

検出部１５４は、外接矩形４１内の各角４１ａ，４１ｂ，４１ｃ，４１ｄを含む候補領域３１以外のコーナー領域の面積を求める。コーナー領域は、外接矩形を構成する辺と、候補領域を構成する辺とに囲まれた多角形ということができる。図６Ａに示す例では、検出部１５４は、コーナー領域４２ａ，４２ｂ，４２ｃ，４２ｄの面積を求める。検出部１５４は、各コーナー領域の大小関係に基づいて、候補領域を除外する。以下の説明において、候補領域の除外条件１〜３について説明する。なお、下記の説明において、コーナー領域４２ａ，４２ｃを対角コーナーと表記する。また、コーナー領域４２ｂ，４２ｄを逆対角コーナーと表記する。

除外条件１について説明する。検出部１５４は、対角コーナーの面積が所定の面積以上の場合に、該当する候補領域を除外する。

除外条件２について説明する。検出部１５４は、対角コーナーの少なくとも一方の面積が所定の面積以上であり、かつ、逆対角コーナーの面積が所定の面積未満の場合に、該当する候補領域を除外する。

除外条件３について説明する。検出部１５４は、対角コーナーの面積が所定の面積以上であり、かつ、対角コーナーの三角形度が所定の三角形度以上であり、かつ、逆対角コーナーの面積が所定の面積未満の場合に、該当する候補領域を除外する。

なお、除外条件１〜３で用いる閾値は、外接矩形４１の面積の大きさに応じて変更して良い。例えば、外接矩形４１の面積をＳとすると、閾値をＳ÷６によって求める。なお、閾値の値が４０画素を下回る場合には、閾値を４０とする。

三角形度の算出方法について説明する。図６Ｂは、三角形度の算出方法を説明するための図である。ここでは、コーナー領域４２ｃの三角形度を求める場合について説明する。三角形ＢＣＤに含まれる画素の画素値を１に設定し、三角形ＡＢＣに囲まれる画素の画素値を０に設定する。そして、矩形ＡＢＣＤに含まれる画素のうち画素値が１となる面積を、矩形ＡＢＣＤで除算することで、コーナー領域４２ｃの三角形度を算出する。

ここで除外条件に該当する候補領域の一例と、除外条件に該当しない候補領域の一例について説明する。図７は、除外条件に該当する候補領域の一例を示す図である。図７に示すように、自車線内のペイントなどは、直線成分が多く含まれ、幾何学的である。このようなペイントが候補領域４４として抽出されると、除外条件１〜３のいずれかに対応し、除外されることとなる。

図８は、除外条件に該当する候補領域の一例を示す図である。図８に示すように、横断者などは、直線成分が余り含まれず、幾何学的な形状とはならない。このような横断者等が候補領域４５として抽出されると、除外条件１〜３には対応せず、除外されない。

検出部１５４は、上記の除外条件１〜３によって除外されなかった候補領域の情報を、特定部１５５に出力する。上記のように、検出部１５４は、処理画像作成部１５３から、二値画像を取得した後に、ラベリング処理、コーナー判定処理を実行し、除外されなかった各候補領域の情報を、特定部１５５に出力する。なお、各候補領域は、検出元のフレーム番号の情報、位置座標に対応付けられているものとする。

特定部１５５は、検出部１５４から候補領域の情報を取得し、検出対象を含むフレームを特定する処理部である。特定部１５５は、候補領域の情報を基にして、連続するフレーム番号の各候補領域がそれぞれ重なるかを判定する。特定部１５５は、連続するフレーム番号の各候補領域がそれぞれ一部重なる場合には、各候補領域を、検出対象であると判定する。

図９は、特定部の処理を説明するための図である。図９の候補領域４５ａのフレーム番号をＮ、候補領域４５ｂのフレーム番号をＮ＋１、候補領域４５ｃのフレーム番号をＮ＋２とする。例えば、特定部１５５は、候補領域４５ａと、候補領域４５ｂとが重なる面積が所定の面積以上であり、候補領域４５ｂと候補領域４５ｃとが重なる面積が所定の面積以上である場合に、候補領域４５ａ，４５ｂ，４５ｃを、検出対象であると判定する。

これに対して、特定部１５５は、候補領域４５ａと、候補領域４５ｂとが重なる面積が所定の面積未満、または、候補領域４５ｂと候補領域４５ｃとが重なる面積が所定の面積未満である場合に、候補領域４５ａ，４５ｂ，４５ｃを、検出対象ではないと判定する。

特定部１５５は、検出対象であると判定した各候補領域のフレーム番号を、出力する。例えば、特定部１５５は、フレーム番号を、表示部１３０に出力しても良いし、通信部１１０を介して、他の装置にフレーム番号を通知しても良い。

次に、本実施例２に係る画像処理装置１００の処理手順について説明する。図１０は、本実施例２に係る画像処理装置の処理手順を示すフローチャートである。例えば、図１０に示すフローチャートは、処理実行命令を受け付けたことを契機にして実行される。画像処理装置１００は、入力部１２０から処理命令を受け付けても良いし、通信部１１０を介して、他の装置から受け付けても良い。

図１０に示すように、画像処理装置１００は、処理フレームを抽出し（ステップＳ１０１）、平均画像を生成する（ステップＳ１０２）。画像処理装置１００は、平均画像と処理フレームｎの画像との差分画像を生成する（ステップＳ１０３）。

画像処理装置１００は、差分画像をＲＧＢ分解し、ＲＧＢ値の閾値を判定する（ステップＳ１０４）。画像処理装置１００は、差分画像について、ＲＧＢ値が閾値以上となる画素を１、それ以外の画素を０に設定することで二値画像を生成する（ステップＳ１０５）。

画像処理装置１００は、ラベリング処理を実行し（ステップＳ１０６）、コーナー判定処理を実行する（ステップＳ１０７）。画像処理装置１００は、全ての処理フレームを処理したか否かを判定する（ステップＳ１０８）。画像処理装置１００は、全ての処理フレームを処理していない場合には（ステップＳ１０８，Ｎｏ）、次のフレームを選択し（ステップＳ１０９）、ステップＳ１０３に移行する。

一方、画像処理装置１００は、全ての処理フレームを処理した場合には（ステップＳ１０８，Ｙｅｓ）、検出対象を特定し（ステップＳ１１０）、検出対象を含むフレームを特定する（ステップＳ１１１）。

次に、本実施例２に係る画像処理装置２００の効果について説明する。本実施例２に係る画像処理装置２００は、動画データに含まれる各フレーム間で画素値の変化する領域を検出し、検出した領域の外接矩形に対する領域の充填率に基づいて、検出対象を含むフレームを特定する。例えば、車両内のペイントは、画像上で矩形に近い形の領域として現れることが多いのに対して、検出対象となる横断者や自転車等は不定形となる。このため、外接矩形に対する充填率を利用することで、検出対象を正確に検出することができる。

また、画像処理装置２００は、外接矩形と候補領域とに基づき形成される複数のコーナー領域の大小関係に基づいて、検出対象を含むフレームを特定する。路面のペイントは、画像上で矩形に近い形の領域として現れることが多いのに対し、横断者などの検出対象は、不定形である。このため、外接矩形と候補領域とにより形成されるコーナーの大小関係を利用することで、路面のペイントと横断者などの検出対象とを区別することができる。

また、画像処理装置２００は、外接矩形の縦横比を更に利用して、検出対象を含むフレームを特定する。外接矩形の横幅に対する縦幅の比率、または外接矩形の縦幅に対する横幅の比率が所定の比率以上の場合には、候補領域が、一般的な横断者の形状と比較して、極端に縦長または横長であることを示すため、候補領域が検出対象であるとは考えにくい。このため、外接矩形の縦横比を更に利用することで、より正確に、路面のペイントと横断者などの検出対象とを区別することができる。

また、画像処理装置２００は、速度が減速するフレームを用いて、候補領域を検出する。速度が増加する場合には、減速すべき原因が解決されたからであるため、速度が増加した時点のフレームには、検出対象が映っていない可能性が高い。減速している間のフレームを利用することで、無駄な検出処理を削減することができる。

また、画像処理装置２００は、自車線を含む所定の範囲から、候補領域を検出する。このため、横断者等の検出対象が存在する可能性の高い領域のみを検出対象にすることで、全体的な計算量を削減することができる。

次に、上記の実施例に示した画像処理装置と同様の機能を実現する画像処理プログラムを実行するコンピュータの一例を説明する。図１１は、画像処理プログラムを実行するコンピュータの一例を示す図である。

図１１に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３を有する。また、コンピュータ２００は、記憶媒体からプログラム等を読取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７を有する。そして、各装置２０１〜２０７は、バス２０８に接続される。

ハードディスク装置２０７は、例えば、検出プログラム２０７ａ、特定プログラム２０７ｂを有する。ＣＰＵ２０１は、各プログラム２０７ａ，２０７ｂを読み出してＲＡＭ２０６に展開する。

検出プログラム２０７ａは、検出プロセス２０６ａとして機能する。特定プログラム２０７ｂは、特定プロセス２０６ｂとして機能する。

例えば、検出プロセス２０６ａは、検出部１１，１５４等に対応する。特定プロセス２０６ｂは、特定部１２，１５５等に対応する。

なお、各プログラム２０７ａ、２０７ｂについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくてもよい。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００がこれらから各プログラム２０７ａ，２０７ｂを読み出して実行するようにしてもよい。

１０ 画像処理装置
１１ 検出部
１２ 特定部

Claims (6)

1. 動画データに含まれる各フレーム間で画素値が変化する領域を検出する検出部と、
   前記検出部に検出された前記領域の外接矩形に対する前記領域の充填率と、前記外接矩形と前記領域とに囲まれる複数のコーナー領域の大きさとに基づいて、前記充填率が所定の充填率以上であり、かつ、前記複数のコーナー領域のうち前記外接矩形の対角にあるコーナー領域が所定の大きさ未満である場合に、前記領域を含むフレームを検出対象が含まれるフレームとして特定する特定部と、
   を有することを特徴とする画像処理装置。
2. 前記特定部は、前記外接矩形の縦横比を更に利用して、検出対象を含むフレームを特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記動画データは速度データと対応付けられ、前記検出部は、動画データに含まれる各フレームのうち、速度が減速する間のフレームを用いて、前記領域を検出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記検出部は、自車線を含む所定の範囲から、前記領域を検出することを特徴とする請求項１、２または３に記載の画像処理装置。
5. コンピュータが実行する画像処理方法であって、
   動画データに含まれる各フレーム間で画素値が変化する領域を検出し、
   検出した前記領域の外接矩形に対する前記領域の充填率と、前記外接矩形と前記領域とに囲まれる複数のコーナー領域の大きさとに基づいて、前記充填率が所定の充填率以上であり、かつ、前記複数のコーナー領域のうち前記外接矩形の対角にあるコーナー領域が所定の大きさ未満である場合に、前記領域を含むフレームを検出対象が含まれるフレームとして特定する
   各処理を実行する画像処理方法。
6. コンピュータに、
   動画データに含まれる各フレーム間で画素値が変化する領域を検出し、
   検出した前記領域の外接矩形に対する前記領域の充填率と、前記外接矩形と前記領域とに囲まれる複数のコーナー領域の大きさとに基づいて、前記充填率が所定の充填率以上であり、かつ、前記複数のコーナー領域のうち前記外接矩形の対角にあるコーナー領域が所定の大きさ未満である場合に、前記領域を含むフレームを検出対象が含まれるフレームとして特定する
   各処理を実行させることを特徴とする画像処理プログラム。

Images