JP6354316B2 - 画像検出装置及びプログラム - Google Patents

Description

本発明は画像検出装置及びプログラムに関する。

カメラで撮影した画像から、道路標識等の検出対象物を検出する画像検出装置が知られている。この画像検出装置は、まず、色モデルを用いて、検出対象物の色に近い色の領域（標識候補領域）を画像から抽出し、次に、標識候補領域から、一般化ハフ変換を用いて、検出対象物を検出する（特許文献１参照）。

特開２０１０−１３４５３５号公報

画像における検出対象物の色は、経年変化や照明環境等により大きく変動する。そのため、色モデルの範囲が狭いと、検出対象物が標識候補領域から漏れてしまい、検出対象物を検出できないことがある。また、色モデルの範囲を広くすると、検出対象物以外のものが標識候補領域に多数含まれ、ノイズが多くなってしまい、検出率の低下や対象物以外の物体を検出する誤検出の増加を引き起こす。

本発明は以上の点に鑑みなされたものであり、検出対象物を適切に検出できる画像検出装置及びプログラムを提供することを目的とする。

本発明の第１の画像検出装置は、画像を取得する画像取得手段と、画像から、色モデルに対応する画素を抽出して、抽出画像を作成する抽出画像作成手段と、抽出画像において、各画素のエッジ情報に基づき、エッジを抽出するエッジ抽出手段と、抽出画像におけるエッジと、検出対象物のテンプレートとを対比し、検出対象物を検出する検出手段とを備える。

さらに、本発明の第１の画像検出装置において、抽出画像作成手段は、同一の検出対象物に対応する複数の色モデルごとに複数の抽出画像を作成し、エッジ抽出手段は、複数の抽出画像ごとにエッジを抽出し、検出手段は、複数の抽出画像において、同一の検出対象物に対応するテンプレートを用い、検出対象物を検出することを特徴とする。

本発明の第１の画像検出装置によれば、画像における検出対象物の色が、照明環境（例えば、晴天、曇天、順光、逆光、西日、日向、日陰）や、経年劣化（例えば、色あせ、錆）等により、変化していても、検出対象物を検出することができる。

また、色空間における範囲が広い単一の色モデルを用いる場合に比べ、検出対象物以外のものを検出してしまうおそれを低減し、Ｓ／Ｎを向上させることができる。
なお、同一の検出対象物に対応するテンプレートは、複数の抽出画像ごとに異なっていてもよいし、１種類であってもよい。

本発明の第２の画像検出装置は、画像を取得する画像取得手段と、画像において、各画素のエッジ情報に基づき、エッジを抽出するエッジ抽出手段と、エッジを抽出した画像から、色モデルに対応する画素をさらに抽出して、抽出画像を作成する抽出画像作成手段と、抽出画像におけるエッジと、検出対象物のテンプレートとを対比し、検出対象物を検出する検出手段とを備える。

さらに、本発明の第２の画像検出装置において、抽出画像作成手段は、同一の検出対象物に対応する複数の色モデルごとに複数の抽出画像を作成し、検出手段は、複数の抽出画像において、同一の検出対象物に対応するテンプレートを用い、検出対象物を検出することを特徴とする。

本発明の第２の画像検出装置によれば、画像における検出対象物の色が、照明環境（例えば、晴天、曇天、順光、逆光、西日、日向、日陰）や、経年劣化（例えば、色あせ、錆）等により、変化していても、検出対象物を検出することができる。

また、色空間における範囲が広い単一の色モデルを用いる場合に比べ、検出対象物以外のものを検出してしまうおそれを低減し、Ｓ／Ｎを向上させることができる。
なお、同一の検出対象物に対応するテンプレートは、複数の抽出画像ごとに異なっていてもよいし、１種類であってもよい。

画像検出装置１の構成を表すブロック図である。 画像検出装置１が実行する処理の全体を表すフローチャートである。 画像検出装置１が実行する検出対象物Ｄｉの検出処理を表すフローチャートである。 図４Ａは色空間にプロットした画素を表す説明図であり、図４Ｂは色モデルＭｉｊを表す説明図である。 図５Ａ〜５Ｄは抽出画像Ｐｉｊの例を表す説明図であり、図５Ｅ〜５Ｈは、エッジを抽出した結果を表す説明図である。 各色モデルＭｉｊに属するデータの数を表す表である。 画像検出装置１が実行する検出対象物Ｄｉの検出処理を表すフローチャートである。

本発明の実施形態を図面に基づき説明する。
＜第１の実施形態＞
１．画像検出装置１の構成
画像検出装置１の構成を図１に基づき説明する。画像検出装置１は車両に搭載される車載装置であり、制御部３とデータベース５とを備えている。制御部３は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えた周知のコンピュータである。制御部３は、そのＲＯＭに記憶されたプログラムにより、後述する処理を実行することができる。

制御部３は、カメラ７から画像を取得することができる。なお、カメラ７は車両に搭載され、車両の前方における画像を撮影するものである。また、制御部３は、ディスプレイ９に、所定の画像を表示することができる。なお、ディスプレイ９は車両の車室内に設置された映像表示装置である。また、制御部３は、データベース５を制御することができる。

データベース５は、ＨＤＤ（ハードディスクドライブ）により構成され、情報の記憶、保存、及び読み出しが可能である。データベース５には、後述する色モデルＭｉｊを記憶しておく色モデル記憶部１１が含まれる。

２．画像検出装置１が実行する処理
画像検出装置１（特に制御部３）が所定時間ごとに繰り返し実行する処理を、図２〜図６に基づき説明する。図２のステップ１では、カメラ７を用いて画像を取得する。この画像は車両周辺の画像である。

ステップ２では、変数ｉの値を１とする。この変数ｉは、検出対象物を区別するため変数であって、１又は２である。すなわち、以下では、検出対象物を、包括的に検出対象物Ｄｉと表記し、検出対象物Ｄ１（ｉ＝１の場合）は一時停止標識であり、検出対象物Ｄ２（ｉ＝２の場合）は速度標識である。なお、一時停止標識、及び速度標識は、道路に設置された人工物の一例である。

ステップ３では、検出対象物Ｄｉを検出する処理を実行する。ここで、Ｄｉにおける変数ｉの値は、前記ステップ２又は後述するステップ５で設定した値である。本ステップ３の処理は、詳しくは図３に示すものである。

図３のステップ１１では、変数ｊの値を１とする。この変数ｊは、検出対象物Ｄｉに対応する複数の色モデルを区別するための変数であって、変数ｉが１の場合は１又は２であり、変数ｉが２の場合は１〜３のいずれかである。

すなわち、以下では、検出対象物Ｄｉに対応する複数の色モデルにＭｉｊという名称を付して表し、色モデルＭｉｊには、ｊの値が異なる複数種類が存在する。例えば、検出対象物Ｄ１（一時停止標識）には、２種類の対応する色モデルＭ１１、Ｍ１２が存在し、検出対象物Ｄ２（速度標識）には、３種類の対応する色モデルＭ２１、Ｍ２２、Ｍ２３が存在する。

ここで色モデルＭｉｊについて説明する。色モデルＭｉｊとは、色空間における一定の領域である。色空間は特に限定されず、例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）により規定される色空間であってもよいし、色相、明度、彩度により規定される色空間であってもよい。

本実施形態において、色モデルＭｉｊには、上述したとおり、Ｍ１１、Ｍ１２、Ｍ２１、Ｍ２２、Ｍ２３の５種類がある。任意の色モデルＭｉｊは、他の色モデルＭｉｊと色空間において完全に分離していてもよいし、一部重複していてもよい。

色モデルＭｉｊは、例えば、予め、以下のように作成し、データベース５に記憶しておくことができる。まず、カメラ７を用いて、車両前方の画像を複数取得する。図４Ａに示すように、その複数の画像における各画素をそれぞれ、色空間にプロットする。そして、図４Ｂに示すように、色空間における画素の群を、複数のクラスにクラス分けする。クラスごとに、そのクラスに属する画素の群を含む領域を色モデルＭｉｊとする。

一つの色モデルＭｉｊは、色空間において１つの領域であってもよいし、２以上の領域に分かれていてもよい。例えば、図４Ｂに示す例において、色モデルＭ１１は、２つの領域に分かれており、他の色モデルＭｉｊは、それぞれ、１つの領域から成る。

各色モデルＭｉｊは、同一の検出対象物の、同一の状態における画素を含む領域である。例えば、図４Ｂに示す色モデルＭｉｊは、それぞれ、以下のものである。
色モデルＭ１１：一時停止表示器の、通常の状態（色あせをしていないか、軽度の色あせの状態）における画素を含む領域。

色モデルＭ１２：一時停止表示器の、色あせの状態における画素を含む領域。
色モデルＭ２１：速度標識の、通常の状態（色あせをしていないか、軽度の色あせの状態）における画素を含む領域。

色モデルＭ２２：速度標識の、色あせの状態における画素を含む領域。
色モデルＭ２３：特別色の（初期状態において通常とは異なる色の）速度標識における画素を含む領域。

ここで、色モデルＭ１１、Ｍ１２は、同一の検出対象物（速度表示器）に対応する複数の色モデルである。また、色モデルＭ２３、Ｍ２２、Ｍ２３は、同一の検出対象物（速度標識）に対応する複数の色モデルである。

ステップ１２では、前記ステップ１で取得した画像の全画素の中から、色モデルＭｉｊに対応する（色空間において色モデルＭｉｊ内に属する）画素を抽出し、その抽出した画素から成る画像（以下では抽出画像Ｐｉｊとする）を作成する。

抽出画像Ｐｉｊの例を図５Ａ〜図５Ｄに示す。図５Ａ〜図５Ｄに示す例では、抽出画像Ｐｉｊの作成に使用する色モデルＭｉｊの色空間における広さが互いに異なる。色モデルＭｉｊの色空間における広さは、図４Ａに示す例において最も広く、図４Ｂに示す例、図４Ｃに示す例、図４Ｄに示す例、の順に狭くなる。色モデルＭｉｊの色空間における広さが広いほど、抽出される画素は多くなる。

ステップ１３では、前記ステップ１２で作成した抽出画像Ｐｉｊにおいて、エッジの抽出処理を実施する。すなわち、抽出画像Ｐｉｊにおける各画素について、まず、エッジ情報（エッジ方向（エッジ勾配方向）とエッジ強度と）を求める。次に、エッジ方向ごとに、エッジ強度の投票を行い、エッジを抽出する。抽出処理に際し、例えば周知の一般化ハフ変換を用い、検出対象物の幾何形状（例えば円形、長方形等）を考慮したうえで抽出しても良い。

エッジを抽出した結果の例を図５Ｅ〜図５Ｈに示す。図５Ｅ〜図５Ｈに示す例は、それぞれ、図５Ａ〜図５Ｄに示す抽出画像Ｐｉｊからエッジを抽出したものである。抽出画像Ｐｉｊの作成に使用する色モデルＭｉｊの色空間における広さが狭いほど、ノイズ（例えば検出対象物以外のものに起因するエッジ）が減少し、Ｓ／Ｎが向上するが、色モデルＭｉｊから外れた画素におけるエッジを抽出できないおそれがある。

ステップ１４では、抽出画像Ｐｉｊにおいて、前記ステップ１３で抽出したエッジと、検出対象物Ｄｉのテンプレートとを対比し、検出対象物Ｄｉを検出する処理を実行する。ここで、使用するテンプレートは、検出対象物Ｄｉの種類に応じて一義的に決められたものである。例えば、検出対象物Ｄ１を検出する場合は、抽出画像Ｐ１１、Ｐ１２の両方について、検出対象物Ｄ１用の同一のテンプレートを使用する。また、検出対象物Ｄ２を検出する場合は、抽出画像Ｐ２１、Ｐ２２、Ｐ２３の全てについて、検出対象物Ｄ２用の同一のテンプレートを使用する。テンプレートは、エッジ情報に関し方向のみのテンプレートでもよいし、強度と方向とのテンプレートでもよい。

検出対象物Ｄｉを検出する処理において、抽出画像Ｐｉｊの作成に用いた色モデルＭｉｊに属するデータの数が少ないほど、検出対象物Ｄｉを検出する基準を厳しくしてもよい。例えば、各色モデルＭｉｊに属するデータの数が図６に示すものである場合、例えば数式１により、任意の色モデルＭｉｊの尤度（Likelihood）を算出する。数式には、検出性能に影響する任意のパラメータを含めても良い。任意のパラメータとは、例えば、色モデルを形成するために予め大量に収集した検出対象物の色分布に基づいて、各色モデルごとに算出される分散値や、予め大量に収集した検出対象物以外の物体の色分布の含有率である。

なお、数式１において、Ｎ（Ｍｉｊ）は、一つの色モデルＭｉｊに属するデータの数であり、Ｎtotalは、全ての色モデルにおけるデータ数の和である。

そして、色モデルＭｉｊの尤度が小さいほど、それを用いて作成した抽出画像Ｐｉｊにおいて検出対象Ｄｉを検出する基準を厳しくする。例えば、尤度が小さいほど、検出対象物Ｄｉの認識試行回数を多くしたり、検出対象物Ｄｉであると判断するための閾値（例えば、エッジと、検出対象物Ｄｉのテンプレートとの一致度における閾値）を高くしたりする。

ステップ１５では、変数ｊの値が上限値Ｋ（変数ｉが１の場合は２、変数ｉの値が２の場合は３）に達しているか否か（すなわち、検出対象物Ｄｉについて、対応する全ての色モデルＭｉｊを用いて前記ステップ１２〜１４の処理を実行済みであるか否か）を判断する。変数ｊの値が上限値に達していない場合はステップ１６に進み、変数ｊの値を１つ増加させ、ステップ１２に進む。一方、変数ｊの値が上限値に達している場合はステップ１７に進む。

ステップ１７では、抽出画像Ｐｉｊ（ｊは１〜Ｋ）のいずれか（少なくとも１以上）において、検出対象物Ｄｉを検出できたか否かを判断する。抽出画像Ｐｉｊのいずれかで検出できた場合はステップ１８に進み、どの抽出画像Ｐｉｊでも検出できなかった場合は本処理を終了する。

ステップ１８では、検出対象物Ｄｉを検出できたことを表す信号をディスプレイ９に出力する。なお、このとき、ディスプレイ９は、検出対象物Ｄｉを検出したことを報知する。

図２に戻り、ステップ４では、変数ｉの値が上限値である２に達しているか否か（すなわち、全ての検出対象物Ｄｉについて、前記ステップ３の処理が実行済みであるか否か）を判断する。変数ｉの値が上限値に達していない場合はステップ５に進み、変数ｉの値を１つ増加させ、ステップ３に進む。一方、変数ｉの値が上限値に達している場合は本処理を終了する。

３．画像検出装置１が奏する効果
（１）画像検出装置１は、一つ検出対象物Ｄｉについて、複数の色モデルＭｉｊを使用し、複数の抽出画像を作成する。そして、複数の抽出画像のそれぞれにおいて、検出対象物Ｄｉを検出する処理を実行する。

そのため、カメラ７で取得した画像における検出対象物Ｄｉの色が、照明環境（例えば、晴天、曇天、順光、逆光、西日、日向、日陰）や、経年劣化（例えば、色あせ、錆）等により、変化していても、検出対象物Ｄｉを検出することができる。

また、色空間における範囲が広い単一の色モデルを用いる場合に比べ、検出対象物Ｄｉ以外のものを検出してしまうおそれを低減し、Ｓ／Ｎを向上させることができる。
（２）画像検出装置１は、色モデルＭｉｊに属するデータの数が少ないほど、その色モデルＭｉｊを用いて作成された抽出画像Ｐｉｊから検出対象物Ｄｉを検出する基準を厳しくする。そのことにより、検出対象物Ｄｉの検出結果に対する信頼性を一層向上させることができる。

（３）画像検出装置１は、エッジを抽出する。その際に対象物の幾何形状を考慮してハフ変換処理を実施することにより、一層容易にエッジを抽出することができる。
＜第２の実施形態＞
１．画像検出装置１の構成
本実施形態の画像検出装置１の構成は、前記第１の実施形態と同様である。

２．画像検出装置１が実行する処理
本実施形態の画像検出装置１が実行する処理は、基本的には前記第１の実施形態と同様であるが、一部において相違する。以下では、その相違点を中心に説明する。

本実施形態では、前記ステップ３における検出対象物Ｄｉの検出処理（図２参照）を、図７に示す処理とする。
図７のステップ２１では、カメラ７を用いて取得した画像（前記ステップ１参照）において、前記ステップ１３と同様にして、エッジを抽出する。抽出したエッジから成る画像を以下ではエッジ画像とする。

ステップ２２では、前記ステップ１１と同様に、変数ｊの値を１とする。
ステップ２３では、前記ステップ２１で作成したエッジ画像における全エッジの中から、色モデルＭｉｊに対応する（色空間において色モデルＭｉｊ内に属する）画素を抽出し、その抽出した画素から成る画像（以下では抽出画像ＥＰｉｊとする）を作成する。

ステップ２４では、抽出画像ＥＰｉｊにおいて、前記ステップ２３で抽出した画素（エッジであり、同時に、色モデルＭｉｊに対応する画素）と、検出対象物Ｄｉのテンプレートとを対比し、検出対象物Ｄｉを検出する処理を実行する。

ここで、使用するテンプレートは、検出対象物Ｄｉの種類に応じて一義的に決められたものである。例えば、検出対象物Ｄ１を検出する場合は、抽出画像ＥＰ１１、ＥＰ１２の両方について、検出対象物Ｄ１用の同一のテンプレートを使用する。また、検出対象物Ｄ２を検出する場合は、抽出画像ＥＰ２１、ＥＰ２２、ＥＰ２３の全てについて、検出対象物Ｄ２用の同一のテンプレートを使用する。

検出対象物Ｄｉを検出する処理において、抽出画像ＥＰｉｊの作成に用いた色モデルＭｉｊに属するデータの数が少ないほど、検出対象物Ｄｉを検出する基準を厳しくする。すなわち、前記ステップ１４と同様に、尤度を算出し、その尤度が小さいほど、それを用いて作成した抽出画像ＥＰｉｊにおいて検出対象Ｄｉを検出する基準を厳しくする。例えば、尤度が小さいほど、検出対象物Ｄｉの認識試行回数を多くしたり、検出対象物Ｄｉであると判断するための閾値を高くしたりする。

ステップ２５では、変数ｊの値が上限値Ｋ（変数ｉが１の場合は２、変数ｉの値が２の場合は３）に達しているか否か（すなわち、検出対象物Ｄｉについて、対応する全ての色モデルＭｉｊを用いて前記ステップ２３、２４の処理を実行済みであるか否か）を判断する。変数ｊの値が上限値に達していない場合はステップ２６に進み、変数ｊの値を１つ増加させ、ステップ２３に進む。一方、変数ｊの値が上限値に達している場合はステップ２７に進む。

ステップ２７では、抽出画像ＥＰｉｊ（ｊは１〜Ｋ）のいずれかにおいて、検出対象物Ｄｉを検出できたか否かを判断する。いずれかの抽出画像ＥＰｉｊで検出できた場合はステップ２８に進み、いずれの抽出画像ＥＰｉｊでも検出できなかった場合は本処理を終了する。

ステップ２８では、検出対象物Ｄｉを検出できたことを表す信号をディスプレイ９に出力する。なお、このとき、ディスプレイ９は、検出対象物Ｄｉを検出したことを報知する。その後、図２に戻り、ステップ４に進む。

３．画像検出装置１が奏する効果
本実施形態の画像検出装置１は、前記第１の実施形態と同様の効果を奏することができる。
＜その他の実施形態＞
（１）前記第１、第２の実施形態において、検出対象物Ｄｉは、他の人工物（例えば、白線、道路上の標示、横断歩道、消火栓等）であってもよい。

（２）前記第１の実施形態において、変数ｊが１の場合の前記ステップ１２〜１４の処理と、変数ｊが２の場合の同処理と、変数ｊが３の場合の同処理と、・・・を並行して行ってもよい。

また、前記第１、第２の実施形態において、変数ｉが１の場合の前記ステップ３の処理と、変数ｉが２の場合の同処理とを並行して行ってもよい。
また、前記第２の実施形態において、変数ｊが１の場合の前記ステップ２３、２４の処理と、変数ｊが２の場合の同処理と、変数ｊが３の場合の同処理と、・・・を並行して行ってもよい。

（３）前記第１、第２の実施形態において、エッジを抽出する方法は、一般化ハフ変換以外の方法であってもよい。
（４）前記第１、第２の実施形態において、変数ｉの上限値（すなわち、検出対象物Ｄｉの種類の数）は、２以外の数であってもよく、例えば、１、３、４、５・・・とすることができる。

また、前記第１、第２の実施形態において、変数ｊの上限値（すなわち、同一の検出対象物Ｄｉに対応する色モデルＭｉｊの数）は適宜設定でき、例えば、２、３、４、５、６・・・とすることができる。

（５）前記第１、第２の実施形態において、同一の検出対象物Ｄｉに対応する色モデルＭｉｊは、照明環境（例えば、晴天、曇天、順光、逆光、西日、日向、日陰等）ごとに複数設けてもよい。

（６）前記第１、第２の実施形態における構成の全部又は一部を適宜組み合わせてもよい。

１…画像検出装置、３…制御部、５…データベース、７…カメラ、９…ディスプレイ、１１…色モデル記憶部

Claims (6)

1. 画像を取得する画像取得手段と、
   前記画像から、色モデルに対応する画素を抽出して、抽出画像を作成する抽出画像作成手段と、
   前記抽出画像において、各画素のエッジ情報に基づき、エッジを抽出するエッジ抽出手段と、
   前記抽出画像における前記エッジと、検出対象物のテンプレートとを対比し、検出対象物を検出する検出手段と、
   を備える画像検出装置であって、
   前記抽出画像作成手段は、同一の前記検出対象物に対応する複数の前記色モデルごとに複数の前記抽出画像を作成し、
   前記エッジ抽出手段は、複数の前記抽出画像ごとに前記エッジを抽出し、
   前記色モデルは、予め、あるいは検出処理中に随時追加された、撮影された画像中の前記検出対象物について各画素の色を色空間又は次元拡張した空間にプロットしたデータに基づき作成されたものであり、
   前記検出手段は、前記色モデルに属する前記データの数が少ないほど、その色モデルを用いて作成された前記抽出画像から前記検出対象物を検出する基準を厳しくし、複数の前記抽出画像において、同一の前記検出対象物に対応する前記テンプレートを用い、前記検出対象物を検出する、
   ことを特徴とする画像検出装置。
2. 画像を取得する画像取得手段と、
   前記画像において、各画素のエッジ情報に基づき、エッジを抽出するエッジ抽出手段と、
   前記エッジを抽出した前記画像から、色モデルに対応する画素をさらに抽出して、抽出画像を作成する抽出画像作成手段と、
   前記抽出画像における前記エッジと、検出対象物のテンプレートとを対比し、検出対象物を検出する検出手段と、
   を備える画像検出装置であって、
   前記抽出画像作成手段は、同一の前記検出対象物に対応する複数の前記色モデルごとに複数の前記抽出画像を作成し、
   前記色モデルは、予め、あるいは検出処理中に随時追加された、撮影された画像中の前記検出対象物について各画素の色を色空間又は次元拡張した空間にプロットしたデータに基づき作成されたものであり、
   前記検出手段は、前記色モデルに属する前記データの数が少ないほど、その色モデルを用いて作成された前記抽出画像から前記検出対象物を検出する基準を厳しくし、複数の前記抽出画像において、同一の前記検出対象物に対応する前記テンプレートを用い、前記検出対象物を検出し、
   ことを特徴とする画像検出装置。
3. 前記エッジ抽出手段は、ハフ変換により前記エッジを抽出することを特徴とする請求項１又は請求項２に記載の画像検出装置。
4. 前記検出対象物は、道路に設置された人工物であることを特徴とする請求項１〜３のいずれか１項に記載の画像検出装置。
5. 前記画像は、車両周囲の画像であることを特徴とする請求項１〜４のいずれか１項に記載の画像検出装置。
6. コンピュータを請求項１〜５のいずれか１項に記載の画像検出装置における各手段として機能させるプログラム。