JP6495742B2 - 対象物検出装置、対象物検出方法、及び、対象物検出プログラム - Google Patents

Description

本発明は、車両に搭載され、自車両の周辺に存在する対象物を検出するための対象物検出装置、対象物検出方法、及び、対象物検出プログラムに関する。

近年、車両走行時における安全性を向上させるべく、自車両の周辺に存在する車両や人等の対象物をカメラなどにより撮影し、その撮影画像から対象物を検出して、運転者に知らせることが行われている。その際、対象物を高精度に検出をするためには、高画質でハイスピードな処理が必要であり、高性能な計算機が必要であった。そのため、コストが高くなり、コンパクト車に適用することが難しいという問題があった。そこで、解析処理方法を簡便にして、処理負荷を下げることが検討されている。

例えば、特許文献１には、白線や稜線から消失点を求め、これを仮想的な動きベクトルの集中点であるとして、移動量の算出などに利用することにより演算量を減らす手法が記載されている。特許文献１によれば、自車両に衝突する可能性のある他の移動体としての追越し車両のみを検出することができ、検出された追い越し車両と自車両との間の関係の時間的な変化を利用することにより、衝突を防止することができる。

また、特許文献２には、予め車両のいないとき撮影した背景画像フレームと直前に撮影した前画像フレームとの差分値を２値化して、２値化差分画像を作成し、この２値化差分画像を個別車両領域マスク画像でマスクし、このマスク領域を切り出してテンプレートを作成する手法が記載されている。特許文献２によれば、雑音が除去された正確なテンプレートを切り取ることができるので、現画像フレームとのマッチングを行うことで、各車両の動きベクトルを高精度で検出することができる。

特開２０００−２８５２４５号公報 特開平１０−１０５６８９号公報

しかしながら、特許文献１に記載の手法は、追い越し車線や隣の車線の車両を見つけるには有効な手段であるが、白線がない場所では、消失点を見つけられず、オプティカルフローを計算させる範囲が不安定になるという問題があった。また、特許文献２に記載の手法は、カメラが固定の状況のみに対して有効であり、カメラが動くと背景ブロックとして定義されるはずの絵が取得できないため、それ以降、マスク画像及びテンプレートの作成ができないという問題があった。よって、街中走行の環境変化の大きい画像では、特許文献１，２に記載の手法を使用することはできない。

また、画像中の処理範囲を絞り込むために、２つの画像間の輝度差を用いる方法が考えられるが、処理負荷が高いうえノイズの影響を受けやすいという問題があった。

本発明は、このような問題に基づきなされたものであり、処理負荷を下げることができる対象物検出装置、対象物検出方法、及び、対象物検出プログラムを提供することを目的とする。

本発明の対象物検出装置は、自車両周辺の対象物を検出するものであって、自車両周辺の画像を撮像する撮像手段と、撮像手段により撮像された画像を複数画素の複数のブロックに分け、１つのブロックにおける各画素の輝度又は色相のばらつきの大きさが所定の閾値よりも大きいか否かに基づいて、対象物を検出する処理範囲を決定する処理範囲決定手段と、処理範囲決定手段により決定された処理範囲について、対象物を検出する検出手段とを備えたものである。

本発明の対象物検出方法は、自車両周辺の対象物を検出するものであって、自車両周辺の画像を撮像する撮像ステップと、撮像ステップにより撮像された画像を複数画素の複数のブロックに分け、１つのブロックにおける各画素の輝度又は色相のばらつきの大きさが所定の閾値よりも大きいか否かに基づいて、対象物を検出する処理範囲を決定する処理範囲決定ステップと、処理範囲決定ステップにより決定された処理範囲について、対象物を検出する検出ステップとを含むものである。

本発明の対象物検出プログラムは、自車両周辺の対象物を検出するものであって、撮像された自車両周辺の画像を複数画素の複数のブロックに分け、１つのブロックにおける各画素の輝度又は色相のばらつきの大きさが所定の閾値よりも大きいか否かに基づいて、対象物を検出する処理範囲を決定する処理範囲決定手段と、処理範囲決定手段により決定された処理範囲について、対象物を検出する検出手段として、コンピュータを機能させるものである。

本発明によれば、撮像された画像を複数画素の複数のブロックに分け、１つのブロックにおける各画素の輝度又は色相のばらつきの大きさが所定の閾値よりも大きいか否かに基づいて、対象物を検出する処理範囲を決定するようにしたので、対象物が存在しない背景部分を高い精度で処理範囲から除外することができる。よって、検出精度を高く保ちつつ、処理負荷を下げることができ、低コストで簡便に処理することができる。従って、コンパクト車にも搭載することが可能となり、安全性を向上させることができる。

本発明の一実施の形態に係る対象物検出装置の概略構成を表すブロック図である。 撮像手段を自車両のサイドミラーに視野を後方に向けて取り付けた場合に撮像される画像の概略構成図である。 画像を複数画素のブロックに分けた状態を表すイメージ図である。 図１に示した対象物検出装置により自車両周辺の対象物を検出するステップを表す流れ図である。 図４に示した処理範囲決定手段におけるステップを表す流れ図である。 処理範囲決定手段における画像処理を説明する図である。 処理範囲決定手段における画像処理を説明する他の図である。 処理範囲決定手段における画像処理を説明する更に他の図である。 図１に示した対象物検出装置による効果を計算するための画像である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る対象物検出装置１の概略構成を表すものである。この対象物検出装置１は、自車両周辺の対象物を検出するものであり、例えば、後方から自車両に迫ってくる対象物を検出して、自車両の右左折時や車線変更時にその対象物と衝突しないようにするためのものである。なお、本実施の形態では、自車両の後方に位置する対象物を検出する場合について説明するが、本発明はこれに限られるものではなく、自車両の前方又は側方等の他の方向に位置する対象物を検出する場合についても適用することができる。

対象物検出装置１は、例えば、自車両に搭載して用いられ、自車両周辺の画像を撮像する撮像手段１０と、メモリ２１及びＣＰＵ２２などを有する処理部２０と、警報を発する警報手段３０とを備えている。撮像手段１０は、例えば、ＣＣＤカメラ、ＣＭＯＳカメラ、ＩＴＶカメラなどのカメラにより構成される。撮像手段１０は、本実施の形態では、例えば、自車両のサイドミラーに視野を後方に向けて取り付けられている。なお、撮像手段１０は、自車両の後方を撮像できる位置であれば何れの位置に取り付けられていてもよい。撮像手段１０は、例えば、Ａ／Ｄ変換器１１を介して処理部２０と接続されており、撮像手段１０により時系列に撮像された複数フレームの画像のデータは、時系列的に連続してＡ／Ｄ変換器１１によりディジタル信号に変換され、処理部２０に送られるようになっている。

処理部２０のメモリ２１には、例えば、対象物検出プログラム２１Ａが格納されている。ＣＰＵ２２は、例えば、メモリ２１に格納された対象物検出プログラム２１Ａの指令を受け、マスク手段２２Ａと、処理範囲決定手段２２Ｂと、検出手段２２Ｃと、警報判断手段２２Ｄして機能するようになっており、撮像手段１０により撮像された画像のデータを受信すると、対象物検出プログラム２１Ａの指令に従って画像処理を行い、対象物を検出するように設定されている。

マスク手段２２Ａは、例えば、撮像手段１０により撮像された画像のうち、自車両が写り込んでいる不要部分をマスク画像でマスクし、対象物を検出する処理範囲から除外するものである。図２に、撮像手段１０を自車両のサイドミラーに視野を後方に向けて取り付けた場合に撮像される画像の概略構成を示す。図２に示したように、画像に写り込む自車両の部分は対象物が存在しない不要部分であるので、処理範囲から除外することにより処理負荷を下げることが好ましい。マスク手段２２Ａは、撮像手段１０により時系列に撮像された複数フレームの画像について、フレーム毎に，順次、処理をするように設定されている。

処理範囲決定手段２２Ｂは、例えば、対象物が存在しない空などの背景部分を処理範囲から除外するものであり、撮像手段１０により撮像された画像を複数画素の集合体である複数のブロックＡに分け、１つのブロックＡにおける各画素の輝度又は色相のばらつきの大きさが所定の閾値よりも大きいか否かに基づいて、対象物を検出する処理範囲を決定するものである。図３に、画像を複数画素のブロックＡに分けた状態を表すイメージ図を示す。空などの背景部分のブロックＡでは、各画素の輝度又は色相のばらつきが小さくなるのに対して、対象物が存在する部分のブロックＡでは、各画素の輝度又は色相のばらつきが大きくなるので、ばらつきの大きさにより対象物の有無を判別することが可能である。

なお、空などの背景部分については、自車両部分と同様に、予め設定された範囲をマスクにより除外する方法もあるが、この方法では、背景部分としてマスクされた部分とマスクされていない部分との境界をまたぐように対象物が存在した場合に、対象物の検出遅れや検出漏れを生じてしまう恐れがある。これに対して、処理範囲決定手段２２Ｂによれば、対象物の有無に応じて、除外する範囲を変動させることができるので、検出精度を高く保ちつつ、処理負荷を下げることが可能となる。

具体的には、処理範囲決定手段２２Ｂは、例えば、画像のうち横方向において隣接する１列の全ブロックＡについて、各画素の輝度又は色相のばらつきの大きさが所定の閾値以下である場合に、その列から上の列のブロックＡについては空などの背景と判断し、処理範囲から除外するように設定されていることが好ましい。各画素の輝度又は色相のばらつきの大きさとしては、標準偏差（分散の平方根）又は分散を用いることが好ましい。閾値は、予め設定された固定値でもよいが、天候あるいは時間に応じて変更可能としてもよい。閾値の具体的な数値としては、各画素の輝度又は色相のばらつきの大きさとして標準偏差を用いる場合には、例えば、晴天時や雨天時などの天候の変化及び時間の変化も含めて、８ｂｉｔ値の場合で２０から３０程度とすることが好ましい。

各ブロックＡの大きさは、画像により異なるが、５画素×５画素以上、７０画素×７０画素以下の範囲内とすることが好ましい。ブロックＡの大きさが小さ過ぎると、処理範囲決定手段２２Ｂにおける計算量が多くなるので、処理負荷を十分に下げることが難しく、ブロックＡの大きさが大き過ぎると、処理範囲決定手段２２Ｂにおいて対象物を検出する処理範囲から除外する領域が少なくなり、処理負荷を十分に下げることが難しいからである。また、処理範囲決定手段２２Ｂは、例えば、撮像手段１０により時系列に撮像され、マスク手段２２Ａにより処理がされた複数フレームの画像について、フレーム毎に、順次、処理をするように設定されている。

検出手段２２Ｃは、処理範囲決定手段２２Ｂにより決定された処理範囲について、対象物を検出するものである。例えば、検出手段２２Ｃは、処理範囲決定手段２２Ｂにより決定された各フレームの処理範囲を探索し、対象物の動きを検出するように設定されていることが好ましい。対象物の動きを検出する方法としては、例えば、画像の中で対象物の動きをベクトルで表すオプティカルフローが好ましい。オプティカルフローの抽出には、例えば、ブロックマッチング法や勾配法が用いられる。

具体的には、検出手段２２は、例えば、ｔ時刻におけるフレームの画像と、ｔ＋１時刻におけるフレームの画像とを比較し、ｔ時刻におけるフレームの画像におけるある点がｔ＋１時刻におけるフレームの画像においてどこに動いたかを探すことにより、対象物の動きを検出することが好ましい。すなわち、ｔ時刻におけるフレームの画像の各画素ごとにおけるｔ＋１時刻におけるフレームの画像の対応点を探索することにより、対象物の動きを検出することが好ましい。

警報判断手段２２Ｄは、例えば、検出手段２２Ｃにより検出した対象物が自車両に一定以上近づいていると判断した場合に、危険であるとして、警報手段３０に警報を発するように指示するものである。警報手段３０は、例えば、警報判断手段２２Ｄからの指示が入力されると、音、光、振動、或いはこれらを複合させたものを通じて、運転者に危険を知らせるようになっていることが好ましい。

この対象物検出装置１は次のようにして用いられる。まず、事前準備として、対象物検出装置１を自車両に搭載し、撮像手段１０により後方が撮像されるように位置を調整する。その際、例えば、図２に示したように、撮像手段１０により撮像された画像において、上下方向の中央部付近に、空と路面との境界部分が位置するようにすることが好ましい。撮像手段１０の取付位置を決めたのち、撮像手段１０により撮像した画像に基づき、自車両をマスクするマスク画像を作成する。

次いで、次のようにして、自車両周辺の対象物を検出する。図４は、対象物検出装置１により自車両周辺の対象物を検出するステップを表すものである。まず、撮像手段１０により自車両周辺の画像を撮像し、その画像データをＡ／Ｄ変換器１１によりディジタル信号に変換して、処理部２０に送る（ステップＳ１００）。

次いで、処理部２０において、撮像手段１０により撮像された画像の処理を行い、対象物を検出する（ステップＳ２００）。まず、例えば、マスク手段２２Ａにより、撮像手段１０により撮像された画像のうち、自車両が写り込んでいる部分をマスク画像でマスクする（ステップＳ２１０）。次いで、例えば、処理範囲決定手段２２Ｂにより、撮像手段１０により撮像され、マスク手段２２Ａにより処理がされた画像について、対象物を検出する処理範囲を決定する（ステップＳ２２０）。なお、処理範囲決定手段２２Ｂにおけるステップは後述する。

続いて、例えば、検出手段２２Ｃにより、処理範囲決定手段２２Ｂにおいて決定された処理範囲について、オプティカルフローの計算を行い、対象物の動きを検出する（ステップＳ２３０）。次に、例えば、警報判断手段２２Ｄにより、検出手段２２Ｃにおいて検出した対象物が自車両に一定以上近づいていると判断すると（ステップＳ２４０；Ｙ）、危険であるとして、警報手段３０に警報を発するように指示をする（ステップＳ２５０）。警報手段３０は、例えば、警報判断手段２２Ｄから指示が入力されると、警報を発し、運転者に危険を知らせる（ステップＳ３００）。

図５は、処理範囲決定手段２２Ｂにおけるステップを表すものである。処理範囲決定手段２２Ｂでは、まず、例えば、撮像手段１０により撮像され、マスク手段２２Ａにより処理がされた画像について、複数画素の集合体である複数のブロックＡに分割する（ステップＳ２２１）。次いで、例えば、画像の上下方向において中央部に位置する一方の端部のブロックＡから、１つのブロックＡにおける各画素の輝度又は色相のばらつきの大きさを算出する（ステップＳ２２２）。具体的には、例えば、各画素の輝度又は色相の標準偏差又は分散を算出することが好ましい。

ばらつきの大きさが所定の閾値よりも大きい場合には（ステップＳ２２３；Ｙ）、対象物、或いは建物や植栽等の空以外の背景が存在すると判断し、隣のブロックＡについて、又は、隣のブロックＡがない場合には上の列の一方の端部のブロックＡについて、１つのブロックＡにおける各画素の輝度又は色相のばらつきの大きさを算出する（ステップＳ２２４）。具体的には、例えば、各画素の輝度又は色相の標準偏差又は分散を算出することが好ましい。

また、ばらつきの大きさが所定の閾値以下であっても（ステップＳ２２３；Ｎ）、１列の全ブロックＡについて、ばらつきの大きさが所定の閾値以下でない場合には（ステップＳ２２５；Ｎ）、ばらつきの大きさが所定の閾値よりも大きい場合（ステップＳ２２３；Ｙ）と同様に、隣のブロックＡについて、又は、隣のブロックＡがない場合には上の列の一方の端部のブロックＡについて、１つのブロックＡにおける各画素の輝度又は色相のばらつきの大きさを算出する（ステップＳ２２４）。具体的には、例えば、各画素の輝度又は色相の標準偏差又は分散を算出することが好ましい。

更に、ばらつきの大きさが所定の閾値以下であり（ステップＳ２２３；Ｎ）、１列の全ブロックＡについて、ばらつきの大きさが所定の閾値以下である場合には（ステップＳ２２５；Ｙ）、空などの背景部分と判断し、その列から上の列のブロックＡについては空などの背景として、処理範囲から除外する（ステップＳ２２６）。このようにして、撮像手段１０により時系列に撮像された複数フレームの画像について、フレーム毎に，順次、対象物を検出する処理範囲を決定する。

図６から図８は、処理範囲決定手段２２Ｂにおける画像処理を具体的な画像について示すものである。図６から図８において、（Ａ）は撮像手段１０により撮像された画像を表し、（Ｂ）は（Ａ）に示した画像について処理範囲決定手段２２Ｂにより１つのブロックＡにおける各画素の輝度又は色相のばらつきの大きさを算出する手順を表すものである。図６に示した画像は、自車両の後方から自転車に乗った人が近づいてくるものであり、図７は図６よりも自転車に乗った人が自車両に近づき、図８は図７よりも自転車に乗った人が自車両に近づいたものである。

図６では、自転車に乗った人の大きさが小さいので、例えば、画像の上下方向における中央部の列と、その上の列まで、ばらつきの大きさが閾値よりも大きなブロックＡが存在する。よって、処理範囲決定手段２２Ｂにより中央部の列の一方の端部から、１つのブロックＡにおける各画素の輝度又は色相のばらつきの大きさを順に算出すると、例えば、中央部の列よりも２つ上の列では、全ブロックＡについて、ばらつきの大きさが閾値以下となる。従って、中央部よりも２つ以上上の列については、処理範囲から除外する。

また、図７では、図６よりも自転車に乗った人の大きさが大きくなり、例えば、中央部の列からその２つ上の列まで、ばらつきの大きさが閾値よりも大きなブロックＡが存在する。よって、処理範囲決定手段２２Ｂにより中央部の列の一方の端部から、１つのブロックＡにおける各画素の輝度又は色相のばらつきの大きさを順に算出すると、例えば、中央部の列よりも３つ上の列では、全ブロックＡについて、ばらつきの大きさが閾値以下となる。従って、中央部よりも３つ以上上の列については、処理範囲から除外する。

更に、図８では、図７よりも更に自転車に乗った人の大きさが大きくなり、例えば、中央部の列から画像の最上列まで、ばらつきの大きさが閾値よりも大きなブロックＡが存在する。よって、処理範囲決定手段２２Ｂにより中央部の列の一方の端部から、１つのブロックＡにおける各画素の輝度又は色相のばらつきの大きさを順に算出すると、例えば、最上列まで、全ブロックＡについて、ばらつきの大きさが閾値以下とならない。従って、処理範囲決定手段２２Ｂにおいて、処理範囲から除外する領域はない。このように、処理範囲決定手段２２Ｂによれば、対象物の有無に応じて、処理範囲から除外する領域を変動させることができる。

図９に示した画像において、マスク手段２２Ａにより自車両の部分を除外した領域について全てオプティカルフローの計算を行う場合（従来法）と、マスク手段２２Ａにより自車両の部分を除外し、更に、処理範囲決定手段２２Ｂにより背景部分を除外した領域について、オプティカルフローの計算を行う場合（本実施の形態）の処理負荷を計算した。なお、図９に示した画像サイズは、６４０画素×４８０画素であり、ブロックＡの大きさは、１６画素×１６画素とした。その結果、加減乗除、自乗、及び、平方根の計算回数は、本実施の形態では、５８１４５６３３４回〜５８２６２３８８４回であったのに対して、従来法では、９６０８２３２９６回であった。すなわち、本実施の形態による計算回数の処理軽減率は、３９．３％〜３９．５％（約４０％）であった。よって、本実施の形態によれば、処理負荷を軽減できることが分かった。

このように本実施の形態によれば、撮像された画像を複数画素の複数のブロックＡに分け、１つのブロックＡにおける各画素の輝度又は色相のばらつきの大きさが所定の閾値よりも大きいか否かに基づいて、対象物を検出する処理範囲を決定するようにしたので、対象物が存在しない背景部分を高い精度で処理範囲から除外することができる。よって、検出精度を高く保ちつつ、処理負荷を下げることができ、低コストで簡便に処理することができる。従って、コンパクト車にも搭載することが可能となり、安全性を向上させることができる。

以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々変形可能である。例えば、上記実施の形態では、各構成要素について具体的に説明したが、全ての構成要素を備えていなくてもよく、他の構成要素を備えていてもよい。

１…対象物検出装置、１０…撮像手段、１１…Ａ／Ｄ変換器、２０…処理部、２１…メモリ、２１Ａ…対象物検出プログラム２１Ａ、２２…ＣＰＵ、２２Ａ…マスク手段、２２Ｂ…処理範囲決定手段、２２Ｃ…検出手段、２２Ｄ…警報判断手段、３０…警報手段

Claims (5)

1. 自車両周辺の対象物を検出する対象物検出装置であって、
   自車両周辺の画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像を複数画素の複数のブロックに分け、１つのブロックにおける各画素の輝度又は色相のばらつきの大きさが所定の閾値よりも大きいか否かに基づいて、対象物を検出する処理範囲を決定する処理範囲決定手段と、
   前記処理範囲決定手段により決定された処理範囲について、対象物を検出する検出手段とを備え、
   前記処理範囲決定手段は、横方向において隣接する１列の全ブロックについて、各画素の輝度又は色相のばらつきの大きさが所定の閾値以下である場合に、その列から上の列のブロックについては背景と判断し、処理範囲から除外するように設定された
   ことを特徴とする対象物検出装置。
2. 前記処理範囲決定手段は、各画素の輝度又は色相のばらつきの大きさとして標準偏差又は分散を用いることを特徴とする請求項１記載の対象物検出装置。
3. 前記処理範囲決定手段は、前記撮像手段により時系列に撮像された複数フレームの画像について処理範囲を決定し、
   前記検出手段は、前記処理範囲決定手段により決定された各フレームの処理範囲を探索し、対象物の動きを検出する
   ことを特徴とする請求項１又は請求項２記載の対象物検出装置。
4. 自車両周辺の対象物を検出する対象物検出方法であって、
   自車両周辺の画像を撮像する撮像ステップと、
   前記撮像ステップにより撮像された画像を複数画素の複数のブロックに分け、１つのブロックにおける各画素の輝度又は色相のばらつきの大きさが所定の閾値よりも大きいか否かに基づいて、対象物を検出する処理範囲を決定する処理範囲決定ステップと、
   前記処理範囲決定ステップにより決定された処理範囲について、対象物を検出する検出ステップとを含み、
   前記処理範囲決定ステップでは、横方向において隣接する１列の全ブロックについて、各画素の輝度又は色相のばらつきの大きさが所定の閾値以下である場合に、その列から上の列のブロックについては背景と判断し、処理範囲から除外する
   ことを特徴とする対象物検出方法。
5. 自車両周辺の対象物を検出する対象物検出プログラムであって、
   撮像された自車両周辺の画像を複数画素の複数のブロックに分け、１つのブロックにおける各画素の輝度又は色相のばらつきの大きさが所定の閾値よりも大きいか否かに基づいて、対象物を検出する処理範囲を決定し、かつ、横方向において隣接する１列の全ブロックについて、各画素の輝度又は色相のばらつきの大きさが所定の閾値以下である場合に、その列から上の列のブロックについては背景と判断し、処理範囲から除外する処理範囲決定手段と、
   前記処理範囲決定手段により決定された処理範囲について、対象物を検出する検出手段として、
   コンピュータを機能させることを特徴とする対象物検出プログラム。