JP5500194B2 - 撮影画像処理装置及び撮影画像処理方法 - Google Patents

Description

本発明は、撮影画像処理装置及び撮影画像処理方法に関する。

道路の路側に設置した撮影装置より走行車両を撮影し、その撮影画像に対して画像処理を行って車両の位置、速度を検出するシステムが提案されている。このようなシステムとして、交通量を計測するトラフィックカウンタ、見通しの悪いカーブや交差点における衝突事故防止等のための安全運転支援システムがある。

安全運転支援システムについては、撮影画像から測定した車両の位置や速度に基づき、衝突余裕時間を推定し、この推定結果に基づきドライバに注意喚起を行ったり、車両のブレーキ制御を行ったりする。従って、撮影画像から検出した車両の位置や速度等の検出精度は、高精度であることが求められている。

カメラにより取得された撮影画像では、天候の変化や路面状態によりコントラストの変化が大きい。このため、車両の位置や速度を高精度に求めることが困難である。

そこで、例えば、撮影画像に前処理を行い、コントラストを調整することが重要となる。このようなコントラスト処理は、正規化処理と呼称されることがある。一般的な、正規化処理としては、下記の方法が例示できる。

第１の方法は、撮影画像全体に対してコントラストを一定にする正規化処理を行う方法である。この正規化処理では、撮影画像全体の輝度又は撮影画像の局所領域の輝度平均と分散値とを用いて、コントラストの低い領域は、コントラストの高い領域の影響を受けてコントラストを強調する。これにより車両の輪郭を鮮明にする。

また、第２の方法は、背景差分により非車両領域と車両領域を区別し、車両領域にのみ正規化処理を行う方法である。これにより、必要な領域に対してのみコントラストを強調することができる。

一方、特許４４２７２０１号公報においては、監視領域内における輝度信号に対して輝度値毎に２値化した画像を生成すると共に、２値化した画像に対するエントロピーを求めて輝度値に対するエントロピー分布を作成し、特定のエントロピーに対する分布幅を元に当該領域内の車両の有無を検出する方法が開示されている。この方法では、２値化画像に対して予め設定された閾値毎にエントロピーを算出する。そして、エントロピーの変化に応じて車両領域と非車両領域とを区別している。

また、特開平０９−０６２９８６号公報においては、カメラの他に発光器を複数設置し、照度が低下する夜間や降雨の時は発光器が設置された領域の輝度差の有無から車両を検出する方法が開示されている。

特許４４２７２０１号公報 特開平０９−０６２９８６号公報

しかしながら、上述した第１の方法では、車両領域周辺のコントラストだけではなく、路面の微小なコントラストの違いも強調されるために、路面において誤検出が多発する問題があった。

また、第２の方法では、撮影環境により異なる時刻の画像間で輝度変化が大きいために、非車両の領域においても輝度の差分値が大きくなり、適切に車両領域と非車両領域を区別することができない問題があった。また、撮影環境は時間帯や天候により大きく変わるので、定期的に背景画像を更新する必要が生じると共に、影や渋滞等で適切な背景画像が得られない等の問題があった。

また、特許４４２７２０１号公報においては、２値化した画像に対して閾値毎にエントロピーを求める処理をしているため、処理時間が増大するという問題があった。

さらに、特開平０９−０６２９８６号公報においては、撮影画像処理装置が複数のセンサで構成されるため、高価になる問題があった。

加えて、撮影画像は環境依存性が大きいので、この撮影画像から求めた車両の検出精度は撮影環境に依存して大きな影響を受ける。このために、前処理として正規化処理を行う場合に、処理時間や車両の検出精度が正規化処理に大きく依存してしまう問題がある。

そこで、本発明の主目的は、高速、かつ、自動で正規化処理の度合いを決定して、高精度に車両等の対象物が検出できる撮影画像処理装置及び撮影画像処理方法を提供することである。

上記課題を解決するため、撮影画像から検出対象物を検出するための画像処理を当該撮影画像に対して行う撮影画像処理装置は、撮影画像の縮小画像を複数の縮小率で生成する縮小画像作成部と、各縮小画像における局所領域を画像サイズに合わせて変化させ、当該局所領域の特性値を算出する特性値算出部と、異なる縮小率の縮小画像から求めた特性値の差分値を算出し、当該算出値を正規化入力変数とする正規化入力変数決定部と、正規化入力変数を用いて正規化処理を行う正規化処理部と、を備えることを特徴とする。

また、撮影画像から検出対象物を検出するための画像処理を当該撮影画像に対して行う撮影画像処理方法であって、撮影画像の縮小画像を複数の縮小率で生成する縮小画像作成手順と、各縮小画像における局所領域を画像サイズに合わせて変化させて当該局所領域の特性値を算出し、異なる縮小率の縮小画像から求めた特性値の差分値を算出する特性値算出手順と、差分値を正規化入力変数に設定する正規化入力変数決定手順と、正規化入力変数を用いて正規化処理を行う正規化処理手順と、を含むことを特徴とする。

本発明によれば、縮小画像間の特性値の差分に基づき正規化入力変数を決定して正規化を行うので、高速、かつ、自動で正規化処理の度合いを決定して、高精度に車両等の対象物が検出できるようになる。

本発明の第１の実施形態にかかる撮影画像処理装置のブロック図である。 第１の実施形態にかかる撮影画像処理手順を示すフローチャートである。 第１の実施形態にかかる検出対象物を含む領域における濃淡レベルの出現頻度を示す図である。 第１の実施形態にかかる検出対象物を含まない領域における濃淡レベルの出現頻度を示す図である。 第１の実施形態にかかる縮小画像を例示した図で、（ａ）は縮小率が小さい縮小画像、（ｂ）は縮小率が大きい縮小画像である。 第１の実施形態にかかるノイズ除去処理手順を示すフローチャートである。 第１の実施形態にかかる平滑化フィルタ処理手順を示すフローチャートである。 第２の実施形態にかかる撮影画像処理手順を示すフローチャートである。 第３の実施形態にかかる撮影画像処理手順を示すフローチャートである。

本発明の実施形態を説明する。本発明にかかる撮影画像処理装置は、撮影画像における画素の濃淡レベルに着目して正規化の度合い（正規化入力変数）を変更させることで対象物を高精度に検出できるようにする。以下においては対象物として道路を走行する車両を例に説明するが、本発明はこれに限定するものではない。例えば、屋外防犯カメラで撮影した撮影画像から侵入者等を検出するような場合にも適用できる。

図１は、本実施形態にかかる撮影画像処理装置２のブロックである。撮影画像処理装置２は、縮小画像生成部１１、特性値算出部１２、正規化入力変数決定部１３、正規化処理部１４を備え、路側カメラ４からの撮影画像に対して撮影画像処理を行う。路側カメラ４は、例えば道路監視用のカメラ等の道路上に設置されるカメラである。以下、特性値としてエントロピーを想定する。

縮小画像生成部１１は、路側カメラ４からの撮影画像から、画像サイズの異なる（縮小率の異なる）複数の縮小画像を生成する。特性値算出部１２は、縮小画像生成部１１で生成された各縮小画像における局所領域を画像サイズに合わせて変化させ、当該局所領域のエントロピーを算出する。

正規化入力変数決定部１３は、特性値算出部１２で算出されたエントロピーに基づき画像間でエントロピーの差分値を求め、正規化入力変数を決定する。正規化処理部１４は、正規化入力変数決定部１３で算出された正規化入力変数を用いて画素毎に異なる度合いの正規化処理を行う。

次に、このような撮影画像処理装置における撮影画像処理手順を説明する。図２は、この撮影画像処理手順を示すフローチャートである。

ステップＳＡ１： 路側カメラ４で撮影し、撮影画像を取得する。この撮影により得られた撮影画像が、縮小画像生成部１１に送られる。

ステップＳＡ２，ＳＡ３： 縮小画像生成部１１は、取得した撮影画像を所定の縮小率で縮小する。本実施形態では、この縮小率として、１／４倍と１／１６倍との２つの縮小率の縮小画像を生成する。以下、縮小された画像を縮小画像と記載し、その縮小率を含める場合には１／４縮小画像のように記載する。

縮小画像の生成は、取得した撮影画像における画素を間引くことで生成する。この縮小画像に基づき後述するエントロピーの算出を行うことにより、算出時間の高速化が可能となる。

ステップＳＡ４〜ＳＡ５： 次に、特性値算出部１２は、縮小画像におけるエントロピーを算出する。エントロピーは、注目画素の周りに縮小画像サイズに合わせて変化させた局所領域を設定し、設定された局所領域毎のエントロピーである。

今、局所領域内の輝度値ｉの起きる確率をＰｉとすると、注目画素ｎのエントロピーＨｎは、式１によって与えられる。

このエントロピーＨｎは、特定の濃淡レベル（階調値）に集中して画素が存在する場合は、図３に示すように、この階調値で大きな頻度を示すが、他の階調値では小さな頻度を取る。一方、濃淡レベルに特定値が存在しない場合には、図４に示すように、階調値は全般的に小さな値を取る。図３及び図４は、横軸に階調値（濃淡レベル）、縦軸に頻度を示している。

なお、縮小画像サイズに関係なく、局所領域を固定して、その局所領域のエントロピーを算出する方法を用いても良い。また、特性値としてエントロピーでなく、式２に従うようなエネルギーＥｎを算出しても良い。このエネルギーＥｎも、エントロピーと同様の輝度値Ｐｉに対する振舞をする。

ステップＳＡ６： エントロピーを算出した後、縮小画像をリサイズして画像サイズを揃える。ここでは、１／４縮小画像を１／１６縮小画像にサイズ変換する。

ステップＳＡ７： 異なる縮小率で縮小された縮小画像の画素毎のエントロピーの差分を算出する。例えば、図５（ａ），図５（ｂ）に示すように、路面Ｒを車両Ｃが走行している際の撮影画像を考える。なお、図５（ａ）は縮小率が小さい縮小画像、図５（ｂ）は縮小率が大きい縮小画像を例示している。図中、領域Ｒａ＿１，Ｒａ＿２は路面Ｒのみの領域であり、領域Ｒｂ＿１，Ｒｂ＿２は車両Ｃを含む領域である。

領域Ｒａ＿１，Ｒａ＿２には車両等の輝度を変える要素が含まれない。
従って、領域Ｒａ＿１に対して画素の間引処理を行うことにより生成された領域Ｒａ＿２は、領域Ｒａ＿１と略同じエントロピーを持つ。

しかし、領域Ｒｂ＿１と領域Ｒｂ＿２とに含まれる各画素の輝度値は、車両等が含まれるため、画素間で大きく変化する。従って、領域Ｒａ＿１に対して画素の間引処理を行うことにより生成された領域Ｒａ＿２は、領域Ｒａ＿１と大きく異なるエントロピーを持つ。

本実施形態では、この特徴を利用して縮小率の異なる縮小画像の間で、エントロピーの差を求め、その差分値が予め設定された閾値以上の時に、当該領域に車両等が含まれると判断する。

ステップＳＡ８： エントロピーの差分値が非常に小さい領域又は画素には車両は含まれないと判断する。そして、差分値の発生原因はノイズであるとする。そこで、このような差分値の小さい領域に対してノイズ除去処理を行うが、正規化処理は行わない。図６は、ノイズ除去処理手順を示すフローチャートである。

ステップＳＢ１，ＳＢ２： 先ず、画像を一方向にスキャンし、エントロピーが連続して閾値以上となる区間（以下、積分区間と記載する）を決定する。スキャン方向は横方向であっても縦方向であっても良い。そして、決定した区間におけるエントロピーの積分値γを算出する。

ステップＳＢ３，ＳＢ４： 積分値γが非常に小さい区間はノイズである可能性が高いので、予め設定した閾値βと比較し、積分値γ＜閾値βの場合にはノイズと判断する。ノイズであると判断された区間は正規化処理を行わないので、この区間内の全ての画素のエントロピーを「０」にする（初期値に設定する）。以上がノイズ除去処理である。

ステップＳＡ９： 図２に戻り撮影画像処理手順を説明する。ノイズ除去処理後の縮小画像を撮影画像のサイズに復元する。縮小画像の復元は、間引いた分だけ近隣の画素値を挿入する方法や、線形補間等を用いることが可能である。

ステップＳＡ１０： 正規化入力変数を決定するために、正規化入力変数決定部１３は、エントロピーの差分値を正規化入力変数に変換する。変換処理としては、まず差分値を０〜１に正規化する。このとき、例えば、トンネル等の環境においては画像の下部に対して画像の上部（カメラから遠い場所）はコントラストが低くなるため、画像の上部の入力変数αの値は大きくする。

ステップＳＡ１１： 正規化処理部１４は、撮影画像Ｆ１からコントラスト強調画像Ｆ２を作成し、入力変数αを用いて、式３に従い画素毎に正規化処理の度合いを調整しながらコントラストを調整して、コントラスト正規化画像Ｆを作成する。
Ｆ＝（１−α）×Ｆ１＋α×Ｆ２ … （３）
これにより、路面のコントラストは強調されることなく、車両等が存在する領域のコントラストを強調する。このような正規化処理により車両が明瞭になり、この車両の位置や速度等が高精度に検出することが可能になる。

なお、上記説明では、差分値算出処理（ステップＳＡ７）を行った後に、ノイズ除去処理（ステップＳＡ８）を行った。しかし、図７に示すように差分値算出処理（ステップＳＡ７）の後に、平滑化フィルタ処理（ステップＳＣ１）を行い、その後にノイズ除去処理（ステップＳＡ８）を行うようにしてもよい。図７は、差分値算出処理、平滑化フィルタ処理を順次行い、その後にノイズ除去処理を行う際の部分フローチャートである。

このような平滑化フィルタ処理により、近隣画素で正規化度合いである正規化入力変数の急激な変化が抑制される。従って、車両の位置や速度等をより高精度に検出することが可能になる。
＜第２の実施形態＞
次に、本発明の第２の実施形態を説明する。なお、第１の実施形態と同一構成に関しては、同一符号を用いて説明を適宜省略する。
第１の実施形態においては縮小画像として１／４縮小画像と１／１６縮小画像との２つの縮小画像を生成する場合について説明した。しかし、本発明は生成する縮小画像の数が２以上であればよく、この数に限定するものではない。本実施形態では、１／４縮小画像、１／１６縮小画像、１／６４縮小画像を生成する場合について説明する。

図８は、本実施形態にかかる撮影画像処理装置の処理手順を示すフローチャートである。ステップＳＤ１〜ステップＳＤ５は、ステップＳＡ１〜ステップＳＡ５と同じであり、ステップＳＤ１０〜ステップＳＤ１４は、ステップＳＡ７〜ステップＳＡ１１と同じである。そこで、異なる処理であるステップＳＤ６〜ステップＳＤ９について説明する。

ステップＳＤ６，ＳＤ７： ステップＳＤ６では、ステップＳＤ４においてエントロピーを算出した後、縮小画像を１／６４縮小画像にリサイズする。即ち、１／４縮小画像を１／６４縮小画像にサイズ変換する。また、ステップＳＤ７では、ステップＳＤ５においてエントロピーを算出した後、縮小画像を１／６４縮小画像にリサイズする。即ち、１／１６縮小画像を１／６４縮小画像にサイズ変換する。

ステップＳＤ８，ＳＤ９： 縮小画像生成部１１は、ステップＳＤ１で取得した撮影画像の１／６４縮小画像を生成し、エントロピーを算出する。

これで、１／４，１／１６，１／６４縮小画像のエントロピーが算出され、かつ、それらの画像サイズが１／６４縮小画像サイズに統一されたことになる。

ステップＳＤ１０： 各縮小画像のエントロピーの差分値を算出する。このとき、１／４縮小画像と１／１６縮小画像、１／１６縮小画像と１／６４縮小画像で、それぞれ差分値を算出し、算出された２枚の差分値の画像でさらに差分を求める。

以上により、処理時間の短縮を図りながら車両の位置や速度等をより高精度に検出することが可能になる。
＜第３の実施形態＞
次に、本発明の第３の実施形態を説明する。なお、第１の実施形態と同一構成に関しては、同一符号を用いて説明を適宜省略する。図９は、本実施形態にかかる撮影画像処理装置のフローチャートである。

図９に示す撮影画像処理におけるステップＳＥ１〜ステップＳＥ７、ステップＳＥ１４〜ステップＳＥ１７は、図２に示す撮影画像処理におけるステップＳＡ１〜ステップＳＡ７、ステップＳＡ８〜ステップＳＡ１１と同じ処理である。そして、図９に示す撮影画像処理では、ステップＳＥ８〜ステップＳＥ１３が追加されている点が相違する。以下、追加したステップＳＥ８〜ステップＳＥ１３について説明する。

ステップＳＥ８： ステップＳＥ７で算出されたエントロピーの差分値に対して平滑化フィルタ処理を順次行い、その後にノイズ除去処理を行う（図７のステップＳＣ１を参照）。

ステップＳＥ９，ＳＥ１１： ノイズ除去処理された縮小画像のエントロピーを算出し、当該縮小画像のリサイズを行う。

ステップＳＥ１０，ＳＥ１２ 一方、ノイズ除去処理された縮小画像に対して１／１６縮小画像を生成し、そのエントロピーを算出する。なお、ステップＳＥ９とステップＳＥ１２とでは、注目画素周りに縮小画像サイズに合わせて変化させる局所領域を設けて、この局所領域内のエントロピーを算出する。

ステップＳＥ１３： そして、平滑化フィルタ処理を行った縮小画像のエントロピー（ステップＳＥ９で算出したエントロピー）と、その縮小画像のエントロピー（ステップＳＥ１２で算出したエントロピー）との差分値が算出される。

このような処理により、路面等で微小のコントラスト変化がある領域は、若干大きな差分値になるが、複数回エントロピーの差分値を求めることで、当該微小にコントラスト変化している領域の差分をより小さくすることができる。

以上説明したように、縮小画像間でエントロピーを比較することによって、路面におけるコントラスト強調を抑えつつ、車両等のコントラストを強調することができる。

２ 撮影画像処理装置
４ 路側カメラ
１１ 縮小画像生成部
１２ 特性値算出部
１３ 正規化入力変数決定部

Claims (10)

1. 撮影画像から検出対象物を検出するための画像処理を当該撮影画像に対して行う撮影画像処理装置であって、
   撮影画像の縮小画像を複数の縮小率で生成する縮小画像作成部と、
   各縮小画像における局所領域を画像サイズに合わせて変化させ、当該局所領域の特性値を算出する特性値算出部と、
   異なる縮小率の縮小画像から求めた特性値の差分値を算出し、当該算出値を正規化入力変数とする正規化入力変数決定部と、
   前記正規化入力変数を用いて正規化処理を行う正規化処理部と、
   を備えることを特徴とする撮影画像処理装置。
2. 請求項１に記載の撮影画像処理装置であって、
   前記特性値は、Ｐｉを局所領域内の輝度値ｉの起きる確率、Ｈｎを注目画素ｎのエントロピー、Ｅｎを当該注目画素ｎのエネルギーとしたとき、式１のエントロピー又は下記の式２のエネルギーであることを特徴とする撮影画像処理装置。
   
   

   

   
   

   
3. 撮影画像から検出対象物を検出するための画像処理を当該撮影画像に対して行う撮影画像処理方法であって、
   撮影画像の縮小画像を複数の縮小率で生成する縮小画像作成手順と、
   各縮小画像における局所領域を画像サイズに合わせて変化させて当該局所領域の特性値を算出し、異なる縮小率の前記縮小画像から求めた前記特性値の差分値を算出する特性値算出手順と、
   前記差分値を正規化入力変数に設定する正規化入力変数決定手順と、
   前記正規化入力変数を用いて正規化処理を行う正規化処理手順と、
   を含むことを特徴とする撮影画像処理方法。
4. 請求項３に記載の撮影画像処理方法であって、
   前記縮小画像は、それぞれ縮小率の異なる３つの縮小画像であることを特徴とする撮影画像処理方法。
5. 請求項３又は４に記載の撮影画像処理方法であって、
   前記特性値は、Ｐｉを局所領域内の輝度値ｉの起きる確率、Ｈｎを注目画素ｎのエントロピー、Ｅｎを当該注目画素ｎのエネルギーとしたとき、式１のエントロピー又は下記の式２のエネルギーであることを特徴とする撮影画像処理方法。
   
   

   

   
   

   
6. 請求項３乃至５のいずれか１項に記載の撮影画像処理方法であって、
   前記特性値算出手順は、算出した前記特性値により形成される画像に対して近隣画素で正規化入力変数の急激な変化を抑制する平滑化フィルタ処理の手順を含むことを特徴とする撮影画像処理方法。
7. 請求項６に記載の撮影画像処理方法であって、
   前記特性値算出手順は、前記平滑化フィルタ処理により得られた画像の縮小画像を作成して、前記画像及び当該縮小画像の前記特性値を算出し、かつ、その差分値を算出する手順を含むことを特徴とする撮影画像処理方法。
8. 請求項３乃至７のいずれか１項に記載の撮影画像処理方法であって、
   前記正規化入力変数決定手順には、前記特性値算出手順により取得された前記差分値が予め設定された閾値より小さい領域に対してノイズ除去処理を行い、当該ノイズ除去処理を行った画像に基づき前記正規化入力変数を設定する手順を含むことを特徴とする撮影画像処理方法。
9. 請求項８に記載の撮影画像処理方法であって、
   前記ノイズ除去処理が行われた前記画像を線形補間により前記撮影画像のサイズに復元する画像復元手順を含むことを特徴とする撮影画像処理方法。
10. 請求項８又は９に記載の撮影画像処理方法であって、
    前記正規化処理手順は、前記ノイズ除去処理が行われた前記画像に対して、当該画像の上部と下部とで異なる値の前記正規化入力変数を設定する手順を含むことを特徴とする撮影画像処理方法。

Images