JP4464523B2

JP4464523B2 - 混雑状況判定装置

Info

Publication number: JP4464523B2
Application number: JP2000098083A
Authority: JP
Inventors: 秀樹武井; 浩治上田; 徹也谷嵜
Original assignee: Nagoya Electric Works Co Ltd
Current assignee: Nagoya Electric Works Co Ltd
Priority date: 2000-03-31
Filing date: 2000-03-31
Publication date: 2010-05-19
Anticipated expiration: 2020-03-31
Also published as: JP2001283218A

Description

【０００１】
【発明が属する技術分野】
本発明は、画像処理を用いた混雑状況判定方法とその装置に係り、特に、駐車車両の１台１台に注目することなく、駐車場全体の状況に基づいて混雑状態を判定することができる混雑状況判定装置に関する。
【０００２】
【従来の技術】
従来の画像処理を用いた駐車場システムとしては、駐車マス毎に輝度変化やエッジ情報などを用いて車両の有無を判定し、それら個々の検出結果を計数することにより、駐車場全体の混雑状況を推定して決定する方法が知られている。この方法は、個々の駐車マス毎の車両判定精度が基本となり、車両の細部の情報が多いほど判定精度は向上する。したがって、判定精度を上げるには車両を画面上により大きく映し出す必要がある。しかしながら、車両を画面上により大きく映し出せば出すほど、１台のカメラでは広い範囲を一度に検出することができなくなり、駐車場全体を撮影するために多数のカメラが必要であった。
【０００３】
【発明が解決しようとする課題】
本発明は、予め用意しておいた空車、混雑、満車などの各混雑状況を表すテンプレート画像と、カメラから取り込んだ対象画像全体とのマッチングによる相関をとり、相関値の相対的な関係からテンプレート画像により近い混雑状況を自動的に見い出すことができるようにしたもので、駐車車両の１台１台に注目することなく、駐車場全体の状況に基づいて混雑状態を判定することができ、人間の判定結果により近い判定結果を得ることができる混雑状況判定装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の混雑状況判定装置は前記した目的を達成せんとするもので、請求項１の手段は、混雑状況を判定すべき対象領域を撮影する撮影手段と、該撮影手段で撮影した対象領域の撮影画像をデジタル画像として格納記憶する画像記憶手段と、該画像記憶手段に格納記憶された対象領域のデジタル画像をエッジ画像に変換するエッジ画像変換部と、該エッジ画像変換部で変換されたエッジ画像をぼかし処理する画像ぼかし処理部と、前記対象領域についての空車、混雑、満車の混雑状況ごとのぼかし処理されたテンプレート画像を予め格納記憶したテンプレート画像記憶部と、前記画像ぼかし処理部でぼかし処理された対象領域の画像と前記テンプレート画像記憶部に格納されているぼかし処理された空車、混雑、満車のテンプレート画像とのマッチングをとり、各テンプレート画像との相関値を算出する相関値算出部と、該相関値算出部で算出された相関値を比較し、最も値の大きな相関値に対応するテンプレート画像の混雑状況を当該対象領域の混雑状況として決定する混雑状況判定部とを備えたことを特徴とし、また、請求項２の手段は、前記した請求項１において、前記相関値算出部が画像をシフトしながらテンプレート画像とのマッチングをとるものであることを特徴とする。
【００１０】
上記構成から明らかなように、本発明の混雑状況判定方法ならびに装置は、人間の相似判断を基に予め用意しておいた空車、混雑、満車などの混雑状況を表すテンプレート画像と、カメラから取り込んだ対象画像とのマッチングによる相関をとり、得られた相関値の相対的な関係から最も現在の混雑状況に合致するテンプレート画像を選択し、そのテンプレート画像に相当する混雑状況を現在の混雑状態として決定するようにしたものである。
【００１１】
すなわち、人間の相似判断を基に予め用意した空車、混雑、満車などの混雑状況を示すテンプレート画像と、カメラから取り込んだ対象画像とのマッチングによる相関をとれば、その相関の程度によって現在の状況がどの混雑状況に似ているかを判定することができ、この似ている度合いを数値的に示す相関値Ｒは、次式で算出することができる。
【００１２】
【式１】

ところで、上記（１）式から分かるように、相関値Ｒの算出には輝度値を扱う。そのため、カメラで撮影して得られるデジタル画像（白黒多値画像）をそのまま処理画像として用いた場合には、駐車した車両による影響が少ない駐車場の空車状態を判定する場合を除き、車両の色の違いなどによって判定結果に影響を受けてしまう。そこで、この影響を取り除くため、本発明では、デジタル画像をそのまま使用する他に、空車と満車、混雑を判定する判定精度を向上するために、デジタル画像をエッジ画像に変換して用い、車両の色の違いなどによる誤差を無くすようにした。
【００１３】
デジタル画像を用いて相関を取った場合と、エッジ画像を用いて相関をとった場合の違いの例を、図３（ａ）（ｂ）に示す。デジタル画像どうしで相関をとった場合（図３（ａ））には相関値Ｒは０．３０５となるが、エッジ画像どうしで相関をとった場合（図３（ｂ））には相関値Ｒは０．５００となり、エッジ画像を用いて相関をとる方が、デジタル画像を用いた場合に比べてより正確な判定を行なうことが可能となる。
【００１４】
前記相関値Ｒは、その値が大きいほどテンプレート画像と対象画像とのー致度が高いことを示す。しかし、天候の変化などに伴う対象画像の変化によって、相関値自体が変化してしまい、相関値それ自体を絶対量として扱うことは困難である。そこで、本発明では、さらに図４に示すように、前記（１）式によって求められた相関値どうしを比較し、相関値の最も大きいテンプレート画像を対象画像の混雑状況とする。このように相関値の相対的な比較を行うことで、屋外の輝度変動に対して安定した判定を行なうことができる。
【００１５】
一般に、撮影した対象画像が空車状態の場合、満車のテンプレート画像との相関値よりも空車のテンプレート画像との相関値の方が常に大きくなり、空車状態であると常に正しく判定することができる。しかし、対象画像が満車状態の場合、空車の場合と異なり、空車のテンプレート画像との相関値よりも満車のテンプレート画像との相関値の方が常に大きいとは限らず、空車のテンプレート画像と同じような値をとることがある。
【００１６】
これは、空車どうしの画像のマッチングをとる際には、駐車車両が少ないために駐車マスの白線が隠されることがなく、白線どうしのマッチングがとり易いため、相関値も高くなるが、満車どうしのマッチングをとる際には、駐車車両が多いために駐車マスの白線は車両に隠されて見えなくなり、相関のとりやすい駐車マスの白線がマッチングの主体ではなくなるためである。すなわち、満車の場合には、相関をとる対象は車両が主体となるわけであるが、車両の場合には、白線の場合と異なり、車両の形状や駐車の仕方によって見え方が大きく異なり、マッチングがうまくいかない場合があるためである。
【００１７】
そこで、本発明では、このような問題をなくすため、相関をとる対象画像とテンプレート画像の両方をぼかすことによってその影響を軽減し、車両どうしのマッチングを取り易くした。その結果、図５（ａ）（ｂ）に示すように、画像をぼかすことによって満車の場合でも相関値にはっきりとした差が生じ、混雑状況の正確な判定が可能となる。また、このように処理画像をぼかすことによって、従来方法で問題となっていた影などの影響も取り除くことができる。
【００１８】
このぼかしの程度と、これによって得られる相関値の関係とを種々実験したところ、図６に示すような結果が得られた。ただし、最適なぼかし量は駐車場を撮影する際の画角によっても異なるため、撮影する状況に応じた値を選択することが必要となる。
【００１９】
このように、デジタル画像からなる対象画像をエッジ画像に変換した後、このエッジ画像にぼかし処理を施した画像を処理対象画像とし、同じようにエッジ処理とぼかし処理を施した各テンプレート画像とのマッチングをとって相関値を算出し、相関値の相対的な大小関係から最も近似した混雑状況を見い出すことにより、駐車車両１台１台に注目することなく、駐車場全体の状況のみで広範囲な駐車状況を判定することができるようになる。
【００２０】
また、同じ混雑状況でも駐車車両の位置関係はその時々で種々異なり、同じ混雑状況でも必ずしも相関値が高くなるとは限らないため、状況に応じて相関値を算出することが必要になる。そこで、本発明では、空車、混雑、満車などの各混雑状況毎およびデジタル画像、エッジ画像、ぼかし画像毎にテンプレート画像をそれぞれ複数枚用意し、それぞれの画像との相関をとるようにした。すなわち、例えば空車の複数枚のテンプレート画像と対象画像とのマッチングをそれぞれとり、その中で最も大きな値を与えるテンプレート画像との相関値を当該混雑の相関値とする。同様にして、混雑、満車など、他の混雑状況を与えるテンプレート画像との相関についても、最も大きい値を与えるテンプレート画像との相関値を当該満車の相関値とする。
【００２１】
そして、このようにして得られた空車、混雑、満車についてのピークの相関値どうしを比較し、その中で最も大きな相対値を与える混雑状況をその時の混雑状況として決定する。これにより、車両の位置関係に影響されることなく、より安定した混雑状況の判定が可能となる。
【００２２】
さらに、判定する混雑状況を満車、混雑、空車の３段階だけでなく、さらにより細かく分割した混雑状況に区分し、それぞれの混雑状況についてテンプレート画像を用意すれば、より細かな混雑状況の判定を行なうことができる。
【００２３】
また、従来方法の場合、精度を上げるためには画面上に車両をできるだけ大きく映し出す必要があった。そのため、１台のカメラによる監視範囲が狭くなり、駐車場全体を監視するにはカメラが複数台必要であった。
【００２４】
本発明の場合、画像をシフトさせてマッチングをとることで、画像のずれの影響をなくすようにした。この結果、カメラを旋回させて駐車場を監視することが可能となり、１台のカメラで広範囲の領域を監視することが可能となる。なお、画像をシフトさせてマッチングする場合の相関値Ｒは、前記（１）式に代え、下記（２）式を用いて算出することができる。（２）式中、ｘ，ｙは画像のｘ方向、y 方向のシフト量を表す。
【００２５】
【式２】

【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００２７】
図１に本発明に係る混雑状況判定装置の一実施の形態のブロック図を示す。
【００２８】
図中、１は駐車場を俯瞰撮影するカメラ（撮影手段）、２はカメラ１から出力されるアナログ画像信号をデジタル画像信号に変換するＡＤ変換器、３はカメラ１で撮影された撮影画像を一連の処理が終わるまで格納記憶する画像メモリ（撮影画像記憶手段）、４は画像メモリ３に格納記憶された撮影画像（デジタル画像）をエッジ画像に変換するロパーツフィルタやラプラシアンフィルタなどで構成されたエッジ画像変換部、５はエッジ画像にぼかし処理を施すためのガウスフィルタなどから構成された画像ぼかし処理部、６はテンプレート画像記憶部、７は画像選択部、８は相関値算出部、９は混雑状況判定部である。
前記テンプレート画像記憶部６には、予め収集された「空車」、「混雑」、「満車」の各混雑状況を表す多数のテンプレート画像Ｔ１，Ｔ２，……，Ｔｎが輝度画像、エッジ画像、ぼかし画像毎に格納記憶されている。このテンプレート画像を収集する際における空車、混雑、満車の各混雑状況の判定は、人間の目でみた相似判断に基づいて決定され、その判断に基づいた種々の駐車状況を表す輝度画像が収集され、それぞれの画像をエッジ画像に変換した後、ぼかし処理を施す。そして、「空車」、「混雑」、「満車」に対してそれぞれデジタル画像とエッジ画像とぼかし処理を施した画像をマッチング用のテンプレート画像として格納記憶している。
【００２９】
相関値算出部８は、画像選択部７を介して、それぞれ、画像メモリ３、エッジ画像変換部４およびエッジ画像変換部４から送られてくる画像と画像選択部７によってテンプレート画像記憶部６から次々と送られてくるデジタル画像、エッジ画像およびぼかし画像に対する各テンプレート画像（「空車（Ｔ１〜ｎ）」、「混雑（Ｔ１〜ｎ）」、「満車（Ｔ１〜ｎ）」）との間のマッチングをとり、各テンプレート画像との間の相関値を算出する回路である。この相関値の算出は、前記した（１）式または（２）式によって行なわれる。
【００３０】
混雑状況判定部９は、相関値算出部８で算出されたすべてのテンプレート画像との間の相関値を比較し、これらすべての相関値の中から最も大きな値の相関値を選択し、この最も大きな相関値を与えるテンプレート画像の属する混雑状況をその時点の混雑状況として判定する回路である。
【００３１】
次に、前記混雑状況判定装置の処理動作を、図２のフローチャートを参照して説明する。
【００３２】
カメラ１によって判定対象となる駐車場が俯瞰撮影されると（ステップＳ１）、その画像信号はＡＤ変換器２でデジタル信号に変換され、画像メモリ３に送られてデジタル画像として格納記憶される。
【００３３】
最初に、図１に▲１▼と示すように、画像メモリ３に記憶されたデジタル画像は画像選択部７を介して相関値算出部８に送られるとともに、画像選択部７はテンプレート画像記憶部６からデジタル画像の空車、混雑、満車に対応する各テンプレート画像Ｔ１，Ｔ２，……，Ｔｎを順次読み出し、相関値算出部８に送る。
【００３４】
そして、相関値算出部８は、対象画像と各テンプレート画像Ｔ１，Ｔ２，……，Ｔｎとのマッチングをとり、そのときのそれぞれの相関値を前記（１）式または（２）式によって算出し（ステップＳ２、Ｓ３、Ｓ４）、その結果を混雑状況判定部９に送る。
【００３５】
混雑状況判定部９は、相関値演算部８から送られてくる各相関値を比較して最も値の大きな相関値を選択する（ステップＳ５）。
【００３６】
また、同時に、画像メモリ３に格納記憶されたデジタル画像からなる対象画像はエッジ画像変換部４に送られ、ロバーツフィルタやラプラシアンフィルタなどのエッジ抽出フィルタによって画像中からエッジ成分のみが抽出され、エッジ画像に変換される（ステップＳ６）。このエッジ画像に変換する理由は、前述したように、車両の色の違いなどによる誤差の影響を小さくするためである。
【００３７】
そして、図１に▲２▼と示すように、エッジ画像からなる対象画像は画像選択部７を介して相関値算出部８に送られるとともに、画像選択部７はテンプレート画像記憶部６からエッジ画像の空車、混雑、満車に対応する各テンプレート画像Ｔ１，Ｔ２，……，Ｔｎを順次読み出し、相関値算出部８に送る。
【００３８】
そして、相関値算出部８は、対象画像と各テンプレート画像Ｔ１，Ｔ２，……，Ｔｎとのマッチングをとり、そのときのそれぞれの相関値を前記（１）式または（２）式によって算出し（ステップＳ７、Ｓ８、Ｓ９）、その結果を混雑状況判定部９に送る。
【００３９】
混雑状況判定部９は、相関値演算部８から送られてくる各相関値を比較して最も値の大きな相関値を選択する（ステップＳ１０）。
【００４０】
また、エッジ画像に変換された対象画像は画像ぼかし処理部５に送られ、ガウスフィルタなどを通すことによってぼかし処理が施される（ステップＳ１１）。このぼかし処理は、前述したように、対象画像とテンプレート画像のマッチングを行う際、車両が主体となる満車時に、相関値が低下して空車などの他の混雑状況と区別できなくなることを防ぐとともに、影の影響を除くためである。
【００４１】
ぼかし処理を施された対象画像は、図１に▲３▼と示すように、画像選択部７を介して相関値算出部８に送られるとともに、画像選択部７はテンプレート画像記憶部６からぼかし画像の空車、混雑、満車に対応する各テンプレート画像Ｔ１，Ｔ２，……，Ｔｎを順次読み出し、相関値算出部８に送る。
【００４２】
そして、相関値算出部８は、対象画像と各テンプレート画像Ｔ１，Ｔ２，……，Ｔｎとのマッチングをとり、そのときのそれぞれの相関値を前記（１）式または（２）式によって算出し（ステップＳ１２、Ｓ１３、Ｓ１４）、その結果を混雑状況判定部９に送る。
【００４３】
混雑状況判定部９は、相関値演算部８から送られてくる各相関値を比較して最も値の大きな相関値を選択する（ステップＳ１５）。そして、混雑状況判定部９は、デジタル画像、エッジ画像、ぼかし画像に対する相関値の比較が終了したことを確認の後、３種類の画像の相関値の内の最大の相関値を、当該時点における駐車場の混雑状況として最終決定する（ステップＳ１６）。このようにして、駐車車両の１台１台に注目することなく、駐車場全体の状況に基づいて混雑状況を判定することができる。しかも、人間の目で見た判定結果に極めて近い混雑状況の判定を行なうことができる。
【００４４】
なお、上記の実施の形態は、デジタル画像、エッジ画像、ぼかし画像のそれぞれに対して、空車、混雑、満車の各テンプレート画像との相関値を求めて、最後にそれらの最大値を求めて混雑状況を判定する提案を行なったが、前記したように、比較的安定した判定結果が得られる「空車」と「満車（混雑）」との判定は、デジタル画像とエッジ画像あるいはそれらの何れかと空車、満車（混雑）のテンプレートを比較することによって「空車」と「満車（混雑）」とを区別するようにしてもよい。例えば、図２において、ステップＳ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ１６あるいはステップＳ１，Ｓ６，Ｓ７，Ｓ８，Ｓ９，Ｓ１０，Ｓ１６をそれぞれ単独で実行して「空車」と「満車（混雑）」との判定を行なっても、また、ステップＳ１，Ｓ２，Ｓ５あるいはステップＳ１，Ｓ６，Ｓ７，Ｓ１０をそれぞれ単独で実行して最大の相関値が規定値以上かを比較して「空車」を判定するようにしてもよい。
【００４５】
また、ステップＳ１〜Ｓ５あるいはステップＳ１，Ｓ６〜Ｓ１０の後にステップＳ１１〜Ｓ１５を実行することで、「空車」と、「混雑」と「満車」とを連続して判定するようにしてもよい。なお、このように判定精度の高い空車から順に判定を行なうことにより、精度の高い混雑状況の判定を実行できると共に、処理時間を短縮できる効果を有する。
【００４６】
【発明の効果】
以上説明したように、本発明の混雑状況判定装置によれば、以下に列記する種々の優れた効果を奏するものである。
（１）予め用意しておいた空車、混雑、満車などの各混雑状況のテンプレート画像とカメラから取り込んだ対象画像とのマッチングをとり、得られた相関値の相対的な大小関係から混雑状況を判定するため、従来方法のように駐車車両１台１台に注目することなく画像全体をひとまとまりの検出対象として混雑状況を判定することができる。このため、個別車両の詳細情報をとらえる必要がなくなり、処理の高速化を図ることができるとともに、カメラ台数を削減することができ、システム価格の低減を図ることができる。
（２）エッジ画像の採用により、車両の色などに影響を受けることがなくなり、相関の一致度を高めることができる。
（３）ガウスフィルタなどによるぼかし画像を用いることにより、車両が主体となる満車状態時にさらに安定な判定が可能となる。また、ぼかし画像を用いることにより、影の影響を取り除くことができる。
（４）満車と混雑どちらに似ているかというように、混雑状況の相対的な比較を行うことで混雑状況を判定しているため、屋外の輝度変動に対しても安定に判定することができる。
（５）同じ混雑状況でも車両の位置関係は異なるが、同じ混雑状況について車両の位置関係が異なるテンプレート画像を複数枚用意し、その中で最も相関値の大きなピーク値を当該混雑状況の代表値とすることにより、車両の位置関係に影響されることなく、より安定した混雑状況の判定を行なうことができる。
（６）空車、満車、混雑だけでなく、さらに細かく混雑状況を区分けした画像をテンプレート画像として用意することにより、より細かな混雑状況の判定を行なうことができる。
（７）画像のシフトによる相関をとることにより、風などによる画像のゆれ、カメラ旋回による位置ずれなどに対して安定な判定が可能となる。
（８）システムを構成するハードウェアとしては、撮影手段（カメラ）、記憶手段( ハードディスクなど) および相関値算出部（マッチング演算器）のみで済み、他の回路部分はマイクロコンピュータなどを用いてソフトウェア上で実現することができ、システム全体を安価に構成することができる。
【図面の簡単な説明】
【図１】本発明に係る混雑状況判定装置の一実施の形態のブロック図である。
【図２】実施の形態の処理動作のフローチャートである。
【図３】（ａ）はデジタル画像を用いた場合の相関値の算出例を示す図、（ｂ）はエッジ画像を用いた場合の相関値の算出例を示す図である。
【図４】相関値の相対的な比較による混雑状況判定の説明図である。
【図５】（ａ）はエッジ画像を用いた場合の相関値の算出例を示す図、（ｂ）はエッジ画像をぼかし処理した画像を用いた場合の相関値の算出例を示す図である。
【図６】ぼかし量と相関値の関係を示すグラフである。
【符号の説明】
１カメラ（撮影手段）
２ＡＤ変換器
３画像メモリ（画像記憶手段）
４エッジ画像変換部
５画像ぼかし処理部
６テンプレート画像記憶部
７画像選択部
８相関値算出部
９混雑状況判定部

Claims

混雑状況を判定すべき対象領域を撮影する撮影手段と、
該撮影手段で撮影した対象領域の撮影画像をデジタル画像として格納記憶する画像記憶手段と、
該画像記憶手段に格納記憶された対象領域のデジタル画像をエッジ画像に変換するエッジ画像変換部と、
該エッジ画像変換部で変換されたエッジ画像をぼかし処理する画像ぼかし処理部と、
前記対象領域についての空車、混雑、満車の混雑状況ごとのぼかし処理されたテンプレート画像を予め格納記憶したテンプレート画像記憶部と、
前記画像ぼかし処理部でぼかし処理された対象領域の画像と前記テンプレート画像記憶部に格納されているぼかし処理された空車、混雑、満車のテンプレート画像とのマッチングをとり、各テンプレート画像との相関値を算出する相関値算出部と、
該相関値算出部で算出された相関値を比較し、最も値の大きな相関値に対応するテンプレート画像の混雑状況を当該対象領域の混雑状況として決定する混雑状況判定部と、
を備えたことを特徴とする混雑状況判定装置。
前記相関値算出部が画像をシフトしながらテンプレート画像とのマッチングをとるものであることを特徴とする請求項１記載の混雑状況判定装置。