JP4028299B2

JP4028299B2 - Image processing apparatus, image processing method, and image processing program

Info

Publication number: JP4028299B2
Application number: JP2002160282A
Authority: JP
Inventors: 美彦鈴木
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-05-31
Filing date: 2002-05-31
Publication date: 2007-12-26
Anticipated expiration: 2022-05-31
Also published as: JP2004005234A

Description

【０００１】
【発明の属する技術分野】
この発明は、道路監視システムにおいて、監視エリアを撮像して得た画像データを用いて監視エリアにおける渋滞の有無を的確に判定することが可能な画像処理装置、画像処理方法及び画像処理プログラムに関するものである。
【０００２】
【従来の技術】
従来、道路監視システムにおいては、監視エリアをカメラにより撮像して得られた画像データを画像処理して事象解析を行うようにしている。この場合には、差分処理が用いられるのが通例であり、フレーム間差分処理と背景差分処理を行い、これらの結果を組み合わせている（例えば、特開２０００−１７５１７４号公報、特開平７−３３４６８３号公報）。
【０００３】
【発明が解決しようとする課題】
上記のシステムにおいて渋滞を検出する場合には、車両が存在する領域検出を行って画像内において何台の車両が存在しているかを求める手法が基本的である。しかしながら、激しい渋滞においては車両同士が重なり合い、１台１台を峻別することが不可能である場合が多いことから適切に渋滞を検出することが難しいものであった。これに対し、渋滞時に車両が重なって生じるエッジの段々部分の数に基づき車両台数を求める手法が試みられているが、必ずしも適切な結果を伴わないことが多い。
【０００４】
本発明は上記のような従来の画像処理における現状に鑑みてなされたもので、その目的は道路上における車両を１台１台峻別できないような状況でも、渋滞を適切に検出可能な画像処理装置、画像処理方法、画像処理プログラムを提供することである。
【０００５】
【課題を解決するための手段】
本発明に係る画像処理装置は、カメラにより監視エリアを撮像した画像データについてフレーム間差分処理を行う第１の差分処理手段と、前記画像データについて背景差分処理を行う第２の差分処理手段と、前記第１の差分処理手段によるフレーム間差分により得られた差分データについて所定の閾値情報に基づき２値化を行うと共に、前記第２の差分処理手段による背景差分により得られた差分データについて所定の閾値情報に基づき２値化を行う２値化手段と、前記２値化手段により得られたフレーム間差分に対応する２値化データと背景差分に対応する２値化データとのそれぞれについて、画像内の白画素占有率を算出する算出手段と、前記算出手段により算出されたフレーム間差分に対応する２値化データについての白画素占有率が所定以上であるか否か、更に、前記算出手段により算出された背景差分に対応する２値化データについての白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定する判定手段とを具備することを特徴とする。
【０００６】
本発明に係る画像処理装置では、前記判定手段は、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することを特徴とする。
【０００７】
本発明に係る画像処理方法は、カメラにより監視エリアを撮像した画像データについてフレーム間差分処理を行う第１の差分処理ステップと、前記画像データについて背景差分処理を行う第２の差分処理ステップと、前記第１の差分処理ステップによるフレーム間差分により得られた差分データについて所定の閾値情報に基づき２値化を行うと共に、前記第２の差分処理ステップによる背景差分により得られた差分データについて所定の閾値情報に基づき２値化を行う２値化ステップと、前記２値化ステップにより得られたフレーム間差分に対応する２値化データと背景差分に対応する２値化データとのそれぞれについて、画像内の白画素占有率を算出する算出ステップと、前記算出ステップにより算出されたフレーム間差分に対応する２値化データについての白画素占有率が所定以上であるか否か、更に、前記算出手段により算出された背景差分に対応する２値化データについての白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定する判定ステップとを具備することを特徴とする。
【０００８】
本発明に係る画像処理方法では、前記判定ステップにて、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することを特徴とする。
【０００９】
本発明に係る画像処理プログラムは、主メモリに格納されたプログラムに基づき中央処理装置が処理を行って結果を得るコンピュータに用いられる画像処理プログラムにおいて、前記中央処理装置に対し、カメラにより監視エリアを撮像した画像データについてフレーム間差分処理を行う第１の差分処理ステップと、前記画像データについて背景差分処理を行う第２の差分処理ステップと、前記第１の差分処理ステップによるフレーム間差分により得られた差分データについて所定の閾値情報に基づき２値化を行うと共に、前記第２の差分処理ステップによる背景差分により得られた差分データについて所定の閾値情報に基づき２値化を行う２値化ステップと、前記２値化ステップにより得られたフレーム間差分に対応する２値化データと背景差分に対応する２値化データとのそれぞれについて、画像内の白画素占有率を算出する算出ステップと、前記算出ステップにより算出されたフレーム間差分に対応する２値化データについての白画素占有率が所定以上であるか否か、更に、前記算出手段により算出された背景差分に対応する２値化データについての白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定する判定ステップとを実行させることを特徴とする。
【００１０】
本発明に係る画像処理プログラムでは、前記判定ステップにて、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することを特徴とする。
【００１１】
【発明の実施の形態】
以下添付図面を参照して、本発明に係る画像処理装置、画像処理方法、画像処理プログラムを説明する。図１には、画像処理装置の構成が示されている。この画像処理装置は、図２に示される監視システムの画像処理部計算機２により実現される。
【００１２】
図２に示されるように監視システムは、ネットワーク１を介して画像処理部計算機２、統合処理部計算機３、事象判定部計算機４及び表示等を行う報知盤５−１〜５−ｎが接続されている。画像処理部計算機２には、カメラ６−１〜６−ｍ（ｍは整数）が接続されている。
【００１３】
上記システムにおいては、次のように動作がなされる。カメラ６−１〜６−ｍが監視対象物の撮像を行って、画像データを画像処理部計算機２へ送る。画像処理部計算機２は、後に述べるように監視対象物の存在領域の特定などを実行し、処理結果情報を統合処理部計算機３へ送る。統合処理部計算機３は画像処理部計算機２から送られた情報に基づき、例えばカメラ６−１〜６−ｍのいずれにより得られた画像データについて画像処理部計算機２が処理を行った結果をどのように用いるかを決定する等、次の事象判定に必要な画像データを抽出し或いは組み合わせる等の処理を行う。その結果は統合処理部計算機３から事象判定部計算機４へ送られる。事象判定部計算機４は送られた画像データ及び統合処理部計算機３が処理した結果を用い、発生した事象の判定を行う。ここにおいて事象とは、例えば道路監視システムにおいては、事故の発生、落下物の発生、渋滞、火災等である。
【００１４】
事象判定部計算機４は判定した結果に基づき、報知盤５−１〜５−ｎのいずれにどのような内容の情報を送るか等を判定してネットワーク１を介して必要な情報を必要な報知盤へ送出する。斯して報知盤５−１〜５−ｎによって、所要の情報の報知がなされる。
【００１５】
上記の画像処理部計算機２においては、図１に示される各手段により画像処理装置が構成される。この画像処理装置は、画像取得手段１１、第１の差分処理手段１２、第２の差分処理手段１３、２値化手段１４、算出手段１５、判定手段１６を具備している。画像取得手段１１は、カメラ６−１〜６−ｍから監視対象画像データを取り込むものであり、第１の差分処理手段１２及び第２の差分処理手段１３へ出力するためにコンピュータ処理可能な画像データに変換している。
【００１６】
第１の差分処理手段１２は、画像取得手段１１により取り込まれた画像データについて背景差分を行うものであり、第２の差分処理手段１３は、画像取得手段１１により取り込まれた画像データについてフレーム間差分を行うものである。２値化手段１４は、第１の２値化手段１４Ａと第２の２値化手段１４Ｂとを有し、第１の２値化手段１４Ａは、第１の差分処理手段１２により得られた差分データについて所定の閾値情報に基づき２値化を行うものであり、第２の２値化手段１４Ｂは、第２の差分処理手段１３により得られた差分データについて所定の閾値情報に基づき２値化を行うものである。
【００１７】
算出手段１５は、第１の算出手段１５Ａと第２の算出手段１５Ｂとを具備しており、第１の算出手段１５Ａは、第１の２値化手段１４Ａにより得られた２値化データについて画像内の白画素占有率を算出するものであり、第２の算出手段１５Ｂは、第２の２値化手段１４Ｂにより得られた２値化データについて画像内の白画素占有率を算出するものである。
【００１８】
更に、判定手段１６は、算出手段１５により算出された白画素占有率が所定以上であるか否かに基づき渋滞の有無を判定するものである。
【００１９】
上記の画像処理装置を構成する画像処理部計算機２は、例えばパーソナルコンピュータやワークステーションその他の計算機により構成され、例えば、図３に示すような構成要素からなっている。すなわち、図３の計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５５、プリンタ制御部５６、通信インタフェース５７、マウス制御部５８、磁気ディスク制御部５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続され、通信インタフェース５７には回線を介して通信を行うための通信処理部６３が接続され、マウス制御部５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、画像処理部計算機２には、ＣＰＵ５１、主記憶装置５２、磁気ディスク制御部５９、磁気ディスク装置６５、通信インタフェース５７、通信処理部６３が少なくとも設けられる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディスク）ドライブ等が設けられる。
【００２０】
そして、図１に示した各手段は、ＣＰＵ５１が図４と図９に示されるフローチャートに対応するプログラムにより本発明に係る画像処理方法を行うことで実現されるので、このフローチャートにより本発明に係る画像処理装置の動作を説明する。上記フローチャートに対応するプログラムは、本発明に係る画像処理プログラムであり、例えば磁気ディスク装置６５に格納されており、主メモリを構成する主記憶装置５２へ読み出されて実行される。このフローチャートに示すように、まず、動作が開始され、カメラ６−１〜６−ｍから１フレームの画像データの取り込みを行う（Ｓ１：画像取得手段１１）。
【００２１】
次に、上記１フレームの画像データについて背景差分処理とフレーム間差分処理とを行い（Ｓ２）、各差分結果について２値化の処理を行う（Ｓ４）。こお２値化に用いる閾値は、背景差分処理による結果に対するものとフレーム間差分処理による結果に対するものとで、必要に応じ異ならせる。
【００２２】
上記ステップＳ３において得られた２種の２値化画像データについて、それぞれにおける白画素占有率を算出する（Ｓ４）。ここで、画像中の画素の総数をＮとし、フレーム間差分の２値化画像中の白画素数をＮＦ、背景差分の２値化画像中の白画素数をＮＢとする。なお、白画素は２値化された画素の「１」に対応し、輝度変化が生じた画素に相当する。
【００２３】
そして、フレーム間差分における白画素の占有率をWPRatio*F とし、一方、背景差分における白画素の占有率をWPRatio*BG とする。WPRatio*F ＝ＮＦ／Ｎとなり、WPRatio*BG ＝ＮＢ／Ｎとなる。
【００２４】
ステップＳ４に次いで、フレーム間差分における白画素の占有率であるWPRatio*F が予め定められた閾値Ｔｈ１よりも大きいか判定する（Ｓ５）。このステップＳ５においてＮＯとなると、渋滞無しと判定結果を出力する（Ｓ７）。また、ステップＳ５においてＹＥＳとなると、背景差分における白画素の占有率であるWPRatio*BG が予め定められた閾値Ｔｈ２よりも大きいか判定する（Ｓ６）。
【００２５】
このステップＳ６においてＮＯとなると、渋滞無しと判定結果を出力する（Ｓ７）。一方、ステップＳ６においてＹＥＳとなると、渋滞ありと判定結果を出力する（Ｓ８）。このように本実施の形態では、各２値化データについての白画素占有率が共にそれぞれの閾値以上である場合に渋滞ありと判定することにより、フレーム差分処理と背景差分処理によるそれぞれでは、誤った結果となる確率を下げて適切に渋滞の検出を可能としている。
【００２６】
次に、あるトンネル内における自由流の画像と、渋滞における画像とについて本実施の形態を適用すると好適に渋滞検出が行えることを証明する。図５は同トンネル内における渋滞の際の画像例を示し、図６はトンネル内における自由流の画像例を示す。
【００２７】
上記の図６に示す自由流における画像の画像データについてフレーム間差分処理を行ない、２値化を行った場合には図７に示されるような２値化画像が得られ、同じく図６に示す自由流における画像の画像データについて背景差分処理を行ない、２値化を行った場合には図８に示されるような２値化画像が得られるものである。
【００２８】
一方、図５に示す渋滞の際における画像の画像データについてフレーム間差分処理を行ない、２値化を行った場合には図９に示されるような２値化画像が得られ、同じく図５に示す渋滞の際における画像の画像データについて背景差分処理を行ない、２値化を行った場合には図１０に示されるような２値化画像が得られるものである。
【００２９】
図７と図８に示される自由流における画像の画像データについての２値化画像と、図９と図１０に示される渋滞の際における画像の画像データについての２値化画像とを比較すると明らかなように、図９と図１０に示される渋滞の際における画像の画像データについての２値化画像における白画素の占有率が高くなっていることが分かる。
【００３０】
そこで、渋滞の定義に合わせて閾値Ｔｈ１と閾値Ｔｈ２を設定することにより適切な渋滞検出が可能となるものである。
【００３１】
次に、トンネル内の渋滞及び自由流映像（各々約３０分の映像）を用い、フレーム間差分及び背景差分処理の２値化画像データを用いた渋滞検出実験を行った結果を示す。具体的には、フレーム間差分及び背景差分処理の各々の２値化画像データにおける、画面全体に占める白画素の割合である白画素占有率を算出し、自由流時と渋滞時でWPRatio*F*M 及びWPRatio*BG*Mの値にどのような差が生じるかを検証した。
【００３２】
ここで、渋滞の定義として次のようなものを挙げることができる。
▲１▼車両の平均速度４０km/h（標準値）以下で５分間交通量が２５台（標準値）以上の場合
▲２▼交通密度が４０台/km/車線以上の場合
▲３▼車群速度が４０km/h（標準値）以下の場合
車群速度とは、一塊になって走行する複数台の車両の代表的な速度を意味する。上記▲１▼〜▲３▼のいずれかを満たす時、渋滞と判定する。
【００３３】
実験結果
渋滞映像及び自由流映像におけるWPRatio*F*M （フレーム間差分による白画素占有率WPRatio*F の１分間平均値）及びWPRatio*BG*M（背景差分による白画素占有率WPRatio*BGの1 分間平均値）は、それぞれ図１１に示されるようになった。図１１において、平均値とは、WPRatio*F*M 、WPRatio*BG*Mの全計測値の平均を意味する。
【００３４】
結論
渋滞時は自由流時と比較してWPRatio*F*M 、WPRatio*BG*M共に大きな値を取ることがわかる。１つの画像処理手法のみでは、渋滞判定を誤る可能性があるが、２つの手法を用いること及び、ある一定時間（例：５分）内の値に基づいて判定を行うことで、渋滞検出精度を高めることができる。渋滞と判定した場合には上位装置（事象判定部）に渋滞情報を送信するようにすればよい。
【００３５】
本手法を用いると、個別車両の追跡や通過台数を正確にカウントできなくても短時間（１分程度）で精度良く渋滞を検出できることがわかった。つまり、図４に示すような１フレームに対応するフローチャートの処理を適宜回数繰り返すことにより、適切に渋滞判定が行えるものである。
【００３６】
【発明の効果】
以上説明したように本発明によれば、フレーム差分処理と背景差分処理によるそれぞれの結果を２値化して、２値化データについての白画素占有率が閾値以上である場合に渋滞ありと判定するので、道路上における車両を１台１台峻別できないような状況でも、渋滞を適切に検出可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の機能構成を示すブロック図。
【図２】本発明に係る画像処理装置を用いて構成した道路監視システムの構成図。
【図３】本発明に係る画像処理装置の実際上の構成例を示すブロック図。
【図４】本発明に係る画像処理装置の動作を説明するためのフローチャート。
【図５】トンネル内における渋滞の際の画像例を示す図。
【図６】トンネル内における自由流の画像例を示す図。
【図７】図６に示す自由流における画像のフレーム間差分処理を行ない、２値化を行った結果の２値化画像の画像例を示す図。
【図８】図６に示す自由流における画像の背景差分処理を行ない、２値化を行った結果の２値化画像の画像例を示す図。
【図９】図５に示す渋滞の際における画像のフレーム間差分処理を行ない、２値化を行った結果の２値化画像の画像例を示す図。
【図１０】図５に示す渋滞の際における画像の背景差分処理を行ない、２値化を行った結果の２値化画像の画像例を示す図。
【図１１】ある実測における渋滞映像及び自由流映像におけるWPRatio*F*M （フレーム間差分による白画素占有率WPRatio*F の１分間平均値）及びWPRatio*BG*M（背景差分による白画素占有率WPRatio*BGの1 分間平均値）の値を示す図。
【符号の説明】
１ネットワーク
２画像処理部計算機
３統合処理部計算機
４事象判定部計算機
５−１〜５−ｎ報知盤
６−１〜６−ｍカメラ
１１画像取得手段
１２第１の差分処理手段
１３第２の差分処理手段
１４２値化手段
１４Ａ第１の２値化手段
１４Ｂ第２の２値化手段
１５算出手段
１５Ａ第１の算出手段
１５Ｂ第２の算出手段
１６判定手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an image processing method, and an image processing program capable of accurately determining the presence or absence of traffic congestion in a monitoring area using image data obtained by imaging the monitoring area in a road monitoring system. It is.
[0002]
[Prior art]
Conventionally, in a road monitoring system, an event analysis is performed by performing image processing on image data obtained by imaging a monitoring area with a camera. In this case, difference processing is usually used, and inter-frame difference processing and background difference processing are performed, and these results are combined (for example, JP 2000-175174 A, JP 7-334683 A). Issue gazette).
[0003]
[Problems to be solved by the invention]
When detecting a traffic jam in the above-described system, a method for detecting the number of vehicles in an image by detecting a region where the vehicle exists is fundamental. However, in heavy traffic jams, vehicles overlap each other and it is often difficult to distinguish one vehicle from each other, so it is difficult to detect traffic jams appropriately. On the other hand, a method for obtaining the number of vehicles based on the number of stepped portions generated by overlapping vehicles in a traffic jam has been tried, but often does not always have an appropriate result.
[0004]
The present invention has been made in view of the current state of the conventional image processing as described above, and an object thereof is an image processing apparatus capable of appropriately detecting traffic jams even in a situation where each vehicle on the road cannot be distinguished one by one. An image processing method and an image processing program are provided.
[0005]
[Means for Solving the Problems]
An image processing apparatus according to the present invention includes: a first difference processing unit that performs inter-frame difference processing on image data obtained by capturing a monitoring area by a camera; and a second difference processing unit that performs background difference processing on the image data. The difference data obtained by the inter-frame difference by the first difference processing means is binarized based on predetermined threshold information, and the difference data obtained by the background difference by the second difference processing means is predetermined. For each of binarization means for binarization based on threshold information, binarization data corresponding to inter-frame differences obtained by the binarization means, and binarization data corresponding to background differences, an image calculating means for calculating a white pixel occupancy of the inner, white pixels occupancy for binary data corresponding to the difference between the frames calculated by the calculating means Whether it is constant or more, further determination determines the presence or absence of white pixels occupancy for binary data corresponding to the background difference calculated by said calculating means stagnation astringent based on whether the predetermined or higher Means.
[0006]
In the image processing apparatus according to the present invention, the determination unit determines that there is a traffic jam when the white pixel occupancy rates of the respective binarized data are both equal to or greater than the respective threshold values.
[0007]
An image processing method according to the present invention includes a first difference processing step for performing inter-frame difference processing on image data obtained by imaging a monitoring area by a camera, and a second difference processing step for performing background difference processing on the image data. The difference data obtained by the inter-frame difference in the first difference processing step is binarized based on predetermined threshold information, and the difference data obtained by the background difference in the second difference processing step is predetermined. For each of the binarization step for binarization based on the threshold information, the binarization data corresponding to the inter-frame difference obtained by the binarization step, and the binarization data corresponding to the background difference, an image a calculation step of calculating the white pixels occupancy of the inner, 2 value corresponding to the inter-frame difference calculated by said calculating step Whether white pixel occupancy for data is more than the predetermined amount, further, a white pixel occupancy for binary data corresponding to the background difference calculated by said calculation means on the basis of whether or not a predetermined or more And a determination step for determining whether or not there is a traffic jam.
[0008]
The image processing method according to the present invention is characterized in that, in the determination step, it is determined that there is a traffic jam when both the white pixel occupancy ratios of the respective binarized data are equal to or greater than the respective threshold values.
[0009]
An image processing program according to the present invention is an image processing program used in a computer that obtains a result by processing a central processing unit based on a program stored in a main memory. Obtained by a first difference processing step for performing inter-frame difference processing on the captured image data, a second difference processing step for performing background difference processing on the image data, and an inter-frame difference by the first difference processing step. A binarization step that binarizes the difference data based on predetermined threshold information and binarizes the difference data obtained by the background difference in the second difference processing step based on predetermined threshold information ; , binary data and back corresponding to the interframe difference obtained by said binarizing step For each of the binary data corresponding to the difference, and calculating a white pixel occupancy in the image, the white pixel occupancy for the corresponding binary data to the inter-frame difference calculated by said calculating step Determining whether or not there is a traffic jam based on whether or not the white pixel occupancy rate of the binarized data corresponding to the background difference calculated by the calculating means is greater than or equal to a predetermined value And executing a step.
[0010]
The image processing program according to the present invention is characterized in that, in the determination step, it is determined that there is a traffic jam when both the white pixel occupancy rates of the respective binarized data are equal to or greater than the respective threshold values.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image processing apparatus, an image processing method, and an image processing program according to the present invention will be described with reference to the accompanying drawings. FIG. 1 shows the configuration of the image processing apparatus. This image processing apparatus is realized by the image processing unit computer 2 of the monitoring system shown in FIG.
[0012]
As shown in FIG. 2, the monitoring system is connected to the image processing unit computer 2, the integrated processing unit computer 3, the event determination unit computer 4, and the notification boards 5-1 to 5-n that perform display and the like via the network 1. ing. Cameras 6-1 to 6-m (m is an integer) are connected to the image processing unit computer 2.
[0013]
In the above system, the following operation is performed. The cameras 6-1 to 6-m image the monitoring object and send the image data to the image processing unit computer 2. As will be described later, the image processing unit computer 2 performs identification of the existence area of the monitoring target and sends processing result information to the integrated processing unit computer 3. Based on the information sent from the image processing unit computer 2, the integrated processing unit computer 3 determines the result of the processing performed by the image processing unit computer 2 on the image data obtained by any of the cameras 6-1 to 6-m, for example. The image data required for the next event determination is extracted or combined, such as determining whether to use the data. The result is sent from the integrated processing unit computer 3 to the event determination unit computer 4. The event determination unit computer 4 determines the event that has occurred using the image data sent and the result processed by the integrated processing unit computer 3. For example, in the road monitoring system, the event refers to an accident, a fallen object, a traffic jam, a fire, or the like.
[0014]
Based on the determination result, the event determination unit computer 4 determines which content information is to be sent to any of the notification panels 5-1 to 5-n, and notifies the necessary information via the network 1. Send to board. Thus, required information is notified by the notification boards 5-1 to 5-n.
[0015]
In the image processing unit computer 2 described above, an image processing apparatus is configured by each unit shown in FIG. The image processing apparatus includes an image acquisition unit 11, a first difference processing unit 12, a second difference processing unit 13, a binarization unit 14, a calculation unit 15, and a determination unit 16. The image acquisition unit 11 captures monitoring target image data from the cameras 6-1 to 6 -m, and is an image that can be processed by a computer for output to the first difference processing unit 12 and the second difference processing unit 13. It is converted to data.
[0016]
The first difference processing unit 12 performs background difference on the image data captured by the image acquisition unit 11, and the second difference processing unit 13 performs inter-frame processing on the image data captured by the image acquisition unit 11. The difference is performed. The binarization unit 14 includes a first binarization unit 14A and a second binarization unit 14B. The first binarization unit 14A is obtained by the first difference processing unit 12. The difference data is binarized on the basis of predetermined threshold information, and the second binarization means 14B binarizes the difference data obtained by the second difference processing means 13 on the basis of the predetermined threshold information. It is a thing to do.
[0017]
The calculation unit 15 includes a first calculation unit 15A and a second calculation unit 15B. The first calculation unit 15A uses the binarized data obtained by the first binarization unit 14A. The white pixel occupancy ratio in the image is calculated, and the second calculation means 15B calculates the white pixel occupancy ratio in the image for the binarized data obtained by the second binarization means 14B. It is.
[0018]
Further, the determination unit 16 determines whether or not there is a traffic jam based on whether or not the white pixel occupancy calculated by the calculation unit 15 is greater than or equal to a predetermined value.
[0019]
The image processing unit computer 2 constituting the above-described image processing apparatus is configured by, for example, a personal computer, a workstation, or other computers, and includes, for example, components as shown in FIG. That is, the computer of FIG. 3 has a CPU 51 that performs overall control of the apparatus, and a main storage device 52 that stores information such as programs and data used by the CPU 51 is connected to the CPU 51. Further, a keyboard control unit 54, a display control unit 55, a printer control unit 56, a communication interface 57, a mouse control unit 58, and a magnetic disk control unit 59 are connected to the CPU 51 via a system bus 53. The keyboard control unit 54 is connected to a keyboard input device 60 capable of inputting various information, the display control unit 55 is connected to a CRT display device 61 for displaying information, and the printer control unit 56 prints information. A printer device 62 for output is connected, a communication processing unit 63 for performing communication via a line is connected to the communication interface 57, a mouse 64 as a pointing device is connected to the mouse control unit 58, and magnetic The disk controller 59 is connected to a magnetic disk device 65 that is an auxiliary storage device. The image processing unit computer 2 includes at least a CPU 51, a main storage device 52, a magnetic disk control unit 59, a magnetic disk device 65, a communication interface 57, and a communication processing unit 63. Further, a flexible disk drive, a magnetic card or IC card reader, an MO (magneto-optical disk) drive, etc. are provided as necessary.
[0020]
Each unit shown in FIG. 1 is realized by the CPU 51 performing the image processing method according to the present invention using a program corresponding to the flowcharts shown in FIG. 4 and FIG. The operation of the image processing apparatus will be described. The program corresponding to the above flowchart is an image processing program according to the present invention, and is stored in the magnetic disk device 65, for example, and is read and executed by the main storage device 52 constituting the main memory. As shown in this flowchart, first, the operation is started, and one frame of image data is captured from the cameras 6-1 to 6-m (S1: image acquisition unit 11).
[0021]
Next, background difference processing and inter-frame difference processing are performed on the image data of one frame (S2), and binarization processing is performed on each difference result (S4). The threshold value used for the binarization is different depending on necessity depending on the result of the background difference process and the result of the inter-frame difference process.
[0022]
With respect to the two types of binarized image data obtained in step S3, white pixel occupancy rates are calculated for each of them (S4). Here, the total number of pixels in the image is N, the number of white pixels in the binarized image of the inter-frame difference is NF, and the number of white pixels in the binarized image of the background difference is NB. The white pixel corresponds to the binarized pixel “1” and corresponds to a pixel in which a luminance change has occurred.
[0023]
The white pixel occupancy in the inter-frame difference is WPRatio * F, while the white pixel occupancy in the background difference is WPRatio * BG. WPRatio * F = NF / N and WPRatio * BG = NB / N.
[0024]
Following step S4, it is determined whether WPRatio * F, which is the white pixel occupancy in the inter-frame difference, is greater than a predetermined threshold Th1 (S5). If NO in this step S5, a determination result that there is no traffic jam is output (S7). If YES in step S5, it is determined whether WPRatio * BG, which is the occupancy ratio of white pixels in the background difference, is greater than a predetermined threshold Th2 (S6).
[0025]
If NO in this step S6, a determination result that there is no traffic jam is output (S7). On the other hand, if “YES” is determined in the step S6, a determination result that there is a traffic jam is output (S8). As described above, in this embodiment, when both white pixel occupancy ratios for each binarized data are equal to or greater than the respective threshold values, it is determined that there is a traffic jam. Therefore, it is possible to detect traffic congestion appropriately by reducing the probability of the result.
[0026]
Next, it will be proved that if this embodiment is applied to a free flow image in a tunnel and an image in a traffic jam, the traffic jam can be detected suitably. FIG. 5 shows an example of an image in a traffic jam in the tunnel, and FIG. 6 shows an example of a free flow image in the tunnel.
[0027]
When the inter-frame difference processing is performed on the image data of the image in the free flow shown in FIG. 6 and binarization is performed, a binarized image as shown in FIG. 7 is obtained, which is also shown in FIG. When background difference processing is performed on image data of an image in a free stream and binarization is performed, a binarized image as shown in FIG. 8 is obtained.
[0028]
On the other hand, when the inter-frame difference processing is performed on the image data of the image in the traffic jam shown in FIG. 5 and binarization is performed, a binarized image as shown in FIG. 9 is obtained. When background difference processing is performed on the image data of the image at the time of the traffic jam shown and binarization is performed, a binarized image as shown in FIG. 10 is obtained.
[0029]
It is clear by comparing the binarized image for the image data of the image in the free flow shown in FIGS. 7 and 8 with the binarized image for the image data of the image in the traffic jam shown in FIGS. Thus, it can be seen that the occupancy ratio of white pixels in the binarized image is high for the image data of the image in the traffic jam shown in FIGS. 9 and 10.
[0030]
Therefore, by setting the threshold value Th1 and the threshold value Th2 in accordance with the definition of traffic jam, appropriate traffic jam detection can be performed.
[0031]
Next, the results of a traffic jam detection experiment using binarized image data of interframe difference and background difference processing using traffic jams in a tunnel and free-flow video (videos of about 30 minutes each) are shown. Specifically, the white pixel occupancy ratio, which is the ratio of white pixels in the entire screen, is calculated for each of the binarized image data for inter-frame difference and background difference processing, and WPRatio * F during free flow and traffic jams. We examined the difference between * M and WPRatio * BG * M values.
[0032]
Here, the following can be mentioned as the definition of the traffic jam.
(1) When the average vehicle speed is 40km / h (standard value) or less and the traffic volume is 25 cars (standard value) or more for 5 minutes. (2) When the traffic density is 40 cars / km / lane or more (3) Vehicle group When the speed is 40 km / h (standard value) or less, the vehicle group speed means a representative speed of a plurality of vehicles traveling in a lump. When any one of the above (1) to (3) is satisfied, it is determined that there is a traffic jam.
[0033]
Experimental results WPRatio * F * M (1 minute average of white pixel occupancy rate WPRatio * F due to interframe difference) and WPRatio * BG * M (white pixel occupancy rate WPRatio * BG due to background difference) The average value for 1 minute was as shown in FIG. In FIG. 11, the average value means the average of all measured values of WPRatio * F * M and WPRatio * BG * M.
[0034]
Conclusion It can be seen that both WPRatio * F * M and WPRatio * BG * M take larger values when the traffic is congested than when free flow. With only one image processing method, there is a possibility of making a traffic jam judgment error. However, by using two methods and making a judgment based on a value within a certain fixed time (for example, 5 minutes), traffic jam detection accuracy Can be increased. If it is determined that there is a traffic jam, the traffic jam information may be transmitted to the host device (event determination unit).
[0035]
Using this method, it was found that even if tracking of individual vehicles and the number of passing vehicles could not be accurately counted, traffic jams could be detected accurately in a short time (about 1 minute). That is, it is possible to appropriately determine the traffic jam by repeating the process of the flowchart corresponding to one frame as shown in FIG. 4 as appropriate.
[0036]
【The invention's effect】
As described above, according to the present invention, the results of the frame difference process and the background difference process are binarized, and it is determined that there is traffic when the white pixel occupancy of the binarized data is equal to or greater than a threshold value. Therefore, it is possible to appropriately detect a traffic jam even in a situation where each vehicle on the road cannot be distinguished one by one.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to the present invention.
FIG. 2 is a configuration diagram of a road monitoring system configured using the image processing apparatus according to the present invention.
FIG. 3 is a block diagram showing an actual configuration example of an image processing apparatus according to the present invention.
FIG. 4 is a flowchart for explaining the operation of the image processing apparatus according to the present invention.
FIG. 5 is a diagram showing an example of an image when there is a traffic jam in the tunnel.
FIG. 6 is a view showing an example of a free flow image in a tunnel.
7 is a diagram showing an example of a binarized image as a result of performing binarization by performing inter-frame difference processing on an image in the free stream shown in FIG. 6;
8 is a diagram showing an example of a binarized image as a result of performing binarization by performing background difference processing of the image in the free flow shown in FIG. 6;
9 is a diagram showing an example of a binarized image as a result of performing binarization by performing inter-frame difference processing of images in the traffic jam shown in FIG.
10 is a diagram showing an example of a binarized image as a result of performing binarization by performing background difference processing of an image in the traffic jam shown in FIG. 5;
[Fig. 11] WPRatio * F * M (1 minute average of white pixel occupancy rate WPRatio * F based on interframe difference) and WPRatio * BG * M (white pixel occupancy based on background difference) The figure which shows the value of 1 minute average value of rate WPRatio * BG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Network 2 Image processing part computer 3 Integrated processing part computer 4 Event determination part computer 5-1 to 5-n Notification board 6-1 to 6-m Camera 11 Image acquisition means 12 1st difference processing means 13 2nd difference Processing means 14 Binarization means 14A First binarization means 14B Second binarization means 15 Calculation means 15A First calculation means 15B Second calculation means 16 Determination means

Claims

First difference processing means for performing inter-frame difference processing on image data obtained by imaging a monitoring area by a camera;
Second difference processing means for performing background difference processing on the image data;
The difference data obtained by the inter-frame difference by the first difference processing means is binarized based on predetermined threshold information, and the difference data obtained by the background difference by the second difference processing means is predetermined. Binarization means for binarization based on threshold information ;
Calculating means for calculating white pixel occupancy in the image for each of the binarized data corresponding to the inter-frame difference obtained by the binarizing means and the binarized data corresponding to the background difference ;
Whether or not the white pixel occupancy of the binarized data corresponding to the inter-frame difference calculated by the calculating unit is greater than or equal to a predetermined value, and further binarized data corresponding to the background difference calculated by the calculating unit An image processing apparatus comprising: a determination unit that determines whether or not there is a traffic jam based on whether or not the white pixel occupancy ratio of the image is greater than or equal to a predetermined value .

The image processing apparatus according to claim 1, wherein the determination unit determines that there is a traffic jam when both the white pixel occupancy ratios of the respective binarized data are equal to or greater than the respective threshold values.

A first difference processing step for performing inter-frame difference processing on image data obtained by imaging a monitoring area by a camera;
A second difference processing step for performing background difference processing on the image data;
The difference data obtained by the inter-frame difference in the first difference processing step is binarized based on predetermined threshold information, and the difference data obtained by the background difference in the second difference processing step is predetermined. A binarization step for binarization based on threshold information ;
A calculation step of calculating a white pixel occupancy ratio in the image for each of the binarized data corresponding to the inter-frame difference obtained by the binarization step and the binarized data corresponding to the background difference ;
Whether the white pixel occupancy of the binarized data corresponding to the interframe difference calculated by the calculating step is greater than or equal to a predetermined value, and further the binarized data corresponding to the background difference calculated by the calculating means A determination step of determining the presence or absence of a traffic jam based on whether or not the white pixel occupancy ratio for the image is greater than or equal to a predetermined value .

4. The image processing method according to claim 3, wherein in the determination step, it is determined that there is a traffic jam when white pixel occupancy ratios of the respective binarized data are equal to or greater than the respective threshold values.

In an image processing program used in a computer that obtains a result by processing a central processing unit based on a program stored in a main memory,
For the central processing unit,
A first difference processing step for performing inter-frame difference processing on image data obtained by imaging a monitoring area by a camera;
A second difference processing step for performing background difference processing on the image data;
The difference data obtained by the inter-frame difference in the first difference processing step is binarized based on predetermined threshold information, and the difference data obtained by the background difference in the second difference processing step is predetermined. A binarization step for binarization based on threshold information ;
For each of the binary data corresponding to the binary data and background subtraction corresponding to between the obtained frame difference by the binarization step, a calculation step of calculating the white pixels occupancy in the image,
Whether white pixel occupancy for binary data corresponding to the frames between the difference calculated by said calculating step is a predetermined or higher, further, binarization corresponding to the background difference calculated by said calculation means And a determination step of determining whether or not there is a traffic jam based on whether or not the white pixel occupancy of the data is greater than or equal to a predetermined value .

The image processing program according to claim 5, wherein in the determination step, it is determined that there is a traffic jam when both the white pixel occupancy ratios of the respective binarized data are equal to or greater than the respective threshold values.