JP3961344B2 - 画像処理システム、画像処理方法、画像処理プログラム - Google Patents
画像処理システム、画像処理方法、画像処理プログラム Download PDFInfo
- Publication number
- JP3961344B2 JP3961344B2 JP2002160281A JP2002160281A JP3961344B2 JP 3961344 B2 JP3961344 B2 JP 3961344B2 JP 2002160281 A JP2002160281 A JP 2002160281A JP 2002160281 A JP2002160281 A JP 2002160281A JP 3961344 B2 JP3961344 B2 JP 3961344B2
- Authority
- JP
- Japan
- Prior art keywords
- difference
- value
- limit value
- binarization
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、明るさの環境が変動する監視エリアを撮像して得た画像データについても適切に２値化を行って監視エリアにおける事象解析を的確に行うことを可能とする画像処理システム、画像処理方法及び画像処理プログラムに関するものである。
【０００２】
【従来の技術】
従来、道路監視システムや侵入監視システムにおいては、監視エリアをカメラにより撮像して得られた画像データを画像処理して事象解析を行うようにしている。ここに、画像処理は通例、図９のフローチャートに示されるような手順によりコンピュータにより行われている。まず、画像データを例えば１フレーム分づつ取り込む（Ｓ１）。ここに取り込む画像データは、コンピュータにより処理可能にディジタル化され、各画素が例えば２５６階調のデータとされている。
【０００３】
上記ステップＳ１において取り込んだ画像データについて、予め作成された背景画像との差分を得る背景差分処理によるか、又は、上記画像データより所定のフレーム数だけ前の１フレームの画像との差分を得るフレーム間差分処理によるかの手法を用いて、差分画像データを得る（Ｓ２）。次に、上記差分画像データを所定の閾値に基づき、輝度変化の生じた画素を「１」とし、輝度変化が無かった画素を「０」とする２値化処理を行う（Ｓ３）。
【０００４】
更に、２値化処理の結果について、「１」とされた画素のまとまりであるブロックを求めて、求めた各ブロックにラベル（アルファベットなどの識別符号）を付すラベリング処理（Ｓ４）を行って、このラベリングされたブロックが監視対象物の領域であるかをブロックの大きさや位置（道路監視においては、道路内か以外の位置か）に基づき不適切領域を除去し（Ｓ５）、最終的に物体領域を検出する（Ｓ６）。この物体領域を用いて、道路監視システムにおいては渋滞検出などが行われ、侵入監視システムにおいては侵入発生などが検出される。
【０００５】
ところで、監視エリアの明るさが変化する環境において適切な物体領域の検出を行うためには、上記の２値化処理に用いる閾値を明るさの変化に応じて変更すると好適であることに鑑み、従来では明るさの階調に応じた閾値がセットされたテーブルを画像処理システムに備えさせている。また、トンネル内などのように時間帯により照明モードを変更する環境においては、照明モードに応じた閾値がセットされたテーブルを画像処理システムに備えさせ、照明モードの切換を検知して閾値の変更を行うようにしていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の閾値自体は、作業者が試行錯誤して求めるものであり、この作業が困難で時間を要するものであった。これに対し、閾値を自動調整するものとして特開２０００−２８５２４４号に示すものがあり、このものでは、背景画像の輝度に応じて閾値を自動設定する。また、特開平４−３１４１９９号公報や特開平３−２６０８７７号公報に記載の技術も知られているが、多様な環境において適切に領域検出を行い得る技術の提供が求められている。
【０００７】
本発明は画像処理におけるこのような現状に鑑みてなされたもので、その目的は、明るさが変化する環境においても適切に２値化を行い、物体存在領域の適切な検出を行い得る画像処理システム、画像処理方法及び画像処理プログラムを提供することである。
【０００８】
【課題を解決するための手段】
本発明に係る画像処理システムは、カメラにより監視エリアを撮像した画像データについて差分処理を行う差分処理手段と、前記差分処理手段により得られる差分の結果について閾値を用いて２値化する２値化手段と、前記２値化手段により２値化された２値化データに基づき、変化部分である検出対象相当の領域を検出する物体領域検出手段と、前記物体領域検出手段により検出された領域情報を用いて、監視エリアにおける事象解析を行う解析手段と、前記差分処理手段により得られた差分結果に基づき得られる１画面相当の差分データについて、各画素における輝度値の標準偏差値を求め、この標準偏差値に係数を乗じて仮閾値とし、この仮閾値について予め定められた上限値と下限値と比較する比較手段と、前記比較の結果において、上限値を越えることが検出されると当該上限値を閾値として前記２値化手段へ出力する一方、下限値を下回ることが検出されると、当該差分値によっては領域検出が不可能を示す出力を行う閾値管理手段とを具備することを特徴とする。
【００１０】
本発明に係る画像処理方法は、カメラにより監視エリアを撮像した画像データについて差分処理を行う差分処理ステップと、前記差分処理ステップにより得られる差分の結果について閾値を用いて２値化する２値化ステップと、前記２値化ステップにより２値化された２値化データに基づき、変化部分である検出対象相当の領域を検出する領域検出ステップと、前記領域検出ステップにより検出された領域情報を用いて、監視エリアにおける事象解析を行う解析ステップと、前記差分処理ステップにより得られた差分結果に基づき得られる１画面相当の差分データについて、各画素における輝度値の標準偏差値を求め、この標準偏差値に係数を乗じて仮閾値とし、この仮閾値について予め定められた上限値と下限値と比較する比較ステップと、前記比較の結果において、上限値を越えることが検出されると当該上限値を閾値として前記２値化ステップへ出力する一方、下限値を下回ることが検出されると、当該差分値によっては領域検出が不可能を示す出力を行う閾値管理ステップとを具備することを特徴とする。
【００１２】
本発明に係る画像処理プログラムは、主メモリに格納されたプログラムに基づき中央処理装置が処理を行って結果を得るコンピュータに用いられる画像処理プログラムにおいて、前記中央処理装置に対し、カメラにより監視エリアを撮像した画像データについて差分処理を行う差分処理ステップと、前記差分処理ステップにより得られる差分の結果について閾値を用いて２値化する２値化ステップと、前記２値化ステップにより２値化された２値化データに基づき、変化部分である検出対象相当の領域を検出する領域検出ステップと、前記領域検出ステップにより検出された領域情報を用いて、監視エリアにおける事象解析を行う解析ステップと、前記差分処理ステップにより得られた差分結果に基づき得られる１画面相当の差分データについて、各画素における輝度値の標準偏差値を求め、この標準偏差値に係数を乗じて仮閾値とし、この仮閾値について予め定められた上限値と下限値と比較する比較ステップと、前記比較の結果において、上限値を越えることが検出されると当該上限値を閾値として前記２値化ステップへ出力する一方、下限値を下回ることが検出されると、当該差分値によっては領域検出が不可能を示す出力を行う閾値管理ステップとを実行させることを特徴とする。
【００１４】
【発明の実施の形態】
以下添付図面を参照して、本発明に係る画像処理システム、画像処理方法、画像処理プログラムを説明する。各図において同一の構成要素には同一の符号を付し、重複する説明を省略する。図１には、画像処理装置の構成が示されている。この画像処理装置は、図２に示される監視システムの画像処理部計算機２により実現される。
【００１５】
図２に示されるように監視システムは、ネットワーク１を介して画像処理部計算機２、統合処理部計算機３、事象判定部計算機４及び表示等を行う報知盤５−１〜５−ｎが接続されている。画像処理部計算機２には、カメラ６−１〜６−ｍ（ｍは整数）が接続されている。
【００１６】
上記システムにおいては、次のように動作がなされる。カメラ６−１〜６−ｍが監視対象物の撮像を行って、画像データを画像処理部計算機２へ送る。画像処理部計算機２は、後に述べるように監視対象物の存在領域の特定などを実行し、処理結果情報を統合処理部計算機３へ送る。統合処理部計算機３は画像処理部計算機２から送られた情報に基づき、例えばカメラ６−１〜６−ｍのいずれにより得られた画像データについて画像処理部計算機２が処理を行った結果をどのように用いるかを決定する等、次の事象判定に必要な画像データを抽出し或いは組み合わせる等の処理を行う。その結果は統合処理部計算機３から事象判定部計算機４へ送られる。事象判定部計算機４は送られた画像データ及び統合処理部計算機３が処理した結果を用い、発生した事象の判定を行う。ここにおいて事象とは、例えば道路監視システムにおいては、事故の発生、落下物の発生、渋滞、火災等である。
【００１７】
事象判定部計算機４は判定した結果に基づき、報知盤５−１〜５−ｎのいずれにどのような内容の情報を送るか等を判定してネットワーク１を介して必要な情報を必要な報知盤へ送出する。斯して報知盤５−１〜５−ｎによって、所要の情報の報知がなされる。
【００１８】
上記の画像処理部計算機２においては、図１に示される各手段により画像処理装置が構成される。この画像処理装置は、制御手段１０、画像取得手段１１、差分処理手段１２、２値化手段１３、物体領域検出手段１４及び閾値算出手段１５を備える。画像取得手段１１は、カメラ６−１〜６−ｍから監視対象画像データを取り込むものであり、差分処理手段１２へ出力するためにコンピュータ処理可能な画像データに変換している。
【００１９】
差分処理手段１２は、画像取得手段１１により取り込まれた画像データについてフレーム間差分を行って物体領域検出を行うか、または、上記画像データについて背景差分を行って物体領域検出を行うものである。２値化手段１３は、差分処理手段１２により得られる差分の結果について閾値を用いて２値化するものである。物体領域検出手段１４は、２値化手段１３により２値化された２値化データに基づき、変化部分である検出対象相当の領域を検出するものである。
【００２０】
物体領域検出手段１４は、ラベリング処理手段１６、不適切領域除去手段１７、物体領域決定手段１８を具備する。ラベリング処理手段１６は、２値化処理の結果について、「１」とされた画素のまとまりであるブロックを求めて、求めた各ブロックにラベル（アルファベットなどの識別符号）を付すラベリング処理を行うものである。不適切領域除去手段１７は、ラベリングされたブロックが監視対象物の領域であるかをブロックの大きさや位置（道路監視においては、道路内か以外の位置か）に基づき不適切領域を除去するものである。物体領域決定手段１８は、最終的に物体領域を検出して出力を行うものである。この情報は、領域情報を用いて、監視エリアにおける事象解析を行う解析手段を構成する統合処理部計算機３へ送られる。
【００２１】
閾値算出手段１５は、差分処理手段１２により得られた差分結果に基づき得られる１画面相当の差分データについて、各画素における輝度値の標準偏差値を求め、この標準偏差値に係数を乗じて閾値とし、２値化手段１３へ与えるものである。閾値算出手段１５には、差分処理手段１２により得られた差分結果に基づき得られる１画面相当の差分データについて、各画素における輝度値の標準偏差値を求め、この標準偏差値に係数を乗じて仮閾値とし、この仮閾値について予め定められた上限値と下限値と比較する比較手段２１と、比較の結果において、上限値を越えることが検出されると当該上限値を閾値として出力する一方、下限値を下回ることが検出されると、当該差分値によっては領域検出が不可能を示す出力を行う閾値管理手段２２とを具備している。
【００２２】
上記の画像処理装置を構成する画像処理部計算機２は、例えばパーソナルコンピュータやワークステーションその他の計算機により構成され、例えば、図３に示すような構成要素からなっている。すなわち、図３の計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５５、プリンタ制御部５６、通信インタフェース５７、マウス制御部５８、磁気ディスク制御部５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続され、通信インタフェース５７には回線を介して通信を行うための通信処理部６３が接続され、マウス制御部５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、画像処理部計算機２には、ＣＰＵ５１、主記憶装置５２、磁気ディスク制御部５９、磁気ディスク装置６５、通信インタフェース５７、通信制御部６３が少なくとも設けられる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディスク）ドライブ等が設けられる。
【００２３】
そして、図１に示した各手段は、ＣＰＵ５１が図４と図９に示されるフローチャートに対応するプログラムにより本発明に係る画像処理方法を行うことで実現されるので、このフローチャートにより本発明に係る画像処理装置の動作を説明する。上記フローチャートに対応するプログラムは、本発明に係る画像処理プログラムであり、例えば磁気ディスク装置６５に格納されており、主メモリを構成する主記憶装置５２へ読み出されて実行される。まず、動作が開始され、カメラ６−１〜６−ｍから画像データの取り込みを行う（Ｓ１１：画像取得手段１１）。
【００２４】
次に、１フレームずつの画像データを順次に得て、フレーム間差分を実行するか、、背景画像データと順次に得られるフレーム画像データとの差分を実行する差分処理を行う（Ｓ１２）。ここに、現時点において得られている画像データの画像が図５に示されるようであり、背景画像又は差分対象である所定フレーム離れた１フレームに係る画像が図６に示されるよであると、差分結果は図７に示すように、輝度に多くの変化があった画素ほど輝度が高い画素（白い画素）として残る。
【００２５】
なお、図７の例では、明度により輝度値を表すが、実際には各画素は例えば２５６階調の輝度値を持つデータである。また、図７（ａ）は、明るい環境において得られた画像についての差分処理結果例を示しており、図７（ｂ）は、暗い環境において得られた画像についての差分処理結果例を示している。
【００２６】
次に、差分結果の画像に対して標準偏差値を計算する（Ｓ１３）。この標準偏差値Sdeviationは、まず当該差分画像における輝度の平均値average を求め、画像のサイズをＭ画素×Ｎ画素とし、各画素の輝度値をDiff*Image(i,j) とするとき、図１０に示す（１）式により表すことができる。
【００２７】
次に、予め環境に応じて設定されている係数ｋを取り込み（Ｓ１４）、仮閾値Treshold（pre)を、ｋ×Sdeviationとして求める（Ｓ１５）。更に、この仮閾値Treshold（pre)を、予め用意されている上限値ＬＩＭ（Ｕ）及び下限値ＬＩＭ（Ｄ）と比較する（Ｓ１６、Ｓ１７）。そして、仮閾値Treshold（pre)が予め用意されている上限値ＬＩＭ（Ｕ）を越えていると、上限値ＬＩＭ（Ｕ）を閾値とする（Ｓ１８）。斯して、明るい環境において閾値が高くなり過ぎ、不適切な２値化の結果が得られる不具合を防止している。
【００２８】
また、下限値ＬＩＭ（Ｄ）よりも仮閾値Treshold（pre)が下回ると、物体領域の検出が不能であることを出力して当該１フレームに対する処理を終了する（Ｓ１９）。このようにして１フレームの画像が全体的に輝度が低く、不明瞭であるような場合に、処理の不要な継続を行うことなく処理の適正化を図っている。仮閾値Treshold（pre)が下限値ＬＩＭ（Ｄ）と上限値ＬＩＭ（Ｕ）の間にあるときには、仮閾値Treshold（pre)を閾値とする（Ｓ２０）。
【００２９】
上記ステップＳ２０又はステップＳ１８において閾値が得られた場合には、図９のステップＳ３へジャンプして処理を継続する（Ｓ２１）。つまり、ステップＳ３へジャンプした場合には、上記において得ている差分画像データをステップＳ１８又はステップＳ２０により決定した閾値に基づき、輝度変化の生じた画素を「１」とし、輝度変化が無かった画素を「０」とする２値化処理を実行する（Ｓ３）。この結果、図７の差分結果のデータから図８に示されるような幾つかの「１」に対応する白で示すブロックが存在する画像が得られる。
【００３０】
更に、２値化処理の結果について、「１」とされた画素のまとまりであるブロックを求めて、求めた各ブロックにラベル（アルファベットなどの識別符号）を付すラベリング処理（Ｓ４）を行って、このラベリングされたブロックが監視対象物の領域であるかをブロックの大きさや位置（道路監視においては、道路内か以外の位置か）に基づき不適切領域を除去し（Ｓ５）、最終的に物体領域を検出する（Ｓ６）。この物体領域を用いて、道路監視システムにおいては渋滞検出などが行われ、侵入監視システムにおいては侵入発生などが検出される。
【００３１】
以上のようにして本実施例では、差分結果の輝度値に係る標準偏差値を２値化の閾値に反映させているので、明るさの変化に対応した適切な閾値により２値化を行うことができ、適切なる物体存在領域の検出が行える。なお、上記実施の形態では、係数ｋを予め与えておいたが、係数ｋと差分結果の輝度値に係る標準偏差値の対応関係をテーブル化しておき、差分結果の輝度値に係る標準偏差値の変化履歴を装置において求め、この履歴に基づき係数ｋを選択するように構成しても良い。
【００３２】
【発明の効果】
以上説明したように本発明によれば、差分結果の輝度値に係る標準偏差値を２値化の閾値に反映させているので、明るさの変化に対応した適切な閾値により２値化を行うことができ、明るさが変化する環境においても適切に２値化を行い、物体存在領域の適切な検出を行い得る効果がある。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の機能構成を示すブロック図。
【図２】本発明に係る画像処理装置を用いて構成した道路監視システムの構成図。
【図３】本発明に係る画像処理装置の実際上の構成例を示すブロック図。
【図４】本発明に係る画像処理装置の動作を説明するためのフローチャート。
【図５】本発明に係る画像処理装置の動作により取り込まれた画像を示す図。
【図６】本発明に係る画像処理装置の動作に用いられる背景画像等を示す図。
【図７】本発明に係る画像処理装置の動作により差分処理された画像のイメージを示す図。
【図８】本発明に係る画像処理装置の動作により２値化された画像を示す図。
【図９】画像処理装置による一般的な処理を示す図。
【図１０】本発明に係る画像処理装置において閾値算出に用いられる数式を示す図。
【符号の説明】
１ ネットワーク
２ 画像処理部計算機
３ 統合処理部計算機
４ 事象判定部計算機
５−１〜５−ｎ 報知盤
６−１〜６−ｍ カメラ
１０ 制御手段
１１ 画像取得手段
１２ 差分処理手段
１３ ２値化手段
１４ 物体領域検出手段
１５ 閾値算出手段
１６ ラベリング処理手段
１７ 不適切領域除去手段
１８ 物体領域決定手段
２１ 比較手段
２２ 閾値管理手段
【発明の属する技術分野】
この発明は、明るさの環境が変動する監視エリアを撮像して得た画像データについても適切に２値化を行って監視エリアにおける事象解析を的確に行うことを可能とする画像処理システム、画像処理方法及び画像処理プログラムに関するものである。
【０００２】
【従来の技術】
従来、道路監視システムや侵入監視システムにおいては、監視エリアをカメラにより撮像して得られた画像データを画像処理して事象解析を行うようにしている。ここに、画像処理は通例、図９のフローチャートに示されるような手順によりコンピュータにより行われている。まず、画像データを例えば１フレーム分づつ取り込む（Ｓ１）。ここに取り込む画像データは、コンピュータにより処理可能にディジタル化され、各画素が例えば２５６階調のデータとされている。
【０００３】
上記ステップＳ１において取り込んだ画像データについて、予め作成された背景画像との差分を得る背景差分処理によるか、又は、上記画像データより所定のフレーム数だけ前の１フレームの画像との差分を得るフレーム間差分処理によるかの手法を用いて、差分画像データを得る（Ｓ２）。次に、上記差分画像データを所定の閾値に基づき、輝度変化の生じた画素を「１」とし、輝度変化が無かった画素を「０」とする２値化処理を行う（Ｓ３）。
【０００４】
更に、２値化処理の結果について、「１」とされた画素のまとまりであるブロックを求めて、求めた各ブロックにラベル（アルファベットなどの識別符号）を付すラベリング処理（Ｓ４）を行って、このラベリングされたブロックが監視対象物の領域であるかをブロックの大きさや位置（道路監視においては、道路内か以外の位置か）に基づき不適切領域を除去し（Ｓ５）、最終的に物体領域を検出する（Ｓ６）。この物体領域を用いて、道路監視システムにおいては渋滞検出などが行われ、侵入監視システムにおいては侵入発生などが検出される。
【０００５】
ところで、監視エリアの明るさが変化する環境において適切な物体領域の検出を行うためには、上記の２値化処理に用いる閾値を明るさの変化に応じて変更すると好適であることに鑑み、従来では明るさの階調に応じた閾値がセットされたテーブルを画像処理システムに備えさせている。また、トンネル内などのように時間帯により照明モードを変更する環境においては、照明モードに応じた閾値がセットされたテーブルを画像処理システムに備えさせ、照明モードの切換を検知して閾値の変更を行うようにしていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の閾値自体は、作業者が試行錯誤して求めるものであり、この作業が困難で時間を要するものであった。これに対し、閾値を自動調整するものとして特開２０００−２８５２４４号に示すものがあり、このものでは、背景画像の輝度に応じて閾値を自動設定する。また、特開平４−３１４１９９号公報や特開平３−２６０８７７号公報に記載の技術も知られているが、多様な環境において適切に領域検出を行い得る技術の提供が求められている。
【０００７】
本発明は画像処理におけるこのような現状に鑑みてなされたもので、その目的は、明るさが変化する環境においても適切に２値化を行い、物体存在領域の適切な検出を行い得る画像処理システム、画像処理方法及び画像処理プログラムを提供することである。
【０００８】
【課題を解決するための手段】
本発明に係る画像処理システムは、カメラにより監視エリアを撮像した画像データについて差分処理を行う差分処理手段と、前記差分処理手段により得られる差分の結果について閾値を用いて２値化する２値化手段と、前記２値化手段により２値化された２値化データに基づき、変化部分である検出対象相当の領域を検出する物体領域検出手段と、前記物体領域検出手段により検出された領域情報を用いて、監視エリアにおける事象解析を行う解析手段と、前記差分処理手段により得られた差分結果に基づき得られる１画面相当の差分データについて、各画素における輝度値の標準偏差値を求め、この標準偏差値に係数を乗じて仮閾値とし、この仮閾値について予め定められた上限値と下限値と比較する比較手段と、前記比較の結果において、上限値を越えることが検出されると当該上限値を閾値として前記２値化手段へ出力する一方、下限値を下回ることが検出されると、当該差分値によっては領域検出が不可能を示す出力を行う閾値管理手段とを具備することを特徴とする。
【００１０】
本発明に係る画像処理方法は、カメラにより監視エリアを撮像した画像データについて差分処理を行う差分処理ステップと、前記差分処理ステップにより得られる差分の結果について閾値を用いて２値化する２値化ステップと、前記２値化ステップにより２値化された２値化データに基づき、変化部分である検出対象相当の領域を検出する領域検出ステップと、前記領域検出ステップにより検出された領域情報を用いて、監視エリアにおける事象解析を行う解析ステップと、前記差分処理ステップにより得られた差分結果に基づき得られる１画面相当の差分データについて、各画素における輝度値の標準偏差値を求め、この標準偏差値に係数を乗じて仮閾値とし、この仮閾値について予め定められた上限値と下限値と比較する比較ステップと、前記比較の結果において、上限値を越えることが検出されると当該上限値を閾値として前記２値化ステップへ出力する一方、下限値を下回ることが検出されると、当該差分値によっては領域検出が不可能を示す出力を行う閾値管理ステップとを具備することを特徴とする。
【００１２】
本発明に係る画像処理プログラムは、主メモリに格納されたプログラムに基づき中央処理装置が処理を行って結果を得るコンピュータに用いられる画像処理プログラムにおいて、前記中央処理装置に対し、カメラにより監視エリアを撮像した画像データについて差分処理を行う差分処理ステップと、前記差分処理ステップにより得られる差分の結果について閾値を用いて２値化する２値化ステップと、前記２値化ステップにより２値化された２値化データに基づき、変化部分である検出対象相当の領域を検出する領域検出ステップと、前記領域検出ステップにより検出された領域情報を用いて、監視エリアにおける事象解析を行う解析ステップと、前記差分処理ステップにより得られた差分結果に基づき得られる１画面相当の差分データについて、各画素における輝度値の標準偏差値を求め、この標準偏差値に係数を乗じて仮閾値とし、この仮閾値について予め定められた上限値と下限値と比較する比較ステップと、前記比較の結果において、上限値を越えることが検出されると当該上限値を閾値として前記２値化ステップへ出力する一方、下限値を下回ることが検出されると、当該差分値によっては領域検出が不可能を示す出力を行う閾値管理ステップとを実行させることを特徴とする。
【００１４】
【発明の実施の形態】
以下添付図面を参照して、本発明に係る画像処理システム、画像処理方法、画像処理プログラムを説明する。各図において同一の構成要素には同一の符号を付し、重複する説明を省略する。図１には、画像処理装置の構成が示されている。この画像処理装置は、図２に示される監視システムの画像処理部計算機２により実現される。
【００１５】
図２に示されるように監視システムは、ネットワーク１を介して画像処理部計算機２、統合処理部計算機３、事象判定部計算機４及び表示等を行う報知盤５−１〜５−ｎが接続されている。画像処理部計算機２には、カメラ６−１〜６−ｍ（ｍは整数）が接続されている。
【００１６】
上記システムにおいては、次のように動作がなされる。カメラ６−１〜６−ｍが監視対象物の撮像を行って、画像データを画像処理部計算機２へ送る。画像処理部計算機２は、後に述べるように監視対象物の存在領域の特定などを実行し、処理結果情報を統合処理部計算機３へ送る。統合処理部計算機３は画像処理部計算機２から送られた情報に基づき、例えばカメラ６−１〜６−ｍのいずれにより得られた画像データについて画像処理部計算機２が処理を行った結果をどのように用いるかを決定する等、次の事象判定に必要な画像データを抽出し或いは組み合わせる等の処理を行う。その結果は統合処理部計算機３から事象判定部計算機４へ送られる。事象判定部計算機４は送られた画像データ及び統合処理部計算機３が処理した結果を用い、発生した事象の判定を行う。ここにおいて事象とは、例えば道路監視システムにおいては、事故の発生、落下物の発生、渋滞、火災等である。
【００１７】
事象判定部計算機４は判定した結果に基づき、報知盤５−１〜５−ｎのいずれにどのような内容の情報を送るか等を判定してネットワーク１を介して必要な情報を必要な報知盤へ送出する。斯して報知盤５−１〜５−ｎによって、所要の情報の報知がなされる。
【００１８】
上記の画像処理部計算機２においては、図１に示される各手段により画像処理装置が構成される。この画像処理装置は、制御手段１０、画像取得手段１１、差分処理手段１２、２値化手段１３、物体領域検出手段１４及び閾値算出手段１５を備える。画像取得手段１１は、カメラ６−１〜６−ｍから監視対象画像データを取り込むものであり、差分処理手段１２へ出力するためにコンピュータ処理可能な画像データに変換している。
【００１９】
差分処理手段１２は、画像取得手段１１により取り込まれた画像データについてフレーム間差分を行って物体領域検出を行うか、または、上記画像データについて背景差分を行って物体領域検出を行うものである。２値化手段１３は、差分処理手段１２により得られる差分の結果について閾値を用いて２値化するものである。物体領域検出手段１４は、２値化手段１３により２値化された２値化データに基づき、変化部分である検出対象相当の領域を検出するものである。
【００２０】
物体領域検出手段１４は、ラベリング処理手段１６、不適切領域除去手段１７、物体領域決定手段１８を具備する。ラベリング処理手段１６は、２値化処理の結果について、「１」とされた画素のまとまりであるブロックを求めて、求めた各ブロックにラベル（アルファベットなどの識別符号）を付すラベリング処理を行うものである。不適切領域除去手段１７は、ラベリングされたブロックが監視対象物の領域であるかをブロックの大きさや位置（道路監視においては、道路内か以外の位置か）に基づき不適切領域を除去するものである。物体領域決定手段１８は、最終的に物体領域を検出して出力を行うものである。この情報は、領域情報を用いて、監視エリアにおける事象解析を行う解析手段を構成する統合処理部計算機３へ送られる。
【００２１】
閾値算出手段１５は、差分処理手段１２により得られた差分結果に基づき得られる１画面相当の差分データについて、各画素における輝度値の標準偏差値を求め、この標準偏差値に係数を乗じて閾値とし、２値化手段１３へ与えるものである。閾値算出手段１５には、差分処理手段１２により得られた差分結果に基づき得られる１画面相当の差分データについて、各画素における輝度値の標準偏差値を求め、この標準偏差値に係数を乗じて仮閾値とし、この仮閾値について予め定められた上限値と下限値と比較する比較手段２１と、比較の結果において、上限値を越えることが検出されると当該上限値を閾値として出力する一方、下限値を下回ることが検出されると、当該差分値によっては領域検出が不可能を示す出力を行う閾値管理手段２２とを具備している。
【００２２】
上記の画像処理装置を構成する画像処理部計算機２は、例えばパーソナルコンピュータやワークステーションその他の計算機により構成され、例えば、図３に示すような構成要素からなっている。すなわち、図３の計算機は、装置を統括制御するＣＰＵ５１を有し、このＣＰＵ５１に上記ＣＰＵ５１が用いるプログラム及びデータ等の情報が記憶される主記憶装置５２が接続されている。更に、ＣＰＵ５１には、システムバス５３を介してキーボード制御部５４、表示制御部５５、プリンタ制御部５６、通信インタフェース５７、マウス制御部５８、磁気ディスク制御部５９が接続されている。キーボード制御部５４には各種情報をキー入力可能なキーボード入力装置６０が接続され、表示制御部５５には情報を表示するためのＣＲＴ表示装置６１が接続され、プリンタ制御部５６には情報を印字出力するためのプリンタ装置６２が接続され、通信インタフェース５７には回線を介して通信を行うための通信処理部６３が接続され、マウス制御部５８にはポインティングディバイスであるマウス６４が接続され、磁気ディスク制御部５９には補助記憶装置である磁気ディスク装置６５が接続されている。なお、画像処理部計算機２には、ＣＰＵ５１、主記憶装置５２、磁気ディスク制御部５９、磁気ディスク装置６５、通信インタフェース５７、通信制御部６３が少なくとも設けられる。また、必要に応じてフレキシブルディスクドライブ、磁気カード或いはＩＣカードリーダ、ＭＯ（光磁気ディスク）ドライブ等が設けられる。
【００２３】
そして、図１に示した各手段は、ＣＰＵ５１が図４と図９に示されるフローチャートに対応するプログラムにより本発明に係る画像処理方法を行うことで実現されるので、このフローチャートにより本発明に係る画像処理装置の動作を説明する。上記フローチャートに対応するプログラムは、本発明に係る画像処理プログラムであり、例えば磁気ディスク装置６５に格納されており、主メモリを構成する主記憶装置５２へ読み出されて実行される。まず、動作が開始され、カメラ６−１〜６−ｍから画像データの取り込みを行う（Ｓ１１：画像取得手段１１）。
【００２４】
次に、１フレームずつの画像データを順次に得て、フレーム間差分を実行するか、、背景画像データと順次に得られるフレーム画像データとの差分を実行する差分処理を行う（Ｓ１２）。ここに、現時点において得られている画像データの画像が図５に示されるようであり、背景画像又は差分対象である所定フレーム離れた１フレームに係る画像が図６に示されるよであると、差分結果は図７に示すように、輝度に多くの変化があった画素ほど輝度が高い画素（白い画素）として残る。
【００２５】
なお、図７の例では、明度により輝度値を表すが、実際には各画素は例えば２５６階調の輝度値を持つデータである。また、図７（ａ）は、明るい環境において得られた画像についての差分処理結果例を示しており、図７（ｂ）は、暗い環境において得られた画像についての差分処理結果例を示している。
【００２６】
次に、差分結果の画像に対して標準偏差値を計算する（Ｓ１３）。この標準偏差値Sdeviationは、まず当該差分画像における輝度の平均値average を求め、画像のサイズをＭ画素×Ｎ画素とし、各画素の輝度値をDiff*Image(i,j) とするとき、図１０に示す（１）式により表すことができる。
【００２７】
次に、予め環境に応じて設定されている係数ｋを取り込み（Ｓ１４）、仮閾値Treshold（pre)を、ｋ×Sdeviationとして求める（Ｓ１５）。更に、この仮閾値Treshold（pre)を、予め用意されている上限値ＬＩＭ（Ｕ）及び下限値ＬＩＭ（Ｄ）と比較する（Ｓ１６、Ｓ１７）。そして、仮閾値Treshold（pre)が予め用意されている上限値ＬＩＭ（Ｕ）を越えていると、上限値ＬＩＭ（Ｕ）を閾値とする（Ｓ１８）。斯して、明るい環境において閾値が高くなり過ぎ、不適切な２値化の結果が得られる不具合を防止している。
【００２８】
また、下限値ＬＩＭ（Ｄ）よりも仮閾値Treshold（pre)が下回ると、物体領域の検出が不能であることを出力して当該１フレームに対する処理を終了する（Ｓ１９）。このようにして１フレームの画像が全体的に輝度が低く、不明瞭であるような場合に、処理の不要な継続を行うことなく処理の適正化を図っている。仮閾値Treshold（pre)が下限値ＬＩＭ（Ｄ）と上限値ＬＩＭ（Ｕ）の間にあるときには、仮閾値Treshold（pre)を閾値とする（Ｓ２０）。
【００２９】
上記ステップＳ２０又はステップＳ１８において閾値が得られた場合には、図９のステップＳ３へジャンプして処理を継続する（Ｓ２１）。つまり、ステップＳ３へジャンプした場合には、上記において得ている差分画像データをステップＳ１８又はステップＳ２０により決定した閾値に基づき、輝度変化の生じた画素を「１」とし、輝度変化が無かった画素を「０」とする２値化処理を実行する（Ｓ３）。この結果、図７の差分結果のデータから図８に示されるような幾つかの「１」に対応する白で示すブロックが存在する画像が得られる。
【００３０】
更に、２値化処理の結果について、「１」とされた画素のまとまりであるブロックを求めて、求めた各ブロックにラベル（アルファベットなどの識別符号）を付すラベリング処理（Ｓ４）を行って、このラベリングされたブロックが監視対象物の領域であるかをブロックの大きさや位置（道路監視においては、道路内か以外の位置か）に基づき不適切領域を除去し（Ｓ５）、最終的に物体領域を検出する（Ｓ６）。この物体領域を用いて、道路監視システムにおいては渋滞検出などが行われ、侵入監視システムにおいては侵入発生などが検出される。
【００３１】
以上のようにして本実施例では、差分結果の輝度値に係る標準偏差値を２値化の閾値に反映させているので、明るさの変化に対応した適切な閾値により２値化を行うことができ、適切なる物体存在領域の検出が行える。なお、上記実施の形態では、係数ｋを予め与えておいたが、係数ｋと差分結果の輝度値に係る標準偏差値の対応関係をテーブル化しておき、差分結果の輝度値に係る標準偏差値の変化履歴を装置において求め、この履歴に基づき係数ｋを選択するように構成しても良い。
【００３２】
【発明の効果】
以上説明したように本発明によれば、差分結果の輝度値に係る標準偏差値を２値化の閾値に反映させているので、明るさの変化に対応した適切な閾値により２値化を行うことができ、明るさが変化する環境においても適切に２値化を行い、物体存在領域の適切な検出を行い得る効果がある。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の機能構成を示すブロック図。
【図２】本発明に係る画像処理装置を用いて構成した道路監視システムの構成図。
【図３】本発明に係る画像処理装置の実際上の構成例を示すブロック図。
【図４】本発明に係る画像処理装置の動作を説明するためのフローチャート。
【図５】本発明に係る画像処理装置の動作により取り込まれた画像を示す図。
【図６】本発明に係る画像処理装置の動作に用いられる背景画像等を示す図。
【図７】本発明に係る画像処理装置の動作により差分処理された画像のイメージを示す図。
【図８】本発明に係る画像処理装置の動作により２値化された画像を示す図。
【図９】画像処理装置による一般的な処理を示す図。
【図１０】本発明に係る画像処理装置において閾値算出に用いられる数式を示す図。
【符号の説明】
１ ネットワーク
２ 画像処理部計算機
３ 統合処理部計算機
４ 事象判定部計算機
５−１〜５−ｎ 報知盤
６−１〜６−ｍ カメラ
１０ 制御手段
１１ 画像取得手段
１２ 差分処理手段
１３ ２値化手段
１４ 物体領域検出手段
１５ 閾値算出手段
１６ ラベリング処理手段
１７ 不適切領域除去手段
１８ 物体領域決定手段
２１ 比較手段
２２ 閾値管理手段
Claims (3)
- カメラにより監視エリアを撮像した画像データについて差分処理を行う差分処理手段と、
前記差分処理手段により得られる差分の結果について閾値を用いて２値化する２値化手段と、
前記２値化手段により２値化された２値化データに基づき、変化部分である検出対象相当の領域を検出する物体領域検出手段と、
前記物体領域検出手段により検出された領域情報を用いて、監視エリアにおける事象解析を行う解析手段と、
前記差分処理手段により得られた差分結果に基づき得られる１画面相当の差分データについて、各画素における輝度値の標準偏差値を求め、この標準偏差値に係数を乗じて仮閾値とし、この仮閾値について予め定められた上限値と下限値と比較する比較手段と、
前記比較の結果において、上限値を越えることが検出されると当該上限値を閾値として前記２値化手段へ出力する一方、下限値を下回ることが検出されると、当該差分値によっては領域検出が不可能を示す出力を行う閾値管理手段と
が具備されていること特徴とする画像処理装置。 - カメラにより監視エリアを撮像した画像データについて差分処理を行う差分処理ステップと、
前記差分処理ステップにより得られる差分の結果について閾値を用いて２値化する２値化ステップと、
前記２値化ステップにより２値化された２値化データに基づき、変化部分である検出対象相当の領域を検出する領域検出ステップと、
前記領域検出ステップにより検出された領域情報を用いて、監視エリアにおける事象解析を行う解析ステップと、
前記差分処理ステップにより得られた差分結果に基づき得られる１画面相当の差分データについて、各画素における輝度値の標準偏差値を求め、この標準偏差値に係数を乗じて仮閾値とし、この仮閾値について予め定められた上限値と下限値と比較する比較ステップと、
前記比較の結果において、上限値を越えることが検出されると当該上限値を閾値として前記２値化ステップへ出力する一方、下限値を下回ることが検出されると、当該差分値によっては領域検出が不可能を示す出力を行う閾値管理ステップと
が具備されていること特徴とする画像処理方法。 - 主メモリに格納されたプログラムに基づき中央処理装置が処理を行って結果を得るコンピュータに用いられる画像処理プログラムにおいて、
前記中央処理装置に対し、
カメラにより監視エリアを撮像した画像データについて差分処理を行う差分処理ステップと、
前記差分処理ステップにより得られる差分の結果について閾値を用いて２値化する２値化ステップと、
前記２値化ステップにより２値化された２値化データに基づき、変化部分である検出対象相当の領域を検出する領域検出ステップと、
前記領域検出ステップにより検出された領域情報を用いて、監視エリアにおける事象解析を行う解析ステップと、
前記差分処理ステップにより得られた差分結果に基づき得られる１画面相当の差分データについて、各画素における輝度値の標準偏差値を求め、この標準偏差値に係数を乗じて仮閾値とし、この仮閾値について予め定められた上限値と下限値と比較する比較ステップと、
前記比較の結果において、上限値を越えることが検出されると当該上限値を閾値として前記２値化ステップへ出力する一方、下限値を下回ることが検出されると、当該差分値によっては領域検出が不可能を示す出力を行う閾値管理ステップと
を実行させること特徴とする画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002160281A JP3961344B2 (ja) | 2002-05-31 | 2002-05-31 | 画像処理システム、画像処理方法、画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002160281A JP3961344B2 (ja) | 2002-05-31 | 2002-05-31 | 画像処理システム、画像処理方法、画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004007246A JP2004007246A (ja) | 2004-01-08 |
| JP3961344B2 true JP3961344B2 (ja) | 2007-08-22 |
Family
ID=30429750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002160281A Expired - Fee Related JP3961344B2 (ja) | 2002-05-31 | 2002-05-31 | 画像処理システム、画像処理方法、画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3961344B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4637615B2 (ja) * | 2005-03-16 | 2011-02-23 | 中国電力株式会社 | 警報装置、警報システム及び警報用コンピュータプログラム |
| JP4571656B2 (ja) * | 2007-03-30 | 2010-10-27 | 東芝テリー株式会社 | 画像処理装置および画像処理プログラム |
| CA2793180A1 (en) * | 2011-11-02 | 2013-05-02 | Eads Deutschland Gmbh | Method and device for the detection of moving objects in a video image sequence |
| JP5812948B2 (ja) * | 2012-07-13 | 2015-11-17 | アイホン株式会社 | 患者認識装置 |
| KR101617068B1 (ko) | 2012-10-11 | 2016-05-02 | 이문기 | 편광 차분 카메라를 이용한 영상처리 시스템 |
| JP6138949B2 (ja) * | 2012-10-22 | 2017-05-31 | ムン キ イ， | 差分カメラを利用した映像処理装置 |
| JP6350549B2 (ja) | 2014-02-14 | 2018-07-04 | 日本電気株式会社 | 映像解析システム |
| JP7119317B2 (ja) | 2016-11-28 | 2022-08-17 | 株式会社リコー | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム |
| CN111950536A (zh) * | 2020-09-23 | 2020-11-17 | 北京百度网讯科技有限公司 | 信号灯图像的处理方法、装置、计算机系统和路侧设备 |
-
2002
- 2002-05-31 JP JP2002160281A patent/JP3961344B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004007246A (ja) | 2004-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6754367B1 (en) | Method and apparatus for automatically detecting intrusion object into view of image pickup device | |
| CN102348128A (zh) | 具有摄像机异常检测装置的监视用摄像机系统 | |
| JP3961344B2 (ja) | 画像処理システム、画像処理方法、画像処理プログラム | |
| JP4243454B2 (ja) | 明度補正方法及び選択的欠陥検出方法及びこれらを記録した記録媒体 | |
| JP3533722B2 (ja) | 不良検査方法およびその装置 | |
| JP3377659B2 (ja) | 物体検出装置及び物体検出方法 | |
| JP4537794B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP2003013129A (ja) | スラグ検知方法、スラグ検知装置、及び除滓装置 | |
| KR101968521B1 (ko) | 영상 분석 기반 조명 고장 감지 시스템 및 방법 | |
| JPH0779429A (ja) | 画像監視装置 | |
| JP3294468B2 (ja) | 映像監視装置における物体検出方法 | |
| JPH08171689A (ja) | 変化領域検出装置 | |
| JP3536884B2 (ja) | 半導体ウエハの欠陥分類方法及びその装置 | |
| JPH04106460A (ja) | 欠陥検出方法 | |
| JP4253265B2 (ja) | 影検出装置、影検出方法及び影検出プログラム、影検出装置を用いた画像処理装置、影検出方法を用いた画像処理方法及び影検出プログラムを用いた画像処理プログラム | |
| JP2002150440A (ja) | 監視対象物検出装置 | |
| JP4172236B2 (ja) | 顔画像処理装置及びプログラム | |
| JP2001126192A (ja) | 駐車場の駐車スペースの駐／空車判定方法 | |
| JP4028299B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| JP2004007174A (ja) | 画像処理システム、画像処理方法、画像処理プログラム | |
| JP2003019553A (ja) | スラグ検知方法、スラグ検知装置及び除滓装置 | |
| JP2006035505A (ja) | 印刷物の検査方法及び装置 | |
| JPH09288037A (ja) | Ｌｃｄパネルの検査方法 | |
| JP4282512B2 (ja) | 画像処理装置、画像処理装置における２値化閾値管理方法及び画像処理プログラム | |
| JP4230962B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070416 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070516 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3961344 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140525 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |