JP3848709B2 - 監視用画像処理装置 - Google Patents
監視用画像処理装置 Download PDFInfo
- Publication number
- JP3848709B2 JP3848709B2 JP27859296A JP27859296A JP3848709B2 JP 3848709 B2 JP3848709 B2 JP 3848709B2 JP 27859296 A JP27859296 A JP 27859296A JP 27859296 A JP27859296 A JP 27859296A JP 3848709 B2 JP3848709 B2 JP 3848709B2
- Authority
- JP
- Japan
- Prior art keywords
- background
- data
- change area
- difference
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Burglar Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えば無人の電気所などを遠隔監視するためにセンターに設置された監視用画像処理装置に関するものである。
【０００２】
【従来の技術】
従来の監視用画像処理装置の構成について図２４を参照しながら説明する。図２４は、従来の監視用画像処理装置の概略構成を示すブロック図である。
【０００３】
図２４において、１は本監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部１から入る映像を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け現在の映像データを記憶する現画像蓄積部、４はＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、５は背景画像蓄積部４のデータを一定ルールで演算し更新する背景更新部である。一般的には単純なルールで更新する。例えば、過去５枚の現画像の平均を背景画像とする、等である。
【０００４】
また、同図において、６は現画像蓄積部３と背景画像蓄積部４の２つの画像を比較し、その差分を算出する背景差分部、７は背景差分部６のデータを２値化するための敷居値を算出する敷居値演算部である。背景差分データを元に最適敷居値を求めるのが一般的である。さらに、８は敷居値演算部７で求めた敷居値で差分データを２値化する２値化部、９は２値化部８から出力される２値データを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部、１０は認識処理部９からの「発報対象発見」の指示を受け発報する発報処理部である。
【０００５】
図２５は、従来の監視用画像処理装置の認識処理部の動作を詳細に示したフローチャートである。
【０００６】
ステップ１１において、認識処理部９は、２値化データを見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる変化領域統合の処理を行う。
【０００７】
ステップ１２〜１５は、ステップ１１で統合された変化領域が、発報対象か否かを判断する特徴量比較部分である。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。ここでは、例として以下のような判断を行う。
【０００８】
すなわち、ステップ１２では、変化領域が一定時間連続で存在するかを見る。
ステップ１３では、変化領域が所定の面積であるか否かを見る。
ステップ１４では、変化領域が所定の縦横寸法か否かを見る。
ステップ１５では、変化領域が所定の移動速度か否かを見る。
【０００９】
以上の結果を受け、ステップ１６では、発報対象発見か対象無しかの判断を行い、上記条件に合致した特徴を持つ変化領域は、発報対象と見なし、発報処理部１０へと渡す。
【００１０】
次に、動作について代表的な例を説明する。図２４に於いて、外部から装置に与えられた映像信号は、ビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られる。このＡ／Ｄ変換部２では受け取ったビデオ信号を後の処理の為にデジタルデータに変換する。１画素あたり８ビットの多値データに変換するのが一般的である。現画像蓄積部３では、入力された現画像データを蓄積し後の処理に備える。また、背景画像蓄積部４では、入力された現画像データを元に作成された背景画像を蓄積し後の処理に備える。背景更新部５では、背景画像蓄積部４に蓄積してある背景画像を定期的に一定ルールで更新処理する。これは定期的にサンプリングされた現画像を元に演算処理されるのが一般で、例としては過去５シーンの現画像の平均値を背景画像とする方法や、一定時間前のフレームの映像である場合が多い。
【００１１】
背景差分部６は、現画像蓄積部３及び背景画像蓄積部４の出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。差分データは一般的には映像中の輝度の変化した部分を表す。通常は、人物や車両のような移動物が主であるが、まれに「太陽光の照り陰り」による建物の影の出現の様な、発報対象ではない輝度の変化を示す場合もある。
【００１２】
敷居値演算部７は、背景差分部６から送られる差分データを２値化する為の敷居値を求める。通常、背景データは多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも２値化して２値データに変換するのが一般的である。ただし、装置によってはこの２値化を行わずに直接差分データを認識処理する場合があるので、ここは参考である。２値化部８は、上記敷居値をもって差分データを２値化する。その結果、以降の処理では変化領域は２値データとなる。
【００１３】
図２６を例にこの変化領域について説明する。図２６は通常の正門の映像である。今、人物が画像内を移動している。この場合、移動している人物の位置がそのまま変化領域となる。図２７が、その変化領域を黒く染めたスーパーインポーズを重複させて示した映像である。認識処理部９は、２値化部８からの２値化された変化領域データを受け、その変化領域が目的のもの（例えば、一般には人物や車両が該当する。以降、発報対象と呼称する。）であるか否かの判断を行う。
【００１４】
認識処理部９では以下の手順で認識を行う。ただし、ここに示すのは１例である。ステップ１１の変化領域統合処理では、変化領域を見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる。ステップ１２〜１５では、ステップ１１で統合された変化領域が、発報対象か否かを判断する。ここでは、あらかじめ定めてあった特徴量に対し、この変化領域が合致するかを比較する。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【００１５】
ここでは、例として以下のような判断を行う。
ステップ１２では、変化領域が一定時間連続で存在するかを見る。
ステップ１３では、変化領域が所定の面積であるか否かを見る。
ステップ１４では、変化領域が所定の縦横寸法か否かを見る。
ステップ１５では、変化領域が所定の移動速度か否かを見る。
【００１６】
上記の「面積」、「縦横寸法」及び「移動速度」は、ステップ１２にある一定時間中の平均を算出して参照されるのが一般的である。しかし、逆に、ここに仮に発報対象ではない全く別の物が現れても（例えば、太陽光の照り陰りによる建物の影の出現）ここで特徴量条件が合致すれば、装置は発報してしまう。このような、非発報対象による誤った発報を、以降、不要検知と呼称する。不要検知であれ正常検知であれ、ステップ１６で発報対象発見と判断されればそれは発報処理部１０に伝えられ、そこで発報処理を行う。通常は、上位にあるＰＣ等に特定の信号を送ったり、装置のブサーを鳴らしたりという処理である。条件に合致しない場合は、発報対象は無かったと見なす。この場合は、次プロセスにはなにも報告されない。なお、認識処理部９、及び発報処理部１０の動作はＳ／Ｗにて処理されるのが一般的である。
【００１７】
【発明が解決しようとする課題】
上述したような従来の監視用画像処理装置では、以上のような構造になっている為、背景差分部６が抽出した変化領域が仮に非発報対象（例えば、太陽光の照り陰りによる建物の影の出現、等）によるものであっても、ステップ１１〜１５の条件に合致すると発報してしまう。特に、屋外において監視業務を行う際は、太陽光の照り陰りによる建物の影の出現のほかに、水面の揺らぎ・きらめき・水紋等により発生させられるケースが多い。つまり、上記の非発報対象を条件に合致すると発報してしまうという問題点があった。
【００１８】
この発明は、前述した問題点を解決するためになされたもので、このような太陽光の照り陰りによる建物の影の出現のような、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に対し、発報対象発見後、直ちに発報処理部で発報処理を行うのではなく、その後も一定時間認識処理を継続してその発報対象の変化領域を観察して、急激な面積の増加や減少が無いことを確認し、その結果をもって発報することにより、上記の様な変化領域に対し、誤って発報してしまう「誤報」を減少させると同時に、「人物」の様な正規発報対象にたいしては正常に発報することができる監視用画像処理装置を得ることを目的とする。
【００１９】
【課題を解決するための手段】
この発明に係る監視用画像処理装置は、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合で、かつ前記変化領域の面積が前記第１の一定時間の後の第２の一定時間において半分以下もしくは倍以上の変化が無いときには発報対象として認識する認識処理手段とを備えたものである。
【００２０】
また、この発明に係る監視用画像処理装置は、前記変化領域抽出手段が、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、前記背景差分データを前記敷居値で２値化する２値化手段とを有するものである。
【００２１】
また、この発明に係る監視用画像処理装置は、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備えたものである。
【００２２】
また、この発明に係る監視用画像処理装置は、前記変化領域抽出手段が、現画像データと１フレーム前の現画像データである比較用背景画像データとの比較演算に基づきそのフレーム間背景差分を変化領域として算出する第１の背景差分手段と、現画像データと比較用背景画像データとの比較演算に基づきその非フレーム間背景差分を変化領域として算出する第２の背景差分手段と、前記フレーム間背景差分データ及び非フレーム間背景差分データに基づき前記フレーム間背景差分データ及び非フレーム間背景差分データをそれぞれ２値化するための第１及び第２の敷居値を算出する敷居値演算手段と、前記フレーム間背景差分データ及び非フレーム間背景差分データを前記第１及び第２の敷居値でそれぞれ２値化し第１及び第２の２値データを出力する２値化手段とを有し、前記認識処理手段が、前記第２の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識する第２の認識処理手段と、前記第１の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合で、かつ前記第２の認識処理手段により前記仮の発報対象として認識されているときには発報対象として認識する第１の認識処理手段とを有するものである。
【００２３】
また、この発明に係る監視用画像処理装置は、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から１フレーム前の現画像データである前記比較用背景画像データを作成して記憶する第１の背景画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する第２の背景画像蓄積手段と、前記第１の背景画像蓄積手段のデータを所定の規則で演算し更新する第１の背景更新手段と、前記第２の背景画像蓄積手段のデータを所定の規則で演算し更新する第２の背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備えたものである。
【００２４】
また、この発明に係る監視用画像処理装置は、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が所定の条件に合致した場合で、かつ前記変化領域の面積が一定時間所定の変化が無いときには発報対象として認識する認識処理手段とを備え、前記変化領域抽出手段が、現画像データと１フレーム前の現画像データである比較用背景画像データとの比較演算に基づきそのフレーム間背景差分を変化領域として算出する第１の背景差分手段と、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する第２の背景差分手段と、前記フレーム間背景差分データ及び背景差分データに基づき前記フレーム間背景差分データ及び背景差分データを２値化するための第１及び第２の敷居値を算出する敷居値演算手段と、前記フレーム間背景差分データ及び背景差分データを前記第１及び第２の敷居値で２値化し第１及び第２の２値データを出力する２値化手段とを有し、前記認識処理手段が、前記第２の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識し、かつ前記第１の２値データに基づき前記抽出した変化領域の面積が一定時間所定の変化が無いときには前記仮の発報対象を発報対象として認識するものである。
【００２５】
また、この発明に係る監視用画像処理装置は、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から１フレーム前の現画像データである前記比較用背景画像データを作成して記憶する第１の背景画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する第２の背景画像蓄積手段と、前記第１の背景画像蓄積手段のデータを所定の規則で演算し更新する第１の背景更新手段と、前記第２の背景画像蓄積手段のデータを所定の規則で演算し更新する第２の背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備えたものである。
【００２６】
また、この発明に係る監視用画像処理装置は、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が所定の条件に合致した場合で、かつ前記変化領域の面積が一定時間所定の変化が無いときには発報対象として認識する認識処理手段とを備え、前記変化領域抽出手段は、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、前記背景差分データを前記敷居値で２値化する２値化手段とを有し、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備え、前記認識処理手段が、前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識し、かつ前記背景更新手段により前記背景画像蓄積手段に１フレーム前の現画像データである比較用背景画像データを記憶させ、フレーム間背景差分データに基づき前記抽出した変化領域の面積が一定時間所定の変化が無いときには前記仮の発報対象を発報対象として認識するものである。
【００２７】
また、この発明に係る監視用画像処理装置は、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出するとともに、前記変化領域に基づき前記変化領域を２値化するための敷居値を算出する変化領域抽出手段と、前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合で、かつ前記変化領域を２値化するための敷居値が前記第１の一定時間の後の第２の一定時間において急激に低い値にならないときには発報対象として認識する認識処理手段とを備えたものである。
【００２８】
また、この発明に係る監視用画像処理装置は、前記変化領域抽出手段が、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、前記背景差分データを前記敷居値で２値化する２値化手段とを有するものである。
【００２９】
また、この発明に係る監視用画像処理装置は、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備え、前記認識処理手段が、前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合は仮の発報対象として認識し、かつ前記背景更新手段により前記背景画像蓄積手段に１フレーム前の現画像データである比較用背景画像データを記憶させ、フレーム間背景差分データに基づき前記抽出した変化領域を前記敷居値演算手段により算出した２値化するための敷居値が前記第１の一定時間の後の第２の一定時間において急激に低い値にならないときには前記仮の発報対象を発報対象として認識するものである。
さらに、この発明に係る監視用画像処理装置は、入力された現画像と背景画像との差分に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が少なくとも発報対象となる移動物と同等の所定面積を有する場合に、背景更新手法を現画像をそのまま背景画像蓄積部に取り込む手法に変更し、直ちに過去の現画像の平均値を背景画像とする手法に戻す背景更新手段を備え、前記背景更新手段にて背景更新手法を現画像をそのまま背景画像蓄積部に取り込む手法に変え、直ちに過去の現画像の平均値を背景画像とする手法に戻した場合には、瞬間的に現画像と１フレーム前の現画像の差分をとるものである。
【００３０】
【発明の実施の形態】
実施の形態１．
この発明の実施の形態１の構成について図１を参照しながら説明する。図１は、この発明の実施の形態１の概略構成を示すブロック図である。なお、各図中、同一符号は同一又は相当部分を示す。
【００３１】
図１において、１は本監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部１から入る映像を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け現在の映像データを記憶する現画像蓄積部、４はＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、５は背景画像蓄積部４のデータを一定ルールで演算し更新する背景更新部である。一般的には単純なルールで更新する。例えば、過去５枚の現画像の平均を背景画像とする、等である。
【００３２】
また、同図において、６は現画像蓄積部３と背景画像蓄積部４の２つの画像を比較し、その差分を算出する背景差分部、７は背景差分部６のデータを２値化するための敷居値を算出する敷居値演算部である。背景差分データを元に最適敷居値を求めるのが一般的である。８は敷居値演算部７で求めた敷居値で差分データを２値化する２値化部である。９Ａは２値化部８から出力される２値データを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部、１０は認識処理部９からの「発報対象発見」の指示を受け発報する発報処理部である。
【００３３】
図２は、本実施の形態１による図１の認識処理部９Ａを更に詳細に示したフローである。ステップ２１では、２値化データを見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる変化領域統合処理を実行する。次に、ステップ２２〜２５では、ステップ２１で統合された変化領域が、発報対象か否かを判断する特徴量比較部処理を実行する。ここで、所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。ここでは、例として以下のようなステップ２２〜２５の判断を行う。
【００３４】
ステップ２２では、変化領域が一定時間連続で存在するかを見る。
ステップ２３では、変化領域が所定の面積であるか否かを見る。
ステップ２４では、変化領域が所定の縦横寸法か否かを見る。
ステップ２５では、変化領域が所定の移動速度か否かを見る。
【００３５】
以上の結果を受け、ステップ２６では、発報対象発見か対象無しかの判断を行う。ただし、ここでは、判断結果は「仮」として扱い、まだ報告されない。ステップ２１７では、更に一定時間、発報対象変化領域を追跡して観察する。そこで、面積の急激な変化を見る。その結果を受け、ステップ２８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を図１の発報処理部１０へと渡す。
【００３６】
図３は、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。また、図４は、上記図３の直後の様子であり、水たまりに水紋が小さくなった画像である。
【００３７】
次に、動作について代表的な例を説明する。認識処理部９Ａ以外は、従来例と同様のため省略する。図２は、本実施の形態１による監視用画像処理装置の「認識処理」の内容図である。
【００３８】
認識処理では以下の手順で認識を行う。ただし、ここに示すのは１例である。ステップ２１の変化領域統合処理は、変化領域を見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる。次に、ステップ２２〜２５は、ステップ２１で統合された変化領域が、発報対象か否かを判断する。ここでは、あらかじめ定めてあった特徴量に対し、この変化領域が合致するかを比較する。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【００３９】
ここでは、例として以下のような判断を行う。
ステップ２２では、変化領域が一定時間連続で存在するかを見る。
ステップ２３では、変化領域が所定の面積であるか否かを見る。
ステップ２４では、変化領域が所定の縦横寸法か否かを見る。
ステップ２５では、変化領域が所定の移動速度か否かを見る。
「面積」、「縦横寸法」、及び「移動速度」は、ステップ２２での一定時間中の平均を算出して参照されるのが一般的である。
【００４０】
次に、ステップ２６で発報対象発見と判断されてもそれは「仮」として扱われ、まだ発報処理部１０には伝えられない。ステップ２７にて、更に認識処理が継続される。そこでは、ステップ２６で仮の発報対象として発見された変化領域につき更に追跡が続けられる。そして、その面積が急激に減少したり増加しないか否かを一定時間（例えば、０．５秒）観察し続ける。もし所定時間内にて異常が発見されなければ、ステップ２８で正式な発報対象発見と判断され、発報処理部１０に報告される。発報処理部１０では発報処理を行う。通常は、上位にあるＰＣ等に特定の信号を送ったり、装置のブサーを鳴らしたりという処理である。ステップ２７で急激な面積の変化が発見されれば、「仮の発報対象発見」は誤りだったと判断し、「正式な発報対象発見」報告はなされない。なお、認識処理部９Ａ、及び発報処理部１０はＳ／Ｗにて処理されるのが一般的である。
【００４１】
以下に本実施の形態１による方式が、どのように作用するかを説明する。今、図３の画像に置いて、正規発報対象である「人物」と、非発報対象である「水紋」が、それぞれ発生した場合を考える。また、仮に双方とも、図２の認識処理における各種条件は満足しており、単独でそれぞれ発報されるものとする。また、ステップ２７で言う「一定時間」を、０．５秒とし、「面積の急激な変化」を半分以下もしくは倍以上と定義する。また、装置は、変化領域を発見した場合、外接四角形を表示し、それを知らせるものとする。
【００４２】
図３は映像内に「水たまり」と「人物」が写っている。装置は、変化領域を発見し、外接四角形を表示している。本装置が発報対象とするのは「人物」である。従って、人物で発報するのは「正常発報」、人物以外で発報するのは「不要検知」である。ここでは、先の仮定で定めた通り、「人物」も「水紋」も面積・縦横寸法・速度が所定範囲内であるため、発報対象と判断される。本装置ではまだ「仮の発報対象発見」である為、発報には至らない。仮に発報すれば、水紋による部分は「不要検知」となってしまう。
【００４３】
この後、装置は、「人物」の変化領域と、「水紋」の変化領域をそれぞれ追跡し観察する。図４は、図３から０．５秒後の画像である。装置は「仮の発報対象」である、「人物」と「水紋」を追跡観察していたが、ここで改めて面積を見る。「人物」は、「仮の発報対象発見」時とほぼ同等の面積を有している。従って、ここでは異常なしと判断され、「正式な発報対象発見」と判断される。
【００４４】
しかし、「水紋」は、「仮の発報対象発見」時の面積に比較し、１／３程度の面積しか有していない。水紋は急激に姿を変え消失するため、このような結果となる。従って、ここでは異常ありと判断され、「正式な発報対象発見」とは判断されない。
【００４５】
以上の通り、「人物」は正規の発報対象発見とされ、「水紋」はそうとはならない。これにより、「水紋」による不要検知は発生しない。以上の通り、本処理により、「人物」の発報を阻害せず、「水紋」の不要検知を防止できた。
【００４６】
以上のように本実施の形態１によれば、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を削減する機能を実現できる。
【００４７】
つまり、発報対象発見時に直ちに発報する事をせず、その後も認識処理を継続して一定時間変化領域を観察し、急激な面積の増加や減少が無いことを確認し、その結果を待って発報する事により、例えば「日照の照り陰りによる影の出現」のような急激な輝度変化に対し、誤って発報してしまう「誤報」を減少させると同時に、「人物」の様な正規発報対象にたいしては正常に発報する機能を有する。
【００４８】
実施の形態２．
この発明の実施の形態２の構成について図５を参照しながら説明する。図５は、この発明の実施の形態２の概略構成を示すブロック図である。
【００４９】
図５において、１は本監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部１から入る映像を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け現在の映像データを記憶する現画像蓄積部、４ａはＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、ここでは特に１フレーム前の現画像の記録をする。また、４ｂもＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、ここでは特に背景画像蓄積部４ａとは異なる画像の記録をする。
【００５０】
また、同図において、５ａは背景画像蓄積部４ａのデータを更新する背景更新部、５ｂは背景画像蓄積部４ｂのデータを一定ルールで演算し更新する背景更新部である。一般的には単純なルールで更新する。例えば、過去５枚の現画像の平均を背景画像とする、等である。
【００５１】
また、同図において、６ａは現画像蓄積部３と背景画像蓄積部４ａの２つの画像を比較し、その差分を算出する背景差分部、背景画像蓄積部４ａが特に１フレーム前の現画像の記録をする為、この出力はフレーム間差分データとなる。６ｂは現画像蓄積部３と背景画像蓄積部４ｂの２つの画像を比較し、その差分を算出する背景差分部である。
【００５２】
さらに、同図において、７は背景差分部６ａ及び背景差分部６ｂのデータ（差分データａ、ｂ）を２値化するための敷居値を算出する敷居値演算部であり、背景差分データを元に最適敷居値を求めるのが一般的である。８は敷居値演算部７で求めた敷居値で差分データを２値化する２値化部であり、差分データａ、ｂ各個に２値化されるため、出力される２値化データも２種類である（２値化データａ、ｂ）。９ａは２値化部８から出力される２値データａを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部、９ｂは２値化部８から出力される２値データｂを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部であり、併せて認識処理部９ａの認識結果も統合して判断する。１０は認識処理部９ｂからの「発報対象発見」の指示を受け発報する発報処理部である。
【００５３】
図６は、本実施の形態２による図５の認識処理部９ｂを更に詳細に示したフローである。なお、認識処理部９ａについては、認識処理部９ｂのステップ３７、３８が無い以外、同様のため省略する。入力されるデータは、通常は２値データｂである。
【００５４】
ステップ３１では、２値化データを見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる変化領域統合処理を実行する。次に、ステップ３２〜３５では、ステップ３１で統合された変化領域が、発報対象か否かを判断する特徴量比較処理を実行する。ここで、所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【００５５】
ここでは、例として以下のようなステップ３２〜３５の判断を行う。
ステップ３２では、変化領域が一定時間連続で存在するかを見る。
ステップ３３では、変化領域が所定の面積であるか否かを見る。
ステップ３４では、変化領域が所定の縦横寸法か否かを見る。
ステップ３５では、変化領域が所定の移動速度か否かを見る。
以上の結果を受け、ステップ３６では、発報対象発見か対象無しかの判断を行う。ただし、ここでは、判断結果は「仮」として扱い、まだ報告されない。
【００５６】
ステップ３７では、更に発報対象変化領域を追跡して観察する。ここでは、以降は認識処理部９ａの認識結果を参照する。上記「仮の発報対象発見」の対象である変化領域と同じものを、認識処理部９ｂでも「仮の発報対象発見」としているかを判断する。その結果を受け、ステップ３８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。
【００５７】
図７は、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。図８は、上記図の直後の様子であり、水たまりの水紋が若干小さくなった画像である。また、図９は、上記図を背景差分部６ｂの方式で差分データを求め２値化した結果である。図１０は、上記図を背景差分部６ａの方式で差分データを求め２値化した結果である。
【００５８】
次に、動作について代表的な例を説明する。図５に於いて、外部から装置に与えられた映像信号はビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られる。このＡ／Ｄ変換部２では受け取ったビデオ信号を後の処理の為にデジタルデータに変換する。１画素あたり８ビットの多値データに変換するのが一般的である。現画像蓄積部３では入力された現画像データを蓄積し後の処理に備える。
【００５９】
背景画像蓄積部４ａでは入力された１つ前のフレームの現画像データを蓄積し後の処理に備える。一方、背景画像蓄積部４ｂでは入力された現画像データを元に作成された背景画像を蓄積し後の処理に備える。
【００６０】
背景更新部５ａでは、後のフレーム間差分に備えて背景画像蓄積部４ａに蓄積してある背景画像を定期的に一定ルールで更新処理する。これは毎フレームサンプリングした現画像を置き換えるのが一般である。一方、背景更新部５ｂでは、背景画像蓄積部４ｂに蓄積してある背景画像を定期的に一定ルールで更新処理する。これは定期的にサンプリングされた現画像を元に演算処理されるのが一般で、例としては過去１００シーンの現画像の平均値を背景画像とする方法や、一定時間前（例えば、５秒）のフレームの映像である場合が多い。ここでは、仮に５秒前のフレームの映像に置き換える更新を行うものとして進める。
【００６１】
背景差分部６ｂは、現画像蓄積部３及び背景画像蓄積部４ｂの出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。差分データは一般的には映像中の輝度の変化した部分を表す。通常は、人物や車両のような移動物が主であるが、まれに「太陽光の照り陰り」による建物の影の出現の様な、発報対象ではない輝度の変化を示す場合もある。
【００６２】
一方、背景差分部６ａは、現画像蓄積部３及び背景画像蓄積部４ａの出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。ここでは現画像と、１フレーム前の現画像の差分をとるため、必然的にフレーム間差分となる。フレーム間差分による差分データは一般的には１フレーム間の輝度の変化した部分を表す。通常は、高速で動く人物や車両のような移動物が主である。その性格上、１フレーム程度の時間差では明確な差が現れないため、低速で動く人物等はうまく差分データが抽出できない。しかし、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【００６３】
敷居値演算部７は、背景差分部６ａ、及び背景差分部６ｂから送られる差分データ（差分データａ、ｂ）を２値化する為の敷居値を求める。通常、背景データは多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも２値化して２値データに変換するのが一般的である。ただし、装置によってはこの２値化を行わずに直接、差分データを認識処理する場合があるので、ここは参考である。
【００６４】
２値化部８は、上記敷居値をもって差分データａ、ｂを２値化する。その結果、以降の処理では変化領域は２値データ（２値データａ、ｂ）となる。
【００６５】
図２６を例にこの変化領域について説明する。図２６は通常の正門の映像である。今、人物が画像内を移動している。この場合、移動している人物の位置がそのまま変化領域となる。図２７が、その変化領域を黒く染めたスーパーインポーズを重複させて示した映像である。
【００６６】
認識処理部９ａは、２値化部８からの２値化データａを受け、それが示す変化領域が目的のもの（例えば、一般には人物や車両が該当する。以降、発報対象と呼称する。）であるか否かの判断を行う。また、認識処理部９ｂは、２値化部８からの２値化データｂを受け、それが示す変化領域が目的のもの（例えば、一般には人物や車両が該当する。以降、発報対象と呼称する。）であるか否かの判断を行う。
【００６７】
図６は、本実施の形態２による監視用画像処理装置の認識処理部９ｂの内容図である。なお、認識処理部９ａの内容については、認識処理部９ｂの内容のステップ３７、３８が無いもので、他は同様のため省略する。
【００６８】
認識処理部９ｂでは以下の手順で認識を行う。ただし、ここに示すのは１例である。通常、この認識処理部９ｂでは、２値データｂを対象にする。ステップ３１の変化領域統合処理では、変化領域を見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる。次に、ステップ３２〜３５は、ステップ３１で統合された変化領域が、発報対象か否かを判断する。ここでは、あらかじめ定めてあった特徴量に対し、この変化領域が合致するかを比較する。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【００６９】
ここでは、例として以下のような判断を行う。
ステップ３２では、変化領域が一定時間連続で存在するかを見る。
ステップ３３では、変化領域が所定の面積であるか否かを見る。
ステップ３４では、変化領域が所定の縦横寸法か否かを見る。
ステップ３５では、変化領域が所定の移動速度か否かを見る。
「面積」、「縦横寸法」、及び「移動速度」は、ステップ３２での一定時間中の平均を算出して参照されるのが一般的である。
【００７０】
ステップ３６で発報対象発見と判断されてもそれは「仮」として扱われ、まだ発報処理部１０には伝えられない。ステップ３７では、更に一定時間、発報対象変化領域を追跡して観察する。ステップ３６で、仮の発報対象として発見された変化領域につき更に追跡が続けられる。そこでは、以降は、認識処理部９ａの認識結果を参照する。上記「仮の発報対象発見」の対象である変化領域と同じものを、認識処理部９ａでも「仮の発報対象発見」としているかを判断する。
【００７１】
認識処理部９ａでは、先述の通りフレーム間差分データを参照しており、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【００７２】
そして、先ほど「仮の発報対象発見」となった変化領域と同じ変化領域を、この認識処理部９ｂでも「仮の発報対象発見」として発見しているかを見る。先のフレーム間差分の特徴により、「仮の発報対象発見」が「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による場合は、ここではさほど大きな面積を抽出できない。従って、「仮の発報対象発見」とはならない。その結果から、装置は異常を判断できる。
【００７３】
その結果を受け、ステップ３８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。もし、異常が発見されなければ、ステップ３８で正式な発報対象発見と判断され、発報処理部１０に報告される。この発報処理部１０では発報処理を行う。通常は、上位にあるＰＣ等に特定の信号を送ったり、装置のブサーを鳴らしたりという処理である。ステップ３７で異常が発見されれば、「仮の発報対象発見」は誤りだったと判断し、「正式な発報対象発見」報告はなされない。なお、認識処理部９ａ、９ｂ、及び発報処理部１０はＳ／Ｗにて処理されるのが一般的である。
【００７４】
以下に本実施の形態２による方式が、どのように作用するかを説明する。今、図７の画像に置いて、正規発報対象である「人物」と、非発報対象である「水紋」が、それぞれ発生した場合を考える。また、仮に双方とも、図６の認識処理における各種条件は満足しており、単独でそれぞれ発報されるものとする。また、ステップ３７で言う「一定時間」を、０．５秒とし、「面積の急激な変化」を半分以下もしくは倍以上と定義する。また、装置は、変化領域を発見した場合、外接四角形を表示し、それを知らせるものとする。
【００７５】
図７は、映像内に「水たまり」と「人物」が写っている。装置は、変化領域を発見し、外接四角形を表示している。本装置が発報対象とするのは「人物」である。従って、人物で発報するのは「正常発報」、人物以外で発報するのは「不要検知」である。ここでは、先の仮定で定めた通り、「人物」も「水紋」も面積・縦横寸法・速度が所定範囲内であるため、発報対象と判断される。本装置ではまだ「仮の発報対象発見」である為、発報には至らない。仮に発報すれば、水紋による部分は「不要検知」となってしまう。
【００７６】
この後、装置は、「人物」の変化領域と、「水紋」の変化領域をそれぞれ追跡し観察する。図８は、図７から０．５秒後の画像である。水紋は縮小しているが、まだ十分に小さくなってはいない。
【００７７】
図９は、図８の現画像に対し、背景差分部６ｂにて背景差分した結果を示したものである。一方、図１０は、図８の現画像に対し、背景差分部６ａにて背景差分した結果を示したものである。
【００７８】
図９では、水紋が背景画像ｂ（ここでは５秒前のフレームの映像である前提）と現画像の差分をとるため、水紋と人物がそのまま切り出される。一方、図１０では、水紋が背景画像ａ（ここでは１つ前のフレームの映像である前提）と現画像の差分をとるため、必然的にフレーム間差分となり水紋の「１フレームの間に縮まった部分」と、人物の「１フレームの時間に移動した部分」のみが切り出される。
【００７９】
装置は、２種類の背景更新手法を並行して認識処理していたが、ここで改めて２つの結果を見る。図１０でのフレーム間差分の結果、「人物」は、図９に比較し若干縮小した面積を有している。しかし、半分には至らないためここでは「仮の発報対象発見」と判断される。しかし、「水紋」は、フレーム間差分の結果、図９に比較し１／３程度の面積しか有していない。水紋が１フレーム間にその程度しか消失しないため、このような結果となる。従って、ここでは「仮の発報対象発見」とは判断されない。以上の通り、「人物」は認識処理部９ａ、９ｂ双方で仮の発報対象発見とされ、「水紋」はそうとはならない。それより、「水紋」の変化領域は、正式な発報対象とは認められない。以上の通り、本処理により、「人物」の発報を阻害せず、「水紋」の不要検知を防止できた。
【００８０】
以上のように本実施の形態２によれば、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を上記実施の形態１で述べた効果以上に正確に削減する機能を実現できる。
【００８１】
つまり、背景差分手段を複数持ち（うち１つはフレーム間差分）、背景差分は、常時複数（うち１つはフレーム間差分）を行っておき、発報対象発見時に直ちに発報する事をせず、その後フレーム間差分による認識処理も重ねて行い、２つの結果に大きな面積の差が無いことを確認し、その結果を待って発報する事により、例えば「日照の照り陰りによる影の出現」のような急激な輝度変化に対し、誤って発報してしまう「誤報」を、より確実に減少させると同時に、「人物」の様な正規発報対象にたいしては正常に発報する機能を有する。
【００８２】
実施の形態３．
この発明の実施の形態３の構成について図１１を参照しながら説明する。図１１は、この発明の実施の形態３の概略構成を示すブロック図である。
【００８３】
図１１において、１は本監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部１から入る映像を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け現在の映像データを記憶する現画像蓄積部である。
【００８４】
また、同図において、４ａはＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部であり、ここでは特に１フレーム前の現画像の記録をする。４ｂもＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部であり、ここでは特に背景画像蓄積部４ａとは異なる画像の記録をする。
【００８５】
また、同図において、５ａは背景画像蓄積部４ａのデータを更新する背景更新部、５ｂは背景画像蓄積部４ｂのデータを一定ルールで演算し更新する背景更新部であり、一般的には単純なルールで更新する。例えば、過去５枚の現画像の平均を背景画像とする、等である。
【００８６】
また、同図において、６ａは現画像蓄積部３と背景画像蓄積部４ａの２つの画像を比較し、その差分を算出する背景差分部であり、背景画像蓄積部４ａが特に１フレーム前の現画像の記録をする為、この出力はフレーム間差分データとなり、差分データａと呼称する場合もある。一方、６ｂは現画像蓄積部３と背景画像蓄積部４ｂの２つの画像を比較し、その差分を算出する背景差分部であり、特に、背景差分部６ａと区別するため、ここではここで作成される差分データを非フレーム間差分データと仮に呼称する。なお、差分データｂと呼称する場合もある。
【００８７】
さらに、同図において、７は背景差分部６ａ及び背景差分部６ｂ のデータ（差分データａ、ｂ）を２値化するための敷居値を算出する敷居値演算部であり、背景差分データを元に最適敷居値を求めるのが一般的である。８は敷居値演算部７で求めた敷居値で差分データを２値化する２値化部であり、差分データａ、ｂ各個に２値化されるため、出力される２値化データも２種類である。（以降、２値化データａ、ｂと呼称する。）また、９Ｂは２値化部８から出力される２値データａ、ｂを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部であり、通常は２値データｂを使用し判定処理している。詳細は後述する。１０は認識処理部９Ｂからの「発報対象発見」の指示を受け発報する発報処理部である。
【００８８】
図１２は、本実施の形態３による図１１の認識処理部９Ｂを更に詳細に示したフローである。入力されるデータは、通常は２値データｂである。そして、特に指示ある場合は２値データａである。この指示は後述する。
【００８９】
ステップ４１では、２値化データを見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる変化領域統合処理である。次に、ステップ４２〜４５は、ステップ４１で統合された変化領域が、発報対象か否かを判断する特徴量比較部分である。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【００９０】
ここでは、例として以下のようなステップ４２〜４５の判断を行う。
ステップ４２では、変化領域が一定時間連続で存在するかを見る。
ステップ４３では、変化領域が所定の面積であるか否かを見る。
ステップ４４では、変化領域が所定の縦横寸法か否かを見る。
ステップ４５では、変化領域が所定の移動速度か否かを見る。
以上の結果を受け、ステップ４６では、発報対象発見か対象無しかの判断を行う。ただし、ここでは、判断結果は「仮」として扱い、まだ報告されない。
【００９１】
ステップ４７では、更に一定時間、この「仮の発報対象発見」の対象である発報対象変化領域を追跡して観察する。そこでは、先ず、先のステップ４１の変化領域統合処理に入力される２値データを、２値データｂから２値データａに切り替える。そして、ステップ４７にて面積を見る。２値データｂを元に求められていた面積に対し、２値データａを元に求められていた面積を比較し、面積の急激な変化を見る。その結果を受け、ステップ４８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。
【００９２】
図１３は、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。図１４は、上記図の直後の様子であり、水たまりの水紋が若干小さくなった画像である。また、図１５は、上記図を背景差分部６ｂの方式で差分データを求め２値化した結果である。図１６は、上記図を背景差分部６ａの方式で差分データを求め２値化した結果である。
【００９３】
次に、動作について代表的な例を説明する。図１１に於いて、外部から装置に与えられた映像信号はビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られる。このＡ／Ｄ変換部２では受け取ったビデオ信号を後の処理の為にデジタルデータに変換する。１画素あたり８ビットの多値データに変換するのが一般的である。現画像蓄積部３では入力された現画像データを蓄積し後の処理に備える。
【００９４】
背景画像蓄積部４ａでは入力された１つ前のフレームの現画像データを蓄積し後の処理に備える。一方、背景画像蓄積部４ｂでは入力された現画像データを元に作成された背景画像を蓄積し後の処理に備える。
【００９５】
背景更新部５ａでは、後のフレーム間差分に備えて背景画像蓄積部４ａに蓄積してある背景画像を定期的に一定ルールで更新処理する。これは毎フレームサンプリングした現画像を置き換えるのが一般である。一方、背景更新部５ｂでは、背景画像蓄積部４ｂに蓄積してある背景画像を定期的に一定ルールで更新処理する。これは定期的にサンプリングされた現画像を元に演算処理されるのが一般で、例としては過去１００シーンの現画像の平均値を背景画像とする方法や、一定時間前（例えば、５秒）のフレームの映像である場合が多い。ここでは仮に５秒前のフレームの映像に置き換える更新を行うものとして進める。
【００９６】
背景差分部６ｂは、現画像蓄積部３及び背景画像蓄積部４ｂの出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。差分データは一般的には映像中の輝度の変化した部分を表す。通常は、人物や車両のような移動物が主であるが、まれに「太陽光の照り陰り」による建物の影の出現の様な、発報対象ではない輝度の変化を示す場合もある。
【００９７】
一方、背景差分部６ａは、現画像蓄積部３及び背景画像蓄積部４ａの出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。ここでは現画像と、１フレーム前の現画像の差分をとるため、必然的にフレーム間差分となる。フレーム間差分による差分データは一般的には１フレーム間の輝度の変化した部分を表す。通常は、高速で動く人物や車両のような移動物が主である。その性格上、１フレーム程度の時間差では明確な差が現れないため、低速で動く人物等はうまく差分データが抽出できない。しかし、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【００９８】
敷居値演算部７は、背景差分部６ａ及び背景差分部６ｂ から送られる差分データ（差分データａ、ｂ）を２値化する為の敷居値を求める。通常、背景データは多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも２値化して２値データに変換するのが一般的である。ただし、装置によってはこの２値化を行わずに直接、差分データを認識処理する場合があるので、ここは参考である。
【００９９】
２値化部８は、上記敷居値をもって差分データａ、ｂを２値化する。その結果、以降の処理では変化領域は２値データ（２値データａ、ｂ）となる。
【０１００】
図２６を例にこの変化領域について説明する。図２６は通常の正門の映像である。今、人物が画像内を移動している。この場合、移動している人物の位置がそのまま変化領域となる。図２７が、その変化領域を黒く染めたスーパーインポーズを重複させて示した映像である。
【０１０１】
認識処理部９Ｂは、２値化部８からの２値化データａ、ｂを受け、それが示す変化領域が目的のもの（例えば、一般には人物や車両が該当する。以降、発報対象と呼称する。）であるか否かの判断を行う。
【０１０２】
図１２は、本実施の形態３による監視用画像処理装置の認識処理部９Ｂの内容図である。この認識処理部９Ｂでは以下の手順で認識を行う。ただし、ここに示すのは１例である。通常、この認識処理では、２値データｂを対象にする。必要に応じ２値データａを参照する場合があるが、後述のようにそれは特定の時である。
【０１０３】
ステップ４１の変化領域統合処理は、変化領域を見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる。次に、ステップ４２〜４５は、ステップ４１で統合された変化領域が、発報対象か否かを判断する。ここでは、あらかじめ定めてあった特徴量に対し、この変化領域が合致するかを比較する。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【０１０４】
ここでは、例として以下のような判断を行う。
ステップ４２では、変化領域が一定時間連続で存在するかを見る。
ステップ４３では、変化領域が所定の面積であるか否かを見る。
ステップ４４では、変化領域が所定の縦横寸法か否かを見る。
ステップ４５では、変化領域が所定の移動速度か否かを見る。
「面積」、「縦横寸法」、及び「移動速度」は、ステップ４２での一定時間中の平均を算出して参照されるのが一般的である。ステップ４６で発報対象発見と判断されてもそれは「仮」として扱われ、まだ発報処理部１０には伝えられない。
【０１０５】
ステップ４７では、更に一定時間、発報対象変化領域を追跡して観察する。ステップ４６で仮の発報対象として発見された変化領域につき更に追跡が続けられる。追跡に先立ち、先ず、先のステップ４１の変化領域統合処理に入力される２値データを、２値データｂから２値データａに切り替える。
【０１０６】
これは先述の通りフレーム間差分データであり、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。そして、先ほど「仮の発報対象発見」となった変化領域を、この２値データａによる変化領域で再度追跡し、２値データｂを元に求められていた面積に対し、２値データａを元に求められていた面積と比較し、面積の急激な変化を見る。
【０１０７】
先のフレーム間差分の特徴により、「仮の発報対象発見」が「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による場合は、ここではさほど大きな面積を抽出できない。従って、その面積の急激な変化から、装置は異常を判断できる。
【０１０８】
その結果を受け、ステップ４８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。もし、所定時間内にて異常が発見されなければ、ステップ４８で正式な発報対象発見と判断され、発報処理部１０に報告される。この発報処理部１０では発報処理を行う。通常は、上位にあるＰＣ等に特定の信号を送ったり、装置のブサーを鳴らしたりという処理である。ステップ４７で急激な面積の変化が発見されれば、「仮の発報対象発見」は誤りだったと判断し、「正式な発報対象発見」報告はなされない。なお、認識処理部９Ｂ、及び発報処理部１０はＳ／Ｗにて処理されるのが一般的である。
【０１０９】
以下に本実施の形態３による方式が、どのように作用するかを説明する。今、図１３の画像において、正規発報対象である「人物」と、非発報対象である「水紋」が、それぞれ発生した場合を考える。また、仮に双方とも、図１２の認識処理における各種条件は満足しており、単独でそれぞれ発報されるものとする。また、ステップ４７で言う「一定時間」を、０．５秒とし、「面積の急激な変化」を半分以下もしくは倍以上と定義する。また、装置は、変化領域を発見した場合、外接四角形を表示し、それを知らせるものとする。
【０１１０】
図１３は、映像内に「水たまり」と「人物」が写っている。装置は、変化領域を発見し、外接四角形を表示している。本装置が発報対象とするのは「人物」である。従って、人物で発報するのは「正常発報」、人物以外で発報するのは「不要検知」である。ここでは、先の仮定で定めた通り、「人物」も「水紋」も面積・縦横寸法・速度が所定範囲内であるため、発報対象と判断される。本装置ではまだ「仮の発報対象発見」である為、発報には至らない。仮に発報すれば、水紋による部分は「不要検知」となってしまう。
【０１１１】
この後、装置は、「人物」の変化領域と、「水紋」の変化領域をそれぞれ追跡し観察する。図１４は、図１３から０．５秒後の画像である。水紋は縮小しているが、まだ十分に小さくなってはいない。
【０１１２】
図１５は、図１４の現画像に対し、背景差分部６ｂにて背景差分した結果を示したものである。一方、図１６は、図１４の現画像に対し、背景差分部６ａにて背景差分した結果を示したものである。
【０１１３】
図１５では、水紋が背景画像ｂ（ここでは５秒前のフレームの映像である前提）と現画像の差分をとるため、水紋と人物がそのまま切り出される。一方、図１６では、水紋が背景画像ａ（ここでは１つ前のフレームの映像である前提）と現画像の差分をとるため、必然的にフレーム間差分となり水紋の「１フレームの間に縮まった部分」と、人物の「１フレームの時間に移動した部分」のみが切り出される。
【０１１４】
装置は、背景更新手法を、背景更新部５ｂからフレーム間差分に変えて「仮の発報対象」である、「人物」と「水紋」を追跡観察していたが、ここで改めて面積を見る。フレーム間差分の結果、「人物」は、「仮の発報対象発見」時より若干縮小した面積を有している。しかし、半分には至らないためここでは異常なしと判断され、「正式な発報対象発見」と判断される。しかし、「水紋」は、フレーム間差分の結果、「仮の発報対象発見」時の面積に比較し、１／３程度の面積しか有していない。水紋が１フレーム間にその程度しか消失しないため、このような結果となる。従って、ここでは異常ありと判断され、「正式な発報対象発見」とは判断されない。
【０１１５】
以上の通り、「人物」は正規の発報対象発見とされ、「水紋」はそうとはならない。これにより、「水紋」による不要検知は発生しない。以上の通り、本処理により、「人物」の発報を阻害せず、「水紋」の不要検知を防止できた。
【０１１６】
以上のように本実施の形態３によれば、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を上記実施の形態１で述べた効果以上に正確削減する機能を実現できる。かつ、その為の装置の構成が、上記実施の形態２よりも簡便になる。
【０１１７】
つまり、背景差分手段を複数持ち（うち１つはフレーム間差分）、発報対象発見時に直ちに発報する事をせず、その後も背景差分手段をフレーム間差分に変えて認識処理を継続して一定時間変化領域を観察し、急激な面積の増加や減少が無いことを確認し、その結果を待って発報する事により、認識処理を２回行わずに、その分不要な時間をかけずに、上記実施の形態２と同様の効果を得ることができる機能を有する。
【０１１８】
実施の形態４．
この発明の実施の形態４の構成について図１７を参照しながら説明する。図１７は、この発明の実施の形態４の概略構成を示すブロック図である。
【０１１９】
図１７において、１は本監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部２から入る映像を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け現在の映像データを記憶する現画像蓄積部、４はＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、５は背景画像蓄積部４のデータを一定ルールで演算し更新する背景更新部であり、一般的には単純なルールで更新する。例えば、過去５枚の現画像の平均を背景画像とする、等である。また、この背景更新部５Ａは、後述する認識処理部の指定により、背景更新手法を切り替えうる。６は現画像蓄積部３と背景画像蓄積部４の２つの画像を比較し、その差分を算出する背景差分部、７は背景差分部６のデータを２値化するための敷居値を算出する敷居値演算部であり、背景差分データを元に最適敷居値を求めるのが一般的である。８は敷居値演算部７で求めた敷居値で差分データを２値化する２値化部、９Ｃは２値化部８から出力される２値データを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部、１０は認識処理部９Ｃからの「発報対象発見」の指示を受け発報する発報処理部である。
【０１２０】
図１８は、本実施の形態４による図１７の認識処理部９Ｃを更に詳細に示したフローである。
【０１２１】
ステップ５１は、２値化データを見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる変化領域統合処理である。次に、ステップ５２〜５５は、ステップ５１で統合された変化領域が、発報対象か否かを判断する特徴量比較部分である。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【０１２２】
ここでは、例として以下のようなステップ５２〜５５の判断を行う。
ステップ５２では、変化領域が一定時間連続で存在するかを見る。
ステップ５３では、変化領域が所定の面積であるか否かを見る。
ステップ５４では、変化領域が所定の縦横寸法か否かを見る。
ステップ５５では、変化領域が所定の移動速度か否かを見る。
以上の結果を受け、ステップ５６では、発報対象発見か対象無しかの判断を行う。ただし、ここでは、判断結果は「仮」として扱い、まだ報告されない。
【０１２３】
ステップ５７では、更に一定時間、発報対象変化領域を追跡して観察する。そこでは、先ず、先の背景更新部５Ａに、背景画像蓄積部４に取り込む画像を現画像にするように指示する。そして、ステップ５７にて面積を見る。切り替え前に求められていた面積に対し、切り替え後に求められた面積を比較し、面積の急激な変化を見る。その結果を受け、ステップ５８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。
【０１２４】
図１９は、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。図２０は、上記図の直後の様子であり、水たまりの水紋が若干小さくなった画像である。また、図２１は、上記図を、背景画像蓄積部４に取り込む画像を現画像にするよう背景更新部５Ａを切り替えて差分データを求め２値化した結果である。
【０１２５】
次に、動作について代表的な例を説明する。図１７に於いて、外部から装置に与えられた映像信号はビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られる。このＡ／Ｄ変換部２では受け取ったビデオ信号を後の処理の為にデジタルデータに変換する。１画素あたり８ビットの多値データに変換するのが一般的である。現画像蓄積部３では入力された現画像データを蓄積し後の処理に備える。背景画像蓄積部４では入力された現画像データを元に作成された背景画像を蓄積し後の処理に備える。
【０１２６】
背景更新部５Ａでは、背景画像蓄積部４に蓄積してある背景画像を定期的に一定ルールで更新処理する。これは定期的にサンプリングされた現画像を元に演算処理されるのが一般で、例としては過去１００シーンの現画像の平均値を背景画像とする方法や、一定時間前（例えば、５秒）のフレームの映像である場合が多い。ここでは仮に過去１００シーンの現画像の平均値に置き換える更新を行うものとして進める。ただし、ここでは認識処理部９Ｃの指示により背景更新方法を別な方法に切り替える機能を有する。そのとき切り替えられる背景更新手法とは、例えば現画像をそのまま背景画像蓄積部４に取り込むというものである。
【０１２７】
背景差分部６は、現画像蓄積部３及び背景画像蓄積部４の出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。差分データは一般的には映像中の輝度の変化した部分を表す。通常は、人物や車両のような移動物が主であるが、まれに「太陽光の照り陰り」による建物の影の出現の様な、発報対象ではない輝度の変化を示す場合もある。
【０１２８】
ただし、背景更新部５Ａにて背景更新手法を「現画像をそのまま背景画像蓄積部４に取り込む」方式に変え、また元に戻した場合は、瞬間的に現画像と１フレーム前の現画像の差分をとることになり、必然的にこの瞬間のみフレーム間差分となる。また、その後、背景更新部５Ａにて背景更新手法を元に戻しても、元の背景画像同様の背景画像に戻るためにはさらに１００シーン分の時間が必要で（現在の背景更新手法が、過去１００シーンの現画像の平均値に置き換える更新を行うという前提のため）その間の背景差分結果も暫定的にフレーム間差分に近いものとなる。（徐々に通常の背景差分の結果に移り変わっている。）
【０１２９】
フレーム間差分による差分データは、一般的には１フレーム間の輝度の変化した部分を表す。通常は、高速で動く人物や車両のような移動物が主である。その性格上、１フレーム程度の時間差では明確な差が現れないため、低速で動く人物等はうまく差分データが抽出できない。しかし、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【０１３０】
敷居値演算部７は、背景差分部６から送られる差分データを２値化する為の敷居値を求める。通常、背景データは多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも２値化して２値データに変換するのが一般的である。ただし、装置によってはこの２値化を行わずに直接、差分データを認識処理する場合があるので、ここは参考である。
【０１３１】
２値化部８は、上記敷居値をもって差分データを２値化する。その結果、以降の処理では変化領域は２値データとなる。
【０１３２】
図２６を例にこの変化領域について説明する。図２６は通常の正門の映像である。今、人物が画像内を移動している。この場合、移動している人物の位置がそのまま変化領域となる。図２７が、その変化領域を黒く染めたスーパーインポーズを重複させて示した映像である。
【０１３３】
認識処理部９Ｃは、２値化部８からの２値化データを受け、それが示す変化領域が目的のもの（例えば、一般には人物や車両が該当する。以降、発報対象と呼称する。）であるか否かの判断を行う。
【０１３４】
図１８は、本実施の形態４による監視用画像処理装置の認識処理部９Ｃの内容図である。認識処理部９Ｃでは以下の手順で認識を行う。ただし、ここに示すのは１例である。
【０１３５】
ステップ５１の変化領域統合処理は、変化領域を見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる。次に、ステップ５２〜５５）は、ステップ５１で統合された変化領域が、発報対象か否かを判断する。ここでは、あらかじめ定めてあった特徴量に対し、この変化領域が合致するかを比較する。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【０１３６】
ここでは、例として以下のような判断を行う。
ステップ５２では、変化領域が一定時間連続で存在するかを見る。
ステップ５３では、変化領域が所定の面積であるか否かを見る。
ステップ５４では、変化領域が所定の縦横寸法か否かを見る。
ステップ５５では、変化領域が所定の移動速度か否かを見る。
「面積」、「縦横寸法」、及び「移動速度」は、ステップ５２での一定時間中の平均を算出して参照されるのが一般的である。ステップ５６で発報対象発見と判断されてもそれは「仮」として扱われ、まだ発報処理部１０には伝えられない。
【０１３７】
ステップ５７では、更に一定時間、発報対象変化領域を追跡して観察する。追跡に先立ち、そこでは先ず、先の背景更新部５Ａに、背景画像蓄積部４に取り込む画像を現画像にするように指示する。そのままでは、背景差分部６で比較されるのが現画像同士となり差分が出ない。直ちに先の背景更新部５Ａに、背景画像蓄積部４に取り込む画像をもとの方式に戻す様に指示する。
【０１３８】
これ以降、１００シーン分の時間を経て背景画像蓄積部４の背景画像は本来のデータに戻る（現在の背景更新手法が、過去１００シーンの現画像の平均値に置き換える更新を行うという前提のため）が、その間は背景更新は中途なものとなる。
【０１３９】
切り替え直後は瞬間的に現画像と１フレーム前の現画像の差分をとることになり、必然的にこの瞬間のみフレーム間差分となる。しかし、その後、背景画像が徐々に通常の背景画像に移り変わっていく為、徐々に通常の背景差分データに戻っていく。
【０１４０】
先述の通りフレーム間差分データでは、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【０１４１】
そして、先ほど「仮の発報対象発見」となった変化領域を、フレーム間差分による変化領域で再度追跡し、その結果の面積を比較し、面積の急激な変化を見る。先のフレーム間差分の特徴により、「仮の発報対象発見」が「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による場合は、ここではさほど大きな面積を抽出できない。従って、その面積の急激な変化から、装置は異常を判断できる。
【０１４２】
その結果を受け、ステップ５８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。もし、所定時間内にて異常が発見されなければ、ステップ５８で正式な発報対象発見と判断され、発報処理部１０に報告される。この発報処理部１０では発報処理を行う。通常は、上位にあるＰＣ等に特定の信号を送ったり、装置のブサーを鳴らしたりという処理である。ステップ５７で急激な面積の変化が発見されれば、「仮の発報対象発見」は誤りだったと判断し、「正式な発報対象発見」報告はなされない。なお、認識処理部９Ｃ、及び発報処理部１０はＳ／Ｗにて処理されるのが一般的である。
【０１４３】
以下に本実施の形態４による方式が、どのように作用するかを説明する。今、図１９の画像において、正規発報対象である「人物」と、非発報対象である「水紋」が、それぞれ発生した場合を考える。また、仮に双方とも、図１８の認識処理における各種条件は満足しており、単独でそれぞれ発報されるものとする。また、ステップ５７で言う「一定時間」を、０．５秒とし、「面積の急激な変化」を半分以下もしくは倍以上と定義する。また、装置は、変化領域を発見した場合、外接四角形を表示し、それを知らせるものとする。
【０１４４】
図１９は、映像内に「水たまり」と「人物」が写っている。装置は、変化領域を発見し、外接四角形を表示している。本装置が発報対象とするのは「人物」である。従って、人物で発報するのは「正常発報」、人物以外で発報するのは「不要検知」である。ここでは、先の仮定で定めた通り、「人物」も「水紋」も面積・縦横寸法・速度が所定範囲内であるため、発報対象と判断される。本装置ではまだ「仮の発報対象発見」である為、発報には至らない。仮に発報すれば、水紋による部分は「不要検知」となってしまう。
【０１４５】
この後、装置は、「人物」の変化領域と、「水紋」の変化領域をそれぞれ追跡し観察する。図２０は、図１９から０．５秒後の画像である。水紋は縮小しているが、まだ十分に小さくなってはいない。
【０１４６】
図２１は、図２０の現画像に対し、上述の背景更新手法の切り替え直後の背景差分した結果を示したものである。そこでは、水紋が背景画像（ここでは１つ前のフレームの映像である前提）と現画像の差分をとるため、必然的にフレーム間差分となり水紋の「１フレームの間に縮まった部分」と、人物の「１フレームの時間に移動した部分」のみが切り出される。
【０１４７】
装置は、背景更新手法を、従来の背景更新手法からフレーム間差分に変えて「仮の発報対象」である、「人物」と「水紋」を追跡観察していたが、ここで改めて面積を見る。フレーム間差分の結果、「人物」は、「仮の発報対象発見」時より若干縮小した面積を有している。しかし、半分には至らないためここでは異常なしと判断され、「正式な発報対象発見」と判断される。
【０１４８】
しかし、「水紋」は、フレーム間差分の結果、「仮の発報対象発見」時の面積に比較し、１／３程度の面積しか有していない。水紋が１フレーム間にその程度しか消失しないため、このような結果となる。従って、ここでは異常ありと判断され、「正式な発報対象発見」とは判断されない。
【０１４９】
以上の通り、「人物」は正規の発報対象発見とされ、「水紋」はそうとはならない。これにより、「水紋」による不要検知は発生しない。以上の通り、本処理により、「人物」の発報を阻害せず、「水紋」の不要検知を防止できた。
【０１５０】
以上のように本実施の形態４によれば、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を上記実施の形態１で述べた効果以上に正確削減する機能を実現できる。かつ、その為の装置の構成が、上記実施の形態２、及び３よりも簡便になる。
【０１５１】
つまり、「発報対象発見時に直ちに発報する事をせず、その後も背景差分手段をフレーム間差分に変えて認識処理を継続して一定時間変化領域を観察」するのではなく、「発報対象発見時に直ちに発報する事をせず、その後背景更新手法を一回だけ“現画像に置き換え更新”にし、その後は背景更新手段を元に戻して認識処理を継続して一定時間変化領域を観察」する事により、急激な面積の増加や減少が無いことを確認し、その結果を待って発報する事により、背景差分手段を複数持たない分、装置規模を大きくせずに上記実施の形態３と同様の効果を得ることが可能な機能を有する。
【０１５２】
実施の形態５．
この発明の実施の形態５の構成について図２２を参照しながら説明する。図２２は、この発明の実施の形態５の概略構成を示すブロック図である。
【０１５３】
図２２において、１は本監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部１から入る映像を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け現在の映像データを記憶する現画像蓄積部、４はＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、５Ａは背景画像蓄積部４のデータを一定ルールで演算し更新する背景更新部であり、一般的には単純なルールで更新する。例えば、過去５枚の現画像の平均を背景画像とする、等である。また、この背景更新部５Ａは、後述する認識処理部の指定により、背景更新手法を切り替えうる。うち一つは「フレーム間差分法」である。他の背景更新手法を便宜的に「非フレーム間差分法」と呼称する。また、６は現画像蓄積部３と背景画像蓄積部４の２つの画像を比較し、その差分を算出する背景差分部、７は背景差分部６のデータを２値化するための敷居値を算出する敷居値演算部であり、背景差分データを元に最適敷居値を求めるのが一般的である。さらに、８は敷居値演算部７で求めた敷居値で差分データを２値化する２値化部、９Ｄは２値化部８から出力される２値データを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部、１０は認識処理部９Ｄからの「発報対象発見」の指示を受け発報する発報処理部である。
【０１５４】
図２３は、本実施の形態５による図２２の認識処理部９Ｄを更に詳細に示したフローである。
【０１５５】
ステップ６１は、２値化データを見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる変化領域統合処理部分である。次に、ステップ６２〜６５は、ステップ６１で統合された変化領域が、発報対象か否かを判断する特徴量比較部分である。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【０１５６】
ここでは、例として以下のようなステップ６２〜６５の判断を行う。
ステップ６２では、変化領域が一定時間連続で存在するかを見る。
ステップ６３では、変化領域が所定の面積であるか否かを見る。
ステップ６４では、変化領域が所定の縦横寸法か否かを見る。
ステップ６５では、変化領域が所定の移動速度か否かを見る。
以上の結果を受け、ステップ６６では、発報対象発見か対象無しかの判断を行う。ただし、ここでは、判断結果は「仮」として扱い、まだ報告されない。
【０１５７】
ステップ６７では、更に一定時間、発報対象変化領域を追跡して観察する。実際に観察するのは「非フレーム間差分法」と「フレーム間差分法」での敷居値演算部７で算出される敷居値の差である。その結果を受け、ステップ６８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。
【０１５８】
次に、動作について代表的な例を説明する。図２２に於いて、外部から装置に与えられた映像信号はビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られる。このＡ／Ｄ変換部２では受け取ったビデオ信号を後の処理の為にデジタルデータに変換する。１画素あたり８ビットの多値データに変換するのが一般的である。現画像蓄積部３では入力された現画像データを蓄積し後の処理に備える。背景画像蓄積部４では入力された現画像データを元に作成された背景画像を蓄積し後の処理に備える。
【０１５９】
背景更新部５Ａでは、背景画像蓄積部４に蓄積してある背景画像を定期的に一定ルールで更新処理する。これは定期的にサンプリングされた現画像を元に演算処理されるのが一般で、例としては過去１００シーンの現画像の平均値を背景画像とする方法や、一定時間前（例：５秒）のフレームの映像である場合が多い。ここでは仮に過去１００シーンの現画像の平均値に置き換える更新を行うものとして進める。
【０１６０】
ただし、ここでは認識処理部９Ｄの指示により背景更新方法を別な方法に切り替える機能を有する。そのとき切り替えられる背景更新手法とは、例えば現画像をそのまま背景画像蓄積部４に取り込むというものである。
【０１６１】
背景差分部６は、現画像蓄積部３及び背景画像蓄積部４の出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。差分データは一般的には映像中の輝度の変化した部分を表す。通常は、人物や車両のような移動物が主であるが、まれに「太陽光の照り陰り」による建物の影の出現の様な、発報対象ではない輝度の変化を示す場合もある。
【０１６２】
ただし、背景更新部５Ａにて背景更新手法を「現画像をそのまま背景画像蓄積部４に取り込む」方式に変え、また元に戻した場合は、瞬間的に現画像と１フレーム前の現画像の差分をとることになり、必然的にこの瞬間のみフレーム間差分となる。また、その後、背景更新部５Ａにて背景更新手法を元に戻しても、元の背景画像同様の背景画像に戻るためにはさらに１００シーン分の時間が必要で（現在の背景更新手法が、過去１００シーンの現画像の平均値に置き換える更新を行うという前提のため）その間の背景差分結果も暫定的にフレーム間差分に近い物となる。（徐々に通常の背景差分の結果に移り変わっている。）
【０１６３】
フレーム間差分による差分データは、一般的には１フレーム間の輝度の変化した部分を表す。通常は、高速で動く人物や車両のような移動物が主である。その性格上、１フレーム程度の時間差では明確な差が現れないため、低速で動く人物等はうまく差分データが抽出できない。しかし、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【０１６４】
敷居値演算部７は、背景差分部６から送られる差分データを２値化する為の敷居値を求める。通常、背景データは多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも２値化して２値データに変換するのが一般的である。ただし、装置によってはこの２値化を行わずに直接、差分データを認識処理する場合があるので、ここは参考である。
【０１６５】
フレーム間差分データと、非フレーム間差分データを比較すると、近似した画像データ間で差分を出すフレーム間差分データの方が、非フレーム間差分データより値が小さいのが一般である。従って、算出した敷居値は、他方に比べ低い値となる。
【０１６６】
２値化部８は、上記敷居値をもって差分データを２値化する。その結果、以降の処理では変化領域は２値データとなる。
【０１６７】
図２６を例にこの変化領域について説明する。図２６は通常の正門の映像である。今、人物が画像内を移動している。この場合、移動している人物の位置がそのまま変化領域となる。図２７が、その変化領域を黒く染めたスーパーインポーズを重複させて示した映像である。
【０１６８】
認識処理部９Ｄは、２値化部８からの２値化データを受け、それが示す変化領域が目的のもの（例えば、一般には人物や車両が該当する。以降、発報対象と呼称する。）であるか否かの判断を行う。
【０１６９】
図２３は、本実施の形態５による監視用画像処理装置の認識処理部９Ｄの内容図である。認識処理部９Ｄでは以下の手順で認識を行う。ただし、ここに示すのは１例である。
【０１７０】
ステップ６１の変化領域統合処理は、変化領域を見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる。次に、ステップ６２〜６５は、ステップ６１で統合された変化領域が、発報対象か否かを判断する。ここでは、あらかじめ定めてあった特徴量に対し、この変化領域が合致するかを比較する。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【０１７１】
ここでは、例として以下のような判断を行う。
ステップ６２では、変化領域が一定時間連続で存在するかを見る。
ステップ６３では、変化領域が所定の面積であるか否かを見る。
ステップ６４では、変化領域が所定の縦横寸法か否かを見る。
ステップ６５では、変化領域が所定の移動速度か否かを見る。
「面積」、「縦横寸法」、「移動速度」は、ステップ６２にある一定時間中の平均を算出して参照されるのが一般的である。ステップ６６で発報対象発見と判断されてもそれは「仮」として扱われ、まだ発報処理部１０には伝えられない。
【０１７２】
ステップ６７では、更に一定時間、発報対象変化領域を追跡して観察する。追跡に先立ち、そこでは先ず、先の背景更新部５Ａに、背景画像蓄積部４に取り込む画像を現画像にするように指示する。そのままでは、背景差分部６で比較されるのが現画像同士となり差分が出ない。直ちに先の背景更新部５Ａに、背景画像蓄積部４に取り込む画像をもとの方式に戻す様に指示する。
【０１７３】
これ以降、１００シーン分の時間を経て背景画像蓄積部４の背景画像は本来のデータに戻る（現在の背景更新手法が、過去１００シーンの現画像の平均値に置き換える更新を行うという前提のため）が、その間は背景更新は中途なものとなる。
【０１７４】
切り替え直後は瞬間的に現画像と１フレーム前の現画像の差分をとることになり、必然的にこの瞬間のみフレーム間差分となる。しかし、その後、背景画像が徐々に通常の背景画像に移り変わっていく為、徐々に通常の背景差分データ（非フレーム間差分データ）に戻っていく。
【０１７５】
先述の通りフレーム間差分データでは、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【０１７６】
そして、そのときの敷居値演算部７での演算結果（即ち敷居値）は、切り出しにくい変化領域を少しでも切り出そうとする結果、通常より低い値をとる。そして、先ほど「仮の発報対象発見」時の敷居値と比較し、その値の変化を見る。その値が急激に変化した場合は異常、そうでなければ正常と判断できる。
【０１７７】
その結果を受け、ステップ６８では、正常時のみ、発報対象発見の報告を発報処理部１０へと渡す。この発報処理部１０では発報処理を行う。通常は、上位にあるＰＣ等に特定の信号を送ったり、装置のブサーを鳴らしたりという処理である。ステップ６７で急激な値の変化が発見されれば、「仮の発報対象発見」は誤りだったと判断し、「正式な発報対象発見」報告はなされない。従って、装置は発報をしない。なお、認識処理部９Ｄ、及び発報処理部１０は、Ｓ／Ｗにて処理されるのが一般的である。
【０１７８】
以上の通り、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」は、発報されず不要検知とならない。逆に、上記と異なり「人物」の様な変化領域は正確に発報される。
【０１７９】
以上のように本実施の形態５によれば、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を上記実施の形態１〜４で述べた効果以上に正確削減する機能を実現できる。
【０１８０】
つまり、「急激な面積の増加や減少が無いことを確認」するのではなく、「急激な２値化の敷居値の変化が無いことを確認」する事により、急激な変化領域の出現や消失が無いことを確認し、その結果を待って発報する事により、上記実施の形態３、及び４よりも更に早いタイミングで誤報か否かの確認作業が終了できて、且つ上記実施の形態３、及び４と同様の効果を得ることが可能な機能を有する。
【０１８１】
【発明の効果】
この発明に係る監視用画像処理装置は、以上説明したとおり、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合で、かつ前記変化領域の面積が前記第１の一定時間の後の第２の一定時間において半分以下もしくは倍以上の変化が無いときには発報対象として認識する認識処理手段とを備えたので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を削減することができるという効果を奏する。
【０１８２】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、前記変化領域抽出手段が、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、前記背景差分データを前記敷居値で２値化する２値化手段とを有するので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を削減することができるという効果を奏する。
【０１８３】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備えたので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を削減することができるという効果を奏する。
【０１８４】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、前記変化領域抽出手段が、現画像データと１フレーム前の現画像データである比較用背景画像データとの比較演算に基づきそのフレーム間背景差分を変化領域として算出する第１の背景差分手段と、現画像データと比較用背景画像データとの比較演算に基づきその非フレーム間背景差分を変化領域として算出する第２の背景差分手段と、前記フレーム間背景差分データ及び非フレーム間背景差分データに基づき前記フレーム間背景差分データ及び非フレーム間背景差分データをそれぞれ２値化するための第１及び第２の敷居値を算出する敷居値演算手段と、前記フレーム間背景差分データ及び非フレーム間背景差分データを前記第１及び第２の敷居値でそれぞれ２値化し第１及び第２の２値データを出力する２値化手段とを有し、前記認識処理手段が、前記第２の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識する第２の認識処理手段と、前記第１の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合で、かつ前記第２の認識処理手段により前記仮の発報対象として認識されているときには発報対象として認識する第１の認識処理手段とを有するので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をより正確に削減することができるという効果を奏する。
【０１８５】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から１フレーム前の現画像データである前記比較用背景画像データを作成して記憶する第１の背景画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する第２の背景画像蓄積手段と、前記第１の背景画像蓄積手段のデータを所定の規則で演算し更新する第１の背景更新手段と、前記第２の背景画像蓄積手段のデータを所定の規則で演算し更新する第２の背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備えたので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をより正確に削減することができるという効果を奏する。
【０１８６】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が所定の条件に合致した場合で、かつ前記変化領域の面積が一定時間所定の変化が無いときには発報対象として認識する認識処理手段とを備え、前記変化領域抽出手段が、現画像データと１フレーム前の現画像データである比較用背景画像データとの比較演算に基づきそのフレーム間背景差分を変化領域として算出する第１の背景差分手段と、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する第２の背景差分手段と、前記フレーム間背景差分データ及び背景差分データに基づき前記フレーム間背景差分データ及び背景差分データを２値化するための第１及び第２の敷居値を算出する敷居値演算手段と、前記フレーム間背景差分データ及び背景差分データを前記第１及び第２の敷居値で２値化し第１及び第２の２値データを出力する２値化手段とを有し、前記認識処理手段が、前記第２の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識し、かつ前記第１の２値データに基づき前記抽出した変化領域の面積が一定時間所定の変化が無いときには前記仮の発報対象を発報対象として認識するので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をより正確に削減することができ、かつ、その為の装置の構成を簡便にできるという効果を奏する。
【０１８７】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から１フレーム前の現画像データである前記比較用背景画像データを作成して記憶する第１の背景画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する第２の背景画像蓄積手段と、前記第１の背景画像蓄積手段のデータを所定の規則で演算し更新する第１の背景更新手段と、前記第２の背景画像蓄積手段のデータを所定の規則で演算し更新する第２の背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備えたので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をより正確に削減することができ、かつ、その為の装置の構成を簡便にできるという効果を奏する。
【０１８８】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が所定の条件に合致した場合で、かつ前記変化領域の面積が一定時間所定の変化が無いときには発報対象として認識する認識処理手段とを備え、前記変化領域抽出手段は、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、前記背景差分データを前記敷居値で２値化する２値化手段とを有し、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備え、前記認識処理手段が、前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識し、かつ前記背景更新手段により前記背景画像蓄積手段に１フレーム前の現画像データである比較用背景画像データを記憶させ、フレーム間背景差分データに基づき前記抽出した変化領域の面積が一定時間所定の変化が無いときには前記仮の発報対象を発報対象として認識するので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をより正確に削減することができ、かつ、その為の装置の構成をより簡便にできるという効果を奏する。
【０１８９】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出するとともに、前記変化領域に基づき前記変化領域を２値化するための敷居値を算出する変化領域抽出手段と、前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合で、かつ前記変化領域を２値化するための敷居値が前記第１の一定時間の後の第２の一定時間において急激に低い値にならないときには発報対象として認識する認識処理手段とを備えたので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をよりさらに正確に削減することができるという効果を奏する。
【０１９０】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、前記変化領域抽出手段が、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、前記背景差分データを前記敷居値で２値化する２値化手段とを有するので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をよりさらに正確に削減することができるという効果を奏する。
【０１９１】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備え、前記認識処理手段が、前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合は仮の発報対象として認識し、かつ前記背景更新手段により前記背景画像蓄積手段に１フレーム前の現画像データである比較用背景画像データを記憶させ、フレーム間背景差分データに基づき前記抽出した変化領域を前記敷居値演算手段により算出した２値化するための敷居値が前記第１の一定時間の後の第２の一定時間において急激に低い値にならないときには前記仮の発報対象を発報対象として認識するので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をよりさらに正確に削減することができるという効果を奏する。
さらに、この発明に係る監視用画像処理装置は、以上説明したとおり、入力された現画像と背景画像との差分に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が少なくとも発報対象となる移動物と同等の所定面積を有する場合に、背景更新手法を現画像をそのまま背景画像蓄積部に取り込む手法に変更し、直ちに過去の現画像の平均値を背景画像とする手法に戻す背景更新手段を備え、前記背景更新手段にて背景更新手法を現画像をそのまま背景画像蓄積部に取り込む手法に変え、直ちに過去の現画像の平均値を背景画像とする手法に戻した場合には、瞬間的に現画像と１フレーム前の現画像の差分をとるので、不要検知を削減することができるという効果を奏する。
【図面の簡単な説明】
【図１】 この発明の実施の形態１の構成を示すブロック図である。
【図２】 この発明の実施の形態１の認識処理部の動作を示すフローチャートである。
【図３】 この発明の実施の形態１に係る、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。
【図４】 この発明の実施の形態１に係る、水たまりに水紋が小さくなった画像である。
【図５】 この発明の実施の形態２の構成を示すブロック図である。
【図６】 この発明の実施の形態２の認識処理部の動作を示すフローチャートである。
【図７】 この発明の実施の形態２に係る、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。
【図８】 この発明の実施の形態２に係る、水たまりの水紋が若干小さくなった画像である。
【図９】 この発明の実施の形態２に係る、一方の背景差分部の方式で差分データを求め２値化した結果を示す図である。
【図１０】 この発明の実施の形態２に係る、他方の背景差分部の方式で差分データを求め２値化した結果を示す図である。
【図１１】 この発明の実施の形態３の構成を示すブロック図である。
【図１２】 この発明の実施の形態３の認識処理部の動作を示すフローチャートである。
【図１３】 この発明の実施の形態３に係る、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。
【図１４】 この発明の実施の形態３に係る、水たまりの水紋が若干小さくなった画像である。
【図１５】 この発明の実施の形態３に係る、一方の背景差分部の方式で差分データを求め２値化した結果を示す図である。
【図１６】 この発明の実施の形態３に係る、他方の背景差分部の方式で差分データを求め２値化した結果を示す図である。
【図１７】 この発明の実施の形態４の構成を示すブロック図である。
【図１８】 この発明の実施の形態４の認識処理部の動作を示すフローチャートである。
【図１９】 この発明の実施の形態４に係る、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。
【図２０】 この発明の実施の形態４に係る、水たまりの水紋が若干小さくなった画像である。
【図２１】 この発明の実施の形態４に係る、背景画像蓄積部に取り込む画像を現画像にするよう背景更新部を切り替えて差分データを求め２値化した結果を示す図である。
【図２２】 この発明の実施の形態５の構成を示すブロック図である。
【図２３】 この発明の実施の形態５の認識処理部の動作を示すフローチャートである。
【図２４】 従来の監視用画像処理装置の構成を示すブロック図である。
【図２５】 従来の監視用画像処理装置の認識処理部の動作を示すフローチャートである。
【図２６】 従来の監視用画像処理装置に係る、通常の正門の映像である。
【図２７】 従来の監視用画像処理装置に係る、その変化領域を黒く染めたスーパーインポーズを重複させて示した映像である。
【符号の説明】
１ ビデオ入力部、２ Ａ／Ｄ変換部、３ 現画像蓄積部、４、４ａ、４ｂ 背景画像蓄積部、５、５ａ、５ｂ、５Ａ 背景更新部、６、６ａ、６ｂ 背景差分部、７ 敷居値演算部、８ ２値化部、９Ａ、９ａ、９ｂ、９Ｂ、９Ｃ、９Ｄ認識処理部、１０ 発報処理部。
【発明の属する技術分野】
この発明は、例えば無人の電気所などを遠隔監視するためにセンターに設置された監視用画像処理装置に関するものである。
【０００２】
【従来の技術】
従来の監視用画像処理装置の構成について図２４を参照しながら説明する。図２４は、従来の監視用画像処理装置の概略構成を示すブロック図である。
【０００３】
図２４において、１は本監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部１から入る映像を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け現在の映像データを記憶する現画像蓄積部、４はＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、５は背景画像蓄積部４のデータを一定ルールで演算し更新する背景更新部である。一般的には単純なルールで更新する。例えば、過去５枚の現画像の平均を背景画像とする、等である。
【０００４】
また、同図において、６は現画像蓄積部３と背景画像蓄積部４の２つの画像を比較し、その差分を算出する背景差分部、７は背景差分部６のデータを２値化するための敷居値を算出する敷居値演算部である。背景差分データを元に最適敷居値を求めるのが一般的である。さらに、８は敷居値演算部７で求めた敷居値で差分データを２値化する２値化部、９は２値化部８から出力される２値データを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部、１０は認識処理部９からの「発報対象発見」の指示を受け発報する発報処理部である。
【０００５】
図２５は、従来の監視用画像処理装置の認識処理部の動作を詳細に示したフローチャートである。
【０００６】
ステップ１１において、認識処理部９は、２値化データを見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる変化領域統合の処理を行う。
【０００７】
ステップ１２〜１５は、ステップ１１で統合された変化領域が、発報対象か否かを判断する特徴量比較部分である。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。ここでは、例として以下のような判断を行う。
【０００８】
すなわち、ステップ１２では、変化領域が一定時間連続で存在するかを見る。
ステップ１３では、変化領域が所定の面積であるか否かを見る。
ステップ１４では、変化領域が所定の縦横寸法か否かを見る。
ステップ１５では、変化領域が所定の移動速度か否かを見る。
【０００９】
以上の結果を受け、ステップ１６では、発報対象発見か対象無しかの判断を行い、上記条件に合致した特徴を持つ変化領域は、発報対象と見なし、発報処理部１０へと渡す。
【００１０】
次に、動作について代表的な例を説明する。図２４に於いて、外部から装置に与えられた映像信号は、ビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られる。このＡ／Ｄ変換部２では受け取ったビデオ信号を後の処理の為にデジタルデータに変換する。１画素あたり８ビットの多値データに変換するのが一般的である。現画像蓄積部３では、入力された現画像データを蓄積し後の処理に備える。また、背景画像蓄積部４では、入力された現画像データを元に作成された背景画像を蓄積し後の処理に備える。背景更新部５では、背景画像蓄積部４に蓄積してある背景画像を定期的に一定ルールで更新処理する。これは定期的にサンプリングされた現画像を元に演算処理されるのが一般で、例としては過去５シーンの現画像の平均値を背景画像とする方法や、一定時間前のフレームの映像である場合が多い。
【００１１】
背景差分部６は、現画像蓄積部３及び背景画像蓄積部４の出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。差分データは一般的には映像中の輝度の変化した部分を表す。通常は、人物や車両のような移動物が主であるが、まれに「太陽光の照り陰り」による建物の影の出現の様な、発報対象ではない輝度の変化を示す場合もある。
【００１２】
敷居値演算部７は、背景差分部６から送られる差分データを２値化する為の敷居値を求める。通常、背景データは多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも２値化して２値データに変換するのが一般的である。ただし、装置によってはこの２値化を行わずに直接差分データを認識処理する場合があるので、ここは参考である。２値化部８は、上記敷居値をもって差分データを２値化する。その結果、以降の処理では変化領域は２値データとなる。
【００１３】
図２６を例にこの変化領域について説明する。図２６は通常の正門の映像である。今、人物が画像内を移動している。この場合、移動している人物の位置がそのまま変化領域となる。図２７が、その変化領域を黒く染めたスーパーインポーズを重複させて示した映像である。認識処理部９は、２値化部８からの２値化された変化領域データを受け、その変化領域が目的のもの（例えば、一般には人物や車両が該当する。以降、発報対象と呼称する。）であるか否かの判断を行う。
【００１４】
認識処理部９では以下の手順で認識を行う。ただし、ここに示すのは１例である。ステップ１１の変化領域統合処理では、変化領域を見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる。ステップ１２〜１５では、ステップ１１で統合された変化領域が、発報対象か否かを判断する。ここでは、あらかじめ定めてあった特徴量に対し、この変化領域が合致するかを比較する。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【００１５】
ここでは、例として以下のような判断を行う。
ステップ１２では、変化領域が一定時間連続で存在するかを見る。
ステップ１３では、変化領域が所定の面積であるか否かを見る。
ステップ１４では、変化領域が所定の縦横寸法か否かを見る。
ステップ１５では、変化領域が所定の移動速度か否かを見る。
【００１６】
上記の「面積」、「縦横寸法」及び「移動速度」は、ステップ１２にある一定時間中の平均を算出して参照されるのが一般的である。しかし、逆に、ここに仮に発報対象ではない全く別の物が現れても（例えば、太陽光の照り陰りによる建物の影の出現）ここで特徴量条件が合致すれば、装置は発報してしまう。このような、非発報対象による誤った発報を、以降、不要検知と呼称する。不要検知であれ正常検知であれ、ステップ１６で発報対象発見と判断されればそれは発報処理部１０に伝えられ、そこで発報処理を行う。通常は、上位にあるＰＣ等に特定の信号を送ったり、装置のブサーを鳴らしたりという処理である。条件に合致しない場合は、発報対象は無かったと見なす。この場合は、次プロセスにはなにも報告されない。なお、認識処理部９、及び発報処理部１０の動作はＳ／Ｗにて処理されるのが一般的である。
【００１７】
【発明が解決しようとする課題】
上述したような従来の監視用画像処理装置では、以上のような構造になっている為、背景差分部６が抽出した変化領域が仮に非発報対象（例えば、太陽光の照り陰りによる建物の影の出現、等）によるものであっても、ステップ１１〜１５の条件に合致すると発報してしまう。特に、屋外において監視業務を行う際は、太陽光の照り陰りによる建物の影の出現のほかに、水面の揺らぎ・きらめき・水紋等により発生させられるケースが多い。つまり、上記の非発報対象を条件に合致すると発報してしまうという問題点があった。
【００１８】
この発明は、前述した問題点を解決するためになされたもので、このような太陽光の照り陰りによる建物の影の出現のような、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に対し、発報対象発見後、直ちに発報処理部で発報処理を行うのではなく、その後も一定時間認識処理を継続してその発報対象の変化領域を観察して、急激な面積の増加や減少が無いことを確認し、その結果をもって発報することにより、上記の様な変化領域に対し、誤って発報してしまう「誤報」を減少させると同時に、「人物」の様な正規発報対象にたいしては正常に発報することができる監視用画像処理装置を得ることを目的とする。
【００１９】
【課題を解決するための手段】
この発明に係る監視用画像処理装置は、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合で、かつ前記変化領域の面積が前記第１の一定時間の後の第２の一定時間において半分以下もしくは倍以上の変化が無いときには発報対象として認識する認識処理手段とを備えたものである。
【００２０】
また、この発明に係る監視用画像処理装置は、前記変化領域抽出手段が、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、前記背景差分データを前記敷居値で２値化する２値化手段とを有するものである。
【００２１】
また、この発明に係る監視用画像処理装置は、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備えたものである。
【００２２】
また、この発明に係る監視用画像処理装置は、前記変化領域抽出手段が、現画像データと１フレーム前の現画像データである比較用背景画像データとの比較演算に基づきそのフレーム間背景差分を変化領域として算出する第１の背景差分手段と、現画像データと比較用背景画像データとの比較演算に基づきその非フレーム間背景差分を変化領域として算出する第２の背景差分手段と、前記フレーム間背景差分データ及び非フレーム間背景差分データに基づき前記フレーム間背景差分データ及び非フレーム間背景差分データをそれぞれ２値化するための第１及び第２の敷居値を算出する敷居値演算手段と、前記フレーム間背景差分データ及び非フレーム間背景差分データを前記第１及び第２の敷居値でそれぞれ２値化し第１及び第２の２値データを出力する２値化手段とを有し、前記認識処理手段が、前記第２の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識する第２の認識処理手段と、前記第１の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合で、かつ前記第２の認識処理手段により前記仮の発報対象として認識されているときには発報対象として認識する第１の認識処理手段とを有するものである。
【００２３】
また、この発明に係る監視用画像処理装置は、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から１フレーム前の現画像データである前記比較用背景画像データを作成して記憶する第１の背景画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する第２の背景画像蓄積手段と、前記第１の背景画像蓄積手段のデータを所定の規則で演算し更新する第１の背景更新手段と、前記第２の背景画像蓄積手段のデータを所定の規則で演算し更新する第２の背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備えたものである。
【００２４】
また、この発明に係る監視用画像処理装置は、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が所定の条件に合致した場合で、かつ前記変化領域の面積が一定時間所定の変化が無いときには発報対象として認識する認識処理手段とを備え、前記変化領域抽出手段が、現画像データと１フレーム前の現画像データである比較用背景画像データとの比較演算に基づきそのフレーム間背景差分を変化領域として算出する第１の背景差分手段と、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する第２の背景差分手段と、前記フレーム間背景差分データ及び背景差分データに基づき前記フレーム間背景差分データ及び背景差分データを２値化するための第１及び第２の敷居値を算出する敷居値演算手段と、前記フレーム間背景差分データ及び背景差分データを前記第１及び第２の敷居値で２値化し第１及び第２の２値データを出力する２値化手段とを有し、前記認識処理手段が、前記第２の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識し、かつ前記第１の２値データに基づき前記抽出した変化領域の面積が一定時間所定の変化が無いときには前記仮の発報対象を発報対象として認識するものである。
【００２５】
また、この発明に係る監視用画像処理装置は、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から１フレーム前の現画像データである前記比較用背景画像データを作成して記憶する第１の背景画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する第２の背景画像蓄積手段と、前記第１の背景画像蓄積手段のデータを所定の規則で演算し更新する第１の背景更新手段と、前記第２の背景画像蓄積手段のデータを所定の規則で演算し更新する第２の背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備えたものである。
【００２６】
また、この発明に係る監視用画像処理装置は、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が所定の条件に合致した場合で、かつ前記変化領域の面積が一定時間所定の変化が無いときには発報対象として認識する認識処理手段とを備え、前記変化領域抽出手段は、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、前記背景差分データを前記敷居値で２値化する２値化手段とを有し、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備え、前記認識処理手段が、前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識し、かつ前記背景更新手段により前記背景画像蓄積手段に１フレーム前の現画像データである比較用背景画像データを記憶させ、フレーム間背景差分データに基づき前記抽出した変化領域の面積が一定時間所定の変化が無いときには前記仮の発報対象を発報対象として認識するものである。
【００２７】
また、この発明に係る監視用画像処理装置は、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出するとともに、前記変化領域に基づき前記変化領域を２値化するための敷居値を算出する変化領域抽出手段と、前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合で、かつ前記変化領域を２値化するための敷居値が前記第１の一定時間の後の第２の一定時間において急激に低い値にならないときには発報対象として認識する認識処理手段とを備えたものである。
【００２８】
また、この発明に係る監視用画像処理装置は、前記変化領域抽出手段が、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、前記背景差分データを前記敷居値で２値化する２値化手段とを有するものである。
【００２９】
また、この発明に係る監視用画像処理装置は、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備え、前記認識処理手段が、前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合は仮の発報対象として認識し、かつ前記背景更新手段により前記背景画像蓄積手段に１フレーム前の現画像データである比較用背景画像データを記憶させ、フレーム間背景差分データに基づき前記抽出した変化領域を前記敷居値演算手段により算出した２値化するための敷居値が前記第１の一定時間の後の第２の一定時間において急激に低い値にならないときには前記仮の発報対象を発報対象として認識するものである。
さらに、この発明に係る監視用画像処理装置は、入力された現画像と背景画像との差分に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が少なくとも発報対象となる移動物と同等の所定面積を有する場合に、背景更新手法を現画像をそのまま背景画像蓄積部に取り込む手法に変更し、直ちに過去の現画像の平均値を背景画像とする手法に戻す背景更新手段を備え、前記背景更新手段にて背景更新手法を現画像をそのまま背景画像蓄積部に取り込む手法に変え、直ちに過去の現画像の平均値を背景画像とする手法に戻した場合には、瞬間的に現画像と１フレーム前の現画像の差分をとるものである。
【００３０】
【発明の実施の形態】
実施の形態１．
この発明の実施の形態１の構成について図１を参照しながら説明する。図１は、この発明の実施の形態１の概略構成を示すブロック図である。なお、各図中、同一符号は同一又は相当部分を示す。
【００３１】
図１において、１は本監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部１から入る映像を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け現在の映像データを記憶する現画像蓄積部、４はＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、５は背景画像蓄積部４のデータを一定ルールで演算し更新する背景更新部である。一般的には単純なルールで更新する。例えば、過去５枚の現画像の平均を背景画像とする、等である。
【００３２】
また、同図において、６は現画像蓄積部３と背景画像蓄積部４の２つの画像を比較し、その差分を算出する背景差分部、７は背景差分部６のデータを２値化するための敷居値を算出する敷居値演算部である。背景差分データを元に最適敷居値を求めるのが一般的である。８は敷居値演算部７で求めた敷居値で差分データを２値化する２値化部である。９Ａは２値化部８から出力される２値データを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部、１０は認識処理部９からの「発報対象発見」の指示を受け発報する発報処理部である。
【００３３】
図２は、本実施の形態１による図１の認識処理部９Ａを更に詳細に示したフローである。ステップ２１では、２値化データを見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる変化領域統合処理を実行する。次に、ステップ２２〜２５では、ステップ２１で統合された変化領域が、発報対象か否かを判断する特徴量比較部処理を実行する。ここで、所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。ここでは、例として以下のようなステップ２２〜２５の判断を行う。
【００３４】
ステップ２２では、変化領域が一定時間連続で存在するかを見る。
ステップ２３では、変化領域が所定の面積であるか否かを見る。
ステップ２４では、変化領域が所定の縦横寸法か否かを見る。
ステップ２５では、変化領域が所定の移動速度か否かを見る。
【００３５】
以上の結果を受け、ステップ２６では、発報対象発見か対象無しかの判断を行う。ただし、ここでは、判断結果は「仮」として扱い、まだ報告されない。ステップ２１７では、更に一定時間、発報対象変化領域を追跡して観察する。そこで、面積の急激な変化を見る。その結果を受け、ステップ２８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を図１の発報処理部１０へと渡す。
【００３６】
図３は、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。また、図４は、上記図３の直後の様子であり、水たまりに水紋が小さくなった画像である。
【００３７】
次に、動作について代表的な例を説明する。認識処理部９Ａ以外は、従来例と同様のため省略する。図２は、本実施の形態１による監視用画像処理装置の「認識処理」の内容図である。
【００３８】
認識処理では以下の手順で認識を行う。ただし、ここに示すのは１例である。ステップ２１の変化領域統合処理は、変化領域を見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる。次に、ステップ２２〜２５は、ステップ２１で統合された変化領域が、発報対象か否かを判断する。ここでは、あらかじめ定めてあった特徴量に対し、この変化領域が合致するかを比較する。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【００３９】
ここでは、例として以下のような判断を行う。
ステップ２２では、変化領域が一定時間連続で存在するかを見る。
ステップ２３では、変化領域が所定の面積であるか否かを見る。
ステップ２４では、変化領域が所定の縦横寸法か否かを見る。
ステップ２５では、変化領域が所定の移動速度か否かを見る。
「面積」、「縦横寸法」、及び「移動速度」は、ステップ２２での一定時間中の平均を算出して参照されるのが一般的である。
【００４０】
次に、ステップ２６で発報対象発見と判断されてもそれは「仮」として扱われ、まだ発報処理部１０には伝えられない。ステップ２７にて、更に認識処理が継続される。そこでは、ステップ２６で仮の発報対象として発見された変化領域につき更に追跡が続けられる。そして、その面積が急激に減少したり増加しないか否かを一定時間（例えば、０．５秒）観察し続ける。もし所定時間内にて異常が発見されなければ、ステップ２８で正式な発報対象発見と判断され、発報処理部１０に報告される。発報処理部１０では発報処理を行う。通常は、上位にあるＰＣ等に特定の信号を送ったり、装置のブサーを鳴らしたりという処理である。ステップ２７で急激な面積の変化が発見されれば、「仮の発報対象発見」は誤りだったと判断し、「正式な発報対象発見」報告はなされない。なお、認識処理部９Ａ、及び発報処理部１０はＳ／Ｗにて処理されるのが一般的である。
【００４１】
以下に本実施の形態１による方式が、どのように作用するかを説明する。今、図３の画像に置いて、正規発報対象である「人物」と、非発報対象である「水紋」が、それぞれ発生した場合を考える。また、仮に双方とも、図２の認識処理における各種条件は満足しており、単独でそれぞれ発報されるものとする。また、ステップ２７で言う「一定時間」を、０．５秒とし、「面積の急激な変化」を半分以下もしくは倍以上と定義する。また、装置は、変化領域を発見した場合、外接四角形を表示し、それを知らせるものとする。
【００４２】
図３は映像内に「水たまり」と「人物」が写っている。装置は、変化領域を発見し、外接四角形を表示している。本装置が発報対象とするのは「人物」である。従って、人物で発報するのは「正常発報」、人物以外で発報するのは「不要検知」である。ここでは、先の仮定で定めた通り、「人物」も「水紋」も面積・縦横寸法・速度が所定範囲内であるため、発報対象と判断される。本装置ではまだ「仮の発報対象発見」である為、発報には至らない。仮に発報すれば、水紋による部分は「不要検知」となってしまう。
【００４３】
この後、装置は、「人物」の変化領域と、「水紋」の変化領域をそれぞれ追跡し観察する。図４は、図３から０．５秒後の画像である。装置は「仮の発報対象」である、「人物」と「水紋」を追跡観察していたが、ここで改めて面積を見る。「人物」は、「仮の発報対象発見」時とほぼ同等の面積を有している。従って、ここでは異常なしと判断され、「正式な発報対象発見」と判断される。
【００４４】
しかし、「水紋」は、「仮の発報対象発見」時の面積に比較し、１／３程度の面積しか有していない。水紋は急激に姿を変え消失するため、このような結果となる。従って、ここでは異常ありと判断され、「正式な発報対象発見」とは判断されない。
【００４５】
以上の通り、「人物」は正規の発報対象発見とされ、「水紋」はそうとはならない。これにより、「水紋」による不要検知は発生しない。以上の通り、本処理により、「人物」の発報を阻害せず、「水紋」の不要検知を防止できた。
【００４６】
以上のように本実施の形態１によれば、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を削減する機能を実現できる。
【００４７】
つまり、発報対象発見時に直ちに発報する事をせず、その後も認識処理を継続して一定時間変化領域を観察し、急激な面積の増加や減少が無いことを確認し、その結果を待って発報する事により、例えば「日照の照り陰りによる影の出現」のような急激な輝度変化に対し、誤って発報してしまう「誤報」を減少させると同時に、「人物」の様な正規発報対象にたいしては正常に発報する機能を有する。
【００４８】
実施の形態２．
この発明の実施の形態２の構成について図５を参照しながら説明する。図５は、この発明の実施の形態２の概略構成を示すブロック図である。
【００４９】
図５において、１は本監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部１から入る映像を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け現在の映像データを記憶する現画像蓄積部、４ａはＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、ここでは特に１フレーム前の現画像の記録をする。また、４ｂもＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、ここでは特に背景画像蓄積部４ａとは異なる画像の記録をする。
【００５０】
また、同図において、５ａは背景画像蓄積部４ａのデータを更新する背景更新部、５ｂは背景画像蓄積部４ｂのデータを一定ルールで演算し更新する背景更新部である。一般的には単純なルールで更新する。例えば、過去５枚の現画像の平均を背景画像とする、等である。
【００５１】
また、同図において、６ａは現画像蓄積部３と背景画像蓄積部４ａの２つの画像を比較し、その差分を算出する背景差分部、背景画像蓄積部４ａが特に１フレーム前の現画像の記録をする為、この出力はフレーム間差分データとなる。６ｂは現画像蓄積部３と背景画像蓄積部４ｂの２つの画像を比較し、その差分を算出する背景差分部である。
【００５２】
さらに、同図において、７は背景差分部６ａ及び背景差分部６ｂのデータ（差分データａ、ｂ）を２値化するための敷居値を算出する敷居値演算部であり、背景差分データを元に最適敷居値を求めるのが一般的である。８は敷居値演算部７で求めた敷居値で差分データを２値化する２値化部であり、差分データａ、ｂ各個に２値化されるため、出力される２値化データも２種類である（２値化データａ、ｂ）。９ａは２値化部８から出力される２値データａを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部、９ｂは２値化部８から出力される２値データｂを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部であり、併せて認識処理部９ａの認識結果も統合して判断する。１０は認識処理部９ｂからの「発報対象発見」の指示を受け発報する発報処理部である。
【００５３】
図６は、本実施の形態２による図５の認識処理部９ｂを更に詳細に示したフローである。なお、認識処理部９ａについては、認識処理部９ｂのステップ３７、３８が無い以外、同様のため省略する。入力されるデータは、通常は２値データｂである。
【００５４】
ステップ３１では、２値化データを見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる変化領域統合処理を実行する。次に、ステップ３２〜３５では、ステップ３１で統合された変化領域が、発報対象か否かを判断する特徴量比較処理を実行する。ここで、所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【００５５】
ここでは、例として以下のようなステップ３２〜３５の判断を行う。
ステップ３２では、変化領域が一定時間連続で存在するかを見る。
ステップ３３では、変化領域が所定の面積であるか否かを見る。
ステップ３４では、変化領域が所定の縦横寸法か否かを見る。
ステップ３５では、変化領域が所定の移動速度か否かを見る。
以上の結果を受け、ステップ３６では、発報対象発見か対象無しかの判断を行う。ただし、ここでは、判断結果は「仮」として扱い、まだ報告されない。
【００５６】
ステップ３７では、更に発報対象変化領域を追跡して観察する。ここでは、以降は認識処理部９ａの認識結果を参照する。上記「仮の発報対象発見」の対象である変化領域と同じものを、認識処理部９ｂでも「仮の発報対象発見」としているかを判断する。その結果を受け、ステップ３８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。
【００５７】
図７は、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。図８は、上記図の直後の様子であり、水たまりの水紋が若干小さくなった画像である。また、図９は、上記図を背景差分部６ｂの方式で差分データを求め２値化した結果である。図１０は、上記図を背景差分部６ａの方式で差分データを求め２値化した結果である。
【００５８】
次に、動作について代表的な例を説明する。図５に於いて、外部から装置に与えられた映像信号はビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られる。このＡ／Ｄ変換部２では受け取ったビデオ信号を後の処理の為にデジタルデータに変換する。１画素あたり８ビットの多値データに変換するのが一般的である。現画像蓄積部３では入力された現画像データを蓄積し後の処理に備える。
【００５９】
背景画像蓄積部４ａでは入力された１つ前のフレームの現画像データを蓄積し後の処理に備える。一方、背景画像蓄積部４ｂでは入力された現画像データを元に作成された背景画像を蓄積し後の処理に備える。
【００６０】
背景更新部５ａでは、後のフレーム間差分に備えて背景画像蓄積部４ａに蓄積してある背景画像を定期的に一定ルールで更新処理する。これは毎フレームサンプリングした現画像を置き換えるのが一般である。一方、背景更新部５ｂでは、背景画像蓄積部４ｂに蓄積してある背景画像を定期的に一定ルールで更新処理する。これは定期的にサンプリングされた現画像を元に演算処理されるのが一般で、例としては過去１００シーンの現画像の平均値を背景画像とする方法や、一定時間前（例えば、５秒）のフレームの映像である場合が多い。ここでは、仮に５秒前のフレームの映像に置き換える更新を行うものとして進める。
【００６１】
背景差分部６ｂは、現画像蓄積部３及び背景画像蓄積部４ｂの出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。差分データは一般的には映像中の輝度の変化した部分を表す。通常は、人物や車両のような移動物が主であるが、まれに「太陽光の照り陰り」による建物の影の出現の様な、発報対象ではない輝度の変化を示す場合もある。
【００６２】
一方、背景差分部６ａは、現画像蓄積部３及び背景画像蓄積部４ａの出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。ここでは現画像と、１フレーム前の現画像の差分をとるため、必然的にフレーム間差分となる。フレーム間差分による差分データは一般的には１フレーム間の輝度の変化した部分を表す。通常は、高速で動く人物や車両のような移動物が主である。その性格上、１フレーム程度の時間差では明確な差が現れないため、低速で動く人物等はうまく差分データが抽出できない。しかし、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【００６３】
敷居値演算部７は、背景差分部６ａ、及び背景差分部６ｂから送られる差分データ（差分データａ、ｂ）を２値化する為の敷居値を求める。通常、背景データは多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも２値化して２値データに変換するのが一般的である。ただし、装置によってはこの２値化を行わずに直接、差分データを認識処理する場合があるので、ここは参考である。
【００６４】
２値化部８は、上記敷居値をもって差分データａ、ｂを２値化する。その結果、以降の処理では変化領域は２値データ（２値データａ、ｂ）となる。
【００６５】
図２６を例にこの変化領域について説明する。図２６は通常の正門の映像である。今、人物が画像内を移動している。この場合、移動している人物の位置がそのまま変化領域となる。図２７が、その変化領域を黒く染めたスーパーインポーズを重複させて示した映像である。
【００６６】
認識処理部９ａは、２値化部８からの２値化データａを受け、それが示す変化領域が目的のもの（例えば、一般には人物や車両が該当する。以降、発報対象と呼称する。）であるか否かの判断を行う。また、認識処理部９ｂは、２値化部８からの２値化データｂを受け、それが示す変化領域が目的のもの（例えば、一般には人物や車両が該当する。以降、発報対象と呼称する。）であるか否かの判断を行う。
【００６７】
図６は、本実施の形態２による監視用画像処理装置の認識処理部９ｂの内容図である。なお、認識処理部９ａの内容については、認識処理部９ｂの内容のステップ３７、３８が無いもので、他は同様のため省略する。
【００６８】
認識処理部９ｂでは以下の手順で認識を行う。ただし、ここに示すのは１例である。通常、この認識処理部９ｂでは、２値データｂを対象にする。ステップ３１の変化領域統合処理では、変化領域を見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる。次に、ステップ３２〜３５は、ステップ３１で統合された変化領域が、発報対象か否かを判断する。ここでは、あらかじめ定めてあった特徴量に対し、この変化領域が合致するかを比較する。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【００６９】
ここでは、例として以下のような判断を行う。
ステップ３２では、変化領域が一定時間連続で存在するかを見る。
ステップ３３では、変化領域が所定の面積であるか否かを見る。
ステップ３４では、変化領域が所定の縦横寸法か否かを見る。
ステップ３５では、変化領域が所定の移動速度か否かを見る。
「面積」、「縦横寸法」、及び「移動速度」は、ステップ３２での一定時間中の平均を算出して参照されるのが一般的である。
【００７０】
ステップ３６で発報対象発見と判断されてもそれは「仮」として扱われ、まだ発報処理部１０には伝えられない。ステップ３７では、更に一定時間、発報対象変化領域を追跡して観察する。ステップ３６で、仮の発報対象として発見された変化領域につき更に追跡が続けられる。そこでは、以降は、認識処理部９ａの認識結果を参照する。上記「仮の発報対象発見」の対象である変化領域と同じものを、認識処理部９ａでも「仮の発報対象発見」としているかを判断する。
【００７１】
認識処理部９ａでは、先述の通りフレーム間差分データを参照しており、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【００７２】
そして、先ほど「仮の発報対象発見」となった変化領域と同じ変化領域を、この認識処理部９ｂでも「仮の発報対象発見」として発見しているかを見る。先のフレーム間差分の特徴により、「仮の発報対象発見」が「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による場合は、ここではさほど大きな面積を抽出できない。従って、「仮の発報対象発見」とはならない。その結果から、装置は異常を判断できる。
【００７３】
その結果を受け、ステップ３８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。もし、異常が発見されなければ、ステップ３８で正式な発報対象発見と判断され、発報処理部１０に報告される。この発報処理部１０では発報処理を行う。通常は、上位にあるＰＣ等に特定の信号を送ったり、装置のブサーを鳴らしたりという処理である。ステップ３７で異常が発見されれば、「仮の発報対象発見」は誤りだったと判断し、「正式な発報対象発見」報告はなされない。なお、認識処理部９ａ、９ｂ、及び発報処理部１０はＳ／Ｗにて処理されるのが一般的である。
【００７４】
以下に本実施の形態２による方式が、どのように作用するかを説明する。今、図７の画像に置いて、正規発報対象である「人物」と、非発報対象である「水紋」が、それぞれ発生した場合を考える。また、仮に双方とも、図６の認識処理における各種条件は満足しており、単独でそれぞれ発報されるものとする。また、ステップ３７で言う「一定時間」を、０．５秒とし、「面積の急激な変化」を半分以下もしくは倍以上と定義する。また、装置は、変化領域を発見した場合、外接四角形を表示し、それを知らせるものとする。
【００７５】
図７は、映像内に「水たまり」と「人物」が写っている。装置は、変化領域を発見し、外接四角形を表示している。本装置が発報対象とするのは「人物」である。従って、人物で発報するのは「正常発報」、人物以外で発報するのは「不要検知」である。ここでは、先の仮定で定めた通り、「人物」も「水紋」も面積・縦横寸法・速度が所定範囲内であるため、発報対象と判断される。本装置ではまだ「仮の発報対象発見」である為、発報には至らない。仮に発報すれば、水紋による部分は「不要検知」となってしまう。
【００７６】
この後、装置は、「人物」の変化領域と、「水紋」の変化領域をそれぞれ追跡し観察する。図８は、図７から０．５秒後の画像である。水紋は縮小しているが、まだ十分に小さくなってはいない。
【００７７】
図９は、図８の現画像に対し、背景差分部６ｂにて背景差分した結果を示したものである。一方、図１０は、図８の現画像に対し、背景差分部６ａにて背景差分した結果を示したものである。
【００７８】
図９では、水紋が背景画像ｂ（ここでは５秒前のフレームの映像である前提）と現画像の差分をとるため、水紋と人物がそのまま切り出される。一方、図１０では、水紋が背景画像ａ（ここでは１つ前のフレームの映像である前提）と現画像の差分をとるため、必然的にフレーム間差分となり水紋の「１フレームの間に縮まった部分」と、人物の「１フレームの時間に移動した部分」のみが切り出される。
【００７９】
装置は、２種類の背景更新手法を並行して認識処理していたが、ここで改めて２つの結果を見る。図１０でのフレーム間差分の結果、「人物」は、図９に比較し若干縮小した面積を有している。しかし、半分には至らないためここでは「仮の発報対象発見」と判断される。しかし、「水紋」は、フレーム間差分の結果、図９に比較し１／３程度の面積しか有していない。水紋が１フレーム間にその程度しか消失しないため、このような結果となる。従って、ここでは「仮の発報対象発見」とは判断されない。以上の通り、「人物」は認識処理部９ａ、９ｂ双方で仮の発報対象発見とされ、「水紋」はそうとはならない。それより、「水紋」の変化領域は、正式な発報対象とは認められない。以上の通り、本処理により、「人物」の発報を阻害せず、「水紋」の不要検知を防止できた。
【００８０】
以上のように本実施の形態２によれば、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を上記実施の形態１で述べた効果以上に正確に削減する機能を実現できる。
【００８１】
つまり、背景差分手段を複数持ち（うち１つはフレーム間差分）、背景差分は、常時複数（うち１つはフレーム間差分）を行っておき、発報対象発見時に直ちに発報する事をせず、その後フレーム間差分による認識処理も重ねて行い、２つの結果に大きな面積の差が無いことを確認し、その結果を待って発報する事により、例えば「日照の照り陰りによる影の出現」のような急激な輝度変化に対し、誤って発報してしまう「誤報」を、より確実に減少させると同時に、「人物」の様な正規発報対象にたいしては正常に発報する機能を有する。
【００８２】
実施の形態３．
この発明の実施の形態３の構成について図１１を参照しながら説明する。図１１は、この発明の実施の形態３の概略構成を示すブロック図である。
【００８３】
図１１において、１は本監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部１から入る映像を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け現在の映像データを記憶する現画像蓄積部である。
【００８４】
また、同図において、４ａはＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部であり、ここでは特に１フレーム前の現画像の記録をする。４ｂもＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部であり、ここでは特に背景画像蓄積部４ａとは異なる画像の記録をする。
【００８５】
また、同図において、５ａは背景画像蓄積部４ａのデータを更新する背景更新部、５ｂは背景画像蓄積部４ｂのデータを一定ルールで演算し更新する背景更新部であり、一般的には単純なルールで更新する。例えば、過去５枚の現画像の平均を背景画像とする、等である。
【００８６】
また、同図において、６ａは現画像蓄積部３と背景画像蓄積部４ａの２つの画像を比較し、その差分を算出する背景差分部であり、背景画像蓄積部４ａが特に１フレーム前の現画像の記録をする為、この出力はフレーム間差分データとなり、差分データａと呼称する場合もある。一方、６ｂは現画像蓄積部３と背景画像蓄積部４ｂの２つの画像を比較し、その差分を算出する背景差分部であり、特に、背景差分部６ａと区別するため、ここではここで作成される差分データを非フレーム間差分データと仮に呼称する。なお、差分データｂと呼称する場合もある。
【００８７】
さらに、同図において、７は背景差分部６ａ及び背景差分部６ｂ のデータ（差分データａ、ｂ）を２値化するための敷居値を算出する敷居値演算部であり、背景差分データを元に最適敷居値を求めるのが一般的である。８は敷居値演算部７で求めた敷居値で差分データを２値化する２値化部であり、差分データａ、ｂ各個に２値化されるため、出力される２値化データも２種類である。（以降、２値化データａ、ｂと呼称する。）また、９Ｂは２値化部８から出力される２値データａ、ｂを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部であり、通常は２値データｂを使用し判定処理している。詳細は後述する。１０は認識処理部９Ｂからの「発報対象発見」の指示を受け発報する発報処理部である。
【００８８】
図１２は、本実施の形態３による図１１の認識処理部９Ｂを更に詳細に示したフローである。入力されるデータは、通常は２値データｂである。そして、特に指示ある場合は２値データａである。この指示は後述する。
【００８９】
ステップ４１では、２値化データを見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる変化領域統合処理である。次に、ステップ４２〜４５は、ステップ４１で統合された変化領域が、発報対象か否かを判断する特徴量比較部分である。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【００９０】
ここでは、例として以下のようなステップ４２〜４５の判断を行う。
ステップ４２では、変化領域が一定時間連続で存在するかを見る。
ステップ４３では、変化領域が所定の面積であるか否かを見る。
ステップ４４では、変化領域が所定の縦横寸法か否かを見る。
ステップ４５では、変化領域が所定の移動速度か否かを見る。
以上の結果を受け、ステップ４６では、発報対象発見か対象無しかの判断を行う。ただし、ここでは、判断結果は「仮」として扱い、まだ報告されない。
【００９１】
ステップ４７では、更に一定時間、この「仮の発報対象発見」の対象である発報対象変化領域を追跡して観察する。そこでは、先ず、先のステップ４１の変化領域統合処理に入力される２値データを、２値データｂから２値データａに切り替える。そして、ステップ４７にて面積を見る。２値データｂを元に求められていた面積に対し、２値データａを元に求められていた面積を比較し、面積の急激な変化を見る。その結果を受け、ステップ４８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。
【００９２】
図１３は、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。図１４は、上記図の直後の様子であり、水たまりの水紋が若干小さくなった画像である。また、図１５は、上記図を背景差分部６ｂの方式で差分データを求め２値化した結果である。図１６は、上記図を背景差分部６ａの方式で差分データを求め２値化した結果である。
【００９３】
次に、動作について代表的な例を説明する。図１１に於いて、外部から装置に与えられた映像信号はビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られる。このＡ／Ｄ変換部２では受け取ったビデオ信号を後の処理の為にデジタルデータに変換する。１画素あたり８ビットの多値データに変換するのが一般的である。現画像蓄積部３では入力された現画像データを蓄積し後の処理に備える。
【００９４】
背景画像蓄積部４ａでは入力された１つ前のフレームの現画像データを蓄積し後の処理に備える。一方、背景画像蓄積部４ｂでは入力された現画像データを元に作成された背景画像を蓄積し後の処理に備える。
【００９５】
背景更新部５ａでは、後のフレーム間差分に備えて背景画像蓄積部４ａに蓄積してある背景画像を定期的に一定ルールで更新処理する。これは毎フレームサンプリングした現画像を置き換えるのが一般である。一方、背景更新部５ｂでは、背景画像蓄積部４ｂに蓄積してある背景画像を定期的に一定ルールで更新処理する。これは定期的にサンプリングされた現画像を元に演算処理されるのが一般で、例としては過去１００シーンの現画像の平均値を背景画像とする方法や、一定時間前（例えば、５秒）のフレームの映像である場合が多い。ここでは仮に５秒前のフレームの映像に置き換える更新を行うものとして進める。
【００９６】
背景差分部６ｂは、現画像蓄積部３及び背景画像蓄積部４ｂの出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。差分データは一般的には映像中の輝度の変化した部分を表す。通常は、人物や車両のような移動物が主であるが、まれに「太陽光の照り陰り」による建物の影の出現の様な、発報対象ではない輝度の変化を示す場合もある。
【００９７】
一方、背景差分部６ａは、現画像蓄積部３及び背景画像蓄積部４ａの出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。ここでは現画像と、１フレーム前の現画像の差分をとるため、必然的にフレーム間差分となる。フレーム間差分による差分データは一般的には１フレーム間の輝度の変化した部分を表す。通常は、高速で動く人物や車両のような移動物が主である。その性格上、１フレーム程度の時間差では明確な差が現れないため、低速で動く人物等はうまく差分データが抽出できない。しかし、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【００９８】
敷居値演算部７は、背景差分部６ａ及び背景差分部６ｂ から送られる差分データ（差分データａ、ｂ）を２値化する為の敷居値を求める。通常、背景データは多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも２値化して２値データに変換するのが一般的である。ただし、装置によってはこの２値化を行わずに直接、差分データを認識処理する場合があるので、ここは参考である。
【００９９】
２値化部８は、上記敷居値をもって差分データａ、ｂを２値化する。その結果、以降の処理では変化領域は２値データ（２値データａ、ｂ）となる。
【０１００】
図２６を例にこの変化領域について説明する。図２６は通常の正門の映像である。今、人物が画像内を移動している。この場合、移動している人物の位置がそのまま変化領域となる。図２７が、その変化領域を黒く染めたスーパーインポーズを重複させて示した映像である。
【０１０１】
認識処理部９Ｂは、２値化部８からの２値化データａ、ｂを受け、それが示す変化領域が目的のもの（例えば、一般には人物や車両が該当する。以降、発報対象と呼称する。）であるか否かの判断を行う。
【０１０２】
図１２は、本実施の形態３による監視用画像処理装置の認識処理部９Ｂの内容図である。この認識処理部９Ｂでは以下の手順で認識を行う。ただし、ここに示すのは１例である。通常、この認識処理では、２値データｂを対象にする。必要に応じ２値データａを参照する場合があるが、後述のようにそれは特定の時である。
【０１０３】
ステップ４１の変化領域統合処理は、変化領域を見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる。次に、ステップ４２〜４５は、ステップ４１で統合された変化領域が、発報対象か否かを判断する。ここでは、あらかじめ定めてあった特徴量に対し、この変化領域が合致するかを比較する。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【０１０４】
ここでは、例として以下のような判断を行う。
ステップ４２では、変化領域が一定時間連続で存在するかを見る。
ステップ４３では、変化領域が所定の面積であるか否かを見る。
ステップ４４では、変化領域が所定の縦横寸法か否かを見る。
ステップ４５では、変化領域が所定の移動速度か否かを見る。
「面積」、「縦横寸法」、及び「移動速度」は、ステップ４２での一定時間中の平均を算出して参照されるのが一般的である。ステップ４６で発報対象発見と判断されてもそれは「仮」として扱われ、まだ発報処理部１０には伝えられない。
【０１０５】
ステップ４７では、更に一定時間、発報対象変化領域を追跡して観察する。ステップ４６で仮の発報対象として発見された変化領域につき更に追跡が続けられる。追跡に先立ち、先ず、先のステップ４１の変化領域統合処理に入力される２値データを、２値データｂから２値データａに切り替える。
【０１０６】
これは先述の通りフレーム間差分データであり、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。そして、先ほど「仮の発報対象発見」となった変化領域を、この２値データａによる変化領域で再度追跡し、２値データｂを元に求められていた面積に対し、２値データａを元に求められていた面積と比較し、面積の急激な変化を見る。
【０１０７】
先のフレーム間差分の特徴により、「仮の発報対象発見」が「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による場合は、ここではさほど大きな面積を抽出できない。従って、その面積の急激な変化から、装置は異常を判断できる。
【０１０８】
その結果を受け、ステップ４８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。もし、所定時間内にて異常が発見されなければ、ステップ４８で正式な発報対象発見と判断され、発報処理部１０に報告される。この発報処理部１０では発報処理を行う。通常は、上位にあるＰＣ等に特定の信号を送ったり、装置のブサーを鳴らしたりという処理である。ステップ４７で急激な面積の変化が発見されれば、「仮の発報対象発見」は誤りだったと判断し、「正式な発報対象発見」報告はなされない。なお、認識処理部９Ｂ、及び発報処理部１０はＳ／Ｗにて処理されるのが一般的である。
【０１０９】
以下に本実施の形態３による方式が、どのように作用するかを説明する。今、図１３の画像において、正規発報対象である「人物」と、非発報対象である「水紋」が、それぞれ発生した場合を考える。また、仮に双方とも、図１２の認識処理における各種条件は満足しており、単独でそれぞれ発報されるものとする。また、ステップ４７で言う「一定時間」を、０．５秒とし、「面積の急激な変化」を半分以下もしくは倍以上と定義する。また、装置は、変化領域を発見した場合、外接四角形を表示し、それを知らせるものとする。
【０１１０】
図１３は、映像内に「水たまり」と「人物」が写っている。装置は、変化領域を発見し、外接四角形を表示している。本装置が発報対象とするのは「人物」である。従って、人物で発報するのは「正常発報」、人物以外で発報するのは「不要検知」である。ここでは、先の仮定で定めた通り、「人物」も「水紋」も面積・縦横寸法・速度が所定範囲内であるため、発報対象と判断される。本装置ではまだ「仮の発報対象発見」である為、発報には至らない。仮に発報すれば、水紋による部分は「不要検知」となってしまう。
【０１１１】
この後、装置は、「人物」の変化領域と、「水紋」の変化領域をそれぞれ追跡し観察する。図１４は、図１３から０．５秒後の画像である。水紋は縮小しているが、まだ十分に小さくなってはいない。
【０１１２】
図１５は、図１４の現画像に対し、背景差分部６ｂにて背景差分した結果を示したものである。一方、図１６は、図１４の現画像に対し、背景差分部６ａにて背景差分した結果を示したものである。
【０１１３】
図１５では、水紋が背景画像ｂ（ここでは５秒前のフレームの映像である前提）と現画像の差分をとるため、水紋と人物がそのまま切り出される。一方、図１６では、水紋が背景画像ａ（ここでは１つ前のフレームの映像である前提）と現画像の差分をとるため、必然的にフレーム間差分となり水紋の「１フレームの間に縮まった部分」と、人物の「１フレームの時間に移動した部分」のみが切り出される。
【０１１４】
装置は、背景更新手法を、背景更新部５ｂからフレーム間差分に変えて「仮の発報対象」である、「人物」と「水紋」を追跡観察していたが、ここで改めて面積を見る。フレーム間差分の結果、「人物」は、「仮の発報対象発見」時より若干縮小した面積を有している。しかし、半分には至らないためここでは異常なしと判断され、「正式な発報対象発見」と判断される。しかし、「水紋」は、フレーム間差分の結果、「仮の発報対象発見」時の面積に比較し、１／３程度の面積しか有していない。水紋が１フレーム間にその程度しか消失しないため、このような結果となる。従って、ここでは異常ありと判断され、「正式な発報対象発見」とは判断されない。
【０１１５】
以上の通り、「人物」は正規の発報対象発見とされ、「水紋」はそうとはならない。これにより、「水紋」による不要検知は発生しない。以上の通り、本処理により、「人物」の発報を阻害せず、「水紋」の不要検知を防止できた。
【０１１６】
以上のように本実施の形態３によれば、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を上記実施の形態１で述べた効果以上に正確削減する機能を実現できる。かつ、その為の装置の構成が、上記実施の形態２よりも簡便になる。
【０１１７】
つまり、背景差分手段を複数持ち（うち１つはフレーム間差分）、発報対象発見時に直ちに発報する事をせず、その後も背景差分手段をフレーム間差分に変えて認識処理を継続して一定時間変化領域を観察し、急激な面積の増加や減少が無いことを確認し、その結果を待って発報する事により、認識処理を２回行わずに、その分不要な時間をかけずに、上記実施の形態２と同様の効果を得ることができる機能を有する。
【０１１８】
実施の形態４．
この発明の実施の形態４の構成について図１７を参照しながら説明する。図１７は、この発明の実施の形態４の概略構成を示すブロック図である。
【０１１９】
図１７において、１は本監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部２から入る映像を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け現在の映像データを記憶する現画像蓄積部、４はＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、５は背景画像蓄積部４のデータを一定ルールで演算し更新する背景更新部であり、一般的には単純なルールで更新する。例えば、過去５枚の現画像の平均を背景画像とする、等である。また、この背景更新部５Ａは、後述する認識処理部の指定により、背景更新手法を切り替えうる。６は現画像蓄積部３と背景画像蓄積部４の２つの画像を比較し、その差分を算出する背景差分部、７は背景差分部６のデータを２値化するための敷居値を算出する敷居値演算部であり、背景差分データを元に最適敷居値を求めるのが一般的である。８は敷居値演算部７で求めた敷居値で差分データを２値化する２値化部、９Ｃは２値化部８から出力される２値データを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部、１０は認識処理部９Ｃからの「発報対象発見」の指示を受け発報する発報処理部である。
【０１２０】
図１８は、本実施の形態４による図１７の認識処理部９Ｃを更に詳細に示したフローである。
【０１２１】
ステップ５１は、２値化データを見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる変化領域統合処理である。次に、ステップ５２〜５５は、ステップ５１で統合された変化領域が、発報対象か否かを判断する特徴量比較部分である。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【０１２２】
ここでは、例として以下のようなステップ５２〜５５の判断を行う。
ステップ５２では、変化領域が一定時間連続で存在するかを見る。
ステップ５３では、変化領域が所定の面積であるか否かを見る。
ステップ５４では、変化領域が所定の縦横寸法か否かを見る。
ステップ５５では、変化領域が所定の移動速度か否かを見る。
以上の結果を受け、ステップ５６では、発報対象発見か対象無しかの判断を行う。ただし、ここでは、判断結果は「仮」として扱い、まだ報告されない。
【０１２３】
ステップ５７では、更に一定時間、発報対象変化領域を追跡して観察する。そこでは、先ず、先の背景更新部５Ａに、背景画像蓄積部４に取り込む画像を現画像にするように指示する。そして、ステップ５７にて面積を見る。切り替え前に求められていた面積に対し、切り替え後に求められた面積を比較し、面積の急激な変化を見る。その結果を受け、ステップ５８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。
【０１２４】
図１９は、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。図２０は、上記図の直後の様子であり、水たまりの水紋が若干小さくなった画像である。また、図２１は、上記図を、背景画像蓄積部４に取り込む画像を現画像にするよう背景更新部５Ａを切り替えて差分データを求め２値化した結果である。
【０１２５】
次に、動作について代表的な例を説明する。図１７に於いて、外部から装置に与えられた映像信号はビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られる。このＡ／Ｄ変換部２では受け取ったビデオ信号を後の処理の為にデジタルデータに変換する。１画素あたり８ビットの多値データに変換するのが一般的である。現画像蓄積部３では入力された現画像データを蓄積し後の処理に備える。背景画像蓄積部４では入力された現画像データを元に作成された背景画像を蓄積し後の処理に備える。
【０１２６】
背景更新部５Ａでは、背景画像蓄積部４に蓄積してある背景画像を定期的に一定ルールで更新処理する。これは定期的にサンプリングされた現画像を元に演算処理されるのが一般で、例としては過去１００シーンの現画像の平均値を背景画像とする方法や、一定時間前（例えば、５秒）のフレームの映像である場合が多い。ここでは仮に過去１００シーンの現画像の平均値に置き換える更新を行うものとして進める。ただし、ここでは認識処理部９Ｃの指示により背景更新方法を別な方法に切り替える機能を有する。そのとき切り替えられる背景更新手法とは、例えば現画像をそのまま背景画像蓄積部４に取り込むというものである。
【０１２７】
背景差分部６は、現画像蓄積部３及び背景画像蓄積部４の出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。差分データは一般的には映像中の輝度の変化した部分を表す。通常は、人物や車両のような移動物が主であるが、まれに「太陽光の照り陰り」による建物の影の出現の様な、発報対象ではない輝度の変化を示す場合もある。
【０１２８】
ただし、背景更新部５Ａにて背景更新手法を「現画像をそのまま背景画像蓄積部４に取り込む」方式に変え、また元に戻した場合は、瞬間的に現画像と１フレーム前の現画像の差分をとることになり、必然的にこの瞬間のみフレーム間差分となる。また、その後、背景更新部５Ａにて背景更新手法を元に戻しても、元の背景画像同様の背景画像に戻るためにはさらに１００シーン分の時間が必要で（現在の背景更新手法が、過去１００シーンの現画像の平均値に置き換える更新を行うという前提のため）その間の背景差分結果も暫定的にフレーム間差分に近いものとなる。（徐々に通常の背景差分の結果に移り変わっている。）
【０１２９】
フレーム間差分による差分データは、一般的には１フレーム間の輝度の変化した部分を表す。通常は、高速で動く人物や車両のような移動物が主である。その性格上、１フレーム程度の時間差では明確な差が現れないため、低速で動く人物等はうまく差分データが抽出できない。しかし、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【０１３０】
敷居値演算部７は、背景差分部６から送られる差分データを２値化する為の敷居値を求める。通常、背景データは多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも２値化して２値データに変換するのが一般的である。ただし、装置によってはこの２値化を行わずに直接、差分データを認識処理する場合があるので、ここは参考である。
【０１３１】
２値化部８は、上記敷居値をもって差分データを２値化する。その結果、以降の処理では変化領域は２値データとなる。
【０１３２】
図２６を例にこの変化領域について説明する。図２６は通常の正門の映像である。今、人物が画像内を移動している。この場合、移動している人物の位置がそのまま変化領域となる。図２７が、その変化領域を黒く染めたスーパーインポーズを重複させて示した映像である。
【０１３３】
認識処理部９Ｃは、２値化部８からの２値化データを受け、それが示す変化領域が目的のもの（例えば、一般には人物や車両が該当する。以降、発報対象と呼称する。）であるか否かの判断を行う。
【０１３４】
図１８は、本実施の形態４による監視用画像処理装置の認識処理部９Ｃの内容図である。認識処理部９Ｃでは以下の手順で認識を行う。ただし、ここに示すのは１例である。
【０１３５】
ステップ５１の変化領域統合処理は、変化領域を見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる。次に、ステップ５２〜５５）は、ステップ５１で統合された変化領域が、発報対象か否かを判断する。ここでは、あらかじめ定めてあった特徴量に対し、この変化領域が合致するかを比較する。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【０１３６】
ここでは、例として以下のような判断を行う。
ステップ５２では、変化領域が一定時間連続で存在するかを見る。
ステップ５３では、変化領域が所定の面積であるか否かを見る。
ステップ５４では、変化領域が所定の縦横寸法か否かを見る。
ステップ５５では、変化領域が所定の移動速度か否かを見る。
「面積」、「縦横寸法」、及び「移動速度」は、ステップ５２での一定時間中の平均を算出して参照されるのが一般的である。ステップ５６で発報対象発見と判断されてもそれは「仮」として扱われ、まだ発報処理部１０には伝えられない。
【０１３７】
ステップ５７では、更に一定時間、発報対象変化領域を追跡して観察する。追跡に先立ち、そこでは先ず、先の背景更新部５Ａに、背景画像蓄積部４に取り込む画像を現画像にするように指示する。そのままでは、背景差分部６で比較されるのが現画像同士となり差分が出ない。直ちに先の背景更新部５Ａに、背景画像蓄積部４に取り込む画像をもとの方式に戻す様に指示する。
【０１３８】
これ以降、１００シーン分の時間を経て背景画像蓄積部４の背景画像は本来のデータに戻る（現在の背景更新手法が、過去１００シーンの現画像の平均値に置き換える更新を行うという前提のため）が、その間は背景更新は中途なものとなる。
【０１３９】
切り替え直後は瞬間的に現画像と１フレーム前の現画像の差分をとることになり、必然的にこの瞬間のみフレーム間差分となる。しかし、その後、背景画像が徐々に通常の背景画像に移り変わっていく為、徐々に通常の背景差分データに戻っていく。
【０１４０】
先述の通りフレーム間差分データでは、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【０１４１】
そして、先ほど「仮の発報対象発見」となった変化領域を、フレーム間差分による変化領域で再度追跡し、その結果の面積を比較し、面積の急激な変化を見る。先のフレーム間差分の特徴により、「仮の発報対象発見」が「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による場合は、ここではさほど大きな面積を抽出できない。従って、その面積の急激な変化から、装置は異常を判断できる。
【０１４２】
その結果を受け、ステップ５８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。もし、所定時間内にて異常が発見されなければ、ステップ５８で正式な発報対象発見と判断され、発報処理部１０に報告される。この発報処理部１０では発報処理を行う。通常は、上位にあるＰＣ等に特定の信号を送ったり、装置のブサーを鳴らしたりという処理である。ステップ５７で急激な面積の変化が発見されれば、「仮の発報対象発見」は誤りだったと判断し、「正式な発報対象発見」報告はなされない。なお、認識処理部９Ｃ、及び発報処理部１０はＳ／Ｗにて処理されるのが一般的である。
【０１４３】
以下に本実施の形態４による方式が、どのように作用するかを説明する。今、図１９の画像において、正規発報対象である「人物」と、非発報対象である「水紋」が、それぞれ発生した場合を考える。また、仮に双方とも、図１８の認識処理における各種条件は満足しており、単独でそれぞれ発報されるものとする。また、ステップ５７で言う「一定時間」を、０．５秒とし、「面積の急激な変化」を半分以下もしくは倍以上と定義する。また、装置は、変化領域を発見した場合、外接四角形を表示し、それを知らせるものとする。
【０１４４】
図１９は、映像内に「水たまり」と「人物」が写っている。装置は、変化領域を発見し、外接四角形を表示している。本装置が発報対象とするのは「人物」である。従って、人物で発報するのは「正常発報」、人物以外で発報するのは「不要検知」である。ここでは、先の仮定で定めた通り、「人物」も「水紋」も面積・縦横寸法・速度が所定範囲内であるため、発報対象と判断される。本装置ではまだ「仮の発報対象発見」である為、発報には至らない。仮に発報すれば、水紋による部分は「不要検知」となってしまう。
【０１４５】
この後、装置は、「人物」の変化領域と、「水紋」の変化領域をそれぞれ追跡し観察する。図２０は、図１９から０．５秒後の画像である。水紋は縮小しているが、まだ十分に小さくなってはいない。
【０１４６】
図２１は、図２０の現画像に対し、上述の背景更新手法の切り替え直後の背景差分した結果を示したものである。そこでは、水紋が背景画像（ここでは１つ前のフレームの映像である前提）と現画像の差分をとるため、必然的にフレーム間差分となり水紋の「１フレームの間に縮まった部分」と、人物の「１フレームの時間に移動した部分」のみが切り出される。
【０１４７】
装置は、背景更新手法を、従来の背景更新手法からフレーム間差分に変えて「仮の発報対象」である、「人物」と「水紋」を追跡観察していたが、ここで改めて面積を見る。フレーム間差分の結果、「人物」は、「仮の発報対象発見」時より若干縮小した面積を有している。しかし、半分には至らないためここでは異常なしと判断され、「正式な発報対象発見」と判断される。
【０１４８】
しかし、「水紋」は、フレーム間差分の結果、「仮の発報対象発見」時の面積に比較し、１／３程度の面積しか有していない。水紋が１フレーム間にその程度しか消失しないため、このような結果となる。従って、ここでは異常ありと判断され、「正式な発報対象発見」とは判断されない。
【０１４９】
以上の通り、「人物」は正規の発報対象発見とされ、「水紋」はそうとはならない。これにより、「水紋」による不要検知は発生しない。以上の通り、本処理により、「人物」の発報を阻害せず、「水紋」の不要検知を防止できた。
【０１５０】
以上のように本実施の形態４によれば、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を上記実施の形態１で述べた効果以上に正確削減する機能を実現できる。かつ、その為の装置の構成が、上記実施の形態２、及び３よりも簡便になる。
【０１５１】
つまり、「発報対象発見時に直ちに発報する事をせず、その後も背景差分手段をフレーム間差分に変えて認識処理を継続して一定時間変化領域を観察」するのではなく、「発報対象発見時に直ちに発報する事をせず、その後背景更新手法を一回だけ“現画像に置き換え更新”にし、その後は背景更新手段を元に戻して認識処理を継続して一定時間変化領域を観察」する事により、急激な面積の増加や減少が無いことを確認し、その結果を待って発報する事により、背景差分手段を複数持たない分、装置規模を大きくせずに上記実施の形態３と同様の効果を得ることが可能な機能を有する。
【０１５２】
実施の形態５．
この発明の実施の形態５の構成について図２２を参照しながら説明する。図２２は、この発明の実施の形態５の概略構成を示すブロック図である。
【０１５３】
図２２において、１は本監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部１から入る映像を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け現在の映像データを記憶する現画像蓄積部、４はＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像を記憶する背景画像蓄積部、５Ａは背景画像蓄積部４のデータを一定ルールで演算し更新する背景更新部であり、一般的には単純なルールで更新する。例えば、過去５枚の現画像の平均を背景画像とする、等である。また、この背景更新部５Ａは、後述する認識処理部の指定により、背景更新手法を切り替えうる。うち一つは「フレーム間差分法」である。他の背景更新手法を便宜的に「非フレーム間差分法」と呼称する。また、６は現画像蓄積部３と背景画像蓄積部４の２つの画像を比較し、その差分を算出する背景差分部、７は背景差分部６のデータを２値化するための敷居値を算出する敷居値演算部であり、背景差分データを元に最適敷居値を求めるのが一般的である。さらに、８は敷居値演算部７で求めた敷居値で差分データを２値化する２値化部、９Ｄは２値化部８から出力される２値データを受け、そこに目的の発報対象が存在するかの判断を行う認識処理部、１０は認識処理部９Ｄからの「発報対象発見」の指示を受け発報する発報処理部である。
【０１５４】
図２３は、本実施の形態５による図２２の認識処理部９Ｄを更に詳細に示したフローである。
【０１５５】
ステップ６１は、２値化データを見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる変化領域統合処理部分である。次に、ステップ６２〜６５は、ステップ６１で統合された変化領域が、発報対象か否かを判断する特徴量比較部分である。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【０１５６】
ここでは、例として以下のようなステップ６２〜６５の判断を行う。
ステップ６２では、変化領域が一定時間連続で存在するかを見る。
ステップ６３では、変化領域が所定の面積であるか否かを見る。
ステップ６４では、変化領域が所定の縦横寸法か否かを見る。
ステップ６５では、変化領域が所定の移動速度か否かを見る。
以上の結果を受け、ステップ６６では、発報対象発見か対象無しかの判断を行う。ただし、ここでは、判断結果は「仮」として扱い、まだ報告されない。
【０１５７】
ステップ６７では、更に一定時間、発報対象変化領域を追跡して観察する。実際に観察するのは「非フレーム間差分法」と「フレーム間差分法」での敷居値演算部７で算出される敷居値の差である。その結果を受け、ステップ６８では、仮の発報対象発見が、正しかったか否かの判断を行い、正しいときのみ、報告を発報処理部１０へと渡す。
【０１５８】
次に、動作について代表的な例を説明する。図２２に於いて、外部から装置に与えられた映像信号はビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られる。このＡ／Ｄ変換部２では受け取ったビデオ信号を後の処理の為にデジタルデータに変換する。１画素あたり８ビットの多値データに変換するのが一般的である。現画像蓄積部３では入力された現画像データを蓄積し後の処理に備える。背景画像蓄積部４では入力された現画像データを元に作成された背景画像を蓄積し後の処理に備える。
【０１５９】
背景更新部５Ａでは、背景画像蓄積部４に蓄積してある背景画像を定期的に一定ルールで更新処理する。これは定期的にサンプリングされた現画像を元に演算処理されるのが一般で、例としては過去１００シーンの現画像の平均値を背景画像とする方法や、一定時間前（例：５秒）のフレームの映像である場合が多い。ここでは仮に過去１００シーンの現画像の平均値に置き換える更新を行うものとして進める。
【０１６０】
ただし、ここでは認識処理部９Ｄの指示により背景更新方法を別な方法に切り替える機能を有する。そのとき切り替えられる背景更新手法とは、例えば現画像をそのまま背景画像蓄積部４に取り込むというものである。
【０１６１】
背景差分部６は、現画像蓄積部３及び背景画像蓄積部４の出力を比較し、各画素毎に差を求め、その差である差分データをフレーム画像として出力する。差分データは一般的には映像中の輝度の変化した部分を表す。通常は、人物や車両のような移動物が主であるが、まれに「太陽光の照り陰り」による建物の影の出現の様な、発報対象ではない輝度の変化を示す場合もある。
【０１６２】
ただし、背景更新部５Ａにて背景更新手法を「現画像をそのまま背景画像蓄積部４に取り込む」方式に変え、また元に戻した場合は、瞬間的に現画像と１フレーム前の現画像の差分をとることになり、必然的にこの瞬間のみフレーム間差分となる。また、その後、背景更新部５Ａにて背景更新手法を元に戻しても、元の背景画像同様の背景画像に戻るためにはさらに１００シーン分の時間が必要で（現在の背景更新手法が、過去１００シーンの現画像の平均値に置き換える更新を行うという前提のため）その間の背景差分結果も暫定的にフレーム間差分に近い物となる。（徐々に通常の背景差分の結果に移り変わっている。）
【０１６３】
フレーム間差分による差分データは、一般的には１フレーム間の輝度の変化した部分を表す。通常は、高速で動く人物や車両のような移動物が主である。その性格上、１フレーム程度の時間差では明確な差が現れないため、低速で動く人物等はうまく差分データが抽出できない。しかし、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【０１６４】
敷居値演算部７は、背景差分部６から送られる差分データを２値化する為の敷居値を求める。通常、背景データは多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも２値化して２値データに変換するのが一般的である。ただし、装置によってはこの２値化を行わずに直接、差分データを認識処理する場合があるので、ここは参考である。
【０１６５】
フレーム間差分データと、非フレーム間差分データを比較すると、近似した画像データ間で差分を出すフレーム間差分データの方が、非フレーム間差分データより値が小さいのが一般である。従って、算出した敷居値は、他方に比べ低い値となる。
【０１６６】
２値化部８は、上記敷居値をもって差分データを２値化する。その結果、以降の処理では変化領域は２値データとなる。
【０１６７】
図２６を例にこの変化領域について説明する。図２６は通常の正門の映像である。今、人物が画像内を移動している。この場合、移動している人物の位置がそのまま変化領域となる。図２７が、その変化領域を黒く染めたスーパーインポーズを重複させて示した映像である。
【０１６８】
認識処理部９Ｄは、２値化部８からの２値化データを受け、それが示す変化領域が目的のもの（例えば、一般には人物や車両が該当する。以降、発報対象と呼称する。）であるか否かの判断を行う。
【０１６９】
図２３は、本実施の形態５による監視用画像処理装置の認識処理部９Ｄの内容図である。認識処理部９Ｄでは以下の手順で認識を行う。ただし、ここに示すのは１例である。
【０１７０】
ステップ６１の変化領域統合処理は、変化領域を見て、同一の移動物に属すると思われる変化領域を統合して１つの変化領域にまとめる。次に、ステップ６２〜６５は、ステップ６１で統合された変化領域が、発報対象か否かを判断する。ここでは、あらかじめ定めてあった特徴量に対し、この変化領域が合致するかを比較する。ここで所定条件に合致した特徴を持つ変化領域は、発報対象と見なされる。
【０１７１】
ここでは、例として以下のような判断を行う。
ステップ６２では、変化領域が一定時間連続で存在するかを見る。
ステップ６３では、変化領域が所定の面積であるか否かを見る。
ステップ６４では、変化領域が所定の縦横寸法か否かを見る。
ステップ６５では、変化領域が所定の移動速度か否かを見る。
「面積」、「縦横寸法」、「移動速度」は、ステップ６２にある一定時間中の平均を算出して参照されるのが一般的である。ステップ６６で発報対象発見と判断されてもそれは「仮」として扱われ、まだ発報処理部１０には伝えられない。
【０１７２】
ステップ６７では、更に一定時間、発報対象変化領域を追跡して観察する。追跡に先立ち、そこでは先ず、先の背景更新部５Ａに、背景画像蓄積部４に取り込む画像を現画像にするように指示する。そのままでは、背景差分部６で比較されるのが現画像同士となり差分が出ない。直ちに先の背景更新部５Ａに、背景画像蓄積部４に取り込む画像をもとの方式に戻す様に指示する。
【０１７３】
これ以降、１００シーン分の時間を経て背景画像蓄積部４の背景画像は本来のデータに戻る（現在の背景更新手法が、過去１００シーンの現画像の平均値に置き換える更新を行うという前提のため）が、その間は背景更新は中途なものとなる。
【０１７４】
切り替え直後は瞬間的に現画像と１フレーム前の現画像の差分をとることになり、必然的にこの瞬間のみフレーム間差分となる。しかし、その後、背景画像が徐々に通常の背景画像に移り変わっていく為、徐々に通常の背景差分データ（非フレーム間差分データ）に戻っていく。
【０１７５】
先述の通りフレーム間差分データでは、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」の様な輝度の変化も、同様に差分データを抽出できない。
【０１７６】
そして、そのときの敷居値演算部７での演算結果（即ち敷居値）は、切り出しにくい変化領域を少しでも切り出そうとする結果、通常より低い値をとる。そして、先ほど「仮の発報対象発見」時の敷居値と比較し、その値の変化を見る。その値が急激に変化した場合は異常、そうでなければ正常と判断できる。
【０１７７】
その結果を受け、ステップ６８では、正常時のみ、発報対象発見の報告を発報処理部１０へと渡す。この発報処理部１０では発報処理を行う。通常は、上位にあるＰＣ等に特定の信号を送ったり、装置のブサーを鳴らしたりという処理である。ステップ６７で急激な値の変化が発見されれば、「仮の発報対象発見」は誤りだったと判断し、「正式な発報対象発見」報告はなされない。従って、装置は発報をしない。なお、認識処理部９Ｄ、及び発報処理部１０は、Ｓ／Ｗにて処理されるのが一般的である。
【０１７８】
以上の通り、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」は、発報されず不要検知とならない。逆に、上記と異なり「人物」の様な変化領域は正確に発報される。
【０１７９】
以上のように本実施の形態５によれば、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を上記実施の形態１〜４で述べた効果以上に正確削減する機能を実現できる。
【０１８０】
つまり、「急激な面積の増加や減少が無いことを確認」するのではなく、「急激な２値化の敷居値の変化が無いことを確認」する事により、急激な変化領域の出現や消失が無いことを確認し、その結果を待って発報する事により、上記実施の形態３、及び４よりも更に早いタイミングで誤報か否かの確認作業が終了できて、且つ上記実施の形態３、及び４と同様の効果を得ることが可能な機能を有する。
【０１８１】
【発明の効果】
この発明に係る監視用画像処理装置は、以上説明したとおり、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合で、かつ前記変化領域の面積が前記第１の一定時間の後の第２の一定時間において半分以下もしくは倍以上の変化が無いときには発報対象として認識する認識処理手段とを備えたので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を削減することができるという効果を奏する。
【０１８２】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、前記変化領域抽出手段が、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、前記背景差分データを前記敷居値で２値化する２値化手段とを有するので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を削減することができるという効果を奏する。
【０１８３】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備えたので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知を削減することができるという効果を奏する。
【０１８４】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、前記変化領域抽出手段が、現画像データと１フレーム前の現画像データである比較用背景画像データとの比較演算に基づきそのフレーム間背景差分を変化領域として算出する第１の背景差分手段と、現画像データと比較用背景画像データとの比較演算に基づきその非フレーム間背景差分を変化領域として算出する第２の背景差分手段と、前記フレーム間背景差分データ及び非フレーム間背景差分データに基づき前記フレーム間背景差分データ及び非フレーム間背景差分データをそれぞれ２値化するための第１及び第２の敷居値を算出する敷居値演算手段と、前記フレーム間背景差分データ及び非フレーム間背景差分データを前記第１及び第２の敷居値でそれぞれ２値化し第１及び第２の２値データを出力する２値化手段とを有し、前記認識処理手段が、前記第２の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識する第２の認識処理手段と、前記第１の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合で、かつ前記第２の認識処理手段により前記仮の発報対象として認識されているときには発報対象として認識する第１の認識処理手段とを有するので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をより正確に削減することができるという効果を奏する。
【０１８５】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から１フレーム前の現画像データである前記比較用背景画像データを作成して記憶する第１の背景画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する第２の背景画像蓄積手段と、前記第１の背景画像蓄積手段のデータを所定の規則で演算し更新する第１の背景更新手段と、前記第２の背景画像蓄積手段のデータを所定の規則で演算し更新する第２の背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備えたので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をより正確に削減することができるという効果を奏する。
【０１８６】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が所定の条件に合致した場合で、かつ前記変化領域の面積が一定時間所定の変化が無いときには発報対象として認識する認識処理手段とを備え、前記変化領域抽出手段が、現画像データと１フレーム前の現画像データである比較用背景画像データとの比較演算に基づきそのフレーム間背景差分を変化領域として算出する第１の背景差分手段と、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する第２の背景差分手段と、前記フレーム間背景差分データ及び背景差分データに基づき前記フレーム間背景差分データ及び背景差分データを２値化するための第１及び第２の敷居値を算出する敷居値演算手段と、前記フレーム間背景差分データ及び背景差分データを前記第１及び第２の敷居値で２値化し第１及び第２の２値データを出力する２値化手段とを有し、前記認識処理手段が、前記第２の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識し、かつ前記第１の２値データに基づき前記抽出した変化領域の面積が一定時間所定の変化が無いときには前記仮の発報対象を発報対象として認識するので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をより正確に削減することができ、かつ、その為の装置の構成を簡便にできるという効果を奏する。
【０１８７】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から１フレーム前の現画像データである前記比較用背景画像データを作成して記憶する第１の背景画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する第２の背景画像蓄積手段と、前記第１の背景画像蓄積手段のデータを所定の規則で演算し更新する第１の背景更新手段と、前記第２の背景画像蓄積手段のデータを所定の規則で演算し更新する第２の背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備えたので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をより正確に削減することができ、かつ、その為の装置の構成を簡便にできるという効果を奏する。
【０１８８】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が所定の条件に合致した場合で、かつ前記変化領域の面積が一定時間所定の変化が無いときには発報対象として認識する認識処理手段とを備え、前記変化領域抽出手段は、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、前記背景差分データを前記敷居値で２値化する２値化手段とを有し、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備え、前記認識処理手段が、前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識し、かつ前記背景更新手段により前記背景画像蓄積手段に１フレーム前の現画像データである比較用背景画像データを記憶させ、フレーム間背景差分データに基づき前記抽出した変化領域の面積が一定時間所定の変化が無いときには前記仮の発報対象を発報対象として認識するので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をより正確に削減することができ、かつ、その為の装置の構成をより簡便にできるという効果を奏する。
【０１８９】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出するとともに、前記変化領域に基づき前記変化領域を２値化するための敷居値を算出する変化領域抽出手段と、前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合で、かつ前記変化領域を２値化するための敷居値が前記第１の一定時間の後の第２の一定時間において急激に低い値にならないときには発報対象として認識する認識処理手段とを備えたので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をよりさらに正確に削減することができるという効果を奏する。
【０１９０】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、前記変化領域抽出手段が、現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、前記背景差分データを前記敷居値で２値化する２値化手段とを有するので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をよりさらに正確に削減することができるという効果を奏する。
【０１９１】
また、この発明に係る監視用画像処理装置は、以上説明したとおり、さらに、入力映像を量子化するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段とを備え、前記認識処理手段が、前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合は仮の発報対象として認識し、かつ前記背景更新手段により前記背景画像蓄積手段に１フレーム前の現画像データである比較用背景画像データを記憶させ、フレーム間背景差分データに基づき前記抽出した変化領域を前記敷居値演算手段により算出した２値化するための敷居値が前記第１の一定時間の後の第２の一定時間において急激に低い値にならないときには前記仮の発報対象を発報対象として認識するので、「人物」の様な正規の発報対象に対する発報能力を阻害せず、「太陽光の照り陰りによる建物の影の出現」や「水たまりの水紋」による建物の影の出現の様な、「移動を伴わないで徐々に現れ、あるいは移動を伴わないで徐々に消失する比較的大きな変化領域」に関する不要検知をよりさらに正確に削減することができるという効果を奏する。
さらに、この発明に係る監視用画像処理装置は、以上説明したとおり、入力された現画像と背景画像との差分に基づき変化領域を抽出する変化領域抽出手段と、前記抽出した変化領域が少なくとも発報対象となる移動物と同等の所定面積を有する場合に、背景更新手法を現画像をそのまま背景画像蓄積部に取り込む手法に変更し、直ちに過去の現画像の平均値を背景画像とする手法に戻す背景更新手段を備え、前記背景更新手段にて背景更新手法を現画像をそのまま背景画像蓄積部に取り込む手法に変え、直ちに過去の現画像の平均値を背景画像とする手法に戻した場合には、瞬間的に現画像と１フレーム前の現画像の差分をとるので、不要検知を削減することができるという効果を奏する。
【図面の簡単な説明】
【図１】 この発明の実施の形態１の構成を示すブロック図である。
【図２】 この発明の実施の形態１の認識処理部の動作を示すフローチャートである。
【図３】 この発明の実施の形態１に係る、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。
【図４】 この発明の実施の形態１に係る、水たまりに水紋が小さくなった画像である。
【図５】 この発明の実施の形態２の構成を示すブロック図である。
【図６】 この発明の実施の形態２の認識処理部の動作を示すフローチャートである。
【図７】 この発明の実施の形態２に係る、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。
【図８】 この発明の実施の形態２に係る、水たまりの水紋が若干小さくなった画像である。
【図９】 この発明の実施の形態２に係る、一方の背景差分部の方式で差分データを求め２値化した結果を示す図である。
【図１０】 この発明の実施の形態２に係る、他方の背景差分部の方式で差分データを求め２値化した結果を示す図である。
【図１１】 この発明の実施の形態３の構成を示すブロック図である。
【図１２】 この発明の実施の形態３の認識処理部の動作を示すフローチャートである。
【図１３】 この発明の実施の形態３に係る、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。
【図１４】 この発明の実施の形態３に係る、水たまりの水紋が若干小さくなった画像である。
【図１５】 この発明の実施の形態３に係る、一方の背景差分部の方式で差分データを求め２値化した結果を示す図である。
【図１６】 この発明の実施の形態３に係る、他方の背景差分部の方式で差分データを求め２値化した結果を示す図である。
【図１７】 この発明の実施の形態４の構成を示すブロック図である。
【図１８】 この発明の実施の形態４の認識処理部の動作を示すフローチャートである。
【図１９】 この発明の実施の形態４に係る、映像内に、「人物」と水たまりの「水紋」が写っている映像例である。
【図２０】 この発明の実施の形態４に係る、水たまりの水紋が若干小さくなった画像である。
【図２１】 この発明の実施の形態４に係る、背景画像蓄積部に取り込む画像を現画像にするよう背景更新部を切り替えて差分データを求め２値化した結果を示す図である。
【図２２】 この発明の実施の形態５の構成を示すブロック図である。
【図２３】 この発明の実施の形態５の認識処理部の動作を示すフローチャートである。
【図２４】 従来の監視用画像処理装置の構成を示すブロック図である。
【図２５】 従来の監視用画像処理装置の認識処理部の動作を示すフローチャートである。
【図２６】 従来の監視用画像処理装置に係る、通常の正門の映像である。
【図２７】 従来の監視用画像処理装置に係る、その変化領域を黒く染めたスーパーインポーズを重複させて示した映像である。
【符号の説明】
１ ビデオ入力部、２ Ａ／Ｄ変換部、３ 現画像蓄積部、４、４ａ、４ｂ 背景画像蓄積部、５、５ａ、５ｂ、５Ａ 背景更新部、６、６ａ、６ｂ 背景差分部、７ 敷居値演算部、８ ２値化部、９Ａ、９ａ、９ｂ、９Ｂ、９Ｃ、９Ｄ認識処理部、１０ 発報処理部。
Claims (12)
- 現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、
前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合で、かつ前記変化領域の面積が前記第１の一定時間の後の第２の一定時間において半分以下もしくは倍以上の変化が無いときには発報対象として認識する認識処理手段と
を備えたことを特徴とする監視用画像処理装置。 - 前記変化領域抽出手段は、
現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、
前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、
前記背景差分データを前記敷居値で２値化する２値化手段と
を有することを特徴とする請求項１記載の監視用画像処理装置。 - さらに、入力映像を量子化するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、
前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、
前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、
前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段と
を備えたことを特徴とする請求項２記載の監視用画像処理装置。 - 前記変化領域抽出手段は、
現画像データと１フレーム前の現画像データである比較用背景画像データとの比較演算に基づきそのフレーム間背景差分を変化領域として算出する第１の背景差分手段と、
現画像データと比較用背景画像データとの比較演算に基づきその非フレーム間背景差分を変化領域として算出する第２の背景差分手段と、
前記フレーム間背景差分データ及び非フレーム間背景差分データに基づき前記フレーム間背景差分データ及び非フレーム間背景差分データをそれぞれ２値化するための第１及び第２の敷居値を算出する敷居値演算手段と、
前記フレーム間背景差分データ及び非フレーム間背景差分データを前記第１及び第２の敷居値でそれぞれ２値化し第１及び第２の２値データを出力する２値化手段と
を有し、
前記認識処理手段は、
前記第２の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識する第２の認識処理手段と、
前記第１の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合で、かつ前記第２の認識処理手段により前記仮の発報対象として認識されているときには発報対象として認識する第１の認識処理手段と
を有することを特徴とする請求項１記載の監視用画像処理装置。 - さらに、入力映像を量子化するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、
前記Ａ／Ｄ変換手段の出力から１フレーム前の現画像データである前記比較用背景画像データを作成して記憶する第１の背景画像蓄積手段と、
前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する第２の背景画像蓄積手段と、
前記第１の背景画像蓄積手段のデータを所定の規則で演算し更新する第１の背景更新手段と、
前記第２の背景画像蓄積手段のデータを所定の規則で演算し更新する第２の背景更新手段と、
前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段と
を備えたことを特徴とする請求項４記載の監視用画像処理装置。 - 現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、
前記抽出した変化領域が所定の条件に合致した場合で、かつ前記変化領域の面積が一定時間所定の変化が無いときには発報対象として認識する認識処理手段とを備え、
前記変化領域抽出手段は、
現画像データと１フレーム前の現画像データである比較用背景画像データとの比較演算に基づきそのフレーム間背景差分を変化領域として算出する第１の背景差分手段と、
現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する第２の背景差分手段と、
前記フレーム間背景差分データ及び背景差分データに基づき前記フレーム間背景差分データ及び背景差分データを２値化するための第１及び第２の敷居値を算出する敷居値演算手段と、
前記フレーム間背景差分データ及び背景差分データを前記第１及び第２の敷居値で２値化し第１及び第２の２値データを出力する２値化手段と
を有し、
前記認識処理手段は、前記第２の２値データに基づき前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識し、かつ前記第１の２値データに基づき前記抽出した変化領域の面積が一定時間所定の変化が無いときには前記仮の発報対象を発報対象として認識する
ことを特徴とする監視用画像処理装置。 - さらに、入力映像を量子化するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、
前記Ａ／Ｄ変換手段の出力から１フレーム前の現画像データである前記比較用背景画像データを作成して記憶する第１の背景画像蓄積手段と、
前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する第２の背景画像蓄積手段と、
前記第１の背景画像蓄積手段のデータを所定の規則で演算し更新する第１の背景更新手段と、
前記第２の背景画像蓄積手段のデータを所定の規則で演算し更新する第２の背景更新手段と、
前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段と
を備えたことを特徴とする請求項６記載の監視用画像処理装置。 - 現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出する変化領域抽出手段と、
前記抽出した変化領域が所定の条件に合致した場合で、かつ前記変化領域の面積が一定時間所定の変化が無いときには発報対象として認識する認識処理手段とを備え、
前記変化領域抽出手段は、
現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、
前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、
前記背景差分データを前記敷居値で２値化する２値化手段とを有し、
さらに、入力映像を量子化するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、
前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、
前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、
前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段と
を備え、
前記認識処理手段は、前記抽出した変化領域が所定の条件に合致した場合は仮の発報対象として認識し、かつ前記背景更新手段により前記背景画像蓄積手段に１フレーム前の現画像データである比較用背景画像データを記憶させ、フレーム間背景差分データに基づき前記抽出した変化領域の面積が一定時間所定の変化が無いときには前記仮の発報対象を発報対象として認識する
ことを特徴とする監視用画像処理装置。 - 現画像データと比較用背景画像データとの比較演算に基づき変化領域を抽出するとともに、前記変化領域に基づき前記変化領域を２値化するための敷居値を算出する変化領域抽出手段と、
前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合で、かつ前記変化領域を２値化するための敷居値が前記第１の一定時間の後の第２の一定時間において急激に低い値にならないときには発報対象として認識する認識処理手段と
を備えたことを特徴とする監視用画像処理装置。 - 前記変化領域抽出手段は、
現画像データと比較用背景画像データとの比較演算に基づきその背景差分を変化領域として算出する背景差分手段と、
前記背景差分データに基づき前記背景差分データを２値化するための敷居値を算出する敷居値演算手段と、
前記背景差分データを前記敷居値で２値化する２値化手段と
を有することを特徴とする請求項９記載の監視用画像処理装置。 - さらに、入力映像を量子化するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段の出力から前記現画像データを記憶する現画像蓄積手段と、
前記Ａ／Ｄ変換手段の出力から前記比較用背景画像データを作成して記憶する背景画像蓄積手段と、
前記背景画像蓄積手段のデータを所定の規則で演算し更新する背景更新手段と、
前記抽出した変化領域を発報対象として認識したときにはその旨を知らせる発報処理手段と
を備え、
前記認識処理手段は、前記抽出した変化領域が第１の一定時間における所定の条件に合致した場合は仮の発報対象として認識し、かつ前記背景更新手段により前記背景画像蓄積手段に１フレーム前の現画像データである比較用背景画像データを記憶させ、フレーム間背景差分データに基づき前記抽出した変化領域を前記敷居値演算手段により算出した２値化するための敷居値が前記第１の一定時間の後の第２の一定時間において急激に低い値にならないときには前記仮の発報対象を発報対象として認識する
ことを特徴とする請求項１０記載の監視用画像処理装置。 - 入力された現画像と背景画像との差分に基づき変化領域を抽出する変化領域抽出手段と、
前記抽出した変化領域が少なくとも発報対象となる移動物と同等の所定面積を有する場合に、背景更新手法を現画像をそのまま背景画像蓄積部に取り込む手法に変更し、直ちに過去の現画像の平均値を背景画像とする手法に戻す背景更新手段を備え、
前記背景更新手段にて背景更新手法を現画像をそのまま背景画像蓄積部に取り込む手法に変え、直ちに過去の現画像の平均値を背景画像とする手法に戻した場合には、瞬間的に現画像と１フレーム前の現画像の差分をとる
ことを特徴とする監視用画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27859296A JP3848709B2 (ja) | 1996-10-01 | 1996-10-01 | 監視用画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27859296A JP3848709B2 (ja) | 1996-10-01 | 1996-10-01 | 監視用画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10105839A JPH10105839A (ja) | 1998-04-24 |
| JP3848709B2 true JP3848709B2 (ja) | 2006-11-22 |
Family
ID=17599419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27859296A Expired - Lifetime JP3848709B2 (ja) | 1996-10-01 | 1996-10-01 | 監視用画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3848709B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3873554B2 (ja) | 1999-12-27 | 2007-01-24 | 株式会社日立製作所 | 監視装置、監視プログラムが記録された記録媒体 |
| JP2007208557A (ja) * | 2006-01-31 | 2007-08-16 | Nishiyama:Kk | 画像監視警報方法 |
| JP6593018B2 (ja) * | 2015-08-06 | 2019-10-23 | オムロン株式会社 | 障害物検知装置、障害物検知方法、および障害物検知プログラム |
| US10997453B2 (en) * | 2019-01-29 | 2021-05-04 | Adobe Inc. | Image shadow detection using multiple images |
-
1996
- 1996-10-01 JP JP27859296A patent/JP3848709B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10105839A (ja) | 1998-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6952449B2 (en) | Detection apparatus for road obstructions | |
| US7751647B2 (en) | System and method for detecting an invalid camera in video surveillance | |
| CN102663362B (zh) | 一种基于灰度特征的运动目标检测方法 | |
| JP3486229B2 (ja) | 画像変化検出装置 | |
| EP0940033B1 (en) | Method of processing a video stream | |
| US20130027550A1 (en) | Method and device for video surveillance | |
| JP3848709B2 (ja) | 監視用画像処理装置 | |
| CN113657250A (zh) | 一种基于监控视频的火焰检测方法及系统 | |
| KR20060003321A (ko) | 보안 감시 시스템의 물체 인식 장치 및 방법 | |
| JPH0514891A (ja) | 画像監視装置 | |
| US20130027549A1 (en) | Method and device for video surveillance | |
| JPH0628449B2 (ja) | 侵入監視装置 | |
| JPH0620049A (ja) | 侵入者識別システム | |
| Ortego et al. | Multi-feature stationary foreground detection for crowded video-surveillance | |
| JP3613301B2 (ja) | 映像監視追跡装置 | |
| JP3986643B2 (ja) | 監視用画像処理装置 | |
| JP3830616B2 (ja) | 監視用画像処理装置 | |
| JPH06169458A (ja) | 移動体の自動追尾装置 | |
| JP4071336B2 (ja) | 監視用画像処理装置 | |
| Li et al. | Fusion of two different motion cues for intelligent video surveillance | |
| JP2000175174A (ja) | 監視用画像処理装置 | |
| JPH05183901A (ja) | 移動体監視装置 | |
| JP4544955B2 (ja) | 画像監視装置 | |
| JP3713835B2 (ja) | 監視用画像認識装置 | |
| Hassan et al. | Illumination invariant method to detect and track left luggage in public areas |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040415 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050629 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050926 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051122 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060714 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060828 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130901 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |