JP3846410B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP3846410B2 JP3846410B2 JP2002337523A JP2002337523A JP3846410B2 JP 3846410 B2 JP3846410 B2 JP 3846410B2 JP 2002337523 A JP2002337523 A JP 2002337523A JP 2002337523 A JP2002337523 A JP 2002337523A JP 3846410 B2 JP3846410 B2 JP 3846410B2
- Authority
- JP
- Japan
- Prior art keywords
- frames
- signal
- processing
- unit
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/181—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems
- G08B13/187—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using active radiation detection systems by interference of a radiation field
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Burglar Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Alarm Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、安定的に監視領域を監視できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
所定の領域に侵入者が入ったか否かを検出するセキュリティシステム（監視装置）が一般に普及しつつある。
【０００３】
従来のセキュリティシステム、または、侵入検知装置においては、撮像装置と画像処理装置を組み合わせたもの、または、検出装置として焦電センサのようなものを用いて、人間の温度を感知するものが提案されている。
【０００４】
また、２次元の格子パターンに分割されたスポットを投影し、その投影画像を所定のサイクルで撮像して各スポットの座標の変化により人間の位置、姿勢を監視するものがある（例えば、特許文献１参照）。
【０００５】
さらに、距離画像を取得するために、光パターンの投射を行い、被写体の動きを検出し、動きが検出された際の２次元画像を所定の記録媒体に記録するものがある（例えば、特許文献２参照）。
【０００６】
また、特殊な照明・照射装置を必要とせず、非接触で、かつ、遠隔的に変化情報を連続動画像から抽出し、必要に応じて引き続く処理系を駆動するセンシングシステムを備えたものがある（例えば、特許文献３参照）。
【０００７】
【特許文献１】
特開平１０−２３２９８５号公報
【特許文献２】
特開平１１−２２５３２６号公報
【特許文献３】
特開平７−１２９７８１号公報
【０００８】
【発明が解決しようとする課題】
ところで、撮像装置と画像処理装置を組み合わせたものの場合、具体的には、図1のように監視対象物１に対して、それを包含する領域を監視エリア２とし定常状態(侵入物がない状態)の監視エリア２内の明るさを撮像装置によって記憶して参照画像として登録する。そして、画像処理装置が、監視エリア２内の明るさの変化を逐次撮像して、参照画像と比較し、例えば、図２のように、侵入物１１によって侵入物１１の影１１ａが生じるような顕著な差を検出し、異常がある(侵入物がある)と判断するものであった。
【０００９】
しかしながら、この手法では、撮影している最中に、周囲の明るさが変動した場合、参照画像そのものが既に最初に撮影した状態と異なり、もはや参照画像として使えないという状況になるといったことが考えられる。
【００１０】
例えば、図３で示すように蛍光灯３のフリッカによって、時間的に明るさが変動する場合、明るくなった瞬間に侵入物１１によって影１１ａが生じても，それによる明るさの低下が想定しているほど大きくない状態になり，異常と検出されない恐れがあった。
【００１１】
また、図４で示すように、監視エリア２の近くにある白熱照明４が点灯された場合、監視エリア２内が明るくなり、やはり侵入物１１によって影１１ａが生じても、それによる明るさの低下が想定しているほど大きくない状態になり、異常と検出されない恐れがあった。
【００１２】
これらの誤動作を防ぐために、全体の明るさが変動したと判断した場合には改めて参照画像を登録するといった作業が必要となり、結果として、その作業に手間がかかってしまうと言う課題があった。
【００１３】
また、通常のカメラの場合、例えばCCD（Charge Coupled Device）カメラを使用した場合，画像の取り込みが30Hzの周期、すなわち１フレームの画像を撮像するのに33msecの時間を要するため、侵入物が速く監視エリア２を横切るようなとき、侵入物１１の影１１ａを検知することができないという課題があった。
【００１４】
さらに、焦電センサを用いた装置の場合、人間のみならず、猫や犬といった小動物をはじめとする熱を発する物体にも反応してしまうので，誤動作が絶えないと言う課題があった。
【００１５】
また、上記以外にも侵入経路に赤外光源とそれを受光するセンサを設置し、侵入物１１によって光源からセンサへの光が遮られると侵入検知する方法もあるが、広範囲にわたって侵入を検知するには、そのような装置を多数取り付ける必要があり、コストや装置規模が大きくなってしまうと言う課題があった。
【００１６】
本発明はこのような状況に鑑みてなされたものであり、周囲の明るさが変動した場合にでも安定して侵入物の判定ができ、高速に、かつ、広い範囲を一括して監視対象とすることができる技術を提供するものである。
【００１７】
【課題を解決するための手段】
本発明の画像処理装置は、所定のパターンで変化する出射光が反射された反射光の画像を撮像する撮像手段と、撮像手段により撮像された反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分を求める差分演算手段と、差分演算手段の演算結果を所定の閾値と比較する比較手段と、比較手段の比較結果に基づいて、第１の信号、または、第２の信号に処理する信号処理手段と、信号処理手段により処理された信号を所定の間隔で、所定の信号であるか否かを判定する判定手段と、判定手段の判定結果に基づいて、侵入者または侵入物を含む侵入物体を検出する検出手段とを備え、所定のパターンで変化する出射光の 1 周期が、撮像手段の複数フレーム分の時間であることを特徴とする。
【００１８】
前記所定のパターン変化する出射光を発する投光手段をさらに設けるようにさせるようにすることができる。
【００１９】
前記Nは２とするようにしてもよい。
【００２０】
前記所定のパターンで変化する出射光は、その1周期が前記撮像手段の３フレーム分の時間であるようにしてもよい。
【００２１】
前記判定手段には、信号処理手段により処理された信号を６フレーム間隔で、Hiの信号であるか否かを判定させるようにすることができる。
【００２２】
前記判定手段には、信号処理手段により処理された信号がHiの信号であるか否かを判定する間隔を５フレーム、６フレーム、または、７フレームのいずれかに変化させるようにすることができる。
【００２３】
本発明の画像処理方法は、所定のパターンで変化する出射光が反射された反射光の画像を撮像する撮像ステップと、撮像ステップの処理で撮像された反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分を求める差分演算ステップと、差分演算ステップの処理での演算結果を所定の閾値と比較する比較ステップと、比較ステップの比較結果に基づいて、第１の信号、または、第２の信号に処理する信号処理ステップと、信号処理ステップの処理で処理された信号を所定の間隔で、所定の信号であるか否かを判定する判定ステップと、判定ステップの処理で判定結果に基づいて、侵入者または侵入物を含む侵入物体を検出する検出ステップとを含み、所定のパターンで変化する出射光の 1 周期が、撮像ステップの処理での複数フレーム分の時間であることを特徴とする。
【００２４】
本発明の記録媒体のプログラムは、撮像された所定のパターンで変化する出射光が反射された反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分を求める差分演算ステップと、差分演算ステップの処理での演算結果を所定の閾値と比較する比較ステップと、比較ステップの比較結果に基づいて、第１の信号、または、第２の信号に処理する信号処理ステップと、信号処理ステップの処理で処理された信号を所定の間隔で、所定の信号であるか否かを判定する判定ステップと、判定ステップの処理で判定結果に基づいて、侵入者または侵入物を含む侵入物体を検出する検出ステップとを含み、所定のパターンで変化する出射光の 1 周期が、撮像ステップの処理での複数フレーム分の時間であることを特徴とする。
【００２５】
本発明のプログラムは、撮像された所定のパターンで変化する出射光が反射された反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分を求める差分演算ステップと、差分演算ステップの処理での演算結果を所定の閾値と比較する比較ステップと、比較ステップの比較結果に基づいて、第１の信号、または、第２の信号に処理する信号処理ステップと、信号処理ステップの処理で処理された信号を所定の間隔で、所定の信号であるか否かを判定する判定ステップと、判定ステップの処理で判定結果に基づいて、侵入者または侵入物を含む侵入物体を検出する検出ステップとを含む処理をコンピュータに実行させ、所定のパターンで変化する出射光の 1 周期が、撮像ステップの処理での複数フレーム分の時間であることを特徴とする。
【００２６】
本発明の画像処理装置および方法、並びにプログラムにおいては、所定のパターンで変化する出射光が反射された反射光の画像が撮像され、撮像された反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分が求められ、演算結果が所定の閾値と比較され、比較結果に基づいて、第１の信号、または、第２の信号に処理され、処理された信号を所定の間隔で、所定の信号であるか否かが判定され、判定結果に基づいて、侵入者または侵入物を含む侵入物体が検出され、所定のパターンで変化する出射光の 1 周期が、前記複数フレーム分の画像が撮像される時間である。
【００２７】
【発明の実施の形態】
図５は、本発明に係る監視装置の一実施の形態の構成を示す図である。
【００２８】
監視装置１０１は、投光部１１１と撮像部１１２を備えている。投光部１１１は、所定の周波数の点滅信号を投光し、その出射光が、監視領域１０３を透過して、反射物１０２により反射される。撮像部１１２は、その反射光を撮像し、所定の周波数の光の変化を検出し、変化の有無により監視装置１０１から反射物１０２の間の監視領域１０３の侵入者を検出するものである。
【００２９】
図６は、監視装置１０１の実施の形態の構成を示している。
【００３０】
投光部１１１は、図５の監視領域１０３に対して規則正しいパターン、すなわち、所定の周波数で変化する（点滅する）光を反射物１０２に向けて出射するものであり、例えば、LED（Light Emission Diode）や半導体レーザといった固体発光素子による構成される。投光部１１１は、制御部１２２により制御され、可視光領域(400nm乃至700nm)の光のみならず、赤外領域(700nm超)や紫外領域(400nm未満)の波長の光であってもよく、可視光領域外の光を使うことにより、侵入者に対して見えない状態で、監視することができる。
【００３１】
撮像部１１２は、駆動部１２１により発生される同期信号、および、クロックパルス等の駆動信号に基づいて、高速フレームレートで撮像可能なCCDカメラ、または、CMOS（Complementary Metal-Oxide Semiconductor）カメラより構成されており、監視領域１０３内を撮像し、撮像結果を後段の内部記憶部１２３に出力する。
【００３２】
制御部１２２は、駆動部１２１、内部記憶部１２３、投光部１１１、および、信号処理部１２４のそれぞれに対して駆動制御信号、内部記憶制御信号、投光制御信号、および、信号処理制御信号を出力し、動作タイミング等を制御する。
【００３３】
内部記憶部１２３は、一般的なDRAM（Dynamic Random Access Memory）やSRAM（Static Random Access Memory）で構成されており、撮像部１１２により撮像された撮像結果を時間軸に沿って一時的に記憶する。内部記憶部１２３の記憶容量は、撮像部１１２の画素数と、それぞれに対して記憶しておく信号の数、すなわち、色の階調数やフレーム数によって決定される。例えば、撮像部１１２が、640（画素数）×480（画素数）の高速撮像CCDイメージセンサである場合、1画素あたり、4フレーム分の時間的に連続した8ビットの信号を記憶するとき、640×480×4×8=9600Kビット(1200Kバイト)の記憶容量が必要となる。さらに、内部記憶部１２３に記憶された信号は、制御部１２２により指示されるタイミングで記憶信号として信号処理部１２４により読み出される。
【００３４】
信号処理部１２４は、内部記憶部１２３から読み出した記憶信号を処理し、
その信号処理結果を判定部１２５に供給する。信号処理部１２４は、例えば、記憶信号として時間的に連続した4フレーム分の信号を用いて、以下の式（１）から４フレーム間差分F(N)を各画素について演算する。
【００３５】
F(N)＝{f(N)＋f(N−1)}−{f(N−2)＋f(N−3)}・・・（１）
【００３６】
ここで、Nはフレーム番号を示しており、N−１がその前のタイミングのフレーム番号を示し、N−２が、２フレーム前のタイミングのフレーム番号を示し、N−３が３フレーム前のタイミングのフレーム番号を示している。また、f(N)，f(N-1)，f(N-2)，f(N-3)は、各フレームに対する信号の値を示している。
【００３７】
式（１）が演算されることにより、各画素の明るさが変化した直後に信号処理結果の符号が反転することになる。信号処理部１２４は、この式（１）の演算により、負の値（０含まず）となるとき、Hiを、正の値（０含む）のときLowを出力する。尚、この式（１）の演算による処理については、詳細を後述する。
【００３８】
判定部１２５は、信号処理部１２４から転送された信号処理結果を、自らに内蔵するカウンタを用いて、所定の規則に基づいて判定し、その判定結果として、表示部１２６には判定結果表示データを、外部記憶部１２７には判定結果記憶データを、通信部１２８には判定結果通信データを、それぞれ出力する。
【００３９】
表示部１２５は、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などから構成され、判定部１２５から入力された判定結果表示データを表示する。この判定結果表示データは、判定結果のみならず、判定が出された時刻や信号処理結果そのものなど、後に参照したときに状況を把握するための情報を含めてもよい。
【００４０】
外部記憶部１２７は、判定１２５から入力された判定結果記憶データを一時的に記憶する。この判定結果記憶データは、判定結果のみならず、判定が出された時刻や、信号処理結果そのものなど、後に参照したときに状況を把握するための情報を含めてもよい。
【００４１】
通信部１２８は、判定部１２５から入力された判定結果通信データをインターネットなどからなる外部ネットワークに適した信号に変換して通信データとして出力する。
【００４２】
判定結果通信データは、判定結果のみならず、判定が出された時刻や、信号処理結果そのものなど、後に参照したときに状況を把握するための情報を含めてもよい。
【００４３】
外部制御部１２９は、外部制御信号を制御部１２２に対して出力し、撮像部１１２や投光部１１１の動作タイミングや、動作パターンを外部から制御する。
【００４４】
次に、信号処理部１２４における信号処理について説明する。
【００４５】
図７の上段には、投光部１１１から出射される光信号のパターンが、図７の中段には、投光部１１１により出射された光信号が反射物１０２により反射された反射光を撮像部１１２により撮像したときのパターンが、そして、図７の下段には反射光のパターンに基づいて、信号処理された信号のパターンがそれぞれ示されている。また、図７の下部の０乃至３０までの番号は、フレーム番号を示している。したがって、縦の線の間隔は、１フレームの時間である。
【００４６】
図７の上段に示すように、投光部１１１は、制御部１２２からの指示に基づいて、３フレーム間隔で２値の明るさのレベルが切り換えられて投光し続けている。すなわち、図７の上段においては、時刻ｔ０，ｔ２，ｔ４，ｔ６，ｔ８において、Hiに切り換えられ、時刻ｔ１，ｔ３，ｔ５，ｔ７，ｔ９において、Lowに切り換えられる。これに対応して、反射物１０２により反射された反射光からなる光信号は、光路差のため、やや遅れて時刻ｔ２１，ｔ２５，ｔ２９，ｔ３３，ｔ３７において、撮像部１１２が反射光を捕らえられて、徐々にレベルを上昇させ、時刻ｔ２２，ｔ２６，ｔ３０，ｔ３４，ｔ３８においてＨｉに切り換えられ、逆に、時刻ｔ２３，ｔ２７，ｔ３１，ｔ３５，ｔ３９において、Ｌｏｗへの切替が開始され、時刻ｔ２３，ｔ２７，ｔ３１，ｔ３５，ｔ４０においてLowに完全に切り換えられ、この処理が繰り返されることになる。
【００４７】
この間、撮像部１１２は、撮像結果を内部記憶部１２３に出力し続けるため、内部記憶部１２３には、常に４フレーム分の各画素の値が撮像結果として蓄えられていることになる。信号処理部１２４は、撮像部１１２により撮像される反射光のパターン（図７の中段）の値に基づいて、現在のフレームf(N)から３フレーム前のフレームf(N-3)の各画素の値を用いて、上述の式（１）を演算する。例えば、時刻ｔ５１の場合、フレーム番号N=4であるので、式（１）により、以下の式（２）が演算されることになる。
【００４８】
F(４)＝{f(４)＋f(３)}−{f(２)＋f(１)}・・・（２）
【００４９】
この場合、図７の中段に示すように、f(2)とf(3)は、いずれもHiであるため相殺され、f(4)は、f(1)と比較すると値としては、小さくなる（Hiとなっている面積が小さい）ため、F(4)＜０となる。結果として、信号処理部１２４は、図７の下段に示すように、Hiを出力する。同様にして、フレーム番号N＝５の場合、以下の式（３）が演算される。
【００５０】
F(５)＝{f(５)＋f(４)}−{f(３)＋f(２)}・・・（３）
【００５１】
この場合、f(5)の値はLow＝０となっており、f(2)，f(3)はいずれもHiであることから、結果として、F(5)＜０となるので、信号処理部１２４は、Hiを出力し、同様にして、F(6)＜０であるので、Hiが出力される。
【００５２】
一方、F(７)は、ｆ(5),f(6)がいずれもLow＝０であり、相殺され、f(7)は、f(4)よりも大きいため、F(7)は、正の値をとることになるので、信号処理部１２４は、Lowを出力する。同様にして、F(8)，F(9)は、正の値をとるので、信号処理部１２４は、Lowを出力する。
【００５３】
この結果、図７の下段においては、F(1)乃至F(3)，F(7)乃至F(9)，F(13)乃至F(15)，F(19)乃至F(21)，F(24)乃至F(27)においては、Lowが出力され、F(4)乃至F(6)，F(10)乃至F(12)，F(16)乃至F(18)，F(22)乃至F(24)，F(28)乃至F(30)においては、Hiが出力されることになる。すなわち、3フレーム毎にHi、または、Lowに切り換えられる信号が出力されることになる。
【００５４】
したがって、図７の下段に示すように信号処理部１２４から信号が出力されている間は、監視装置１０１と反射物１０２の間には、出射光、または、反射光を遮る侵入者（侵入物を含む）は存在しないことになる。
【００５５】
一方、監視装置１０１と反射物１０２の間の、出射光、または、反射光を遮るように侵入者（侵入物を含む）が通過すると、図８で示すような波形となる。
【００５６】
すなわち、図８の上段に示すように、投光部１１１から光信号が出射されるが、図中の時刻ｔ２８乃至時刻ｔ３７の間に、侵入者が通過すると、撮像部１１２の撮像結果は、図８の中段で示すような波形となり、対応して、信号処理部１２４からは、図８の下段で示すような波形となる。
【００５７】
すなわち、時刻ｔ２８乃至ｔ３７においては、投光部１１１から出射光が投光されるものの、侵入者により反射光（または、出射光）が遮られることになるため、撮像部１１２においては、反射光を撮像することができず、結果として、その間は、波形が変化することになる（一定の間隔でHiとLowの切替がなされないことになる）。これに対応して、信号処理部１２４では、その間は、4フレーム間差分Fは、０となるため、Lowを出力することになる。結果として、判定部１２５は、本来、検出されるべきフレーム番号１６乃至１８、および、２２乃至２４のHiの出力が得られないことになる。判定部１２５は、このような波形の変化により侵入者の存在を検出することができる。
【００５８】
また、以上のような構成により、監視装置１０１と反射物１０２の間の空間で、周辺の明るさが変化するような場合、図９の上段で示すように投光部１１１から出射される出射光が一定であっても、図９の中段で示すように、撮像部１１１で撮像される各画素値は、明るさの変化に対応して変化することになる。しかしながら、式（１）により演算される4フレーム間差分Fは、今現在のフレームから3フレーム前までの合計4フレーム間での画素値の変化を示すものであるため、信号処理部１２４によりなされる処理結果には変化が生じないことになる。このため、例えば、監視装置１０１と反射物１０２周辺の明るさが変化するような、例えば、照明がある場合や、屋外などで天候や時間によって明るさが変化するような場合であっても、侵入者の有無を正確に検出することが可能となる。
【００５９】
次に、図１０のフローチャートを参照して、監視処理について説明する。
【００６０】
ステップＳ１において、制御部１２２は、投光部１１１を制御して、監視領域１０３の周囲に対して所定のパターンの点滅光を投光させる（出射させる）。ここで、所定のパターンは、その１周期が撮像部１１２の３フレーム分に相当する。
【００６１】
ステップＳ２において、制御部１２２は、駆動部１２１を制御して、撮像部１１２により監視領域１０３を撮像させる。すなわち、監視領域１０３の監視装置１０１から見て奥に存在する反射物１０２からの反射光を撮像させ、撮像結果を内部記憶部１２３に出力させて、順次撮像結果を記憶させる。
【００６２】
ステップＳ３において、制御部１２２は、信号処理部１２４を制御して、内部記憶部１２３に記憶されている画像信号のうち、直近の４フレーム分の信号を読み出させ、式（１）の演算処理により４フレーム間差分を求めて、判定部１２５に出力させる。
【００６３】
ステップＳ４において、判定部１２５は、信号処理部１２４から入力された４フレーム間差分Ｆの値に基づいて、判定処理を実行する。
【００６４】
ここで、図１１のフローチャートを参照して、判定部１２５による判定処理について説明する。
【００６５】
ステップＳ２１において、判定部１２５は、スタート位置検出処理を実行する。
【００６６】
ここで、図１２のフローチャートを参照して、スタート位置検出処理について説明する。
【００６７】
ステップＳ４１において、判定部１２５は、負の４フレーム間差分Ｆが３フレーム分連続で検出されたか否かを判定し、３フレーム分連続で負の４フレーム間差分Ｆ（信号処理結果が３フレーム分続けてHiとなる状態）が検出されるまで、その処理を繰り返す。そして、３フレーム分連続で負の４フレーム間差分Ｆ（Ｎ）が検出された場合、ステップＳ４２において、判定部１２５は、自らに内蔵するフレームカウンタFCを０に初期化する。すなわち、例えば、図１３で示すように、４フレーム間差分の演算結果が得られた場合、時刻ｔ５１乃至ｔ５２において、３フレーム連続してHiが検出された、すなわち、３フレーム連続して、４フレーム間差分Fが負であった場合、その最後に検出されたフレーム番号をスタート位置のフレーム番号とするため、フレームカウンタFCを０に初期化する。
【００６８】
ここで、図１１のフローチャートの説明に戻る。
【００６９】
ステップＳ２２において、判定部１２５は、１フレーム分後の４フレーム間差分Ｆが入力されるのを待つ。ステップＳ２３において、判定部１２５は、フレームカウンタFCを１インクリメントする。ステップＳ２４において、判定部１２５は、フレームカウンタFCが４、または、５であるか否かを判定する。例えば、図１３の時刻ｔ５３以降の２フレーム、すなわち、フレームカウンタFCが４、または、５の場合、その処理は、ステップＳ２５に進む。
【００７０】
ステップＳ２５において、負の４フレーム間差分Ｆが検出されたか否かを判定し、例えば、図１３の場合、フレーム番号が４，５のフレームでは、Hiが出力されているため、負の４フレーム間差分Fが求められていると判定され、ステップＳ２９において、判定部１２５は、異常なしと判定し、その処理は、ステップＳ２２に戻る。
【００７１】
また、ステップＳ２５において、負の４フレーム間差分Ｆが求められなかった場合、図１３で示すように、あるべきHiの出力が得られないことになるので、ステップＳ３０において、判定部１２５は、異常ありと判定する。
【００７２】
ステップＳ２４において、フレームカウンタFCが４，５ではない場合、ステップＳ２６において、判定部１２５は、フレームカウンタFCが６であるか否かを判定する。例えば、図１３で示す、時刻ｔ５４の直前のフレーム番号６の場合、ステップＳ２７において、判定部１２５は、負のフレーム間差分Ｆが得られたか否かを判定する。例えば、図１３で示すように、フレーム番号６のフレームにおいて、４フレーム間差分Ｆは負であるので、その処理は、ステップＳ２８において、判定部１２５は、フレームカウンタFCを０にリセットし、その処理は、ステップＳ２９に進む。
【００７３】
ステップＳ２７において、負のフレーム間差分Ｆが得られなかったと判定された場合、その処理は、ステップＳ３０に進み、判定部１２５は、異常ありと判定する。
【００７４】
ステップＳ２６において、フレームカウンタFCの値が６ではないと判定した場合、すなわち、ステップＳ２４において、FC＝４，５でもなく、また、ステップＳ２６において、FC＝６でもないので、FC＝１，２，３であると判定された場合、その処理は、ステップＳ２９に進む。
【００７５】
すなわち、図１３の下部には、フレームカウンタFCの値が示されているが、フレームカウンタFCが４，５，６の場合、４フレーム間差分Ｆが、負となる状態が検出され続ける限りにおいては、異常なしと判定される。
【００７６】
ここで、図１０のフローチャートの処理に戻る。
【００７７】
ステップＳ５において、判定部１２５は、判定処理の処理結果が異常ありであるか否かを判定し、例えば、異常ありと判定した場合、その処理は、ステップＳ６に進む。
【００７８】
ステップＳ６において、判定部１２５は、異常を示す判定結果を表示部１２５に表示する。ステップＳ７において、判定部１２５は、異常を示す判定結果を外部記憶部１２７に記憶させる。さらに、ステップＳ８において、判定部１２５は、通信部１２８を制御して、外部ネットワークを通じて他の情報処理装置、例えば、監視装置を管理するサーバや、監視装置のオーナーの携帯端末などに異常を示す判定結果を通信する。
【００７９】
ステップＳ７において、判定部１２５は、異常ありの情報を制御部１２２に出力し、この情報に基づいて動作状態を待機状態にする。
【００８０】
ステップＳ８において、制御部１２２は、待機状態が解除されたか否かを判定し、解除されるまで待機状態を維持し、解除されたと判定された場合、その処理は、ステップＳ３に戻り、それ以降の処理が繰り返される。
【００８１】
以上の処理により、監視装置１０１と反射物１０２との間に設定される監視領域１０３の明るさの変化などに影響されること無くの侵入者（侵入物を含む）の有無を検出することができる。さらに、投光部１１１からの投光範囲を広げ、撮像部１１２の撮像できる領域を広げることにより監視領域を広げることが可能となる。
【００８２】
以上においては、監視装置１０１が投光部１１１と撮像部１１２を備えている場合について説明してきたが、例えば、監視装置１０１とは別体の投光部を設けるようにして、その投光部から出射されて、反射物１０２から反射された反射光を監視装置の撮像部で撮像するようにしてもよい。
【００８３】
図１４は、投光部を監視装置とは、別体にした場合の監視システムの構成を示している。
【００８４】
監視装置１０１’は、基本的に監視装置１０１から投光部１１１を除いた構造となっている。投光装置２０１の投光部２１１は、監視装置１０１の投光部１１１と同様の構成のものであり、監視装置１０１’とは、異なる位置から監視領域１０３に対して出射光を発する。監視装置１０１’は、投光部２１１から出射され、反射物１０２により反射された反射光を撮像部１１２で撮像し、監視領域１０３への侵入者の有無を検出する。
【００８５】
次に、図１５を参照して、監視装置１０１’の構成について説明する。尚、監視装置１０１’の構成は、監視装置１０１の構成と基本的に同様であり、同一の機能を有するものは同一の符号を付して、その説明は、適宜省略するものとする。
【００８６】
ここで、監視装置１０１’において、監視装置１０１と異なる点は、撮像部１１２、内部記憶部１１３、信号処理部１２４、および、判定部１２５に代えて、撮像ユニット２２１、および、判定部１２５’を設け、投光部１１１が設けられていない点であるが、撮像ユニット２２１は、撮像部１１２、内部記憶部１１３、および、信号処理部１２４と同一の機能を有する撮像部１１２’、内部記憶部１１３’、および、信号処理部１２４’を一体化した構成となっているものである。このため、撮像ユニット２２１は、データ転送の帯域が広げられるので、監視装置１０１に比べて、撮像部１１２’から内部記憶部１２３’への撮像結果の転送速度や、内部記憶部１１３’から信号処理部１２４’への記憶信号の転送速度などが向上されているが、その他の機能は同様である。したがって、撮像ユニット２２１ではなく、元の撮像部１１２、内部記憶部１１３、および、信号処理部１２４が設けられてもよい。
【００８７】
判定部１２５’は、基本的には、判定部１２５と同様の機能を有するものであるが、投光部２１１が監視装置１０１’とは、別体にあるために発生する制御クロックのずれを吸収するための処理を行う。尚、判定部１２５’の判定処理については、詳細を後述する。
【００８８】
次に、図１６を参照して、投光装置２０１の構成について説明する。投光部２１１は、図６の投光部１１１とは基本的に同様のものであり、制御部２３１により制御され、所定のパターンの光を監視領域１０３に出射する。
【００８９】
制御部２３１、および、外部制御部２３２は、図６の制御部１２２、および、外部制御部１２９と同様の機能を有するものである。
【００９０】
ただし、投光装置２０１が監視装置１０１’と別体となっているため、監視装置１０１’は、投光部２１１から出射され、反射物１０２に反射された反射光を撮像し、信号処理を行う際、同期が取れず検出される波形が変化することがある。このため、判定部１２５’は、上述のように、判定部１２５とは異なる判定処理を実行する。
【００９１】
すなわち、投光装置２０１の制御部２３１が発する制御クロックと、制御部１２２が発生する制御クロックが同期している場合、図１７の上段に示すパターンのように、時刻ｔ１０１乃至ｔ１０２，ｔ１０３乃至ｔ１０４，ｔ１０５乃至ｔ１０６においてHiとなるように投光部２１１から出射されていたとき、監視装置１０１’の信号処理部１２４’では、図１７の下段で示すように、投光部２１１から撮像ユニット２２１で処理されるまでの時間差が発生するため、時刻ｔ１０より後の時刻である時刻ｔ１２１乃至１２２，ｔ１２３乃至１２４，および
ｔ１２５乃至１２６のタイミングで4フレーム間差分Fが負となり、Hiとなるものとする。
【００９２】
従って、図１７で示すように、投光パターンは、６フレーム毎に立ち上がりが検出され、同様にして、４フレーム間差分Fについても同様に６フレーム毎に立ち上がりが検出されることがわかる。すなわち、４フレーム間差分Fは、６フレーム間隔でHiとなることが確認されれば、侵入者が存在しないことになる。
【００９３】
ところが、制御部２３１が発する制御クロックと、制御部１２２が発生する制御クロックが同期しておらず、お互いの周波数にも正確に逓倍になっていないと、所定のフレーム数毎に４フレーム間差分FがHiになるタイミングが１フレーム分進んだり、遅れたりすることがある。
【００９４】
そこで、判定部１２５’は、図１８の下段に示すように、４フレーム間差分による信号処理結果がHiとなってから２フレーム目のタイミングでフレームカウンタFC＝０として基準にし、そのフレームから６番目のフレームの信号処理結果がHiとなることを確認することにより、侵入者の有無を判定する。このようにすることにより、例えば、図１９の上段に示すように、投光部２１１から出射光が出射されるような場合、図１９の下段に示すように、最初の信号処理結果のHiとなる３フレーム分のうち、Hiとなってから２フレーム目のタイミングを基準にすると、その次のタイミングでも第５フレーム目から７フレーム目がHiとなるはずである。
【００９５】
しかしながら、クロックの同期が取れておらず、お互いの周波数にも正確に逓倍になっていない場合に、例えば、１フレーム分Hiとなるタイミングが進むと、フレームカウンタFCが０となったフレームから数えて、４番目乃至６番目のフレームがHiとなり（図１９の下段におけるＡＡ’間のタイミング）、次のタイミングでは、５番目のフレームでフレームカウンタFCを０にして、そこを基準にして５番目乃至７番目のフレームが、Hiとなるはずである。逆に、１フレーム分Hiとなるタイミングが遅れると、フレームカウンタFCが０となったフレームから数えて、６番目乃至８番目のフレームでHiとなる（図１９の下段におけるＢＢ’間のタイミング）。このときは、７番目のフレームにおいて、フレームカウンタFCを０にして、そこから数えて６番目のフレームから信号処理結果はHiとなるはずである。
【００９６】
そこで、判定部１２５’は、フレームカウンタFC＝０となったフレームから数えて、４番目から６番目までのフレームについてHiとなっているか否かを判定し、さらに、Hiとなった状態が２フレーム続いたとき、フレームカウンタFC＝０とし、それ以降も同様の処理を繰り返す。この結果、常に信号処理結果がHiとなる状態が３フレーム分続くとき、常に、その中央のフレームでフレームカウンタFC＝０になるので、Hiとなるフレームずれを補正することが可能となる。
【００９７】
ここで、図２０のフローチャートを参照して、図１４の構成における判定処理について説明する。尚、監視処理については、図１０と同様であるのでその説明は省略する。
【００９８】
ステップＳ６１において、判定部１２５’は、スタート位置検出処理を実行する。
【００９９】
ここで、図２１のフローチャートを参照して、スタート位置検出処理について説明する。
【０１００】
ステップＳ８１において、判定部１２５’は、負の４フレーム間差分Ｆが２フレーム分連続で検出されたか否かを判定し、２フレーム分連続で負の４フレーム間差分Ｆ（信号処理結果が２フレーム分続けてHiとなる状態）が検出されるまで、その処理を繰り返す。そして、２フレーム分連続で負の４フレーム間差分Ｆ（Ｎ）が検出された場合、ステップＳ８２において、判定部１２５’は、自らに内蔵するフレームカウンタFCを０に初期化する。
【０１０１】
ここで、図２０のフローチャートの説明に戻る。
【０１０２】
ステップＳ６２において、判定部１２５’は、１フレーム分の処理を待つ。そして、次の１フレーム分の信号処理結果が入力されると、ステップＳ６３において、判定部１２５’は、フレームカウンタFCを１インクリメントする。ステップＳ６４において、フレームカウンタFCが４乃至７であるか否かが判定され、例えば、フレームカウンタFCが１乃至３であった場合、その処理は、ステップＳ６２に戻る。すなわち、フレームカウンタFCが１乃至３であるということは、今のフレームは、フレームカウンタFCを０にしたフレームから数えて１乃至３番目のフレームの信号処理結果がLowとなるタイミングであるので、侵入者の有無は判定されない。
【０１０３】
ステップＳ６４において、フレームカウンタFCが４乃至７であった場合、ステップＳ６５において、判定部１２５’は、負の４フレーム間差分Ｆが検出されたか否かを判定する。ステップＳ６５において、例えば、負の４フレーム間差分Ｆが検出されたと判定された場合、ステップＳ６６において、判定部１２５’は、異常なしであると判定する。すなわち、フレームカウンタFCが４乃至７のいずれかにおいて、負の４フレーム間差分Ｆが検出されたということは、信号処理結果は、Hiとなっており、投光部２１１から出射された光信号が反射物１０２により反射されて撮像部１１２’で撮像されていることを示し、結果として、侵入者が存在しないことを示していると判断するためである。
【０１０４】
ステップＳ６７において、判定部１２５’は、２回連続で負の４フレーム間差分Ｆが検出されたか否かを判定し、例えば、２回連続で検出されたと判定した場合、ステップＳ６８において、フレームカウンタFCを０に設定し、その処理は、ステップＳ６２に戻る。
【０１０５】
ステップＳ６５において、負の４フレーム間差分Ｆが検出されなかった場合、ステップＳ６９において、判定部１２５’は、異常有り、すなわち、侵入者が検出されたと判定する。
【０１０６】
すなわち、２回連続で負の４フレーム間差分Ｆが検出されるということは、図１９の下段で示したように、実線で示すように位相のずれが無い場合、フレームカウンタFCが０となるフレームから数えて、６番目のフレームで、２回連続で負の４フレーム間差分Ｆが検出されることになり、そのタイミングでフレームカウンタFCが０にリセットされることになる。また、１フレーム分進んでいた場合、フレームカウンタFCが０となるフレームから数えて、５番目のフレームで、２回連続で負の４フレーム間差分Ｆが検出されることになり、そのタイミングでフレームカウンタFCが０にリセットされることになる。さらに、１フレーム分遅れた場合、フレームカウンタFCが０となるフレームから数えて、７番目のフレームで、２回連続で負の４フレーム間差分Ｆが検出されることになり、そのタイミングでフレームカウンタFCが０にリセットされることになる。
【０１０７】
このように、１フレーム分信号処理結果の位相がずれても、フレームカウンタFCを０に戻すタイミングを、そのずれに合わせて調整することができるので、それ以降の４フレーム間差分Ｆのずれを吸収することができる。結果として、図１４で示すように投光装置２０１と監視装置１０１’が別体で設置され、異なるクロックで制御されていても、誤動作することなく侵入者の有無を検出することができる。
【０１０８】
尚、以上においては、４フレーム間差分による演算により信号処理を行う例について説明してきたが、それ以上でもよく、例えば、フレーム数は、フレームｆ（Ｎ）乃至ｆ（Ｎ−５）の場合、Ｆ（Ｎ）＝｛Ｆ（Ｎ）＋Ｆ（Ｎ−１）＋Ｆ（Ｎ−２）｝−｛Ｆ（Ｎ−３）＋Ｆ（Ｎ−４）＋Ｆ（Ｎ−５）｝となる。また、以上においては、４フレーム間差分Ｆの正負により処理信号のＨｉ、または、Ｌｏｗを決定した。すなわち４フレーム間差分Ｆの結果を閾値０と比較することによりＨｉ、または、Ｌｏｗを決定していたが、その他の閾値を設定してもよい。
【０１０９】
以上によれば、監視処理において、従来のように参照画像との比較による監視では無いため、参照画像を監視領域の明るさの変化により更新する必要が無くなると共に、明るさの変化による誤動作を防止することが可能になり、投光部による光の照射範囲を広げて、対応する撮像部の撮像可能範囲を広げることにより監視領域を広くすることが可能となる。
【０１１０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１１１】
図２１は、図６の監視装置１０１、または、図１５の監視装置１０１’、をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU３０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU３０１は、バス３０４および入出力インタフェース３０５を介してユーザからキーボードやマウスなどからなる入力部３０６から指令が入力されると、それに対応してROM(Read Only Memory)３０２に格納されているプログラムを実行する。あるいはまた、CPU３０１は、ドライブ３１０に接続された磁気ディスク３２１、光ディスク３２２、光磁気ディスク３２３、または半導体メモリ３２４から読み出され、記憶部３２８にインストールされたプログラムを、RAM(Random Access Memory)３２３にロードして実行する。さらに、CPU３０１は、通信部３０９を制御して、外部と通信し、データの授受を実行する。
【０１１２】
プログラムが記録されている記録媒体は、図２１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３２１（フレキシブルディスクを含む）、光ディスク３２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク３２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ３２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３０２や、記憶部３０８に含まれるハードディスクなどで構成される。
【０１１３】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１１４】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１１５】
【発明の効果】
本発明によれば、明るさの変化により参照画像を更新する必要が無くなると共に、明るさの変化による誤動作を防止することが可能になり、監視領域を広くすることが可能となる。
【図面の簡単な説明】
【図１】従来の監視処理を説明する図である。
【図２】従来の監視処理を説明する図である。
【図３】従来の監視処理を説明する図である。
【図４】従来の監視処理を説明する図である。
【図５】本発明を適用した監視システムの構成を示す図である。
【図６】図５の監視装置の構成を示すブロック図である。
【図７】図６の監視装置による監視処理を説明する図である。
【図８】図６の監視装置による監視処理を説明する図である。
【図９】図６の監視装置による監視処理を説明する図である。
【図１０】図６の監視装置による監視処理を説明するフローチャートである。
【図１１】図６の判定部による判定処理を説明するフローチャートである。
【図１２】図６の判定部によるスタート位置検出処理を説明するフローチャートである。
【図１３】図６の監視装置による監視処理を説明する図である。
【図１４】本発明を適用した監視システムのその他の構成を示す図である。
【図１５】図１４の監視装置の構成を示すブロック図である。
【図１６】図１４の投光装置の構成を示すブロック図である。
【図１７】図１５の監視装置による判定処理を説明する図である。
【図１８】図１５の監視装置による判定処理を説明する図である。
【図１９】図１５の監視装置による判定処理を説明する図である。
【図２０】図１５の監視装置による判定処理を説明するフローチャートである。
【図２１】図１５の判定部によるスタート位置検出処理を説明するフローチャートである。
【図２２】媒体を説明する図である。
【符号の説明】
１０１，１０１’ 監視装置， １０２ 反射物， １０３ 監視領域， １１１ 投光部， １１２ 撮像部， １２１ 駆動部， １２２ 制御部， １２３，１２３’ 内部記憶部， １２４，１２４’ 信号処理部， １２５，１２５’ 判定-部， １２６ 表示部， １２７ 外部記憶部， １２８ 通信部， ２０１ 投光装置， ２１１ 投光部， ２２１ 撮像ユニット
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、安定的に監視領域を監視できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
所定の領域に侵入者が入ったか否かを検出するセキュリティシステム（監視装置）が一般に普及しつつある。
【０００３】
従来のセキュリティシステム、または、侵入検知装置においては、撮像装置と画像処理装置を組み合わせたもの、または、検出装置として焦電センサのようなものを用いて、人間の温度を感知するものが提案されている。
【０００４】
また、２次元の格子パターンに分割されたスポットを投影し、その投影画像を所定のサイクルで撮像して各スポットの座標の変化により人間の位置、姿勢を監視するものがある（例えば、特許文献１参照）。
【０００５】
さらに、距離画像を取得するために、光パターンの投射を行い、被写体の動きを検出し、動きが検出された際の２次元画像を所定の記録媒体に記録するものがある（例えば、特許文献２参照）。
【０００６】
また、特殊な照明・照射装置を必要とせず、非接触で、かつ、遠隔的に変化情報を連続動画像から抽出し、必要に応じて引き続く処理系を駆動するセンシングシステムを備えたものがある（例えば、特許文献３参照）。
【０００７】
【特許文献１】
特開平１０−２３２９８５号公報
【特許文献２】
特開平１１−２２５３２６号公報
【特許文献３】
特開平７−１２９７８１号公報
【０００８】
【発明が解決しようとする課題】
ところで、撮像装置と画像処理装置を組み合わせたものの場合、具体的には、図1のように監視対象物１に対して、それを包含する領域を監視エリア２とし定常状態(侵入物がない状態)の監視エリア２内の明るさを撮像装置によって記憶して参照画像として登録する。そして、画像処理装置が、監視エリア２内の明るさの変化を逐次撮像して、参照画像と比較し、例えば、図２のように、侵入物１１によって侵入物１１の影１１ａが生じるような顕著な差を検出し、異常がある(侵入物がある)と判断するものであった。
【０００９】
しかしながら、この手法では、撮影している最中に、周囲の明るさが変動した場合、参照画像そのものが既に最初に撮影した状態と異なり、もはや参照画像として使えないという状況になるといったことが考えられる。
【００１０】
例えば、図３で示すように蛍光灯３のフリッカによって、時間的に明るさが変動する場合、明るくなった瞬間に侵入物１１によって影１１ａが生じても，それによる明るさの低下が想定しているほど大きくない状態になり，異常と検出されない恐れがあった。
【００１１】
また、図４で示すように、監視エリア２の近くにある白熱照明４が点灯された場合、監視エリア２内が明るくなり、やはり侵入物１１によって影１１ａが生じても、それによる明るさの低下が想定しているほど大きくない状態になり、異常と検出されない恐れがあった。
【００１２】
これらの誤動作を防ぐために、全体の明るさが変動したと判断した場合には改めて参照画像を登録するといった作業が必要となり、結果として、その作業に手間がかかってしまうと言う課題があった。
【００１３】
また、通常のカメラの場合、例えばCCD（Charge Coupled Device）カメラを使用した場合，画像の取り込みが30Hzの周期、すなわち１フレームの画像を撮像するのに33msecの時間を要するため、侵入物が速く監視エリア２を横切るようなとき、侵入物１１の影１１ａを検知することができないという課題があった。
【００１４】
さらに、焦電センサを用いた装置の場合、人間のみならず、猫や犬といった小動物をはじめとする熱を発する物体にも反応してしまうので，誤動作が絶えないと言う課題があった。
【００１５】
また、上記以外にも侵入経路に赤外光源とそれを受光するセンサを設置し、侵入物１１によって光源からセンサへの光が遮られると侵入検知する方法もあるが、広範囲にわたって侵入を検知するには、そのような装置を多数取り付ける必要があり、コストや装置規模が大きくなってしまうと言う課題があった。
【００１６】
本発明はこのような状況に鑑みてなされたものであり、周囲の明るさが変動した場合にでも安定して侵入物の判定ができ、高速に、かつ、広い範囲を一括して監視対象とすることができる技術を提供するものである。
【００１７】
【課題を解決するための手段】
本発明の画像処理装置は、所定のパターンで変化する出射光が反射された反射光の画像を撮像する撮像手段と、撮像手段により撮像された反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分を求める差分演算手段と、差分演算手段の演算結果を所定の閾値と比較する比較手段と、比較手段の比較結果に基づいて、第１の信号、または、第２の信号に処理する信号処理手段と、信号処理手段により処理された信号を所定の間隔で、所定の信号であるか否かを判定する判定手段と、判定手段の判定結果に基づいて、侵入者または侵入物を含む侵入物体を検出する検出手段とを備え、所定のパターンで変化する出射光の 1 周期が、撮像手段の複数フレーム分の時間であることを特徴とする。
【００１８】
前記所定のパターン変化する出射光を発する投光手段をさらに設けるようにさせるようにすることができる。
【００１９】
前記Nは２とするようにしてもよい。
【００２０】
前記所定のパターンで変化する出射光は、その1周期が前記撮像手段の３フレーム分の時間であるようにしてもよい。
【００２１】
前記判定手段には、信号処理手段により処理された信号を６フレーム間隔で、Hiの信号であるか否かを判定させるようにすることができる。
【００２２】
前記判定手段には、信号処理手段により処理された信号がHiの信号であるか否かを判定する間隔を５フレーム、６フレーム、または、７フレームのいずれかに変化させるようにすることができる。
【００２３】
本発明の画像処理方法は、所定のパターンで変化する出射光が反射された反射光の画像を撮像する撮像ステップと、撮像ステップの処理で撮像された反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分を求める差分演算ステップと、差分演算ステップの処理での演算結果を所定の閾値と比較する比較ステップと、比較ステップの比較結果に基づいて、第１の信号、または、第２の信号に処理する信号処理ステップと、信号処理ステップの処理で処理された信号を所定の間隔で、所定の信号であるか否かを判定する判定ステップと、判定ステップの処理で判定結果に基づいて、侵入者または侵入物を含む侵入物体を検出する検出ステップとを含み、所定のパターンで変化する出射光の 1 周期が、撮像ステップの処理での複数フレーム分の時間であることを特徴とする。
【００２４】
本発明の記録媒体のプログラムは、撮像された所定のパターンで変化する出射光が反射された反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分を求める差分演算ステップと、差分演算ステップの処理での演算結果を所定の閾値と比較する比較ステップと、比較ステップの比較結果に基づいて、第１の信号、または、第２の信号に処理する信号処理ステップと、信号処理ステップの処理で処理された信号を所定の間隔で、所定の信号であるか否かを判定する判定ステップと、判定ステップの処理で判定結果に基づいて、侵入者または侵入物を含む侵入物体を検出する検出ステップとを含み、所定のパターンで変化する出射光の 1 周期が、撮像ステップの処理での複数フレーム分の時間であることを特徴とする。
【００２５】
本発明のプログラムは、撮像された所定のパターンで変化する出射光が反射された反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分を求める差分演算ステップと、差分演算ステップの処理での演算結果を所定の閾値と比較する比較ステップと、比較ステップの比較結果に基づいて、第１の信号、または、第２の信号に処理する信号処理ステップと、信号処理ステップの処理で処理された信号を所定の間隔で、所定の信号であるか否かを判定する判定ステップと、判定ステップの処理で判定結果に基づいて、侵入者または侵入物を含む侵入物体を検出する検出ステップとを含む処理をコンピュータに実行させ、所定のパターンで変化する出射光の 1 周期が、撮像ステップの処理での複数フレーム分の時間であることを特徴とする。
【００２６】
本発明の画像処理装置および方法、並びにプログラムにおいては、所定のパターンで変化する出射光が反射された反射光の画像が撮像され、撮像された反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分が求められ、演算結果が所定の閾値と比較され、比較結果に基づいて、第１の信号、または、第２の信号に処理され、処理された信号を所定の間隔で、所定の信号であるか否かが判定され、判定結果に基づいて、侵入者または侵入物を含む侵入物体が検出され、所定のパターンで変化する出射光の 1 周期が、前記複数フレーム分の画像が撮像される時間である。
【００２７】
【発明の実施の形態】
図５は、本発明に係る監視装置の一実施の形態の構成を示す図である。
【００２８】
監視装置１０１は、投光部１１１と撮像部１１２を備えている。投光部１１１は、所定の周波数の点滅信号を投光し、その出射光が、監視領域１０３を透過して、反射物１０２により反射される。撮像部１１２は、その反射光を撮像し、所定の周波数の光の変化を検出し、変化の有無により監視装置１０１から反射物１０２の間の監視領域１０３の侵入者を検出するものである。
【００２９】
図６は、監視装置１０１の実施の形態の構成を示している。
【００３０】
投光部１１１は、図５の監視領域１０３に対して規則正しいパターン、すなわち、所定の周波数で変化する（点滅する）光を反射物１０２に向けて出射するものであり、例えば、LED（Light Emission Diode）や半導体レーザといった固体発光素子による構成される。投光部１１１は、制御部１２２により制御され、可視光領域(400nm乃至700nm)の光のみならず、赤外領域(700nm超)や紫外領域(400nm未満)の波長の光であってもよく、可視光領域外の光を使うことにより、侵入者に対して見えない状態で、監視することができる。
【００３１】
撮像部１１２は、駆動部１２１により発生される同期信号、および、クロックパルス等の駆動信号に基づいて、高速フレームレートで撮像可能なCCDカメラ、または、CMOS（Complementary Metal-Oxide Semiconductor）カメラより構成されており、監視領域１０３内を撮像し、撮像結果を後段の内部記憶部１２３に出力する。
【００３２】
制御部１２２は、駆動部１２１、内部記憶部１２３、投光部１１１、および、信号処理部１２４のそれぞれに対して駆動制御信号、内部記憶制御信号、投光制御信号、および、信号処理制御信号を出力し、動作タイミング等を制御する。
【００３３】
内部記憶部１２３は、一般的なDRAM（Dynamic Random Access Memory）やSRAM（Static Random Access Memory）で構成されており、撮像部１１２により撮像された撮像結果を時間軸に沿って一時的に記憶する。内部記憶部１２３の記憶容量は、撮像部１１２の画素数と、それぞれに対して記憶しておく信号の数、すなわち、色の階調数やフレーム数によって決定される。例えば、撮像部１１２が、640（画素数）×480（画素数）の高速撮像CCDイメージセンサである場合、1画素あたり、4フレーム分の時間的に連続した8ビットの信号を記憶するとき、640×480×4×8=9600Kビット(1200Kバイト)の記憶容量が必要となる。さらに、内部記憶部１２３に記憶された信号は、制御部１２２により指示されるタイミングで記憶信号として信号処理部１２４により読み出される。
【００３４】
信号処理部１２４は、内部記憶部１２３から読み出した記憶信号を処理し、
その信号処理結果を判定部１２５に供給する。信号処理部１２４は、例えば、記憶信号として時間的に連続した4フレーム分の信号を用いて、以下の式（１）から４フレーム間差分F(N)を各画素について演算する。
【００３５】
F(N)＝{f(N)＋f(N−1)}−{f(N−2)＋f(N−3)}・・・（１）
【００３６】
ここで、Nはフレーム番号を示しており、N−１がその前のタイミングのフレーム番号を示し、N−２が、２フレーム前のタイミングのフレーム番号を示し、N−３が３フレーム前のタイミングのフレーム番号を示している。また、f(N)，f(N-1)，f(N-2)，f(N-3)は、各フレームに対する信号の値を示している。
【００３７】
式（１）が演算されることにより、各画素の明るさが変化した直後に信号処理結果の符号が反転することになる。信号処理部１２４は、この式（１）の演算により、負の値（０含まず）となるとき、Hiを、正の値（０含む）のときLowを出力する。尚、この式（１）の演算による処理については、詳細を後述する。
【００３８】
判定部１２５は、信号処理部１２４から転送された信号処理結果を、自らに内蔵するカウンタを用いて、所定の規則に基づいて判定し、その判定結果として、表示部１２６には判定結果表示データを、外部記憶部１２７には判定結果記憶データを、通信部１２８には判定結果通信データを、それぞれ出力する。
【００３９】
表示部１２５は、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などから構成され、判定部１２５から入力された判定結果表示データを表示する。この判定結果表示データは、判定結果のみならず、判定が出された時刻や信号処理結果そのものなど、後に参照したときに状況を把握するための情報を含めてもよい。
【００４０】
外部記憶部１２７は、判定１２５から入力された判定結果記憶データを一時的に記憶する。この判定結果記憶データは、判定結果のみならず、判定が出された時刻や、信号処理結果そのものなど、後に参照したときに状況を把握するための情報を含めてもよい。
【００４１】
通信部１２８は、判定部１２５から入力された判定結果通信データをインターネットなどからなる外部ネットワークに適した信号に変換して通信データとして出力する。
【００４２】
判定結果通信データは、判定結果のみならず、判定が出された時刻や、信号処理結果そのものなど、後に参照したときに状況を把握するための情報を含めてもよい。
【００４３】
外部制御部１２９は、外部制御信号を制御部１２２に対して出力し、撮像部１１２や投光部１１１の動作タイミングや、動作パターンを外部から制御する。
【００４４】
次に、信号処理部１２４における信号処理について説明する。
【００４５】
図７の上段には、投光部１１１から出射される光信号のパターンが、図７の中段には、投光部１１１により出射された光信号が反射物１０２により反射された反射光を撮像部１１２により撮像したときのパターンが、そして、図７の下段には反射光のパターンに基づいて、信号処理された信号のパターンがそれぞれ示されている。また、図７の下部の０乃至３０までの番号は、フレーム番号を示している。したがって、縦の線の間隔は、１フレームの時間である。
【００４６】
図７の上段に示すように、投光部１１１は、制御部１２２からの指示に基づいて、３フレーム間隔で２値の明るさのレベルが切り換えられて投光し続けている。すなわち、図７の上段においては、時刻ｔ０，ｔ２，ｔ４，ｔ６，ｔ８において、Hiに切り換えられ、時刻ｔ１，ｔ３，ｔ５，ｔ７，ｔ９において、Lowに切り換えられる。これに対応して、反射物１０２により反射された反射光からなる光信号は、光路差のため、やや遅れて時刻ｔ２１，ｔ２５，ｔ２９，ｔ３３，ｔ３７において、撮像部１１２が反射光を捕らえられて、徐々にレベルを上昇させ、時刻ｔ２２，ｔ２６，ｔ３０，ｔ３４，ｔ３８においてＨｉに切り換えられ、逆に、時刻ｔ２３，ｔ２７，ｔ３１，ｔ３５，ｔ３９において、Ｌｏｗへの切替が開始され、時刻ｔ２３，ｔ２７，ｔ３１，ｔ３５，ｔ４０においてLowに完全に切り換えられ、この処理が繰り返されることになる。
【００４７】
この間、撮像部１１２は、撮像結果を内部記憶部１２３に出力し続けるため、内部記憶部１２３には、常に４フレーム分の各画素の値が撮像結果として蓄えられていることになる。信号処理部１２４は、撮像部１１２により撮像される反射光のパターン（図７の中段）の値に基づいて、現在のフレームf(N)から３フレーム前のフレームf(N-3)の各画素の値を用いて、上述の式（１）を演算する。例えば、時刻ｔ５１の場合、フレーム番号N=4であるので、式（１）により、以下の式（２）が演算されることになる。
【００４８】
F(４)＝{f(４)＋f(３)}−{f(２)＋f(１)}・・・（２）
【００４９】
この場合、図７の中段に示すように、f(2)とf(3)は、いずれもHiであるため相殺され、f(4)は、f(1)と比較すると値としては、小さくなる（Hiとなっている面積が小さい）ため、F(4)＜０となる。結果として、信号処理部１２４は、図７の下段に示すように、Hiを出力する。同様にして、フレーム番号N＝５の場合、以下の式（３）が演算される。
【００５０】
F(５)＝{f(５)＋f(４)}−{f(３)＋f(２)}・・・（３）
【００５１】
この場合、f(5)の値はLow＝０となっており、f(2)，f(3)はいずれもHiであることから、結果として、F(5)＜０となるので、信号処理部１２４は、Hiを出力し、同様にして、F(6)＜０であるので、Hiが出力される。
【００５２】
一方、F(７)は、ｆ(5),f(6)がいずれもLow＝０であり、相殺され、f(7)は、f(4)よりも大きいため、F(7)は、正の値をとることになるので、信号処理部１２４は、Lowを出力する。同様にして、F(8)，F(9)は、正の値をとるので、信号処理部１２４は、Lowを出力する。
【００５３】
この結果、図７の下段においては、F(1)乃至F(3)，F(7)乃至F(9)，F(13)乃至F(15)，F(19)乃至F(21)，F(24)乃至F(27)においては、Lowが出力され、F(4)乃至F(6)，F(10)乃至F(12)，F(16)乃至F(18)，F(22)乃至F(24)，F(28)乃至F(30)においては、Hiが出力されることになる。すなわち、3フレーム毎にHi、または、Lowに切り換えられる信号が出力されることになる。
【００５４】
したがって、図７の下段に示すように信号処理部１２４から信号が出力されている間は、監視装置１０１と反射物１０２の間には、出射光、または、反射光を遮る侵入者（侵入物を含む）は存在しないことになる。
【００５５】
一方、監視装置１０１と反射物１０２の間の、出射光、または、反射光を遮るように侵入者（侵入物を含む）が通過すると、図８で示すような波形となる。
【００５６】
すなわち、図８の上段に示すように、投光部１１１から光信号が出射されるが、図中の時刻ｔ２８乃至時刻ｔ３７の間に、侵入者が通過すると、撮像部１１２の撮像結果は、図８の中段で示すような波形となり、対応して、信号処理部１２４からは、図８の下段で示すような波形となる。
【００５７】
すなわち、時刻ｔ２８乃至ｔ３７においては、投光部１１１から出射光が投光されるものの、侵入者により反射光（または、出射光）が遮られることになるため、撮像部１１２においては、反射光を撮像することができず、結果として、その間は、波形が変化することになる（一定の間隔でHiとLowの切替がなされないことになる）。これに対応して、信号処理部１２４では、その間は、4フレーム間差分Fは、０となるため、Lowを出力することになる。結果として、判定部１２５は、本来、検出されるべきフレーム番号１６乃至１８、および、２２乃至２４のHiの出力が得られないことになる。判定部１２５は、このような波形の変化により侵入者の存在を検出することができる。
【００５８】
また、以上のような構成により、監視装置１０１と反射物１０２の間の空間で、周辺の明るさが変化するような場合、図９の上段で示すように投光部１１１から出射される出射光が一定であっても、図９の中段で示すように、撮像部１１１で撮像される各画素値は、明るさの変化に対応して変化することになる。しかしながら、式（１）により演算される4フレーム間差分Fは、今現在のフレームから3フレーム前までの合計4フレーム間での画素値の変化を示すものであるため、信号処理部１２４によりなされる処理結果には変化が生じないことになる。このため、例えば、監視装置１０１と反射物１０２周辺の明るさが変化するような、例えば、照明がある場合や、屋外などで天候や時間によって明るさが変化するような場合であっても、侵入者の有無を正確に検出することが可能となる。
【００５９】
次に、図１０のフローチャートを参照して、監視処理について説明する。
【００６０】
ステップＳ１において、制御部１２２は、投光部１１１を制御して、監視領域１０３の周囲に対して所定のパターンの点滅光を投光させる（出射させる）。ここで、所定のパターンは、その１周期が撮像部１１２の３フレーム分に相当する。
【００６１】
ステップＳ２において、制御部１２２は、駆動部１２１を制御して、撮像部１１２により監視領域１０３を撮像させる。すなわち、監視領域１０３の監視装置１０１から見て奥に存在する反射物１０２からの反射光を撮像させ、撮像結果を内部記憶部１２３に出力させて、順次撮像結果を記憶させる。
【００６２】
ステップＳ３において、制御部１２２は、信号処理部１２４を制御して、内部記憶部１２３に記憶されている画像信号のうち、直近の４フレーム分の信号を読み出させ、式（１）の演算処理により４フレーム間差分を求めて、判定部１２５に出力させる。
【００６３】
ステップＳ４において、判定部１２５は、信号処理部１２４から入力された４フレーム間差分Ｆの値に基づいて、判定処理を実行する。
【００６４】
ここで、図１１のフローチャートを参照して、判定部１２５による判定処理について説明する。
【００６５】
ステップＳ２１において、判定部１２５は、スタート位置検出処理を実行する。
【００６６】
ここで、図１２のフローチャートを参照して、スタート位置検出処理について説明する。
【００６７】
ステップＳ４１において、判定部１２５は、負の４フレーム間差分Ｆが３フレーム分連続で検出されたか否かを判定し、３フレーム分連続で負の４フレーム間差分Ｆ（信号処理結果が３フレーム分続けてHiとなる状態）が検出されるまで、その処理を繰り返す。そして、３フレーム分連続で負の４フレーム間差分Ｆ（Ｎ）が検出された場合、ステップＳ４２において、判定部１２５は、自らに内蔵するフレームカウンタFCを０に初期化する。すなわち、例えば、図１３で示すように、４フレーム間差分の演算結果が得られた場合、時刻ｔ５１乃至ｔ５２において、３フレーム連続してHiが検出された、すなわち、３フレーム連続して、４フレーム間差分Fが負であった場合、その最後に検出されたフレーム番号をスタート位置のフレーム番号とするため、フレームカウンタFCを０に初期化する。
【００６８】
ここで、図１１のフローチャートの説明に戻る。
【００６９】
ステップＳ２２において、判定部１２５は、１フレーム分後の４フレーム間差分Ｆが入力されるのを待つ。ステップＳ２３において、判定部１２５は、フレームカウンタFCを１インクリメントする。ステップＳ２４において、判定部１２５は、フレームカウンタFCが４、または、５であるか否かを判定する。例えば、図１３の時刻ｔ５３以降の２フレーム、すなわち、フレームカウンタFCが４、または、５の場合、その処理は、ステップＳ２５に進む。
【００７０】
ステップＳ２５において、負の４フレーム間差分Ｆが検出されたか否かを判定し、例えば、図１３の場合、フレーム番号が４，５のフレームでは、Hiが出力されているため、負の４フレーム間差分Fが求められていると判定され、ステップＳ２９において、判定部１２５は、異常なしと判定し、その処理は、ステップＳ２２に戻る。
【００７１】
また、ステップＳ２５において、負の４フレーム間差分Ｆが求められなかった場合、図１３で示すように、あるべきHiの出力が得られないことになるので、ステップＳ３０において、判定部１２５は、異常ありと判定する。
【００７２】
ステップＳ２４において、フレームカウンタFCが４，５ではない場合、ステップＳ２６において、判定部１２５は、フレームカウンタFCが６であるか否かを判定する。例えば、図１３で示す、時刻ｔ５４の直前のフレーム番号６の場合、ステップＳ２７において、判定部１２５は、負のフレーム間差分Ｆが得られたか否かを判定する。例えば、図１３で示すように、フレーム番号６のフレームにおいて、４フレーム間差分Ｆは負であるので、その処理は、ステップＳ２８において、判定部１２５は、フレームカウンタFCを０にリセットし、その処理は、ステップＳ２９に進む。
【００７３】
ステップＳ２７において、負のフレーム間差分Ｆが得られなかったと判定された場合、その処理は、ステップＳ３０に進み、判定部１２５は、異常ありと判定する。
【００７４】
ステップＳ２６において、フレームカウンタFCの値が６ではないと判定した場合、すなわち、ステップＳ２４において、FC＝４，５でもなく、また、ステップＳ２６において、FC＝６でもないので、FC＝１，２，３であると判定された場合、その処理は、ステップＳ２９に進む。
【００７５】
すなわち、図１３の下部には、フレームカウンタFCの値が示されているが、フレームカウンタFCが４，５，６の場合、４フレーム間差分Ｆが、負となる状態が検出され続ける限りにおいては、異常なしと判定される。
【００７６】
ここで、図１０のフローチャートの処理に戻る。
【００７７】
ステップＳ５において、判定部１２５は、判定処理の処理結果が異常ありであるか否かを判定し、例えば、異常ありと判定した場合、その処理は、ステップＳ６に進む。
【００７８】
ステップＳ６において、判定部１２５は、異常を示す判定結果を表示部１２５に表示する。ステップＳ７において、判定部１２５は、異常を示す判定結果を外部記憶部１２７に記憶させる。さらに、ステップＳ８において、判定部１２５は、通信部１２８を制御して、外部ネットワークを通じて他の情報処理装置、例えば、監視装置を管理するサーバや、監視装置のオーナーの携帯端末などに異常を示す判定結果を通信する。
【００７９】
ステップＳ７において、判定部１２５は、異常ありの情報を制御部１２２に出力し、この情報に基づいて動作状態を待機状態にする。
【００８０】
ステップＳ８において、制御部１２２は、待機状態が解除されたか否かを判定し、解除されるまで待機状態を維持し、解除されたと判定された場合、その処理は、ステップＳ３に戻り、それ以降の処理が繰り返される。
【００８１】
以上の処理により、監視装置１０１と反射物１０２との間に設定される監視領域１０３の明るさの変化などに影響されること無くの侵入者（侵入物を含む）の有無を検出することができる。さらに、投光部１１１からの投光範囲を広げ、撮像部１１２の撮像できる領域を広げることにより監視領域を広げることが可能となる。
【００８２】
以上においては、監視装置１０１が投光部１１１と撮像部１１２を備えている場合について説明してきたが、例えば、監視装置１０１とは別体の投光部を設けるようにして、その投光部から出射されて、反射物１０２から反射された反射光を監視装置の撮像部で撮像するようにしてもよい。
【００８３】
図１４は、投光部を監視装置とは、別体にした場合の監視システムの構成を示している。
【００８４】
監視装置１０１’は、基本的に監視装置１０１から投光部１１１を除いた構造となっている。投光装置２０１の投光部２１１は、監視装置１０１の投光部１１１と同様の構成のものであり、監視装置１０１’とは、異なる位置から監視領域１０３に対して出射光を発する。監視装置１０１’は、投光部２１１から出射され、反射物１０２により反射された反射光を撮像部１１２で撮像し、監視領域１０３への侵入者の有無を検出する。
【００８５】
次に、図１５を参照して、監視装置１０１’の構成について説明する。尚、監視装置１０１’の構成は、監視装置１０１の構成と基本的に同様であり、同一の機能を有するものは同一の符号を付して、その説明は、適宜省略するものとする。
【００８６】
ここで、監視装置１０１’において、監視装置１０１と異なる点は、撮像部１１２、内部記憶部１１３、信号処理部１２４、および、判定部１２５に代えて、撮像ユニット２２１、および、判定部１２５’を設け、投光部１１１が設けられていない点であるが、撮像ユニット２２１は、撮像部１１２、内部記憶部１１３、および、信号処理部１２４と同一の機能を有する撮像部１１２’、内部記憶部１１３’、および、信号処理部１２４’を一体化した構成となっているものである。このため、撮像ユニット２２１は、データ転送の帯域が広げられるので、監視装置１０１に比べて、撮像部１１２’から内部記憶部１２３’への撮像結果の転送速度や、内部記憶部１１３’から信号処理部１２４’への記憶信号の転送速度などが向上されているが、その他の機能は同様である。したがって、撮像ユニット２２１ではなく、元の撮像部１１２、内部記憶部１１３、および、信号処理部１２４が設けられてもよい。
【００８７】
判定部１２５’は、基本的には、判定部１２５と同様の機能を有するものであるが、投光部２１１が監視装置１０１’とは、別体にあるために発生する制御クロックのずれを吸収するための処理を行う。尚、判定部１２５’の判定処理については、詳細を後述する。
【００８８】
次に、図１６を参照して、投光装置２０１の構成について説明する。投光部２１１は、図６の投光部１１１とは基本的に同様のものであり、制御部２３１により制御され、所定のパターンの光を監視領域１０３に出射する。
【００８９】
制御部２３１、および、外部制御部２３２は、図６の制御部１２２、および、外部制御部１２９と同様の機能を有するものである。
【００９０】
ただし、投光装置２０１が監視装置１０１’と別体となっているため、監視装置１０１’は、投光部２１１から出射され、反射物１０２に反射された反射光を撮像し、信号処理を行う際、同期が取れず検出される波形が変化することがある。このため、判定部１２５’は、上述のように、判定部１２５とは異なる判定処理を実行する。
【００９１】
すなわち、投光装置２０１の制御部２３１が発する制御クロックと、制御部１２２が発生する制御クロックが同期している場合、図１７の上段に示すパターンのように、時刻ｔ１０１乃至ｔ１０２，ｔ１０３乃至ｔ１０４，ｔ１０５乃至ｔ１０６においてHiとなるように投光部２１１から出射されていたとき、監視装置１０１’の信号処理部１２４’では、図１７の下段で示すように、投光部２１１から撮像ユニット２２１で処理されるまでの時間差が発生するため、時刻ｔ１０より後の時刻である時刻ｔ１２１乃至１２２，ｔ１２３乃至１２４，および
ｔ１２５乃至１２６のタイミングで4フレーム間差分Fが負となり、Hiとなるものとする。
【００９２】
従って、図１７で示すように、投光パターンは、６フレーム毎に立ち上がりが検出され、同様にして、４フレーム間差分Fについても同様に６フレーム毎に立ち上がりが検出されることがわかる。すなわち、４フレーム間差分Fは、６フレーム間隔でHiとなることが確認されれば、侵入者が存在しないことになる。
【００９３】
ところが、制御部２３１が発する制御クロックと、制御部１２２が発生する制御クロックが同期しておらず、お互いの周波数にも正確に逓倍になっていないと、所定のフレーム数毎に４フレーム間差分FがHiになるタイミングが１フレーム分進んだり、遅れたりすることがある。
【００９４】
そこで、判定部１２５’は、図１８の下段に示すように、４フレーム間差分による信号処理結果がHiとなってから２フレーム目のタイミングでフレームカウンタFC＝０として基準にし、そのフレームから６番目のフレームの信号処理結果がHiとなることを確認することにより、侵入者の有無を判定する。このようにすることにより、例えば、図１９の上段に示すように、投光部２１１から出射光が出射されるような場合、図１９の下段に示すように、最初の信号処理結果のHiとなる３フレーム分のうち、Hiとなってから２フレーム目のタイミングを基準にすると、その次のタイミングでも第５フレーム目から７フレーム目がHiとなるはずである。
【００９５】
しかしながら、クロックの同期が取れておらず、お互いの周波数にも正確に逓倍になっていない場合に、例えば、１フレーム分Hiとなるタイミングが進むと、フレームカウンタFCが０となったフレームから数えて、４番目乃至６番目のフレームがHiとなり（図１９の下段におけるＡＡ’間のタイミング）、次のタイミングでは、５番目のフレームでフレームカウンタFCを０にして、そこを基準にして５番目乃至７番目のフレームが、Hiとなるはずである。逆に、１フレーム分Hiとなるタイミングが遅れると、フレームカウンタFCが０となったフレームから数えて、６番目乃至８番目のフレームでHiとなる（図１９の下段におけるＢＢ’間のタイミング）。このときは、７番目のフレームにおいて、フレームカウンタFCを０にして、そこから数えて６番目のフレームから信号処理結果はHiとなるはずである。
【００９６】
そこで、判定部１２５’は、フレームカウンタFC＝０となったフレームから数えて、４番目から６番目までのフレームについてHiとなっているか否かを判定し、さらに、Hiとなった状態が２フレーム続いたとき、フレームカウンタFC＝０とし、それ以降も同様の処理を繰り返す。この結果、常に信号処理結果がHiとなる状態が３フレーム分続くとき、常に、その中央のフレームでフレームカウンタFC＝０になるので、Hiとなるフレームずれを補正することが可能となる。
【００９７】
ここで、図２０のフローチャートを参照して、図１４の構成における判定処理について説明する。尚、監視処理については、図１０と同様であるのでその説明は省略する。
【００９８】
ステップＳ６１において、判定部１２５’は、スタート位置検出処理を実行する。
【００９９】
ここで、図２１のフローチャートを参照して、スタート位置検出処理について説明する。
【０１００】
ステップＳ８１において、判定部１２５’は、負の４フレーム間差分Ｆが２フレーム分連続で検出されたか否かを判定し、２フレーム分連続で負の４フレーム間差分Ｆ（信号処理結果が２フレーム分続けてHiとなる状態）が検出されるまで、その処理を繰り返す。そして、２フレーム分連続で負の４フレーム間差分Ｆ（Ｎ）が検出された場合、ステップＳ８２において、判定部１２５’は、自らに内蔵するフレームカウンタFCを０に初期化する。
【０１０１】
ここで、図２０のフローチャートの説明に戻る。
【０１０２】
ステップＳ６２において、判定部１２５’は、１フレーム分の処理を待つ。そして、次の１フレーム分の信号処理結果が入力されると、ステップＳ６３において、判定部１２５’は、フレームカウンタFCを１インクリメントする。ステップＳ６４において、フレームカウンタFCが４乃至７であるか否かが判定され、例えば、フレームカウンタFCが１乃至３であった場合、その処理は、ステップＳ６２に戻る。すなわち、フレームカウンタFCが１乃至３であるということは、今のフレームは、フレームカウンタFCを０にしたフレームから数えて１乃至３番目のフレームの信号処理結果がLowとなるタイミングであるので、侵入者の有無は判定されない。
【０１０３】
ステップＳ６４において、フレームカウンタFCが４乃至７であった場合、ステップＳ６５において、判定部１２５’は、負の４フレーム間差分Ｆが検出されたか否かを判定する。ステップＳ６５において、例えば、負の４フレーム間差分Ｆが検出されたと判定された場合、ステップＳ６６において、判定部１２５’は、異常なしであると判定する。すなわち、フレームカウンタFCが４乃至７のいずれかにおいて、負の４フレーム間差分Ｆが検出されたということは、信号処理結果は、Hiとなっており、投光部２１１から出射された光信号が反射物１０２により反射されて撮像部１１２’で撮像されていることを示し、結果として、侵入者が存在しないことを示していると判断するためである。
【０１０４】
ステップＳ６７において、判定部１２５’は、２回連続で負の４フレーム間差分Ｆが検出されたか否かを判定し、例えば、２回連続で検出されたと判定した場合、ステップＳ６８において、フレームカウンタFCを０に設定し、その処理は、ステップＳ６２に戻る。
【０１０５】
ステップＳ６５において、負の４フレーム間差分Ｆが検出されなかった場合、ステップＳ６９において、判定部１２５’は、異常有り、すなわち、侵入者が検出されたと判定する。
【０１０６】
すなわち、２回連続で負の４フレーム間差分Ｆが検出されるということは、図１９の下段で示したように、実線で示すように位相のずれが無い場合、フレームカウンタFCが０となるフレームから数えて、６番目のフレームで、２回連続で負の４フレーム間差分Ｆが検出されることになり、そのタイミングでフレームカウンタFCが０にリセットされることになる。また、１フレーム分進んでいた場合、フレームカウンタFCが０となるフレームから数えて、５番目のフレームで、２回連続で負の４フレーム間差分Ｆが検出されることになり、そのタイミングでフレームカウンタFCが０にリセットされることになる。さらに、１フレーム分遅れた場合、フレームカウンタFCが０となるフレームから数えて、７番目のフレームで、２回連続で負の４フレーム間差分Ｆが検出されることになり、そのタイミングでフレームカウンタFCが０にリセットされることになる。
【０１０７】
このように、１フレーム分信号処理結果の位相がずれても、フレームカウンタFCを０に戻すタイミングを、そのずれに合わせて調整することができるので、それ以降の４フレーム間差分Ｆのずれを吸収することができる。結果として、図１４で示すように投光装置２０１と監視装置１０１’が別体で設置され、異なるクロックで制御されていても、誤動作することなく侵入者の有無を検出することができる。
【０１０８】
尚、以上においては、４フレーム間差分による演算により信号処理を行う例について説明してきたが、それ以上でもよく、例えば、フレーム数は、フレームｆ（Ｎ）乃至ｆ（Ｎ−５）の場合、Ｆ（Ｎ）＝｛Ｆ（Ｎ）＋Ｆ（Ｎ−１）＋Ｆ（Ｎ−２）｝−｛Ｆ（Ｎ−３）＋Ｆ（Ｎ−４）＋Ｆ（Ｎ−５）｝となる。また、以上においては、４フレーム間差分Ｆの正負により処理信号のＨｉ、または、Ｌｏｗを決定した。すなわち４フレーム間差分Ｆの結果を閾値０と比較することによりＨｉ、または、Ｌｏｗを決定していたが、その他の閾値を設定してもよい。
【０１０９】
以上によれば、監視処理において、従来のように参照画像との比較による監視では無いため、参照画像を監視領域の明るさの変化により更新する必要が無くなると共に、明るさの変化による誤動作を防止することが可能になり、投光部による光の照射範囲を広げて、対応する撮像部の撮像可能範囲を広げることにより監視領域を広くすることが可能となる。
【０１１０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１１１】
図２１は、図６の監視装置１０１、または、図１５の監視装置１０１’、をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU３０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU３０１は、バス３０４および入出力インタフェース３０５を介してユーザからキーボードやマウスなどからなる入力部３０６から指令が入力されると、それに対応してROM(Read Only Memory)３０２に格納されているプログラムを実行する。あるいはまた、CPU３０１は、ドライブ３１０に接続された磁気ディスク３２１、光ディスク３２２、光磁気ディスク３２３、または半導体メモリ３２４から読み出され、記憶部３２８にインストールされたプログラムを、RAM(Random Access Memory)３２３にロードして実行する。さらに、CPU３０１は、通信部３０９を制御して、外部と通信し、データの授受を実行する。
【０１１２】
プログラムが記録されている記録媒体は、図２１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３２１（フレキシブルディスクを含む）、光ディスク３２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク３２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ３２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３０２や、記憶部３０８に含まれるハードディスクなどで構成される。
【０１１３】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１１４】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１１５】
【発明の効果】
本発明によれば、明るさの変化により参照画像を更新する必要が無くなると共に、明るさの変化による誤動作を防止することが可能になり、監視領域を広くすることが可能となる。
【図面の簡単な説明】
【図１】従来の監視処理を説明する図である。
【図２】従来の監視処理を説明する図である。
【図３】従来の監視処理を説明する図である。
【図４】従来の監視処理を説明する図である。
【図５】本発明を適用した監視システムの構成を示す図である。
【図６】図５の監視装置の構成を示すブロック図である。
【図７】図６の監視装置による監視処理を説明する図である。
【図８】図６の監視装置による監視処理を説明する図である。
【図９】図６の監視装置による監視処理を説明する図である。
【図１０】図６の監視装置による監視処理を説明するフローチャートである。
【図１１】図６の判定部による判定処理を説明するフローチャートである。
【図１２】図６の判定部によるスタート位置検出処理を説明するフローチャートである。
【図１３】図６の監視装置による監視処理を説明する図である。
【図１４】本発明を適用した監視システムのその他の構成を示す図である。
【図１５】図１４の監視装置の構成を示すブロック図である。
【図１６】図１４の投光装置の構成を示すブロック図である。
【図１７】図１５の監視装置による判定処理を説明する図である。
【図１８】図１５の監視装置による判定処理を説明する図である。
【図１９】図１５の監視装置による判定処理を説明する図である。
【図２０】図１５の監視装置による判定処理を説明するフローチャートである。
【図２１】図１５の判定部によるスタート位置検出処理を説明するフローチャートである。
【図２２】媒体を説明する図である。
【符号の説明】
１０１，１０１’ 監視装置， １０２ 反射物， １０３ 監視領域， １１１ 投光部， １１２ 撮像部， １２１ 駆動部， １２２ 制御部， １２３，１２３’ 内部記憶部， １２４，１２４’ 信号処理部， １２５，１２５’ 判定-部， １２６ 表示部， １２７ 外部記憶部， １２８ 通信部， ２０１ 投光装置， ２１１ 投光部， ２２１ 撮像ユニット
Claims (9)
- 所定のパターンで変化する出射光が反射された反射光の画像を撮像する撮像手段と、
前記撮像手段により撮像された前記反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分を求める差分演算手段と、
前記差分演算手段の演算結果を所定の閾値と比較する比較手段と、
前記比較手段の比較結果に基づいて、第１の信号、または、第２の信号に処理する信号処理手段と、
前記信号処理手段により処理された信号を所定の間隔で、所定の信号であるか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、侵入者または侵入物を含む侵入物体を検出する検出手段とを備え、
前記所定のパターンで変化する出射光の 1 周期が、前記撮像手段の複数フレーム分の時間である
ことを特徴とする画像処理装置。 - 所定のパターン変化する出射光を発する投光手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。 - 前記Nは２である
ことを特徴とする請求項１に記載の画像処理装置。 - 前記所定のパターンで変化する出射光の1周期が、前記撮像手段の３フレーム分の時間である
ことを特徴とする請求項１に記載の画像処理装置。 - 前記判定手段は、前記信号処理手段により処理された信号を６フレーム間隔で、所定の信号であるか否かを判定する
ことを特徴とする請求項４に記載の画像処理装置。 - 前記判定手段は、前記信号処理手段により処理された信号が所定の信号であるか否かを判定する間隔を５フレーム、６フレーム、または、７フレームのいずれかに変化させる
ことを特徴とする請求項５に記載の画像処理装置。 - 所定のパターンで変化する出射光が反射された反射光の画像を撮像する撮像ステップと、
前記撮像ステップの処理で撮像された前記反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分を求める差分演算ステップと、
前記差分演算ステップの処理での演算結果を所定の閾値と比較する比較ステップと、
前記比較ステップの比較結果に基づいて、第１の信号、または、第２の信号に処理する信号処理ステップと、
前記信号処理ステップの処理で処理された信号を所定の間隔で、所定の信号であるか否かを判定する判定ステップと、
前記判定ステップの処理で判定結果に基づいて、侵入者または侵入物を含む侵入物体を検出する検出ステップとを含み、
前記所定のパターンで変化する出射光の 1 周期が、前記撮像ステップの処理での複数フレーム分の時間である
ことを特徴とする画像処理方法。 - 撮像された所定のパターンで変化する出射光が反射された反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分を求める差分演算ステップと、
前記差分演算ステップの処理での演算結果を所定の閾値と比較する比較ステップと、
前記比較ステップの比較結果に基づいて、第１の信号、または、第２の信号に処理する信号処理ステップと、
前記信号処理ステップの処理で処理された信号を所定の間隔で、所定の信号であるか否かを判定する判定ステップと、
前記判定ステップの処理で判定結果に基づいて、侵入者または侵入物を含む侵入物体を検出する検出ステップとを含み、
前記所定のパターンで変化する出射光の 1 周期が、前記撮像ステップの処理での複数フレーム分の時間である
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 撮像された所定のパターンで変化する出射光が反射された反射光の画像の各画素について、連続する２Ｎフレームのうち、直近のＮフレームの和と、残りのＮフレーム分の和との差分を求める差分演算ステップと、
前記差分演算ステップの処理での演算結果を所定の閾値と比較する比較ステップと、
前記比較ステップの比較結果に基づいて、第１の信号、または、第２の信号に処理する信号処理ステップと、
前記信号処理ステップの処理で処理された信号を所定の間隔で、所定の信号であるか否かを判定する判定ステップと、
前記判定ステップの処理で判定結果に基づいて、侵入者または侵入物を含む侵入物体を検出する検出ステップとを含む処理をコンピュータに実行させ、
前記所定のパターンで変化する出射光の 1 周期が、前記撮像ステップの処理での複数フレーム分の時間である
ことを特徴とするプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002337523A JP3846410B2 (ja) | 2002-11-21 | 2002-11-21 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US10/719,938 US7412076B2 (en) | 2002-11-21 | 2003-11-21 | Image processing apparatus, image processing method, recording medium, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002337523A JP3846410B2 (ja) | 2002-11-21 | 2002-11-21 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004171332A JP2004171332A (ja) | 2004-06-17 |
| JP3846410B2 true JP3846410B2 (ja) | 2006-11-15 |
Family
ID=32701014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002337523A Expired - Fee Related JP3846410B2 (ja) | 2002-11-21 | 2002-11-21 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7412076B2 (ja) |
| JP (1) | JP3846410B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1865755B1 (de) | 2006-06-09 | 2014-04-23 | Steinel GmbH | Vorrichtung zur Beleuchtungssteuerung mit Anwesenheits-Erfassung |
| US8082064B2 (en) * | 2007-08-24 | 2011-12-20 | Elite Engineering Corporation | Robotic arm and control system |
| DE102009028212A1 (de) * | 2009-08-04 | 2011-02-10 | Robert Bosch Gmbh | Verfahren zum Überwachen eines Bereichs |
| TWI437509B (zh) * | 2009-08-18 | 2014-05-11 | Ind Tech Res Inst | 光資訊接收方法 |
| EP2448251B1 (en) | 2010-10-31 | 2019-09-25 | Mobileye Vision Technologies Ltd. | Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter |
| JP6083976B2 (ja) * | 2012-08-22 | 2017-02-22 | 株式会社メガチップス | 車線状況判別装置および車線状況判別方法 |
| US9575180B2 (en) * | 2012-09-13 | 2017-02-21 | Mbda Uk Limited | Room occupancy sensing apparatus and method |
| JP2015164031A (ja) * | 2014-01-30 | 2015-09-10 | 株式会社リコー | 画像表示システム |
| US10321100B2 (en) * | 2014-12-02 | 2019-06-11 | Ademco Inc. | System and method of foreground extraction for digital cameras |
| US10078908B2 (en) | 2016-08-12 | 2018-09-18 | Elite Robotics | Determination of relative positions |
| US11979340B2 (en) | 2017-02-12 | 2024-05-07 | Mellanox Technologies, Ltd. | Direct data placement |
| US11190462B2 (en) | 2017-02-12 | 2021-11-30 | Mellanox Technologies, Ltd. | Direct packet placement |
| US11252464B2 (en) * | 2017-06-14 | 2022-02-15 | Mellanox Technologies, Ltd. | Regrouping of video data in host memory |
| JP2020076619A (ja) * | 2018-11-07 | 2020-05-21 | ソニーセミコンダクタソリューションズ株式会社 | 投光制御装置、投光制御方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07129781A (ja) | 1993-11-05 | 1995-05-19 | Ken Ishihara | 時系列画像情報抽出装置および方法 |
| US5877804A (en) * | 1994-04-25 | 1999-03-02 | Fujikura Ltd. | Method and apparatus for moving object detection |
| US20070154063A1 (en) * | 1995-06-07 | 2007-07-05 | Automotive Technologies International, Inc. | Image Processing Using Rear View Mirror-Mounted Imaging Device |
| JPH1096605A (ja) * | 1996-09-24 | 1998-04-14 | Komatsu Ltd | 画像処理による位置計測方法および装置 |
| US5937092A (en) * | 1996-12-23 | 1999-08-10 | Esco Electronics | Rejection of light intrusion false alarms in a video security system |
| JP3103931B2 (ja) | 1997-02-19 | 2000-10-30 | 鐘紡株式会社 | 室内監視装置 |
| JP3695930B2 (ja) | 1998-02-05 | 2005-09-14 | 株式会社東芝 | 画像監視装置 |
| JP3714063B2 (ja) * | 1999-10-19 | 2005-11-09 | 富士ゼロックス株式会社 | ３次元形状計測装置 |
| US6914526B2 (en) * | 2002-03-22 | 2005-07-05 | Trw Inc. | Intrusion detection system using linear imaging |
| US7577274B2 (en) * | 2003-09-12 | 2009-08-18 | Honeywell International Inc. | System and method for counting cars at night |
-
2002
- 2002-11-21 JP JP2002337523A patent/JP3846410B2/ja not_active Expired - Fee Related
-
2003
- 2003-11-21 US US10/719,938 patent/US7412076B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20040146203A1 (en) | 2004-07-29 |
| US7412076B2 (en) | 2008-08-12 |
| JP2004171332A (ja) | 2004-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3846410B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| US20220191393A1 (en) | Method and apparatus of processing a signal from an event-based sensor | |
| US11770619B2 (en) | Generating static images with an event camera | |
| JP6856914B2 (ja) | インテリジェントな物体追跡 | |
| KR102428127B1 (ko) | 움직임 영역 검출 장치 및 방법 | |
| JP4203736B2 (ja) | 画像の動き検出装置及びコンピュータプログラム | |
| JP4884078B2 (ja) | 人体検出装置及び映像表示装置 | |
| CN101640788B (zh) | 一种监控控制方法、装置及监控系统 | |
| US10721415B2 (en) | Image processing system with LED flicker mitigation | |
| KR20120095681A (ko) | 이미지 센서 및 이를 포함하는 촬영 장치 | |
| JPWO2016031359A1 (ja) | 制御装置、制御方法、及びプログラム | |
| US20230137379A1 (en) | Display method based on pulse signals, apparatus, electronic device and medium | |
| JP5950628B2 (ja) | 物体検知装置、物体検知方法及びプログラム | |
| US20230412930A1 (en) | Anti-flicker filter mitigation for an event-based sensor | |
| JP2013004235A (ja) | 照明システム | |
| JP2001103356A (ja) | 高速ビデオカメラ | |
| JP2010147950A (ja) | 画像処理装置および画像処理方法、ならびに、撮像装置 | |
| CN113170038B (zh) | 抖动校正控制装置、抖动校正控制装置的工作方法、存储介质及摄像装置 | |
| JP4329677B2 (ja) | 動き検出装置 | |
| JP4578743B2 (ja) | 監視カメラ装置 | |
| JP2006345081A (ja) | 検出装置および方法、記録媒体、プログラム、並びに画像表示装置 | |
| JP2010093601A (ja) | 点滅発光情報を含む映像の記録装置およびデータ処理方法 | |
| US20230042364A1 (en) | Image processing method and apparatus implementing the same | |
| WO2015198728A1 (ja) | 撮像装置およびカプセル内視鏡 | |
| JP2011097204A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040421 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060502 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060703 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060814 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130901 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |