JP4087600B2 - 画像監視装置 - Google Patents
画像監視装置 Download PDFInfo
- Publication number
- JP4087600B2 JP4087600B2 JP2001380258A JP2001380258A JP4087600B2 JP 4087600 B2 JP4087600 B2 JP 4087600B2 JP 2001380258 A JP2001380258 A JP 2001380258A JP 2001380258 A JP2001380258 A JP 2001380258A JP 4087600 B2 JP4087600 B2 JP 4087600B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- reference value
- pixel
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、光学的な画像に基づいて監視対象領域を監視する画像監視装置に関し、特に画像を取得するカメラ等のレンズや監視窓などに付着する汚れ等を検知し、それに対する対処を容易とする技術に関する。
【０００２】
【従来の技術】
従来より、監視対象領域に向けてカメラを設置し、それにより取得される光学的な画像に基づいて、侵入者の出現等を検出する画像監視装置がある。この画像監視装置のカメラが設置される監視対象領域は様々である。そのため、カメラのレンズ面やカメラの収納ケースに設けられた監視窓の表面が、屋内においては例えばタバコのヤニ等で汚れることがあり、また屋外においては例えば風雨で埃や泥などで汚れることがある。このような汚れは、画像をぼやけさせたり霞ませて不鮮明なものとし、その画像に基づく監視の妨げとなり得る。
【０００３】
このような汚れを、カメラにより取得された画像に基づいて検出する従来技術として、特開２００１−１１９６１４号公報に開示される技術がある。当該従来技術では、汚れにより画像が不鮮明になると、画像内の被写体同士の境界等の被写体の外縁を示す部分（いわゆる、エッジ）における画素値の変化の急峻さ（エッジ量と称する）が低下することを利用し、エッジ量が所定値以下になったことに基づいてレンズ面等の汚れを検知している。
【０００４】
【発明が解決しようとする課題】
しかし、この従来の技術では、画像全体のエッジ量が低下することを以て、汚れ付着を判定し検知しているため、例えば、監視対象領域が暗いときのように画像全体のコントラストが低くなった場合を汚れ付着と判定することがあるという問題があった。
【０００５】
本発明は上記問題点を解決するためになされたもので、カメラが設置された環境に影響されにくく、汚れ等の監視障害物を検知することができる画像監視装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本願発明者は、上記問題点を解決する画像監視装置の実現のために研究を行い、その実験の結果、カメラのレンズ面等に汚れが付着すると、画像にてエッジ量が大きな領域の減少が比較的大きく、一方、エッジ量が小さな部分の領域の減少は比較的小さいこと、これに対し、照明変動などでは、通常程度のエッジ量の部分及びそれより大きなエッジ量の部分が同程度で変化することが判明した。本発明はこの知見を利用したものである。
【０００７】
本発明に係る画像監視装置は、監視対象領域の光学像に対応した画像を生成する撮像手段と、前記画像の各画素について、当該画素の周辺画素との画素値の差分に基づいた画素値変化強度を算出する画素値変化強度算出手段と、第１の閾値を越える前記画素値変化強度を有する前記各画素についての当該画素値変化強度を合計した第１基準値と、前記第１の閾値より大きい第２の閾値を越える前記画素値変化強度を有する前記各画素についての当該画素値変化強度を合計した第２基準値とを求め、前記第１基準値に対する前記第２基準値の相対的な大きさに応じた比較評価値を算出する比較手段と、前記比較評価値が所定の判定基準値より小さいことに基づいて、前記監視対象領域と前記撮像手段との間の光路内における半透明の監視障害物を検知する障害物検知手段とを有するものである。
【０００８】
他の本発明に係る画像監視装置は、監視対象領域の光学像に対応した画像を生成する撮像手段と、前記画像の各画素について、当該画素の周辺画素との画素値の差分に基づいた画素値変化強度を算出する画素値変化強度算出手段と、第１の閾値を越える前記画素値変化強度を有する前記画素の数である第１基準値と、前記第１の閾値より大きい第２の閾値を越える前記画素値変化強度を有する前記画素の数である第２基準値とを求め、前記第１基準値に対する前記第２基準値の相対的な大きさに応じた比較評価値を算出する比較手段と、前記比較評価値が所定の判定基準値より小さいことに基づいて、前記監視対象領域と前記撮像手段との間の光路内における半透明の監視障害物を検知する障害物検知手段とを有するものである。
【０００９】
これらの本発明によれば、画素値変化強度がエッジ量を表す。相対的に低い第１の閾値と相対的に高い第２の閾値とが設定され、画素値変化強度が第１の閾値を越える画素の数又はそれらの画素での画素変化強度の合計値である第１の基準値と、画素値変化強度が第２の閾値を越える画素の数又はそれらの画素での画素変化強度の合計値である第２の基準値とに対して、上記知見を適用して、画像のぼやけや霞みの原因となるレンズの汚れ等の半透明の監視障害物を検知する。すなわち、ここで検知しようとする監視障害物が監視対象領域と撮像手段との間の光路に存在すると、第２基準値は比較的大きく減少するのに対し、第１基準値の減少は比較的小さい。一方、照明が暗いような場合には、第２基準値も第１基準値も一様に減少する。このように、半透明の監視障害物が存在する場合と、照明が暗い等のコントラスト低減要因による場合とでは、第１基準値に対する第２基準値の相対的な大きさが異なる。そこでこの相対的な大きさに対応した比較評価値に対し、適当な判定基準値を設定して、レンズの汚れ等の監視障害物が存在して画像がぼやけている場合と、照明が暗いといった監視障害物に起因しない要因によりコントラストが低下した場合とを判別することができる。
【００１０】
本発明の好適な態様は、前記比較評価値が、前記第１基準値に対する前記第２基準値の比である画像監視装置である。
【００１１】
半透明の監視障害物は、光路内に存在するタバコの煙などでもよいが、本発明の好適な態様は、前記障害物検知手段が、前記監視障害物として、前記光路上に配置される透明部材又は反射鏡に付着した汚れを検知する画像監視装置である。
【００１２】
また、実験により経験的に、前記第１の閾値を、前記監視障害物が存在しない状態で取得された前記画像にて、前記監視対象領域内に位置する検出目的物の輪郭に対応して生じる前記画素値変化強度に応じた値とし、前記第２の閾値を、前記第１の閾値の２倍に応じた値とするのが好適である。
【００１３】
本発明に係る画像監視装置においては、前記障害物検知手段は、前記比較評価値が前記判定基準値より小さい状態が所定時間継続すると、前記汚れが付着したと判定する。レンズ等に付着した汚れ等の監視障害物により比較評価値が低下する場合は、その状態が持続する。そのような持続性の監視障害物に対しては、例えば、監視センタ等から対処員を派遣して除去作業を行う必要がある。一方、煙や霧のような一過性のものに対しては、敢えて除去作業を行う必要性は低い。本発明によれば、持続性の監視障害物を検知し、例えば、その検知結果に基づいて監視センタ等への通報が行われる。
【００１４】
【発明の実施の形態】
次に、本発明の実施形態である侵入者監視装置について図面を参照して説明する。
【００１５】
［実施形態１］
図１は、本発明に係る侵入者監視装置の概略のブロック構成図である。本装置は、監視対象領域を撮影可能なカメラ２と、カメラ２から得られた監視画像を処理する画像処理装置４とから構成される。
【００１６】
画像処理装置４は、監視画像に基づいて監視対象領域に人影があるか否かを判断する侵入者検知処理部１０に加えて、監視画像に基づいてカメラ２のレンズ等の光学部品や監視窓に付着するタバコのヤニや埃等の汚れを検知する汚れ検知処理部１２を有する。
【００１７】
侵入者検知処理部１０は、従来より用いられている各種の画像認識技術に基づいて侵入者を検知し、監視員へ侵入者検知を通報する。一方、汚れ検知処理部１２も汚れを検知すると、監視員へそれを通報する。侵入者検知処理部１０、汚れ検知処理部１２は、例えば、中央処理ユニット（ＣＰＵ：Central Processing Unit）を用いて構成することができ、それら各処理部はこのＣＰＵ上で実行されるプログラムとして実現することができる。以下、本装置の特徴的部分である汚れ検知処理部１２について詳しく説明する。
【００１８】
図２は、汚れ検知処理部１２の処理を示す処理フロー図である。また、図３〜図５は、汚れ検知処理部１２の処理内容を説明する説明図であり、図３は監視対象領域の模式図である。また、図４、図５はそれぞれ、図３に示した走査線Ｌに沿った輝度値の変動の様子を示す模式的なグラフ（図４（ａ），図５（ａ））及び輝度値の空間的変化量の走査線Ｌに沿った変動を示す模式的なグラフ（図４（ｂ），図５（ｂ））を表す。図４はカメラ２のレンズ面等に汚れが付着していない状態を表す図であり、一方、図５は汚れが付着しコントラストが低下した状態を表す図である。また、図４（ａ），図５（ａ）において横軸が走査線方向の画素の並びを表し、縦軸が輝度値を表す。図４（ｂ），図５（ｂ）においては、横軸が走査線方向の画素の並びを表し、縦軸は輝度値変化量であり、この輝度値変化量の絶対値がエッジ量として定義される。
【００１９】
汚れ検知処理部１２による汚れ検知ロジックは一定時間おきに開始され実行される（Ｓ１００）。汚れ検知処理部１２は、カメラ２から入力された画像データを取得し（Ｓ１０５）、各画素のエッジ量を算出する（Ｓ１１０）。ある画素におけるエッジ量は、当該画素近傍における輝度値の変化量に基づいて求められる。例えば、エッジ量算出にはSobelフィルタを用いることができる。
【００２０】
汚れ検知処理部１２には、エッジ量に関し実験的に定められた２つの閾値TH1，TH2が設定されている。ここでTH1＜TH2であり、第１の閾値であるTH1を通常閾値、第２の閾値であるTH2を高閾値と称する。例えば、TH1は、カメラ２に汚れが付着していない状態で取得された画像にて、監視対象領域内に現れる侵入者の輪郭が明確となるような輝度値変化量に応じたものである。一方、TH2は通常はTH1の２倍前後、例えば１．５〜３倍といった範囲内の値に設定することが好適である。
【００２１】
汚れ検知処理部１２は、画像を構成する画素のうち、TH1を越えるエッジ量を有する画素の数Ｍ（通常閾値エッジ数と称する）及び、TH2を越えるエッジ量を有する画素の数Ｎ（高閾値エッジ数と称する）をそれぞれカウントして求める（Ｓ１１５，Ｓ１２０）。ちなみに、高閾値エッジ数としてカウントされた画素は、空間的な輝度変化が大きい画素、すなわちコントラストが強い画素に相当する。
【００２２】
Ｍ，Ｎが求まると、それらの比Ｎ／Ｍで定義される高閾値エッジ比率Ａを比較評価値として算出する（Ｓ１２５）。
【００２３】
なお、通常閾値エッジ数Ｍが０の場合には比Ｎ／Ｍの計算において零割りを生じる。またＭが非常に小さい場合は、Ｍ及びＮの統計的なばらつきに起因したＡの誤差が大きくなり、後述する判定に用いることが不適切となる。そこで、比Ｎ／Ｍの算出処理Ｓ１２５は、Ｍが所定の閾値TH3より大きい場合にのみ行い、ＭがTH3以下である場合には比Ｎ／Ｍは計算しない（Ｓ１３０）。このようにＭが非常に小さい値となるということは、一般に画像全体が輝度変化に乏しいことを意味する。その要因として、
(1)もともと監視対象領域が輝度変化に乏しい、
(2)カメラのレンズ面等の汚れがひどく、何も見えなくなっている、
(3)カメラの前方に故意に障害物が置かれ、監視が妨げられている、
といったことが挙げられる。これらのうち、特に要因(2)及び(3)は侵入者を検知できず不都合である。そのため、ＭがTH3以下の場合の高閾値エッジ比率Ａには、後述する判定処理で異常として検知されるような値、例えば０が付与される（Ｓ１３５）。なお、閾値TH3は実験等に基づいて経験的に定めることができる。
【００２４】
高閾値エッジ比率Ａは、輝度変化があった画素のうち高い輝度変化があった画素の割合を表し、良好なコントラストが得られている画像ほど高い値をとる。例えば、これは、汚れが付着していない場合の画像に対応した図４（ｂ）と、汚れが付着した場合の画像に対応した図５（ｂ）とを対比することによって具体的に理解される。すなわち、図４（ｂ）に示すように、コントラストの高い画像では、被写体の輪郭近傍の比較的少数の限られた画素において、絶対値がTH2を越えるような大きな輝度値変化量が生じるのに対し、図５（ｂ）に示すように、汚れによってぼやけたコントラストの低い画像では、被写体の輪郭に対応した輝度値の変化が比較的多くの画素に分散する。そのため、汚れが付着した場合には、高閾値TH2を越える画素数Ｎが減少する。その一方で、TH2より小さなエッジ量を有する画素が増加し、これがＭを増加させる方向に作用する。よって、汚れが付着した場合の高閾値エッジ比率Ａは、汚れが付着していない場合の高閾値エッジ比率Ａに比べて通常は低下する。
【００２５】
ちなみに、照度低下によりコントラストが低下した場合には、高閾値TH2を越える画素数Ｎは低下するが、輪郭に対応して輝度値変化を生じる画素数の増加は基本的に生じず、ひいては通常閾値エッジ数Ｍの増加率は汚れ付着の場合ほどには大きくなりにくい。そのため、この場合の高閾値エッジ比率Ａの減少は、汚れ付着の場合より小さくなり、コントラスト低下という点では同じであっても、高閾値エッジ比率Ａに基づいて汚れ付着の場合と照度低下の場合とを弁別することが可能となる。
【００２６】
この汚れ付着の場合と照度低下の場合との弁別を可能とするように、判定基準値TH4が実験等に基づいて設定される。高閾値エッジ比率ＡがTH4より大きい場合には（Ｓ１４０）、汚れ付着は生じていないと判断され、汚れカウントタイマはゼロクリアされる（Ｓ１４５）。一方、高閾値エッジ比率ＡがTH4以下である場合には、汚れ付着が生じているか、上述のＭが非常に小さい場合であり、この場合には、汚れカウントタイマがカウントアップされる（Ｓ１５０）。ちなみに、汚れカウントタイマは、本装置の起動時にはゼロクリアされるが、一定時間おきに繰り返される汚れ検知ロジックの終了によってはゼロクリアされない。
【００２７】
汚れカウントタイマは、ゼロクリアされない限り、汚れ検知ロジックの間隔においても所定クロックにしたがって計時するように構成することもできるし、各汚れ検知ロジックで例えば１ずつカウントアップするように構成することもできる。いずれにしても、汚れカウントタイマの値が所定の閾値Ｔ秒（例えば６０秒）以上に相当する値となった場合には（Ｓ１５５）、高閾値エッジ比率Ａの閾値TH4以下への低下が、外乱光等の影響による一時的なものではなく、レンズ面等に付着した汚れ等の持続性を有する異常状態であるとして、監視員等への発報が行われる（Ｓ１６０）。一方、汚れカウントタイマの値がＴ秒相当未満である場合には、今回の汚れ検知ロジックでは異常とは判断せずに（Ｓ１６５）、当該汚れ検知ロジックを終了する。
【００２８】
なお、上述の構成では、高閾値エッジ比率Ａは通常閾値TH1を越える画素数Ｍに対する高閾値TH2を越える画素数Ｎの比と定義したが、通常閾値TH1を越える画素でのエッジ量の積算値SUM1と高閾値TH2を越える画素でのエッジ量の積算値SUM2とをそれぞれ処理Ｓ１１５，Ｓ１２０にて算出し、それらを用いて処理Ｓ１２５においてＡ＝SUM2/SUM1を算出し、そして、このＡを比較評価値として処理Ｓ１４０での判定を行ってもよい。
【００２９】
［実施形態２］
第２の実施形態に係る侵入者監視装置は図１に示す第１の実施形態の装置と同様のブロック構成を有し、また、処理内容も図２に示す第１の実施形態の装置の処理内容と共通するところが多い。そこで、以下、第１の実施形態と同様の構成要素及び処理ステップについては同一の符号を付して説明の簡素化を図る。
【００３０】
図６、図７は、第２の実施形態の侵入者監視装置における汚れ検知処理部１２の処理を示す処理フロー図であり、図６は汚れ付着判定の基準値設定に係る処理内容を示すフロー図である。また、図７は汚れ検知ロジックの処理内容を示すフロー図である。
【００３１】
まず、図６に基づいて、汚れ付着判定の基準値設定について説明する。例えば、汚れ検知処理部１２は汚れ判定処理を開始すると、以下に説明する処理Ｓ２０５〜Ｓ２３５からなる判定基準値パラメータ設定処理を行って、汚れ付着判定の基準値の設定に利用される判定基準値パラメータＢを決定した後、汚れ検知ロジックＳ２４０の反復を開始する。
【００３２】
判定基準値パラメータ設定処理は、基本的には、汚れが付着していない状態での画像に基づいた高閾値エッジ比率Ａの決定処理Ｓ１０５〜Ｓ１３５と同様である。すなわち、汚れ検知処理部１２はカメラ２から適当なタイミングで画像データを取得し（Ｓ２０５）、この画像に対して、エッジ量算出処理Ｓ２１０を行い、通常閾値エッジ数Ｍ、高閾値エッジ数Ｎを求め（Ｓ２１５，Ｓ２２０）、さらに高閾値エッジ比率Ｎ／Ｍを算出して、これを判定基準値パラメータＢとする（Ｓ２２５）。なお、Ｍが閾値TH3以下の場合には（Ｓ２３０）、Ｂ＝０にセットする（Ｓ２３５）。
【００３３】
判定基準値パラメータＢが決定されると、以降、汚れ検知ロジックＳ２４０が一定時間おきに繰り返される。次に、図７に基づいて、汚れ検知ロジックを説明する。本装置の汚れ検知ロジックが、上記第１の実施形態の汚れ検知ロジックと異なる点は、処理Ｓ１２５，Ｓ１３５で得られた高閾値エッジ比率Ａに基づく汚れ付着判定処理Ｓ３００にある。すなわち、処理Ｓ３００において高閾値エッジ比率Ａと比較される判定基準値は、判定基準値パラメータＢに所定の倍率Ｒを乗じて定められる点が処理Ｓ１４０と異なる。
【００３４】
第１の実施形態の判定処理Ｓ１４０で判定基準値として用いられる閾値TH4は、個々の監視対象領域に対応したものではないのに対し、この判定処理Ｓ３００で判定基準値として用いられる積（Ｒ・Ｂ）は、パラメータＢが個々の監視対象領域に応じて定められるので、Ｒを調整することによって、誤検出を抑制しつつ汚れ検知の感度を向上させることが容易となる。
【００３５】
ここでは、判定基準値パラメータ設定処理を汚れ検知処理部１２の起動時の初期処理として行うこととしたが、その後の適当なタイミング（汚れが付着していない状態）にて行うようにしてもよい。特に監視対象領域のレイアウト変更等により、侵入者等の移動体が存在しない状態にてカメラ２から得られる背景画像が変化した場合には、判定基準値パラメータ設定処理を改めて行い、パラメータＢを更新することが好ましい。
【００３６】
【発明の効果】
本発明の画像監視装置によれば、カメラのレンズ面等への汚れ等の監視障害物が精度良く検知される。
【図面の簡単な説明】
【図１】 本発明に係る侵入者監視装置の概略のブロック構成図である。
【図２】 第１の実施形態に係る汚れ検知処理部の処理を示す処理フロー図である。
【図３】 監視対象領域を撮した画像の模式図である。
【図４】 カメラのレンズ面等に汚れが付着していない状態での輝度値及び輝度値変化量の一例を示すグラフである。
【図５】 カメラのレンズ面等に汚れが付着した状態での輝度値及び輝度値変化量の一例を示すグラフである。
【図６】 汚れ付着判定の基準値設定に係る処理内容を示すフロー図である。
【図７】 第２の実施形態に係る汚れ検知処理部の処理を示す処理フロー図である。
【符号の説明】
２ カメラ、４ 画像処理装置、１０ 侵入者検知処理部、１２ 汚れ検知処理部。
【発明の属する技術分野】
本発明は、光学的な画像に基づいて監視対象領域を監視する画像監視装置に関し、特に画像を取得するカメラ等のレンズや監視窓などに付着する汚れ等を検知し、それに対する対処を容易とする技術に関する。
【０００２】
【従来の技術】
従来より、監視対象領域に向けてカメラを設置し、それにより取得される光学的な画像に基づいて、侵入者の出現等を検出する画像監視装置がある。この画像監視装置のカメラが設置される監視対象領域は様々である。そのため、カメラのレンズ面やカメラの収納ケースに設けられた監視窓の表面が、屋内においては例えばタバコのヤニ等で汚れることがあり、また屋外においては例えば風雨で埃や泥などで汚れることがある。このような汚れは、画像をぼやけさせたり霞ませて不鮮明なものとし、その画像に基づく監視の妨げとなり得る。
【０００３】
このような汚れを、カメラにより取得された画像に基づいて検出する従来技術として、特開２００１−１１９６１４号公報に開示される技術がある。当該従来技術では、汚れにより画像が不鮮明になると、画像内の被写体同士の境界等の被写体の外縁を示す部分（いわゆる、エッジ）における画素値の変化の急峻さ（エッジ量と称する）が低下することを利用し、エッジ量が所定値以下になったことに基づいてレンズ面等の汚れを検知している。
【０００４】
【発明が解決しようとする課題】
しかし、この従来の技術では、画像全体のエッジ量が低下することを以て、汚れ付着を判定し検知しているため、例えば、監視対象領域が暗いときのように画像全体のコントラストが低くなった場合を汚れ付着と判定することがあるという問題があった。
【０００５】
本発明は上記問題点を解決するためになされたもので、カメラが設置された環境に影響されにくく、汚れ等の監視障害物を検知することができる画像監視装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本願発明者は、上記問題点を解決する画像監視装置の実現のために研究を行い、その実験の結果、カメラのレンズ面等に汚れが付着すると、画像にてエッジ量が大きな領域の減少が比較的大きく、一方、エッジ量が小さな部分の領域の減少は比較的小さいこと、これに対し、照明変動などでは、通常程度のエッジ量の部分及びそれより大きなエッジ量の部分が同程度で変化することが判明した。本発明はこの知見を利用したものである。
【０００７】
本発明に係る画像監視装置は、監視対象領域の光学像に対応した画像を生成する撮像手段と、前記画像の各画素について、当該画素の周辺画素との画素値の差分に基づいた画素値変化強度を算出する画素値変化強度算出手段と、第１の閾値を越える前記画素値変化強度を有する前記各画素についての当該画素値変化強度を合計した第１基準値と、前記第１の閾値より大きい第２の閾値を越える前記画素値変化強度を有する前記各画素についての当該画素値変化強度を合計した第２基準値とを求め、前記第１基準値に対する前記第２基準値の相対的な大きさに応じた比較評価値を算出する比較手段と、前記比較評価値が所定の判定基準値より小さいことに基づいて、前記監視対象領域と前記撮像手段との間の光路内における半透明の監視障害物を検知する障害物検知手段とを有するものである。
【０００８】
他の本発明に係る画像監視装置は、監視対象領域の光学像に対応した画像を生成する撮像手段と、前記画像の各画素について、当該画素の周辺画素との画素値の差分に基づいた画素値変化強度を算出する画素値変化強度算出手段と、第１の閾値を越える前記画素値変化強度を有する前記画素の数である第１基準値と、前記第１の閾値より大きい第２の閾値を越える前記画素値変化強度を有する前記画素の数である第２基準値とを求め、前記第１基準値に対する前記第２基準値の相対的な大きさに応じた比較評価値を算出する比較手段と、前記比較評価値が所定の判定基準値より小さいことに基づいて、前記監視対象領域と前記撮像手段との間の光路内における半透明の監視障害物を検知する障害物検知手段とを有するものである。
【０００９】
これらの本発明によれば、画素値変化強度がエッジ量を表す。相対的に低い第１の閾値と相対的に高い第２の閾値とが設定され、画素値変化強度が第１の閾値を越える画素の数又はそれらの画素での画素変化強度の合計値である第１の基準値と、画素値変化強度が第２の閾値を越える画素の数又はそれらの画素での画素変化強度の合計値である第２の基準値とに対して、上記知見を適用して、画像のぼやけや霞みの原因となるレンズの汚れ等の半透明の監視障害物を検知する。すなわち、ここで検知しようとする監視障害物が監視対象領域と撮像手段との間の光路に存在すると、第２基準値は比較的大きく減少するのに対し、第１基準値の減少は比較的小さい。一方、照明が暗いような場合には、第２基準値も第１基準値も一様に減少する。このように、半透明の監視障害物が存在する場合と、照明が暗い等のコントラスト低減要因による場合とでは、第１基準値に対する第２基準値の相対的な大きさが異なる。そこでこの相対的な大きさに対応した比較評価値に対し、適当な判定基準値を設定して、レンズの汚れ等の監視障害物が存在して画像がぼやけている場合と、照明が暗いといった監視障害物に起因しない要因によりコントラストが低下した場合とを判別することができる。
【００１０】
本発明の好適な態様は、前記比較評価値が、前記第１基準値に対する前記第２基準値の比である画像監視装置である。
【００１１】
半透明の監視障害物は、光路内に存在するタバコの煙などでもよいが、本発明の好適な態様は、前記障害物検知手段が、前記監視障害物として、前記光路上に配置される透明部材又は反射鏡に付着した汚れを検知する画像監視装置である。
【００１２】
また、実験により経験的に、前記第１の閾値を、前記監視障害物が存在しない状態で取得された前記画像にて、前記監視対象領域内に位置する検出目的物の輪郭に対応して生じる前記画素値変化強度に応じた値とし、前記第２の閾値を、前記第１の閾値の２倍に応じた値とするのが好適である。
【００１３】
本発明に係る画像監視装置においては、前記障害物検知手段は、前記比較評価値が前記判定基準値より小さい状態が所定時間継続すると、前記汚れが付着したと判定する。レンズ等に付着した汚れ等の監視障害物により比較評価値が低下する場合は、その状態が持続する。そのような持続性の監視障害物に対しては、例えば、監視センタ等から対処員を派遣して除去作業を行う必要がある。一方、煙や霧のような一過性のものに対しては、敢えて除去作業を行う必要性は低い。本発明によれば、持続性の監視障害物を検知し、例えば、その検知結果に基づいて監視センタ等への通報が行われる。
【００１４】
【発明の実施の形態】
次に、本発明の実施形態である侵入者監視装置について図面を参照して説明する。
【００１５】
［実施形態１］
図１は、本発明に係る侵入者監視装置の概略のブロック構成図である。本装置は、監視対象領域を撮影可能なカメラ２と、カメラ２から得られた監視画像を処理する画像処理装置４とから構成される。
【００１６】
画像処理装置４は、監視画像に基づいて監視対象領域に人影があるか否かを判断する侵入者検知処理部１０に加えて、監視画像に基づいてカメラ２のレンズ等の光学部品や監視窓に付着するタバコのヤニや埃等の汚れを検知する汚れ検知処理部１２を有する。
【００１７】
侵入者検知処理部１０は、従来より用いられている各種の画像認識技術に基づいて侵入者を検知し、監視員へ侵入者検知を通報する。一方、汚れ検知処理部１２も汚れを検知すると、監視員へそれを通報する。侵入者検知処理部１０、汚れ検知処理部１２は、例えば、中央処理ユニット（ＣＰＵ：Central Processing Unit）を用いて構成することができ、それら各処理部はこのＣＰＵ上で実行されるプログラムとして実現することができる。以下、本装置の特徴的部分である汚れ検知処理部１２について詳しく説明する。
【００１８】
図２は、汚れ検知処理部１２の処理を示す処理フロー図である。また、図３〜図５は、汚れ検知処理部１２の処理内容を説明する説明図であり、図３は監視対象領域の模式図である。また、図４、図５はそれぞれ、図３に示した走査線Ｌに沿った輝度値の変動の様子を示す模式的なグラフ（図４（ａ），図５（ａ））及び輝度値の空間的変化量の走査線Ｌに沿った変動を示す模式的なグラフ（図４（ｂ），図５（ｂ））を表す。図４はカメラ２のレンズ面等に汚れが付着していない状態を表す図であり、一方、図５は汚れが付着しコントラストが低下した状態を表す図である。また、図４（ａ），図５（ａ）において横軸が走査線方向の画素の並びを表し、縦軸が輝度値を表す。図４（ｂ），図５（ｂ）においては、横軸が走査線方向の画素の並びを表し、縦軸は輝度値変化量であり、この輝度値変化量の絶対値がエッジ量として定義される。
【００１９】
汚れ検知処理部１２による汚れ検知ロジックは一定時間おきに開始され実行される（Ｓ１００）。汚れ検知処理部１２は、カメラ２から入力された画像データを取得し（Ｓ１０５）、各画素のエッジ量を算出する（Ｓ１１０）。ある画素におけるエッジ量は、当該画素近傍における輝度値の変化量に基づいて求められる。例えば、エッジ量算出にはSobelフィルタを用いることができる。
【００２０】
汚れ検知処理部１２には、エッジ量に関し実験的に定められた２つの閾値TH1，TH2が設定されている。ここでTH1＜TH2であり、第１の閾値であるTH1を通常閾値、第２の閾値であるTH2を高閾値と称する。例えば、TH1は、カメラ２に汚れが付着していない状態で取得された画像にて、監視対象領域内に現れる侵入者の輪郭が明確となるような輝度値変化量に応じたものである。一方、TH2は通常はTH1の２倍前後、例えば１．５〜３倍といった範囲内の値に設定することが好適である。
【００２１】
汚れ検知処理部１２は、画像を構成する画素のうち、TH1を越えるエッジ量を有する画素の数Ｍ（通常閾値エッジ数と称する）及び、TH2を越えるエッジ量を有する画素の数Ｎ（高閾値エッジ数と称する）をそれぞれカウントして求める（Ｓ１１５，Ｓ１２０）。ちなみに、高閾値エッジ数としてカウントされた画素は、空間的な輝度変化が大きい画素、すなわちコントラストが強い画素に相当する。
【００２２】
Ｍ，Ｎが求まると、それらの比Ｎ／Ｍで定義される高閾値エッジ比率Ａを比較評価値として算出する（Ｓ１２５）。
【００２３】
なお、通常閾値エッジ数Ｍが０の場合には比Ｎ／Ｍの計算において零割りを生じる。またＭが非常に小さい場合は、Ｍ及びＮの統計的なばらつきに起因したＡの誤差が大きくなり、後述する判定に用いることが不適切となる。そこで、比Ｎ／Ｍの算出処理Ｓ１２５は、Ｍが所定の閾値TH3より大きい場合にのみ行い、ＭがTH3以下である場合には比Ｎ／Ｍは計算しない（Ｓ１３０）。このようにＭが非常に小さい値となるということは、一般に画像全体が輝度変化に乏しいことを意味する。その要因として、
(1)もともと監視対象領域が輝度変化に乏しい、
(2)カメラのレンズ面等の汚れがひどく、何も見えなくなっている、
(3)カメラの前方に故意に障害物が置かれ、監視が妨げられている、
といったことが挙げられる。これらのうち、特に要因(2)及び(3)は侵入者を検知できず不都合である。そのため、ＭがTH3以下の場合の高閾値エッジ比率Ａには、後述する判定処理で異常として検知されるような値、例えば０が付与される（Ｓ１３５）。なお、閾値TH3は実験等に基づいて経験的に定めることができる。
【００２４】
高閾値エッジ比率Ａは、輝度変化があった画素のうち高い輝度変化があった画素の割合を表し、良好なコントラストが得られている画像ほど高い値をとる。例えば、これは、汚れが付着していない場合の画像に対応した図４（ｂ）と、汚れが付着した場合の画像に対応した図５（ｂ）とを対比することによって具体的に理解される。すなわち、図４（ｂ）に示すように、コントラストの高い画像では、被写体の輪郭近傍の比較的少数の限られた画素において、絶対値がTH2を越えるような大きな輝度値変化量が生じるのに対し、図５（ｂ）に示すように、汚れによってぼやけたコントラストの低い画像では、被写体の輪郭に対応した輝度値の変化が比較的多くの画素に分散する。そのため、汚れが付着した場合には、高閾値TH2を越える画素数Ｎが減少する。その一方で、TH2より小さなエッジ量を有する画素が増加し、これがＭを増加させる方向に作用する。よって、汚れが付着した場合の高閾値エッジ比率Ａは、汚れが付着していない場合の高閾値エッジ比率Ａに比べて通常は低下する。
【００２５】
ちなみに、照度低下によりコントラストが低下した場合には、高閾値TH2を越える画素数Ｎは低下するが、輪郭に対応して輝度値変化を生じる画素数の増加は基本的に生じず、ひいては通常閾値エッジ数Ｍの増加率は汚れ付着の場合ほどには大きくなりにくい。そのため、この場合の高閾値エッジ比率Ａの減少は、汚れ付着の場合より小さくなり、コントラスト低下という点では同じであっても、高閾値エッジ比率Ａに基づいて汚れ付着の場合と照度低下の場合とを弁別することが可能となる。
【００２６】
この汚れ付着の場合と照度低下の場合との弁別を可能とするように、判定基準値TH4が実験等に基づいて設定される。高閾値エッジ比率ＡがTH4より大きい場合には（Ｓ１４０）、汚れ付着は生じていないと判断され、汚れカウントタイマはゼロクリアされる（Ｓ１４５）。一方、高閾値エッジ比率ＡがTH4以下である場合には、汚れ付着が生じているか、上述のＭが非常に小さい場合であり、この場合には、汚れカウントタイマがカウントアップされる（Ｓ１５０）。ちなみに、汚れカウントタイマは、本装置の起動時にはゼロクリアされるが、一定時間おきに繰り返される汚れ検知ロジックの終了によってはゼロクリアされない。
【００２７】
汚れカウントタイマは、ゼロクリアされない限り、汚れ検知ロジックの間隔においても所定クロックにしたがって計時するように構成することもできるし、各汚れ検知ロジックで例えば１ずつカウントアップするように構成することもできる。いずれにしても、汚れカウントタイマの値が所定の閾値Ｔ秒（例えば６０秒）以上に相当する値となった場合には（Ｓ１５５）、高閾値エッジ比率Ａの閾値TH4以下への低下が、外乱光等の影響による一時的なものではなく、レンズ面等に付着した汚れ等の持続性を有する異常状態であるとして、監視員等への発報が行われる（Ｓ１６０）。一方、汚れカウントタイマの値がＴ秒相当未満である場合には、今回の汚れ検知ロジックでは異常とは判断せずに（Ｓ１６５）、当該汚れ検知ロジックを終了する。
【００２８】
なお、上述の構成では、高閾値エッジ比率Ａは通常閾値TH1を越える画素数Ｍに対する高閾値TH2を越える画素数Ｎの比と定義したが、通常閾値TH1を越える画素でのエッジ量の積算値SUM1と高閾値TH2を越える画素でのエッジ量の積算値SUM2とをそれぞれ処理Ｓ１１５，Ｓ１２０にて算出し、それらを用いて処理Ｓ１２５においてＡ＝SUM2/SUM1を算出し、そして、このＡを比較評価値として処理Ｓ１４０での判定を行ってもよい。
【００２９】
［実施形態２］
第２の実施形態に係る侵入者監視装置は図１に示す第１の実施形態の装置と同様のブロック構成を有し、また、処理内容も図２に示す第１の実施形態の装置の処理内容と共通するところが多い。そこで、以下、第１の実施形態と同様の構成要素及び処理ステップについては同一の符号を付して説明の簡素化を図る。
【００３０】
図６、図７は、第２の実施形態の侵入者監視装置における汚れ検知処理部１２の処理を示す処理フロー図であり、図６は汚れ付着判定の基準値設定に係る処理内容を示すフロー図である。また、図７は汚れ検知ロジックの処理内容を示すフロー図である。
【００３１】
まず、図６に基づいて、汚れ付着判定の基準値設定について説明する。例えば、汚れ検知処理部１２は汚れ判定処理を開始すると、以下に説明する処理Ｓ２０５〜Ｓ２３５からなる判定基準値パラメータ設定処理を行って、汚れ付着判定の基準値の設定に利用される判定基準値パラメータＢを決定した後、汚れ検知ロジックＳ２４０の反復を開始する。
【００３２】
判定基準値パラメータ設定処理は、基本的には、汚れが付着していない状態での画像に基づいた高閾値エッジ比率Ａの決定処理Ｓ１０５〜Ｓ１３５と同様である。すなわち、汚れ検知処理部１２はカメラ２から適当なタイミングで画像データを取得し（Ｓ２０５）、この画像に対して、エッジ量算出処理Ｓ２１０を行い、通常閾値エッジ数Ｍ、高閾値エッジ数Ｎを求め（Ｓ２１５，Ｓ２２０）、さらに高閾値エッジ比率Ｎ／Ｍを算出して、これを判定基準値パラメータＢとする（Ｓ２２５）。なお、Ｍが閾値TH3以下の場合には（Ｓ２３０）、Ｂ＝０にセットする（Ｓ２３５）。
【００３３】
判定基準値パラメータＢが決定されると、以降、汚れ検知ロジックＳ２４０が一定時間おきに繰り返される。次に、図７に基づいて、汚れ検知ロジックを説明する。本装置の汚れ検知ロジックが、上記第１の実施形態の汚れ検知ロジックと異なる点は、処理Ｓ１２５，Ｓ１３５で得られた高閾値エッジ比率Ａに基づく汚れ付着判定処理Ｓ３００にある。すなわち、処理Ｓ３００において高閾値エッジ比率Ａと比較される判定基準値は、判定基準値パラメータＢに所定の倍率Ｒを乗じて定められる点が処理Ｓ１４０と異なる。
【００３４】
第１の実施形態の判定処理Ｓ１４０で判定基準値として用いられる閾値TH4は、個々の監視対象領域に対応したものではないのに対し、この判定処理Ｓ３００で判定基準値として用いられる積（Ｒ・Ｂ）は、パラメータＢが個々の監視対象領域に応じて定められるので、Ｒを調整することによって、誤検出を抑制しつつ汚れ検知の感度を向上させることが容易となる。
【００３５】
ここでは、判定基準値パラメータ設定処理を汚れ検知処理部１２の起動時の初期処理として行うこととしたが、その後の適当なタイミング（汚れが付着していない状態）にて行うようにしてもよい。特に監視対象領域のレイアウト変更等により、侵入者等の移動体が存在しない状態にてカメラ２から得られる背景画像が変化した場合には、判定基準値パラメータ設定処理を改めて行い、パラメータＢを更新することが好ましい。
【００３６】
【発明の効果】
本発明の画像監視装置によれば、カメラのレンズ面等への汚れ等の監視障害物が精度良く検知される。
【図面の簡単な説明】
【図１】 本発明に係る侵入者監視装置の概略のブロック構成図である。
【図２】 第１の実施形態に係る汚れ検知処理部の処理を示す処理フロー図である。
【図３】 監視対象領域を撮した画像の模式図である。
【図４】 カメラのレンズ面等に汚れが付着していない状態での輝度値及び輝度値変化量の一例を示すグラフである。
【図５】 カメラのレンズ面等に汚れが付着した状態での輝度値及び輝度値変化量の一例を示すグラフである。
【図６】 汚れ付着判定の基準値設定に係る処理内容を示すフロー図である。
【図７】 第２の実施形態に係る汚れ検知処理部の処理を示す処理フロー図である。
【符号の説明】
２ カメラ、４ 画像処理装置、１０ 侵入者検知処理部、１２ 汚れ検知処理部。
Claims (6)
- 監視対象領域の光学像に対応した画像を生成する撮像手段と、
前記画像の各画素について、当該画素の周辺画素との画素値の差分に基づいた画素値変化強度を算出する画素値変化強度算出手段と、
第１の閾値を越える前記画素値変化強度を有する前記各画素についての当該画素値変化強度を合計した第１基準値と、前記第１の閾値より大きい第２の閾値を越える前記画素値変化強度を有する前記各画素についての当該画素値変化強度を合計した第２基準値とを求め、前記第１基準値に対する前記第２基準値の相対的な大きさに応じた比較評価値を算出する比較手段と、
前記比較評価値が所定の判定基準値より小さいことに基づいて、前記監視対象領域と前記撮像手段との間の光路内における半透明の監視障害物を検知する障害物検知手段と、
を有することを特徴とした画像監視装置。 - 監視対象領域の光学像に対応した画像を生成する撮像手段と、
前記画像の各画素について、当該画素の周辺画素との画素値の差分に基づいた画素値変化強度を算出する画素値変化強度算出手段と、
第１の閾値を越える前記画素値変化強度を有する前記画素の数である第１基準値と、前記第１の閾値より大きい第２の閾値を越える前記画素値変化強度を有する前記画素の数である第２基準値とを求め、前記第１基準値に対する前記第２基準値の相対的な大きさに応じた比較評価値を算出する比較手段と、
前記比較評価値が所定の判定基準値より小さいことに基づいて、前記監視対象領域と前記撮像手段との間の光路内における半透明の監視障害物を検知する障害物検知手段と、
を有することを特徴とした画像監視装置。 - 請求項１又は請求項２に記載の画像監視装置において、
前記比較評価値は、前記第１基準値に対する前記第２基準値の比であることを特徴とする画像監視装置。 - 請求項１から請求項３のいずれかに記載の画像監視装置において、
前記障害物検知手段は、前記監視障害物として、前記光路上に配置される透明部材又は反射鏡に付着した汚れを検知することを特徴とする画像監視装置。 - 請求項１から請求項４のいずれかに記載の画像監視装置において、
前記第１の閾値は、前記監視障害物が存在しない状態で取得された前記画像にて、前記監視対象領域内に位置する検出目的物の輪郭に対応して生じる前記画素値変化強度に応じた値であり、
前記第２の閾値は、前記第１の閾値の２倍に応じた値であること、
を特徴とする画像監視装置。 - 請求項４記載の画像監視装置において、
前記障害物検知手段は、前記比較評価値が前記判定基準値より小さい状態が所定時間継続すると、前記汚れが付着したと判定することを特徴とする画像監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001380258A JP4087600B2 (ja) | 2001-12-13 | 2001-12-13 | 画像監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001380258A JP4087600B2 (ja) | 2001-12-13 | 2001-12-13 | 画像監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003189294A JP2003189294A (ja) | 2003-07-04 |
| JP4087600B2 true JP4087600B2 (ja) | 2008-05-21 |
Family
ID=27591386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001380258A Expired - Fee Related JP4087600B2 (ja) | 2001-12-13 | 2001-12-13 | 画像監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4087600B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10791252B2 (en) | 2017-08-01 | 2020-09-29 | Panasonic Intellectual Property Management Co., Ltd. | Image monitoring device, image monitoring method, and recording medium |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007293672A (ja) * | 2006-04-26 | 2007-11-08 | Toyota Motor Corp | 車両用撮影装置、車両用撮影装置の汚れ検出方法 |
| JP5693147B2 (ja) * | 2010-10-29 | 2015-04-01 | キヤノン株式会社 | 撮影妨害検知方法、妨害検知装置及び監視カメラシステム |
| BR112014020753B1 (pt) * | 2012-03-02 | 2021-10-05 | Nissan Motor Co., Ltd | Dispositivo de detecção de objeto tridimensional |
| JP6117634B2 (ja) * | 2012-07-03 | 2017-04-19 | クラリオン株式会社 | レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム |
| CN111310665A (zh) * | 2020-02-18 | 2020-06-19 | 深圳市商汤科技有限公司 | 违规事件检测方法及装置、电子设备和存储介质 |
| SE2150168A1 (en) * | 2021-02-16 | 2022-08-17 | Husqvarna Ab | Robotic work tool system and method for determining whether there is an interfering object on a camera unit of a robotic work tool |
| WO2023079593A1 (ja) * | 2021-11-02 | 2023-05-11 | 三菱電機ビルソリューションズ株式会社 | 汚れ判定装置、汚れ判定方法、および汚れ判定プログラム |
-
2001
- 2001-12-13 JP JP2001380258A patent/JP4087600B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10791252B2 (en) | 2017-08-01 | 2020-09-29 | Panasonic Intellectual Property Management Co., Ltd. | Image monitoring device, image monitoring method, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003189294A (ja) | 2003-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6257792B2 (ja) | カメラの被覆状態の認識方法、カメラシステム、及び自動車 | |
| US10013616B2 (en) | Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems | |
| JP4353127B2 (ja) | レインセンサ | |
| US7646890B2 (en) | Image processor for automotive vehicle | |
| JP5759950B2 (ja) | 車載カメラ装置 | |
| US10791252B2 (en) | Image monitoring device, image monitoring method, and recording medium | |
| US11138698B2 (en) | Static soiling detection and correction | |
| JP4611776B2 (ja) | 画像信号処理装置 | |
| WO2018037790A1 (ja) | 画像処理装置、画像撮影装置、および画像処理方法、並びにプログラム | |
| US20140241589A1 (en) | Method and apparatus for the detection of visibility impairment of a pane | |
| JP4087600B2 (ja) | 画像監視装置 | |
| CN111860120A (zh) | 车载相机自动遮挡检测方法和装置 | |
| CN112504996A (zh) | 光学表面劣化检测和补救 | |
| JP2018197666A (ja) | 撮像装置、レンズ汚れ検出方法およびレンズ汚れ検出プログラム | |
| JP4491360B2 (ja) | 画像信号処理装置 | |
| JP2010130549A (ja) | 撮影装置の汚れを検知する汚れ検知装置及び同検知方法 | |
| KR101823655B1 (ko) | 영상을 이용한 차량 침입 검출 시스템 및 방법 | |
| JP2006314061A (ja) | 画像処理装置及びノイズ判定方法 | |
| JP6970911B2 (ja) | 汚れ検出装置の制御方法、および汚れ検出装置 | |
| EP3282420B1 (en) | Method and apparatus for soiling detection, image processing system and advanced driver assistance system | |
| JP3562327B2 (ja) | 自動ワイパー装置 | |
| JP2008164537A (ja) | 付着物検出装置及び方法 | |
| JP2009010594A (ja) | 画像センサ | |
| EP4191998A1 (en) | Infrared image capturing device, and infrared image capturing system | |
| JP2020160735A (ja) | 車両および撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041129 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080221 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4087600 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |