JP4219307B2 - 監視装置および監視方法 - Google Patents

監視装置および監視方法 Download PDF

Info

Publication number
JP4219307B2
JP4219307B2 JP2004216821A JP2004216821A JP4219307B2 JP 4219307 B2 JP4219307 B2 JP 4219307B2 JP 2004216821 A JP2004216821 A JP 2004216821A JP 2004216821 A JP2004216821 A JP 2004216821A JP 4219307 B2 JP4219307 B2 JP 4219307B2
Authority
JP
Japan
Prior art keywords
area
imaging
areas
data
coating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004216821A
Other languages
English (en)
Other versions
JP2006041779A (ja
Inventor
正 鴨川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2004216821A priority Critical patent/JP4219307B2/ja
Publication of JP2006041779A publication Critical patent/JP2006041779A/ja
Application granted granted Critical
Publication of JP4219307B2 publication Critical patent/JP4219307B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、監視カメラ等に対しての撮像妨害を感知し、撮像妨害をされたことを検出する監視装置および監視方法に関するものである。
一般に、防犯の手段の一つとして監視カメラを設置することがある。設置場所としてはATMや貴金属店から家庭用まで広い範囲に及ぶ。しかし、犯罪目的でそのような場所へ侵入した侵入者は監視カメラ等に気がつくと、カメラのレンズ面等にスプレー塗料などを付着させて監視できないよう撮像妨害する場合がある。この場合、撮像が不可能になるため撮像妨害されたことが分かり、セキュリティシステム会社等に撮像妨害をされたことが通知されるが、その後撮像が不可能になるため、撮像妨害をされた後の侵入者の監視、つまり以後の撮像が不可能になることがある。また、半透明なスプレー塗料等で撮像妨害をされた場合、撮像妨害をされたことが検出しにくく、一方検出の感度を上げると何らかの影響によって撮像妨害をされていないのに、撮像妨害をされたと誤検出する場合が少なくない。従って、カメラのレンズ面若しくはレンズカバーに対して撮像妨害をされたか否かが判断できること、撮像妨害をされた後も撮像可能にするためにスプレー塗料などが付着しない監視装置が望ましい。
カメラのレンズ面等に存在する障害物を検知し、またその障害物と照度低下の違いにより検知できる監視カメラ装置の一例が、特許文献1に開示されている。この従来技術1では、カメラのレンズ面等に汚れが付着する監視画像の各画素について周辺画素との輝度値変化量に応じたエッジ(画像内の被写体同士の境界等の被写体の外縁を示す部分)量を算出し、あらかじめ判定基準値を設定し、その基準値と算出したエッジ量を基にカメラのレンズ面等の障害物を判定する。
また、カメラのレンズ面に水滴が付着しにくい光学部材の一例が、特許文献2に開示されている。この従来技術2では、カメラの外壁に撥水処理を施して、水滴が付着しにくくしている。
特開2003−189294号公報[H04N7/18,5/255] 特開平5−232566号公報[G03B17/08]
従来技術1では、カメラのレンズ面等に障害物を検知することが出来ても、その後の撮像が出来なかった。また、従来技術2では、レンズ部に撥水処理がされているため、塗料が付着しにくく、撮像妨害をされたかどうかの検知が難しかった。
本発明は、上記の問題点を解決するもので、カメラのレンズ面等の撮像妨害を正確に感知するとともに撮像妨害をされた後も撮影を続けることができる、監視装置および監視方法を提供することである。
請求項1記載の発明は、カメラによる撮像に対し、妨害をされたことを検出する監視装置において、カメラと、カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一のエリアとそうでない第二のエリアを設けたカバーと、カバーを通して撮像されたカメラからの画像のうち第一のエリアと第二のエリアからの情報の時間的変化の関係を比較して撮像妨害を検知する比較検知手段とを備えたことを特徴とする。
第一のエリアは、カメラへ入力される被写体光を妨害する妨害物が付着しにくいエリアであり、第二のエリアは妨害物が付着しにくくないエリアである。カバーには、この二つのエリアが存在する。第一のエリアからの情報は妨害物が付着しにくい第一のエリアからの情報である。第二のエリアからの情報は妨害物が付着しにくくない第二のエリアからの情報である。比較検知手段では、第一のエリアと第二のエリアの情報の時間的変化の関係を比較して撮像妨害を検知する。
カバーに、カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一のエリアと、妨害物が付着しにくくない第二のエリアを設けているため、そのカバーに対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害をされても、カバーの第一のエリアには付着しないため、撮像を続けることが出来る。また、カバーの第二のエリアはスプレー塗料等が付着しにくくない、つまり付着する。カバーに対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害がされていないときの第一のエリアと第二のエリアの情報と、カバーに対し上記のような撮像妨害等がされた後の第一のエリアと第二のエリアの情報の関係を比較することにより、撮像妨害を検知することができる。
請求項1記載の発明の更なる特徴としては、第一のエリアが、少なくとも撥水または防水もしくは塗料をはじく作用を有する物質がコーティングされたエリアとあることである。つまり、第一のエリアは、少なくとも撥水又は防止もしくは塗料をはじく作用を有する物質にコーティングされていることによって、カメラへ入力される被写体光を妨害する妨害物質が付着しにくくなる。
請求項2記載の発明は、請求項1に記載された発明に従属する監視装置であって、比較検知手段は、第一のエリアと第二のエリアの情報である輝度レベルの時間的変化の関係を比較することにより撮像妨害を検知することを特徴とする。つまり、カバーに対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害をしたとき、妨害物が付着していない第一のエリアの情報である輝度レベルと、妨害物が付着された第二のエリアの情報である輝度レベルの関係と、カバーに何も撮像妨害がされていないときの第一のエリアの情報である輝度レベルと第二のエリアの情報である輝度レベルを比較すると、撮像妨害をされているときは輝度レベルが変化していることがわかり、撮像妨害をされたことを検知できる。
請求項3記載の発明は、請求項1または請求項2に記載された発明に従属する監視装置であって、第二のエリアは、カバーに複数個設けることを特徴とする。つまり、カバーに撮像妨害としてスプレー塗料等の妨害を付着させる行為がされたときに、偶然にカバーの一部分に妨害物が付着したときに、もしもその妨害物が付着した一部分ではない場所に、第二のエリアが設けられていた場合は、撮像妨害をされたことが感知できない。従って、カバーに第二のエリアを複数個設けることによって、以上のことを防ぐことができる。
請求項4記載の発明は、カメラによる撮像に対し、妨害されたことを検出する監視装置において、カメラと、カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一エリアと、そうでない第二のエリアを設けたレンズと、レンズを通して撮像されたカメラの画像のうち第一のエリアと第二のエリアからの情報の時間的変化の関係を比較して撮像妨害を検知する比較検知手段とを備え、第一のエリアとは、少なくとも撥水または防水もしくは塗料をはじく作用を有する物質がコーティングされたエリアであることを特徴とする。
請求項5記載の発明は請求項4記載の発明に従属した監視装置において、比較検知手段は、第一のエリアと第二のエリアから情報である輝度レベルの時間的変化の関係を比較することにより撮像妨害を検知することを特徴とする。
請求項6記載の発明は、請求項4または請求項5に記載の発明に従属した監視装置において、第二のエリアは、レンズに複数個設けることを特徴とする。
請求項1記載の発明による監視装置では、カバーに、カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一のエリアと、妨害物が付着しにくくない第二のエリアを設けているため、そのカバーに対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害をされても、カバーの第一のエリアには付着しないため、撮像を続けることが出来る。また、カバーの第二のエリアはスプレー塗料等が付着しにくくない、つまり付着する。カバーに対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害がされていないときの第一のエリアと第二のエリアの情報と、カバーに対し上記のような撮像妨害等された後の第一のエリアと第二のエリアの情報の関係を比較することにより、撮像妨害を検知することができる。
さらに、第一のエリアが少なくとも撥水または防水もしくは塗料をはじく作用を有する物質にコーティングされていることによって、カメラへ入力される被写体光を妨害する妨害物質が付着しにくくなる。
請求項の発明による監視装置では、さらに、比較検知手段において、妨害物が付着していない第一のエリアの情報である輝度レベルと、妨害物が付着された第二のエリアの情報である輝度レベルの関係と、カバーに何も撮像妨害をされていないときの第一のエリアの情報である輝度レベルと第二のエリアの情報である輝度レベルを比較すると、カバーに撮像妨害をされたときは輝度レベルが変化していることが分かり、撮像妨害をされていることを検知できる。
請求項の発明による監視装置では、さらに、カバーに第二のエリアを複数個設けることによって、カバーの一部分にだけスプレー塗料を付着させる等の撮像妨害がされたときに、撮像妨害の検知の漏れを防ぐことができる。
また、請求項から請求項の発明による監視装置においても、上述した請求項から請求項の発明の監視装置と同様な効果が得られる。
上記のように、本発明では、カメラのレンズやカバー等に対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害を感知し、撮像妨害をされた後も撮像を続けることができる、監視装置および監視方法を提供することができる。
図1を参照して、本実施例の監視装置10は、透明カバー12、CCDイメージャを有するカメラ14、レンズ部16、処理部30、表示装置部62、記録部70、アラーム出力部74で構成される。カメラ14は絞り機構、固体撮像素子であるCCDを含む。透明カバー12はアクリル素材であり、レンズ部16との間の距離が、透明カバー12に細かい水滴などが存在しても撮像した撮像画像および映像に差支えがない焦点になるような位置に備え付けられている。撮像画像および映像は、レンズ部16およびカメラ14によって透明カバー12を通して撮像される。カメラ14は処理部30とケーブル32でつながれており撮像画像および映像は、ケーブル32を通して処理部30に送られ、処理部30によって様々な処理をされる。処理された撮像画像および映像は表示装置部62によって表示され、記録部70によって記録される。また処理部30によって撮像妨害検知が行われ、アラーム出力部74によって図示しないセキュリティシステム会社等にアラーム信号を送信する。なお、処理部30の詳細については後に説明する。
図2、図3は透明カバー12の図解図である。図2を参照して、透明カバー12はレンズ部16の表側の面積よりも大きく、カメラ14により撮像される撮像エリア22よりも大きく構成される。また、透明カバー12は妨害物が付着しにくい防汚コーティングが加工されている第一のエリアであるコーティングエリア18(斜線部)と防汚コーティングされていない第二のエリアである非コーティングエリア20a、20b、20c、20dを有する。例えば、防汚コーティング材としてダイキン株式会社のオプツール(登録商標)DSX、東レ株式会社のSR2411等が塗布される。そして、透明カバー12を通してカメラ14によって撮像される撮像エリア22は、上記コーティングエリア18と非コーティングエリア20a、20b、20c、20dを含む。
非コーティングエリア20a、20b、20c、20dは、透明カバー12の撮像エリア22の中の任意の4箇所に配置される。撮像エリア22にスプレー塗料を付着させたりすると、コーティングエリア18にはスプレー塗料が一瞬付着するが、数秒で細かい玉状になる。コーティングエリア18は撮像エリア22の大部分を占めており、また、細かい玉状のスプレー塗料が撮像エリア22に存在しても、撮像には影響を与えない。一方、非コーティングエリア20a、20b、20c、20dにはスプレー塗料が付着する。従って透明カバー22は、非コーティングエリア20a、20b、20c、20dにスプレー塗料が付着しても非コーティングエリア20a、20b、20c、20dによって撮像に影響を与えないような位置に配置される。
図3に示すように、本実施例では撮像エリア22を30分割(全て同一面積)し、そのうち非コーティングエリア20a、20b、20c、20dを任意の4箇所に配置している。なお、撮像エリア22を分割した各々のエリアの大きさは、透明カバー12にスプレー塗料を付着させられた等の撮像妨害をされたとき、撮像エリア22の非コーティングエリア20a、20b、20c、20dの各々によって撮像に影響を与えない程度の大きさであればよいため、撮像エリア22は非コーティングエリア20a、20b、20c、20dがそのような大きさになるように分割されればよい。また本実施例では非コーティングエリア20a、20b、20c、20dを4個設けたが、撮影に差支えがなく、かつ撮像妨害を誤検出しない程度の個数を設ければよい。
そして、30分割された撮像エリア22の30個のエリアは、各々位置を示すアドレスを持っている。一段目の一行目の左から右方向へ、Ad01、Ad02、・・・、Ad29、Ad30となっており、5段目の6行目までアドレスが定められている。この場合、4個の非コーティングエリア20aのアドレスをAd08、非コーティングエリア20bをアドレスAd11、非コーティングエリア20cをアドレスAd20、非コーティングエリア20dをアドレスAd23としている。30分割された撮像エリア22の30個のエリアのうち、4個のエリアは非コーティングエリア20a、20b、20c、20dであり、残りの26個のエリアを持つコーティングエリア18の中から任意に4個のエリアが選ばれる。任意に選ばれた4個のエリアをエリア18a、18b、18c、18dとする。そして、4個のエリアの各々のアドレスについて、エリア18aをアドレスAd07、エリア18bをアドレスAd12、エリア18cをアドレスAd19、エリア18dをアドレスAd24としている。
透明カバー22にスプレー塗料を付着させる等の撮像妨害がされた場合、第一のエリアであるコーティングエリア18から任意に選ばれた4個のエリア18a、18b、18c、18dの輝度レベルと第二のエリアである非コーティングエリア20a、20b、20c、20dの輝度レベルの各々の差の値と、記録部70に格納された所定時間前に同様に算出された各々の差の値とを比較してその変化量の大きさで撮像妨害を検知し、アラーム信号をセキュリティシステム等へ送る。
監視装置10のブロック図を図4に示す。本実施例の監視装置10は、第一のエリアであるコーティングエリア18と第二のエリアである非コーティングエリア20a、20b、20c、20dを有する透明カバー12、図示しない被写体を撮像するカメラ14、カメラ14より出力されたアナログ撮像信号をデジタル撮像データに変換するA/D変換器52、デジタル撮像データを信号処理しデジタル画像データにする信号処理回路54、様々なデータを一時格納するSDRAM56、デジタル画像データをアナログ撮像信号に変換するD/A変換器58、アナログ撮像信号をNTSC信号に変換するビデオエンコーダ60、撮像映像を表示する表示装置62、デジタル画像データをJPEG(Joint Photographics Experts Group)で圧縮、伸張するJPEGコーデック回路68、JPEGで圧縮されたデジタル圧縮データを記録したり、データを保持するハードディスクレコーダ70、オペレータが監視装置10を操作する入力部である操作キー80、コーティングエリア18の中から任意に選ばれた4個のエリア18a、18b、18c、18dおよび非コーティングエリア20a、20b、20c、20d内の各画素の輝度レベルをデジタル積分する積分回路66、アラーム出力を行うアラーム出力回路74および時間をカウントするカウンタ73を有しSDRAM56、積分回路66、JPEGコーデック回路68、アラーム出力回路74、ハードディスクレコーダ70に制御信号を与えるCPU72で構成される。
まず、透明カバー12の30分割された撮像エリア22に対し、非コーティングエリア20a、20b、20c、20dがどこに配置されたかを、操作キー80の図示しないメニューボタンにより配置設定を選択し、図示しないカーソルボタンによって30分割された撮像エリア22の30個のエリアから4個のエリアを指定する。同様に、撮像エリア22から非コーティングエリア20a、20b、20c、20dを除く、26個のコーティングエリア18の中から4個のエリア18a、18b、18c、18dを選び、指定する。この操作は、初めに設定する時や透明カバー12が破損等してしまったときに再度非コーティングエリア20a、20b、20c、20dを設定し直すときに行う。一度、指定されるとその内容は保持され、再度操作キー80により4個の非コーティングエリア20a、20b、20c、20dおよび4個のエリア18a、18b、18c、18dを指定しない限り有効である。
また、前述したように30分割された撮像エリア22の30個のエリアは、各々位置を示すアドレスを持っている。その30個のエリアのアドレスは、ハードディスクレコーダ70内の領域A1に格納されている。操作キー80によって30個のエリアのうち4個の非コーティングエリア20a、20b、20c、20dにカーソルで指定すると、CPU72は指定された4個の非コーティングエリア20a、20b、20c、20dのアドレスAd08、Ad11、Ad20、Ad23をハードディスクレコーダ70内の領域A1から取り出し、領域A2に格納する。また、同様にエリア18a、18b、18c、18dのアドレスAd07、Ad12、Ad19、Ad24についてもハードディスクレコーダ70内の領域A1から取り出し、領域A2に格納する。
本実施例では、オペレータは、コーティングエリア18の26個のアドレスから4個のエリアを選び、CPU72によってアドレスAd07、Ad12、Ad19、Ad24は領域A1から領域A2に格納されるのであるが、CPU72によって、26個のエリアの26個のアドレスから4個のアドレスをランダムに領域A1から領域A2に格納しても良い。
また、本実施例では後述するコーティングエリア18と非コーティングエリア20a、20b、20c、20d間の輝度データの差データの検出にあたって、コーティングエリア18中の4個のエリア18a、18b、18c、18dと非コーティングエリア20a、20b、20c、20dをそれぞれこの順番通りに輝度データの比較を行い、差データを検出しているが、順番通りに比較を行わなくても良い。例えば、エリア18bと非コーティングエリア20aとを比較をさせ、エリア18cと非コーティングエリア20bとを比較をさせ、エリア18dと非コーティングエリア20cとを比較させ、エリア18aと非コーティングエリア20dとを比較させても良い。
そして、図示しない操作キー80のリセットボタンにより非コーティングエリア20a、20b、20c、20dの場所を変更するときには、非コーティングエリア20a、20b、20c、20dのアドレスAd08、Ad11、Ad20、Ad23がリセットされ、エリア18a、18b、18c、18dのアドレスAd07、Ad12、Ad19、Ad24もリセットされる。
操作キー80によって撮像モードが設定されると、CPU72は、JPEGコーデック回路68、SDRAM56およびハードディスクレコーダ70に制御信号を与える。カメラ14から出力されるアナログ撮像信号は、A/D変換器52によってデジタル撮像データに変換され、この変換後のデジタル撮像データは、信号処理回路54に入力される。信号処理回路54は、A/D変換器52で生成されたデジタル撮像データを基に、3つの色信号であるR、G、B信号を作成し、次にこれらを輝度信号であるY信号、2つの色差信号であるU、V信号に変換するための処理を施す。こうしてCCDイメージャの画素毎に得られたY、U、V信号であるデジタル画像データはSDRAM56に一旦格納され、デジタル画像データは、JPEGコーデック回路68によりJPEGで圧縮される。圧縮されたデジタル圧縮データはSDRAM56をメモリバッファとして再度格納され、格納されたデジタル圧縮データは、ハードディスクレコーダ70に記録される。
操作キー80により、記録された画像を表示装置62に再生する再生モードが設定されると、CPU72は、ハードディスクレコーダ70に記録されたデジタル圧縮データを読み出し、JPEGコーデック回路68によって圧縮されたデジタル圧縮データを伸張し、SDRAM56にデジタル画像データを一時格納する。そして、D/A変換器58によりデジタル画像データをアナログ撮像信号に生成し、ビデオエンコーダ60によってNTSC信号に変換して、画像データを表示装置62に表示する。
さて、上記のように操作キー80によって撮像モードが設定されると撮像動作と平行して、妨害検出も行われる。撮像操作が行われると同時に、CPU72は上記の動作に加えて積分回路66、アラーム出力回路74に制御信号を与える。CPU72は、ハードディスクレコーダ内70のメモリA2に格納された4個の非コーティングエリア20a、20b、20c、20dの各々のアドレスAd08、Ad11、Ad20、Ad23を取り出し、現在撮像モードによって撮像されたデジタル画像データが蓄えられているSDRAM56から、各々のアドレスに対応する非コーティングエリア20a、20b、20c、20d内に含まれる全画素の輝度レベルを抽出する。同様にメモリA2に格納されたコーティングエリア18中の4個のエリア18a、18b、18c、18dのアドレスAd07、Ad12、Ad19、Ad24をメモリA2から取り出し、SDRAM56から4個のアドレスAd07、Ad12、Ad19、Ad24に対応する4個のエリア18a、18b、18c、18d内の全画素の輝度レベルを抽出する。
CPU72は、抽出されたコーティングエリア18中の4個のエリア18a、18b、18c、18dのエリア毎の全画素の各々の輝度レベルと非コーティングエリア20a、20b、20c、20dのエリア毎の全画素の輝度レベルを、エリア毎に全画素の輝度レベルを積分回路66でデジタル積分をしてエリア毎の輝度データとして抽出する。更にCPU72は、抽出されたエリア18a、18b、18c、18dの各々の輝度データと非コーティングエリア20a、20b、20c、20dの各々の輝度データとの輝度データの差データを検出する。
SDRAM56に格納されている前回撮像妨害と判断されなかった4個の各々の輝度データの差データと、今回の4個の各々の輝度データの差データの比較を行う。SDRAM56には、前回撮像妨害と判断されなかった4個の各々の輝度データの差データが格納されており、コーティングエリア18中のエリア18aと非コーティングエリア20aとの輝度レベルの差データY2aはSDRAM56内の領域a、エリア18bと非コーティングエリア20bとの輝度データの差データY2bは領域b、エリア18cと非コーティングエリア20cとの輝度データの差データY2cは領域c、エリア18dと非コーティングエリア20dとの輝度データの差データY2dは領域dに格納されている。
そして、SDRAM56内の領域aに格納された前回撮像妨害と判断されなかったコーティングエリア18中のエリア18aと非コーティングエリア20aとの輝度データの差データY2aと、今回抽出したコーティングエリア18中のエリア18aと非コーティングエリア20aとの輝度データの差データY1aの比較を行う。同様に、他の3個のコーティングエリア18中の他の3個のエリア18b、18c、18dと非コーティングエリア20b、20c、20dとの輝度データの差データについても比較を行う。
なお、本実施例では第一のエリアであるコーティングエリア18と第二のエリアである非コーティングエリア20a、20b、20c、20dの輝度データの差データの検出において、コーティングエリア18中の任意の4個のエリア18a、18b、18c、18dの輝度データと、非コーティングエリア20a、20b、20c、20dの各々の輝度データの差データをそれぞれ検出しているが、コーティングエリア18中の任意の4個のエリアの輝度レベルの平均値と非コーティングエリア20a、20b、20c、20dをそれぞれ比較しても良い。また、コーティングエリア18中の任意の1個のエリアの輝度データと非コーティングエリア20a、20b、20c、20dの輝度データをそれぞれ比較しても良い。
そして、4つの各々の輝度データの差データの比較によって撮像妨害をそれぞれ判断するのだが、一つでも撮像妨害されていると判断されればアラーム出力を行うようアラーム出力回路74を制御する。
以下、輝度データの差データ比較とアラーム出力判断について、図5および図6を参照して説明する。図5および図6は、現在のコーティングエリア中の4個のエリア18a、18b、18c、18dと非コーティングエリア20a、20b、20c、20d間の輝度データの差データY1a、Y1b、Y1c、Y1dと、前回コーティングエリア18中の4個のエリア18a、18b、18c、18dと非コーティングエリア20a、20b、20c、20d間の輝度データの差データY2a、Y2b、Y2c、Y2dとの比較処理およびアラーム出力判断処理を示すフロー図である。CPU72は輝度データ比較処理およびアラーム出力判断処理を実行する。
図5および図6を参照して、ステップS1では、コーティングエリア18a〜18dおよび非コーティングエリア20a〜20dの輝度データの検出を行う。
ステップS1のステップS1aでは、CPU72は、コーティングエリア18中のエリア18aに対応するアドレスAd07をメモリA2から取り出し、現在撮像モードによって撮像されたデジタル画像データが蓄えられているSDRAM56からエリア18a内の全画素の輝度レベルを抽出し、積分回路66に入力し、輝度レベルをデジタル積分して輝度データの検出を行う。同様に、非コーティングエリア20aのアドレスAd08もまたメモリA2から取り出し、エリア20a内の全画素の輝度レベルを抽出し、積分回路66に入力し、エリア内の全画素の輝度レベルをデジタル積分して輝度データの検出を行う。
ステップS1aと同様に、ステップS1bでは、CPU72はコーティングエリア18中のエリア18bおよび非コーティングエリア20bの輝度データの検出を行う。
同様に、ステップS1cでは、CPU72はコーティングエリア18中のエリア18cおよび非コーティングエリア20cの輝度データの検出を行う。
同様に、ステップS1dでは、CPU72はコーティングエリア18中のエリア18dおよび非コーティングエリア20dの輝度データの検出を行う。
次に、ステップS3において、CPU72は、ステップS1において検出したコーティングエリア18中の4個のエリア18a、18b、18c、18dと非コーティングエリア20a、20b、20c、20dとの輝度データの差データY1a、Y1b、Y1c、Y1dを検出する。
ステップS3のステップS3aでは、CPU72は、ステップS1aにおいて検出されたコーティングエリア18中のエリア18aの輝度データと非コーティングエリア20aの輝度データとの輝度データの差データY1aを検出する。
同様に、ステップS3bでは、ステップS1bにおいて検出されたコーティングエリア18中のエリア18bの輝度データと非コーティングエリア20bの輝度データとの差データY1bを検出する。ステップS3cでは、ステップS1cにおいて検出されたコーティングエリア18のエリア18cの輝度データと非コーティングエリア20cの輝度データとの差データY1cを検出する。ステップS3dでは、ステップS1dにおいて検出されたコーティングエリア18中のエリア18dの輝度データと非コーティングエリア20dの輝度データとの差データY1dを検出する。
次に、ステップS5において、CPU72は、ステップS3において検出した輝度データの差データY1a、Y1b、Y1c、Y1dと、SDRAM56内の領域a、b、c、dに記録されている前回撮像妨害と判断されなかった輝度データの差データY2a、Y2b、Y2c、Y2dの値を比較し、変化量を検出する。
ステップS5のステップS5aにおいて、CPU72は、SDRAM56内の領域aに格納されている前回撮像妨害と判断されなかったコーティングエリア18中のエリア18aと非コーティングエリア20a間の輝度データの差データY2aの値を取り出し、ステップS3aにおいて今回コーティングエリア18中のエリア18aと非コーティングエリア20a間から検出した輝度データの差データY1aと取り出された差データY2aとの値を比較し変化量を検出する。同様に、ステップS5bにおいても、SDRAM56内の領域bに格納されている前回撮像妨害と判断されなかった輝度データの差データY2bの値と、ステップS3bにおいて今回検出した輝度データの差データY1bの値を比較し変化量を検出する。ステップS5cにおいても、SDRAM56内の領域cに格納されている前回撮像妨害と判断されなかった輝度データの差データY2cの値と、ステップS3cにおいて今回検出した輝度データの差データY1cの値を比較し変化量を検出する。ステップS5dにおいても、SDRAM56内の領域dに格納されている前回撮像妨害と判断されなかった輝度データの差データY2dの値と、ステップS3dにおいて今回検出した輝度データの差データY1dの値を比較し変化量を検出する。
次に、ステップS7〜S29では、CPU72はステップS5において輝度データの差データY1a〜Y1dとY2a〜Y2d間の値の変化量がそれぞれハードディスクレコーダ70内に保持されている所定値T以上であるか各々を判断し、所定値以上である場合は各々のフラグを立て、所定値未満の場合は各々の領域に今回入力の差データに置き換える。
ステップS7では、CPU72は、ステップS5aにおいて検出された前回撮像妨害と判断されなかった差データY2aと今回検出された差データY1a間の変化量の値がハードディスクレコーダ70内に保持されている所定値T以上であるか否かを判断する。ステップS7においてYES、つまり差データY2aとY1aの変化量の値がT以上であれば、撮像妨害ありと判断し、ステップS9に進む。つまり、前回撮像妨害なしと判断されたコーティングエリア18中のエリア18aと非コーティングエリア20a間の輝度データの差データY2aよりも、今回検出されたコーティングエリア18中のエリア18aと非コーティングエリア20a間の輝度データの差データY1aの値が大きく変化しているということから、スプレー塗料等が付着しやすい非コーティングエリア20aの範囲に、スプレー塗料を付着させる等の撮像妨害をされたと判断できる。通常、スプレー塗料を付着させられる等の撮像妨害がされた場合、非コーティングエリア20aの輝度データの値よりもコーティングエリア18のエリア18aの輝度データの値の方が大きくなり、差データ1aの値も大きくなる。また、前回撮像妨害なしと判断された差データY2aが小さいため、差データY2aとY1aの値を比較した場合、変化量が大きくなる。
ステップS9ではアラーム出力回路74にフラグaを立てる。ステップS7においてNO、つまり差データY2aとY1aの変化量の値がT未満であれば、CPU72は撮像妨害なしと判断する。前回撮像妨害なしと判断された差データY2aと今回検出された差データY1aの間の変化量の値が大きく変化しておらず、つまりコーティングエリア18中のエリア18aと非コーティングエリア20aとの間では輝度データでは差がほとんどないため、非コーティングエリア20aの範囲にスプレー塗料を付着させる等の撮像妨害をされていないと判断し、ステップS11に進む。ステップS11では、CPU72はSDRAM56内の領域aに今回撮像妨害と判断しなかった輝度データの差データY1aと前回の輝度データの差データY2aとを置き換え、ステップS13に進む。
次にステップS13では、ステップS7と同様に、SDRAM56内の領域bに格納されている差データY2bとステップS5bにおいて検出された差データY1bの変化量の値がハードディスクレコーダ70内に保持されている所定値T以上であるか否かを判断する。ステップS13においてYES、つまり差データY2bとY1bの変化量の値がT以上であれば、今回検出した非コーティングエリア20bの範囲で撮像妨害ありと判断し、ステップS15に進む。ステップS15ではアラーム出力回路74にフラグbを立てる。ステップS13においてNO、つまり差データY2bとY1bの変化量の値がT未満であれば今回検出した非コーティングエリア20bの範囲で撮像妨害なしと判断され、ステップS17に進む。ステップS17では、CPU72はSDRAM56内の領域bに今回撮像妨害ありと判断しなかった輝度データの差データY1bと前回の輝度データの差データY2bとを置き換え、ステップS19に進む。
ステップS19では、こちらもステップS7と同様に、SDRAM56内の領域cに格納されている差データY2cとステップS5cにおいて検出された差データY1cの変化量の値がハードディスクレコーダ70内に保持されている所定値T以上であるか否かを判断する。ステップS19においてYES、つまり差データY2cとY1cの変化量の値がT以上であれば今回検出した非コーティングエリア20cの範囲で撮像妨害ありと判断し、ステップS21に進む。ステップS21ではアラーム出力回路74にフラブcを立てる。ステップS19においてNO、つまり差データY2cとY1cの変化量の値がT未満であれば今回検出した非コーティングエリア20cの範囲で撮像妨害なしと判断され、ステップS23に進む。ステップS23では、CPU72はSDRAM56内の領域cに今回撮像妨害ありと判断しなかった輝度データの差データY1bと前回の輝度データの差データY2cとを置き換え、ステップS27に進む。
ステップS27では、こちらもステップS7と同様に、CPU72はSDRAM56内の領域dに格納されている差データY2dと、ステップS5dにおいて検出された差データY1dの変化量の値がハードディスクレコーダ70内に保持されている所定値T以上であるか否かを判断する。ステップS27においてYES、つまり差データY2dとY1dの変化量の値がT以上であれば今回検出した非コーティングエリア20dの範囲で撮像妨害ありと判断し、ステップS25に進む。ステップS25ではアラーム出力回路74にフラグdを立てる。ステップS27においてNO、つまり差データY2dとY1dの変化量の値が所定値T未満であれば今回検出した非コーティングエリア20dの範囲で撮像妨害なしと判断され、ステップS29に進む。ステップS29では、CPU72はSDRAM56内の領域dに今回撮像妨害ありと判断されなかった輝度データの差データY1dと前回の輝度データの差データY2dとを置き換える。
輝度データの比較が終わると、CPU72はアラーム出力の判断を行う。ステップS41では、フラグaが立てられているか否かを判断する。YES、つまりフラグaが立てられている場合はステップS49に進み、アラーム出力回路74よりアラーム出力を行う。NO、つまりフラグaが立てられていなかった場合はステップS43に進む。
ステップS43では、フラグb立てられているか否かを判断する。YES、つまりフラグbが立てられている場合はステップS49に進み、アラーム出力回路74よりアラーム出力を行う。NO、つまりフラグbが立てられていない場合はステップS45に進む。
ステップS45では、フラグcが立てられている否かを判断する。YES、つまりフラグcが立てられている場合はステップS49に進み、アラーム出力回路74よりアラーム出力を行う。NO、つまりフラグcが立てられていない場合はステップS47に進む。
ステップS47では、フラグdが立てられているか否かを判断する。YES、つまりフラグdが立てられている場合はステップS49に進み、アラーム出力回路74よりアラーム出力を行い、ステップS50に進む。アラーム出力により図示しないセキュリティ会社等にアラーム信号を送るがセキュリティ会社等がアラーム出力をリセットするまでアラーム信号を送り続ける。NO、つまりフラグdが立てられていない場合はステップS50に進む。従って、透明カバー12に対し、一部分だけスプレー塗料を付着させる等の撮像妨害が行われたとき、コーティングエリア18の4個のエリア18a、18b、18c、18dと非コーティングエリア20a、20b、20c、20d間との時間的変化において、そのうちひとつの範囲でも撮像妨害があると判断された場合は、アラーム出力を行うことにより、撮像妨害検知度を向上させることができる。ステップS50ではCPU72内のカウンタ73によって所定時間カウントをし、カウントが終了すればカウンタをリセットし、再びステップS1に戻る。
以上の説明から分かるように、透明カバー12に、カメラへ入力される被写体光を妨害する妨害物が付着しにくい少なくとも撥水または防水もしくは塗料をはじく作用を有する物質でコーティングされたコーティングエリア18と、妨害物が付着しにくく、カメラによる撮影に影響を受けない位置に非コーティングエリア20a、20b、20c、20dのように複数個設けているため、その透明カバー12に対しスプレー塗料等の被写体光を遮る妨害物を付着させる等の撮像妨害をされても、透明カバー12のコーティングエリア18には付着しないため、撮影を続けることができる。また、透明カバー12の非コーティングエリア20はスプレー塗料等が付着する。コーティングエリア18と非コーティングエリア20a、20d、20c、20dの情報の輝度データの時間的変化の関係、本実施例ではスプレー塗料等の被写体光を遮る妨害物が付着していないコーティングエリア18の情報と付着している非コーティングエリア20a、20b、20c、20dの情報を比較することにより撮像妨害を検知することができ、またその後の撮影に差支えがない。
本発明の輝度データ比較処理及びアラーム出力判断処理の一実施例について説明をしたが、次に図7を参照して輝度データ比較処理及びアラーム出力判断処理の他の実施例について説明する。
なお、他の実施例の監視装置10の構成は、上記の実施例(図1〜図4)に記載されているものと同等であり、輝度データ比較処理および、アラーム出力判断処理が異なる。
具体的には、現在撮像モードによって撮像されたデジタル画像データのコーティングエリア18中の任意の4個のエリア18a、18b、18c、18dの4個の輝度データを全て加算して、加算された輝度データを領域分で除算した、つまり4で除算した平均値と非コーティングエリア20a、20b、20c、20dの4個の輝度データを全て加算して、加算された輝度データを4で除算したの平均値間の差データYav1と、前回撮像妨害と判断されなかったコーティングエリア18中の任意の4個のエリア18a、18b、18c、18dの4個の輝度データを全て加算して、加算された輝度データを4で除算した平均値と非コーティングエリア20a、20b、20c、20dの4個の輝度データを全て加算して、加算された輝度データを4で除算した平均値との差データYav2とを比較して、その変化量により撮像妨害を検知しアラームを出力する。
つまり、図3および図4を参照して、CPU72は、抽出されたコーティングエリア18中のエリア18a、18b、18c、18dの4エリア内の全画素の輝度レベルを積分回路66に入力してデジタル積分し、同様に非コーティングエリア20a、20b、20c、20dの各々の輝度レベルを積分回路66に入力し、それぞれデジタル積分する。積分されたコーティングエリア18a、18b、18c、18dの輝度データを全て加算して、加算された輝度データを4で除算した平均値と、積分された非コーティングエリア20a、20b、20c、20dの輝度データを全て加算して、加算された輝度データを4で除算した平均値との比較を行い、輝度データの平均値の差データYav1を検出する。
次にSDRAM56に格納されている前回撮像妨害と判断されなかった輝度データの平均値の差データYav2と、今回の輝度データの平均値の差データYav1の比較を行う。SDRAM56内の領域Mには、前回撮像妨害と判断されなかった輝度データの平均値の差データが格納されている。領域Mに格納された前回撮像妨害と判断されなかった輝度データの平均値の差データと、今回の輝度データの平均値の差データの比較を行う。
そして、CPU72は輝度データの平均値の差データの比較によって撮像妨害と判断した場合、アラーム出力を行うようアラーム出力回路74を制御する。
以下、輝度データの比較とアラーム出力判断について、図7を参照して説明する。図7は、コーティングエリア18中の4個のエリア18a、18b、18c、18dの輝度データの平均値と非コーティングエリア20a、20b、20c、20dの輝度データの平均値の差データYav1と、前回の輝度データの平均値の差データYav2との比較処理をし、アラーム出力を示すフロー図である。CPU72は輝度データ比較処理およびアラーム出力判断処理を実行する。
図7を参照して、ステップS51において、CPU72は、ハードディスクレコーダ70内の領域A2からコーティングエリア18中の4個のエリア18a、18b、18c、18dのアドレスAd07、Ad12、Ad19、Ad24と、非コーティングエリア20a、20b、20c、20dのアドレスAd08、Ad11、Ad20、Ad23を取り出し、SDRAM56に格納されている現在撮像モードによって撮像されたデジタル画像データから、該当エリア内の全画素の輝度レベルを取り出す。具体的には、ステップS51aにおいて非コーティングエリア20aに対応するアドレスAd08をハードディスクレコーダ70内のメモリA2より取り出し、SDRAM56内に一時格納されている画像からエリア20a内の全画素の輝度レベルを取り出し、積分回路66に入力し、デジタル積分をし、輝度データを検出する。
同様に、ステップS51bでは、非コーティングエリア20bに対応するアドレスAd11を取り出し、エリア20b内の全画素の輝度レベルを取り出し、積分回路66に入力し、デジタル積分し、輝度データを検出する。ステップS51cでは、非コーティングエリア20cに対応するアドレスAd20を取り出し、エリア20c内の全画素の輝度レベルを取り出し、積分回路66に入力し、デジタル積分をし、輝度データを検出する。ステップS51dでは、非コーティングエリア20dに対応するアドレスAd23を取り出し、エリア20d内の全画素の輝度レベルを取り出し、積分回路66に入力し、デジタル積分をし、輝度データを検出する。ステップS51にて、各々の輝度データ検出が終わるとステップS53に進む。
ステップS53では、CPU72は、コーティングエリア18中のエリア18a、18b、18c、18dの輝度データを全て加算して、加算された輝度データを4で除算した平均値および非コーティングエリア20a、20b、20c、20dの輝度データを全て加算して、加算された輝度データを4で除算した平均値を算出し、ステップS55に進む。
ステップS55では、CPU72はSDRAM領域Mに格納されている前回撮像妨害と判断されなかったコーティングエリア18a〜18dの輝度データの平均値と、非コーティングエリア20a〜20dの輝度データの平均値の差データYav2と、今回のコーティングエリア18a〜18dの輝度データの平均値と、非コーティングエリア20a〜20dの平均値の差データYav1の変化量を検出し、ステップS57に進む。
ステップS57では、CPU72は、ステップS55において検出されたYav2とYav1間の変化量がハードディスクレコーダ内70に格納された所定値T以上であるか否かを判断する。
ステップS57においてYES、つまりYav2とYav1間の変化量が所定値T以上あればステップS59に進み、CPU72は、アラーム出力回路74からアラーム出力をする。アラーム出力により図示しないセキュリティ会社等にアラーム信号を送るが、セキュリティ会社等がアラーム出力をリセットするまでアラーム信号を送り続ける。ステップS57においてNO、つまりYav2とYav1の変化量が所定値T未満であればステップS61に進む。
ステップS61では、SDRAM56内の領域Mに格納されている前回撮像妨害と判断されなかった平均値の差データYav2を、今回撮像妨害と判断されなかった平均値の差データYav1に置き換える。
次にステップS63では、CPU72内のカウンタ73によって所定時間カウントされ、所定時間のカウントが終了したらカウンタをリセットし、再びステップS51に戻る。
なお、本実施例では、防汚コーティングを透明カバー12に施し、コーティングエリア18と非コーティングエリア20a、20b、20c、20dを設けているが、透明カバー12を設けず、直接カメラ部14のレンズ部16のレンズの表面に撥水または防水もしくは塗料をはじく作用をする様な防汚コーティングを施し、コーティングエリア18と複数個の非コーティングエリア20を設け撮像を行い、上記透明カバー12を設けたときと同様な撮像妨害処理を行うようにしてもよい。
さらに、本実施例では、撮像妨害判断をする際にデジタルの輝度レベルを比較しているが、アナログの輝度レベルで比較してもよい。
また、本実施例では、撮像動作が行われたときに撮像データをデジタルでハードディスクレコーダ70に記録するようにしているが、アナログでVTR等に記録してもよい。
また、処理部、記録部、アラーム処理部をカメラと一体に構成することも可能であることは言うまでもない。
本発明の一実施例である監視装置を示した構成図である。 本発明の一実施例である監視装置の透明カバーの一例を示す図解図である。 本発明の一実施例である監視装置の撮像エリアの一例を示す図解図である。 本発明の一実施例である図1実施例の構成を示すブロック図である。 本発明の一実施例である図1実施例の動作の一部を示すフロー図である。 本発明の一実施例である図1実施例の動作のほかの一部を示すフロー図である。 本発明の他の実施例の動作の一部を示すフロー図である。
符号の説明
10…監視装置
12…透明カバー
14…カメラ
16…レンズ部
18…コーティングエリア
20…非コーティングエリア
56…SDRAM
66…積分回路
72…CPU
73…カウンタ

Claims (6)

  1. カメラによる撮像に対し、妨害されたことを検出する監視装置において、
    カメラと、
    前記カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一エリアと、そうでない第二のエリアを設けたカバーと、
    前記カバーを通して撮像された前記カメラの画像のうち前記第一のエリアと前記第二のエリアからの情報の時間的変化の関係を比較して撮像妨害を検知する比較検知手段とを備え、
    前記第一のエリアとは、少なくとも撥水または防水もしくは塗料をはじく作用を有する物質がコーティングされたエリアであることを特徴とする監視装置。
  2. 前記比較検知手段は、前記第一のエリアと前記第二のエリアから情報である輝度レベルの時間的変化の関係を比較することにより撮像妨害を検知することを特徴とする請求項1に記載の監視装置。
  3. 前記第二のエリアは、前記カバーに複数個設けることを特徴とする、請求項1または請求項2に記載の監視装置。
  4. カメラによる撮像に対し、妨害されたことを検出する監視装置において、
    カメラと、
    前記カメラへ入力される被写体光を妨害する妨害物が付着しにくい第一エリアと、そうでない第二のエリアを設けたレンズと、
    前記レンズを通して撮像された前記カメラの画像のうち前記第一のエリアと前記第二のエリアからの情報の時間的変化の関係を比較して撮像妨害を検知する比較検知手段とを備え、
    前記第一のエリアとは、少なくとも撥水または防水もしくは塗料をはじく作用を有する物質がコーティングされたエリアであることを特徴とする監視装置。
  5. 前記比較検知手段は、前記第一のエリアと前記第二のエリアから情報である輝度レベルの時間的変化の関係を比較することにより撮像妨害を検知することを特徴とする請求項4に記載の監視装置。
  6. 前記第二のエリアは、前記レンズに複数個設けることを特徴とする、請求項4または請求項5に記載の監視装置。
JP2004216821A 2004-07-26 2004-07-26 監視装置および監視方法 Expired - Fee Related JP4219307B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004216821A JP4219307B2 (ja) 2004-07-26 2004-07-26 監視装置および監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004216821A JP4219307B2 (ja) 2004-07-26 2004-07-26 監視装置および監視方法

Publications (2)

Publication Number Publication Date
JP2006041779A JP2006041779A (ja) 2006-02-09
JP4219307B2 true JP4219307B2 (ja) 2009-02-04

Family

ID=35906319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004216821A Expired - Fee Related JP4219307B2 (ja) 2004-07-26 2004-07-26 監視装置および監視方法

Country Status (1)

Country Link
JP (1) JP4219307B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5099062B2 (ja) * 2009-03-30 2012-12-12 沖電気工業株式会社 監視装置
KR101074877B1 (ko) * 2009-09-03 2011-10-19 김민수 발수 기능이 있는 감시카메라
CN102379275A (zh) * 2010-08-30 2012-03-21 席钰佳 全自动电网铁塔驱鸟器

Also Published As

Publication number Publication date
JP2006041779A (ja) 2006-02-09

Similar Documents

Publication Publication Date Title
JP4803376B2 (ja) カメラ妨害検知方式
KR100738492B1 (ko) 촬상장치 및 그 제어방법
KR101486996B1 (ko) 이동 검출 장치, 이동 검출 방법, 촬상 장치 및 감시시스템
JP4942185B2 (ja) 撮像装置及び雲台制御方法並びにプログラム及び記憶媒体
JP4140591B2 (ja) 撮像システム及び撮像方法
US8792681B2 (en) Imaging system and imaging method
JP2011130271A5 (ja)
JP2011130271A (ja) 撮像装置および映像処理装置
JP5045590B2 (ja) 表示装置
KR100995949B1 (ko) 화상 처리 장치, 카메라 장치 및 화상 처리 방법
US9202115B2 (en) Event detection system and method using image analysis
WO2000054508A1 (fr) Dispositif et procede de traitement de signaux camera
JP4219307B2 (ja) 監視装置および監視方法
JPH0583712A (ja) 画像処理システム及び監視システム
KR100763969B1 (ko) 자동 촬상 장치 및 자동 촬상 장치의 제어용 프로그램이 저장된 컴퓨터로 판독 가능한 기록 매체
JP2004222200A (ja) 侵入物体検出方法及び侵入物体検出装置
KR101061012B1 (ko) 광각영상을 이용한 이동물체추적 방법
KR100994418B1 (ko) 건물의 침입 감지를 위한 촬영 이미지 처리 시스템 및 방법
JP4825479B2 (ja) 監視システム及び監視方法
JP2000209571A (ja) 監視カメラシステム
JP5313956B2 (ja) 監視カメラ
JP2001008193A (ja) 画像センサ
JPH09219854A (ja) 撮像記録装置
JP5496736B2 (ja) 監視カメラ
KR101531195B1 (ko) 카메라 영상의 블루밍 제거장치 및 방법

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20051226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees