JP3681152B2 - テレビカメラの制御方法及びテレビカメラ - Google Patents

テレビカメラの制御方法及びテレビカメラ Download PDF

Info

Publication number
JP3681152B2
JP3681152B2 JP04777499A JP4777499A JP3681152B2 JP 3681152 B2 JP3681152 B2 JP 3681152B2 JP 04777499 A JP04777499 A JP 04777499A JP 4777499 A JP4777499 A JP 4777499A JP 3681152 B2 JP3681152 B2 JP 3681152B2
Authority
JP
Japan
Prior art keywords
television camera
image
detected
speed
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04777499A
Other languages
English (en)
Other versions
JP2000253386A (ja
Inventor
正紀 住吉
博唯 上田
允美 根岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP04777499A priority Critical patent/JP3681152B2/ja
Priority to KR10-2000-0008996A priority patent/KR100377517B1/ko
Priority to EP00103408A priority patent/EP1035510A3/en
Publication of JP2000253386A publication Critical patent/JP2000253386A/ja
Application granted granted Critical
Publication of JP3681152B2 publication Critical patent/JP3681152B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、人物の進入などをテレビカメラにより監視する装置に関する。
【0002】
【従来の技術】
進入者などの監視装置においては、VTRやハードディスクなどの記録装置に、監視用テレビカメラにより撮影した画像データを記録するのが一般的である。オペレータは、その後、該記録された画像データの中から、必要とする画像データを検索し表示させる。このような監視装置はあらゆるところに設置される。例えば、銀行、コンビニエンスストア等の店舗内、建築現場や、ダム、基地、飛行場等の立入り禁止地区等がある。このような場所において、進入物、あるいは侵入者は画面内においてさまざまな動きをする。また、撮影条件も様々に変化する。
【0003】
【発明が解決しようとする課題】
ここで、監視用テレビカメラのシャッタースピード(電子シャッター)が一定の場合には、入力画像における進入物体の動きが早い場合、記録した画像がブレてしまう場合がある。また、監視用テレビの絞り値が一定の場合には、入力画像の明るさによっては、暗くなりすぎたり、真っ白になったりする。
【0004】
【課題を解決するための手段】
本発明は、これらの問題を解決するために、画像認識により画面内での進入物体の移動の速さを検出する。
【0005】
さらに、その情報を用いて監視用テレビカメラのシャッタースピードを制御することで、ブレのない画像の記録が行える機能を設ける。
【0006】
さらに、画像認識を用いて検出された進入物体の近傍の明るさを検出し、その情報を用いて監視用テレビの絞りを制御することで、適正な輝度の画像の記録が行える機能を設けるようにしたものである。
【0007】
さらに、このとき、進入物体のエッジを検出する。
【0008】
本発明はこれらの組み合わせにより、テレビカメラを制御する方法及び装置を提供するものである。このテレビカメラは特に監視用記録装置に適したもので、ある。
【0009】
【発明の実施の形態】
本発明の実施例として監視用テレビカメラ記録装置について説明する。この監視用テレビカメラ記録装置は図1に示すようなブロック図で示すことができる。
このブロック図について説明する。
図1において、1は監視用テレビカメラで、本発明の監視用テレビ制御記録装置により制御され、店舗、立入り禁止地区等、さまざまな箇所に設置される。2はモニタでこの監視用テレビカメラ1からの映像、または記録画像を表示する。3は監視用テレビ制御・記録装置である。さらに、この監視用テレビ制御・記録装置3は、301から3090のブロックとこれらを接続するバスより構成される。301はCPUを中心に構成される制御装置、302はメモリ、303は画像認識部、304は通信制御部、305はビデオインターフェース、306はハードディスク、DVD、タイムラプスVTR等の記憶装置、307はフレームバッファメモリ、308はモニタ、309は入力装置、310はこれら各ブロックとCPU301を結ぶバスである。
【0010】
次にこれら各ブロックについて説明する。
ビデオインターフェース305には画像入力インターフェイス(図示せず)と画像信号出力インターフェイス(図示せず)を有する。これら各インターフェースは、出力端子3052を介してモニタ2と接続され、入力端子3051を介して監視用テレビカメラ2と接続される。ビデオインターフェース305は、監視用テレビカメラ1から送られてきた動画像をこの監視用テレビ制御・記録装置で扱うフォーマットに変換し、制御装置301、画像認識部303、および記憶装置306に送る。また、前記ビデオインターフェース305は、記憶装置306から出力される信号情報、あるいはテレビカメラ1からの画像情報をモニタ2に出力する。前記画像認識部303は送られてきた動画像から進入物体があるか否かを検出し、さらに検出物体の明るさと移動速度を検出する。この速度と明るさに基づき、監視用テレビカメラ1の電子シャッタ−のスピードと絞りが制御される。これらの制御信号は通信制御部304を経由して監視用テレビカメラ1に出力される。
この画像認識部303の動作については後に詳細に説明する。
入力装置309には操作パネル3091が有り、ここには、各種記録モード、再生制御のためのボタンスイッチを有する。
記憶装置306には進入物体が検出された日時と該画像データが格納される。また、記憶装置306としてはハードディスクやDVD記憶装置を用いたりあるいはネットワークを介したリモートファイルを用いたり、これら1つではなく、複数を組合わせて用いてもよい。また、これら記憶装置に記憶される映像情報は通常、格納時には圧縮され、出力時には伸張されて処理される。これら各構成要素は制御装置301からの制御信号により制御される。
【0011】
つぎにこの動作について詳細に説明する。
図4に示す操作パネル3091上の録画ボタン203を押すと、監視用テレビカメラ1からの入力映像信号はビデオインターフェイス305を介して画像認識部303に送られ、進入物体の有無の検出が開始される。この時の進入物体の検出方法としては、例えば、背景の画像と、現在入力された画像との差を求めるなどの周知の方法で十分可能である。このようにして、検出処理を実行している過程で、進入物体を検出した場合には制御装置301は該検出した日時と該画像および検出開始点、検出中間点、検出終了点等の情報を記憶装置306に記録する。このようにして、オペレータが記録作業を終了させるまで該作業を継続する。通常はこのように、進入物体を検出したときにのみ記録するが、記録容量が十分であれば、進入物体の検出の有無にかかわらず、連続的に記録するようにしてもよい。連続記録するときには進入物体を検出したときにその記録データに「しおり」等マークを自動的に重畳記録するようにすれば、後に進入物体を検索するときに便利である。また、記録中にしおりボタン211を押下することにより手動で「しおり」を入力することができる。
ここで、本発明では画像認識により、進入物体の移動速度を検出し、該速度に応じて監視用テレビカメラ1の電子シャッターのスピードを制御する機能を設けている。これは、シャッタースピードに対して、被写体(進入物体)の速度が速い場合には、記録された画像がブレてしまい見にくくなることを防ぐためである。これは、監視カメラとして非常に重要なことである。
この制御装置301、画像認識部303の動作を示したのが図5のフローチャートである。
はじめにテレビかメカからの画像を入力するフローチャート4。画像認識部303により進入物体を検出した場合、ここで、画像のエッジを検出5し、更に連続するフレーム間での進入物体エッジの比較8により、その移動量を算出する。このとき、その移動量すなわち、エッジの位置の差が少ないときにはシャッタースピードの変更は行わない(フローチャート9)。エッジの移動量の差が大きいときには、最適なシャッタースピードを求めて、通信制御部304より、監視用テレビカメラ1に対して、フローチャート10以下に示すように、算出されたシャッタースピードに設定するよう命令を発する。また、画像認識部303により、検出された進入物体の近傍の明るさを検出13し、その明るさに応じて監視用テレビカメラ1の絞り(図示せず)を制御する機能を設ける。これは、シャッタースピードを切り替えることにより、絞り値に対して、被写体(進入物体)が暗い場合には、極端に暗くなってしまい、場合によっては真っ黒になってしまい、逆に明るい場合には真っ白になってしまうことを防ぐためである(フローチャート14)。以下、具体的に図2、図3を用いてこの動作を説明する。
入力画像を記録する際に、画面上での進入物体の移動速度(実際の速度が遅い場合でも、監視用テレビカメラに近けれは画面上の移動速度は速くなり、逆に実際の速度が速い場合でも、監視用テレビカメラから遠ければ画面上での移動速度は遅くなる。このため、画面上での移動速度を用いて判定する。)が速い場合には、画像はブレてしまう。そこで、画像認識の技術を用いて進入物体の画面上での移動速度を算出し、該移動速度に応じて監視用テレビカメラのシャッタースピードを最適な値に再設定する。 図2に示すよう、640×480ピクセルの入力画像は一例として、10×10の複数の領域に分割する。図では例として縦横共に10分割している。時刻nでの画像21に対して、時刻n+1(画像22)で監視テレビカメラ1の視野に進入物体が進入したとする。この時、進入物体(例えば進入物体のエッジ)は、例えば画像22の斜線で示された領域のブロック群のエッジ241のように検出される(図5フローチャート5)。n+1が検出開始時刻である。次に、n+2の時刻(画像23)において、図のような進入物体のエッジ242が検出される。 ここで、監視用テレビカメラ1の設置場所から進入物体が右から左に移動するものとすると、進入物体の画面上の速度は、例えばn+2の時刻のエッジ242の検出された左側と、n+1の時刻のエッジ242との間の差を求める(図5フローチャート6)ことで計算できる。 このようにして求めた速度(図5フローチャート7)に対して、現在のシャッタースピードが不適切である場合、監視用テレビカメラ1に対して適切な電子シャッターのスピードの設定を指示する。 この時の、シャッタースピードについては、例えば、画面上の移動速度とシャッタースピードの関係をあらかじめ設定しておき、テーブルを作り、このテーブルを参照(フローチャート11)することで行える。なお、誤動作を防ぐために、検出されたエッジのブロック数が少ない場合(例えば2、3ブロック)の場合には、計算対象としないようにする処理を設ける。次に、監視用テレビカメラの撮像範囲の中に移動速度の異なる2つの物体がある場合について説明する。例えば、図3のように、画像の右側が店の入り口、左側が店の奥(行き止まり)のような場合には、入り口に近い方の領域にある方の移動物体252の速度に合わせる。 これは、物体251はすでに、右側の領域で検出されているためで、物体252の移動速度に応じたシャッタースピードを設定するほうが望ましい。このように、監視用テレビカメラ1の設置位置の状況に応じて検出された物体に優先順位をつけてそれにテレビカメラの撮像条件を合わせるようにする。
【0012】
次に、テレビカメラ1の絞り制御について説明する。画像認識により進入物体を検出した場合に、その進入物体の周囲の画素の輝度を求め、これに応じて絞り値を調整する。これは、背景が明るい時には、絞りが絞られて、進入物体は暗くなってしまい、逆に背景が暗い場合には、絞りが開かれて進入物体が真っ白になって、共に判別がし難くなってしまうことを防ぐためである。 この場合も同様に、適切な絞り値を求め、監視用テレビの制御を行う機能を設ける。また、先に説明したように、進入物体のエッジを求め、このエッジ内の明るさに合わせ、絞りを制御するようにしてもよい。ここで、一般に、監視用テレビのシャッタースピードと絞りの間には、相関関係がある。そこで、絞り優先のモードとシャッタースピード優先のモードを設けることで、最適な値が得られるようにする。シャッタースピードを変更すると画像のコントラストが極端になることがある。このような場合、画質の状況に応じて、シャッタースピードと絞りを最適に調整する(フローチャート15)。
【0013】
なお、以上の説明では単に監視用テレビカメラのシャッタースピードと絞りを変更するようにしたが、移動速度に応じて、画像記録部303の記録フレームレートを変更するようにしてもよい。つまり、進入物体の移動速度が所定値以上になった場合に記録レートを上げるようにする。通常、監視装置では長時間画像を記録するためにフレームレートを落して記録する。そこで、例えば、移動物体の速度が上がった場合によりフレームレートを上げるように制御するように、画像記録部303を制御してもよい。
【0014】
以上説明した実施例では監視用テレビカメラを1台としたが、複数であってもよい。この場合には、各カメラの映像信号には各テレビカメラ固有の識別コード重畳する。
【0015】
また、本発明は監視装置ばかりでなく、また、記録装置を持たないテレビカメラとしても用いることができることは言うまでもない。
【0016】
【発明の効果】
画像認識により、適正なシャッタースピードおよび絞り値を監視用テレビ側に設定できるため、適正な状態での画像を記録することができる。
【図面の簡単な説明】
【図1】本発明の一実施例の構成図
【図2】本発明の一実施例の説明図
【図3】本発明の一実施例の説明図
【図4】本発明の一実施例の説明図
【図5】本発明の一実施例のフローチャート
【符号の説明】
1 テレビカメラ、2 モニタ、3 監視用テレビカメラ制御記録装置、301 CPU、302 メモリ、303 画像認識部、304 通信制御部、305 ビデオインターフェース、306 記憶装置、307フレームバッファ、308 モニタ

Claims (2)

  1. テレビカメラにより撮像された入力画像から物体を検出し、
    該検出された物体が複数存在する場合、検出された物体の位置に基づいていずれか1つの物体を選択し、該選択された物体の画面内での移動速度を認識し、
    該認識した物体の移動速度に応じて前記テレビカメラのシャッタースピードを変化させることを特徴とするテレビカメラの制御方法。
  2. 撮像された画像を取り込む画像取込手段と、
    該画像取込手段からの入力画像から物体を検出し、該検出された物体が複数存在する場合、検出された物体の位置に基づいていずれか1つの物体を選択し、該選択された物体の画面内での移動速度を認識する画像認識手段と、
    該画像認識手段により求めた物体の移動速度に応じて前記テレビカメラのシャッタースピードを変化させるための制御信号を出力するシャッタースピード制御手段と、
    を備えることを特徴とするテレビカメラ。
JP04777499A 1999-02-25 1999-02-25 テレビカメラの制御方法及びテレビカメラ Expired - Fee Related JP3681152B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP04777499A JP3681152B2 (ja) 1999-02-25 1999-02-25 テレビカメラの制御方法及びテレビカメラ
KR10-2000-0008996A KR100377517B1 (ko) 1999-02-25 2000-02-24 물체의 촬영조건에 따른 감시용 텔레비젼카메라의제어방법, 장치 및 영상감시 기록장치
EP00103408A EP1035510A3 (en) 1999-02-25 2000-02-24 Control method and apparatus of monitoring television camera according to photographing conditions of object, and image monitoring and recording apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04777499A JP3681152B2 (ja) 1999-02-25 1999-02-25 テレビカメラの制御方法及びテレビカメラ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004222950A Division JP4205020B2 (ja) 2004-07-30 2004-07-30 テレビカメラの制御方法及び画像記録装置の制御方法

Publications (2)

Publication Number Publication Date
JP2000253386A JP2000253386A (ja) 2000-09-14
JP3681152B2 true JP3681152B2 (ja) 2005-08-10

Family

ID=12784740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04777499A Expired - Fee Related JP3681152B2 (ja) 1999-02-25 1999-02-25 テレビカメラの制御方法及びテレビカメラ

Country Status (3)

Country Link
EP (1) EP1035510A3 (ja)
JP (1) JP3681152B2 (ja)
KR (1) KR100377517B1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920718B2 (en) 2002-09-05 2011-04-05 Cognex Corporation Multi-zone passageway monitoring system and method
US8326084B1 (en) * 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
US8013909B2 (en) 2004-12-29 2011-09-06 Nokia Corporation Method and apparatus for adjusting exposure in digital imaging
US7801427B2 (en) * 2005-09-12 2010-09-21 Nokia Corporation Adjustment of shooting parameters in dependence of motion in a scene
KR101330634B1 (ko) * 2005-12-05 2013-11-18 삼성전자주식회사 디지털 비디오 카메라를 갖는 텔레비젼에 대한 홈 보안애플리케이션, 및 개인 설정, 패런털 제어 및 에너지 절약제어
US20070248330A1 (en) * 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
JP4360399B2 (ja) 2006-11-30 2009-11-11 ソニー株式会社 撮像装置
CA2706695C (en) 2006-12-04 2019-04-30 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
WO2008075136A1 (en) 2006-12-20 2008-06-26 Nokia Corporation Exposure control based on image sensor cost function
JP4854605B2 (ja) * 2007-06-21 2012-01-18 三菱電機株式会社 監視カメラシステム
WO2009073790A2 (en) * 2007-12-04 2009-06-11 Lynx System Developers, Inc. System and methods for capturing images of an event
KR101635103B1 (ko) * 2009-10-26 2016-06-30 삼성전자주식회사 다이나믹한 이미지 효과 구현 장치 및 방법
CN102404495B (zh) * 2010-09-10 2014-03-12 华晶科技股份有限公司 数字相机的拍摄参数的调整方法
JP5848507B2 (ja) * 2011-03-08 2016-01-27 キヤノン株式会社 追尾機能付き撮影装置及び方法
KR101366113B1 (ko) * 2012-05-31 2014-02-26 김길겸 피사체 속도에 기반한 영상 촬영 장치 및 방법
CN105554399A (zh) * 2016-02-24 2016-05-04 北京小米移动软件有限公司 拍摄方法、拍摄装置及终端设备
GB2562722B (en) 2017-05-18 2019-07-31 George Gould Daniel Vehicle imaging apparatus
CN109089084B (zh) * 2018-09-20 2020-06-02 北京计算机技术及应用研究所 视频线传输数据在线提取与隐形存储控制装置及其工作方法
KR102581411B1 (ko) * 2021-06-18 2023-10-11 주식회사 김집사 주민공동시설 관리를 위한 사용자 인식 장치 및 이를 이용한 주민공동시설 관리 방법
KR102685004B1 (ko) * 2021-06-18 2024-07-17 주식회사 김집사 주민공동시설 관리를 위한 사용자 통합 결제 시스템 및 이를 이용한 주민공동시설 관리 방법
CN115412671B (zh) * 2022-08-29 2023-04-07 特斯联科技集团有限公司 一种监视移动物体的摄像机快门人工智能调整方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940003934B1 (ko) * 1991-02-01 1994-05-09 삼성전자 주식회사 비데오 카메라의 자동셔터스피드 제어회로
JP3684580B2 (ja) * 1992-08-31 2005-08-17 ソニー株式会社 固体撮像装置
JP3642793B2 (ja) * 1992-11-25 2005-04-27 ソニー株式会社 固体撮像装置及び撮像装置の制御方法
JPH08307758A (ja) * 1995-05-01 1996-11-22 Sankyo Seiki Mfg Co Ltd 物体監視装置
JPH09247550A (ja) * 1996-03-14 1997-09-19 Hitachi Denshi Ltd テレビジョンカメラ
DE69738287T2 (de) * 1996-09-20 2008-06-12 Hitachi, Ltd. Verfahren zum Anzeigen eines sich bewegenden Objekts, dessen Bahn zu identifizieren ist, Anzeigesystem unter Verwendung dieses Verfahrens und Programmaufzeichnungsmedium dafür
JP4161392B2 (ja) * 1996-11-05 2008-10-08 ソニー株式会社 撮像素子の駆動制御方法、撮像装置、撮像制御装置及び撮像システム
JPH10173985A (ja) * 1996-12-16 1998-06-26 Sony Corp 高速移動体撮影装置
JP2001511961A (ja) * 1997-01-31 2001-08-14 シャープ株式会社 画面の動きに基づく動的シャッター速度調整システムおよび方法

Also Published As

Publication number Publication date
EP1035510A3 (en) 2005-09-14
KR100377517B1 (ko) 2003-03-26
EP1035510A2 (en) 2000-09-13
KR20000058169A (ko) 2000-09-25
JP2000253386A (ja) 2000-09-14

Similar Documents

Publication Publication Date Title
JP3681152B2 (ja) テレビカメラの制御方法及びテレビカメラ
US8564614B2 (en) Display control apparatus, display control method and recording non-transitory medium
US8284256B2 (en) Imaging apparatus and computer readable recording medium
US8149288B2 (en) Image capture device that records image accordant with predetermined condition and storage medium that stores program
US20050128314A1 (en) Image-taking apparatus and image-taking system
US20090110058A1 (en) Smart image processing CCTV camera device and method for operating same
JP2007243699A (ja) 映像記録再生方法及び映像記録再生装置
KR20060051256A (ko) 촬영 시스템 및 촬영 방법
KR100696226B1 (ko) 차량 감시 방법과 특정 문자 패턴 인식 장치 및 차량 감시시스템
JP2002152721A (ja) 録画再生装置の映像表示方法および装置
JP4205020B2 (ja) テレビカメラの制御方法及び画像記録装置の制御方法
KR200396567Y1 (ko) 광역감시와 지역감시 자동전환 촬영 기능을 갖는감시카메라
JP2002034030A (ja) 監視カメラシステム
JP4260325B2 (ja) 監視カメラシステム
JP3257948B2 (ja) 画像抽出装置
CN100515036C (zh) 智能型图像处理闭路电视摄像机装置及其物体追踪方法
KR100982342B1 (ko) 지능형 방범 시스템 및 그 구동방법
JPH10336632A (ja) 監視装置
KR100761817B1 (ko) 움직이는 물체를 효율적으로 추적하는 감시용 카메라시스템 및 그 제어 방법
KR20030085810A (ko) 영상데이터의 변화값 추출을 이용한 영상데이터 저장방법
JP3481515B2 (ja) 監視装置
JPH1079881A (ja) 撮像装置
US11172159B2 (en) Monitoring camera system and reproduction method
KR20210065639A (ko) 모션과 감성 감지를 통한 cctv 시스템 및 그 운영 방법
KR200238157Y1 (ko) 폐쇄회로 텔레비전 시스템의 사건 발생내역 기록 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050516

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080527

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090527

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100527

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110527

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120527

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees