JP4371795B2 - 撮像装置及び撮像システム - Google Patents
撮像装置及び撮像システム Download PDFInfo
- Publication number
- JP4371795B2 JP4371795B2 JP2003410943A JP2003410943A JP4371795B2 JP 4371795 B2 JP4371795 B2 JP 4371795B2 JP 2003410943 A JP2003410943 A JP 2003410943A JP 2003410943 A JP2003410943 A JP 2003410943A JP 4371795 B2 JP4371795 B2 JP 4371795B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- unit
- signal
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は撮像装置に関し、特に物体の状態を監視する監視用の撮像装置及び撮像装置を備えた撮像システムに関する。
従来、監視用のカメラシステムは特許文献１に記載されているように、異常検出時には、撮影画像に基づき生成された通信データの圧縮比を変更する等の例があるが、解像度としては通常のビデオレベルまでしか上がらず解像度が高い画像データを得ることはできない。
また、雲台等を駆動して監視カメラを監視対象物に移動させ拡大して撮影する等の方法を提案されているが、最適な領域を撮像するには検出・判断時間が必要になるためにタイムラグが生じてしまっていた。
特開２００１−３３４１６号公報
しかしながら、撮像素子がビデオレベルの低解像度であるため、監視対象である被写体を正確に判断できない。また、注目被写体を判別し雲台やズームレンズ等で注目被写体をズームアップして撮像するには時間遅延が発生し注目被写体をすばやく撮像することが出来ないという問題が発生していた．
そこで、本発明は、問題が発生したときに瞬時に詳細な画像を撮像でき、しかも全体の画像を撮像可能な撮像装置及び撮像システムを提供することを目的とする。
そこで、本発明は、問題が発生したときに瞬時に詳細な画像を撮像でき、しかも全体の画像を撮像可能な撮像装置及び撮像システムを提供することを目的とする。
本願発明の一側面としての監視カメラは、複数の画素を有する撮像素子と、前記撮像素子の駆動を制御する制御手段と、前記撮像素子を用いて生成された映像信号に基づいて撮像エリア内での物体の動きを検出する検出手段と、前記撮像素子により得られた画像情報をネットワークに送信する送信手段と、を有し、前記制御手段は、前記検出手段により前記物体の動きが検出されないときは、第１の撮像エリア内において第１の解像度で撮像を行い、前記物体の動きが検出されたときは、前記第１の撮像エリアよりも狭い第２の撮像エリア内において前記第１の解像度よりも多い第２の解像度で撮像を行うよう前記撮像素子の駆動を制御しており、前記送信手段は、前記第２の解像度で撮像された前記第２の撮像エリアの画像情報及びその位置情報を前記ネットワークに送信することを特徴とする。
上述の監視カメラと、該監視カメラから送信された画像情報をネットワークを介して受信する受信装置とを設け監視カメラシステムを形成することもできる。
上述の本願発明の第１の構成によれば、撮像エリア内で動く物体を通常時（物体の動きが検出されない時）の第１の画素数よりも画素数が多い第２の画素数で撮像することができるため、解像度が高い鮮明な画像を得ることが出来る。
また、第２の画素数で撮像する第２の撮像エリアを、第１の画素数で撮像する第１の撮像エリアよりも狭くした場合には、監視対象である物体を拡大して撮像することができる。
さらに、撮像装置をネットワークを介して受信装置に接続した場合、例えば、受信装置に撮像装置で撮像された画像を表示させる表示装置を設けることにより、監視対象である物体の動きが視覚によって把握できるため、異常の発生を早期に発見して対処できるようになる。
本発明の実施例について図面を参照しながら説明する。
まず、本発明の実施例である撮像システムについて、図１、図２を用いて説明する。ここで、図１は、本実施例の撮像システムのブロック図であり、図２は監視カメラの機能ブロック図である。
これらの図において、１０は監視カメラであり、後述するカメラコントローラ１０４からの出力信号に基づき撮像動作を行う。１１は監視カメラ１０から出力された撮像信号を処理する画像処理装置であるが詳細については後述する。
１３は後述する監視端末装置２から送信された制御信号を復調する制御信号デコーダ部であり、１４は後述する監視端末装置との通信を行なうＩ／Ｆであるカメラ側送受信装置である。
これらの監視カメラ１０、画像処理装置１１、制御信号デコーダ部１３及びカメラ側送受信装置１４により監視カメラ装置１は構成される。
２０はカメラ側送受信装置１４と通信を行なうホスト側送受信装置であり、２１は監視カメラ装置１から送られてきた圧縮された画像信号を伸長する画像伸長部であり、２２は監視カメラ装置１を制御する制御信号をホスト側送受信部２０に送る制御信号エンコーダ部である。
２３は監視端末装置２全体をコントロールするコントローラであり、２４は画像伸長部２１で伸長された画像信号を表示可能な信号に変換する画像処理部であり、２５は画像処理部２４から出力された映像信号を記録する記録装置である。
２６はコントローラ２３を外部から操作するためのオペレーションパネルであり、２７は画像処理部２４で変換された画像信号を撮影画像として表示するモニタであり、３０は監視カメラ装置１と監視端末装置２を結ぶネットワーク回線である。
ホスト側送受信装置２０、画像伸長部２１、制御信号エンコーダ部２２、コントローラ２３、画像処理部２４、記録装置２５、オペレーションパネル２６及びモニタ２７により監視端末装置２は構成されている。
次に、監視カメラ１０の構成について詳細に説明する。
１０１は、後述するレンズユニットで集光された光信号を電気信号に変換する撮像素子である。本実施例では、撮像素子としてＣＣＤを使用しているが、例えばＣＭＯＳイメージセンサを使用してもよい。
１０２はＣＣＤ１０１で光電変換された撮像信号を画像信号に変換するＣＣＤ信号処理部、１０３は、ＣＣＤ１０１を駆動するタイミングジェネレータ／垂直ドライバーとしてのＴＧ／ＶＤである。１０４は監視カメラ１０全体の制御を司るカメラコントローラであり（制御手段）、１０５は被写体からの反射光をＣＣＤ１０１の撮像面に集光させるレンズユニットである。
画像処理装置１１の構成について説明する。
１１１は、画像エリアを選択して出力するセレクタ部であり、１１２はセレクタ部１１１から出力された画像信号を圧縮する画像圧縮部である。
１１３は、画像圧縮部１１２にて圧縮された画像信号を通信に適した信号に変換する画像コーディング部であり、１１４は信号処理部１０２からの画像信号をメモリ１１５に記憶させるとともにこのメモリ１１５に記憶された画像信号と新たに入力された画像信号との差分を検出して被写体の動きを検出する動き検出部である。
１１５は動き検出部１１４から送信された画像信号を記憶するメモリであり、１１６は動き検出部１１４からの信号を元に画像圧縮する画像信号のエリアを特定するエリア特定部である。
本実施例では、監視カメラ１０と画像処理装置１１が別になっているが、監視カメラ１０をＣＣＤ１０１、カメラコントローラ１０４及び画像処理装置１１により構成してもよい。
次に、図１を参照して撮像システムの動作について説明する。本実施例の撮像システムは、通常時監視モード（モード１）と異常時監視モード（モード２）との間で切り替え可能に構成されており、各モードに応じてＣＣＤ１０１から読み出す画素数を変化させている。
まず、通常時における撮像システムの動作について説明する。
ＣＣＤ１０１で光電変換された信号は信号処理部１０２で映像信号に変換される。ここで、モード１では、ＣＣＤ１０１が高速ドラフトモードで駆動され、この高速ドラフトモードでは、ＴＧ／ＶＤ１０３のＴＧによりＣＣＤ１０１の撮像画素のうち垂直方向に所定間隔をおいて撮像画素を選択して、この選択された撮像画素から出力された色信号（Ｒ，Ｇ／Ｂ，Ｇ）に基づき映像信号が生成される。
信号処理部１０２で生成された映像信号は、セレクタ部１１１により水平方向の画素について間引き選択されるとともにエリアについては選択されることなく、画像圧縮部１１２に送られる。すなわち、ＣＣＤ１０１の撮像画素のうち、垂直方向についてはＣＣＤ読み出し時に間引きされ、水平方向については画像処理装置１１に映像信号が送信された後セレクト部１１１により間引きされる。
画像圧縮部１１２では、エリア特定がされていない通常時の監視画像のデータが、圧縮画像の先頭に添付されて画像圧縮された後、画像コーディング部１１３にて圧縮データを予め定められたデータ量にブロック分割し、カメラ側送受信装置１４に出力する。
ブロック分割された圧縮データは、カメラ側送受信部１４からネットワーク回線３０を介してホスト側送受信装置２０に送信され、ひとつの圧縮画像データとして再統合される。再統合された圧縮画像データは、画像伸長部２１に送られ伸長されて表示可能な映像信号に復調される。
復調された映像信号はモニタ２７に送信されて表示されるとともに、記録装置２５に記録される。
次に、異常時における撮像システムの動作について説明する。
次に、異常時における撮像システムの動作について説明する。
動き検出部１１４がメモリ１１５に記録された画像データと新たに入力された画像データとの差分に基づき、被写体の動きを検出すると、動き検出部１１４からカメラコントローラ１０４に検出信号が出力される。
カメラコントローラ１０４は、動き検出部１１４から出力された検出信号に基づき、ＴＧ／ＶＤ１０３の駆動モードをモード１からモード２に切り替える。モード２に切り替えることにより、撮影モードがいわゆる全画素読み出しモードとなり、ＣＣＤ１０１からの撮像信号がすべて読み出されて信号処理回路１０２に出力される。
モード２において読み出される画素の色配列は、モード１の読み出し配列と同様であり、信号処理部１０２での処理についてもモード１の場合と同様に行なわれる。
信号処理部１０２から出力された映像信号は、セレクタ部１１１に入力される。セレクタ部１１１では、エリア特定部１１６からの信号に基づき信号をエリア選択して画像圧縮回路に出力する。
ここで、特定するエリアの決定方法について説明する。動き検出部１１４によって撮像エリア内で検出された動きの場所をＴＧからの同期信号に基づき特定して、その垂直ライン番号、水平画素番号をカメラコントローラ１０４に出力する。カメラコントローラ１０４は、動き検出部１１４から送られてきた位置情報に基づきセレクタ部１１１で選択するエリアの左上端の画素の垂直ライン番号と水平画素番号をエリア特定部１１６に出力する。エリア特定部１１６は、カメラコントローラ１０４からの位置情報とＴＧからの垂直同期信号、水平同期信号及びクロック信号に基づき、セレクタ部１１１で画像圧縮部１１２に出力する画像信号の選択を行なう。
画像圧縮部１１２では、画像データの先頭部分に画像の開始端のデータ（上記のエリアの左上端の画素の垂直ライン番号と水平画素番号）を添付して圧縮データを生成する。その後の処理については、モード１と同様である。
監視端末装置２では、画像伸長部２１にて圧縮された画像データの伸長が行なわれ、圧縮画像データの先頭部分に添付された開始端のデータは、画像処理部２４で映像信号に変換された後、モニタ２７に拡大表示される。
また、撮像エリア内の複数の位置で動きが検出された場合、その検出対象に応じて各画像の開始端のデータを生成し、これを圧縮データに添付する。
また、第２のモードにおける高精細画像を通常のモニタではなく、高精細モニタへ合成して出力するようにしてもよい。
１０ 監視カメラ
１１ 画像処理装置
１３ 制御信号デコーダ装置
１４ カメラ側送受信装置
２０ ホスト側送受信装置
２１ 画像伸長部
２２ 制御信号エンコーダ部
２３ コントローラ
２４ 画像処理部
２５ 記録装置
２６ オペレーションパネル
２７ モニタ
３０ ネットワーク回線
１０１ ＣＣＤ
１０２ ＣＣＤ信号処置部
１０３ ＴＧ／ＶＤ部
１０４ カメラコントローラ
１２１ セレクタ部
１２２ 画像圧縮部
１２３ 画像コーディング部
１２４ 動き検出部
１２５ メモリ
１２６ エリア特定部
１１ 画像処理装置
１３ 制御信号デコーダ装置
１４ カメラ側送受信装置
２０ ホスト側送受信装置
２１ 画像伸長部
２２ 制御信号エンコーダ部
２３ コントローラ
２４ 画像処理部
２５ 記録装置
２６ オペレーションパネル
２７ モニタ
３０ ネットワーク回線
１０１ ＣＣＤ
１０２ ＣＣＤ信号処置部
１０３ ＴＧ／ＶＤ部
１０４ カメラコントローラ
１２１ セレクタ部
１２２ 画像圧縮部
１２３ 画像コーディング部
１２４ 動き検出部
１２５ メモリ
１２６ エリア特定部
Claims (2)
- 複数の画素を有する撮像素子と、
前記撮像素子の駆動を制御する制御手段と、
前記撮像素子を用いて生成された映像信号に基づいて撮像エリア内での物体の動きを検出する検出手段と、
前記撮像素子により得られた画像情報をネットワークに送信する送信手段と、を有し、
前記制御手段は、前記検出手段により前記物体の動きが検出されないときは、第１の撮像エリア内において第１の解像度で撮像を行い、前記物体の動きが検出されたときは、前記第１の撮像エリアよりも狭い第２の撮像エリア内において前記第１の解像度よりも多い第２の解像度で撮像を行うよう前記撮像素子の駆動を制御しており、
前記送信手段は、前記第２の解像度で撮像された前記第２の撮像エリアの画像情報及びその位置情報を前記ネットワークに送信することを特徴とする監視カメラ。 - 請求項１に記載の監視カメラと、
前記監視カメラから送信された画像情報を、前記ネットワークを介して受信する受信装置とを有することを特徴とする監視カメラシステム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003410943A JP4371795B2 (ja) | 2003-12-09 | 2003-12-09 | 撮像装置及び撮像システム |
| US11/002,904 US20050122407A1 (en) | 2003-12-09 | 2004-12-03 | Image-taking apparatus, image-taking system and control method of image-taking apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003410943A JP4371795B2 (ja) | 2003-12-09 | 2003-12-09 | 撮像装置及び撮像システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005175719A JP2005175719A (ja) | 2005-06-30 |
| JP4371795B2 true JP4371795B2 (ja) | 2009-11-25 |
Family
ID=34631848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003410943A Expired - Fee Related JP4371795B2 (ja) | 2003-12-09 | 2003-12-09 | 撮像装置及び撮像システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20050122407A1 (ja) |
| JP (1) | JP4371795B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7855743B2 (en) | 2006-09-08 | 2010-12-21 | Sony Corporation | Image capturing and displaying apparatus and image capturing and displaying method |
| JP6254114B2 (ja) * | 2015-03-31 | 2017-12-27 | 大井電気株式会社 | 画像処理装置 |
| EP3477938B1 (en) * | 2016-06-28 | 2023-09-13 | Sony Group Corporation | Imaging device, imaging method, and program |
| US10834349B2 (en) | 2017-07-06 | 2020-11-10 | Canon Kabushiki Kaisha | Solid-state image sensor, image capturing apparatus and image capturing method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5729279A (en) * | 1995-01-26 | 1998-03-17 | Spectravision, Inc. | Video distribution system |
| JP4229481B2 (ja) * | 1996-07-31 | 2009-02-25 | オリンパス株式会社 | 撮像表示システム |
| US6310644B1 (en) * | 1997-03-26 | 2001-10-30 | 3Dm Devices Inc. | Camera theodolite system |
| US6711297B1 (en) * | 1998-07-03 | 2004-03-23 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | Methods and apparatus for dynamic transfer of image data |
| US20040233282A1 (en) * | 2003-05-22 | 2004-11-25 | Stavely Donald J. | Systems, apparatus, and methods for surveillance of an area |
-
2003
- 2003-12-09 JP JP2003410943A patent/JP4371795B2/ja not_active Expired - Fee Related
-
2004
- 2004-12-03 US US11/002,904 patent/US20050122407A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20050122407A1 (en) | 2005-06-09 |
| JP2005175719A (ja) | 2005-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4424088B2 (ja) | 撮像装置 | |
| EP1791344A2 (en) | Solid-state image-pickup device, method of driving solid-state image-pickup device and image pickup-apparatus | |
| US20020191866A1 (en) | Image signal processing system | |
| TW201208360A (en) | Display control apparatus, display control method and storage medium | |
| US9088711B2 (en) | Digital photographing apparatus and method of controlling the same | |
| JP2001358984A (ja) | 動画像処理カメラ | |
| TWI492618B (zh) | 攝影裝置及電腦可讀取記錄媒體 | |
| JP2008042695A (ja) | 監視カメラ装置、監視カメラシステム、監視カメラ画像記録方法 | |
| JP2006203395A (ja) | 動体認識カメラおよび動体監視システム | |
| KR20140014288A (ko) | 촬상 장치 | |
| JP2007124295A (ja) | 撮像手段駆動装置、撮像手段駆動方法、および信号処理装置 | |
| JP4443361B2 (ja) | 撮像装置およびカメラ | |
| JP4371795B2 (ja) | 撮像装置及び撮像システム | |
| JP2007235387A (ja) | 撮像装置、及びそれを用いたカメラ | |
| US7236194B2 (en) | Image signal processing apparatus | |
| JP2009100259A (ja) | 監視カメラおよび画像監視システム | |
| JP2002209838A (ja) | 内視鏡撮像装置 | |
| KR20200128541A (ko) | 다안 카메라 시스템, 다안촬영용 카메라 헤드, 화상처리장치, 다안촬영용 프로그램 및 다안촬영방법 | |
| JP4499514B2 (ja) | 物体監視装置及び監視システム | |
| US20050030581A1 (en) | Imaging apparatus, imaging method, imaging system, program | |
| JP5948062B2 (ja) | 撮像装置および顕微鏡システム | |
| KR101076372B1 (ko) | 카메라 모듈을 이용한 감시 장치 및 방법 | |
| JP4206738B2 (ja) | 撮像装置及び方法 | |
| JP4329336B2 (ja) | 撮像装置、及び、撮像方法 | |
| KR101643772B1 (ko) | 카메라에 저장된 이미지를 이용한 이미지 촬영 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061205 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20081023 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20081201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090901 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4371795 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |