JP3634247B2 - 物体検知システム - Google Patents
物体検知システム Download PDFInfo
- Publication number
- JP3634247B2 JP3634247B2 JP2000239804A JP2000239804A JP3634247B2 JP 3634247 B2 JP3634247 B2 JP 3634247B2 JP 2000239804 A JP2000239804 A JP 2000239804A JP 2000239804 A JP2000239804 A JP 2000239804A JP 3634247 B2 JP3634247 B2 JP 3634247B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- object detection
- unit
- detection system
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、複数のカメラから得られた画像に処理を行って画像内に存在する物体を検知する物体検知システムに関するものである。
【０００２】
【従来の技術】
現在、鉄道の踏切、発電所、変電所の電力設備、各種プラント設備、ビルディングの出入り口等、さまざまな場所にカメラが設置され、離れた場所でもそのカメラからの画像を監視することにより、侵入者、障害物体の検知等、異常の状態を監視することが通常よく行われている。
【０００３】
また、特に、鉄道踏切にあっては、光線等をセンサーに用いた障害物自動検知装置が設置されることもあり、自動車程度の大きさの物体はほぼ確実に検知できている。
【０００４】
更に、最近になっては、ウェブカメラ等も販売されるようになり、サーバー、通信ネットワークを介して遠隔にある監視センター内のパーソナル・コンピュータのディスプレイにも監視対象の画像が供給されるようになり、現場画像の監視、画像データの保存、検索等の技術が格段に進歩してきている。
【０００５】
【発明が解決しようとする課題】
しかしながら、監視区域内に何らかの異常が発生した場合、例えば、鉄道踏切り内に人間、自動車等が事故で動けなくなっているような場合、カメラからの画像を監視しているオペレータの視認のみが頼りであり、オペレータがたまたま別作業中でこれを見逃すと、この異常は発見されず、２次的な事故を引き起こすというおそれがあった。
【０００６】
また、鉄道踏切等に設置される、光線等をセンサーとして用いた障害物自動検知装置では、人、自転車、車椅子等はその大きさが小さいため、障害物体としての検知が困難であった。
【０００７】
本発明は、このような問題を解決するものであり、画像の中で発生した異常、即ち、障害となる物体を自動的に検知することができるシステムを構築することを目的とする。
【０００８】
【課題を解決するため手段】
このような課題を達成する本発明は、次の通りである。
（１）複数のカメラによって監視領域内に存在する物体を検知する物体検知システムにおいて、向かい合うように正対させて設置した第１，第２のカメラと、前記第１のカメラが撮影した画像について遠近変換する遠近変換部と、前記第２のカメラが撮影した画像について前記遠近変換部で得られた画像と重なるように遠近変換及び回転変換を行う遠近・回転変換部と、二つの前記画像を重ね合わせて元の前記画像のほぼ２倍の大きさに変化している要素を物体として検知する重ね合わせ部とを有することを特徴とする物体検知システム。
（２）前記重ね合わせ部は、予め前記監視領域をマトリクス領域に分割し物体検知とともにその物体の前記マトリクス領域上の位置を検出することを特徴とする請求項１記載の物体検知システム。
（３）前記重ね合わせ部で得られた物体検知情報を通信ネットワークに送信する通信部を設けたことを特徴とする請求項１から請求項２記載の物体検知システム。
【０００９】
【発明の実施の形態】
以下、本発明の実施形態を図面により詳細に説明する。
図１は、本発明を実施した物体検知システムの例である。
本発明のシステムは、まず、鉄道踏切り、立ち入り禁止区域等の監視領域Ｓに対し、第１カメラ１、第２カメラ２の２台のウェブ・カメラ等によって撮影を行い、画像データを得る。
【００１０】
第１カメラ１には、その画像データをそのまま維持、格納する画像維持部１１、画像維持部１１内の画像を遠近変換そして回転変換する遠近・回転変換部１２、変換された画像の必要部分のみを取り出す画像切り出し部１３が接続する。
【００１１】
同様に、第２カメラ２には、その画像データを上下反転する画像反転部２１、反転した画像を遠近変換して回転変換する遠近・回転変換部２２、変換された画像の必要部分のみを取り出す画像切り出し部１３が接続する。
【００１２】
更に、画像切り出し部１３，２３からの画像を重ね合わせて障害となる物体を検知する画像重ね合わせ部３、画像重ね合わせ部３で検出した障害物体有りの情報を通信する通信部４を備える。
【００１３】
次に、このように構成された本発明システムの動作を図２によって説明する。
この例は、一冊の本Ｂの上に円筒状の物体Ｘを置き、この物体Ｘを障害物体として検知するものであり、第１，第２の２台のカメラ１，２が１８０度正対してこの本Ｂを撮影している状態を表わす。
【００１４】
はじめに、第１カメラ１で撮影された画像は画像１ａとして、一旦、そのまま画像維持部１１に画像１ｂのように維持され、遠近・回転変換部１２にて、画像１ｃのように遠近変換される。この場合、第１カメラ１は本Ｂの表紙の上辺に対し、ちょうど９０度の位置に設置したため、回転変換は不要である。
【００１５】
実際の現場にあっては、監視対象Ｓの上辺に対して９０度の位置にカメラを設置するのはきわめて困難であり、いくらかずれるのが通常である。このような場合には、一旦、得られた画像を遠近変換してから回転変換を行い、画像１ｃを得る。
【００１６】
続いて、画像１ｃにおける必要部分のみを画像切り出し部１３にて切り出し処理を行い、画像１ｄを得る。
【００１７】
一方、第２カメラ２は、本Ｂに対し、その下辺に対し、ちょうど９０度の位置に設置されて撮影している。
【００１８】
得られた画像２ａは、画像反転部２１にて上下を反転され、画像２ｂとされる。
そして、この画像２ｂは遠近・回転変換部２２によって遠近変換され、画像２ｃを得る。
【００１９】
このとき、上述したように、第２カメラ２は本Ｂの表紙の下辺に対し、ちょうど９０度の位置に設置したため、回転変換は不要である。第２カメラ２の設置がいくらかずれる場合には、得られた画像を遠近変換してから回転変換を行い、画像２ｃを得る。
【００２０】
続いて、画像２ｃにおける必要部分のみを画像切り出し部１３にて切り出し処理を行い、画像２ｄを得る。
【００２１】
次に、切り出された２つの画像１ｄ，２ｄを画像重ね合わせ部３にて重ね合わせる。
すると、重ね合わせ画像３ｚにおいて、円筒物体ｘはほぼ元の２倍の大きさに変化していることが判明する。
画像重ね合わせ部３は、この変化を検出することにより、監視対象Ｓに障害物体（円筒物体ｘ）が存在することを認識する。
【００２２】
通信部４は、この物体（障害物）の存在を異常信号として、専用回線、通信ネットワーク等により、遠隔にある監視センターへと通知する。
【００２３】
このようにして、複数のカメラからの画像データを使用し、撮影された画像内に侵入してきた障害物体等を検知することができる。
【００２４】
尚、上記で説明した図２の例は、２台のカメラをちょうど１８０度正対して設置するとともに、監視対象に対してもその上辺部及び下辺部に対して９０度正対するものであるが、実際の現場、例えば鉄道の踏切り等にあっては、あって図３、図４に示すようにカメラ１，２を同じ高さに１８０度正対できれば理想的であるが、実際このような設置はきわめて困難である。
【００２５】
従って、図２において得られた画像１ｂ、画像２ｂの両方について、遠近変換した後、後処理である切り出し処理をしたときに、２つの画像が重なるよういずれか一方の画像を他方の画像の傾き等に合わせるよう、回転変換処理を施す。その後重ね合わせ処理をして障害物体の検知をする。
【００２６】
障害物体の検知後は、例えば、通信ネットワークを介して遠隔に設置される監視センター等に送信する、または、その区域に警報ブザーを鳴らす、警報ランプを点灯する等、後処理は任意に構築することができる。
【００２７】
更に、画像重ね合わせ部３にあって監視領域Ｓをａ行，ｂ行，ｃ行，ｄ行，…、Ａ列，Ｂ列，Ｃ列，Ｄ列，…というように予めマトリクス状に分割して分割領域を設定しておくことにより、重ね合わせ部３にて障害となる物体がどの位置に存在するかを認識することもできる。
【００２８】
【発明の効果】
以上説明したことから明らかなように、本発明によれば、監視領域に障害となる物体が存在した場合であっても、複数台のカメラによりこの障害物体の存在を自動的に検知することができる。
【００２９】
更に、物体の検知を通信ネットワークで送信することにより、遠隔にある監視センターでも監視領域にある障害物体の存在を通信することができる。
【００３０】
また、監視領域をシステム側でマトリクス状に分割設定しておくことにより、障害となる物体の検知及びその位置情報とを自動的に検知でき、その存在を任意の場所に送信することができる。
【図面の簡単な説明】
【図１】本発明の物体検知システムの構成概念図である。
【図２】本発明の物体検知システムの動作を説明するための画像を表わす図である。
【図３】本発明の物体検知システムを適用した例を表わす図である。
【図４】本発明の物体検知システムを適用した例を表わす図である。
【符号の説明】
１ 第１カメラ
２ 第２カメラ
３ 画像重ね合わせ部
４ 通信部
１１ 画像維持部
１２，２２ 遠近・回転変換部
１３，２３ 画像切り出し部
２１ 画像反転部
【発明の属する技術分野】
本発明は、複数のカメラから得られた画像に処理を行って画像内に存在する物体を検知する物体検知システムに関するものである。
【０００２】
【従来の技術】
現在、鉄道の踏切、発電所、変電所の電力設備、各種プラント設備、ビルディングの出入り口等、さまざまな場所にカメラが設置され、離れた場所でもそのカメラからの画像を監視することにより、侵入者、障害物体の検知等、異常の状態を監視することが通常よく行われている。
【０００３】
また、特に、鉄道踏切にあっては、光線等をセンサーに用いた障害物自動検知装置が設置されることもあり、自動車程度の大きさの物体はほぼ確実に検知できている。
【０００４】
更に、最近になっては、ウェブカメラ等も販売されるようになり、サーバー、通信ネットワークを介して遠隔にある監視センター内のパーソナル・コンピュータのディスプレイにも監視対象の画像が供給されるようになり、現場画像の監視、画像データの保存、検索等の技術が格段に進歩してきている。
【０００５】
【発明が解決しようとする課題】
しかしながら、監視区域内に何らかの異常が発生した場合、例えば、鉄道踏切り内に人間、自動車等が事故で動けなくなっているような場合、カメラからの画像を監視しているオペレータの視認のみが頼りであり、オペレータがたまたま別作業中でこれを見逃すと、この異常は発見されず、２次的な事故を引き起こすというおそれがあった。
【０００６】
また、鉄道踏切等に設置される、光線等をセンサーとして用いた障害物自動検知装置では、人、自転車、車椅子等はその大きさが小さいため、障害物体としての検知が困難であった。
【０００７】
本発明は、このような問題を解決するものであり、画像の中で発生した異常、即ち、障害となる物体を自動的に検知することができるシステムを構築することを目的とする。
【０００８】
【課題を解決するため手段】
このような課題を達成する本発明は、次の通りである。
（１）複数のカメラによって監視領域内に存在する物体を検知する物体検知システムにおいて、向かい合うように正対させて設置した第１，第２のカメラと、前記第１のカメラが撮影した画像について遠近変換する遠近変換部と、前記第２のカメラが撮影した画像について前記遠近変換部で得られた画像と重なるように遠近変換及び回転変換を行う遠近・回転変換部と、二つの前記画像を重ね合わせて元の前記画像のほぼ２倍の大きさに変化している要素を物体として検知する重ね合わせ部とを有することを特徴とする物体検知システム。
（２）前記重ね合わせ部は、予め前記監視領域をマトリクス領域に分割し物体検知とともにその物体の前記マトリクス領域上の位置を検出することを特徴とする請求項１記載の物体検知システム。
（３）前記重ね合わせ部で得られた物体検知情報を通信ネットワークに送信する通信部を設けたことを特徴とする請求項１から請求項２記載の物体検知システム。
【０００９】
【発明の実施の形態】
以下、本発明の実施形態を図面により詳細に説明する。
図１は、本発明を実施した物体検知システムの例である。
本発明のシステムは、まず、鉄道踏切り、立ち入り禁止区域等の監視領域Ｓに対し、第１カメラ１、第２カメラ２の２台のウェブ・カメラ等によって撮影を行い、画像データを得る。
【００１０】
第１カメラ１には、その画像データをそのまま維持、格納する画像維持部１１、画像維持部１１内の画像を遠近変換そして回転変換する遠近・回転変換部１２、変換された画像の必要部分のみを取り出す画像切り出し部１３が接続する。
【００１１】
同様に、第２カメラ２には、その画像データを上下反転する画像反転部２１、反転した画像を遠近変換して回転変換する遠近・回転変換部２２、変換された画像の必要部分のみを取り出す画像切り出し部１３が接続する。
【００１２】
更に、画像切り出し部１３，２３からの画像を重ね合わせて障害となる物体を検知する画像重ね合わせ部３、画像重ね合わせ部３で検出した障害物体有りの情報を通信する通信部４を備える。
【００１３】
次に、このように構成された本発明システムの動作を図２によって説明する。
この例は、一冊の本Ｂの上に円筒状の物体Ｘを置き、この物体Ｘを障害物体として検知するものであり、第１，第２の２台のカメラ１，２が１８０度正対してこの本Ｂを撮影している状態を表わす。
【００１４】
はじめに、第１カメラ１で撮影された画像は画像１ａとして、一旦、そのまま画像維持部１１に画像１ｂのように維持され、遠近・回転変換部１２にて、画像１ｃのように遠近変換される。この場合、第１カメラ１は本Ｂの表紙の上辺に対し、ちょうど９０度の位置に設置したため、回転変換は不要である。
【００１５】
実際の現場にあっては、監視対象Ｓの上辺に対して９０度の位置にカメラを設置するのはきわめて困難であり、いくらかずれるのが通常である。このような場合には、一旦、得られた画像を遠近変換してから回転変換を行い、画像１ｃを得る。
【００１６】
続いて、画像１ｃにおける必要部分のみを画像切り出し部１３にて切り出し処理を行い、画像１ｄを得る。
【００１７】
一方、第２カメラ２は、本Ｂに対し、その下辺に対し、ちょうど９０度の位置に設置されて撮影している。
【００１８】
得られた画像２ａは、画像反転部２１にて上下を反転され、画像２ｂとされる。
そして、この画像２ｂは遠近・回転変換部２２によって遠近変換され、画像２ｃを得る。
【００１９】
このとき、上述したように、第２カメラ２は本Ｂの表紙の下辺に対し、ちょうど９０度の位置に設置したため、回転変換は不要である。第２カメラ２の設置がいくらかずれる場合には、得られた画像を遠近変換してから回転変換を行い、画像２ｃを得る。
【００２０】
続いて、画像２ｃにおける必要部分のみを画像切り出し部１３にて切り出し処理を行い、画像２ｄを得る。
【００２１】
次に、切り出された２つの画像１ｄ，２ｄを画像重ね合わせ部３にて重ね合わせる。
すると、重ね合わせ画像３ｚにおいて、円筒物体ｘはほぼ元の２倍の大きさに変化していることが判明する。
画像重ね合わせ部３は、この変化を検出することにより、監視対象Ｓに障害物体（円筒物体ｘ）が存在することを認識する。
【００２２】
通信部４は、この物体（障害物）の存在を異常信号として、専用回線、通信ネットワーク等により、遠隔にある監視センターへと通知する。
【００２３】
このようにして、複数のカメラからの画像データを使用し、撮影された画像内に侵入してきた障害物体等を検知することができる。
【００２４】
尚、上記で説明した図２の例は、２台のカメラをちょうど１８０度正対して設置するとともに、監視対象に対してもその上辺部及び下辺部に対して９０度正対するものであるが、実際の現場、例えば鉄道の踏切り等にあっては、あって図３、図４に示すようにカメラ１，２を同じ高さに１８０度正対できれば理想的であるが、実際このような設置はきわめて困難である。
【００２５】
従って、図２において得られた画像１ｂ、画像２ｂの両方について、遠近変換した後、後処理である切り出し処理をしたときに、２つの画像が重なるよういずれか一方の画像を他方の画像の傾き等に合わせるよう、回転変換処理を施す。その後重ね合わせ処理をして障害物体の検知をする。
【００２６】
障害物体の検知後は、例えば、通信ネットワークを介して遠隔に設置される監視センター等に送信する、または、その区域に警報ブザーを鳴らす、警報ランプを点灯する等、後処理は任意に構築することができる。
【００２７】
更に、画像重ね合わせ部３にあって監視領域Ｓをａ行，ｂ行，ｃ行，ｄ行，…、Ａ列，Ｂ列，Ｃ列，Ｄ列，…というように予めマトリクス状に分割して分割領域を設定しておくことにより、重ね合わせ部３にて障害となる物体がどの位置に存在するかを認識することもできる。
【００２８】
【発明の効果】
以上説明したことから明らかなように、本発明によれば、監視領域に障害となる物体が存在した場合であっても、複数台のカメラによりこの障害物体の存在を自動的に検知することができる。
【００２９】
更に、物体の検知を通信ネットワークで送信することにより、遠隔にある監視センターでも監視領域にある障害物体の存在を通信することができる。
【００３０】
また、監視領域をシステム側でマトリクス状に分割設定しておくことにより、障害となる物体の検知及びその位置情報とを自動的に検知でき、その存在を任意の場所に送信することができる。
【図面の簡単な説明】
【図１】本発明の物体検知システムの構成概念図である。
【図２】本発明の物体検知システムの動作を説明するための画像を表わす図である。
【図３】本発明の物体検知システムを適用した例を表わす図である。
【図４】本発明の物体検知システムを適用した例を表わす図である。
【符号の説明】
１ 第１カメラ
２ 第２カメラ
３ 画像重ね合わせ部
４ 通信部
１１ 画像維持部
１２，２２ 遠近・回転変換部
１３，２３ 画像切り出し部
２１ 画像反転部
Claims (3)
- 複数のカメラによって監視領域内に存在する物体を検知する物体検知システムにおいて、向かい合うように正対させて設置した第１，第２のカメラと、前記第１のカメラが撮影した画像について遠近変換する遠近変換部と、前記第２のカメラが撮影した画像について前記遠近変換部で得られた画像と重なるように遠近変換及び回転変換を行う遠近・回転変換部と、二つの前記画像を重ね合わせて元の前記画像のほぼ２倍の大きさに変化している要素を物体として検知する重ね合わせ部とを有することを特徴とする物体検知システム。
- 前記重ね合わせ部は、予め前記監視領域をマトリクス領域に分割し物体検知とともにその物体の前記マトリクス領域上の位置を検出することを特徴とする請求項１記載の物体検知システム。
- 前記重ね合わせ部で得られた物体検知情報を通信ネットワークに送信する通信部を設けたことを特徴とする請求項１から請求項２記載の物体検知システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000239804A JP3634247B2 (ja) | 2000-08-08 | 2000-08-08 | 物体検知システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000239804A JP3634247B2 (ja) | 2000-08-08 | 2000-08-08 | 物体検知システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002058014A JP2002058014A (ja) | 2002-02-22 |
| JP3634247B2 true JP3634247B2 (ja) | 2005-03-30 |
Family
ID=18731281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000239804A Expired - Fee Related JP3634247B2 (ja) | 2000-08-08 | 2000-08-08 | 物体検知システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3634247B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5478366B2 (ja) * | 2010-05-31 | 2014-04-23 | 三菱電機株式会社 | 映像監視装置 |
| CN105611232B (zh) * | 2015-12-17 | 2019-07-12 | 北京旷视科技有限公司 | 单相机多路监控方法及系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5359363A (en) * | 1991-05-13 | 1994-10-25 | Telerobotics International, Inc. | Omniview motionless camera surveillance system |
| JPH0516811A (ja) * | 1991-07-08 | 1993-01-26 | Toshiba Corp | 物体検出システム |
| JPH09182061A (ja) * | 1995-12-22 | 1997-07-11 | Furukawa Electric Co Ltd:The | 画像による安全監視方法 |
| JPH09305882A (ja) * | 1996-05-21 | 1997-11-28 | Hochiki Corp | 監視装置 |
| JPH11120458A (ja) * | 1997-10-14 | 1999-04-30 | Hitachi Eng & Service Co Ltd | 火災検知装置 |
| JP3664892B2 (ja) * | 1998-09-30 | 2005-06-29 | 松下電器産業株式会社 | ステレオ画像処理方法および装置と侵入物体監視システム |
| JP2000152216A (ja) * | 1998-11-11 | 2000-05-30 | Wataru Kobayashi | 映像出力システム |
| JP2000261794A (ja) * | 1999-03-10 | 2000-09-22 | Toshiba Corp | 動画像表示システム及びこの表示方法 |
| JP2001145090A (ja) * | 1999-11-16 | 2001-05-25 | Mitsubishi Electric Corp | 監視装置 |
-
2000
- 2000-08-08 JP JP2000239804A patent/JP3634247B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002058014A (ja) | 2002-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1341383B1 (en) | Composite camera system, zoom camera image display control method, zoom camera control method, control program, and computer readable recording medium | |
| US7479979B2 (en) | Omnidirectional monitoring control system, omnidirectional monitoring control method, omnidirectional monitoring control program, and computer readable recording medium | |
| US20090122143A1 (en) | Security system and network | |
| KR101016530B1 (ko) | 가로등을 기반으로 하는 감시카메라 관리 시스템 | |
| KR100558318B1 (ko) | 물체 감시를 위한 듀얼형 모니터링 장치 | |
| KR101900557B1 (ko) | 통합 관제 시스템 및 방법 | |
| JP2009255654A (ja) | 列車運行監視システム | |
| KR100929921B1 (ko) | 유비퀴터스 일체형 보안영상장치 및 시스템 | |
| JP3634247B2 (ja) | 物体検知システム | |
| KR102012657B1 (ko) | 환경 감시 시스템, 서버 및 방법 | |
| KR100775867B1 (ko) | 이동 물체 자동 추적 시스템 | |
| JP4692437B2 (ja) | 監視カメラ装置 | |
| KR101459087B1 (ko) | 교통신호 보조장치 및 보조시스템 | |
| KR102196356B1 (ko) | 터널 영상 감시 시스템 및 그 방법 | |
| KR100978373B1 (ko) | 무인 에이브이 기록 장치를 이용한 시설물 관리시스템 | |
| KR101168129B1 (ko) | 반사체를 이용한 보안구역의 경보시스템 | |
| KR100970503B1 (ko) | 무인 에이브이 기록 장치를 이용한 시설물 관리방법 | |
| KR101239873B1 (ko) | 입체 교통 감시 및 방범 동영상 시스템 | |
| JP2014040221A (ja) | 映像監視システム | |
| KR101023854B1 (ko) | 스쿨존의 경보시스템 | |
| JP2009278300A (ja) | 映像監視システムの監視エリア設定装置 | |
| JP3232897B2 (ja) | 河川巡回監視装置 | |
| JP5077066B2 (ja) | 映像監視装置 | |
| KR100964250B1 (ko) | 방범용 양방향 감시 시스템 | |
| TWI420432B (zh) | Robot access control system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041222 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100107 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100107 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |