JP4416341B2 - ディジタル監視システムおよび監視カメラ - Google Patents

ディジタル監視システムおよび監視カメラ Download PDF

Info

Publication number
JP4416341B2
JP4416341B2 JP2001053463A JP2001053463A JP4416341B2 JP 4416341 B2 JP4416341 B2 JP 4416341B2 JP 2001053463 A JP2001053463 A JP 2001053463A JP 2001053463 A JP2001053463 A JP 2001053463A JP 4416341 B2 JP4416341 B2 JP 4416341B2
Authority
JP
Japan
Prior art keywords
camera
intruder
detection
data
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001053463A
Other languages
English (en)
Other versions
JP2002262273A (ja
Inventor
宏安 大坪
学 佐々本
直樹 山本
昭信 渡邊
弘典 小味
憲彦 中野
智之 野中
龍志 西村
良市 大場
知行 倉重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2001053463A priority Critical patent/JP4416341B2/ja
Publication of JP2002262273A publication Critical patent/JP2002262273A/ja
Application granted granted Critical
Publication of JP4416341B2 publication Critical patent/JP4416341B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Description

【0001】
【発明の属する技術分野】
ハードディスクレコーダ等のディジタル記録装置を使用したディジタル監視システムに関する。特に、複数の監視カメラをネットワークに接続して構成されるデジタル監視システム及び本システムに好適な監視カメラに関する。
【0002】
【従来の技術】
近年、JPEGやMPEG等の圧縮、ハードディスクの大容量及びインターフェイスの高速化、LANの高速化により、カメラからディジタルの映像/音声データをディジタルのLANを介してハードディスク等を使用したディジタル記録装置に転送するディジタル監視システムが実現可能になった。例えば、特開平7−212748号公報及び特開2000−83241号公報、特開2000−13744号公報にディジタル監視システムが記載されている。
【0003】
【発明が解決しようとする課題】
上述のディジタル記録装置において、ディジタル映像/音声データの記録に使用するハードディスク等のメディアは、大容量化が年々行われているが、MPEG等の圧縮技術を使用しても、依然として記録時間が短いという問題がある。
【0004】
例えば、1フレームの画像サイズが水平720画素、垂直480画素であり、1秒あたり30フレームの動画像をMPEGで圧縮した場合、圧縮率にも依存するが、監視画面として人物等が確認可能な画質を求めると、データレートは4Mbps(0.5MB/s)程度になる。記録メディアとして40GB程度のハードディスクを使用した場合、記録時間は、40GB÷0.5MB=80000(Second)=22(hour)である。これは、動画像1chのみの場合である。監視システムでは複数のカメラの映像を記録する必要があり、さらに記録時間が短くなる。
【0005】
一方、記録時間を延ばすために圧縮率を上げようとすると、画質が劣化してしまい、侵入者を識別するという監視システム本来の目的を達成できなくなる。更に、複数の監視カメラをネットワークに接続して用いる場合には、これら複数の監視カメラから出力されたデータがネットワークのデータ伝送能力を越えるとカメラからのデータを全く伝送できなくなるという問題がある。
【0006】
前記特開平7−212748号公報には、複数台の監視カメラからの出力信号のうち、異常検知手段の検知出力に応じた監視用カメラの出力信号を信号記録再生手段に送ることにより、監視作業の効率化を図った監視カメラシステムが記載されている。しかし、この方法では、異常検知手段により異常が検知されていないカメラからの出力信号は記録されず、異常検知手段の誤動作が生じた場合には後で映像を確かめることができない。
【0007】
また、特開2000−013744号公報には、平常時には例えばIピクチャの時の可変長符号を記録再生装置に出力するように、フレーム間引き制御情報を可変長符号化回路に出力するタイムラプスレコーダが記載されている。しかし、複数の監視カメラからの映像を記録する方法および複数の監視カメラをネットワークに接続して使用する場合の伝送方法について記載されていない。
【0008】
また、特開2000−83241号公報には、ネットワークのトラヒックを監視してアパーチャを制御することにより、画像データの転送量をコントロールするネットワークカメラ監視システムが記載されている。しかし、アパーチャを制御する方法では画質が劣化し、モニター等に表示される画面が見難くなる。さらに、アラーム情報が転送された際に、ネットワークのトラヒックが混雑している場合には、通信の混雑具合を見ながら必要最低限の画像データを送ることが記載されているが、その具体的方法については記載されていない。
【0009】
本発明は、ネットワークの伝送能力を越えるデータが伝送されることを防止し、画質を損なうことなく長時間の録画を実現可能なディジタル監視システムを提供することを目的とする。
【0010】
【課題を解決するための手段】
上記課題を解決するために、本発明にかかる監視システムは、ネットワークを通じて複数の監視カメラが接続され、前記監視カメラは映像信号のデータ圧縮率を変更可能な可変圧縮手段を備え、前記ネットワークの転送能力を越えないように前記可変圧縮手段を制御する制御手段とを備えてなる構成とする。また、本発明にかかる監視システムは侵入者などを検知する検知手段と、映像信号を圧縮するときのフレームレートやピクチャ構成を変更可能な可変圧縮手段と、前記検知手段による検知結果により前記可変圧縮手段を制御する制御手段とを備えてなる構成とする。
【0011】
【発明の実施の形態】
以下、本発明の実施の形態を図面により説明する。
第1図は、本発明の実施形態に係る監視システムを示したものである。第1図において、1は光学レンズ、2は撮像素子、3はカメラディジタル信号処理回路、4は解像度変換回路、5は可変圧縮回路、6は制御回路、7はLANインターフェイス、8は検出器、9はカメラ、10はディジタルネットワーク、11はレコーダである。
【0012】
まず、映像は光学レンズ1を通して、撮像素子2において電気信号に変換される。カメラディジタル信号処理回路3は、撮像素子から出力される信号を処理して輝度信号/色信号などディジタル映像信号を生成する。カメラディジタル信号処理回路3から出力されたディジタル信号は、解像度変換回路4に供給される。検出器8は、侵入者や侵入物の有無等の異常事態が発生しているか否かを検出して、検出結果を制御手段6に供給する。この検出器8は、例えば赤外センサーなどにより構成することができる。
【0013】
解像度変換回路4は、制御回路6から供給される制御信号に応じてディジタル信号の解像度を変換して、解像度変換後のディジタル映像信号は、画像信号のデータ圧縮方式が可変な可変圧縮回路5に供給する。可変データ圧縮回路5では、制御手段の制御信号により指示された圧縮方式にて供給されたディジタル信号をデータ圧縮する。即ち、可変データ圧縮回路5は、圧縮時のフレームレートおよびMPEGのGOP(Group of Picture)構成を変更する。
データ圧縮後のディジタル映像信号は、LANインターフェイス7に供給される。そして、LANインターフェイス7は、ネットワーク10を介して、データ圧縮後のディジタル映像信号をレコーダ11に供給する。
【0014】
制御回路6は、検出器8において侵入者を検出した場合は、解像度変換回路4を通常の解像度に設定し、可変データ圧縮回路5を通常のフレームレートおよびデータ圧縮方式に設定する。また、検出器8において侵入者を検出しない場合は、ディジタル映像信号の解像度(画素数)を減らすように解像度変換回路4の設定をおこなう。そして、可変データ圧縮回路5では、エンコードするフレームレートを下げ、このフレームレートに応じたデータ圧縮方式でデータ圧縮するように設定する。エンコード方式がMPEGであれば、このフレームレートにあわせ、最適なGOP構造となるように設定する。これにより、可変圧縮手段から出力されるビット量を減らすことができる。
【0015】
また、フレームレートを低くすることに加え、画素サイズを小さくすることにより、さらにビット量を減らすことができる。例えば、画素サイズを水平及び垂直ともに1/2とし、データ圧縮率を通常の1/9とした場合、(1/2)×(1/2)×(1/9)=1/36に低減される。
【0016】
監視システムでは、侵入者等がない状態や画像変化がない状態は、画像情報の重要性は低く、きめ細かな画像を記録する必要はない。一方、侵入者があり画像変化がある場合は、画像情報の重要性は高く、きめ細かい画像情報を記録する必要がある。本発明は、監視システムに要求される特性を利用することにより、重要な映像情報は損失することなく、長時間の録画を実現することができる。
【0017】
尚、以上説明した実施の形態では、解像度変換回路4及び可変データ圧縮回路5を有しているが、可変データ圧縮回路5のみであっても良い。この場合には、時間軸方向にのみ圧縮されるため、解像度を変化させた場合のように画質が劣化せず、モニター等の画面で監視者が確認しやすくなる。また、侵入者がない場合に可変データ圧縮回路5でエンコードするフレーム数を減らすことにより、カメラ自体の消費電力も低減できる。
【0018】
また、ネットワーク10のデータの転送能力には上限があり、侵入者を検出したカメラ9がフレームレートを挙げた場合は、ネットワーク10のデータ転送能力を越える場合がある。特に、複数のカメラ9が同時に侵入者の検出し、フレームレートを上げた場合、ネットワーク10のデータ転送能力を越えない様に各カメラが発生するデータ量を調整する必要がある。本実施形態では、侵入者を検出したカメラ9は、レコーダ11にこれを通知する。レコーダ11は、ネットワーク10のデータ転送能力を越えない様に、ネットワーク10に接続されている各カメラ9にエンコードの条件(フレームレート、GOP構成、ビットレート)等を、ネットワーク10を介して指示する。例えば、侵入者を検出していないカメラ9に対しては、更にフレームレートを下げるように、あるいはデータ転送を停止するように指示を与える。そして、侵入者等の異常事態の検出が終了すると、エンコードの条件を元に戻すように、あるいはデータ伝送を再開するように指示を行うようにする。
【0019】
同様に、レコーダ11の最大のデータ記録レートも上限があり、この上限がネットワークのデータ転送レートより低い場合もある。この場合は、同様に、レコーダ11は、レコーダ11の最大データ記録レートを超えないように、各カメラのエンコードの条件(フレームレート、GOP構成、ビットレート)を、ネットワーク10を介して指示する。
【0020】
以上、説明したように、各カメラでの映像のエンコード方法自体を変化させることにより、カメラの台数が増加した場合であっても、ネットワークの伝送能力を越えることなく適切に作動させることができる。尚、本実施形態では、カメラを2つ有しているシステムについて説明したが、3以上のカメラを有している場合であっても同様の効果を得ることができる。
【0021】
また、ネットワーク10に監視カメラ9以外にPC(パーソナルコンピュータ)等の他の装置が接続されている場合には、PC等からのデータ伝送量に応じてカメラ9のエンコード条件を変化させるようにしても良い。この場合、PC等からデータ伝送量を直接カメラ9に通知し、各カメラ9のエンコード条件を制御するようにしても良い。このように制御することにより、ネットワークの伝送能力を越えたために、カメラからのデータを全く伝送できないという事態を回避することができる。
【0022】
図5は、データ圧縮方式としてMPEGを使用した場合の可変データ圧縮回路5のフレームレートおよびエンコード方式の変更の例を示したものである。図5において、(a)は侵入者がいる場合の圧縮方式を示し、1GOPをI(フレーム内圧縮)ピクチャ、B(双方向予測)ピクチャ、P(全方向予測)ピクチャによる15ピクチャで構成している。この場合のフレームレートは、30fpsとなる。(b)および(C)は、侵入者がいない場合の圧縮方式を示している。(b)は、I(フレーム内圧縮)ピクチャとB(双方向予測)ピクチャで構成しており、フレームレートは、(a)の1/3の10fpsとなる。(c)は、1枚のI(フレーム内圧縮)ピクチャ(c)のみとしており、フレームレートは、2fpsとなる。(Iピクチャ)、(Pピクチャ)、(Bピクチャ)の符号量の割り当てを、6:3:1とした場合は、(a)、(b)、(c)の符号量は、14:9:3となる。
【0023】
図5では、(a)の構成からBとPのピクチャを除く構成として(b)、(c)の例をあげている。しかし、図5の(a)の構成に基づいてGOPを構成することに限定されるものではない。例えば、IPピクチャの各フレームの間隔を(a)の場合より大きく、15フレーム(0.5秒)間隔にして、1つのIピクチャ及び3つのPピクチャによりGOPを構成しても良い。IPピクチャの各フレームの間隔を15フレーム間隔として、1つのIピクチャ及び3つのPピクチャによりGOPを構成する場合は、(c)の例に対して、さらに15/24に符号量を低減できる。このように、本発明では、GOP構成を変更することにより、符号量を自在に変更できる。
【0024】
図6は、検出手段の検出信号とエンコードモードの関係の一例を示したものである。本例では、圧縮方式として図5の(a)および(c)を使用している。図6中の‘IBP’および‘Ionly’がそれぞれ図5の(a)、(c)の圧縮方式であることを示している。また、図6の(a)はエンコードモードの遷移を、また、(b)は検出回路の出力信号を示したものである。検出回路の出力信号において、‘High’期間は、侵入者がいる場合のアラーム期間を示す。
【0025】
図7は、検出手段により、圧縮率の変更に加えて、映像信号の解像度を変えた場合のエンコードモードと検出信号との関係を示したものである。図6と同様に、図7の(a)はエンコードモードの遷移を、また、図7の(b)は検出回路の出力信号を示したものである。カメラ信号処理の出力は、REC601の解像度(NTSC方式では、水平:720画素×垂直:480画素)であり、侵入者がいる場合は、解像度変換回路での縮小処理は行わずそのままREC601の状態でI、B、Pピクチャを使用した30fpsのモードでエンコードしている。また侵入者がいる場合は、解像度変換回路にて、SIF(水平:352画素×垂直:240画素)に縮小処理をすると共に、データ圧縮をIピクチャによる2fpsエンコードしている。
【0026】
なお、図1に記載した実施形態では、例えば赤外線センサーなどにより構成された検出器8により侵害者を検出しているが、図2に示すようにカメラディジタル信号処理から出力されるディジタル映像信号から侵害者を検出するようにしても良い。検出の方法としては、1)映像信号の平均レベルの差を検出、2)時間的に近接する他のフレームとの差分値の絶対値和による検出、3)信号レベル分布の差による検出、などにより行う。この検出回路8によれば、純粋にディジタル信号処理で構成することができ、検出回路のICの内蔵が可能になるという利点がある。
【0027】
また、図3に示すように、データ圧縮時に得られる情報により侵害者の検出を行っても良い。データ圧縮としてMPEGを採用した場合、圧縮時に、動き補償のための動きベクトルやMB毎のIntra/Inter判定など、侵入者の検出に有効なデータが得られる。これらのデータより、検出回路8では侵入者の検出を行う。侵入者の判定方法としては、1)動きベクトルの分布により、あるエリアで一定方向のベクトルがあらかじめ設定した個数以上になった場合に侵入者ありと判定する、2)Intraのマクロブロックの個数があらかじめ設定した値以上になった場合に侵入者ありと判定する、3)前記1)及び2)の判定結果の組み合わせにより判定する、などである。また、可変データ圧縮回路からこれらの情報が取り出せない構成の場合は、MPEGの圧縮データには上記の動きベクトルやMB毎のIntra/Inter判定などの結果がデコードのために含まれているため、出力の圧縮後のデータをある程度復号して情報を得る構成でもよい。
【0028】
また、図4に示すように、ネットワーク上に置かれたカメラ9に内蔵されない検出装置14により侵入者の検出を行う構成であっても良い。検出装置14は、検出回路8とLANインターフェイス12、制御回路13により構成され、制御回路13が、LANインターフェイス12を介して、検出回路8の検出信号をネットワーク10に出力する。レコーダ11が、ネットワークに出力された検出信号を受け取り、この情報に応じてカメラ9に制御信号を送ることにより、カメラ9の解像度変換回路4および可変データ圧縮回路の設定を変える構成になっている。尚、図3及び図4では、カメラ9を1つのみに省略して記載しているが、1つのカメラを有したシステムに限定されるものではない。
【0029】
また、異常事態の有無を検出する検出回路や検出器は、レコーダ11やネットワークに接続されたPC等の装置にあっても良い。また、カメラに検出装置を接続するようにしてあっても良い。
また、以上の実施形態では、レコーダ11によりエンコード条件が制御される場合について説明したが、レコーダ11の外部に設けられた制御装置、例えば検出装置14やPC等により制御される構成であっても良い。
【0030】
【発明の効果】
本発明によれば、ネットワークの伝送能力を越えるデータが伝送されることを防止し、画質を損なうことなく長時間の録画を実現可能なディジタル監視システムを提供することができる。
【図面の簡単な説明】
【図1】本発明の実施形態にかかる監視システムを示した図である。
【図2】本発明の実施形態にかかる監視システムにおける異常事態検出方法の一例を示したものである。
【図3】本発明の実施形態にかかる監視システムにおける異常事態検出方法の一例を示したものである。
【図4】本発明の実施形態にかかる監視システムにおける異常事態検出方法の一例を示したものである。
【図5】フレームレート及びエンコード方式の変更例を示した図である。
【図6】検出手段の検出信号とエンコードモードの関係の一例を示した図である。
【図7】映像信号の解像度を変えた場合のエンコードモードと検出信号との関係を示した図である。
【符号の説明】
1 レンズ
2 撮像素子
3 カメラ信号処理
4 解像度変換回路
5 可変データ圧縮回路
6、13 制御回路
7、12 LANインターフェイス
8 検出器
9 カメラ
10 ディジタルネットワーク
11 レコーダ
14 検出装置

Claims (1)

  1. 映像信号を圧縮し映像データを出力する圧縮手段と侵入者を検知し検知情報を出力する検知手段を有する撮像手段と、
    前記撮像手段が複数接続され、前記複数の撮像手段から出力される複数の前記映像データを伝送する伝送手段と、
    前記伝送手段に接続され、前記伝送手段を介して、前記伝送手段の伝送能力を越えないように、前記複数の映像データのフレームレート又はピクチャ構成を変更するように前記複数の撮像手段が有する圧縮手段のデータ圧縮率を制御し、各撮像手段が発生するデータ量を調整する制御手段と、を備え、
    前記制御手段は、前記検知情報に応じて、前記検知手段により侵入者が検知された撮像手段の発生する映像データ量を増加させ、前記検知手段により侵入者が検知されない撮像手段の発生する映像データ量を減少させるように制御することを特徴とするディジタル監視システム。
JP2001053463A 2001-02-28 2001-02-28 ディジタル監視システムおよび監視カメラ Expired - Lifetime JP4416341B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001053463A JP4416341B2 (ja) 2001-02-28 2001-02-28 ディジタル監視システムおよび監視カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001053463A JP4416341B2 (ja) 2001-02-28 2001-02-28 ディジタル監視システムおよび監視カメラ

Publications (2)

Publication Number Publication Date
JP2002262273A JP2002262273A (ja) 2002-09-13
JP4416341B2 true JP4416341B2 (ja) 2010-02-17

Family

ID=18913926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001053463A Expired - Lifetime JP4416341B2 (ja) 2001-02-28 2001-02-28 ディジタル監視システムおよび監視カメラ

Country Status (1)

Country Link
JP (1) JP4416341B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4892541B2 (ja) * 2002-02-18 2012-03-07 株式会社日立国際電気 画像伝送方法および画像伝送システム
WO2004088981A1 (ja) * 2003-03-31 2004-10-14 Fujitsu Limited 監視システム
JP4629329B2 (ja) * 2003-11-28 2011-02-09 株式会社日立製作所 動き検出可能な映像信号切替装置
JPWO2005076629A1 (ja) * 2004-02-09 2007-10-18 三洋電機株式会社 画像符号化装置及び撮像装置
JP4522835B2 (ja) * 2004-12-07 2010-08-11 三菱電機株式会社 画像伝送装置及び画像監視システム
JP4555132B2 (ja) * 2005-03-28 2010-09-29 富士通株式会社 エンコードプログラムおよびエンコーダ
JP4970062B2 (ja) * 2007-01-23 2012-07-04 三菱電機株式会社 監視制御装置
JP5271737B2 (ja) * 2009-02-05 2013-08-21 株式会社日立製作所 データ収集システム,及び伝送制御装置
CN102172028A (zh) * 2009-07-31 2011-08-31 松下电器产业株式会社 影像数据处理装置及影像数据处理系统
KR100952990B1 (ko) 2009-12-17 2010-04-13 주식회사 뉴인테크 다중영상코딩방법 및 장치
US9218762B2 (en) 2010-09-01 2015-12-22 Qualcomm Incorporated Dimming techniques for emissive displays
US8847968B2 (en) * 2011-07-12 2014-09-30 Qualcomm Incorporated Displaying static images
JP5865709B2 (ja) * 2012-01-12 2016-02-17 セコム株式会社 画像監視装置
JP6116192B2 (ja) * 2012-11-07 2017-04-19 株式会社イマジオム 動画処理装置、カメラ監視システム、プログラム
JP6364838B2 (ja) * 2014-03-14 2018-08-01 日本電気株式会社 映像処理装置および映像処理方法

Also Published As

Publication number Publication date
JP2002262273A (ja) 2002-09-13

Similar Documents

Publication Publication Date Title
JP4416341B2 (ja) ディジタル監視システムおよび監視カメラ
US7760244B2 (en) Image generating apparatus and image generating method
US8780199B2 (en) Networked security camera with local storage and continuous recording loop
KR100866482B1 (ko) 감시 시스템 및 그 사용 방법
JP4844305B2 (ja) 撮像装置
JP2004200989A (ja) 撮影装置及び監視システム
JP2007194928A (ja) 遠隔監視装置及び遠隔監視方法
JPH11164245A (ja) 映像記録装置および映像再生装置ならびに映像記録再生装置
WO2011024361A1 (ja) ネットワークカメラ及び映像配信システム
JP4305055B2 (ja) 画像記録装置
JPH09322154A (ja) 監視ビデオ装置
JP4337541B2 (ja) カメラ装置、監視システム及びカメラ装置制御方法
JP4474063B2 (ja) ディジタル監視カメラシステムおよび制御装置
US20050183132A1 (en) Digital closed circuit television system
JPH07222137A (ja) 遠隔監視システム
US6374039B1 (en) Image pickup apparatus
KR20020092601A (ko) 에이디에스엘 전송방식을 이용한 원격 보안감시 장치
JP3206386B2 (ja) ビデオ記録装置
KR20040010944A (ko) 감시용 웹카메라의 움직임 검출에 따른 화질변환 및 전송
JP2004180345A (ja) 撮影画像記録装置
JP2006270666A (ja) 画像記録装置及び監視システム
JP3061430U (ja) 遠隔監視セキュリティシステム
Fujii et al. Digital cinema system using a JPEG2000 movie of 8-million pixel resolution
JP5244625B2 (ja) 画像圧縮伸張装置
JP5906430B2 (ja) 動画伝送端末及び動画伝送システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040915

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060728

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060829

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061027

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20061115

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20061208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091021

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091124

R151 Written notification of patent or utility model registration

Ref document number: 4416341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term