JP4738142B2 - 侵入監視システム - Google Patents

侵入監視システム Download PDF

Info

Publication number
JP4738142B2
JP4738142B2 JP2005332926A JP2005332926A JP4738142B2 JP 4738142 B2 JP4738142 B2 JP 4738142B2 JP 2005332926 A JP2005332926 A JP 2005332926A JP 2005332926 A JP2005332926 A JP 2005332926A JP 4738142 B2 JP4738142 B2 JP 4738142B2
Authority
JP
Japan
Prior art keywords
intrusion
intruder
detection
video information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005332926A
Other languages
English (en)
Other versions
JP2007142742A (ja
Inventor
浩一 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2005332926A priority Critical patent/JP4738142B2/ja
Publication of JP2007142742A publication Critical patent/JP2007142742A/ja
Application granted granted Critical
Publication of JP4738142B2 publication Critical patent/JP4738142B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、プラント設備に対する不正侵入者の侵入監視を行う侵入監視システムに関するものである。
従来のプラント設備を対象とした不正侵入者の検知・追尾システムでは、不正侵入者を連続的に追跡する場合、広大な敷地に多数のカメラを設置する必要があり、このような多数のカメラの映像情報を全て記録することは難しく、また、記録できたとしても大量の情報となり重要な情報を取り出すには多くの時間を要していた。
特許文献1には、既知の動体認識技術を応用して各カメラ間の撮像情報を制御し、定常時は少ない映像情報量で監視センタへの伝送を行い、侵入者があった箇所あるいは侵入者が移動しつつある個所のカメラのみ多くの映像情報量で高品位な撮像を監視センタへ伝送するものが示されている。
特開2004−266404号公報(第3〜7頁、図1)
特許文献1の従来のシステムでは、不正侵入者を監視している監視カメラが、不正侵入者の進行方向を予測して、その都度、進行予測方向の監視カメラへ情報を伝達することにより不正侵入者の追尾を行っていた。このため、広大な敷地のプラントでは、多数のカメラの設置が必要で、常時、全カメラの撮像情報を記録する必要があった。
また、同時に全てのカメラを監視することは不可能であるという問題や、全カメラの映像を記録するために大規模な記録装置が必要であり、記録された大量の映像情報の中から必要な情報を取り出すことができないという問題もあった。
この発明は、上記のような課題を解決するためになされたものであり、監視対象プラント設備における、不正侵入者の追尾作業の確実性を向上させるとともに、映像情報を効率的に蓄積し、侵入者の状況の把握を的確に行える侵入監視システムを得ることを目的としている。
この発明に係わる侵入監視システムにおいては、それぞれ通路が交差する部分を検知エリアとするように配置され、検知エリアに侵入者が侵入したとき侵入検知情報を出力する複数の侵入検知手段、この侵入検知手段に対応するように配置され、侵入者を撮像する複数の映像情報取得手段、各検知エリアから侵入目的区域に至る経路をデータベース化し、このデータベースに基づき、侵入者の進行方向を予測する進行方向予測手段、この進行方向予測手段により予測された侵入者の進行方向にある侵入検知手段により侵入者が検知されたとき、進行方向が予測された侵入者と同一の侵入者として識別するとともに、同一の侵入者を検知した当該侵入検知手段に対応する映像情報取得手段によって撮像された映像情報を記録するように指示する映像記録管理手段、およびこの映像記録管理手段からの記録指示により映像情報を同一の侵入者には同一の識別子を付与して記録する映像情報記録手段を備えたものである。
この発明に係わる侵入監視システムにおいては、それぞれ通路が交差する部分を検知エリアとするように配置され、検知エリアに侵入者が侵入したとき侵入検知情報を出力する複数の侵入検知手段、この侵入検知手段に対応するように配置され、侵入者を撮像する複数の映像情報取得手段、各検知エリアから侵入目的区域に至る経路をデータベース化し、このデータベースに基づき、侵入者の進行方向を予測する進行方向予測手段、この進行方向予測手段により予測された侵入者の進行方向にある侵入検知手段により侵入者が検知されたとき、進行方向が予測された侵入者と同一の侵入者として識別するとともに、同一の侵入者を検知した当該侵入検知手段に対応する映像情報取得手段によって撮像された映像情報を記録するように指示する映像記録管理手段、およびこの映像記録管理手段からの記録指示により映像情報を同一の侵入者には同一の識別子を付与して記録する映像情報記録手段を備えたので、全ての映像情報取得手段の映像情報を常時記録するのではなく、侵入者の進行方向に合わせた映像情報のみを記録することが可能であり、したがって、記憶容量も少なくでき、さらに侵入者を識別することにより、侵入者の行動を記録した映像情報を効率よく検索し、侵入者の目的や行動の把握を迅速に行うことが可能となる。

実施の形態1.
以下、この発明の実施の形態1について図を用いて説明する。
図1は、この発明の実施の形態1による侵入監視システムの全体を示すシステム構成図である。
図1において、カメラ11〜14は、撮影した映像をたとえばMotionJPEGなどの符号化し、映像情報としてデジタル化し、LANなどの通信ネットワーク3に配信する。映像記録装置401は、カメラ11〜14から通信ネットワーク3を経由して配信される映像情報を常時一定時間分記録する。映像表示端末601は、指定されたカメラの映像を表示する。
侵入検知センサ21〜24は、たとえば赤外線の侵入感知センサであって、設置位置の情報が映像記録装置401上で管理され、センサの検知位置を撮影しているカメラ11〜14と映像記録装置401上で対応がとられている。映像サーバ501は、侵入検知センサ21〜24からの侵入検知信号により、侵入検知の前、たとえば10秒前からのカメラ11〜14の映像を保存する。映像サーバ501は、映像を保存するデータベース502を有し、このデータベース502には、後述する侵入者の進行方向予測情報が格納されている。
図2は、この発明の実施の形態1による侵入監視システムを示す構成図である。
図2において、実施の形態1の侵入監視システムは、映像情報取得手段1、侵入検知手段2、進行方向予測手段51、映像記録管理手段4、映像情報記録手段52から構成される。
映像情報取得手段1は、撮像した映像を符号化した映像情報として通信ネットワーク3上に配信するカメラ11〜14により構成され、映像情報記録手段52に映像情報を送信する。映像情報記録手段52は、映像サーバ501に設けられ、後述する映像記録管理手段4の指示により、映像情報取得手段1により取得された映像情報を記録するとともに、侵入者を識別する侵入検知識別子を採番する。
侵入検知手段2は、侵入検知センサ21〜24であり、侵入者の侵入を検知し、設置場所との関連情報に基づき、侵入者の侵入位置を特定できるようになっている。進行方向予測手段51は、映像サーバ501に設けられ、最初の侵入位置から重要な設備(目的区域)までの予測される侵入経路をデータベース502にデータベース化しておき、侵入位置から予測される進路にあるカメラ11〜14および侵入検知センサ21〜24の情報を映像記録管理手段4に通知する。
映像記録管理手段4は、映像記録装置401に設けられ、侵入検知手段2からの侵入位置情報を元に、侵入者が次に移動すると予測される位置を撮影している複数のカメラの情報を進行方向予測手段51から取得する。そして、予測されたカメラに対応する侵入検知センサが侵入を検知した場合、同一の侵入情報として映像情報記録手段52に記録を指示する。
図3は、この発明の実施の形態1による侵入監視システムで使用するカメラと侵入検知センサの配置例を示す配置図である。
図3においては、カメラ11〜15と侵入検知センサの配置を示している。監視対象区域71〜78の間の通路に死角なくカメラを配置し、通路が交差する部分が検知エリア210〜290となるように侵入検知センサを配置する。監視対象区域80が侵入者の目標となる区域である。
図4は、この発明の実施の形態1による侵入監視システムの進行方向予測のデータベースを示す図である。
図4において、図3に対応して、一つの検知エリアから侵入した侵入者が次に進行予測される検知エリアが示されている。
図5は、この発明の実施の形態1による侵入監視システムの検知情報履歴テーブルを示す図である。
図5において、侵入者を侵入検知識別子で区別し、同じ侵入者には同じ侵入検知識別子が付与される。図5は、侵入検知情報、映像情報、侵入検知識別子を管理するテーブルを示し、侵入検知情報として検知位置、検知時刻を管理し、対応する映像情報と侵入検知識別子を管理している。
図6は、この発明の実施の形態1による侵入監視システムの動作を示すフローチャートである。
次に動作について、図6のフローチャートを用いて説明する。
ステップS11で、侵入検知手段1にて監視対象区域への侵入を検知した場合、映像記録管理手段4は、ステップS12で、検知した侵入検知センサに対応したカメラのたとえば検知10秒前から10秒後の映像情報を映像情報記録手段52にて記録させる。このとき映像情報記録手段52は、侵入検知識別子を採番し、映像記録管理手段4に通知する。
次いで、ステップS13で、映像記録管理手段4は、侵入検知位置から進行方向予測手段51により、次に侵入者が移動すると予測される侵入検知センサの位置情報と、この侵入検知センサの検知エリアを撮影しているカメラの情報を取得する。そして、予測された侵入検知センサが侵入者を検知した場合(ステップS14)、検知した侵入検知センサの検知エリアを撮影しているカメラの映像情報を、同一の侵入検知識別子を用いて、映像情報記録手段52により記録させる(ステップS15)。ステップS14で、予測された侵入検知センサで侵入者を検知できない場合は、ステップうS11に戻る。
図5のように、侵入検知情報と映像情報を侵入検知の履歴情報として映像情報記録手段52で記録することにより、一つの侵入検知情報から、容易にその前後の検知情報や映像情報を検索することが可能となり、侵入検知以降の侵入者の行動把握が迅速に行える。
次に、図3の例について説明する。
図3において、侵入者9を検知エリア220(カメラ12)で検知した場合、想定される侵入目的区域80への経路上にあって次に移動する可能性がある検知エリアは、図4に示されるように、検知エリア210、230、250の3箇所である。この3ヶ所の検知エリアのうちいずれか一つが次に侵入者を検知した場合、同一侵入者として同一の識別子で検知情報、映像情報を記録する。
実施の形態1によれば、全てのカメラの画像を常時記録するのではなく、侵入検知位置情報により、予測される進行方向のカメラの映像情報のみを記録し、侵入検知情報と合わせて記録することにより、複数の侵入検知情報や映像情報を同一の侵入者の情報として関連付けて記録することが可能となり、侵入者の行動を記録した映像情報を効率よく検索し、侵入者の目的や行動の把握を迅速に行うことが可能となる。
また、記録されるデータが必要最小限となるため、記録容量も抑えることが可能となる。
実施の形態2.
実施の形態1では、進行方向予測情報にもとづき侵入検知情報、映像情報を同一の侵入の情報として記録する方法について述べたが、実施の形態2は、複数人で同じところから侵入して、途中で複数の侵入目的区域に分かれて行動する場合に対応し、目的区域までの経路情報を検索するものである。
図7は、この発明の実施の形態2による侵入監視システムを示す構成図である。
図7において、1、2、4、51、52は図2におけるものと同一のものである。図7では、映像表示端末601に、侵入目的区域までの侵入者の経路情報を検索する経路情報検索手段61が設けられている。
実施の形態2は、図7に示すように、経路情報検索手段61により、複数の侵入目的区域から1箇所の侵入目的区域を選択する。この選択された侵入目的区域について、進行方向予測手段51により、侵入検知情報に基づき、その選択された侵入目的区域までの予測される経路情報を取得する。これにより、侵入地点から選択した侵入目的区域までの経路情報を検索することができる。
実施の形態2によれば、これにより、侵入目的区域ごとの侵入者の行動履歴を容易に把握することが可能となる。
実施の形態3.
実施の形態1では、進行方向予測情報に基づき、侵入検知情報、映像情報を同一の侵入の情報として記録する方法について述べたが、実施の形態3は、侵入目的区域内に侵入した場合のものである。
図8は、この発明の実施の形態3による侵入監視システムを示す構成図である。
図8において、1、2、4、52は図2におけるものと同一のものである。図8では、侵入目的区域ごとに侵入者の数をカウントする侵入カウンタを有する区域管理手段53を映像サーバ501に設けている。
図9は、この発明の実施の形態3による侵入監視システムの区域管理テーブルを示す図である。
図9では、侵入目的区域ごとに設けられた侵入カウンタで、侵入者のカウントを行う。
実施の形態3は、図8に示すように、侵入目的区域となりうる重要な監視対象区域(特定区域)に関しては、それぞれ複数の侵入検知センサとカメラを配置し、特定区域に対して侵入者が侵入したかどうかを判定する。図9に示す区域管理テーブルを用いて、特定区域ごとに、そこへ侵入者がきた場合は、侵入カウンタを1加算し、特定区域から侵入者が離脱した場合は1減算していく。その結果、侵入カウンタが1以上の特定区域については、その特定区域内に配置された全カメラの画像を映像サーバに記録するようにする。
実施の形態3によれば、これにより、特定区域内の侵入者の行動が複数の角度からの画像情報により詳細に把握することが可能になる。
実施の形態4.
実施の形態1では、進行方向予測情報に基づき、侵入検知情報、映像情報を同一の侵入の情報として記録する方法について述べたが、実施の形態4は、予測した侵入経路上の侵入検知センサが故障または侵入者の破壊活動で破壊される場合についてのものである。
実施の形態4の構成は、図2と同じであり、図2を援用して説明する。
図10は、この発明の実施の形態4による侵入監視システムの動作を示すフローチャートである。
次に、図10にもとづき、実施の形態4の動作について説明する。
ステップS21で、侵入検知手段1にて監視対象区域への侵入を検知した場合、ステップS22で、進行方向予測手段51により侵入者の進行方向を予測し、次いでステップS23で、映像記録管理手段4は、進行方向が予測される経路上の全カメラによる映像を映像情報記録手段52にて記録させる。ステップS24で、想定される侵入目的区域で侵入が検知されるまで記録を行い、侵入目的区域で検知した場合、ステップS25で、同一検知情報として同じ侵入検知識別子を登録する。
実施の形態4によれば、これにより、予測される侵入経路上の侵入検知センサが故障または破壊された場合でも、途中の経路の映像情報を漏れなく記録することができる。
実施の形態5.
実施の形態1では、進行方向予測情報に基づき、侵入検知情報、映像情報を同一の侵入の情報として記録する方法について述べたが、実施の形態5は、蓄積する映像情報の容量を削減するようにした。
実施の形態5の構成は、図2と同じである。
図11は、この発明の実施の形態5による侵入監視システムの侵入目的区域管理テーブルを示す図である。
図11では、侵入目的区域ごとの重要度を示している。
実施の形態5は、映像記録管理手段4に、図11に示すような、予測される侵入目的区域ごとの重要度を管理するテーブルを設けて、映像記録管理手段4は、この重要度に応じて、たとえば蓄積する映像のフレームレートを変更するようにした。これにより、同時に多数の侵入者があった場合でも、通信ネットワークの負荷や映像情報の蓄積容量を削減することができる。
実施の形態5によれば、侵入目的区域に対して同時に多数の侵入者があった場合にも、通信ネットワークの負荷や映像情報の蓄積容量を削減することが可能である。
この発明の実施の形態1による侵入監視システムの全体を示すシステム構成図である。 この発明の実施の形態1による侵入監視システムを示す構成図である。 この発明の実施の形態1による侵入監視システムで使用するカメラと侵入検知センサの配置例を示す配置図である。 この発明の実施の形態1による侵入監視システムの進行方向予測データベースを示す図である。 この発明の実施の形態1による侵入監視システムの検知情報履歴テーブルを示す図である。 この発明の実施の形態1による侵入監視システムの動作を示すフローチャートである。 この発明の実施の形態2による侵入監視システムを示す構成図である。 この発明の実施の形態3による侵入監視システムを示す構成図である。 この発明の実施の形態3による侵入監視システムの区域管理テーブルを示す図である。 この発明の実施の形態4による侵入監視システムの動作を示すフローチャートである。 この発明の実施の形態5による侵入監視システムの侵入目的区域管理テーブルを示す図である。
符号の説明
1 映像情報取得手段
11〜15 カメラ
2 侵入検知手段
21〜24 侵入検知センサ
210〜290 侵入検知エリア
3 通信ネットワーク
4 映像記録管理手段
401 映像記録装置
51 進行方向予測手段
52 映像情報記録手段
501 映像サーバ
502 データベース
61 経路情報検索手段
601 映像表示端末
71〜78 監視対象区域
80 侵入目的区域
9 侵入者

Claims (5)

  1. それぞれ通路が交差する部分を検知エリアとするように配置され、上記検知エリアに侵入者が侵入したとき侵入検知情報を出力する複数の侵入検知手段、
    この侵入検知手段に対応するように配置され、侵入者を撮像する複数の映像情報取得手段、
    各検知エリアから侵入目的区域に至る経路をデータベース化し、このデータベースに基づき、上記侵入者の進行方向を予測する進行方向予測手段、
    この進行方向予測手段により予測された侵入者の進行方向にある上記侵入検知手段により侵入者が検知されたとき、上記進行方向が予測された侵入者と同一の侵入者として識別するとともに、上記同一の侵入者を検知した当該侵入検知手段に対応する上記映像情報取得手段によって撮像された映像情報を記録するように指示する映像記録管理手段、
    およびこの映像記録管理手段からの記録指示により上記映像情報を同一の侵入者には同一の識別子を付与して記録する映像情報記録手段を備えたことを特徴とする侵入監視システム。
  2. 上記侵入者が複数の場合に、上記複数の侵入者に応じて上記進行方向予測手段により予測される複数の侵入目的区域の内の一つを選択することにより、上記選択された侵入目的区域までの侵入者の侵入経路を検索する経路情報検索手段を備えたことを特徴とする請求項1記載の侵入監視システム。
  3. 上記侵入目的区域内には複数の侵入検知手段およびこれに対応する映像情報取得手段が配置されるとともに、上記侵入目的区域内に配置された侵入検知手段の検知に基づき、侵入目的区域毎に侵入者の有無を管理する区域管理手段を備え、上記区域管理手段により、侵入者が上記侵入目的区域に侵入した場合には、該当侵入目的区域内に配置された全ての映像情報取得手段により撮像された映像情報を記録することを特徴とする請求項1記載の侵入監視システム。
  4. 上記映像記録管理手段は、上記進行方向予測手段により予測される上記侵入目的区域までの侵入者の侵入経路上に配置された映像情報取得手段により撮像される映像情報を記録するように上記映像情報記録手段に指示することを特徴とする請求項1記載の侵入監視システム。
  5. 上記映像記録管理手段は、上記侵入目的区域ごとに重み付けが行われたテーブルを有し、このテーブルの重み付けに応じて、記録する画像情報の量を変化させることを特徴とする請求項1記載の侵入監視システム。
JP2005332926A 2005-11-17 2005-11-17 侵入監視システム Active JP4738142B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005332926A JP4738142B2 (ja) 2005-11-17 2005-11-17 侵入監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005332926A JP4738142B2 (ja) 2005-11-17 2005-11-17 侵入監視システム

Publications (2)

Publication Number Publication Date
JP2007142742A JP2007142742A (ja) 2007-06-07
JP4738142B2 true JP4738142B2 (ja) 2011-08-03

Family

ID=38205086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005332926A Active JP4738142B2 (ja) 2005-11-17 2005-11-17 侵入監視システム

Country Status (1)

Country Link
JP (1) JP4738142B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5574079B2 (ja) * 2009-03-30 2014-08-20 サクサ株式会社 電話システムおよび電話システムの制御装置
JP5956248B2 (ja) * 2012-05-21 2016-07-27 セコム株式会社 画像監視装置
KR101512295B1 (ko) 2013-09-30 2015-04-17 이화여자대학교 산학협력단 건물 보안 시스템
CN113112726B (zh) * 2021-05-11 2022-12-09 创新奇智(广州)科技有限公司 入侵检测方法、装置、设备、系统及可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3797634B2 (ja) * 1996-11-29 2006-07-19 Necインフロンティア株式会社 監視システムにおける画像伝送装置
JPH10172078A (ja) * 1996-12-11 1998-06-26 Atsumi Electron Corp Ltd 画像センター装置
JP3764265B2 (ja) * 1997-12-16 2006-04-05 富士通株式会社 画像監視装置
JP2001045474A (ja) * 1999-07-28 2001-02-16 Optex Co Ltd ディジタル画像記録システム
JP4672104B2 (ja) * 2000-04-26 2011-04-20 パナソニック株式会社 監視用デジタル画像記録再生装置
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP4380252B2 (ja) * 2003-07-22 2009-12-09 ソニー株式会社 撮像装置および撮像方法
JP2005086626A (ja) * 2003-09-10 2005-03-31 Matsushita Electric Ind Co Ltd 広域監視装置

Also Published As

Publication number Publication date
JP2007142742A (ja) 2007-06-07

Similar Documents

Publication Publication Date Title
US10019877B2 (en) Apparatus and methods for the semi-automatic tracking and examining of an object or an event in a monitored site
JP4536299B2 (ja) イベント映像記録・再生システム、イベント管理装置、およびローカル記録装置
EP2779130B1 (en) GPS directed intrusion system with real-time data acquisition
EP2815389B1 (en) Systems and methods for providing emergency resources
KR100920266B1 (ko) 카메라간 협업을 이용한 영상 감시 카메라 및 방법
JP2007048277A (ja) バックトラック及び行動解析を用いる自動非対称性脅威検出
KR100696728B1 (ko) 감시정보송신장치 및 감시정보송신방법
JP4808139B2 (ja) 監視システム
US8781296B2 (en) Auditing system for misuse of an image information
JP6013923B2 (ja) ビデオエピソードの閲覧及び検索のためのシステム及び方法
JP2007128390A (ja) 監視システム
KR102011226B1 (ko) 얼굴 인식을 이용한 보안 관리 시스템 및 그 방법
JP4738142B2 (ja) 侵入監視システム
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
JP6977328B2 (ja) 顔認証装置、人物追跡システム、人物追跡方法、および、人物追跡プログラム
JP2014067383A (ja) 行動監視通報システム
JP5202419B2 (ja) 警備システムおよび警備方法
KR101842564B1 (ko) 다중 영상에 대한 집중 영상 감시 방법 및 이를 위한 집중 영상 관리 서버, 집중 영상 감시 시스템, 컴퓨터 프로그램, 그 기록매체
JP2007158496A (ja) 地図連携映像監視方法及びその装置
KR20060087986A (ko) 영상 출력 시스템 및 영상을 출력하기 위한 제어프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
KR102077632B1 (ko) 로컬 영상분석과 클라우드 서비스를 활용하는 하이브리드 지능형 침입감시 시스템
JP4675217B2 (ja) 追尾型監視システム
US20240119737A1 (en) Computer-implemented method, non-transitory computer readable storage medium storing a computer program, and system for video surveillance
KR100972016B1 (ko) 영상 인식을 이용한 피해자 추적 방범 시스템
KR101920342B1 (ko) 영상 감시 방법 및 이러한 방법을 수행하는 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110426

R151 Written notification of patent or utility model registration

Ref document number: 4738142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250