JP3974830B2 - 無線タグを用いた被写体識別システム - Google Patents

無線タグを用いた被写体識別システム Download PDF

Info

Publication number
JP3974830B2
JP3974830B2 JP2002237434A JP2002237434A JP3974830B2 JP 3974830 B2 JP3974830 B2 JP 3974830B2 JP 2002237434 A JP2002237434 A JP 2002237434A JP 2002237434 A JP2002237434 A JP 2002237434A JP 3974830 B2 JP3974830 B2 JP 3974830B2
Authority
JP
Japan
Prior art keywords
subject
wireless tag
video
receiving
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002237434A
Other languages
English (en)
Other versions
JP2004080347A (ja
Inventor
俊光 椿
雅史 清水
等 林
真一 嶺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2002237434A priority Critical patent/JP3974830B2/ja
Publication of JP2004080347A publication Critical patent/JP2004080347A/ja
Application granted granted Critical
Publication of JP3974830B2 publication Critical patent/JP3974830B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は,任意の被写体(人,物,動物など)を撮影した映像あるいは画像(以下では「映像あるいは画像」を単に「映像」という)を映像受信者に提供するシステムに関し,特に,例えば幼稚園にいる園児を撮影した映像から,映像受信者が特定の被写体が撮影されている映像のみを容易に検索できるようにするための無線タグを用いた被写体識別システムに関するものである。
【0002】
【従来の技術】
現在,建設現場の進行状況の把握や,店舗,駐車場,道路状況のチェック,休日,夜間のオフィス監視などで,任意の被写体をカメラによって撮影し,映像をデータベースに蓄える映像システムが存在する。上記蓄えられた映像を,インターネット等の各種ネットワークを介して遠隔地に配信することが可能である。また,カメラとLAN(Local Area Network)を介して接続されているパーソナルコンピュータ(PC)によって映像を見ることも可能である。
【0003】
【発明が解決しようとする課題】
しかし,従来の上記映像システムにおいて,映像受信者が所望する被写体の映像,例えば幼稚園であれば自分の子供の映像が,映像を蓄積するデータベースのどこに存在するかを知る手段がないため,目的の映像を閲覧するためには,多大な時間と手間がかかるという問題がある。
【0004】
本発明は,上記問題点の解決を図り,映像受信者が必要とする被写体の映像を容易に識別することを可能とする被写体識別システムを提供することを目的とする。
【0005】
【課題を解決するための手段】
上記課題を解決するため,本発明は,カメラによって撮影された映像または画像中の複数の被写体を特定する被写体識別システムであって,
カメラによって撮影される被写体に,予め定められた周波数の電磁波または超音波を,カメラの画角より小さい照射角によって照射する照射手段と,前記照射手段の指向を順次変化させる照射指向制御手段とを有する撮影手段と,
前記各被写体に取り付けられる無線タグであって,予め定められた周波数の電磁波または超音波を検出するための受波手段と,該電磁波または超音波を検出した場合に,固有の標識番号を発信する手段とを有する無線タグと,
前記無線タグが発信する固有の標識番号を受信する受信手段と,
前記受信手段により固有の標識番号を受信した時刻と,前記撮影手段により映像または画像を撮影した時刻とから,前記固有の標識番号を受信した時刻に前記照射手段によって照射していた方向の映像または画像内における位置を特定するとともに,撮影された映像または画像と,その映像または画像中に撮影されている前記無線タグを取り付けた被写体を特定する固有の標識番号と,映像または画像内における位置とを関連付ける情報処理手段とを備えることを特徴とする。
【0006】
また,第2の本発明は,上記第1の発明の被写体識別システムにおいて,
前記照射手段は,固有の信号で予め定められた周波数の電磁波あるいは超音波を変調し発信するための信号送信手段を有することを特徴とし,
前記受波手段は,前記電磁波あるいは超音波を受信し復調するための信号受信手段と,受信信号を識別するための信号識別手段とを有することを特徴とし,
前記無線タグは,前記受波手段が識別した信号が前記固有の信号であった場合に,固有の標識番号を発信することを特徴とする。
【0009】
本発明は,複数の被写体に電磁波あるいは超音波を,照射指向を順次変化させながらカメラの画角より小さい照射角によって照射することで,複数の被写体に取り付けられた無線タグから,固有の標識番号を発信させ,この標識番号を受信し,その受信時刻と映像が撮影された時刻とから被写体を特定できることを最も主要な特徴とする被写体識別システムである。従来技術とは,被写体を容易に識別できる点で異なる。
【0010】
【発明の実施の形態】
以下で説明する第1の実施の形態は,本発明に関連する技術の例であり,第2および第3の実施の形態は,実際に本発明を適用した技術の例である。
〔第1の実施の形態〕
図1は,本発明の第1の実施の形態に係わる被写体識別システムの構成例を示す図である。本実施の形態では,電磁波として赤外線を用いた場合の例を説明する。電磁波として可視光を用いても,また電磁波ではなく超音波を用いても同様に実施することができる。
【0011】
第1の実施の形態における被写体識別システムは,無線タグ10,受信局20,LAN50,撮影手段100,管理サーバ140,対象履歴データベース(DB)150,映像データベース(DB)160から構成される。
【0012】
撮影手段100は,ディジタル映像を撮影するカメラ110と,その制御および映像の取り込みが可能な撮影制御パーソナルコンピュータ(PC)120と,被写体に赤外線を照射する照射部131を有する照射手段130とで実現されている。カメラ110で撮影する映像は,動画でも静止画でも構わない。また,撮影手段100は複数存在しても構わない。この場合には,複数の各撮影手段100にそれぞれを識別するためのカメラ識別番号を付与し,そのカメラ識別番号で複数の撮影手段100で撮影された映像を管理することが望ましい。
【0013】
撮影手段100で撮影された映像は,カメラ識別番号と撮影時刻と共に,LAN50を通して映像DB160に送信される。映像DB160は,受信した映像に映像番号を付与し,撮影時刻と共に映像記録手段161に記録する。撮影時刻は,撮影制御PC120や映像DB160の時計機能から情報を取得することで実現可能である。
【0014】
被写体を特定するために,被写体に固有の標識番号を発信する無線タグ10を取り付ける。無線タグ10は,赤外線を受光するための受波手段11である受光部12と,赤外線を受光することをトリガとして標識番号を発信する手段である標識番号送信部15から構成される。標識番号送信部15から発信された標識番号は,受信局20で受信される。
【0015】
カメラ110で映像を撮影するときには,照射部131から赤外線を照射する。被写体に取り付けられた無線タグ10は,受光部12により赤外線を受光すると,標識番号送信部15により標識番号を受信局20に送信する。このとき,カメラ110の撮影タイミングと照射部131の照射タイミングは一致していることが望ましい。一致させない場合には,常に照射部131から赤外線を照射し続けることが必要となる。さらに,カメラ110と照射部131の画角を同じくすることにより,カメラに撮影されている対象のみの無線タグ10から標識番号が送信される。
【0016】
受信局20は,カメラの画角に収まっている(照射部131からの赤外線の照射を受光した)無線タグ10から送信された標識番号を受信したとき,受信した標識番号を対象履歴DB150に送信する。対象履歴DB150は,標識番号を受信すると,標識番号を受信時刻と共に対象履歴記録手段151に記録する。受信時刻は,対象履歴DB150に時計機能を持たせて取得してもよいし,受信局20に時計機能を持たせてそれを取得しても構わない。
【0017】
管理サーバ140では,情報処理手段141によって,映像DB160と対象履歴DB150とに記憶されているデータから,同時刻のデータの対応付けを行い,それらの対応を映像番号と標識番号のリストとの対応情報として管理する。カメラ110が複数台存在する場合には,映像を取得したカメラのカメラ識別番号も対応させることが望ましい。
【0018】
映像受信者は,任意の標識番号で管理サーバ140が管理する映像番号と標識番号との対応付けを検索することにより,所望の被写体が撮影されている映像番号を特定することが可能となる。また,記念撮影のような大勢の被写体が撮影されている映像に,映像受信者が所望している被写体が撮影されているか否かを判別する場合,その映像に該当する映像番号と一緒に管理されている標識番号のリストからすぐに判別することが可能となる。
【0019】
図2は,本発明の第1の実施の形態に係わる被写体識別システムの動作を説明するための図である。図2において,カメラ110と照射部131の画角は一致しており,カメラで撮影された映像は,撮影制御PC120からLAN50を通して映像DB160に送られる。また,それぞれの被写体には,無線タグ10A,10B,10C,10Dが取り付けられており,それらの無線タグ10A,10B,10C,10Dには,それぞれ固有の標識番号が割り当てられているものとする。
【0020】
図3は,本発明の第1の実施の形態に係わる無線タグ(被写体)と標識番号の対応例を示す図である。図2のそれぞれの被写体に取り付けられた無線タグ(10A,10B,10C,10D)ごとに,あらかじめ固有の標識番号が割り当てられている。この標識番号によって,無線タグを取り付けた被写体を識別することができる。
【0021】
図2において,無線タグ10A,無線タグ10Bを取り付けた被写体は,カメラ110で撮影される。しかし,無線タグ10Cを取り付けた被写体は,無線タグ10Aを取り付けた被写体の影になりカメラ110の映像に写らない。また,無線タグ10Dを取り付けた被写体は,カメラ110の画角から外れているため撮影されない。
【0022】
この環境で照射部131から赤外線を照射した場合,無線タグ10A,無線タグ10Bのみがその赤外線を受光して標識番号を送信し,無線タグ10C,無線タグ10Dは赤外線を受光しないので動作しない。このように,カメラ110に撮影された被写体が所有する無線タグのみが標識番号を送信する。送信された標識番号は,受信局20によって受信され,LAN50を通して対象履歴DB150に送られる。
【0023】
図4は,本発明の第1の実施の形態に係わる映像番号と被写体の関係を表すリストの例を示す図である。管理サーバ140では,映像DB160の映像記録手段161に記録されているデータと対象履歴DB160の対象履歴記録手段161に記録されているデータとの同時刻のデータの対応付けを行い,図4に示すような映像番号と標識番号リストの対応情報として管理する。図4のリストにおける映像番号1が図2の例で示した状態で撮影された映像であり,無線タグ10Aの標識番号“ABCDEFG”と無線タグ10Bの標識番号“HIJKLMN”とが対応付けられていることから,映像番号1の映像には,無線タグ10Aを付けている被写体と無線タグ10Bを付けている被写体とが写っていることがわかる。
【0024】
〔第2の実施の形態〕
図5に,本発明の第2の実施の形態に係わる被写体識別システムの構成例を示す。図6は,本被写体識別システムの動作を説明するための図である。本実施の形態では,第1の実施の形態の場合と同様に電磁波として赤外線を用いるものとする。
【0025】
本実施の形態における照射手段130は,照射部131および照射指向制御部132から構成される。他の部分の構成は,前述した第1の実施の形態とほぼ同様である。
【0026】
図6に示すように,撮影手段100において照射部131の照射角をカメラ110の画角よりも小さくし,照射指向制御部132により,照射部131の指向を,カメラ110の画角の範囲内で矢印200の方向に順次変えながら,カメラ110により被写体を撮影する。
【0027】
図7は,図6に示すような照射角の制御のもとに撮影された被写体の例を示している。カメラ110の画角内において,被写体の位置を矢印200の方向に対して,位置A,位置B,位置C,位置Dとする。位置の区分は,照射部131の照射角に一致する。照射角をもっと狭くまたは広くすることで,位置の区分を4区分より増減しても構わない。
【0028】
図6に示す状態において,照射部131の指向を矢印200の方向に順次変えた場合,無線タグは,10B,10A,10Cの順番で標識番号を送信する。映像を撮影した時間をt1からt5の間とした場合,位置A,位置B,位置C,位置Dに対して赤外線または可視光あるいは超音波を照射する時間を,それぞれ時間[t1,t2]の間は位置Aを照射,時間[t2,t3]の間は位置Bを照射,時間[t3,t4]の間は位置Cを照射,時間[t4,t5]の間は位置Dを照射することと決めた場合,標識番号を受信した時刻から被写体が位置Aから位置Dのどの位置に撮影されているかを特定することが可能である。ただし,t1からt5の間の時間は,被写体がほとんど動かない程度に小さい時間であることが望ましい。
【0029】
図6および図7の例では,無線タグ10Aを取り付けた被写体の標識番号が時間[t3,t4]の間に受信され,無線タグ10Bを取り付けた被写体の標識番号が時間[t1,t2]の間に受信され,無線タグ10Dを取り付けた被写体の標識番号が時間[t4,t5]の間に受信されることになる。よって,無線タグ10Aを取り付けた被写体は位置Cに,無線タグ10Bを取り付けた被写体は位置Aに,無線タグ10Cを取り付けた被写体は位置Dに存在することが特定できる。
【0030】
図6,図7に示される被写体を撮影した場合の管理サーバ140が作成するリストの例を,図8に示す。管理サーバ140は,映像DB160から各映像番号ごとの映像と撮影時刻の情報とを読み出すとともに,対象履歴DB150から,無線タグ10から受信局20が受信した標識番号と受信時刻の情報を読み出す。管理サーバ140は,撮影時刻がt1であるとすると,その撮影時刻と標識番号の受信時刻とを照合し,その差から標識番号が位置Aから位置Dまでのどのタイミングで撮影したかを判別し,映像番号と位置A〜Cと標識番号リストの組からなる管理情報を作成する。図6,図7に示す被写体の位置の場合,その管理情報のリストは,図8に示される映像番号1のようになる。
【0031】
〔第3の実施の形態〕
図9に,本発明の第3の実施の形態に係わる被写体識別システムの構成例を示す。本実施の形態も,電磁波として赤外線を用いた場合を例に示す。第3の実施の形態は,無線タグ10が撮影手段100の照射手段130が照射する赤外線以外の赤外線に反応して誤作動を引き起こすのを防ぐ手段を備える構成の例である。
【0032】
照射手段130における信号送信部133は,固有の信号(例えばAAABBBCCC)で赤外線を変調し送信する。無線タグ10における受波手段11は,信号受信部13と信号識別部14とから構成され,信号受信部13において,撮影手段100の信号送信部133からの受信信号を復調し,信号識別部14において復調信号が「AAABBBCCC」であるかどうかを判断する。
【0033】
無線タグ10は,復調した信号が「AAABBBCCC」と一致した場合,標識番号送信部15において標識信号を送信する。復調した信号が「AAABBBCCC」でない場合,標識信号を送信しない。
【0034】
上記手段を用いることにより,照射手段130以外の赤外線照射機が赤外線を照射した場合でも,無線タグ10は誤作動することがなく,被写体認識における誤認識を防ぐことができる。
【0035】
図10に,本発明の第1および第2の実施の形態に係わる無線タグの動作フローを示す。無線タグ10は,赤外線を受光したかどうかをステップS1で判断し,受光した場合ステップS2に移行する。受光しなかった場合には,ステップS1を繰り返す。ステップS2に移行した場合,標識番号を受信局20へ送信し,その後,ステップS1に移行する。
【0036】
図11に,本発明の第3の実施の形態に係わる無線タグの動作フローを示す。無線タグ10は,赤外線を受光したかどうかをステップS10で判断し,受光した場合には,ステップS11に移行する。受光しなかった場合には,ステップS10を繰り返す。ステップS11に移行した場合,受光した信号を復調し,続いてステップS12において,復調した信号を識別する。ステップS13では,識別した信号があらかじめ定められた固有の信号であるかどうかを判断し,一致すればステップS14へ移行する。一致しなかった場合にはステップS10へ移行する。ステップS14へ移行した場合,標識番号を受信局20へ送信し,ステップS10へ移行する。
【0037】
管理サーバ140における情報処理手段141は,コンピュータとソフトウェアプログラムとによって実現されるものであるが,情報処理手段141が行う処理は,図4または図8に示す映像番号と被写体の関係を示す管理情報を作成する処理であり,これは上記説明から容易に実施できるので,フローチャートを用いた処理の流れの説明は省略する。また,図4または図8に示す映像番号と被写体の関係を示す管理情報を保持することにより,映像DB160が蓄積する映像の検索を,標識番号をキーとして簡易に行うことができることは説明するまでもない。
【0038】
以上説明した実施の形態は,すべて本発明を例示的に示すものであって限定的に示すものではなく,本発明は他の種々の変形態様および変更態様で実施することができる。
【0039】
【発明の効果】
以上述べたように,本発明によれば,複数の映像から映像受信者が所望する被写体(例えば幼稚園であれば自分の子供)が撮影されている映像を簡単に検索することが可能となる。また,照射手段により照射する信号を固有の信号で変調することにより,無線タグの誤作動を防止することが可能となる。さらに,照射部の照射指向を時間によって制御する手段を設けることにより,ある映像の中でどの位置に,映像受信者の所望する被写体が撮影されているかを特定することが可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の構成例を示す図である。
【図2】本発明の第1の実施の形態を動作を説明するための図である。
【図3】無線タグ(被写体)と標識番号の対応例を示す図である。
【図4】映像番号と被写体の関係を表すリストの例を示す図である。
【図5】本発明の第2の実施の形態の構成例を示す図である。
【図6】本発明の第2の実施の形態の動作を説明するための図である。
【図7】本発明の第2の実施の形態の撮影映像の例を示す図である。
【図8】映像番号と位置と被写体の関係を表すリストの例を示す図である。
【図9】本発明の第3の実施の形態の構成例を示す図である。
【図10】本発明の第1および第2の実施の形態の無線タグの動作フローを示す図である。
【図11】本発明の第3の実施の形態の無線タグの動作フローを示す図である。
【符号の説明】
10 無線タグ
11 受波手段
12 受光部
13 信号受信部
14 信号識別部
15 標識番号送信部
20 受信局
50 LAN
100 撮影手段
110 カメラ
120 撮影制御PC
130 照射手段
131 照射部
132 照射指向制御部
133 信号送信部
140 管理サーバ
141 情報処理手段
150 対象履歴DB
151 対象履歴記録手段
160 映像DB
161 映像記録手段
200 照射指向制御の方向を示す矢印

Claims (2)

  1. カメラによって撮影された映像または画像中の複数の被写体を特定する被写体識別システムであって,
    カメラによって撮影される被写体に,予め定められた周波数の電磁波または超音波を,カメラの画角より小さい照射角によって照射する照射手段と,前記照射手段の指向を順次変化させる照射指向制御手段とを有する撮影手段と,
    前記各被写体に取り付けられる無線タグであって,予め定められた周波数の電磁波または超音波を検出するための受波手段と,該電磁波または超音波を検出した場合に,固有の標識番号を発信する手段とを有する無線タグと,
    前記無線タグが発信する固有の標識番号を受信する受信手段と,
    前記受信手段により固有の標識番号を受信した時刻と,前記撮影手段により映像または画像を撮影した時刻とから,前記固有の標識番号を受信した時刻に前記照射手段によって照射していた方向の映像または画像内における位置を特定するとともに,撮影された映像または画像と,その映像または画像中に撮影されている前記無線タグを取り付けた被写体を特定する固有の標識番号と,映像または画像内における位置とを関連付ける情報処理手段とを備える
    ことを特徴とする無線タグを用いた被写体識別システム。
  2. 請求項1記載の無線タグを用いた被写体識別システムにおいて,
    前記照射手段は,固有の信号で予め定められた周波数の電磁波または超音波を変調し発信するための信号送信手段を有し,
    前記受波手段は,前記電磁波または超音波を受信し復調するための信号受信手段と,受信信号を識別するための信号識別手段とを有し,
    前記無線タグは,前記受波手段が識別した信号が前記固有の信号であった場合に,固有の標識番号を発信する
    ことを特徴とする無線タグを用いた被写体識別システム。
JP2002237434A 2002-08-16 2002-08-16 無線タグを用いた被写体識別システム Expired - Fee Related JP3974830B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002237434A JP3974830B2 (ja) 2002-08-16 2002-08-16 無線タグを用いた被写体識別システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002237434A JP3974830B2 (ja) 2002-08-16 2002-08-16 無線タグを用いた被写体識別システム

Publications (2)

Publication Number Publication Date
JP2004080347A JP2004080347A (ja) 2004-03-11
JP3974830B2 true JP3974830B2 (ja) 2007-09-12

Family

ID=32021182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002237434A Expired - Fee Related JP3974830B2 (ja) 2002-08-16 2002-08-16 無線タグを用いた被写体識別システム

Country Status (1)

Country Link
JP (1) JP3974830B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4179836B2 (ja) * 2002-09-26 2008-11-12 富士フイルム株式会社 情報記録装置
JP2005303750A (ja) * 2004-04-14 2005-10-27 Nec Infrontia Corp 写真プリントシステム、撮影装置、画像プリント指定装置及びそれらに用いる画像プリント指定方法
JP2006101028A (ja) * 2004-09-28 2006-04-13 Hitachi Kokusai Electric Inc 監視システム
JP2006174200A (ja) * 2004-12-17 2006-06-29 Dainippon Printing Co Ltd 撮影情報管理システム及びその方法
JP2008078954A (ja) * 2006-09-21 2008-04-03 Hitachi Kokusai Electric Inc 画像管理システム
JP2008148138A (ja) * 2006-12-12 2008-06-26 Hitachi Kokusai Electric Inc 監視システム
EP2225867B1 (en) 2007-11-28 2011-07-06 Nokia Corporation Wireless device detection
EP3252491A1 (en) * 2016-06-02 2017-12-06 Nokia Technologies Oy An apparatus and associated methods

Also Published As

Publication number Publication date
JP2004080347A (ja) 2004-03-11

Similar Documents

Publication Publication Date Title
US10037451B2 (en) Methods, computer program products, and systems for providing automated video tracking via radio frequency identification
US7248285B2 (en) Method and apparatus for automatic photograph annotation
US20070228159A1 (en) Inquiry system, imaging device, inquiry device, information processing method, and program thereof
US8130774B2 (en) Object tracking method and system
JP2004094949A (ja) 書類セキュリティシステム
CN101057491A (zh) 具有生物统计读取器的无线图像拍摄装置
JP2007158421A (ja) 監視カメラシステム及び顔画像追跡記録方法
JP3974830B2 (ja) 無線タグを用いた被写体識別システム
JP2006227863A (ja) 名札表示装置、監視装置、名札表示方法、名札表示用プログラム
CN111753743A (zh) 一种基于网闸的人脸识别方法及系统
JP4830904B2 (ja) ネットワークシステム
CN111294552A (zh) 图像采集设备确定方法及装置
KR100798917B1 (ko) 디지털 사진 컨텐츠 처리 시스템 및 그 시스템에서의디지털 사진 컨텐츠 송/수신 방법 및 장치
JP2008078954A (ja) 画像管理システム
JP2006195786A (ja) 画像データ検索方法・画像データ検索装置及びプログラム
KR102146613B1 (ko) 저전력 적외선 비컨 및 고속카메라를 이용한 자재 위치 모니터링 방법 및 시스템
JP3634790B2 (ja) 蓄積型映像発信システム
JP2006323560A (ja) 画像管理システムおよび撮影装置
US20080152229A1 (en) Monitoring device and monitoring method
JPH11281754A (ja) 在庫管理装置
JP2006101028A (ja) 監視システム
JP4718876B2 (ja) 監視システム及び監視方法
JP2004029749A (ja) 情報取得システム及び情報取得方法並びに画像撮影装置
JP3561490B2 (ja) リアルタイム映像発信システム
Rodrigues et al. LoRa System for Monitoring and Facial Recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070216

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070615

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100622

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110622

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120622

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130622

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140622

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees