JP4012161B2 - 物品管理装置、物品管理システム、購買支援システム及び購買支援方法 - Google Patents

物品管理装置、物品管理システム、購買支援システム及び購買支援方法 Download PDF

Info

Publication number
JP4012161B2
JP4012161B2 JP2004057933A JP2004057933A JP4012161B2 JP 4012161 B2 JP4012161 B2 JP 4012161B2 JP 2004057933 A JP2004057933 A JP 2004057933A JP 2004057933 A JP2004057933 A JP 2004057933A JP 4012161 B2 JP4012161 B2 JP 4012161B2
Authority
JP
Japan
Prior art keywords
article
information
tag
tag reader
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004057933A
Other languages
English (en)
Other versions
JP2005250684A (ja
Inventor
本 大 介 山
橋 律 視 高
島 秀 則 竹
野 剛 仲
井 岳 石
本 由 加 森
東 和 孝 大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004057933A priority Critical patent/JP4012161B2/ja
Publication of JP2005250684A publication Critical patent/JP2005250684A/ja
Application granted granted Critical
Publication of JP4012161B2 publication Critical patent/JP4012161B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、物品の位置を管理する物品管理装置及び物品管理システム、ユーザによる商品の購買を支援する購買支援システム及び購買支援方法に関する。
人間の生活環境である家庭内では、非常に多種多様な物が存在している。その物の管理方法としては、置き場を決めるという方法が一般に取られている。しかしこの方法では、物を使用した後に再び同じ場所へ戻さないなどといった人間のずさんな管理により、物は散らかり、なくなってしまい、この結果、物がどこにあるのか分からず探し回るという状態が生じやすい。このように物がなくなるという問題を解決するため、物の位置を検出及び管理する方法が従来からいくつか提案されている。その中で、電波を利用し、非接触でデータの読み取りが可能な無線タグを利用したシステムとして、従来から例えば以下のものがある。
まず、生活環境下における物品の収納場所を管理するシステムとして収納管理システムが挙げられる。この収納管理システムでは、物品(管理対象物)が収納され得る複数の収納場所にタグリーダを設置しておく。各管理対象物には、タグリーダからの信号を受信すると管理対象物を識別するための識別情報をタグリーダに送信する無線タグを取り付けておく。タグリーダが無線タグから得た情報に基づいて、管理対象物の識別情報と収納場所とを関連づけ、これにより管理対象物の収納場所を管理する(例えば特許文献1を参照)。
次に、生活環境内における対象物や生活者に関する情報を収集・加工し生活情報を管理するシステムとして生活情報管理システムがある。この生活情報管理システムでは、管理対象物に取り付けられた無線タグとタグリーダとの間の通信可能な距離を複数設定でき、これを利用してタグリーダから無線タグまでの距離、さらには管理対象物の位置を推定する(例えば特許文献2を参照)。
次に、移動体が管理対象領域を走査するシステム例として、保管システム(例えば特許文献3を参照)や、蔵書管理システム(例えば特許文献4)がある。前者の保管システムでは、保管区画の識別情報と保管物の識別情報とを、保管棚の間口方向に沿って移動する移動体で読み取り、保管物の収納状態を管理する。後者の蔵書管理システムでは、蔵書を管理するために書架の書籍に取り付けられた無線タグの情報を移動体が読み書きして、書籍を管理する。
特開平7-336269号公報 特開2003-233715号公報 特開2002-46824号公報 特開2001-163417号公報 特開2002-32649号公報
しかしながら、上述した各システムでは管理対象物(物品)を効率良く管理できなかった。
即ち、収納管理システムでは、管理対象物の収納場所を予め設定し、収納場所ごとにタグリーダを設置しなければならなかった。
一方、生活情報管理システムでは、上述したように、無線タグ及びタグリーダ間の通信可能距離を複数回設定することによって物品の位置を類推するものであるため、全ての管理対象物の収納位置を把握するためには、タグリーダの周囲(半径:最大通信距離の範囲)内に全管理対象物が存在する必要がある。1つのタグリーダで管理対象域を覆えない場合には、複数のタグリーダを設置する必要がある。また、このシステムでは、タグリーダ及び無線タグ間の距離のみを利用して管理対象物の位置を推定するため、無線タグの位置を正確に推定するためには、少なくても2つ(望ましくは3つ)のタグリーダが必要となる。
また、保管システムや蔵書管理システムでは、ともに、管理対象物のみならず、管理対象物を収納する保管区画もしくは書架を設定し、その保管区画もしくは書架に対して収納場所の識別情報を持つ無線タグを設定する必要がある。また管理対象物としても、前者は保管棚に収納される物、後者は書籍と限定される。
ところで、買い物の際、購入しようとしている品物が既に家にあるのかないのか(購入済みなのか)分からず、あるいは覚えていなかったために、結果的に同じ品物を購入してしまい、無駄になるようなことがある。また、品物が既に家にはないのに(欠品しているのに)購入することを忘れてしまう、あるいは、欠品していることに気づかなかったために再度店舗へ足を運ばなければならないこともある。このような購買行動の“二度手間”という問題に対し、効率的な買い物を支援するエージェントシステムが考案されている(特許文献5参照)。
しかし、このようなエージェントシステムも、家庭内にある物品情報の収集及び蓄積をどのように自動化するかが大きな課題であり、現状では人手による情報入力、あるいはバーコードリーダを使った半自動的な情報入力などに頼らざるを得ない。また、物品の在庫管理を行うデータベースにおいては、物品データを更新するコストが大きく、家庭内のような種々雑多な物品を対象にし、不定期かつ不定形に物品が搬入、移動及び搬出される場ではユーザの作業負担が大きくなる。
本発明は、上記問題点に鑑みてなされたものであり、物品の種類や収納場所を限定することなく、少ないタグリーダで物品の位置を高精度に検出可能な物品管理装置及び物品管理システムを提供することを目的とする。
さらに、本発明は、家庭内における管理対象物の管理の煩わしさを解消可能な購買支援システム及び購買支援方法を提供することを目的とする。
本発明の一態様としての物品管理装置は、
物品に取り付けられ物品情報を保持し外部と無線による情報通信が可能な無線タグから物品情報を読み取るタグリーダと、
前記タグリーダを搭載した状態で移動する移動手段と、
前記移動手段の位置を計測する位置計測手段と、
前記タグリーダによって前記無線タグの検出が開始された際における前記移動手段の位置である開始位置からの予め想定した検出範囲端と、該無線タグの検出が終了した際における前記移動手段の位置である終了位置からの予め想定した検出範囲端との交差点を前記無線タグが取り付けられた物品の位置として推定する物品位置推定手段と、
を具備する。
本発明の一態様としての物品管理システムは、
物品に取り付けられ物品情報を保持し外部と無線による情報通信が可能な無線タグと、
前記無線タグから物品情報を読み取るタグリーダと、
前記タグリーダを搭載した状態で移動する移動手段と、
前記移動手段の位置を計測する位置計測手段と、
前記タグリーダによって前記無線タグの検出が開始された際における前記移動手段の位置である開始位置からの予め想定した検出範囲端と、該無線タグの検出が終了した際における前記移動手段の位置である終了位置からの予め想定した検出範囲端との交差点を前記無線タグが取り付けられた物品の位置として推定する物品位置推定手段と、
前記タグリーダによって読み取られた物品情報と、推定された前記物品の位置とを送出する送出手段と、
前記物品情報及び前記物品の位置を受け取り、受け取った前記物品情報及び物品の位置を管理する管理手段と、
を具備する。
本発明により、物品の種類や収納場所を限定することなく、少ないタグリーダにより、物品の位置を管理できる。
以下、本発明の実施の形態を図面に基づいて説明する。
(第1の実施の形態)
本実施の形態は、2輪独立駆動方式の移動ロボットとしての物品管理ロボットを用いて家庭内の物品(管理対象物)の位置を管理するものである。以下、本実施の形態について詳しく説明する。
図1は、本発明の第1の実施の形態としての物品管理システムの構成を示す図である。
図2は、本物品管理システムが設置される部屋の間取り図を示す。
本物品管理システムでは、ユニークなIDを持つ無線タグ(以下IDタグと呼ぶ)T1、T2・・を用いる。IDタグとしては、例えばRFID(Radio Frequency IDentification)タグを用いることができる。IDタグT1、T2・・内の情報はタグリーダ2によって読み取られ、タグリーダ2の検出範囲は、本実施の形態では、タグリーダ2から例えば半径約50cm程度とする。また、タグリーダ2は、複数のIDタグを同時に読込み可能なマルチリードタイプのものとする。
図1に示すように、全ての物品(管理対象物)M1、M2・・にはIDタグT1、T2・・が取り付けられる。物品管理ロボット1は、物品に取り付けられたIDタグを読み込むタグリーダ2と、タグリーダ2で読み込まれたIDを認識するID認識部3と、左右2つの車輪を駆動するモータとそのモータを制御する制御回路とを含む移動駆動部4と、左右両輪に取り付けられて車輪の回転量を計測するエンコーダ5と、エンコーダ5で計測された左右両輪の回転量に基づき現在の位置を計測する移動位置計測部6と、物品管理ロボット1の移動経路を地図情報DB7を参照して生成する経路生成部8と、移動位置計測部6で計測された位置から経路生成部8で作られた経路に沿って移動するために必要なロボットの左右両輪の回転量を算出する移動制御部9と、IDタグが検出された際のロボットの位置とそのIDと地図情報DB7とに基づき、IDタグが取り付けられた物品の位置を推定する物品位置推定部10と、物品情報DB11及び地図情報DB7を管理する物品管理サーバ12と、上記各装置の電源(バッテリー)(図示せず)とを備える。
物品情報DB11は、物品情報として、例えば、物品に取り付けられたIDタグのIDと、物品の名称と、物品の種類と、物品の形状データ(大きさ・重さ等)と、物品におけるIDタグの取付位置と、物品が登録された時刻と、物品位置推定部10によって推定された物品の位置と、物品の位置が推定された時刻とを含む。
地図情報DB7は、家庭内で物品管理ロボット1が移動できる領域及び移動できない領域からなる2次元地図や、各部屋や部屋内の机など物品の置かれる可能性のある場所及びその名称(居間、和室、ダイニングテーブルなど)を含む。
本実施の形態では、移動位置計測部6は、物品管理ロボット1の位置を計測するためにエンコーダ5を用いているが、移動方向を計測可能なジャイロなど、別の計測手段をさらに用いてもよい。
次に、本物品管理システムを用いて物品の位置を管理する方法を具体的に説明する。
まず、物品にIDタグを取り付ける。近年、商品管理の観点から、商品にIDタグを取り付けることが検討されている。物品に既にこのIDタグが付いている場合には、それを利用してもよい。
次に、物品管理ロボット1のタグリーダ2にこのIDタグを近づけてIDを認識させ、物品情報DB11に物品の名称・種類・形状データ等を登録する。
次に、物品管理ロボット1を家庭内で巡回させて、物品の位置を探索させる。
物品管理ロボット1による探索は、一定時間ごとであっても、ユーザが指定した時であってもよい。物品管理ロボット1は、地図情報DB7上で予め決められた(あるいはランダムに決められた)移動経路を、タグリーダ2を走査しながら移動する。但し、物品は、部屋の周囲や机上など物品管理ロボット1の障害物になるものの付近にあることが多いため、部屋の周囲や障害物の近くを走行する(例えば、壁伝いに走行する)経路を含むことが好ましい。
物品管理ロボット1は、IDタグを検出した場合は、現在の移動ロボット1の位置と、検出したIDとを記録する。物品管理ロボット1は、後述の物品位置推定方法を用いて、物品の位置をある精度を持って推定する。物品管理ロボット1は、検出したIDと、推定した物品の位置を、その物品を検出した時刻を含めて、物品情報DB11に登録する。
ここで、物品管理ロボット1が、ユーザによって指定された物品の位置を提示する方法を説明する。
まず、ユーザは、物品の名称あるいはその特徴(例えば種類、大きさ、登録時刻など)等の情報を物品管理ロボット1に入力する。入力方法は、例えば、物品管理ロボット1に備えさせられた音声認識装置(図示せず)やタッチパネル付きディスプレイ(図示せず)若しくは部屋内に取り付けられた端末機器(図示せず)などを用いる。
物品管理ロボット1は、入力された情報から該物品を特定できた場合は、物品管理DB11を参照して、この物品が最後に検知された位置を検索し、検索結果をユーザに提示する。
ユーザへの提示方法としては、物品管理ロボット1に備えさせられたディスプレイに室内の地図と共にその物品の位置を表示する、物品管理ロボット1がその位置へ移動する、音声によりその物品が存在する部屋の名称を発話する、などがある。ユーザは、提示された情報に基づき物品を見つけることができる。
もし、探そうとしている物品がまだ物品管理ロボット1によって検出されていない場合や、物品管理ロボット1によって提示された位置にその物品がない場合等は、物品管理ロボット1に探索動作を行わせてもよい。
次に、物品管理ロボット1による物品の位置の推定手法について説明する。
図3(A)及び図3(B)は、物品管理ロボット1が物品の位置を推定する第1の例を説明する図である。図4(A)及び図4(B)は、物品管理ロボット1が物品の位置を推定する第2の例を説明する図である。
この推定手法は、物品管理ロボット1がIDタグを最初に検出した際における物品管理ロボット1の位置とそのときの検出範囲、及び物品管理ロボット1がIDタグを最後に検出した際における物品管理ロボット1の位置とそのときの検出範囲に基づき、物品の位置を推定するものである。より詳しくは以下の通りである。
図3(A)、(B)の順に、また、図4(A)、(B)の順に物品管理ロボット1が移動した場合を考える。物品管理ロボット1の検出範囲は図中、破線の円で示される。
図3(A)及び図4(A)の時点で、IDタグが検出範囲に入り、物品管理ロボット1がIDタグの検出を開始する。この時点では、物品管理ロボット1はこの円上のどこかにIDタグがあることを検知できるのみである。この後、物品管理ロボット1は、図3(B)及び図4(B)に示す位置に移動し、この時点で、IDタグの検出を終了する。検出を開始及び終了した際における各円の交差部が物品の位置と推定される。即ち、物品の位置は、図3(B)及び図4(B)に示すように、点(a)、(b)の2点に推定できる。
この際、例えば、図3(B)中の点(a)(b)のうち、地図情報DB7に基づき、(b)点が部屋の壁の中であることが検知された場合は、検出されたIDタグは、点(b)に存在することは考えられないので、点(a)にあると推定できる。また物品情報DB11に基づきこのIDタグを有する物品が十分に大きなサイズを有することが検知された場合は、物品の位置が2点まで絞られれば、この後、現地に赴くことで、物品を容易に発見できる
図3(B)及び図4(B)の後、物品管理ロボット1が、さらにこの付近を移動することで、さらに正確な物品の位置も推定できる。この様子を図5(A)〜(D)に示す。
図5(A)、(B)は、上述した図3(A)、(B)と同じである。物品管理ロボット1は、図5(B)の位置まで移動した後、さらに図5(C)、(D)に従って移動し、図5(D)に示す位置にて、再度、IDタグを検出を開始する。この結果、物品の位置は、3つの円の交差部、即ち、点(a)に特定できる。
ここで、物品の位置の検出をより効率的に行う手法を2つ(第1及び第2の手法)例示する。
まず、第1の手法について説明する。
各部屋に部屋内を撮影可能な固定カメラを設置しておく。また、IDタグを内蔵した物品を撮影し、撮影した画像を固定カメラに登録しておく。固定カメラは、登録された画像と、部屋内を撮影した複数の画像とに基づき、部分空間法などの周知のパターン認識技術を用いて、部屋内における物品の位置を検出し、さらに物品の移動経路を追跡する。そして、固定カメラは、物品の部屋内における移動履歴を作成し、内部に保存する。物品管理ロボット1は、巡回時に固定カメラから移動履歴を取得して物品管理サーバ12内に保存する。従って、物品管理ロボット1は、自ら部屋内を移動してIDタグを検出することなく物品の位置を把握できる。
例えば物品管理ロボット1がユーザの指示に従って物品を探索する場合(例えばユーザが探す対象となる物品の情報を物品管理ロボット1に入力する場合)、物品管理ロボット1は、物品管理サーバ12内の移動履歴に基づいて物品の最後の移動先を特定し、特定された場所及びその周辺領域を探索する。物品管理ロボット1は、部屋内の全体を探索する必要はない。このように、物品管理ロボット12は、効率よく物品を探索できる。
次に、第2の手法について説明する。
部屋の出入り口などに固定タグリーダを設置する。固定タグリーダを設置した部屋の間取り図を図6に示す。固定タグリーダBの近くをIDタグ付の物品が通過する際に、固定タグリーダBは、その物品のIDと通過時刻とを記録し、物品管理サーバ12へ記録情報を送る。物品管理ロボット1は、物品を探す際の手がかりとして、この記録情報と固定タグリーダBの設置位置とを利用できる。例えば、物品の探す領域を、最後に物品を検出した固定タグリーダの付近と限定できる。物品管理ロボット1が移動を停止している間は、物品管理ロボット1を固定タグリーダとして動作させることも可能である。さらに2つの固定タグリーダを近接して配置することで物品の移動方向も推定可能である。これについてもう少し詳しく説明すると以下の通りである。
図7(A)〜(B)は、物品の移動方向を推定する手法を説明する図である。
図7(A)に示すように、固定タグリーダa、bが並んで配置されている場所に、IDタグT1を有する物品M1が、図中矢印方向に移動したとする。図7(B)の状態で、固定タグリーダbがIDタグT1を検出し、次いで、図7(C)の状態で固定タグリーダaがIDタグT1を検出する。従って、固定タグリーダa、bによるIDタグの検出時刻の差異に基づき、物品の移動方向を推定できる(本例では図中右側から左側へ移動したことを推定できる)。推定した移動方向を用いることで、物品を探索する領域をさらに限定できる。
以上のように、本実施の形態によれば、タグリーダを搭載した物品管理ロボットに家庭内を巡回させて物品に埋め込まれたIDタグを検出させ、検出した際における物品管理ロボットの位置に基づいて物品の位置を推定するようにしたので、物品の種類や物品の収納場所等に制約されることなく、従来よりも少ないタグリーダにより物品の位置を検出できる。
(第2の実施の形態)
図8は、本発明の第2の実施の形態としての物品管理システムの構成を示すブロック図である。
図8に示すように、この物品管理システムは、物品管理ロボット1と物品管理サーバ12とを別体として備える。これにより、物品管理ロボット1の重量を軽減できると共に、物品管理ロボット1の使用電力を低減できる。但し、この構成により、物品管理ロボット1と物品管理サーバ12と間で流れる情報が第3者に傍受され易くなるので、これらの間を流れる情報についてセキュリティを十分に確保する必要がある。特に、これらの間では家庭内の物品や地図と言ったプライバシに関わる情報がやり取りされるのでセキュリティの確保は重要である。
そこで、以下、セキュリティを確保する一例について説明する。
図9は、セキュリティを確保した物品管理システムの構成例を示すブロック図である。
本システムは、物品管理ロボット1と、物品管理サーバ12と、物品管理ロボット1と物品管理サーバ12とを結ぶ通信路13とを有する。ここで通信路13は、ケーブルであっても、無線であってもよい。なお、図8に示される物品管理サーバ12内の地図情報DB7は、説明の簡単化のため、図示を省略してある。
物品管理サーバ12内の物品情報DB11は、セキュリティの確保のため、物品管理ロボット1(ユーザ)以外はアクセスできないものとされる。
即ち、物品情報DB11へのアクセスには、例えば何らかの認証が必要とされる。ここでは認証の手段として、物品管理ロボット1に数字あるいは英数字を入力するボタンを用意しておき、情報を求めるユーザが、その都度パスワードを入力するようにする。
認証のためにはあらかじめ、ユーザにパスワードを登録させ、物品管理サーバ12内に保存しておく必要がある。パスワードが外部から読み出せては意味がないため、パスワードをそのまま物品管理サーバ12内に保存するのではなく、ハッシュ関数によって変換した結果を保存する。パスワードの照合は、入力されたパスワードをハッシュ関数によって変換したものが、あらかじめ物品管理サーバ12内に保存したものと一致するかどうかで行う。ここで、ハッシュ関数とは、入力(パスワード)に基づき所定の計算を行ってハッシュ値を出力する関数で、関数の出力(ハッシュ値)からパスワードを求めることが困難な関数のことである。ハッシュ関数としては例えばMD5(Message Digest algorithm 5)を使用できる。
物品管理サーバ12内に保存された物品情報を取得する場合は、物品管理ロボット1はユーザに対しパスワードの入力を求める。ユーザによってパスワードが入力されると、物品管理ロボット1は入力されたパスワードからハッシュ値を算出して、物品管理サーバ12に送信する。物品管理サーバ12は、受け取ったハッシュ値に基づきパスワードの照合を行い、パスワードが正しければ、要求された物品情報を送り返す。
通信部13を流れるデータ(例えば物品管理サーバ12から物品管理ロボット1に送出される物品情報等)は、周知の暗号化手法(例えばTLS(Transport Layer Security))を用いて暗号化する。これにより通信路13において情報が漏洩する可能性を減らし、一層に安全性を高めることができる。
ここでは、物品情報のセキュリティの保護について説明したが、地図情報のセキュリティについても同様にして図ることができる。
以上のようにして本システムで扱う物品情報及び地図情報を保護し、その有用性を高めることで、ユーザの本システムに対する信頼感を高めることができる。
(第3の実施の形態)
IDタグを利用して物品を管理する際に、時事刻々、事細かな物品の位置を物品管理サーバ12に登録していくと、ユーザが欲しい情報を探す際に履歴データが煩雑になりすぎる恐れがある。
そこで、空間を分割するボロノイ図を考え、これを用いた上位概念的なデータベースを作成することにより、見やすく簡易な履歴情報を作成することを考える。
ボロノイ図とは、空間中にいくつかの母点が配置されているときに、その空間内の点がどの母点に近いかによって空間を分割した図のことをいう。分割された各領域をボロノイ領域といい、各ボロノイ領域内に母点が1つ含まれる。この母点にIDタグのリーダを設置する。
図10は、2次元の場合におけるボロノイ図例を示す。なお、3次元の場合も同様に考えることができる。
図8に示すように、各母点に固定タグリーダ14が設置される。各固定タグリーダ14は、対応するボロノイ領域に入った物品のIDタグから情報を読み取り、その情報を物品管理ロボット1(図1参照)に送信し、物品管理ロボット1は、受け取った情報に基づき、物品管理サーバ12内の物品の情報(位置等)を更新する。
図11は、固定タグリーダが、対応するボロノイ領域の全体を検出できない場合を示す図である。
このような場合は、覆うことができない領域A(図中の斜め線領域)を物品管理ロボット1に巡回させて補えばよい。
図12は、複数のボロノイ領域A〜Cを物品が移動した状態を示す。
図12に示すようにボロノイ領域A〜Cを物品が移動した場合の物品の移動履歴(データベース)は、例えば、以下のようにして作成する。
物品NO3 移動履歴
10時20分 領域A
15時25分 領域B
20時38分 領域C
離散的な時間間隔で物品管理を行う場合は、前回の時刻において検出されたボロノイ領域と異なるボロノイ領域に物品が存在するときのみ、その領域を記録してもよい。
(第4の実施の形態)
図13は、本発明の第4の実施の形態としての物品管理システムの構成を示すブロック図である。
この物品管理システムは、部屋内に固定設置された、IDタグを含むマーカA1に基づいて移動位置計測部6によって計測された物品管理ロボット1の位置を補正しようとするものである。以下本実施の形態について詳しく説明する。
第1の実施の形態で説明したように、物品管理ロボット1の自己位置計測方法としては、エンコーダ5やジャイロ(図示せず)といったセンサを用いる。
しかし、これらのセンサを用いて自己位置の計測を行うと、積算誤差が生じ、位置の計測誤差が次第に大きくなる問題が生じる。
そこで、本実施の形態では、図13に示すように、マーカA1を導入する。マーカA1にはマーカの固有コードを格納したIDタグA2が取り付けられ、既知の位置に設置される。
図14は、マーカA1を取り付けた部屋の間取り図を示す。
マーカA1の座標はマーカのIDとともに地図情報DB7に書き込まれている。
物品管理ロボット1による自己位置補正処理について説明すると以下の通りである。
タグリーダ2がマーカA1に取り付けられたIDタグA2を検出し、ID認識部3がマーカA1のIDを認識すると、物品位置推定部10はマーカA1の位置を、前述した手法を用いて推定する。移動位置補正部31は、物品位置推定部10によって推定されたマーカA1の位置と、マーカA1の実際の位置との差を求め、この差を用いて物品管理ロボット1の自己位置誤差を算出する。そして、移動位置補正部31は、算出した自己位置誤差を、移動位置計測部6に出力し、移動位置計測部6は、入力された自己位置誤差を用いて、自らの位置を補正する。
以上のように、本実施の形態によれば、物品管理ロボット1の位置を高精度に算出できるようにしたので、これにより物品の位置を高精度に検出できる。
(第5の実施の形態)
図15は、本発明の第5の実施の形態としての物品管理システムの構成を示すブロック図である。
この物品管理システムは、物置(図16参照)などの閉じられた空間の出入り口に固定設置された、書き換え可能なIDタグR1、R2・・を含むIDタグ付固定タグリーダCを備える。このIDタグ付固定タグリーダCを設置した部屋の見取り図を図16に示す。
IDタグ付固定タグリーダCは、閉じた空間の出入り口をIDタグ付きの物品が通過したら、その物品のIDと同一のIDが、書換え可能IDタグR1、R2・・に記録されているかどうかを調べる。
より詳しくは、図15に示すように、IDタグ付固定タグリーダCにおけるタグリーダ32がIDタグからIDを読み取り、ID認識部33がこのIDと同一のIDが、書き換え可能IDタグR1、R2・・のいずれかに含まれているどうかを調べる。
いずれの書換え可能IDタグR1、R2・・にも同一のIDが含まれていない場合は、ID認識部33は、その物品は閉じられた空間内に入ったと判断し(図16中の矢印参照)、そのIDを書換え可能IDタグに記録する。
一方、いずれかの書換え可能IDタグR1、R2・・に同一のIDが含まれている場合は、ID認識部33は、その物品が閉じられた空間から出たと判断し、そのIDを書換え可能IDタグR1、R2・・から消去する。
閉じられた空間への物品の出入りについては、第1の実施の形態で述べたように、2つの固定タグリーダを近接配置し、これにより移動方向を検出を行ってもよい。
物品管理ロボット1は、書換え可能IDタグR1、R2・・内の情報を検出することで、閉じられた空間内に入ることなく、閉じられた空間内に存在する物品の情報を取得できる。
(第6の実施の形態)
本実施の形態では、上述した各実施の形態における物品管理システムを利用した購買支援システムについて説明する。
図17は、本購買支援支援システムの構成を示すブロック図である。
本購買支援システムは、例えばスーパーマーケット等の店舗にいるユーザが、今現在購入しようとしている品物が既に家庭内にあるかどうかをその場で確認可能にするものである。以下、本購買支援システムについて詳しく説明する。
図17に示すように、本購買支援システムは、モノ情報収集クライアント21、モノ情報ライブラリサーバ22、モノ情報格納・検索サーバ23及び検索クライアント24を備える。
モノ情報収集クライアント21は、例えば、第1の実施の形態における物品管理ロボット1に対応する。即ち、モノ情報収集クライアント21は、RFIDタグリーダ等のタグリーダを内蔵し、自律走行あるいは歩行することで家庭内の物品情報(物品名等の物品識別情報、製造元、製造日時、物品の個数、物品の場所、物品の検出された日時など)を自動収集する。このモノ情報収集クライアント21は、ネットワークを介して、モノ情報格納・検索サーバ23に対して、収集した物品情報等を送信する。
モノ情報ライブラリサーバ22は、各種物品の物品定義情報(例えば商品カテゴリであり、IDタグ内に含まれる物品情報以外の情報)を格納する。モノ情報ライブラリサーバ22は、モノ情報格納・検索サーバ23からある物品についての物品定義情報の提供要求があった場合には、該当する物品の物品定義情報を検索して、モノ情報格納・検索サーバ23に送信する。
モノ情報格納・検索サーバ23は、モノ情報格納部25とモノ情報検索部26とを備える。
モノ情報格納部25は、モノ情報通信手段25aを用いてモノ情報収集クライアント21から物品情報を受信し、モノ情報蓄積手段25cに蓄積する。モノ情報拡張手段25bは、蓄積した物品情報に含まれる物品識別情報に基づき、当該物品の物品定義情報を、モノ情報検索部26を介してモノ情報ライブラリサーバ22から入手し、物品情報と物品定義情報とをモノ情報としてモノ情報記憶装置25dに格納する。
モノ情報検索部26は、検索情報通信手段26aを用いて検索クライアント24から物品名称等の物品識別情報(検索情報)を受信し、検索情報蓄積手段26bに蓄積する。情報検索手段26cは、蓄積された検索情報を用いて、情報検索ルール26dに合致するモノ情報(例えば蓄積した物品識別情報と同一の物品識別情報を含むモノ情報)が、モノ情報記憶装置25dに格納されているかどうかを検索する。モノ情報検索部26は、検索結果のレポートを、レポート生成手段26eを用いて生成し、生成したレポートを、検索情報通信手段26aを用いて検索クライアント24に送信する。また、モノ情報検索部26は、モノ情報格納部25から物品定義情報の提供要求が合った場合は、検索情報通信手段26aを用いてモノ情報ライブラリサーバ22から物品定義情報を入手して、モノ情報格納部25に送出する。
なお、本実施の形態ではモノ情報格納部25及びモノ情報検索部26を、一体化したサーバとして構成しているが、これらモノ情報格納部25及びモノ情報検索部26をそれぞれ独立したサーバとして構成してもよい。
検索クライアント24は、RFIDタグリーダ等のタグリーダを内蔵し、モノ情報入出力部27を備える。検索クライアント24は、例えば、携帯電話、PHS端末、PDA等の携帯情報端末であるが、これらのものに限定されない。
モノ情報入出力部27は、検索情報入力手段27aを用いて、検索対象となる品物(物品)の識別情報(検索情報)の入力をユーザから受け付け、検索情報通信手段27bを用いて、入力された検索情報をモノ情報格納・検索サーバ23へ送信する。また、モノ情報入出力部27は、検索情報通信手段27bを用いてモノ情報格納・検索サーバ23から検索結果のレポートを受信し、検索情報蓄積手段27cに蓄積する。モノ情報入出力部27は、蓄積した検索結果のレポートを、検索情報出力手段27dを用いてユーザに提示する。
図18は、本購買支援システムによる処理ステップを示すフローチャートである。
まず、ステップS1に示すように、ユーザが、RFIDタグリーダを内蔵した携帯端末等の検索クライアント24に対して、今現在購入しようとしている品物をかざして、品物に埋め込まれたRFIDタグに登録されている物品識別情報を検索クライアント24に認識させる(検索情報の入手)。検索クライアント24は、認識した物品識別情報(検索情報)を、ユーザの指示に従って、モノ情報格納・検索サーバ23に送出する(ステップS1)。
モノ情報格納・検索サーバ23は、ネットワークを介して検索クライアント24から物品識別情報を受け取り、その物品識別情報に一意にマッチする物品識別情報を含むモノ情報がモノ情報記憶装置25d内に格納されているかどうかを検索する(ステップS2)。
検索した結果、マッチするモノ情報が格納されていない場合は(ステップS3のNo)、モノ情報格納・検索サーバ23は、モノ情報ライブラリサーバ22から物品識別情報(検索情報)に対応する物品定義情報を入手し(ステップS24)、入手した物品定義情報と同一の物品定義情報を有する別のモノ情報がモノ情報記憶装置25d内に存在するかどうかを検索する(ステップS5)(格納済みモノ情報との照合)。ここでいう物品定義情報は、検索対象となる品物の属性を特定する情報、例えば商品カテゴリなどである。
一方、検索の結果、マッチするモノ情報が格納されている場合(ステップS3のYes)あるいはステップS5の後、モノ情報格納・検索サーバ23は、照合結果のレポートを生成して(ステップS6)、検索クライアント24に送出する。検索クライアント24は、受け取ったレポートをユーザに提示する(ステップS6)。
図19(A)は、検索クライアント24に表示されたレポート内容を示す図である。
図19(A)に示すように、「アロエヨーグルト3個パック」を検索した結果が示され、「アロエヨーグルト3個パック」は家庭内に存在しなかったことが分かる。そして、これと同一の属性を有するものとして「イチゴヨーグルト2個パック」が家庭内に存在していたことが分かる。ユーザが、画面内の「2.欠品情報」を選択すると、欠品情報生成ルーチン(ステップS7〜S9)が開始される。
欠品情報生成ルーチンでは、検索対象となる品物と属性が同一(物品定義情報が同一)あるいは類似(例えば属性が類似関係にある)のモノ(関連モノ)のうち、現時点で家庭内に存在しないものを抽出する(ステップS7、S8のYes、S9)。抽出対象となるのは、常時家庭内に備えておくべきモノ(常備モノ)や、ある特定期間過去に存在したモノ(特定期間存在モノ)等である。常備するモノ及び期間を特定する規則は、モノ情報検索部26の情報検索ルール26dに含まれる。この規則は、当然ながらユーザにより任意に設定及び変更可能である。
図20は、欠品情報生成ルーチンによる処理ステップをより詳細に示すフローチャートである。
まず、モノ情報格納・検索サーバ23は、検索対象となる品物の関連モノを抽出する処理を行う(ステップS21)。
モノ情報格納・検索サーバ23は、関連モノが存在する場合は(ステップS22のYes)、その中から欠品しているモノ(欠品モノ)を抽出する(ステップS23)。
モノ情報格納・検索サーバ23は、欠品モノが存在する場合は(ステップS24)、その欠品モノが、常備モノあるいは特定期間存在モノであるかどうかを判断し(ステップS25)、常備モノあるいは特定期間存在モノである場合は(ステップS25のYes)、欠品情報を作成する(ステップS26)。
図18に戻って、ステップS10に示すように、モノ情報格納・検索サーバ23は、欠品情報が作成された場合は欠品情報を含むレポートを生成し、欠品情報が作成されなかった場合は、欠品が存在しない旨のレポートを作成して、検索クライアント24に送信する。
検索クライアント24は、受信したレポートをユーザに提示する(ステップS11)。
図19(B)は、検索クライアント24に表示された欠品情報を示す図である。
図19(B)に示すように、「アロエヨーグルト3個パック」の関連モノのうち、牛乳やマーガリン等が家庭内に存在しなかったことが分かる。
ユーザが、画面内の「3.在庫情報」を選択すると、検索対象の品物の今までの家庭内における在庫状態を在庫履歴情報としてモノ情報格納・検索サーバ23から入手できる。
図19(C)は、検索クライアント24に表示された在庫履歴情報を示す図である。
図19(C)に示すように、「アロエヨーグルト3個パック」が過去において存在した何年月日をユーザは確認できる。
以上のように、本発明の実施の形態によれば、モノ情報収集クライアント(ロボット)により検出された家庭内の物品情報をモノ情報格納・検索サーバにおいて管理するようにしたので、ユーザはいつでもこのモノ情報格納・検索サーバにアクセスすることで、今現在購入しようとしている品物について、家庭内に存在するのか否かをその場で確認できる。また、購入しようとしている品物だけでなく、類似品の在庫状況や欠品情報をも確認できる。従って、ユーザは、購入の無駄や購入の二度手間を無くすことができ、これにより、家庭内における物品管理の煩わしさから、解放され得る。
本発明の第1の実施の形態に従った物品管理システムの構成を示すブロック図。 部屋の間取り図。 物品の位置を推定する手法を説明する図。 物品の位置を推定する手法を説明する図。 物品の位置を特定する手法を説明する図。 部屋の間取り図。 物品の移動方向の推定手法を説明する図。 本発明の別の実施の形態に従った物品管理システムの構成図。 セキュリティを確保した物品管理システムの構成例を示すブロック図。 2次元の場合におけるボロノイ図。 固定タグリーダの検出可能範囲がボロノイ領域全体を覆うことができない状態を示す図。 複数のボロノイ領域を物品が移動する状態を示す図。 本発明の第4の実施の形態として物品管理システムの構成を示すブロック図。 部屋の間取り図。 本発明の第5の実施の形態としての物品管理システムの構成を示すブロック図。 部屋の間取り図。 本発明の実施の形態に従った購買支援支援システムの構成を示すブロック図。 購買支援システムによる処理ステップを示すフローチャート。 検索クライアントに表示されたレポート内容を示す図。 欠品情報生成ルーチンによる処理ステップを詳細に示すフローチャート。
符号の説明
1 物品管理ロボット
2 タグリーダ
3 ID認識部
4 移動駆動部
5 エンコーダ
6 移動位置計測部
7 地図情報DB
8 経路生成部
9 移動制御部
10 物品位置推定部
11 物品情報DB
12 物品管理サーバ
13 通信路
14 固定タグリーダ
21 モノ情報収集クライアント
22 モノ情報ライブラリサーバ
23 モノ情報格納・検索サーバ
24 検索クライアント
25 モノ情報格納部
26 モノ情報検索部
25a モノ情報通信手段
25b モノ情報拡張手段
25c モノ情報蓄積手段
25d モノ情報記憶装置
26a 検索情報通信手段
26b 検索情報蓄積手段
26c 情報検索手段
26d 情報検索ルール
26e レポート生成手段
27 モノ情報入出力部
27a 検索情報入力手段
27b 検索情報通信手段
27c 検索情報蓄積手段
27d 検索情報出力手段
31 移動位置補正部
M1、M2、M3、M4 物品(管理対象物)
T1〜T10、A2 IDタグ
a、b、B、32 固定タグリーダ
A1 マーカ
R1、R2 書換え可能IDタグ
C IDタグ付きタグリーダ

Claims (9)

  1. 物品に取り付けられ物品情報を保持し外部と無線による情報通信が可能な無線タグから物品情報を読み取るタグリーダと、
    前記タグリーダを搭載した状態で移動する移動手段と、
    前記移動手段の位置を計測する位置計測手段と、
    前記タグリーダによって前記無線タグの検出が開始された際における前記移動手段の位置である開始位置からの予め想定した検出範囲端と、該無線タグの検出が終了した際における前記移動手段の位置である終了位置からの予め想定した検出範囲端との交差点を前記無線タグが取り付けられた物品の位置として推定する物品位置推定手段と、
    を具備した物品管理装置。
  2. 前記タグリーダは、物品の管理対象領域における既知の位置に設置された無線タグを検出可能であり、
    前記物品位置推定手段は、検出された無線タグの位置を推定し、推定した位置と、前記既知の位置との差を算出し、
    前記位置計測手段は、計測された前記移動手段の位置を、前記差を用いて補正することを特徴とする請求項1に記載の物品管理装置。
  3. 物品に取り付けられ物品情報を保持し外部と無線による情報通信が可能な無線タグと、
    前記無線タグから物品情報を読み取るタグリーダと、
    前記タグリーダを搭載した状態で移動する移動手段と、
    前記移動手段の位置を計測する位置計測手段と、
    前記タグリーダによって前記無線タグの検出が開始された際における前記移動手段の位置である開始位置からの予め想定した検出範囲端と、該無線タグの検出が終了した際における前記移動手段の位置である終了位置からの予め想定した検出範囲端との交差点を前記無線タグが取り付けられた物品の位置として推定する物品位置推定手段と、
    前記タグリーダによって読み取られた物品情報と、推定された前記物品の位置とを送出する送出手段と、
    前記物品情報及び前記物品の位置を受け取り、受け取った前記物品情報及び物品の位置を管理する管理手段と、
    を具備した物品管理システム。
  4. 前記送出手段は、前記物品情報及び前記物品の位置を暗号化して送出することを特徴とする請求項3に記載の物品管理システム。
  5. 物品の管理対象領域における既知の位置に設置され、物品に取り付けられた前記無線タグから物品情報を読み込む第2のタグリーダをさらに具備し、前記第2のタグリーダは、前記無線タグを検出した時刻と、前記無線タグから読み込んだ物品情報とを前記管理手段に送出することを特徴とする請求項3又は4に記載の物品管理システム。
  6. 空間の出入り口を通過する物品における前記無線タグから物品情報を読み込むことにより前記空間内に存在する物品の物品情報を把握する第3のタグリーダをさらに具備し、前記第3のタグリーダは前記空間内に存在する物品の物品情報を前記管理手段に送出することを特徴とする請求項3乃至5のいずれかに記載の物品管理システム。
  7. 複数の領域から構成される物品の管理対象領域の各領域に配置され、物品に取り付けられた前記無線タグから物品情報を読み取り、読み取った物品情報を送出可能な第4のタグリーダをさらに具備し、
    前記第4のタグリーダは、読み取った物品情報を前記管理手段に送出し、
    前記管理手段は、送出元の前記第4のタグリーダが配置された領域を、前記物品の位置として管理することを特徴とする請求項3乃至6のいずれかに記載の物品管理システム。
  8. 各前記第4のタグリーダは、それぞれボロノイ領域の母点を形成するように配置されたことを特徴とする請求項7に記載の物品管理システム。
  9. 前記無線タグが取り付けられた物品を撮像した画像を記憶する記憶手段と、
    物品の管理対象領域における所定の範囲を撮像可能な撮像手段と、
    前記撮像手段によって撮像された前記所定の範囲の画像に基づき、前記所定の範囲内における物品の移動履歴を算出して前記管理手段に送出する移動履歴算出手段と、
    をさらに具備したことを特徴とする請求項3乃至8のいずれかに記載の物品管理システム。
JP2004057933A 2004-03-02 2004-03-02 物品管理装置、物品管理システム、購買支援システム及び購買支援方法 Expired - Fee Related JP4012161B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004057933A JP4012161B2 (ja) 2004-03-02 2004-03-02 物品管理装置、物品管理システム、購買支援システム及び購買支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004057933A JP4012161B2 (ja) 2004-03-02 2004-03-02 物品管理装置、物品管理システム、購買支援システム及び購買支援方法

Publications (2)

Publication Number Publication Date
JP2005250684A JP2005250684A (ja) 2005-09-15
JP4012161B2 true JP4012161B2 (ja) 2007-11-21

Family

ID=35031121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004057933A Expired - Fee Related JP4012161B2 (ja) 2004-03-02 2004-03-02 物品管理装置、物品管理システム、購買支援システム及び購買支援方法

Country Status (1)

Country Link
JP (1) JP4012161B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110480632A (zh) * 2019-07-22 2019-11-22 绍兴文理学院 基于rfid技术的用户创业档案管理系统及方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100458823C (zh) * 2005-11-30 2009-02-04 中国科学院自动化研究所 基于射频识别技术的自动巡检机器人系统
JP4319683B2 (ja) 2007-01-19 2009-08-26 東芝テック株式会社 無線タグ読取装置
JP4676449B2 (ja) * 2007-02-07 2011-04-27 株式会社日立製作所 通信制御装置
JP5037248B2 (ja) * 2007-07-17 2012-09-26 株式会社日立製作所 情報収集システムおよび情報収集ロボット
JP4984164B2 (ja) * 2008-01-30 2012-07-25 ブラザー工業株式会社 無線タグ情報読み取り装置
JP2009251959A (ja) * 2008-04-07 2009-10-29 Nec Corp 物品探索サーバ、領域内探索システム、物品探索プログラム、物品探索方法および領域内探索方法
JP6097740B2 (ja) * 2014-12-26 2017-03-15 京セラドキュメントソリューションズ株式会社 座席管理システム
CN107491076A (zh) * 2017-09-21 2017-12-19 南京中高知识产权股份有限公司 智能仓储机器人
JP2021114103A (ja) * 2020-01-17 2021-08-05 パナソニックIpマネジメント株式会社 地図処理装置、地図処理方法、及び、移動ロボット
JP2023023177A (ja) * 2021-08-04 2023-02-16 キヤノン株式会社 物品管理システム、物品管理方法及び情報処理装置
WO2023021741A1 (ja) * 2021-08-18 2023-02-23 ソニーグループ株式会社 情報処理端末および情報処理方法、管理システムおよび管理方法、並びにプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3593780B2 (ja) * 1996-02-28 2004-11-24 オムロン株式会社 集配情報確認装置、および集配情報確認方法
JPH11167592A (ja) * 1997-12-04 1999-06-22 Nippon Telegr & Teleph Corp <Ntt> 建物内物体位置情報管理装置及び方法
JP2001019167A (ja) * 1999-07-05 2001-01-23 Ishikawajima Harima Heavy Ind Co Ltd トラック積み卸し時の検品装置
JP3421671B2 (ja) * 1999-09-30 2003-06-30 独立行政法人通信総合研究所 通信システム、選択装置、送信装置、受信装置、選択方法、送信方法、受信方法、および、情報記録媒体
JP3378843B2 (ja) * 2000-01-28 2003-02-17 日本車輌製造株式会社 無人搬送車の位置および方位の補正装置
JP3885105B2 (ja) * 2000-05-22 2007-02-21 洋一 佐藤 物流管理方法
JP2002046821A (ja) * 2000-08-01 2002-02-12 Matsushita Electric Ind Co Ltd 物品管理システム
JP2002096911A (ja) * 2000-09-20 2002-04-02 Dainippon Printing Co Ltd 管理システム
JP3711011B2 (ja) * 2000-10-06 2005-10-26 矢崎総業株式会社 移動体監視ユニット及び移動体管理システム
JP2003157477A (ja) * 2001-11-19 2003-05-30 Hitachi Ltd タグ管理サーバとこれを用いた情報の取得・活用システム
JP2003263641A (ja) * 2002-03-11 2003-09-19 Mitsubishi Heavy Ind Ltd 移動分析装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110480632A (zh) * 2019-07-22 2019-11-22 绍兴文理学院 基于rfid技术的用户创业档案管理系统及方法
CN110480632B (zh) * 2019-07-22 2021-04-06 绍兴文理学院 基于rfid技术的用户创业档案管理系统及方法

Also Published As

Publication number Publication date
JP2005250684A (ja) 2005-09-15

Similar Documents

Publication Publication Date Title
US9757002B2 (en) Shopping facility assistance systems, devices and methods that employ voice input
US8078349B1 (en) Transitioning a mixed-mode vehicle to autonomous mode
US11481700B2 (en) Route optimization methods and devices
US7176801B2 (en) Article management system and method
JP4012161B2 (ja) 物品管理装置、物品管理システム、購買支援システム及び購買支援方法
KR100754548B1 (ko) 전자 태그 위치 측위 이동통신 단말기 및 위치정보 제공시스템 및 서비스 방법
US11982755B2 (en) Automated system for vehicle tracking
US9030323B2 (en) Method and apparatus for detecting position
US20200386568A1 (en) Augmented Reality Directions Utilizing Physical Reference Markers
US20170200115A1 (en) Systems and methods of consolidating product orders
JP7334398B2 (ja) 在庫管理装置、在庫管理システム、及び、プログラム
JP4676449B2 (ja) 通信制御装置
TW201919006A (zh) 行李寄放系統及行李管理方法
US10682980B1 (en) Systems and methods for test driving cars with limited human interaction
JP2009265864A (ja) 店舗検索サーバ、該店舗検索サーバを含んだ店舗検索システム及び店舗情報提供方法
KR20070102040A (ko) 내비게이션 시스템과 무선주파수식별 시스템을 이용한 쇼핑도우미 시스템 및 방법
GB2549188B (en) Assignment of a motorized personal assistance apparatus
JP4705322B2 (ja) 持ち物管理装置、持ち物管理方法及び持ち物管理システム
JP5530902B2 (ja) 警報装置、警報システムおよび警報出力方法
JP7492790B1 (ja) 情報処理システム
JP2004345784A (ja) 物品管理システム、物品管理サーバ、物品管理方法
JP2018131320A (ja) 物流倉庫内ナビゲーションシステム
CN107967621A (zh) 一种基于电子购物车查找物品位置的方法及装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070906

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees