JPH0452869A - ポータブル検索表示装置 - Google Patents

ポータブル検索表示装置

Info

Publication number
JPH0452869A
JPH0452869A JP2157109A JP15710990A JPH0452869A JP H0452869 A JPH0452869 A JP H0452869A JP 2157109 A JP2157109 A JP 2157109A JP 15710990 A JP15710990 A JP 15710990A JP H0452869 A JPH0452869 A JP H0452869A
Authority
JP
Japan
Prior art keywords
dimensional position
search
dimensional
retrieving
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2157109A
Other languages
English (en)
Other versions
JP2884720B2 (ja
Inventor
Kiyonobu Kojima
清信 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP15710990A priority Critical patent/JP2884720B2/ja
Priority to KR1019910009108A priority patent/KR0167775B1/ko
Priority to EP91401576A priority patent/EP0462013B1/en
Priority to DE69109542T priority patent/DE69109542T2/de
Publication of JPH0452869A publication Critical patent/JPH0452869A/ja
Application granted granted Critical
Publication of JP2884720B2 publication Critical patent/JP2884720B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は、指示された任意の検索対象物の三次元的位置
を画面上に表示する検索表示装置において、 ポータブルに形成した検索表示装置の三次元位置と方位
を検出し、利用者から任意に指示された検索対象物に関
し予め記憶してある三次元位置情報に基つき、上記で検
出した位置と方位の検出情報に従って、その検索対象物
の位置を三次元的に画面上に表現してその利用者に示す
ことにより、オフィスや倉庫などの三次元空間の中で書
類や物品等を個人的に容易に検索できるようにしたもの
である。
[従来の技術] 従来より、コンピュータ技術を使用し、目的地へ到達す
るのを補佐するシステムとしてナビケーションシステム
が知られている。現在、実用に供されているシステムと
して、宇宙船や航空機、船舶等があるが、次第に車など
小さいものまでにその応用が試みられている。これらの
ナビゲーショ1従来の技術] 従来より、コンピュータ技術を使用し、目的地へ到達す
るのを補佐するシステムとしてナビケーションンステム
か知られている。現在、実用に供されているシステムと
して、宇宙船や航空機、船舶等かあるか、次第に車など
小さいものまでにその応用が試みられている。これらの
ナビゲーション/ステムては、GPS(グローバル ボ
シンヨニング システム)等で現在位置を人工衛星の発
信電波等により常に把握して、平面的な地図上の目的地
までナビゲートする。
一方、図書や文書等を検索する技術として、第3図に示
すマグニファイア100を備えた情報検索装置が提案さ
れている。このマグニファイア100は、フラットデイ
スプレィ101と、内部に例えば加速度センサなどを用
いた三次元空間位置方位センサとを有し、ハンディで携
帯性を備えて、別itきのコンビュータンステム102
に接続されている。この従来例は、電子化された情報を
身のまわりのものと同様に検索できるようにする技術で
ある。この従来例では、実体を実際の空間に持たず、コ
ンピュータシステム102の内部の仮想空間に持ち、マ
ダニファイア100自体の三次元空間位置と方位に対応
して、その仮想空間の部分をシミュートして表示する。
即ち、マグニファイア100を机の方向に向けると、実
際に机には何もないか、フラットティスプレィ101に
は本が何冊もあるように表示され、その本に向かって近
づくとその本のタイトル等か見え、さらに近つくとその
本の内容が見られるという具合である。
[発明が解決しようとする課題] しかしながら、上記従来の技術における情報検索装置で
は、仮想空間を作り出すために、あらゆる位置と方位か
ら見た実体をビデオカメラやイメーンスキャナなどでテ
ジタル信号に変換し、電子的にコンビュータンステム1
02内に格納することが必要であるため、それらの実体
の画像入力の手間は美大なものとなり、その記憶データ
量も膨大なものになる問題点があった。従って、マグニ
ファイア100かハンディであるといっても、コンピュ
ータ/ステム102は小形なものに置き代えることは難
しく、例えば目的物を探し出すためのナビゲーションに
応用することは、持ち運びの点て困難であることからも
、考えられなかった。
また、上記情報検索装置は、文書などイメージ化できる
ものか検索対象であり、倉庫や商品棚の物品のようなイ
メージ化できない実体を扱うことはできなかった。
本発明は、上記課題を解決するために創案されたもので
、個人か図書館、倉庫、オフィスといった環境において
、目的物を容易に探し出せるようにナビゲートする「パ
ーソナル ナビケーンヨンシステム」とも呼べるポータ
ブル検索表示装置を提供することを目的とする。
[課題を解決するための手段] 上記の目的を達成するための本発明のポータブル検索表
示装置の構成は、現在の位置および方位を検出する三次
元位置・方位センサと、全ての検索対象物の三次元位置
情報を予め記憶しておく手段と、 任意の検索対象物を指示する手段と、 上記任意の検索対象物の三次元位置を示すための指示体
を表示する手段と、 上記三次元位置・方位センサによって得られた現在位置
および方位の情報と上記指示された検索対象物の上記記
憶してある三次元位置情報に基づいて上記表示する手段
に対し表示画面上に該検索対象物の三次元的位置を示す
上記指示体の表示を指示する手段とを具備することを特
徴とする。
[作用] 本発明は、予め記憶する情報を検索対象物の三次元位置
情報とすることにより、記憶するデータ量を大幅に削減
して、装置全体をポータブルに形成できるようにする。
ここで、利用者から検索対象物が指示されると、装置の
位置と方位の検出情報により、その位置と方位から見え
る空間を窓としてシミュレートし、その指示された検索
対象物の三次元位置情報に基づいて、シミュレートした
窓にその検索対象物の位置を表わす指示体を三次元的に
表現し、利用者に示すことにより、三次元的なナビゲー
ンヨンを実現する。
[実施例] 以下、本発明の実施例を図面に基づいて詳細に説明する
第1図は本発明の一実施例の構成を透視的に示した斜視
図である。本実施例の検索表示装置は、グリップ部1a
を有するハンディな筐体1に、フラットデイスプレィ2
と、三次元位置・方位センサ3と、バーコード読取部4
と、テンキー5と、制御部6とが一体に実装されて成る
フラットデイスプレィ2は、透明な液晶表示パネルが用
いられ、現実の世界とコンピュータによる検索目的物の
位置表示か重ね合わされて表示できるように、前面側(
利用者に対向する側)を表示面とし、後面側(検索対象
物側)を開口して取り付けられる。
三次元位置・方位センサ3としては、例えば、加速度セ
ンサを用いたもの、電磁気を用いたもの、超音波を用い
たものなとか知られており、小形なものである限りそれ
らのいずれかまたは他のものを用いることができる。例
えば、電磁気を用いたものであれば、部屋などの空間に
発信源を1つ以上置き、装置側のセンサとして三方向に
指向性を有するコイルを設け、それらのコイルの発生電
流によって発信源までの距離と方向を知ることができる
。また、超音波を用いるものであれば、3以上の超音波
源を部屋などの空間の隅に配置し、それぞれの超音波源
からの距離差や指向特性を求めることにより、三次元位
置と方位を知ることができる。
バーコード読取部4は、筐体1のグリップ部1aの反対
側の側面などに配置され、検索の対象となる図書やバイ
ンダあるいは物品などを三次元位置情報とともに予め登
録する際に、それらの図書や物品等に付された識別番号
を示すバーコードを読み取り、制御部6へ送出する。テ
ンキー5は、検索時に利用者か検索目的物(任意の検索
対象物)の識別番号を指定する際に用いられ、筺体1の
前面側に配置される。制御部6は、識別番号に対応して
図書や物品等のすべての検索対象物の三次元位置情報を
格納しておくメモリを有し、検索時にテンキー5から入
力される識別番号に対応する検索目的物の現在位置を、
三次元位置・方位センサ3て検出される現在の三次元位
置・方位に基づいて、例えばカーソルなとの表示体によ
りフラットデイスプレィ2を透過して見える現実の世界
に重畳して表示する。
第2図は制御部6の構成を示すブロック図である。制御
部6の構成において、61はすべての検索対象物の三次
元位置情報を識別番号に対応させて記憶しておくメモリ
、62はバーコード読取部4の読み取り出力とともに三
次元位置・方位センサの検出位置・方位情報を受けてメ
モリ61に予め検索対象物の三次元位置情報を登録する
登録部、63は検索時にテンキー5の識別番号の入力を
受けてメモリ61上の該当アドレスを指定するアドレス
指定部、64は上記のアドレス指定によりメモリ61か
ら読み出された検索目的物の三次元位置を三次元位置・
方位センサ3から入力された現在の三次元位置・方位を
基準とする現実の世界の三次元位置に変換する座標変換
部、65は上記で変換された検索目的物の三次元位置か
らフラットデイスプレィ2の画面上における検索目的物
の位置を指定する画面上位置指定部、66は上記画面上
の目的物の位置に検索目的物を指し示す指示体(ここで
はカーソル)の表示出力を作成するカーソル表示部、6
7はその表示出力を受けてフラットデイスプレィ2にカ
ーソルを表示する液晶ドライブ部である。カーソルは、
その表示位置で検索目的物の横方向と高さを示し、例え
ば大きさで奥行方向の距離を示す。
以上のように構成した実施例の動作および作用を述べる
まず、検索対象物の三次元位置情報を検索表示装置に登
録する。それに先立って、全ての検索対象物には、予め
識別番号を示すバーフードを付けておく。始めに、検索
表示装置を、テンキー5からの指示などにより登録の動
作モートにする。この状態で、検索の対象となる本やハ
インタ、物品などのバーコードをバーコード読取部4を
当てて読み取り、同時にそのときの三次元の位置(座標
)を三次元位置・方位センサ3によって読み取り、登録
部62によりバーフートで示された識別番号と三次元位
置とを対応させてメモリ61に格納する。
次に、検索表示装置を、テンキー5からの指示などによ
り検索の動作モートにする。この動作においては、現在
の三次元位置・方位を検出して、倍率か等倍の虫めがね
を覗いたような窓をシミュレートし、フラットティスプ
レィ2のガラス窓を透過して見える実在の世界に、メモ
リ61に登録した三次元位置に基づいて、検索目的物の
位置をカーソル等の指示体を重畳して表示する。検索目
的物は、利用者かテンキー5から識別番号等を入力して
行う。これにより、上記のカーソルか表示され、そのカ
ーソルは、検索表示装置の動きに応して動き、常にその
視点からの検索目的物の位置または位置に加えて奥行方
向の距離を指し示す。
利用者は、この検索表示装置を覗きなから、そのカーソ
ルの表示に従って歩いて行けば、目的物に辿り着くこと
かできる。
なお、上記実施例において、検索対象物の登録には、必
ずしもバーコードによる入力をしなくとも、テンキー5
なとで入力しても良い。この場合、検索対象物の三次元
位置を三次元位置・方位センサ3でセットしてから、テ
ンキー5でその対象物の識別番号をマニュアルで入力す
る。さらに、検索対象物の登録および検索の指示には、
識別番号に代えて名称を用いることもできる。また、検
索時の識別番号の入力では、他の分類検索装置なとのコ
ンビュータンステムに一次的に接続し、そこから入力し
ても良い。もちろんその分類の検索結果として出力され
るものであっても良い。画面上に表示される指示体に関
しては、点や丸や四角以外に本の形など対象物を象徴す
る形としても良い。
また、フラットデイスプレィ2としては、透明なものて
なく、現実の世界の通路や棚を直線等で表わして制御部
6内に持ち、その仮想の世界を現在の位置・方位に従っ
て見える窓のように表示するようにしても、情報量とし
ては少なく、実現可能である。さらに、制御部6は、筐
体1に内蔵せす携体可能な別体としても良い。このよう
に、本発明はその主旨に沿って種々に応用され、種々の
実施態様を取り得るものである。
す斜視図、第2図は上記実施例の制御部の構成を示すブ
ロック図、第3図は従来例を示す情報検索装置の説明図
である。
l・・筐体、2・・フラットデイスプレィ、3・・・三
次元位置・方位センサ、4・・・バーコード読取部、5
・・・テンキー、6・・制御部、61・・メモリ、62
・・登録部、64・座標変換部、65・・画面上位置指
定部、66・・・カーソル表示部。
[発明の効果コ 以上の説明で明らかなように、本発明のポータブル検索
表示装置によれば、窓をシミュレートするという考え方
によって、従来の航空機や車のナビゲー7ヨンにはなか
った直観的でわかりやすい三次元のパーソナルなナビゲ
ーンヨンを実現することかでき、また、現物(検索対象
物)をそのままにして、電子的に管理することができる
ようになる。
【図面の簡単な説明】
第1図は本発明の一実施例の構成を透視的に示−大麦色
イタIIlニア)ノー1万! 第1図 A乏来1列の;光明図 第3図 手続補正書(。え。 平成 3年 8月21日 平成2年特許願第157109号 発明の名称 ポータブル検索表示装置 6、補正の内容 (1)明細書中第2頁第1行目の「 本発明は、指示さ
れた任意の検索対象物の三次」とあるのを、「 本発明
は、任意の検索対象物を指示することにより、現実空間
内に対応付けてその検索対象物の三次元的位置を画面上
に表示し、物品や図書等の検索をパーソナルに行えるポ
ータブル検索表示装置に関するものである。 補正をする者 事件との関係  出願人 (218)  ソニ ー株式会社 埋入〒104 東京都中央区明石町1番29号 液済会ビル 5、補正の対象 明細書の「発明の詳細な説明」の欄 [発明の概要] 本発明は、指示された任意の検索対象物の三次」と訂正
する。 (2)明細書中筒2頁第13行目から19行目の「 [
従来の技術J

Claims (1)

    【特許請求の範囲】
  1. (1)現在の位置および方位を検出する三次元位置・方
    位センサと、 全ての検索対象物の三次元位置情報を予め記憶しておく
    手段と、 任意の検索対象物を指示する手段と、 上記任意の検索対象物の三次元位置を示すための指示体
    を表示する手段と、 上記三次元位置・方位センサによって得られた現在位置
    および方位の情報と上記指示された検索対象物の上記記
    憶してある三次元位置情報に基づいて上記表示する手段
    に対し表示画面上に該検索対象物の三次元的位置を示す
    上記指示体の表示を指示する手段とを具備することを特
    徴とするポータブル検索表示装置。
JP15710990A 1990-06-15 1990-06-15 ポータブル検索表示装置 Expired - Lifetime JP2884720B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP15710990A JP2884720B2 (ja) 1990-06-15 1990-06-15 ポータブル検索表示装置
KR1019910009108A KR0167775B1 (ko) 1990-06-15 1991-06-01 포터블검색표시장치
EP91401576A EP0462013B1 (en) 1990-06-15 1991-06-13 Portable positional information display device for locating an object
DE69109542T DE69109542T2 (de) 1990-06-15 1991-06-13 Tragbare Vorrichtung zur Anzeige von Positionsinformation zwecks Bestimmung des Standortes eines Objekts.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15710990A JP2884720B2 (ja) 1990-06-15 1990-06-15 ポータブル検索表示装置

Publications (2)

Publication Number Publication Date
JPH0452869A true JPH0452869A (ja) 1992-02-20
JP2884720B2 JP2884720B2 (ja) 1999-04-19

Family

ID=15642428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15710990A Expired - Lifetime JP2884720B2 (ja) 1990-06-15 1990-06-15 ポータブル検索表示装置

Country Status (4)

Country Link
EP (1) EP0462013B1 (ja)
JP (1) JP2884720B2 (ja)
KR (1) KR0167775B1 (ja)
DE (1) DE69109542T2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004507811A (ja) * 2000-08-18 2004-03-11 ライフェル レナード 注釈付けイメージデータプロダクト
JP2006120127A (ja) * 2004-10-19 2006-05-11 Microsoft Corp 仮想物体を操作するための透明コーディングされた透明物体の使用
JP2007115167A (ja) * 2005-10-24 2007-05-10 Sanyo Electric Co Ltd 情報処理システム、および携帯情報端末
JP2007179097A (ja) * 2005-12-26 2007-07-12 Takenaka Komuten Co Ltd 載置状態検出システム及び画像表示システム
JP2008135072A (ja) * 2000-12-15 2008-06-12 Leonard Reiffel 画像表示によるコード化データ源追跡装置
JP2014075139A (ja) * 1998-06-23 2014-04-24 Masanobu Kujirada 風景中の物体等のユーザーによる発見又は認識を支援するシステム
JP2016154018A (ja) * 2009-01-29 2016-08-25 イマージョン コーポレーションImmersion Corporation グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5532692A (en) * 1992-09-07 1996-07-02 Nippondenso Co., Ltd. Communication system
GB2275120A (en) * 1993-02-03 1994-08-17 Medi Mark Limited Personal Organiser with Map feature.
US6650305B1 (en) 1998-10-02 2003-11-18 Honeywell Inc. Wireless electronic display
US6597346B1 (en) 1998-10-02 2003-07-22 Honeywell Inc. Hand held computer with see-through display
GB2343748A (en) * 1998-11-14 2000-05-17 David Alexander Howard Penn Room Finder
US6781069B2 (en) 2000-12-27 2004-08-24 Hewlett-Packard Development Company, L.P. Method and apparatus for virtual interaction with physical documents
DE10124266A1 (de) * 2001-05-18 2002-11-21 Abb Patent Gmbh System zur physischen Lokalisierung von Feldgeräten in verfahrenstechnischen Anlagen
FR2906625B1 (fr) * 2006-09-29 2008-12-26 Advanpost Sarl Procede d'edition personnalisee de courriers papier interactifs

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2634707B1 (fr) * 1988-07-28 1993-02-05 Peugeot Dispositif d'aide a la navigation d'un vehicule notamment automobile

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014075139A (ja) * 1998-06-23 2014-04-24 Masanobu Kujirada 風景中の物体等のユーザーによる発見又は認識を支援するシステム
JP2004507811A (ja) * 2000-08-18 2004-03-11 ライフェル レナード 注釈付けイメージデータプロダクト
JP2008135072A (ja) * 2000-12-15 2008-06-12 Leonard Reiffel 画像表示によるコード化データ源追跡装置
JP2006120127A (ja) * 2004-10-19 2006-05-11 Microsoft Corp 仮想物体を操作するための透明コーディングされた透明物体の使用
JP2007115167A (ja) * 2005-10-24 2007-05-10 Sanyo Electric Co Ltd 情報処理システム、および携帯情報端末
JP2007179097A (ja) * 2005-12-26 2007-07-12 Takenaka Komuten Co Ltd 載置状態検出システム及び画像表示システム
JP2016154018A (ja) * 2009-01-29 2016-08-25 イマージョン コーポレーションImmersion Corporation グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法

Also Published As

Publication number Publication date
EP0462013A2 (en) 1991-12-18
KR920001373A (ko) 1992-01-30
DE69109542D1 (de) 1995-06-14
EP0462013A3 (en) 1992-10-28
DE69109542T2 (de) 1995-09-21
KR0167775B1 (ko) 1999-01-15
EP0462013B1 (en) 1995-05-10
JP2884720B2 (ja) 1999-04-19

Similar Documents

Publication Publication Date Title
US10318017B2 (en) Viewing images with tilt control on a hand-held device
JPH0452869A (ja) ポータブル検索表示装置
KR101260576B1 (ko) Ar 서비스를 제공하기 위한 사용자 단말기 및 그 방법
KR100498518B1 (ko) 정보처리장치및방법
US5764217A (en) Schematic guided control of the view point of a graphics processing and display system
Rekimoto Navicam: A magnifying glass approach to augmented reality
CN102239470B (zh) 显示输入装置及导航装置
US20030151592A1 (en) Method for requesting destination information and for navigating in a map view, computer program product and navigation unit
US8930131B2 (en) Method and apparatus of physically moving a portable unit to view an image of a stationary map
CA2059576A1 (en) Interactive display device
US9965140B2 (en) Method and apparatus of a marking objects in images displayed on a portable unit
US8836698B2 (en) Method and apparatus for identifying a 3-D object from a 2-D display of a portable unit
KR101867020B1 (ko) 박물관/미술관용 증강 현실 구현 방법 및 장치
US20020158921A1 (en) Method and apparatus for virtual oversized display using a small panel display as a movable user interface
JP2000181601A (ja) 情報表示システム
Gupta et al. A survey on tracking techniques in augmented reality based application
WO2014175455A1 (ja) 電子機器
Lee et al. HandSCAPE: a vectorizing tape measure for on-site measuring applications
CN115115812A (zh) 虚拟场景的显示方法、装置及存储介质
Cliburn et al. Showing users the way: Signs in virtual worlds
EP0405826B1 (en) Electronic filing systems and methods
Au et al. Mirrormap: augmenting 2d mobile maps with virtual mirrors
Lehikoinen et al. WalkMap: developing an augmented reality map application for wearable computers
Issartel et al. Analysis of locally coupled 3d manipulation mappings based on mobile device motion
Mountain et al. Interacting with Virtual Reality models on mobile devices

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080212

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090212

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100212

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100212

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110212

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110212

Year of fee payment: 12