JP6348750B2 - 電子機器、表示方法、プログラム及び通信システム - Google Patents
電子機器、表示方法、プログラム及び通信システム Download PDFInfo
- Publication number
- JP6348750B2 JP6348750B2 JP2014073431A JP2014073431A JP6348750B2 JP 6348750 B2 JP6348750 B2 JP 6348750B2 JP 2014073431 A JP2014073431 A JP 2014073431A JP 2014073431 A JP2014073431 A JP 2014073431A JP 6348750 B2 JP6348750 B2 JP 6348750B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- imaging unit
- marker
- virtual
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Description
精度や室内利用の観点からビジョンベースが優位であるとされている。
本発明は、上記課題を解決し、マーカー型の利点を有しながら、マーカーレス型の利点であるマーカー設置位置に制限されないで情報提示を行うことができる電子機器、表示方法、プログラム及び通信システムを提供することを目的とする。
また、マーカーMは、例えば、後述する非特許文献1に示されているような中抜きの黒縁正方形により形成されている。内部の四隅は、各マーカーを識別するためのパターンとして利用される。
なお、内部パラメータは、検出部14及び位置算出部15においても、後述する非特許文献1に記載の手法により利用される。
選択部20は、手順を選択する。
読出部21は、選択部20により選択されている手順に基づいて、記憶部19を参照し、対応する仮想オブジェクト及びその位置情報を読み出す。
レンダリング部17は、読出部21により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、仮想撮像部により仮想空間内を撮像する。
重畳部18は、表示部13に表示されている撮像画像にレンダリング部17で撮像した結果を重畳する。
(非特許文献1)
マーカー追跡に基づく拡張現実感システムとそのキャリブレーション、加藤博一,Mark Billinghurst,浅野浩一,橘啓八郎、日本バーチャルリアリティ学会論文誌 巻:4号:607−616(発行年:1999年12月31日)
ユーザは、図3に示すように、表示部13に表示されている「手順」(図3中のA1)をタップ操作し、手順表示機能を起動して「手順リスト」(図3中のA2)を表示させ、「手順リスト」の中から所望の手順をタップ操作する。選択部20は、タップ操作された手順が選択されたものとして認識する。なお、手順リストに表示される各手順は、それぞれ具体的な機器の操作方法を表示してもよい。
よって、電子機器1は、「手順リスト」の中の一の手順が選択された場合、選択された手順が有している各種値に基づいて、処理を実行する。
第2撮像部11bは、放送機2を撮像する。
表示部13は、第2撮像部11bによって撮像された撮像画像を表示する。
検出部14は、第1撮像部11aによって撮像された撮像画像に含まれているマーカーMを検出する。
C2=TccTcmM ・・・(3)
なお、C2は、カメラ座標系を示し、Mは、マーカー座標系を示し、TccとTcmは、マーカー座標系をカメラ座標系に変換するための変換行列である。
また、Tccは、既知であるものとするが、以下のように算出することができる。なお、以下では、第1撮像部11aで撮像するマーカーをマーカーM1とし、第2撮像部11bで撮像するマーカーをマーカーM2として説明する。
C1=Tcm1M1 ・・・(4)
なお、C1は、カメラ座標系を示し、M1は、マーカー座標系を示し、Tcm1は、マーカー座標系をカメラ座標系に変換するための変換行列である。
C2=Tcm2M2 ・・・(5)
なお、M2は、マーカー座標系を示し、Tcm2は、マーカー座標系をカメラ座標系に変換するための変換行列である。
また、マーカーM2は、マーカーM1とマーカーM2との相対的な位置及び姿勢Tmmと、マーカーM1を乗算することにより算出することができる。なお、Tmmは、マーカーM1とマーカーM2の配置により事前に既知となっている。
M2=TmmM1 ・・・(6)
なお、Tmmは、変換行列である。
また、第2撮像部11bの位置及び姿勢C2は、第1撮像部11aと第2撮像部11bとの相対的な位置及び姿勢Tccと第1撮像部11aを乗算することにより算出することができる。
C2=TccC1 ・・・(7)
(3)式〜(7)式に基づいて、Tccは、(8)式により算出することができる。
Tcc=Tcm2TmmTcm1 −1 ・・・(8)
第1検出部14aは、第1撮像画像取得部12aで取得された撮像画像に含まれている第1マーカーM1を検出し、識別する。
第1記憶部19aは、第2電子機器1bに備えられている第4撮像部11dと、当該第4撮像部11dに固定されている第2マーカーM2との相対的な位置及び姿勢(例えば、後述するTcc2)が記憶されている。また、第1記憶部19aには、他に、現実空間に配置されている放送機(図6に示す例では、監督者側の環境には放送機は配置されていない)を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する。仮想オブジェクトの配置情報とは、仮想オブジェクトを仮想空間において配置する位置及び姿勢、スケール等の情報である。
第1位置算出部15aは、第3撮像部11cと、第4撮像部11dに固定されている第2マーカーM2との相対的な位置及び姿勢(例えば、後述するTcm2)の逆行列(例えば、後述するTcm2 −1)を算出する。また、第1位置算出部15aは、第3撮像部11cと第1マーカーM1との相対的な位置及び姿勢(例えば、後述するTccTcm)を算出する。
第4撮像部11dは、第2マーカーM2が固定されている。
第2撮像画像取得部12bは、第4撮像部11dにより現実空間を撮像して得られた撮像画像を取得する。
第2表示部13bは、第4撮像部11dで取得された撮像画像を表示する。
第2仮想撮像部配置部16bは、位置関係情報に基づいて、第4撮像部11dの内部パラメータ(例えば、焦点距離、画像サイズ、歪係数等)により設定される仮想撮像部を仮想空間内の所定の場所に配置する。
第2選択部20bは、手順を選択する。
第2読出部21bは、第2送受信部22bで受信した第1マーカーM1の識別結果と第2選択部20bにより選択されている手順に基づいて、第2記憶部19bを参照し、対応する仮想オブジェクト及びその位置及び姿勢を読み出す。また、第2読出部21bは、第4撮像部11dの内部パラメータ(射影行列P)を第2記憶部19bから読み出して、第2仮想撮像部配置部16bに供給する。
第2重畳部18bは、第2表示部13bに表示されている撮像画像に第2レンダリング部17bで撮像した結果を重畳する。
Cs2=TccTcmMs ・・・(9)
なお、Cs2は、カメラ座標系を示し、Msは、マーカー座標系を示し、TccとTcmは、変換行列である。
Cs2=Tcm2Mo ・・・(10)
なお、Moは、マーカー座標系を示し、Tcm2は、マーカー座標系をカメラ座標系に変換するための変換行列である。
Mo=Tcm2 −1TccTcmMs ・・・(11)
また、第4撮像部11dの位置及び姿勢Co2は、第4撮像部11dとマーカーM2の相対的な位置及び姿勢Tcc2と、マーカーM2の位置及び姿勢Moとを乗算することにより算出することができる。
Co2=Tcc2Mo ・・・(12)
なお、Co2は、カメラ座標系を示し、Tcc2は、マーカー座標系をカメラ座標系に変換するための変換行列である。
Co2=Tcc2Tcm2 −1TccTcmMs ・・・(13)
このようにして、第2電子機器1bは、第1電子機器1aから位置関係情報(Tcc2Tcm2 −1TccTcm)を受信することにより、第4撮像部11dのマーカーM1に対する相対的な位置及び姿勢を算出することができる。
Co2=T3Mc ・・・(14)
Co2=Tcc2Mo ・・・(15)
Tcc2=T3McMo −1 ・・・(16)
Cc=T2Mo ・・・(17)
Cc=T1Mc ・・・(18)
Mc=T1 −1T2Mo ・・・(19)
Tcc2=T3T1 −1T2 ・・・(20)
ステップS1において、第2電子機器1bは、手順リストを表示部43に表示するかどうかを判断する。例えば、第2電子機器1bは、ユーザにより表示部43に表示されている「手順」(図3中のA1)がタップ操作されたかどうかによって判断する。
ステップS3において、第2電子機器1bは、マーカーの検出処理を行う。なお、ステップS3の工程の詳細については、後述する。
ステップS4において、第2電子機器1bは、仮想オブジェクト(ARオブジェクト)の表示処理を行う。なお、ステップS4の工程の詳細については、後述する。
ステップS2の工程の詳細について、図10を参照しながら説明する。
ステップS21において、第2電子機器1bは、割り込み処理によって、表示されている手順リストの中から手順や完了フラグの操作が行われたとき、当該操作を行った者が操作者であるかどうかを判断する。操作者によって操作されたと判断された場合(Yes)には、ステップS22に進み、操作者によって操作されなかったと判断、すなわち、監督者(第1電子機器1a)によって操作されたと判断された場合(Yes)には、ステップS23に進む。
ステップS3の工程の詳細について、図11を参照しながら説明する。
ステップS31において、第2電子機器1bは、グローバル変数より手順番号を読み込む。例えば、グローバル変数が「1」の場合には、手順(1)が選択されていることになる。
ステップS4の工程の詳細について、図15を参照しながら説明する。
ステップS41において、第2電子機器1bは、該当マーカーを検出できたかどうかを判断する。検出できたと判断した場合(Yes)には、ステップS42に進み、検出できなかったと判断した場合(No)には、処理を終了する。
ステップS43において、第2電子機器1bは、検出したマーカー番号と選択されている手順番号に基づいて、手順−仮想オブジェクト関連付けマトリックスを参照し、表示部43に表示する仮想(AR)オブジェクトと表示する座標を取得する。
ステップS44において、第2電子機器1bは、ステップS43の工程で取得した座標に基づいて、仮想オブジェクトを表示部43に表示する処理を行う。
手順−仮想オブジェクト関連付けマトリックスは、手順ごとにテーブル化されている。各テーブルには、各マーカー番号に対して、マーカー優先度と、表示すべき仮想(AR)オブジェクトの番号と、仮想オブジェクトの表示座標が対応付けられている。なお、一度に、複数のマーカーを使用する場合もあるので、マーカー優先度は同じでもよい。また、同じ仮想オブジェクトを複数箇所に使用する場合もあるので、表示座標は、ひとつのマスに対して、複数個設定することもできる。
なお、上述した手順−仮想オブジェクト関連付けマトリックスは、一例であって、これに限られない。例えば、手順−仮想オブジェクト関連付けマトリックスには、他に、スケール(大きさ)、姿勢等が含まれてもよい。
1a 第1電子機器
1b 第2電子機器
2 所定の機器(放送機)
11 撮像部
12 撮像画像取得部
12a 第1撮像画像取得部
12b 第2撮像画像取得部
13 表示部
13a 第1表示部
13b 第2表示部
14 検出部
14a 第1検出部
14b 第2検出部
15 位置算出部
15a 第1位置算出部
15b 第2位置算出部
16 仮想撮像部配置部
16a 第1仮想撮像部配置部
16b 第2仮想撮像部配置部
17 レンダリング部
17a 第1レンダリング部
17b 第2レンダリング部
18 重畳部
18a 第1重畳部
18b 第2重畳部
19 記憶部
19a 第1記憶部
19b 第2記憶部
20 選択部
20a 第1選択部
20b 第2選択部
21 読出部
21a 第1読出部
21b 第2読出部
22a 第1送受信部
22b 第2送受信部
100 通信システム
Claims (4)
- 所定のマーカーを撮像する第1撮像部及び所定の機器を撮像する第2撮像部を備える撮像部と、
前記撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得部と、
前記撮像画像取得部で取得された前記第2撮像部によって撮像された撮像画像を表示する表示部と、
前記撮像画像取得部で取得された前記第1撮像部によって撮像された撮像画像に含まれている前記所定のマーカーを検出し、識別する検出部と、
前記現実空間において、前記第1撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、当該算出結果と、前記第1撮像部及び前記第2撮像部の相対的な位置及び姿勢とに基づいて、前記第2撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出部と、
前記位置算出部による算出結果に基づいて、前記第2撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置部と、
現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部と、
前記手順を選択する選択部と、
前記選択部により選択されている手順に基づいて、前記記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出部と、
前記読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング部と、
前記表示部に表示されている前記撮像画像に前記レンダリング部で撮像した結果を重畳する重畳部と、を備える電子機器。 - 所定のマーカーを撮像する第1撮像部及び所定の機器を撮像する第2撮像部を備える撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、
前記撮像画像取得工程で取得された前記第2撮像部によって撮像された撮像画像を表示部に表示する表示工程と、
前記撮像画像取得工程で取得された前記第1撮像部によって撮像された撮像画像に含まれている前記所定のマーカーを検出し、識別する検出工程と、
前記現実空間において、前記第1撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、当該算出結果と、前記第1撮像部及び前記第2撮像部の相対的な位置及び姿勢とに基づいて、前記第2撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、
前記位置算出工程による算出結果に基づいて、前記第2撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、
現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、
前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、
前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、
前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を備える表示方法。 - コンピュータにより、
所定のマーカーを撮像する第1撮像部及び所定の機器を撮像する第2撮像部を備える撮像部により現実空間を撮像して得られた撮像画像を取得する撮像画像取得工程と、
前記撮像画像取得工程で取得された前記第2撮像部によって撮像された撮像画像を表示部に表示する表示工程と、
前記撮像画像取得工程で取得された前記第1撮像部によって撮像された撮像画像に含まれている前記所定のマーカーを検出し、識別する検出工程と、
前記現実空間において、前記第1撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出し、当該算出結果と、前記第1撮像部及び前記第2撮像部の相対的な位置及び姿勢とに基づいて、前記第2撮像部と前記所定のマーカーとの相対的な位置及び姿勢を算出する位置算出工程と、
前記位置算出工程による算出結果に基づいて、前記第2撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する仮想撮像部配置工程と、
現実空間に配置されている所定の機器を操作するための各手順を選択する選択工程と、
前記選択工程により選択されている手順に基づいて、前記各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す読出工程と、
前記読出工程により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像するレンダリング工程と、
前記表示部に表示されている前記撮像画像に前記レンダリング工程で撮像した結果を重畳する重畳工程と、を実行するためのプログラム。 - 第1電子機器と第2電子機器とがネットワークを介して接続される通信システムにおいて、
前記第1電子機器は、
第3撮像部により現実空間を撮像して得られた撮像画像を取得する第1撮像画像取得部と、
前記第1撮像画像取得部で取得された前記撮像画像に含まれている第1マーカーを検出し、識別する第1検出部と、
前記第2電子機器に備えられている第4撮像部と、当該第4撮像部に固定されている第2マーカーとの相対的な位置及び姿勢が記憶されている第1記憶部と、
前記第1記憶部から前記第4撮像部と前記第2マーカーとの相対的な位置及び姿勢を読み出す第1読出部と、
前記第3撮像部と、前記第2電子機器に備えられている第4撮像部に固定されている第2マーカーとの相対的な位置及び姿勢の逆行列を算出し、前記第3撮像部と前記第1マーカーとの相対的な位置及び姿勢を算出する第1位置算出部と、
前記第1位置算出部による算出結果と、前記第1読出部で読み出した前記第4撮像部と前記第2マーカーとの相対的な位置及び姿勢を位置関係情報とし、前記第1検出部で検出した前記第1マーカーの識別結果とともに前記第2電子機器に送信する第1送受信部とを備え、
前記第2電子機器は、
前記第1送受信部から送信されてきた前記位置関係情報と前記第1マーカーの識別結果を受信する第2送受信部と、
前記第2マーカーが固定されている第4撮像部と、
前記第4撮像部で取得された撮像画像を表示する第2表示部と、
前記位置関係情報に基づいて、前記第4撮像部の内部パラメータにより設定される仮想撮像部を仮想空間内の所定の場所に配置する第2仮想撮像部配置部と、
現実空間に配置されている所定の機器を操作するための各手順と、手順ごとに表示すべき仮想オブジェクトと、前記仮想オブジェクトの配置情報とが対応付けられているテーブルを有する第2記憶部と、
前記手順を選択する第2選択部と、
前記第2送受信部で受信した前記第1マーカーの識別結果と前記第2選択部により選択されている手順に基づいて、前記第2記憶部を参照し、対応する仮想オブジェクト及びその位置情報を読み出す第2読出部と、
前記第2読出部により読み出された仮想オブジェクトをその位置情報にしたがって仮想空間内に配置し、前記仮想撮像部により仮想空間内を撮像する第2レンダリング部と、
前記第2表示部に表示されている前記撮像画像に前記第2レンダリング部で撮像した結果を重畳する第2重畳部と、を備える通信システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014073431A JP6348750B2 (ja) | 2014-03-31 | 2014-03-31 | 電子機器、表示方法、プログラム及び通信システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014073431A JP6348750B2 (ja) | 2014-03-31 | 2014-03-31 | 電子機器、表示方法、プログラム及び通信システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015194975A JP2015194975A (ja) | 2015-11-05 |
JP6348750B2 true JP6348750B2 (ja) | 2018-06-27 |
Family
ID=54433900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014073431A Expired - Fee Related JP6348750B2 (ja) | 2014-03-31 | 2014-03-31 | 電子機器、表示方法、プログラム及び通信システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6348750B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112053451B (zh) * | 2019-06-05 | 2024-06-21 | 北京外号信息技术有限公司 | 基于光通信装置叠加虚拟对象的方法和相应的电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002059147A (ja) * | 2000-08-11 | 2002-02-26 | Ricoh Co Ltd | 再生作業支援システムおよび再生作業支援方法 |
JP2011245792A (ja) * | 2010-05-28 | 2011-12-08 | Riso Kagaku Corp | 画像形成システム |
JP5837404B2 (ja) * | 2011-11-22 | 2015-12-24 | 株式会社日立製作所 | 画像処理装置、画像処理方法 |
JP2013254399A (ja) * | 2012-06-08 | 2013-12-19 | Sharp Corp | 入力システム及び電子会議システム |
-
2014
- 2014-03-31 JP JP2014073431A patent/JP6348750B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015194975A (ja) | 2015-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11796309B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP5762892B2 (ja) | 情報表示システム、情報表示方法、及び情報表示用プログラム | |
US20160269631A1 (en) | Image generation method, system, and apparatus | |
JP5255595B2 (ja) | 端末位置特定システム、及び端末位置特定方法 | |
JP5423406B2 (ja) | 情報処理装置、情報処理システム及び情報処理方法 | |
JP6230113B2 (ja) | 撮影動画像に指示画像を同期して重畳する映像指示同期方法、システム、端末、及びプログラム | |
JP6323025B2 (ja) | 表示制御プログラム、表示制御装置及び表示制御システム | |
JP2011203984A (ja) | ナビゲーション装置、ナビゲーション画像生成方法及びプログラム | |
US20170220105A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7109395B2 (ja) | 作業支援システム、作業支援装置、及び作業支援方法 | |
JP2005256232A (ja) | 3dデータ表示方法、装置、およびプログラム | |
JP2007098555A (ja) | 位置指示方法とこの方法を実現するための指示装置及びプログラム | |
JP6348750B2 (ja) | 電子機器、表示方法、プログラム及び通信システム | |
JP6146869B2 (ja) | 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム | |
CN106989730A (zh) | 一种基于双目鱼眼全景视觉进行水下潜水器控制的系统和方法 | |
US20130155211A1 (en) | Interactive system and interactive device thereof | |
KR20160023362A (ko) | 실시간 3차원 전술정보 표시 시스템 및 그 방법 | |
US20200242797A1 (en) | Augmented reality location and display using a user-aligned fiducial marker | |
JP6839137B2 (ja) | 支援装置及びプログラム | |
JP6689492B2 (ja) | 端末装置、データ処理システム及びプログラム | |
JP2016075530A (ja) | ナビゲーション装置及びナビゲーション方法 | |
JP2021039567A (ja) | 作業支援システム及びプログラム | |
WO2023149118A1 (ja) | プログラム、情報処理装置、および情報処理方法 | |
JP2019175294A (ja) | 表示制御プログラム、装置、及び方法 | |
JP2007184964A (ja) | 情報表示システム及び情報表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6348750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |