JP3830782B2 - 立体像表示装置 - Google Patents
立体像表示装置 Download PDFInfo
- Publication number
- JP3830782B2 JP3830782B2 JP2001227040A JP2001227040A JP3830782B2 JP 3830782 B2 JP3830782 B2 JP 3830782B2 JP 2001227040 A JP2001227040 A JP 2001227040A JP 2001227040 A JP2001227040 A JP 2001227040A JP 3830782 B2 JP3830782 B2 JP 3830782B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- stereoscopic image
- stereoscopic
- observer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【発明の属する技術分野】
本発明は、立体像表示装置に関する。
【0002】
【従来の技術】
アミューズメント、インターネットショッピング、携帯端末、医療、バーチャルリアリティ、広告看板などで使われる立体表示を可能にする立体像表示方法の1つとして、右目用、左目用の平面画像をディスプレイに表示し、偏向光等を用いて右目用は右目に、左目用は左目で見えるように工夫したステレオスコープ方法がある。
【0003】
このステレオスコープ方式は例えば偏向めがねを用いる必要がある。また、立体的に見えるが立体像を再現していないので、見る位置を変えても映像は変わらず見る位置を変えても立体像の裏側まで見えてくるというものではないのでリアリティにかけるという問題がある。また、焦点位置がディスプレイ面にあり、この焦点位置と注視物体のある輻輳位置とには、空間的ずれが生ずるため、いわゆる焦点調節と輻輳距離の不一致が生じ、観察者にとって再現される空間に違和感があり、観察者に疲労を与えやすい問題がある。
【0004】
これらの問題を解決する立体表示方法として、非常に多くの視差画像を用いるインテグラルフォトグラフィ(IP)法或いは光線再生法と呼ばれる立体像を何らかの方法で記録しこれを再生する方法が知られている(特開平10−239785公報、特開2001−56450公報)。ここで、インテグラルフォトグラフィ法及び光線再生法は、立体表示方法としてその用語の意味が正確には確立されていないがほぼ同一の原理に基づく。以下の説明においては、光線再生法を含む概念としてインテグラルフォトグラフィ法と称し、このインテグラルフォトグラフィ法について説明する。
【0005】
図6は、このインテグラルフォトグラフィ法を用いた立体像表示装置である。
【0006】
図6に示すように、液晶ディスプレイ等の表示装置601とニ次元配列されたピンホール或いはマイクロレンズのアレイ板602からなる簡単な光学系で自然な三次元像が再生される。
【0007】
表示装置601上には、見る角度により微妙に見え方の違う視差画像群に相当する多数のパターン(多視点画像)が、ピンホール或いはマイクロレンズの一つ一つに対応して表示される。観察者605側から前記ピンホール或いはマイクロレンズを通して対応するパターンを観察すると、表示装置601の後面に三次元虚像603(後面側から見ると存在しない像)を観察することができる。
【0008】
また、多視点画像から発せられた光が対応するピンホール或いはマイクロレンズを通して発せられ、この光が集光されることによって、ピンホール或いはマイクロレンズのアレイ板602の前面に三次元実像604が形成される。
【0009】
すなわち観察者605からピンホール或いはマイクロレンズのアレイ板602を介して表示装置601上のパターンに向かう視差画像光線群によって三次元虚像603を観察でき、表示装置601上のパターンからピンホール或いはマイクロレンズのアレイ板602を通して観察者605に向かう視差画像光線群を集光することによって三次元実像604が形成される。
【0010】
観察者に、三次元虚像或いは三次元実像を観察できるようにするのは、その他の構成により任意に行うことができる。インテグラルフォトグラフィ法は、このように簡単な構成で自然な立体像を形成することができる。また、インテグラルフォトグラフィ法は、実際に立体像を再生しているので、偏向めがねも必要がなく観察者の見る角度によって立体像の見える角度が変わるので、よりリアルであるといえる。
【0011】
【発明が解決しようとする課題】
上記したインテグラフフォトグラフィ法は、立体像を観察できる視野範囲が狭いという問題を有している。例えば、複数の観察者が同一の立体像を観察する場合、表手段の前面に対向して決まった角度の範囲(視野角)内から観察する必要がある。
【0012】
そのため複数の観察者が表示装置を机の上に置いてこれを中心にして対面する位置に座った場合、立体像を再生する視野角内からずれてしまうので同じ立体像を観察できない問題がある。したがって対戦型ゲーム機のようにお互いが向かい合って同一像を観察する場合には、この方法は適用できなかった。
【0013】
本発明は、この問題点に鑑みて成されたもので、対面する複数の観察者においても、装置を挟んで良好な立体像を観察できる立体像表示装置を提供することを目的とする。
【0014】
【課題を解決するための手段】
上記目的を達成するために、本発明の立体像表示装置は、多視点画像を平面的に分割された小領域にそれぞれ表示させる表示面を上向きにした表示手段と、前記表示手段の前面或いは後面に設けられ、前記小領域に対応してピンホール或いはマイクロレンズが平面的に配置されたアレイ板と、前記表示手段の表示面の上方正面から外れて結像、表示される立体像を、前記表示手段の正面から同じく外れた上方から観る観察者の視線の1つが、アレイ板に配置された前記ピンホール或いはマイクロレンズの1つを通過し、達した前記小領域の多視点画像を、前記観察者から遠く離れる方向に伸張して表示する補正手段とを具備することを特徴とするものである。
【0015】
さらに、上記本発明の立体像表示装置においては、前記表示手段が、複数の前記観察者それぞれが観る複数の表示されるべき立体像の多視点画像を分割された小領域に設け、一定時間前記複数の表示されるべき立体像の 1 つを表示し、次の一定時間前記複数の表示されるべき立体像の他の 1 つを表示するように、前記複数の表示されるべき立体像の 1 つ以外の立体像をそれぞれ表示しない前記多視点画像の光線群を時分割的に遮断する可変手段を具備することを特徴とするものである。
【0016】
さらに、上記本発明の立体像表示装置においては、前記可変手段の行う前記所定時間毎の遮蔽は、30Hzから120Hzの周波数の周期によりなることを特徴とするものである。
【0017】
この立体像表示装置は、表示手段から観察者に向けられる光線群の方向が、表示手段の表示面の垂線方向に対して傾いている。すなわち観察者は表示面の垂線方向から傾いた位置で立体像を観察することになる。このとき多視点画像の個々の画像は観察者から遠いほど、すなわち再生する立体像から遠いほど、観察方向すなわち立体像が結像される方向に対して単調に伸張して補正を施す。こうすることによって再生される立体像は再生すべき立体像と忠実に一致するようにできる。
【0018】
【発明の実施の形態】
以下図面を参照してこの発明の立体像表示装置の実施形態について説明する。
【0019】
図1は、本発明の第1の実施形態にかかる立体像表示装置の概略図である。
【0020】
図1に示すように、光線再生法或いはインテグラルフォトグラフィによる立体像表示装置101が例えば机の上に上向きに配置されている。この立体像表示装置101は、表示手段及びこの表示装置の前面或いは後面に配置されたピンホール或いはマイクロレンズが二次元的に配置されたアレイ板を具備している。
【0021】
表示手段には、表示されるべき立体像に対応した複数のパターン(多視点画像)を表示している。この複数のパターンは表示されるべき立体像をそれぞれ違う角度から見た画像パターンであり多視点画像ともいう。
【0022】
符号102で表される領域は、従来の立体像が再生される視域領域を表わしている。図1中の矢印は表示手段の表示面に対して垂線方向を示す。
【0023】
図1に示される立体像表示装置においては、基本的には光線再生法或いはインテグラルフォトグラフィ法の原理により、立体像が再生される。
【0024】
即ち、観察者側からピンホール或いはマイクロレンズアレイ板を介して対向する液晶ディスプレイ等の表示手段上の多視点画像に向かう光線群によって、表示手段の後面(観察者とは反対の空間)に三次元虚像が形成される。
【0025】
また、表示手段上の多視点画像からピンホール或いはマイクロレンズアレイ板を介して観察者側に向かう光線群によって、ピンホール或いはマイクロレンズアレイ板の前方(観察者側)に三次元実像が形成される。
【0026】
ここで、表示手段上に適切な多視点画像を表示させることによって、三次元実像のみ、三次元虚像のみ、或いは、三次元実像と三次元虚像とを同時に表示再生することができる。
【0027】
例えば、三次元実像として人体像を表示再生させ、三次元虚像として風景等の背景を表示させることができる。再生する三次元像は、液晶ディスプレイの奥から手前まで連続的に複数の物体の像を再現することができる。
【0028】
本発明による立体像表示装置では、従来の立体像再生領域102に立体像を再生するのではなく、垂線方向から傾いた領域104の方向から観察することによって、この傾いた領域に立体像103を表示するものである。
【0029】
これは、個々の多視点画像と、この多視点画像と対応するピンホール或いはマイクロレンズとを、真正面に位置せず、横方向(立体像103を再生させる領域と多視点画像を表示する表示手段の小領域とを結ぶ直線群のうち最短の直線を表示面上に投射した直線の方向、すなわち観察者104の視点と小領域とを結ぶ直線群のうち最短の直線を表示面状に投射した直線の方向)に例えば一つずつ、ずれた位置関係とすることによって、実現できる。
【0030】
このとき表示手段上の多視点画像は、立体像103を再生させる領域と多視点画像を表示する表示手段の小領域とを結ぶ直線群のうち最短の直線を表示面上に投射した直線の方向、すなわち観察者の視点と小領域とを結ぶ直線群のうち最短の直線を表示面状に投射した直線の方向(以下観察方向と記す)に対して伸張させる補正を行う。
【0031】
また、このとき観察者104から遠いほどすなわち立体像103から遠いほど、観察方向に対して単調に伸張するという補正をあらかじめ加えておくことにより変形の無い再生立体像103が形成され自然な角度位置にある観察者104で観察することができる。これは紙に書かれた円を、紙を斜めにして観察すると横長の楕円に見えてしまうのを、紙に縦長の楕円を書く補正をすることで、縦軸方向斜めから見ると円に見えるようすることに似ている。このように本実施形態における立体像表示装置では、多視点画像を単調に伸長する補正手段を具備している。
【0032】
次に、図2を用いて、図1に示した立体表示視装置101の具体的構成例について説明する。
【0033】
液晶ディスプレイ等の表示装置201と、この前面に配置され、二次元配列されたピンホール或いはマイクロレンズのアレイ板202からなる簡単な光学系で自然な三次元像が再生される。
【0034】
表示装置201上には、見る角度により微妙に見え方の違う視差画像群に相当する多数のパターンが、ピンホール或いはマイクロレンズの一つ一つに対応して表示される。この視差画像群は例えば表示される像が立方体であれば、それぞれ見る角度に応じた立方体のパターンが複数表示されている。
【0035】
この例では、ピンホール或いはマイクロレンズのアレイ板202が正方格子状に配置されその密度は2.0mmピッチである。各ピンホール或いはマイクロレンズの直径は100μmとなるよう形成されている。液晶ディスプレイ201上に多視点画像がピンホール或いはマイクロレンズのピッチと同様のピッチで表示される。ただし、多視点画像は、表示される立体像206から遠いほど観察方向205に対して単調に伸張する補正を加えてある。
【0036】
このときの補正は、図4に示すように立体像206を光線群205によって、表示手段201の画面上に投射した図になる。従って立体像から表示手段201の画面上の多視点画像に引っ張った直線との角度をθとし、立体像のもとの大きさをdとすると、d/sinθ倍伸張することになる。
【0037】
また、斜め方向に立体像206を再生するための映像を撮影する場合、もともとのフィルムが被写体に対して垂直に対向するようにするのではなく、被写体に対して斜め方向(再生する場合に立体像が形成される方向)になるようにフィルムを傾けて撮影すればよい。
【0038】
符号204は、表示装置201の正面203から見た場合の立体像であるが、この場合観察者には見えない。
【0039】
図5に、立体像として球形を表示する場合を例にとり、本発明による補正を施した多視点画像アレイパターンの例を示す。
【0040】
図5に示すように、紙面斜め下方向から観察する場合、一番下の多視点画像は完全な円形であるが、下から上に行くに従って単調に伸張している。観察方向が紙面斜め下であるので、この場合観察者から離れるに従って、観察方向に伸張しているわけである。このときそれぞれの多視点画像から立体像をとおる直線と多視点画像の表示面との角度をθとし、球体の直径をdとすると、楕円パターンの長軸はd/sinθ倍になる。
【0041】
こうすることで、斜め方向から楕円形状を観測すると元の円形状に見えることになる。
【0042】
このとき多視点画像からの光線群は真正面に対応するピンホールの隣のピンホールを通って、平面の垂線方向に対して観察方向側に傾いて放射される。
【0043】
このような具体例では、図2に示すように、実質的に球形状を示す三次元実像206が観察される。こうすることで視野角が斜め方向に広がり、机上に置いたディスプレイを椅子に座ったままの姿勢でみることができる。このように無理のない姿勢で観察可能であり、目の焦点調節も容易に行われ自然で良質な立体視が可能である。
【0044】
図3は、本発明の第2の実施形態にかかる立体像表示装置の概略図である。
【0045】
第1の実施形態とは、液晶による動的ブラインドが付加された立体ディスプレイ301を用いていることが相違している。この実施形態では、対面する二人の観察者104及び303が立体像を観察可能である。この場合観察者104は立体像103を観察し、観察者303は立体像302を観察している。符号102は従来の視野角を示す。
【0046】
図4を用いて、図3に示す立体像表示装置の具体例について説明する。
【0047】
ある瞬間において立体像206が光線群205により形成される。表手段201に表示される多視点画像は、立体像206から遠くなるに連れて伸張した形状となる補正を受ける。このとき、反対側の観察者には、補正が逆方向なために立体像403は、歪が大きくなるので、液晶ブラインド401により光線群402を遮断し、変形した立体像403を結像しないようにする。
【0048】
次の瞬間には、可変手段により、表示装置201に立体像403から遠くなるにつれて伸張した形状となる補正をした多視点画像を表示する。このとき反対側の観察者には、液晶ブラインド401により光線群205を遮断する。こうすることで変形のない立体像403が形成され、変形した立体像206は形成されない。このようにして各の観察者には常に変形の無い正しい立体像が観察されるわけである。
【0049】
こうすることで補正した正しい立体像を時分割表示して複数人に見せることが可能となる。また、このとき、可変手段は、30Hzから120Hzの周波数で観察方向を変化させることが人間の目にはより自然に立体像を見せることができる。
【0050】
尚、対面する4人の観察者が立体像を観察可能である構成にすることもできる。このような構成を有する立体像表示装置においては、対面する複数の観察者に、よりリアルで自然な立体像が観察される。
【0051】
このようにインテグラルフォトグラフィ法や光線再生法に基づいて視差画像情報の載った光線群により空間中に三次元立体像を再現する際、ディスプレイを平面上に配置しておき、観察方向に向けられる光線群の方向を平面の垂線方向に対して観察方向側に傾け、かつ多視点画像を観察者から遠いほど観察方向に対して単調に伸張して補正を施しておく、という簡単な構成により、平置き型のディスプレイでありながら観察者に見やすい自然な位置で立体像が再生可能である。
【0052】
本発明による立体像表示装置は、例えば机上に置いたディスプレイを椅子に座ったままの姿勢で観察できる。さらに特定の観察方向に時分割的に立体像を形成し、この間には特定の観察方向以外への光線を遮断する機構を設けることにより、双方向または4方向に立体像を再生でき、対面する複数の人間が立体像を観察可能になる。対面する2人、あるいは4人が立体像を観察できるため、ゲームを始め様々な分野で応用可能である。
【0053】
このような簡便かつ低コストの手法で観察しやすい立体像を再現できるため、観察者へのインパクトも増大できる。
【0054】
なお、この発明は、上述した各実施形態に限定されるものではない。例えば、表示デバイスとして液晶ディスプレイの代わりにCRT、プラズマディスプレイ、ELディスプレイなどが用いられても良い。さらに、三次元像に触れたことを感知する検出器が装置に設けられ、感知した情報をフィードバックして手に抵抗感を与えることもできる。その他、その詳細は、仕様に応じて適宜変更することもできる。
【0055】
【発明の効果】
対面する複数の観察者においても、装置を挟んで良好な立体像を観察できる立体像表示装置を提供できる。
【図面の簡単な説明】
【図1】 本発明の第1の実施形態に係る立体像表示装置の概略図。
【図2】 図1に示した立体像表示装置の詳細図。
【図3】 本発明の第2の実施形態に係る立体像表示装置の概略図。
【図4】 図3に示した立体像表示装置の詳細図。
【図5】 多視点画像の補正を施したパターン。
【図6】 従来のインテグラルフォトグラフィ法を採用した立体像表示装置の概略図。
【符号の説明】
101・・・光線再生法による立体ディスプレイ
102・・・従来の視域
103・・・立体像
104・・・観察者
201・・・液晶ディスプレイ
202・・・ピンホール或いはマイクロレンズアレイ板
203・・・光線群
204・・・三次元実像
205・・・光線群
206・・・三次元実像
301・・・立体ディスプレイ
302・・・第二の再生立体像
303・・・第二の観察者
401・・・液晶ブラインド
402・・・遮断された光線群
403・・・遮断された第二の再生立体像
Claims (3)
- 多視点画像とアレイ板を用いる立体像表示装置であって、
多視点画像を平面的に分割された小領域にそれぞれ表示させる表示面を上向きにした表示手段と、
前記表示手段の前面或いは後面に設けられ、前記小領域に対応してピンホール或いはマイクロレンズが平面的に配置されたアレイ板と、
前記表示手段の表示面の上方正面から外れて結像、表示される立体像を、前記表示手段の正面から同じく外れた上方から観る観察者の視線の1つが、アレイ板に配置された前記ピンホール或いはマイクロレンズの1つを通過し、達した前記小領域の多視点画像を、前記観察者から遠く離れる方向に伸張して表示する補正手段と、
を具備することを特徴とする立体像表示装置。 - 前記表示手段は、複数の前記観察者それぞれが観る複数の表示されるべき立体像の多視点画像を分割された小領域に設け、
一定時間前記複数の表示されるべき立体像の 1 つを表示し、次の一定時間前記複数の表示されるべき立体像の他の 1 つを表示するように、前記複数の表示されるべき立体像の 1 つ以外の立体像をそれぞれ表示しない前記多視点画像の光線群を時分割的に遮断する可変手段を具備することを特徴とする請求項1記載の立体像表示装置。 - 前記可変手段の行う前記所定時間毎の遮蔽は、30Hzから120Hzの周波数の周期によりなることを特徴とする請求項2記載の立体像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001227040A JP3830782B2 (ja) | 2001-07-27 | 2001-07-27 | 立体像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001227040A JP3830782B2 (ja) | 2001-07-27 | 2001-07-27 | 立体像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003043413A JP2003043413A (ja) | 2003-02-13 |
JP3830782B2 true JP3830782B2 (ja) | 2006-10-11 |
Family
ID=19059761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001227040A Expired - Fee Related JP3830782B2 (ja) | 2001-07-27 | 2001-07-27 | 立体像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3830782B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005084245A (ja) * | 2003-09-05 | 2005-03-31 | Sharp Corp | 表示装置 |
JP4328311B2 (ja) | 2005-04-14 | 2009-09-09 | 株式会社東芝 | 三次元画像表示用多視点画像の作成方法およびプログラム |
CN1992914B (zh) * | 2005-12-26 | 2010-12-29 | 财团法人工业技术研究院 | 自动立体图像显示装置 |
KR102076840B1 (ko) * | 2013-06-28 | 2020-02-12 | 엘지디스플레이 주식회사 | 무안경 입체 영상 표시장치와 그 구동 방법 |
US11126008B2 (en) | 2019-02-27 | 2021-09-21 | Samsung Electronics Co., Ltd. | 3D image display apparatus, 3D image display method, and 3D image generating and displaying system |
JP7424786B2 (ja) | 2019-02-27 | 2024-01-30 | 三星電子株式会社 | 立体像表示装置、立体像表示方法及び立体像生成表示システム |
-
2001
- 2001-07-27 JP JP2001227040A patent/JP3830782B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003043413A (ja) | 2003-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Takaki | High-density directional display for generating natural three-dimensional images | |
TW571120B (en) | Three-dimensional display method and its device | |
EP0597629B1 (en) | Autostereoscopic display | |
US8698966B2 (en) | Screen device for three-dimensional display with full viewing-field | |
US6252707B1 (en) | Systems for three-dimensional viewing and projection | |
Liao et al. | Autostereoscopic 3D display with long visualization depth using referential viewing area-based integral photography | |
JP2002034057A (ja) | 多視点映像表示システム | |
TW200537126A (en) | Three-dimensional display using variable focusing lens | |
US20020030888A1 (en) | Systems for three-dimensional viewing and projection | |
JPH11508058A (ja) | 自動実体鏡像を得る方法及びシステム | |
US9967554B2 (en) | Multi-viewer autostereoscopic tabletop display with dynamic parallax barrier and directional backlight | |
US8248459B2 (en) | Stereoscopic display device with liquid crystal shutter light filter for naked eye viewing and a display method thereof | |
EP0877967B1 (en) | Systems for three-dimensional viewing and projection | |
Takaki | Novel 3D display using an array of LCD panels | |
JP3830782B2 (ja) | 立体像表示装置 | |
JP3811062B2 (ja) | 立体像表示装置 | |
Pastoor | 3D Displays | |
WO2005088386A1 (ja) | 立体表示装置及び立体表示方法 | |
JP3811026B2 (ja) | 立体像表示装置 | |
US20100177382A1 (en) | Autostereoscopic image display appliance for producing a floating real stereo image | |
EP1221817A1 (en) | Stereoscopic system | |
JP2004226928A (ja) | 立体画像表示装置 | |
JP4137714B2 (ja) | オブジェクト表示方法およびオブジェクト表示装置 | |
US20060158731A1 (en) | FOCUS fixation | |
RU2221350C2 (ru) | Стереоскопическая система |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050614 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050812 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060712 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090721 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100721 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110721 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120721 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130721 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |