JP4129789B2 - 三次元距離画像撮像装置及び三次元距離計測方法 - Google Patents

三次元距離画像撮像装置及び三次元距離計測方法 Download PDF

Info

Publication number
JP4129789B2
JP4129789B2 JP2002314777A JP2002314777A JP4129789B2 JP 4129789 B2 JP4129789 B2 JP 4129789B2 JP 2002314777 A JP2002314777 A JP 2002314777A JP 2002314777 A JP2002314777 A JP 2002314777A JP 4129789 B2 JP4129789 B2 JP 4129789B2
Authority
JP
Japan
Prior art keywords
angle
main body
apparatus main
dimensional distance
adjustment mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002314777A
Other languages
English (en)
Other versions
JP2004150890A (ja
JP2004150890A5 (ja
Inventor
和弘 星野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002314777A priority Critical patent/JP4129789B2/ja
Publication of JP2004150890A publication Critical patent/JP2004150890A/ja
Publication of JP2004150890A5 publication Critical patent/JP2004150890A5/ja
Application granted granted Critical
Publication of JP4129789B2 publication Critical patent/JP4129789B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、撮像素子から物体までの距離を高精度で計測するとともに、高解像の画像を出力する三次元画像計測装置に関し、特に被写体から非常に近い位置から遠くの位置までの高解像度な距離計測を可能とした三次元画像計測装置及び三次元距離計測方法に関する。
【0002】
【従来の技術】
近年、光切断法を用いて被写体の距離を測定し、距離情報を取得することで、背景等の加工処理を行えるようにしたカメラシステムが注目されている(例えば、特許文献1、及び特許文献2参照)。
この光切断法による距離計測法は、計測できる距離の解像度度が高く、家庭用のみならず、工業用途にも用いられている。この光切断法においては、レーザ光などをシリンドリカルレンズなど用いて線状化し、スキャニングミラーに反射させることで、所定の面積を走査する投光系を有しており、この投光系によるレーザ光が被写体にあたって反射し、センサに反射光が入射する。そこで、この時の投光系と被写体及び撮像センサの位置関係から距離情報を計算によって取得するものである。
【0003】
【特許文献1】
特開平9−42931号公報
【特許文献2】
特開平9−229641号公報
【0004】
【発明が解決しようとする課題】
ところで、上述のような原理による光切断法においては、レーザ発光点とセンサとの間の距離(以下、ベースラインという)が離れていた方が、当然ながら距離計測解像度は高くなる。
しかしながら、ベースラインが長くなると、システム全体が大型化してしまうことが問題となる。
また、近くのものを計測したい場合には、長いベースラインは必要なく、短いベースラインで十分な計測が可能である。
したがって、遠くの被写体から近くの被写体まで、色々な距離に対応できる計測装置に対する要求があったが、実現できていなかった。
【0005】
そこで本発明の目的は、上述のような実情に鑑み、比較的遠くにある被写体から近距離にある被写体の距離計測やパターン認識を優れた解像度で計測、撮像することができる三次元画像計測装置及び三次元距離計測方法を提供することにある。
【0006】
【課題を解決するための手段】
本発明は前記目的を達成するため、画像の撮影と三次元距離計測とを行う撮像素子と、
三次元距離計測用の光を出射する投光系と、前記撮像素子と投光系とを所定の距離を隔てて被写体方向に向けて収納配置する装置本体とを有し、前記装置本体は、前記撮像素子の角度を可変調整する撮像角度調整機構を有し、前記撮像角度調整機構は、前記装置本体に設けられた回動機構を手動操作することにより、撮像素子の角度を可変調整するものであり、前記装置本体は、前記撮像素子を設けた分離筐体と、前記分離筐体を装置本体に回動可能に接合したヒンジ部とを有し、前記撮像角度調整機構は、前記分離筐体をヒンジ部を介して回動することにより、撮像素子の角度を可変調整するものであることを特徴とする。
また本発明は、画像の撮影と三次元距離計測とを行う撮像素子と、三次元距離計測用の光を出射する投光系と、前記撮像素子と投光系とを所定の距離を隔てて被写体方向に向けて収納配置する装置本体とを有し、前記装置本体は、前記撮像素子と投光系との距離を可変調整するベースライン調整機構と、撮像素子の角度を可変調整する撮像角度調整機構とを有し、前記撮像角度調整機構は、前記装置本体に設けられた回動機構を手動操作することにより、撮像素子の角度を可変調整するものであり、前記装置本体は、前記撮像素子を設けた分離筐体と、前記分離筐体を装置本体に回動可能に接合したヒンジ部とを有し、前記撮像角度調整機構は、前記分離筐体をヒンジ部を介して回動することにより、撮像素子の角度を可変調整するものであることを特徴とする。
【0007】
本発明の三次元距離画像撮像装置では、撮像素子の角度を可変調整する撮像角度調整機構を有することにより、被写体が近い場合でも最適な撮像を行うことができる。
さらに、このような撮像角度調整機構にベースライン調整機構を組み合わせることにより、より有効な計測や撮像を行うことが可能となる。
【0008】
【発明の実施の形態】
以下、本発明による三次元距離画像撮像装置及び三次元距離計測方法の実施の形態例について説明する。
本発明の実施の形態例は、光切断法による三次元距離画像撮像装置にベースライン調整機構と撮像角度調整機構を設けることにより、上述した従来の課題を解決するものである。
すなわち、第1の特徴として、ベースライン調整機構を設けることにより、計測用光源の投光系と撮像素子の距離を調整することにより、被写体が遠くにある場合と近くにある場合の双方で最適な測定を行えるようになる。
また、第2の特徴として、撮像角度調整機構を設けることにより、被写体が極めて近い位置にある場合に、マクロ撮影的に適正な撮影を行うことができる。
なお、このようなベースライン調整機構と撮像角度調整機構は、一方だけでも十分な効果をもつが、双方の組み合わせにより、さらに顕著な効果を得ることができるものである。
【0009】
以下、具体的な実施例の構成及び動作を図面を用いて順次詳細に説明する。
図1は本発明の第1実施例による三次元距離画像撮像装置の構成例を示す説明図であり、ベースライン調整機構を設けた例を示している。
また、図2は本発明の第2実施例による三次元距離画像撮像装置の構成例を示す説明図であり、ベースライン調整機構に加えて撮像角度調整機構を設けた例を示している。
また、図3〜図5は、本発明の各実施例で用いる光切断法による三次元距離測定の原理を説明する説明図である。このうち、図3は基本的な原理を示し、ベースライン調整を行わない場合には従来と同様の動作となる。また、図4は図3の状態からベースライン調整を行った場合の動作を示している。さらに、図5は撮像角度調整を行った場合の動作を示している。
【0010】
まず、図3〜図5に示す構成例を用いて三次元距離測定の原理及び本実施例における調整動作を説明する。
図3において、レーザ光源11から発光されたレーザ光(波長780nm)はシリンドリカルレンズ12により、線状に集光される。そして、この線状のレーザ光は、30Hzの周期で振り角θでスキャンするレーザスキャナミラー13により、被写体14に照射される(矢線α)。
そして、被写体14から反射したレーザ光(矢線β)をレンズ15を介してセンサ(固体撮像素子)16が捕らえ、被写体14のある一点からの反射と、センサ16の単一画素17に入光する位置が一対一対応することにより、三角測量の原理により、距離を計測する。
なお、距離計測誤差は、例えば15Hzでスキャンした場合、レーザスキャナミラー13とセンサ16を18cm離した場合において、センサ16から40cmの距離において、約2mmの精度である。
【0011】
これに対して図4は、ベースラインを40cmに離した場合の位置関係を示している。
例えばベースラインを2倍にすると、それに比例して奥行きスケールも2倍されるので、同一解像度で遠方の被写体を計測できる。
また、図5は、センサ16をスキャナミラー13に対して内側に傾けた場合の位置関係を示している。
マクロ撮影的に近距離の被写体を計測する場合には、センサ16を内側に傾けることにより、反射レーザ光に対してセンサ16の有効領域を十分に活用することが可能となる。すなわち、レーザ光によりスキャンされる被写体の面積が有効画素に対して増大することになるので解像度は向上する。
以上のような原理により、比較的遠くにある被写体から近距離にある被写体の距離計測やパターン認識を優れた解像度で計測、撮像することができる三次元画像計測装置を提供できる。
【0012】
次に、図4に示すベースラインの調整を実現する具体的な第1実施例の構成及び動作を図1に基づいて説明する。
まず、この三次元距離画像撮像装置は、矩形断面を有する筒状の装置本体100に投光系、センサ部(撮像素子)、及びベースライン調整機構を設けたものである。
装置本体100は、長手方向(ベースライン方向)に2分割された第1の筐体100Aと第2の筐体100Bに別れており、第1の筐体100Aの外側端部に投光系110が設けられ、第2の筐体100Bの外側端部にセンサ部120が設けられている。
【0013】
そして、第1の筐体100Aと第2の筐体100Bは、互いにスライド自在に接合されており、第1の筐体100Aと第2の筐体100Bとの位置を矢印aに示すように手動操作でスライド移動させることで、ベースラインを可変調整できるようになっている(すなわち、この部分がベースライン調整機構130となる)。
また、図示しないが、装置本体100の内部には、第1の筐体100Aと第2の筐体100Bの相対位置を検出するベースライン検出手段と、制御回路を搭載した配線基板が設けられており、ベースライン検出手段による検出結果が制御回路に入力され、制御回路では、このベースラインの変化に応じて演算条件を変えて測距演算等の処理を行うようになっている。
【0014】
ベースライン検出手段としては、例えば各筐体100A、100Bの一方に設けた光学的または磁気的な目盛りを、他方に設けた光学的または磁気的なセンサによって読み取り、移動量をカウントするような構成や、あるいは各筐体100A、100Bの一方に設けた線状の抵抗体に対し、他方に設けた接触子を摺動させ、検出用電流を流すことで、電流の変化を読み取り、その値から移動量を算出するような構成を用いることが可能である。
すなわち、このような移動量の検出手段は、各種の自動機器や電子機器等において従来より種々のものが提供されているものであり、製品の仕様や必要な検出精度等に合わせて種々利用できるものである。
【0015】
また、投光系110は、レーザ発光源111と、シリンドリカルレンズ112と、レーザスキャナミラー113と、その走査駆動系(図示せず)等を有している。
レーザ発光源111から発光されたレーザ光は、レンズ112により集光及び線状化されて、スキャナミラー113に照射される。
スキャナミラー113は走査駆動系によって一定の速度で所定の角度内でスキャンし、レーザ光は、このスキャナミラー113により振られて、装置本体100に設けた保護窓101を透過して被写体に照射される。
【0016】
また、センサ部120は、CCDイメージセンサやCMOSイメージセンサ等の固体撮像素子121と、集光レンズ122等を有している。
被写体から反射されたレーザ光は、装置本体100に設けた保護窓兼固定絞り102から入射し、レンズ122を経由して固体撮像素子121に入射する。
このセンサ部120では、上述の図3で説明した方法によって三角測量の原理により、被写体までの距離を測量する。また、このセンサ部120では、距離計測と同時に画像の出力が可能である。
【0017】
以上のような構成の三次元距離画像撮像装置では、上述したベースライン調整機構によって投光系110によるレーザの出射位置とセンサ部120の受光部との距離(ベースライン)を変化させることが可能であるため、遠方の被写体を同一解像度で測定できる効果がある。例えば、上述したようにベースラインを2倍にすると、比例して奥行きスケールも2倍になるので、同一解像度での計測が可能となるものである。
【0018】
次に、図4及び図5に示すベースラインの調整とセンサの角度調整を実現する具体的な第2実施例の構成及び動作を図2に基づいて説明する。なお、図2において、図1と共通の構成要素には同一符号を付して説明する。
この三次元距離画像撮像装置は、図1に示した第2の筐体100Bの外側端部にさらに分離筐体100Cを設け、この分離筐体100Cにセンサ部120を設けらたものである。
分離筐体100Cは、ヒンジ部103を介して第2の筐体100Bに水平方向(すなわち、投光系とセンサ部と被写体の三点で形成される平面の方向)に回動自在に設けられており、手動操作で傾斜角度(矢印b)を調整できるようになっている(すなわち、この部分が撮像角度調整機構140となる)。
【0019】
また、この分離筐体100Cの回動角度は、角度検出手段によって検出され、その検出結果が制御回路に伝えられる。例えば、分離筐体100Cに設けた光学的または磁気的な目盛りを、第2の筐体100Bに設けた光学的または磁気的なセンサによって読み取り、回転量をカウントするような構成を用いることが可能である。
なお、このような回転量の検出手段についても、各種の自動機器や電子機器等において従来より種々のものが提供されているものであり、製品の仕様や必要な検出精度等に合わせて種々利用できるものである。
【0020】
また、センサ部120自体の構成は図1に示す例と共通であるが、本例では分離筐体100Cに保護窓兼固定絞り104が設けられ、センサ部120への光の入射を制御している。
その他は、図1に示す例と同様であるので説明は省略する。
【0021】
このような三次元距離画像撮像装置において、計測したい被写体までの距離が近い場合、画像が蹴られることがある。その場合、本例の撮像角度調整機構により、計測したい被写体が画像の中心付近にくるように、センサ部120を反射レーザ光側に傾けることができる。
また、センサ部120を傾けた場合に、ベースラインも同時に変わることに注意する必要がある。したがって、本例では、ベースライン調整機構によるベースライン検出手段によって各筐体100A、100B間の移動量を検出し、計算によりベースラインを求めることができ、これを反映させた測定を行うことができる。
【0022】
以上、本発明の具体的な実施例について説明したが、本発明は上記の実施例に限定されるものではなく、種々の変形が可能である。
例えば、光源としてはレーザ光以外の光を用いることが可能であり、また線状光を得るための構成としては、シリンドリカルレンズの他にホログラム素子等を用いることも可能である。
また、ベースライン調整機構としては、節目のないスライド構造によって移動する構成に限らず、所定の単位寸法刻みで段階的に変化させるような構成とすることも可能である。例えば、上述した2つの筐体の接触部分に互いに嵌合する突起と凹部をスライド方向に所定の間隔おきに形成しておき、この突起と凹部が一致する位置で2つの筐体が嵌合保持されるような構成としてもよい。このようにすれば、ベースラインの検出手段も簡易な構成とすることができ、低コストの製品化が可能となる。
また、装置本体の具体的構成については、上述のような筒状の筐体で構成するものに限らず、製品のコンセプトに基づいて種々の形態を採用し得るものである。
【0023】
【発明の効果】
以上説明したように本発明の三次元距離画像撮像装置では、撮像素子の角度を撮像角度調整機構によって可変調整することにより、被写体が近い場合でも最適な計測や撮像を行うことができる。
さらに、このような撮像角度調整機構にベースライン調整機構を組み合わせることにより、より有効な計測や撮像を行うことが可能となる。
【図面の簡単な説明】
【図1】本発明の第1実施例による三次元距離画像撮像装置の構成例を示す説明図である。
【図2】本発明の第2実施例による三次元距離画像撮像装置の構成例を示す説明図である。
【図3】本発明の各実施例で用いる光切断法による三次元距離測定の基本的な原理を説明する説明図である。
【図4】図3に示す状態からベースライン調整を行った場合の動作を示す説明図である。
【図5】図4に示す状態から撮像角度調整を行った場合の動作を示す説明図である。
【符号の説明】
100……装置本体、100A……第1の筐体、100B……第2の筐体、100C……分離筐体、110……投光系、111……レーザ発光源、112……シリンドリカルレンズ、113……レーザスキャナミラー、120……センサ部、121……固体撮像素子、122……集光レンズ、130……ベースライン調整機構、140……撮像角度調整機構。

Claims (7)

  1. 画像の撮影と三次元距離計測とを行う撮像素子と、
    三次元距離計測用の光を出射する投光系と、
    前記撮像素子と投光系とを所定の距離を隔てて被写体方向に向けて収納配置する装置本体とを有し、
    前記装置本体は、前記撮像素子の角度を可変調整する撮像角度調整機構を有し、
    前記撮像角度調整機構は、前記装置本体に設けられた回動機構を手動操作することにより、撮像素子の角度を可変調整するものであり、
    前記装置本体は、前記撮像素子を設けた分離筐体と、前記分離筐体を装置本体に回動可能に接合したヒンジ部とを有し、前記撮像角度調整機構は、前記分離筐体をヒンジ部を介して回動することにより、撮像素子の角度を可変調整するものである、
    ことを特徴とする三次元距離画像撮像装置。
  2. 前記撮像角度調整機構は、撮像素子の調整された角度を検出する撮像角度検出手段を有することを特徴とする請求項1記載の三次元距離画像撮像装置。
  3. 画像の撮影と三次元距離計測とを行う撮像素子と、
    三次元距離計測用の光を出射する投光系と、
    前記撮像素子と投光系とを所定の距離を隔てて被写体方向に向けて収納配置する装置本体とを有し、
    前記装置本体は、前記撮像素子と投光系との距離を可変調整するベースライン調整機構と、撮像素子の角度を可変調整する撮像角度調整機構とを有し、
    前記撮像角度調整機構は、前記装置本体に設けられた回動機構を手動操作することにより、撮像素子の角度を可変調整するものであり、
    前記装置本体は、前記撮像素子を設けた分離筐体と、前記分離筐体を装置本体に回動可能に接合したヒンジ部とを有し、前記撮像角度調整機構は、前記分離筐体をヒンジ部を介して回動することにより、撮像素子の角度を可変調整するものである、
    ことを特徴とする三次元距離画像撮像装置。
  4. 前記ベースライン調整機構は、前記装置本体に設けられた伸縮機構を手動操作することにより、撮像素子と投光系との距離を可変調整するものであることを特徴とする請求項3記載の三次元距離画像撮像装置。
  5. 前記装置本体は、前記撮像素子または投光系の一方が設けられる第1の筐体と、前記第1の筐体にスライド可能に接合され、前記撮像素子または投光系の他方が設けられる第2の筐体とを有し、前記ベースライン調整機構は、第2の筐体を第1の筐体に対してスライドさせることにより、撮像素子と投光系との距離を可変調整するものであることを特徴とする請求項4記載の三次元距離画像撮像装置。
  6. 前記ベースライン調整機構は、撮像素子と投光系との調整された距離を検出するベースライン検出手段を有することを特徴とする請求項3記載の三次元距離画像撮像装置。
  7. 前記撮像角度調整機構は、撮像素子の調整された角度を検出する撮像角度検出手段を有することを特徴とする請求項3記載の三次元距離画像撮像装置。
JP2002314777A 2002-10-29 2002-10-29 三次元距離画像撮像装置及び三次元距離計測方法 Expired - Fee Related JP4129789B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002314777A JP4129789B2 (ja) 2002-10-29 2002-10-29 三次元距離画像撮像装置及び三次元距離計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002314777A JP4129789B2 (ja) 2002-10-29 2002-10-29 三次元距離画像撮像装置及び三次元距離計測方法

Publications (3)

Publication Number Publication Date
JP2004150890A JP2004150890A (ja) 2004-05-27
JP2004150890A5 JP2004150890A5 (ja) 2005-10-27
JP4129789B2 true JP4129789B2 (ja) 2008-08-06

Family

ID=32459002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002314777A Expired - Fee Related JP4129789B2 (ja) 2002-10-29 2002-10-29 三次元距離画像撮像装置及び三次元距離計測方法

Country Status (1)

Country Link
JP (1) JP4129789B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0711140U (ja) * 1993-08-02 1995-02-21 フルタ電機株式会社 地磁気撹乱現象を生成する磁気特性を備えた防霜ファン

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7522347B2 (ja) 2020-11-06 2024-07-25 株式会社デンソーウェーブ 計測システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0711140U (ja) * 1993-08-02 1995-02-21 フルタ電機株式会社 地磁気撹乱現象を生成する磁気特性を備えた防霜ファン

Also Published As

Publication number Publication date
JP2004150890A (ja) 2004-05-27

Similar Documents

Publication Publication Date Title
US6980302B2 (en) Three dimensional digitizer using multiple methods
JP4040825B2 (ja) 画像撮像装置及び距離測定方法
JP4297630B2 (ja) 電子撮像装置
JP2006514739A5 (ja)
JP2006514739A (ja) 歯科用レーザデジタイザシステム
US20020054297A1 (en) Three dimensional scanning system
TW531688B (en) Method and apparatus for digitizing three-dimensional objects
JP2002013948A (ja) スペックル画像相関位置トランスデューサ
JP2013257162A (ja) 測距装置
JP3641196B2 (ja) 光学式位置感知装置
EP1944958A2 (en) Image capturing device and method of capturing an image
JP2000134433A (ja) 光学式スキャナ用変換器
JP2005006272A (ja) 傾斜角度測定装置を有するプロジェクタ
JP4129789B2 (ja) 三次元距離画像撮像装置及び三次元距離計測方法
US6421114B1 (en) Three-dimensional information measuring apparatus
JP2007139622A (ja) 3次元形状計測装置
KR101949635B1 (ko) 이동식 선형빔 출력구조를 갖는 3d 스캐너장치
KR100232256B1 (ko) 가변거리측정장치
JP4123563B2 (ja) 撮像装置の調整方法
JP4204746B2 (ja) 情報獲得方法、撮像装置及び、画像処理装置
JP2001227923A (ja) 輪郭形状測定方法及び輪郭形状測定装置
KR0138313B1 (ko) 레이저를 이용한 비접촉식 높이 측정장치
JP2001067455A (ja) シート枚数読みとり装置
JPH11148806A (ja) 三次元物体及びその表面画像の読取装置
JP2003106826A (ja) 形状測定装置、原稿画像補正装置及び投影画像補正装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050819

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070425

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080511

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees