JP3814029B2 - Endoscope device - Google Patents

Endoscope device Download PDF

Info

Publication number
JP3814029B2
JP3814029B2 JP27755896A JP27755896A JP3814029B2 JP 3814029 B2 JP3814029 B2 JP 3814029B2 JP 27755896 A JP27755896 A JP 27755896A JP 27755896 A JP27755896 A JP 27755896A JP 3814029 B2 JP3814029 B2 JP 3814029B2
Authority
JP
Japan
Prior art keywords
observation optical
optical system
endoscope apparatus
image
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27755896A
Other languages
Japanese (ja)
Other versions
JPH10104532A (en
Inventor
尊臣 関谷
Original Assignee
ペンタックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ペンタックス株式会社 filed Critical ペンタックス株式会社
Priority to JP27755896A priority Critical patent/JP3814029B2/en
Publication of JPH10104532A publication Critical patent/JPH10104532A/en
Application granted granted Critical
Publication of JP3814029B2 publication Critical patent/JP3814029B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、対象物の像をイメージガイドファイバーを利用して観察部に導くファイバースコープ型の内視鏡を含み、少なくとも2つの観察部を有する内視鏡装置に関する。
【0002】
【従来の技術】
ファイバースコープ型の内視鏡は、挿入部の先端に設けられた対物レンズにより対象物の像を形成し、この像をイメージガイドファイバーを介して搬送すると共に、アイピースレンズを介して観察する。ファイバースコープ型の内視鏡は、可撓性を生かして医療用では胃腸等の体腔内の深く湾曲した部分を観察する場合に利用される。
【0003】
また、イメージガイドファイバーにより搬送された像を2つの観察部で観察するため、主観察系にアタッチメントを付加して光を分岐し、分岐された光をさらにイメージガイドファイバーを介して副観察系に導くオブザーバスコープ(供覧鏡、あるいはレクチャースコープとも呼ばれる)が従来から利用されている。
【0004】
【発明が解決しようとする課題】
しかしながら、上述した従来のファイバースコープ型の内視鏡では、主観察系、副観察系共に観察中に観察視野内で得られる画像情報は対象物の像のみであるため、例えば患者のデータを確認したい場合には一旦観察を中止してカルテ等を確認する必要があり、検査の効率が悪いという問題がある。
また、従来の内視鏡では、主・副それぞれの観察系で観察している観察者は互いにもう一方の観察者が対象物の像の何れの位置を注視しているかを判断することができない。
【0005】
この発明は、上述した従来技術の課題に鑑みてなされたものであり、その第1の目的は、観察中に対象物の像以外の情報を得ることができるファイバースコープ型の内視鏡装置を提供することにあり、第2の目的は、少なくとも一方の観察者が注目している点を特定することができる装置を提供することにある。
【0006】
【課題を解決するための手段】
この発明の請求項1にかかる内視鏡装置は、上記の目的を達成させるため、先端部に設けられた対物レンズにより結像された対象物の像をイメージガイドファイバーにより搬送し、イメージファイバーから射出される光束を2つに分割すると共に、分割された一方の光束を第1の観察光学系に導き、他方の光束を第2の観察光学系に導く内視鏡装置において、第1の観察光学系と第2の観察光学系は、それぞれ、対象物の画像を肉眼で観察するためのアイピースレンズと、アイピースレンズを介して観察される対象物の画像を含む観察視野内に所定の情報を表示させるための表示手段と、を有し、第1の観察光学系と第2の観察光学系の少なくともいずれか一方は、アイピースレンズを介して観察する観察者が注視している方向を検出する視線検出手段を備え、視線検出手段による検出結果に基づいて、第1、第2の観察光学系の表示手段に同一の情報を表示させる制御手段とを備えることを特徴とする。
【0007】
また、この発明の請求項2にかかる内視鏡装置は、上記の目的を達成させるため、先端部に設けられた対物レンズにより結像された対象物の像をイメージガイドファイバーにより搬送し、該イメージファイバーから射出される光束を2つに分割すると共に、分割された一方の光束を第1の観察光学系に導き、他方の光束を第2の観察光学系に導く内視鏡装置において、第1の観察光学系と第2の観察光学系は、それぞれ、対象物の画像を肉眼で観察するためのアイピースレンズと、アイピースレンズを介して観察される対象物の画像を含む観察視野内に所定の情報を表示させるための表示手段と、アイピースレンズを介して観察する観察者が注視している方向を検出する視線検出手段を備え、第1の観察光学系と第2の観察光学系が持つ各視線検出手段による検出結果に基づいて、第1、第2の観察光学系の表示手段の表示制御を行う制御手段を備えることを特徴とする。
【0008】
【発明の実施の形態】
以下、この発明にかかる内視鏡の実施形態を説明する。
図1は、この発明の第1の実施形態にかかる内視鏡装置を模式的に示す説明図である。内視鏡装置は、内視鏡10と照明・制御装置20、そして内視鏡10に接続されたオブザーバスコープ90とから構成される。内視鏡10は、体腔等の狭小な空間に挿入される可撓性の挿入部10aと、この挿入部10aに連結された第1の観察光学系(主観察系)である第1観察部10bとを備えている。内視鏡10と照明・制御装置20とは、電気信号用のケーブル、ライトガイドファイバー等が収められた接続ケーブル10cにより接続されている。
【0009】
内視鏡10の挿入部10aの先端には、対象物の像を形成する対物レンズ11が設けられており、形成される対象物の像は、対物レンズ11の焦点位置に入射端面12aを位置させるように配置されたイメージガイドファイバー12により観察部10b側に搬送される。観察者は、観察部10b内に配置されたアイピースレンズ13を介して、イメージガイドファイバー12の射出端面12bに形成される対象物の像を肉眼で観察することができる。
一方、照明・制御装置20には、ランプ21と集光反射鏡22とから成る光源部が設けられており、光源部から発した照明光は、ライトガイドファイバー17により内視鏡先端部に導かれ、照明レンズ18を介して対象物を照明する。
【0010】
また、実施形態の内視鏡装置では、アイピースレンズ13を介して観察される対象物の画像を含む観察視野内に所定の情報を表示させるための表示手段として、液晶表示装置14が、観察部10b内であって、イメージガイドファイバー12の射出端面12bとアイピースレンズ13との間の光路外に配置されている。この液晶表示装置14から発した表示光は、投影レンズ15を介してイメージガイドファイバー12の射出端面12bとアイピースレンズ13との間の光路中に配置されたハーフミラー16に入射する。ハーフミラー16は、イメージガイドファイバー12から射出した光束と液晶表示装置14からの光束とを合成してアイピースレンズ13に入射させる光束合成素子として機能する。
【0011】
液晶表示装置14の表示面は、投影レンズ15を介してイメージガイドファイバー12の射出端面12bと光学的にほぼ共役な位置にある。液晶表示装置14は、イメージガイドファイバー12に搬送されてアイピースレンズ13を介して観察される像の範囲の外側の領域に情報を表示するよう文字または図形のパターンを電気的に表示する。
【0012】
液晶表示装置14は、バックライト14bと液晶表示パネル14aとから構成され、この液晶表示パネル14aは、バックライト14b側から、第1の偏光板と、TN(Twisted Nematic)型の液晶セルと、第1の偏光板を透過する直線偏光の電界ベクトルの振動方向に対して透過軸が直交するよう配置された第2の偏光板とを組み合わせて構成されている。
【0013】
液晶セルは、内側に複数のセグメントを有する透明電極の間に液晶が充填されて構成されるが、この例では、少なくとも情報を表示する部分にマトリクス状のセグメント、あるいは数値表示のためのセグメントを必要な桁分並べた透明電極が形成されている。対象物の像と重なる部分も含めて液晶表示パネルの全域に情報を表示する場合には、液晶表示パネルの全域にマトリクス状の透明電極を形成しておけばよい。他方、対象物の像が観察される領域と重複しない外側部分にのみ情報を表示させるためには、イメージガイドファイバーの射出端面と重複しないリング状の領域にのみセグメントを有する透明電極を形成すればよい。
【0014】
上記の構成によると、電極間に電圧が印加されていないセグメントは入射する直線偏光を90度旋光させるため、この部分を透過した光は偏光板を透過し、電圧が印加されているセグメントは旋光性を持たないため、この部分を透過した光は偏光板により遮断される。したがって、電圧が印加されない部分はバックライト14bにより明るくなり、電圧が印加されたセグメントのみが暗く表示されることとなる。なお、背景と文字情報との明暗は、実施形態とは逆に背景を暗く、文字情報を明るく表示してもよい。
【0015】
さらに、実施形態の内視鏡装置には、アイピースレンズ13を覗く観察者が注視している方向を検出するための視線検出手段が設けられている。視線検出手段は、入力手段としてアイピースレンズを覗く観察者の目に赤外光を観察光路外から照射する一対の赤外発光ダイオード61a,61bと、アイピースレンズ13の眼側に配置されて眼から反射される赤外光を観察光路から分離する赤外反射ミラー62と、反射光路中に配置された結像レンズ63及びイメージセンサ64とを備えている。
【0016】
オブザーバスコープ90は、可撓性の画像搬送部90aと、この搬送部により搬送された画像を肉眼で観察するための第2の観察光学系(副観察系)としての第2観察部90bとを備えている。画像搬送部90aは、第1観察部10b内のイメージガイドファイバー12の射出端面12bと表示用のハーフミラー16との間に配置されてイメージガイドファイバー12から射出される光束を2つに分割するビームスプリッター91と、分割された光束を再結像させる結像レンズ92と、再結像された画像を第2観察部90bに導くためのイメージガイドファイバー93とを備えている。
【0017】
オブザーバスコープ90のイメージガイドファイバー93により搬送された画像は、アイピースレンズ94を介して肉眼で観察可能である。また、第2観察部90bには、第1観察部10bにおけるのと同様に液晶表示装置95、結像レンズ96、ハーフミラー97とから構成される表示手段と、赤外発光ダイオード101a,101b、赤外反射ミラー104、結像レンズ103及びイメージセンサ102から構成される視線検出装置の入力部とが設けられている。液晶表示装置95は、バックライト95bと液晶表示パネル95aとから構成されている。
【0018】
照明・制御装置20には、前述の光源部の他に、液晶表示装置14,95の表示を制御する表示制御回路23と、視線検出手段のイメージセンサ64,102の出力信号を受けて視線の方向を決定する視線検出回路25とが設けられている。表示制御回路23には、患者のデータ等を入力するためのコンピュータが入力手段24として接続されていると共に、第1、第2観察部10b,90bの液晶表示装置14,95に表示する内容を切り換える切換回路29が接続されている。コンピュータは、図示せぬキーボードから入力されるデータ、カルテに添付されたバーコードから読み込まれたデータ、あるいは、記憶装置に登録されたデータベースから検索されたデータを表示制御回路23へ出力する。
【0019】
視線検出回路25における視線検出の原理自体は、例えば特開平2−5号公報等に開示される公知の原理を利用できる。例えば、プルキンエ像と瞳孔中心との相対的な位置関係に基づいて眼球の回旋角を演算により求めることにより、視線の方向を決定する。
【0020】
図2は、イメージガイドファイバー12,93から射出した像形成用の光束と、液晶表示装置14,95から発した表示光とが、ハーフミラー16,97により合成された状態をアイピースレンズを介して観察した際の視野の一例を示す。視野範囲R0の中央にイメージガイドファイバー12により搬送される対象物の像が形成される画像領域R1が位置し、この画像領域R1の周辺に複数の情報が液晶表示装置14からの表示光により観察される。
【0021】
この例では、何れの観察部の視野にも、第1の情報I1として患者のイニシャル「T.Y」、第2の情報I2として患者の性別・年齢「F, 34」、そして第3の情報として第1の観察系10bを介して観察している観察者の注視している点が矢印AMにより表示される。ただし、切換手段29を切り換えることにより、第2の観察系90bを観察している観察者の注視している点を表示することもできるし、互いに第1観察部10bを観察している観察者の注視点を第2観察部90bに表示させ、第2観察部90bを観察している観察者の注視点を第1観察部10bに表示するようにすることもできる。
【0022】
したがって、図1の構成によれば、第1、第2観察部を介して観察する二人の観察者に患者データに関する同一の情報を知らせると共に、設定に応じて一方の観察者が何れの点を注視しているかを他方の観察者に知らせることができ、例えば二人の観察者が会話しながら観察する場合に、観察視野内に病変部が複数存在する場合にも自分が意見を述べている病変部を「現在注視している病変部」として容易に相手に確認させることができる。
【0023】
図3は、この発明の第2の実施形態を示す図1と同様の説明図である。この例では、第1観察部10bに視線検出装置が設けられると共に、ビデオカメラを備えるオブザーバスコープ110が取り付けられている。挿入部10a、照明・制御装置20、視線検出手段等の構成は図1に示される第1の実施形態と同一である。オブザーバスコープ110は、イメージガイドファイバー12を射出した光束を分割するハーフミラー91、分離された光束を再結像させる結像レンズ92、結像された画像を読み取るイメージセンサ111とを備えると共に、このイメージセンサ111の出力と照明・制御装置20に設けられた表示制御回路23の出力とが入力される画像処理回路112が設けられている。
【0024】
画像処理装置112は、イメージセンサ111からの出力信号を動画としてビデオモニタ120上に表示させると共に、表示制御回路23からの信号に基づいて患者に関する情報と第1観察部10bを介して観察する観察者の注視点とを図2に示される例と同様にモニタディスプレイ120に表示させる。図2の構成では、実際に内視鏡を肉眼で観察して操作する術者以外に、複数の観察者が同時に対象物の画像を観察することができ、かつ、術者が何れの点に注目しているかをビデオモニタ120上の表示から知ることが可能である。
【0025】
図4は、この発明の第3の実施形態を示す観察部部分の拡大図である。この例は、イメージガイドファイバー12とアイピースレンズ130とを含む単眼視内視鏡Aに、複数人での観察が可能な供覧鏡Bを接続して構成されている。図4の例では、各観察部において表示素子として円板状の液晶表示パネル30,32が用いられている。視線検出装置、および図示されない部分の構成は図1に示される構成と同一である。イメージガイドファイバー12から射出した対象物の画像情報を含む光束は、単眼視内視鏡Aのアイピースレンズ130および結像レンズ140を透過して偏光ビームスプリッター131で2つの直線偏光成分に分離される。偏光ビームスプリッター131を透過したP偏光成分は、結像レンズ140を介してイメージガイドファイバー12の射出端面とほぼ共役な面内に配置された液晶表示パネル30に入射する。一方、偏光ビームスプリッター131で反射されたS偏光成分は、イメージガイドファイバー12の射出端面と共役な位置に入射端面を位置させるイメージガイドファイバー93に入射して搬送される。液晶表示パネル32は、その表示面がイメージガイドファイバー93の射出端面とほぼ同一の面内に配置されるよう射出端面に密着して配置されている。液晶表示パネル30,32の外側の領域には、それぞれリング状のバックライト31,33がアイピースレンズ13,94側から見て裏面に密着して配置されている。
【0026】
液晶表示パネル30は、偏光ビームスプリッター131側から、TN型の液晶セルと、偏光ビームスプリッター131を透過する直線偏光の電界ベクトルの振動方向に対して透過軸が直交するよう配置された偏光板とを組み合わせて構成されている。液晶表示パネル32は、偏光ビームスプリッター131側から、TN型の液晶セルと、偏光ビームスプリッター131で反射された直線偏光の電界ベクトルの振動方向に対して透過軸が直交するよう配置された偏光板とを組み合わせて構成されている。液晶表示パネルによる表示原理は第1の実施形態と同様であり、イメージガイドファイバー12,93の射出端面と重複する部分では電圧が印加されない場合に対象物の像を観察することができ、重複しない周囲の部分では電圧が印加されない部分はバックライト31,33により明るくなり、電圧が印加されたセグメントのみが暗く表示されることとなる。アイピースレンズ13,94を介して観察される視野は、例えば図2と同様であり、中央に対象物の像が観察され、その周囲に複数の文字情報がバックライトによる明るい背景内に暗いパターンとして観察される。
【0027】
図4の構成によれば、偏光ビームスプリッター131を用いて光束を分離することにより、分離された光束は直線偏光となり、一般に液晶セルを挟んで両側に配置される偏光板のうちの入射側の偏光板を設けなくとも足りる。したがって、ハーフミラーのような偏光分離特性を持たない光束分割素子を用いた場合と比較すると、光量の損失を小さくすることにより、入射光量を効率よく利用することができる。
【0028】
図5は、この発明の第4の実施形態を示す観察部部分の拡大図である。この例も上記の例と同様、単眼視内視鏡Aに供覧鏡Bを接続して構成されている。図5の例は、表示装置が第1観察部10bとオブザーバスコープ90とで共用されている点が図4の例とは異なる。すなわち、図5の例では、2つの観察部の共通光路である単眼視内視鏡Aの挿入部10a内のイメージガイドファイバー12の射出端面12bに、表示装置としてカラー液晶表示パネル34とリング状のバックライト35とが取り付けられている。液晶表示パネル34を透過した光束は、単眼視内視鏡Aのアイピースレンズ130を介してビームスプリッター132に入射して分離され、分離された光束が2つの観察部にそれぞれ入射する。ビームスプリッター132を透過した光束は、ハーフミラー62を透過して第1の観察者の目に入射する。他方、ビームスプリッター132で反射された光束は、結像レンズ141を介してイメージガイドファイバー93に入射して搬送され、接眼レンズ94、ハーフミラー104を透過して第2の観察者の目に入射する。
【0029】
それぞれの観察部には、図1の例と同様に視線検出装置が設けられている。図示せぬ表示制御回路は、各観察部の視線検出装置の受光素子64,102から出力される観察者の視線方向に関する信号を処理してカラー液晶表示パネル34に2人の観察者が注視している方向をそれぞれ異なる色の矢印で表示させ、あるいは一方の観察者の注視方向のみを矢印で表示させる。2つの矢印が表示画面上で重なった場合には、対象物の像が見えにくくなるのを避けるために一方の矢印を非表示に切り換える。注視方向以外の情報については、図2に示した例と同様に視野の周辺領域に表示することができる。
【0030】
図5の構成によれば、単一の表示手段で2人の観察者に同一の情報を提供することができるため、表示装置を複数備える図4の構成よりも装置が単純化され、コストも抑えられる。また、互いの観察者が注視する方向を異なる色で表示する構成とすれば、表示装置を単一化した場合にもそれぞれの注視方向を明確に見分けることができる。
【0031】
【発明の効果】
以上説明したように、この発明によれば、ファイバースコープ型の内視鏡を利用し、かつ、2つの観察部を有する装置において、アイピースレンズを介して観察される視野内に所定の情報を表示することができ、例えば観察中の患者のデータを表示することにより、内視鏡から目を離すことなく必要な情報を得ることができる。したがって、従来のように一旦観察を中止してカルテ等を確認しなくともよく、観察、撮影の効率を向上させることができる。
また、何れかの観察部により観察している観察者の視線方向を検出して他方の観察者が確認できるよう構成した場合には、一方の観察者が対象物の何れの点を注視しているかを他方の観察者に対して知らせることができ、例えば複数ある病変部の何れを現在観察しているかを注視点により確認できるため、観察中のコミュニケーションをより円滑にすることができる。
【図面の簡単な説明】
【図1】 この発明の第1の実施形態にかかる内視鏡装置を示す説明図である。
【図2】 図1に示される内視鏡装置の観察視野の一例を示す説明図である。
【図3】 この発明の第2の実施形態にかかる内視鏡装置を示す説明図である。
【図4】 この発明の第3の実施形態にかかる内視鏡装置の観察部を拡大して示す説明図である。
【図5】 この発明の第4の実施形態にかかる内視鏡装置の観察部を拡大して示す説明図である。
【符号の説明】
10 内視鏡
10a 挿入部
10b 観察部
11 対物レンズ
12 イメージガイドファイバー
13 アイピースレンズ
14 液晶表示パネル
23 表示制御回路
25 視線検出回路
26 モータ制御回路
61a,61b 発光ダイオード
62 赤外反射ミラー
63 結像レンズ
64 イメージセンサ
90 オブザーバスコープ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an endoscope apparatus including a fiberscope type endoscope that guides an image of an object to an observation unit using an image guide fiber, and has at least two observation units.
[0002]
[Prior art]
A fiberscope type endoscope forms an image of an object with an objective lens provided at the distal end of an insertion portion, conveys the image through an image guide fiber, and observes the image through an eyepiece lens. A fiberscope-type endoscope is used for observing a deeply curved portion in a body cavity such as the gastrointestinal tract for medical use by taking advantage of flexibility.
[0003]
In addition, in order to observe the image conveyed by the image guide fiber with two observation units, an attachment is added to the main observation system to split the light, and the branched light is further passed to the sub-observation system via the image guide fiber. A leading observer scope (also called a viewing mirror or lecture scope) has been used.
[0004]
[Problems to be solved by the invention]
However, in the conventional fiberscope type endoscope described above, the image information obtained within the observation field during observation is only the image of the object during observation in both the main observation system and the sub-observation system. When it is desired to do so, it is necessary to stop the observation once and check the medical record etc., and there is a problem that the inspection efficiency is poor.
In addition, in a conventional endoscope, an observer observing in the main and sub observation systems cannot determine which position of the object image the other observer is gazing at. .
[0005]
The present invention has been made in view of the above-described problems of the prior art, and a first object thereof is a fiberscope-type endoscope apparatus that can obtain information other than an image of an object during observation. The second object of the present invention is to provide an apparatus that can identify a point that at least one observer is paying attention to.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, an endoscope apparatus according to a first aspect of the present invention conveys an image of an object formed by an objective lens provided at a distal end portion by an image guide fiber, and from the image fiber. In an endoscope apparatus that divides an emitted light beam into two, guides one of the divided light beams to a first observation optical system, and guides the other light beam to a second observation optical system. Each of the optical system and the second observation optical system provides predetermined information in an observation field including an eyepiece lens for observing an image of the object with the naked eye and an image of the object observed through the eyepiece lens. Display means for displaying, and at least one of the first observation optical system and the second observation optical system detects a direction in which the observer observing through the eyepiece lens is gazing. Visual A detection means based on the detection result by the visual axis detection means, characterized in that it comprises a control means for displaying the same information to the first display unit of the second observation optical system.
[0007]
In order to achieve the above object, an endoscope apparatus according to a second aspect of the present invention conveys an image of an object formed by an objective lens provided at a tip portion by an image guide fiber, and An endoscope apparatus that splits a light beam emitted from an image fiber into two parts, guides one of the divided light beams to a first observation optical system, and guides the other light beam to a second observation optical system. Each of the first observation optical system and the second observation optical system has an eyepiece lens for observing an image of the object with the naked eye and an observation field including an image of the object observed through the eyepiece lens. Display means for displaying the information, and gaze detection means for detecting the direction in which the observer observing through the eyepiece lens is gazing, and the first observation optical system and the second observation optical system have Each view Based on the detection result by the detecting means, characterized in that it comprises control means for controlling the display of the first, second observation optical system of the display unit.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of an endoscope according to the present invention will be described.
FIG. 1 is an explanatory view schematically showing an endoscope apparatus according to a first embodiment of the present invention. The endoscope apparatus includes an endoscope 10, an illumination / control apparatus 20, and an observer scope 90 connected to the endoscope 10. The endoscope 10 includes a flexible insertion portion 10a that is inserted into a narrow space such as a body cavity, and a first observation unit that is a first observation optical system (main observation system) connected to the insertion portion 10a. 10b. The endoscope 10 and the illumination / control device 20 are connected by a connection cable 10c in which an electric signal cable, a light guide fiber, and the like are accommodated.
[0009]
An objective lens 11 for forming an image of the object is provided at the distal end of the insertion portion 10 a of the endoscope 10, and the image of the object to be formed has the incident end surface 12 a positioned at the focal position of the objective lens 11. The image guide fiber 12 is arranged so as to be conveyed to the observation unit 10b side. The observer can observe the image of the object formed on the exit end face 12b of the image guide fiber 12 with the naked eye via the eyepiece lens 13 disposed in the observation unit 10b.
On the other hand, the illumination / control device 20 is provided with a light source unit composed of a lamp 21 and a condensing reflection mirror 22, and the illumination light emitted from the light source unit is guided to the endoscope distal end by the light guide fiber 17. Then, the object is illuminated through the illumination lens 18.
[0010]
In the endoscope apparatus according to the embodiment, the liquid crystal display device 14 is used as a display unit for displaying predetermined information in an observation field including an image of an object observed through the eyepiece lens 13. 10b and disposed outside the optical path between the exit end face 12b of the image guide fiber 12 and the eyepiece lens 13. The display light emitted from the liquid crystal display device 14 enters the half mirror 16 disposed in the optical path between the exit end face 12 b of the image guide fiber 12 and the eyepiece lens 13 via the projection lens 15. The half mirror 16 functions as a light beam combining element that combines the light beam emitted from the image guide fiber 12 and the light beam from the liquid crystal display device 14 and enters the eyepiece lens 13.
[0011]
The display surface of the liquid crystal display device 14 is at an optically conjugate position with the exit end face 12 b of the image guide fiber 12 via the projection lens 15. The liquid crystal display device 14 electrically displays a character or graphic pattern so as to display information in a region outside the range of the image that is conveyed to the image guide fiber 12 and observed through the eyepiece lens 13.
[0012]
The liquid crystal display device 14 includes a backlight 14b and a liquid crystal display panel 14a. The liquid crystal display panel 14a includes, from the backlight 14b side, a first polarizing plate, a TN (Twisted Nematic) type liquid crystal cell, The second polarizing plate is arranged in combination with the transmission axis orthogonal to the vibration direction of the electric field vector of the linearly polarized light that passes through the first polarizing plate.
[0013]
A liquid crystal cell is configured by filling a liquid crystal between transparent electrodes having a plurality of segments on the inside. In this example, at least a portion for displaying information includes a matrix segment or a segment for numerical display. Transparent electrodes arranged as many as necessary are formed. In the case where information is displayed over the entire area of the liquid crystal display panel including a portion overlapping the image of the object, a matrix-like transparent electrode may be formed over the entire area of the liquid crystal display panel. On the other hand, in order to display information only in the outer portion that does not overlap with the region where the image of the object is observed, a transparent electrode having segments only in the ring-shaped region that does not overlap with the exit end face of the image guide fiber is formed. Good.
[0014]
According to the above configuration, since the segment to which no voltage is applied between the electrodes rotates the incident linearly polarized light by 90 degrees, the light transmitted through this portion is transmitted through the polarizing plate, and the segment to which the voltage is applied is rotated. Therefore, the light transmitted through this portion is blocked by the polarizing plate. Therefore, the portion to which no voltage is applied is brightened by the backlight 14b, and only the segment to which the voltage is applied is displayed dark. In contrast to the lightness and darkness of the background and the character information, the background may be darkened and the character information may be displayed brightly, contrary to the embodiment.
[0015]
Furthermore, the endoscope apparatus of the embodiment is provided with a line-of-sight detection means for detecting a direction in which an observer looking into the eyepiece lens 13 is gazing. The line-of-sight detection means is disposed on the eye side of the eyepiece lens 13 from the eyes and a pair of infrared light-emitting diodes 61a and 61b that irradiate infrared light from outside the observation optical path to the eyes of an observer looking through the eyepiece lens as input means. An infrared reflection mirror 62 that separates reflected infrared light from the observation optical path, and an imaging lens 63 and an image sensor 64 disposed in the reflection optical path are provided.
[0016]
The observer scope 90 includes a flexible image conveyance unit 90a and a second observation unit 90b as a second observation optical system (sub-observation system) for observing an image conveyed by the conveyance unit with the naked eye. I have. The image conveying unit 90a is arranged between the emission end face 12b of the image guide fiber 12 in the first observation unit 10b and the display half mirror 16, and divides the light beam emitted from the image guide fiber 12 into two. A beam splitter 91, an imaging lens 92 that re-images the divided light flux, and an image guide fiber 93 for guiding the re-imaged image to the second observation unit 90b are provided.
[0017]
The image conveyed by the image guide fiber 93 of the observer scope 90 can be observed with the naked eye via the eyepiece lens 94. Similarly to the first observation unit 10b, the second observation unit 90b includes display means including a liquid crystal display device 95, an imaging lens 96, and a half mirror 97, and infrared light emitting diodes 101a, 101b, An input unit of a line-of-sight detection device including an infrared reflection mirror 104, an imaging lens 103, and an image sensor 102 is provided. The liquid crystal display device 95 includes a backlight 95b and a liquid crystal display panel 95a.
[0018]
In addition to the light source unit described above, the illumination / control device 20 receives the output signals of the display control circuit 23 for controlling the display of the liquid crystal display devices 14 and 95 and the image sensors 64 and 102 of the visual line detection means, A line-of-sight detection circuit 25 that determines the direction is provided. A computer for inputting patient data and the like is connected to the display control circuit 23 as input means 24, and the contents displayed on the liquid crystal display devices 14 and 95 of the first and second observation units 10b and 90b are displayed. A switching circuit 29 for switching is connected. The computer outputs data input from a keyboard (not shown), data read from a barcode attached to the chart, or data retrieved from a database registered in the storage device to the display control circuit 23.
[0019]
As the principle of the gaze detection in the gaze detection circuit 25, a known principle disclosed in, for example, Japanese Patent Laid-Open No. 2-5 can be used. For example, the direction of the line of sight is determined by calculating the rotation angle of the eyeball based on the relative positional relationship between the Purkinje image and the center of the pupil.
[0020]
FIG. 2 shows a state in which the light beam for image formation emitted from the image guide fibers 12 and 93 and the display light emitted from the liquid crystal display devices 14 and 95 are combined by the half mirrors 16 and 97 through the eyepiece lens. An example of the visual field when observed is shown. An image region R1 in which an image of the object conveyed by the image guide fiber 12 is formed is located in the center of the visual field range R0, and a plurality of information is observed around the image region R1 by display light from the liquid crystal display device 14. Is done.
[0021]
In this example, the patient's initial “TY” as the first information I1, the gender / age of the patient “F, 34” as the second information I2, and the third information in the field of view of any observation unit As shown, an arrow AM indicates a point at which the observer who is observing through the first observation system 10b is gazing. However, by switching the switching means 29, it is also possible to display the points being watched by the observer observing the second observation system 90b, or observers observing the first observation part 10b with each other. Can be displayed on the second observation unit 90b, and the gaze point of the observer observing the second observation unit 90b can be displayed on the first observation unit 10b.
[0022]
Therefore, according to the configuration of FIG. 1, two observers observing through the first and second observation units are notified of the same information regarding patient data, and one observer can select any point according to the setting. For example, when two observers talk while observing and there are multiple lesions in the observation field, they can give their opinions. The other lesion can be easily confirmed as “the lesion currently being watched”.
[0023]
FIG. 3 is an explanatory view similar to FIG. 1, showing a second embodiment of the present invention. In this example, a visual line detection device is provided in the first observation unit 10b, and an observer scope 110 including a video camera is attached. The configuration of the insertion portion 10a, the illumination / control device 20, the line-of-sight detection means, etc. is the same as that of the first embodiment shown in FIG. The observer scope 110 includes a half mirror 91 that divides the light beam emitted from the image guide fiber 12, an imaging lens 92 that re-images the separated light beam, and an image sensor 111 that reads the formed image. An image processing circuit 112 is provided to which the output of the image sensor 111 and the output of the display control circuit 23 provided in the illumination / control device 20 are input.
[0024]
The image processing apparatus 112 displays an output signal from the image sensor 111 on the video monitor 120 as a moving image, and also observes information related to the patient and observation through the first observation unit 10b based on the signal from the display control circuit 23. The monitor's gazing point is displayed on the monitor display 120 as in the example shown in FIG. In the configuration of FIG. 2, in addition to the operator who actually observes and operates the endoscope with the naked eye, a plurality of observers can observe the image of the object at the same time, and the operator can It is possible to know from the display on the video monitor 120 whether attention is being paid.
[0025]
FIG. 4 is an enlarged view of an observation portion showing a third embodiment of the present invention. In this example, a viewing endoscope B capable of observation by a plurality of persons is connected to a monocular endoscope A including an image guide fiber 12 and an eyepiece lens 130. In the example of FIG. 4, disk-like liquid crystal display panels 30 and 32 are used as display elements in each observation unit. The configuration of the line-of-sight detection device and the portion not shown is the same as the configuration shown in FIG. A light beam including image information of an object emitted from the image guide fiber 12 passes through the eyepiece lens 130 and the imaging lens 140 of the monocular endoscope A, and is separated into two linearly polarized components by the polarization beam splitter 131. . The P-polarized component transmitted through the polarizing beam splitter 131 is incident on the liquid crystal display panel 30 disposed in a plane substantially conjugate with the exit end face of the image guide fiber 12 through the imaging lens 140. On the other hand, the S-polarized light component reflected by the polarization beam splitter 131 is incident on the image guide fiber 93 having the incident end face positioned at a position conjugate with the exit end face of the image guide fiber 12 and is conveyed. The liquid crystal display panel 32 is disposed in close contact with the exit end surface so that the display surface thereof is disposed in substantially the same plane as the exit end surface of the image guide fiber 93. In the regions outside the liquid crystal display panels 30 and 32, ring-shaped backlights 31 and 33 are arranged in close contact with the back surface as viewed from the eyepiece lenses 13 and 94 side, respectively.
[0026]
The liquid crystal display panel 30 includes, from the polarizing beam splitter 131 side, a TN liquid crystal cell, and a polarizing plate arranged so that the transmission axis is orthogonal to the vibration direction of the electric field vector of linearly polarized light transmitted through the polarizing beam splitter 131. It is configured by combining. The liquid crystal display panel 32 includes a TN liquid crystal cell and a polarizing plate arranged so that the transmission axis is orthogonal to the oscillation direction of the electric field vector of linearly polarized light reflected by the polarizing beam splitter 131 from the polarizing beam splitter 131 side. Are combined. The display principle of the liquid crystal display panel is the same as that of the first embodiment, and the image of the object can be observed when no voltage is applied at the portion overlapping the exit end face of the image guide fibers 12 and 93, and does not overlap. In the surrounding portion, the portion where no voltage is applied is brightened by the backlights 31 and 33, and only the segment to which the voltage is applied is displayed darkly. The field of view observed through the eyepiece lenses 13 and 94 is the same as that shown in FIG. 2, for example, and an image of the object is observed at the center, and a plurality of character information around it as a dark pattern in a bright background by the backlight. Observed.
[0027]
According to the configuration of FIG. 4, by separating the light beam using the polarization beam splitter 131, the separated light beam becomes linearly polarized light, and generally on the incident side of the polarizing plates arranged on both sides of the liquid crystal cell. It is not necessary to provide a polarizing plate. Therefore, the incident light quantity can be used efficiently by reducing the loss of the light quantity as compared with the case where the light beam splitting element having no polarization separation characteristic such as a half mirror is used.
[0028]
FIG. 5 is an enlarged view of an observation portion showing a fourth embodiment of the present invention. Similar to the above example, this example is configured by connecting the viewing scope B to the monocular endoscope A. The example of FIG. 5 is different from the example of FIG. 4 in that the display device is shared by the first observation unit 10b and the observer scope 90. That is, in the example of FIG. 5, a color liquid crystal display panel 34 and a ring shape are provided as a display device on the exit end face 12 b of the image guide fiber 12 in the insertion part 10 a of the monocular endoscope A that is a common optical path of the two observation parts. The backlight 35 is attached. The light beam that has passed through the liquid crystal display panel 34 enters the beam splitter 132 via the eyepiece lens 130 of the monocular endoscope A and is separated, and the separated light beams enter the two observation units, respectively. The light beam that has passed through the beam splitter 132 passes through the half mirror 62 and enters the eyes of the first observer. On the other hand, the light beam reflected by the beam splitter 132 enters the image guide fiber 93 through the imaging lens 141 and is conveyed, and passes through the eyepiece 94 and the half mirror 104 to enter the eyes of the second observer. To do.
[0029]
Each observation unit is provided with a line-of-sight detection device as in the example of FIG. A display control circuit (not shown) processes signals relating to the viewing direction of the viewer output from the light receiving elements 64 and 102 of the visual line detection device of each observation unit, and two viewers gaze at the color liquid crystal display panel 34. Are displayed with arrows of different colors, or only the gaze direction of one observer is displayed with arrows. When two arrows overlap on the display screen, one arrow is switched to non-display in order to prevent the image of the object from becoming difficult to see. Information other than the gaze direction can be displayed in the peripheral region of the field of view as in the example shown in FIG.
[0030]
According to the configuration of FIG. 5, since the same information can be provided to two observers with a single display means, the device is simplified and the cost is higher than the configuration of FIG. 4 having a plurality of display devices. It can be suppressed. In addition, if the direction in which the viewers gaze each other is displayed in different colors, the gaze directions can be clearly distinguished even when the display device is unified.
[0031]
【The invention's effect】
As described above, according to the present invention, in a device using a fiberscope type endoscope and having two observation units, predetermined information is displayed in a field of view observed through an eyepiece lens. For example, by displaying data of a patient under observation, necessary information can be obtained without taking an eye off the endoscope. Therefore, it is not necessary to stop the observation once and confirm the medical record or the like as in the prior art, and the efficiency of observation and photographing can be improved.
In addition, when configured so that the observer's line-of-sight direction can be detected by one of the observation units and the other observer can confirm, the one observer watches any point on the object. The other observer can be notified, for example, which of the plurality of lesions is currently being observed can be confirmed from the gazing point, so that communication during observation can be made smoother.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing an endoscope apparatus according to a first embodiment of the present invention.
FIG. 2 is an explanatory diagram showing an example of an observation field of view of the endoscope apparatus shown in FIG.
FIG. 3 is an explanatory view showing an endoscope apparatus according to a second embodiment of the present invention.
FIG. 4 is an explanatory view showing, in an enlarged manner, an observation unit of an endoscope apparatus according to a third embodiment of the present invention.
FIG. 5 is an explanatory diagram showing, in an enlarged manner, an observation unit of an endoscope apparatus according to a fourth embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Endoscope 10a Insertion part 10b Observation part 11 Objective lens 12 Image guide fiber 13 Eyepiece lens 14 Liquid crystal display panel 23 Display control circuit 25 Line-of-sight detection circuit 26 Motor control circuit 61a, 61b Light emitting diode 62 Infrared reflection mirror 63 Imaging lens 64 Image sensor 90 Observer scope

Claims (10)

先端部に設けられた対物レンズにより結像された対象物の像をイメージガイドファイバーにより搬送し、該イメージファイバーから射出される光束を2つに分割すると共に、分割された一方の光束を第1の観察光学系に導き、他方の光束を第2の観察光学系に導く内視鏡装置において、
前記第1の観察光学系と前記第2の観察光学系は、それぞれ、対象物の画像を肉眼で観察するためのアイピースレンズと、前記アイピースレンズを介して観察される前記対象物の画像を含む観察視野内に所定の情報を表示させるための表示手段と、を有し、
前記第1の観察光学系と前記第2の観察光学系の少なくともいずれか一方は、アイピースレンズを介して観察する観察者が注視している方向を検出する視線検出手段を備え、
前記視線検出手段による検出結果に基づいて、前記第1、第2の観察光学系の表示手段に同一の情報を表示させる制御手段を備えることを特徴とする内視鏡装置。
The image of the object imaged by the objective lens provided at the tip is conveyed by the image guide fiber, the light beam emitted from the image fiber is divided into two, and one of the divided light beams is the first. In an endoscope apparatus that guides the other light beam to the second observation optical system,
Each of the first observation optical system and the second observation optical system includes an eyepiece lens for observing an image of the object with the naked eye and an image of the object observed through the eyepiece lens. Display means for displaying predetermined information in the observation visual field ,
At least one of the first observation optical system and the second observation optical system includes line-of-sight detection means for detecting a direction in which an observer observing through an eyepiece lens is gazing,
An endoscope apparatus comprising: control means for displaying the same information on the display means of the first and second observation optical systems based on the detection result by the line-of-sight detection means .
先端部に設けられた対物レンズにより結像された対象物の像をイメージガイドファイバーにより搬送し、該イメージファイバーから射出される光束を2つに分割すると共に、分割された一方の光束を第1の観察光学系に導き、他方の光束を第2の観察光学系に導く内視鏡装置において、The image of the object imaged by the objective lens provided at the tip is conveyed by the image guide fiber, the light beam emitted from the image fiber is divided into two, and one of the divided light beams is the first. In an endoscope apparatus that guides the other light beam to the second observation optical system,
前記第1の観察光学系と前記第2の観察光学系は、それぞれ、対象物の画像を肉眼で観察するためのアイピースレンズと、前記アイピースレンズを介して観察される前記対象物の画像を含む観察視野内に所定の情報を表示させるための表示手段と、前記アイピースレンズを介して観察する観察者が注視している方向を検出する視線検出手段を備え、  Each of the first observation optical system and the second observation optical system includes an eyepiece lens for observing an image of the object with the naked eye and an image of the object observed through the eyepiece lens. A display means for displaying predetermined information in the observation visual field, and a line-of-sight detection means for detecting a direction in which an observer observing through the eyepiece lens is gazing,
前記第1の観察光学系と前記第2の観察光学系が持つ各視線検出手段による検出結果に基づいて、前記第1、第2の観察光学系の表示手段の表示制御を行う制御手段を備えることを特徴とする内視鏡装置。  Control means for performing display control of the display means of the first and second observation optical systems based on detection results by the line-of-sight detection means of the first observation optical system and the second observation optical system. An endoscope apparatus characterized by that.
請求項2に記載の内視鏡装置において、  The endoscope apparatus according to claim 2, wherein
前記制御手段は、前記第1および第2の観察光学系の一方の視線検出手段による検出結果に基づいて、前記第1および第2の観察光学系の表示手段に同一の情報を表示させることを特徴とする内視鏡装置。  The control means displays the same information on the display means of the first and second observation optical systems based on a detection result by one of the line-of-sight detection means of the first and second observation optical systems. Endoscopic device characterized.
請求項2に記載の内視鏡装置において、  The endoscope apparatus according to claim 2, wherein
前記制御手段は、前記第1の観察光学系の視線検出手段による検出結果に基づいて前記第2の観察光学系の表示手段に情報を表示し、前記第2の観察光学系の視線検出手段による検出結果に基づいて前記第1の観察光学系の表示手段に情報を表示することを特徴とする内視鏡装置。  The control means displays information on the display means of the second observation optical system based on the detection result by the line-of-sight detection means of the first observation optical system, and by the line-of-sight detection means of the second observation optical system An endoscope apparatus characterized in that information is displayed on a display means of the first observation optical system based on a detection result.
請求項2に記載の内視鏡装置において、  The endoscope apparatus according to claim 2, wherein
前記制御手段は、前記第1の観察光学系の視線検出手段による検出結果に基づいて前記第1、第2の観察光学系の表示手段に情報を表示し、または前記第2の観察光学系の視線検出手段による検出結果に基づいて前記第1、第2の観察光学系の表示手段に情報を表示することを特徴とする内視鏡装置。  The control means displays information on the display means of the first and second observation optical systems based on the detection result by the line-of-sight detection means of the first observation optical system, or of the second observation optical system An endoscope apparatus characterized in that information is displayed on the display means of the first and second observation optical systems based on the detection result by the line-of-sight detection means.
請求項3から請求項5のいずれかに記載の内視鏡装置において、  The endoscope apparatus according to any one of claims 3 to 5,
前記制御手段の表示制御を切り替える切り替え手段を有することを特徴とする内視鏡装置。  An endoscope apparatus comprising switching means for switching display control of the control means.
請求項3に記載の内視鏡装置において、  The endoscope apparatus according to claim 3, wherein
前記第1の観察光学系の表示手段と前記第2の観察光学系の表示手段は、共通であることを特徴とする内視鏡装置。  The endoscope apparatus characterized in that the display means of the first observation optical system and the display means of the second observation optical system are common.
請求項7に記載の内視鏡装置において、  The endoscope apparatus according to claim 7,
前記制御手段は、前記第1の観察光学系と前記第2の観察光学系によって注視されている方向が重複している場合には、いずれか一方を非表示とすることを特徴とする内視鏡装置。  The control unit is configured to hide one of the first observation optical system and the second observation optical system when the directions being watched overlap each other. Mirror device.
請求項7または請求項8に記載の内視鏡装置において、  The endoscope apparatus according to claim 7 or 8,
前記表示手段は、前記第1の観察光学系と前記第2の観察光学系によって注視されている方向を異なる色により識別することを特徴とする内視鏡装置。  The endoscope apparatus according to claim 1, wherein the display unit identifies the direction being watched by the first observation optical system and the second observation optical system by different colors.
請求項1から請求項9のいずれかに記載の内視鏡装置において、  The endoscope apparatus according to any one of claims 1 to 9,
前記情報は、患者に関する文字情報を含むことを特徴とする内視鏡装置。  The endoscope apparatus characterized in that the information includes character information related to a patient.
JP27755896A 1996-09-28 1996-09-28 Endoscope device Expired - Fee Related JP3814029B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27755896A JP3814029B2 (en) 1996-09-28 1996-09-28 Endoscope device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27755896A JP3814029B2 (en) 1996-09-28 1996-09-28 Endoscope device

Publications (2)

Publication Number Publication Date
JPH10104532A JPH10104532A (en) 1998-04-24
JP3814029B2 true JP3814029B2 (en) 2006-08-23

Family

ID=17585204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27755896A Expired - Fee Related JP3814029B2 (en) 1996-09-28 1996-09-28 Endoscope device

Country Status (1)

Country Link
JP (1) JP3814029B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005342400A (en) * 2004-06-07 2005-12-15 Olympus Corp Endoscope apparatus and endoscope system

Also Published As

Publication number Publication date
JPH10104532A (en) 1998-04-24

Similar Documents

Publication Publication Date Title
US6266182B1 (en) Operating microscope
US6433760B1 (en) Head mounted display with eyetracking capability
US5815741A (en) Image observing apparatus and imaging apparatus utilizing the image observing apparatus
US6069649A (en) Stereoscopic display
US5601549A (en) Medical observing instrument
US20110273550A1 (en) Meibomian gland observing device
US20170151034A1 (en) Display control device, display control method, display control system, and head-mounted display
US6943955B2 (en) Stereoscopic display system having a single display
US5644427A (en) Image display apparatus
JPH0759032A (en) Picture display device
JP2000231060A5 (en)
US6273565B1 (en) Ophthalmological device
JP2008058461A (en) Image display apparatus and head mount type image display apparatus
JP3583448B2 (en) Surgical microscope equipment
US6236502B1 (en) Operation microscope including a branch observation optical system display
JP2002131693A (en) Image observing device
US5914770A (en) Ophthalmological examination instrument and method for operation thereof
JP3368614B2 (en) Head mounted display
JP3814029B2 (en) Endoscope device
US6445366B1 (en) Stereoscopic display
JP2002328330A (en) Video display device
WO2015193953A1 (en) Image display device and optical device
JP3352209B2 (en) Head mounted image display device with imaging device
JP2001242417A (en) Pupil position detector and image display device using the same
JPH11271639A (en) Stereoscopic microscope

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060602

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100609

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees