JP3670695B2 - ビデオ画像情報処理装置 - Google Patents
ビデオ画像情報処理装置 Download PDFInfo
- Publication number
- JP3670695B2 JP3670695B2 JP32066294A JP32066294A JP3670695B2 JP 3670695 B2 JP3670695 B2 JP 3670695B2 JP 32066294 A JP32066294 A JP 32066294A JP 32066294 A JP32066294 A JP 32066294A JP 3670695 B2 JP3670695 B2 JP 3670695B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- video image
- pupil
- video
- human eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0083—Apparatus for testing the eyes; Instruments for examining the eyes provided with means for patient positioning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F2009/0035—Devices for immobilising a patient's head with respect to the instrument
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Description
【産業上の利用分野】
本発明は、人間の網膜の視覚を検査する視野分析器に関し、殊に視野分析器に使用されるビデオ画像情報処理装置に関する。
【0002】
【従来の技術】
1993年6月15日に発行されたGaze Tracking for Field Analyzerという表題のLehmerおよび他による米国特許第5,220,361号明細書において、発明者はいわゆる”視野検査”の期間中に人間の眼の注視角をトラッキングする方法および装置を説明している。
【0003】
視野分析器は患者の網膜の感度を測定するための装置である。ポイントと称する光のスポットは、短時間の間半球の投影用スクリーンに投影される。球面の中心から半球の投影用スクリーンを見ている患者は、丸くくぼんだ部分の表面に搭載された注視用光源を注視線に沿って注視する。半球の投影用スクリーン上の投影スポットは、注視用光源とは別に離れた位置に変化させる制御ができる。有利にもポイントは、半球の投影用スクリーン上を位置から位置へと移動するので、強度が変化する。主観的な決定は、ポイントが見えたとき患者が応答ボタン図1a、30を押すことにより行われる。ポイントを半球の投影用スクリーン上の公知の位置に位置させ、輝度(約40の全体量)を変化させることにより、患者の網膜の感度を測定し、写像する。
【0004】
患者とインターフェースをとるこの簡単な概念は、2つの基本的な光学的問題を有している。第1に、患者は半球の投影用スクリーンの中心を注視しなければならない。ポイントが通常の患者の注視線の側面に呈される場合、ポイントが網膜の一定の部分にあたるものであると、この注視を維持しなければならない。第2に、網膜に半球の投影用スクリーンの表面を合わせるように、通常患者の視覚を適切に補正しなければならない。
【0005】
網膜の感度を患者の視感度の閾値で測定する場合、焦点が特にクリティカルであること、つまり患者の焦点は補正されず、見るべき目標は検出されず、誤った結果を与えることが理解できる。このことは、焦点の合っていない光のスポットは、焦点の合っているものよりぼんやり見えるという事実に起因する。
【0006】
患者の眼鏡は、少なくとも3つの理由で半球の投影用スクリーン上のポイントに焦点を合わせて見るのにほとんどいつも不適切である。第1に、患者の眼鏡のフレームは、大きさと形状の点で予測不能に変化する。それらは視覚のあいまいな領域およびレンズの傾斜角の点で未知である。さらに、検査条件が長年の期間にわたって反復可能であることは重要である。この条件は、患者の眼の衰弱の変化に影響される。
【0007】
第2に、患者の眼鏡内の光学的規定要件ないし諸元は、検査に必要な特定の焦点距離(通常約30センチメートル)に対しほとんどいつも不十分である。眼鏡は、患者の眼からスクリーン表面までの距離に対し、患者の視覚をほとんどいつも補正しない。
【0008】
第3に、患者の眼鏡の視角は通常不十分である。たとえば、患者の眼鏡は、2焦点レンズまたは可変レンズ(variable lens)を有することがあり、これらはスクリーン上のポイント位置の関数として患者の焦点距離を変化させる。患者の視野検査が行われている場合、そのような眼鏡は誤った結果を与える。
【0009】
これらの制限のため、視野検査中の視覚は、一般にいわゆる検査レンズで補正され、前記検査レンズは、30センチメートルの焦点距離に補正された視覚を提供するように選択され、検査レンズホルダ内の眼の近くに設置される。さらに、2つのレンズが通常必要とされ、1つは球面屈折力(spherical power)を補正し、1つはシリンダ(非点収差の)屈折力(cylinder power)を補正する。
【0010】
患者の視覚の補正は、1つまたは2つの検査レンズを光学路に付加することにより達成され、患者の眼の直前に配設される。通常これらの丸レンズは、多様な球面屈折力およびシリンダ屈折力で構成され、患者の処方に基づきオペレータにより選択され、30センチメートル、つまり半球の投影用スクリーンの半径に補正される。
【0011】
標準の検査レンズは径が比較的小さい(約3.5cm)。検査レンズの中心は、強力なレンズと関連したプリズム効果を回避するように眼のほぼ中心に置くべきである。さらに、検査レンズは、検査レンズホルダまたはレンズフレームによる患者の視覚のあいまいさを回避するように眼の近くに置くべきである。ほとんどの視野検査は、注視角から30度の範囲内で実施される。強力な凸レンズが用いられる場合、丸くくぼんだ部分を拡大することによりレンズを介しての視角を小さくさせるので、近くにあることは全くより重要である。
【0012】
今日まで公知の全ての視野検査装置において、レンズの位置はスクリーンの中心に対して相対的に固定され、患者の眼の位置も固定する必要がある。この状態は、図1aのビデオカメラVでモニターされ、監視ツールとしてオペレータに提供される。患者の眼を検査レンズ内の中心に戻すための患者の眼の動きは、オペレータによる顎カップの調整を必要とする。
【0013】
視野分析器は、通常ビデオフィールドの照明のために周囲のスクリーン光を使用する。ほとんどの視野検査器の周囲のスクリーン光は、半球の投影用スクリーン表面の一様な照明から得られ、この照明は投影されるポイントに対し一様なコントラストを与えるように供給される。赤外線の波長を用いて検査レンズホルダ上に搭載されたライトから眼を照明し、患者が可視光を検出するのを回避することも公知である。
【0014】
検査レンズに伴う実用上の機械的な位置合わせの問題に加えて、注視方向に関する別の問題は、視野検査処理の間に患者の網膜の感度を測定することにある。
【0015】
球面の投影用スクリーン上で認識された様々な位置のポイントを、網膜上の相応する位置に写像するためには、検査が進むにつれて眼が半球の投影用スクリーンの中心に対して視角を変化させないことが必要である。しかし、眼は、注視方向を容易に変化できるように頭部に配設され、実際、ぼんやりした光のスポットのような対象が周辺視野に入る場合、この変化が全く自然に行われる。したがって、一定の注視方向を維持するように患者はその期間に非常に注意する必要がある。手短にいうと、通常それぞれの眼に対して20分までもかかる検査処置は、患者にとって非常に退屈なものである。
【0016】
通常の視野検査において、患者は、照明された目標を”注視”することにより、患者の視線をまっすぐに向けることが求められる。このことは、患者の網膜の黄斑部位、つまり眼の最高の解像領域上に目標を影像化するように眼を位置させる。スクリーンの中心への注視により、中心位置からの患者の頭部位置の変化があっても、スクリーン上のポイントと網膜上の所定の位置との間の一定の関係が維持される。
【0017】
患者の網膜のいわゆる眼杯または”盲斑”にポイントを提示することにより患者の注視方向をチェックすることは公知であり、そのようなポイントが見えないことは明白である。正常な眼の網膜上の眼杯に合わせることにより、光が見えない領域が生じることはよく知られた自然現象である。通常の視野検査を開始する直前に、盲斑の位置が、前記盲斑の予想位置付近に多数のポイントを提示することにより求められる。この時間に患者は適切に注視しているものと仮定する。求められた患者の盲斑の位置を用いて、ポイントを周期的に半球の投影用スクリーン内のその位置に提示するように配置構成し、前記位置は患者の眼に対し”盲”である。通常、患者が正確な注視方向を維持するものと仮定すると、この周期的に提示されたポイントは見えず、ネガティブな応答がポイントの提示に対し患者により与えられる。ポジティブな応答は、患者が、”盲斑”に呈される時間に正確な注視方向を維持していないことを示す。
【0018】
盲斑に対する光のポイントの提示は、検査する時間がかかることを理解すべきである。さらに、そのような周期的な提示では、注視方向のスポットチェックだけを設定し、連続するスポットチェックの間の一時的なギャップの間隔に対して、患者は、不正確な注視方向していることがある。現在では、実際の注視方向の測定は、市販の視野検査器では通常用いられていない。
【0019】
中心の瞳孔位置の逸脱を測定するいくつかの視野検査装置があり、注視方向を測定していると主張している。この測定は、まさに検査レンズの中心位置決定の問題に関し、患者が検査レンズの中心に置かれようが置かれまいが、実際の注視方向に無関係であると報告されている。検査レンズの中心に完全に置かれた瞳孔を用いて、事実上眼は任意の角度方向で注視していることができることを理解すべきである。
【0020】
視野検査中に、ビデオ表示の中で検査中の眼を観測することは公知である。このことにより、オペレータは検査レンズホルダに対する患者の眼の位置を連続的に見ることができ、患者の照準の明白な欠点を検出する。残念なことに、オペレータは、定期的に席を外し、または他の仕事に従事することがあり、そのことは、ビデオ表示からオペレータの注意をそらさせる。さらに、オペレータは、ビデオのディスプレイから注視方向を決定することができず、一般に実際のポイントが呈された時、つまり注視方向が重要である唯一の時間に気付かない。瞳孔の位置だけを確実に測定することができる。しかし、眼の動き活動と満足な注視方向性能の尤度との間には自然な関係がある。そのようなビデオ表示には、ビデオカメラと、正確に記録すべきビデオ表示に十分な光が必要である。
【0021】
ある程度赤外エネルギを含む白熱灯で生成された光の一様なフィールドを有し,半球の投影用スクリーンを照明する視野分析器が公知である。一般に、用いられるビデオカメラは赤外スペクトルに感度がある。このことにより、全ての虹彩の色は、赤外照射を有する光をほとんど同量に反射するので、暗い色をした虹彩を有する患者に対し、虹彩から反射された光とダークピューピルとのコントラストを増加させる。
【0022】
しかし、この照明システムも検査レンズ表面からの光を反射する。半球の投影用スクリーンは部分的にレンズを取り巻いている。レンズは一般に反射防止塗装を施されていない。したがって、レンズは半球の投影用スクリーンから捕捉された赤外光で赤みが出る。レンズからの赤みは、ビデオ画像の虹彩に対する瞳孔のコントラストを低減する。
【0023】
Gaze Tracking for Field Analyzerという表題の我々の米国特許第5,220,361号明細書において、視野検査中の患者の頭部に発生し得る動きに追従する検査レンズホルダの自動移動が提案されている。さらに、画像の減算と、反射と瞳孔の中心との相対位置の検査による注視の比較とを含む注視トラッキングの方法が記載されている。この明細書は、これらの特定の技術にわたる改善に関している。不必要な2重説明を避けるように、Gaze Tracking for Field Analyzerという表題の我々の米国特許第5,220,361号明細書は参考のためここに挿入されている。
【0024】
【発明が解決しようとする課題】
本発明の課題は、高いコントラストの既知の境界を有するビデオ画像情報処理装置を提供することである。また別の課題は、人間の眼の瞳孔から得られる画像のビデオ画像情報処理装置を提供することである。またさらに別の課題は、光源の角膜上の反射を含む、人 間の眼の瞳孔から得られる画像と、当該瞳孔の画像とを含む画像のビデオ画像情報処理装置を提供することである。
【0025】
【課題を解決するための手段】
上記の高いコントラストの既知の境界を有するビデオ画像情報処理装置についての課題は、本願発明の請求項1により、行および列によりアドレシング可能なリードアンドライトメモリを具備し、前記行および列の位置での前記画像の強度を受け取る手段と、行および強度情報によりアドレシング可能な連想メモリを具備し、行および強度のアドレスにより前記画像をメモリ内に受取り、前記行および強度の位置での前記画像の列データを受け取る手段と、ビデオ画像を前記リードアンドライトメモリにロードする手段と、前記の同一のビデオ画像を前記連想メモリにロードする手段と、所定の輝度レベルに対し前記連想メモリをサーチする手段と、前記連想メモリから前記ビデオ画像の前記所定の強度レベルの列データを位置づける手段と、サーチプロトコルを具備し、リードアンドライトメモリ内の画像全体より少ない画像領域ないし画像の一部をサーチする手段と、前記所定の強度レベルの前記行および列情報を利用して、リードアンドライトメモリに対し前記サーチプロトコルをアドレシングし、前記リードアンドライトメモリ内の前記記憶されたデータ全体より少ないデータ領域ないしデータの一部を前記サーチプロトコルによりサーチする手段とを有することを特徴とするビデオ画像情報処理装置を構成することにより解決される。
【0026】
本発明のビデオ画像処理装置を視野検査に用いる場合、検査中に、点滅する照射が、角膜上の中心の反射と眼全体の照射源との間に赤外線で実施され、眼全体の照射源により、中心のダークピューピルの周囲に高いコントラストの明るい円形の虹彩が生じる。ビデオ画像をデジタルの形態でセーブする処理期間中に、連想メモリが、通常のランダムアクセスメモリ(RAM)に記憶されるビデオデータの迅速なマイクロプロセッサによる解析のための所定の輝度値の位置へのポインタを生成するのに用いられる。角膜上の反射位置(暗い背景上に反対に明るく照射されたドット)と、虹彩と瞳孔との間の境界(明るく照射された虹彩に囲まれた暗い中心の瞳孔)との両方は、連想メモリを用いてほぼ位置づけされる。その後、ビデオ画像をデジタルの形態で表すRAMデータのチェックは、連想メモリ(CAM)により指示された位置に制限される。瞳孔の中心位置に対し、特別な技術が、虹彩から瞳孔への境界データの1次導関数および2次導関数を検査するために開示され、サブ画素の限界内に前記境界の位置を設定する。これらの方法により、十分なデータ解析速度の向上が可能になり、マイクロプロセッサの時分割使用ができ、視野検査を実行するのに必要な他の制御機能が休止している時、注視トラッキングが実行される。
【0027】
【実施例】
次に本発明を添付図面を参照して詳細に説明する。
【0028】
図1aおよび図1bは、それぞれ視野検査装置の一般的な動作環境における本発明の可動顎乗せ台を組み込んだ視野検査装置の側面図と正面図である。図1aおよび図1bにおいて、本発明の可動検査レンズホルダ40が図示されている。また、半球の投影用スクリーンSを観察中の患者Pが図示されている。ここに図示されている患者Pは左眼Eの検査を受けている。この検査において、患者Pは、半球の投影用スクリーンの中心にある固定ランプLを注視している。
【0029】
図1bを参照すると、図示された顎乗せ台25は2つの凹部を有し、これらの凹部は、患者の右眼を検査するための凹部26と患者の左眼を検査するための凹部27とから構成される。従来技術で公知のコンピュータ(図示していない)に管理されるプロジェクタ14は、半球の投影用スクリーンの表面に光のスポット16を投影する。患者は応答ボタン30を押して、光のスポット16を見たことを示す。ボタンを押している間の患者の応答が記録され、従来技術で公知の装置により写像される。
【0030】
図示された視野検査装置は旧来のものである。この装置は、アメリカ合衆国、カリフォルニア州、サンリアンドロのAllergan Humphrey 社から、Field Analyzer Series 600と指定することで購入することができる。
【0031】
以下では先ず、インクレメント動作の顎カップの動きを説明する。視野検査処置の間に患者の眼を中心に保持するためのこの動きを、患者に対し簡単に説明することができる。
【0032】
最初に像を生成する手法を再検討する。その後、連想メモリを有する装置および実施例を説明する。プロセッサの時分割により課せられる時間上の制約、分析およびデータ収集に用いられる連続フレームおよびインターリーブされたフィールドについてそれぞれ説明し、瞳孔の中心を計算する公知の方法を用いた眼の弦の任意の走査を図示する。
【0033】
まずこのことを説明し、連想メモリのデータ解析を説明する。この説明は、反射データおよび瞳孔のデータのグラフにおけるプロットから開始され、つぎに眼の弦のデータの1次導関数および2次導関数が有益であることの説明が続く。その2番目の図面では、解析に伴うアーチファクトの存在を推定し、有効データからアーチファクトを弁別する結果になる。
【0034】
検査レンズホルダ40は、半円のフレームとして図1bおよび図5bに示されている。ホルダ40は、活性位置と不活性位置とを有する。活性位置において、検査レンズホルダ40は、患者の視野の中心角30°に対する光学的処方が施されている。検査レンズホルダ40が不活性位置にある場合、ホルダは中心位置を外れ、40′に鎖線で示される極端な位置に移動し、この位置では、検査レンズホルダは検査中の患者Pの視野内にない。
【0035】
視野検査器は2種の視野検査に用いられる。最も頻繁に行われる視野検査は、注視線から中心角30°を検査する。より頻度の少ない検査では、周囲の視感度を検査するために、注視線から30°と90°との間の視角での視感度を測定する。この種の検査に対し、レンズホルダ40は、破線で示されるレンズホルダ40′の位置に移動される。一般に、この拡張した視野検査において、検査レンズは用いられない。それどころか、スクリーン上の極端な角度に呈せられるポイントは、レンズの視角を通過しない。ポイントのいくつかはレンズで補正されず、検査レンズのフレームに隠されるものもある。
【0036】
よりノーマルな視野検査は、注視線から30°内の中心視感度の測定から成る。以後、この測定が、特に言及しない限り、関心対象の測定であるとする。
【0037】
顎カップの動き
図1bを参照すると、顎カップ25に必要な動きに対するメカニズムを説明する機械的な構成図が図示されている。この機械的な概略図では、モータXが示されており、そのボディは視力検査器のシャーシに接続されている。モータXから延在するシャフト42は、細かい雄ねじを有している。シャフトはモータXを貫通し、前記モータXは、モータXの回転子により回転されるボールねじ等のメカニズムを有する。シャフトは、前記メカニズムにより回転を妨げられるので、ナットの回転は、モータXの回転子の回転に応答してモータYの並行移動を惹起する。モータXの回転子が回転するので、シャフト42はモータYを水平方向に移動させる。
【0038】
モータYも同様の構成であり、モータXにより水平方向に駆動されるスライディングキャリッジ50上に搭載されている。モータYは、垂直のシャフト44を介して垂直方向に顎カップを移動することができる。図示した垂直運動の方法は、モータXの同様の水平運動と全く類似のものである。
【0039】
一般に図示したメカニズムは、従来の線形のステッピングモータを用いている。これらのステッピングモータにより、次に説明する制御コンピュータシステムは、顎カップ25を、患者間の表情の違いを惹起する眼の前の垂直平面内の必要な任意の位置に移動させることができる。
【0040】
顎カップの動きは、眼を中心に据えるための完全な修正に必要な動きより小さい動きを伴うインクレメント動作であることが分かる。この全体の動きより小さなインクレメント動作は、納得できる動きを顎カップに提供し、一般に患者は顎カップの動きを意識しないか、意識したとしても検査から注意を逸らすことはない。顎カップの修正速度はゆっくりであり、各ポイントが提示され注視測定がなされた後の修正ステップも加えられ、実の修正用サーボのような急速な動きより、患者の頭(眼)の平均位置を保持するのに役立つ。
【0041】
実際に、顎カップ(頭および眼)は、角膜上の反射が、ビデオ窓の中心にくるまで移動される。中心位置決定は、1993年6月15日に発行されたGaze Tracking for Field Analyzerという表題のLehmerおよび他による米国特許第5,220,361号明細書に既に開示されている。他に、別の容認され得るプロトコルにより、瞳孔をビデオ窓内の中心に位置させることができる。
【0042】
各修正ステップに対する顎カップの移動量は、眼をレンズの中心に置く方向で移動するためのものであるが、最大量のほんの少しだけ移動するためのものである。この移動は、複数の微小な変化になるのであり、1つの大きな移動で全体修正が行われるのではない。
【0043】
画像照射
図1a、図1b、図5a、および図5bを参照する。本発明の別の課題は、視野検査中の眼の実際の注視方向を求めることである。この方向は、開いている瞳孔60の中心と、半球の投影用スクリーンSの中心近くの表面上の赤外線源130(または130´、図1a参照)により生成された角膜上の反射140との相対位置を用いて厳密に測定される。たとえば、眼Eが注視方向をわずかに変えると、赤外線源130の角膜上の反射140は、瞳孔60と異なるレートで移動する。このことは、角膜が球の一部であり、径が眼より小さく、眼の上にあるという事実に起因する。注視角が患者により変わる場合、眼球は中心を軸に回るが、その中心は球状の角膜の中心ではない。したがって、角膜上の反射140の位置と、瞳孔60の中心との差を求めることにより、注視方向を容易に得ることができる。
【0044】
しかし、全ての角膜が完全な球でないことが分かっている。したがって、視野検査の最初に参考として初期判断を行い、検査中に利用する必要がある。患者が適切に注視していると判断される管理された環境のもとで、瞳孔の中心と角膜上の反射140との間の関係は参照のため記憶される。この関係を、検査中に実際の実時間での注視方向を決定するのに用いることができる。患者の頭が動いたため、眼がくぼみ部分の中心から動き、それでも患者がきちんと注視している場合、測定された注視方向は変化する可能性があることが分かる。
【0045】
本明細書の眼の注視方向を決定する方法の利点は、顎カップを位置付けるプロトコルにより、くぼみ部分に対する眼の絶対位置が判明するので、専ら眼の位置変化により測定された注視方向の変化の部分を計算し、測定値から減算できることである。この独立性により、球状の投影用スクリーンSの中心から眼が外れることとが許容される。
【0046】
十分に説明したので、照射を容易に理解することができる。
【0047】
図5bを参照すると、レンズホルダ40の患者Pに向けられた側の背面図が図示されている。前記レンズホルダは、眼を照らす2つの光源55および57を有している。フレーム52を有する典型的な検査レンズ51は、レンズホルダ40内に示されている。
【0048】
図5aを参照すると、患者Pの眼Eの正面図が示されている。反射65および67は、光源55および57により作り出される。さらに重要なことに、光源55および57は、ビデオカメラVから見て中心から離れているので、眼のいわゆるダークピューピルイルミネーションが起こる。このダークピューピルイルミネーションは、瞳孔に陰影を残しながら光彩を明るく照射する。角膜上の反射140は、赤外線源130または130´(より望ましい)のいずれかにより生成される(図1a参照)。
【0049】
図3に戻って、タイミング図から角膜上の反射の照射が最初に生起し、瞳孔の照射が2番目に生起することを説明する。とりわけフレーム1の間に、赤外線の眼の照射は光源130または130´によってのみ行われる。フレーム2の間に、瞳孔の照射がレンズホルダ40上の光源55、57から発生する。本発明についての角膜上の反射または瞳孔のどちらかの光が交互に用いられ、角膜上の反射および瞳孔の両方の光は同時に用いられない。
【0050】
本発明に用いられるスキャニングを説明したため、マイクロプロセッサの時分割した利用に要求される時間制約の主題を理解することができる。
【0051】
時間制約
図2に戻ると、典型的な時分割ループが示されている。プロセッサが200で示すような休止中でない場合、前記プロセッサは顎カップ27を調整するためのモータの駆動、または付加スポット16(図1aおよび図1b参照)の生成、またはデータ報告とに従事し、またはプロセッサは注視トラッキングモードにある。この注視トラッキングモードでは、光源130の角膜上の反射による像をダークピューピルによる像と比較する必要がある(図5a参照)。
【0052】
図3に戻って、2つの別々のビデオフレーム(フレーム1および2)には、この比較を行うことが必要になる。像のほぼ中心に位置する窓XXは、注視トラッキングに用いられるビデオメモリでカバーされる領域を示す。最初のフレーム1は、角膜上の反射の照射が行われた場合に生成されるビデオデータを含む2つのフィールド(1および2)を有する。この光の輝点は、フレーム1、フィールド1に示すようなレンズホルダ40のビデオフレームの間隙のほぼ中心に位置する角膜上に現れる。レンズホルダ40は破線で示され、窓XXの外側にあるので、注視トラッキングデータには現れないことが分かる。
【0053】
またフレーム2は、瞳孔の照射が行われた場合に生成されるビデオデータを含む2つのフィールドと、眼Eのダークピューピルと一緒の鮮明な虹彩とを有している。
【0054】
両方のフレームにおいて、角膜上の反射と眼Eとは、ビデオフィールドのわずかな部分を占めるだけであることに気付く。瞳孔の画像は、このわずかな大きさに維持され、オペレータにオペレータの制御パネル上により大きな視野を提供し、患者の初期調整を助成する。
【0055】
さらに、そのことによりビデオメモリの大きさを、検査レンズの内側のわずかな領域をカバーする窓XXで活性となる注視トラッキングに対し低減することができる。このことは、検査レンズホルダをビデオデータから除外する。
【0056】
小さな窓の別の利点は、カメラフィールドの利用可能な時間の約4分の1でデジタルの形に変換することができ、計算に残される時間を可能にすることである。わずか1つのビデオメモリしかないという事実が与えられるので、角膜上の反射の計算を窓の最後と次のフィールドの最初との間の時間で実行しなければならず、その時間に角膜上の反射データをダークピューピルデータで書換えることができる。本発明の連想メモリプロトコルが開発されてきたのはこのためである。
【0057】
図3を参照すると、注視測定用に眼の画像を記憶し、デジタル画像を記憶するのに用いられるビデオRAM(ランダムアクセスメモリ)が、アレーとして構成されていることが分かる。実際に、RAMの範囲は、128ドット×128ライン(16K)である。データは、検査レンズの内側に位置する小さな窓の部分だけ記憶される。各画素に1バイトが割り当てられ、前記バイトの値は画素の輝度の値を示す。
【0058】
2つのパターンの識別、つまり角膜上の反射の検出、および瞳孔のエッジの検出が必要である。前者は、輝点のイベントの面積中心を検出する必要があり、後者は、暗領域のエッジを各ビデオライン上で検出する必要がある。
【0059】
角膜上の反射および瞳孔のエッジは、2つの連続するビデオフレーム、つまりちょうど角膜からの反射を有する1つのフレーム(上述参照)と、照射された虹彩およびダークピューピルを有し、中心の角膜上の反射を有さない1つのフレームとを用いて検出される。
【0060】
スキャンおよびメモリローディング
ビデオカメラVで得られるビデオフレームを考察したので、今注意を各連想メモリへのビデオデータのローディングに向けることができる。このことを図4の構成図を参照して理解することができる。そのブロック図は、4つのランダムアクセスメモリ(RAM)500−503を有している。RAM500、501は、通常の方法でビデオデータを記憶することができる。
【0061】
アドレスVID_ADD_(12:0)は、アドレシングロジック(図示されていない)で生成され、前記アドレシングロジックは、2つのモード、つまりビデオ画像を捕捉するために高速で切り換わる逐次アドレス、または結果として記憶されたデータを読み込むためのマイクロプロセッサのアドレスシステムに接続されるアドレスを有している。
【0062】
アドレスは2組、つまりドットアドレス(128ドットに対する7ビット)とラインアドレス(64ラインに対する6ビット)とで示されている。アイテム504の機能は、READ REVERSEが真の場合、ドットアドレスの補数をとって、ドットアドレスを逆に出現させ、RAM500を逆方向に読み出すことであり、これは左手のエッジを検出するのに必要である。
【0063】
RAM500へ/からのデータを、スイッチ505を介してVID DATA (7:0)つまりビデオデータのデジタル表示から、またはスイッチ506を介してマイクロプロセッサのデータポートからのいずれかから選択することができる。前者はビデオ画像をセーブするのに用いられ、後者はRAMにおける結果データを読み込むのに用いられる。
【0064】
RAM501は同様に、スイッチ507、508を用いている。実際に、RAM500は第1ビデオフィールドをセーブし、RAM501は第2フィールドをセーブする。RAMが次の2フィールドの瞳孔のデータで一杯になるので、角膜上の反射データを時間間隔YYの期間中にフレーム間で処理しなければならない。シャッタ−閉鎖の前に瞳孔のデータを処理するための時間はZZである。
【0065】
RAM502は、ビデオデータをロードする場合、CAMとして用いられ、結果データをマイクロプロセッサでチェックすべき場合、RAMとして用いられる。CAMモードにおいて、スイッチ509、512は閉じられ、5つの下位アドレスビットを5つの上位ビデオデータビットで制御することができる。このためCAMは32のbinを有する。6つの上位アドレスビットは、ビデオ線路でラインアドレスに接続され、ビデオ強度レベル、水平軸、垂直軸のアレイを成す。
【0066】
スイッチ512は、データの入力側に7ビットのドットアドレスを加え、CAMのセルはその時点で有効なドットナンバを有し、前記セルはアドレッシングされ、書き込まれる。
【0067】
データを精査するために、スイッチ510、511が閉じられ、前者はRAMアドレス構成を完成し、後者はマイクロプロセッサのデータポート上にRAMデータを出力させる。
【0068】
RAM503は、ビデオデータの入力が経路517を介してRAM500からのデータ出力側に直接接続されていることを除いて、上述のRAM502と同様である。この経路は、第2ピューピルフィールドの期間中にRAM500が逆方向に読み込まれている間、左エッジを検出するのに用いられる。CAM動作に対し、スイッチ513、515が閉じられる。RAM動作に対し、スイッチ514、516が閉じられる。
【0069】
CAMメモリを使用前にクリアーし、ビデオフィールドの間にクリアーする必要をなくすために、各CAMは4つのページつまりセクションを有し、制御線路CAM PAGE (1:0)で選択される。このことによりクリアーされたCAMをフィールド間で選択することができ、最初のページが角膜上の反射データを記憶し、2番目のページが瞳孔のエッジデータを記憶する。実際には4つのページの内2つだけが用いられる。
【0070】
連想メモリデータ
注視測定への応用において、連想メモリ(CAM)は、ラインナンバに対する輝度値のアレイとして構成されるRAMメモリである。CAMのセル内のデータは、セルが書き込まれた時の有効なドットナンバである。このことは図6、図7から理解することができる。
【0071】
各CAMの容量は、32個の輝度bin×64個のラインである。CAMは、インタレースビデオ環境において各ビデオフィールドからデータを記憶するので、64のラインだけである。ビデオRAMのデータと比較すると、データは1つおきのラインから得られる。
【0072】
輝度binは、5つの上位の輝度データビットだけを用いてCAMをアドレッシングすることにより形成されるので、データを8値のビンにグルーピングする。それはバイト中の下位の3ビットは用いられないからである。bin0は0から7までのデータを有し、bin1は8から15まで・・・bin31になると248から255までを有する。このことは、図6、図7のグラフ上のプロットから理解することができる。
【0073】
角膜上の反射の検出
図6、図7は、注視測定、角膜上の反射の検出、および瞳孔のエッジの検出のためのパターン認識タスクのグラフィック表示である。各表示はCAMメモリをアレイとして、つまりビデオライン0を上部に、ビデオライン63を下部に描いている。水平軸は32個のビデオ振幅のbinを示し、ここでbin0は、0から7までの範囲を有し、bin1は8から15までの範囲を有し、・・・bin31になると248から255までの範囲を有している。
【0074】
グラフィック表示の白のスペースは、CAMのセルが零、つまりCAMのアレイの初期値を有することを示している。プラス符号は、セルがいくつかの零でないデータ、つまりCAMのセルが最後に書き込まれたときに有効であったRAMのドットナンバを有することを示している。
【0075】
瞳孔にはよくあるように、同一の輝点が1回より多くライン上に生じると、同一のCAMのセルは、その時点で有効なドットナンバで1回以上書き込まれる。このように、輝点の最後に発生するドットナンバがセーブされ、ビデオカメラは左方から右方へスキャンするので、このドットナンバは瞳孔の右のエッジを示している。
【0076】
カメラデータの第1フレームで実行される角膜からの反射を検出する場合、CAMをライン毎に高速にサーチすることができ、上位のbinつまりレベル31から開始して、零でないデータを検出するまでライン毎に下位のbinレベルに向かってサーチを続ける。CAMデータは図6に示されている。CAMは使用前にクリアされるので、CAMのセルの零でないデータはいずれも、輝点レベルがそのライン上で実際に生じたことを示している。
【0077】
CAMの最初の零でないデータは、RAMのドットアドレスを示し、CAMのラインナンバがインタレースされていないという事実を考慮すると、RAMのラインアドレスはCAMのラインアドレスと同一である。RAMの角膜上の反射データの位置へのポインタが形成される。
【0078】
CAMをbinレベル31からレベル16(少なくとも半分のスケールでなければ明るい反射にならない)までサーチすると、サーチは64×16、つまり1Kの零でないデータに対するチェックを要する。反射用LEDは、視野検査の前に最大輝度に近い反射を生成するように調整されるので、サーチは1Kの最悪の場合よりかなり短くなる。
【0079】
事前の知識なしにビデオRAMデータをサーチする場合、16Kバイトを値に対しチェックし、現在の最大値と比較しなければならない。前記最大値へのポインタは、反射データ用RAMをサーチするためのポインタとして保持されることになる。シャッタはほぼ1秒に1回開放され、患者はその時間内に大きく動くことがあるので、事前の知識は利用できない。
【0080】
ビデオデータの規模で評価することと比較して、零でないデータの最初の事象に対しCAMをサーチすることは、コンピュータにとって格段に速いタスクである。CAMは格段の速度増加を可能にする。
【0081】
CAMのセルに記憶されるデータは、所定のライン上の輝度binにおける輝度データの最後の発生に対するRAM(0−127)のドットナンバである。ビデオカメラからのデータは左方から右方へとスキャンされるので、CAMのセルのデータはビデオのパターンの右エッジのドットアドレスである。
【0082】
CAMは、RAMビデオデータが記憶されると同時に書き込まれ、RAMにおけるデータの位置をポイントする。
【0083】
角膜上の反射の検出
カメラデータの最初のフレームで実行される角膜上の反射位置を検出する場合、最上位のbin、つまりレベル31から開始して、CAMをライン毎に高速にサーチすることが できる。CAMは使用前にクリアされるので、CAMのセル内の零でないデータはいずれも輝度レベルが実際にそのラインで生じたことを示している。
【0084】
最初の零でないデータはRAMにおけるドットアドレスであり、RAMのラインアドレスはCAMのラインアドレスと同一である。RAMにおける角膜上の反射データの位置にポインタが形成される。
【0085】
図6は、最初にはクリアされており、フィールド内のビデオ振幅が、明るいデータを有するいくつかのラインを除いてほとんど小振幅である場合のCAMの内容を示している。これは、角膜上の反射用LEDがオンになっている場合に生じるダークフレームの特性を示している。
【0086】
この説明から、これらの明るいラインを、最高輝度のbinから始めて零でないデータを検出するまで続けてライン0からライン63までを下方にスキャンすることにより検出できることが理解できる。CAMのラインナンバはRAMのラインナンバと同一であり、理由はその2つが同じ時間にセーブされたからである。データ点がCAMにセーブされた場合、CAMの内容はRAMにおけるドットナンバに等しい。
【0087】
CAMの内容を読み込むことにより、RAMに対する水平方向(ドット)のポインタが形成される。今までの場合、最高輝度を有する画素が1つだけ存在した。サーチは1番目が検出されたとき停止されるので、より輝度の低い他の2つの画素は検出されなかった。
【0088】
低レベルデータ、すなわち検査レンズにおける、またはくぼみ部分の照明器は離れているために照明の少ない眼は、ライン毎に1bin1binより多く書き込むことができることに注意しなければならない。このことは、画像が1つのCAMのbinより広い輝度範囲を有することを示している。
【0089】
瞳孔のエッジの検出
図7は、最初にクリアされており、フィールド内のビデオ振幅がほとんど中央の範囲にある場合のCAMの内容を示すが、いくつかのダークデータも含んでおり、照射された光彩、中央の範囲のデータ、およびダークピューピルを有する眼の画像の特性を示している。
【0090】
この説明から、ダークピューピルのデータを有するラインをbin1をサーチすることにより検出できることが理解できる。ライン0から始めて下方にサーチし、零でないデータを有する最初のラインがダークデータのあるラインである。RAMにおける前記データの右エッジの位置は、CAMの値を利用してポインタを形成することで検出することができる。
【0091】
瞳孔の左エッジを検出するために、フレーム2のフィールド1の期間中に記憶されたRAMのデータは、類似のCAMの画像を形成する別のCAMに逆方向に読み込まれる。RAMのデータを逆方向に読み込むことは、右方から左方へとスキャンするカメラと等価であるので、特定のビデオレベルの最後に生じたものが左エッジに生じる。利用可能なこれらのCAMの両方を用いて、瞳孔の左エッジおよび右エッジをそれぞれのライン上で検出することができる。このことによりソフトウェアは、RAMの瞳孔のエッジのデータを突き止め、ビデオデータの2次導関数のゼロクロス箇所を見つけることができる。
【0092】
虹彩から瞳孔へ移行する場合、ビデオデータは急速に変化することがあり、データは記録されずにbinを素通りすることに注意しなければならない。このため低いbinのレベルが用いられるとCAMシステムは最も良好に動作する。瞳孔のデータは瞳孔のレベル付近では急速に変化しないので、平らな底部を有する瞳孔のレベルは瞳孔から虹彩への移行を示す可能性が高い。
【0093】
実際に瞳孔のエッジを検出するためのCAMのレベルは、ラインをサーチすることにより選択され、サーチは最も低いbinのレベルから始まり、零でないデータを検出するまでbinのレベルを上げていく。このbinとその上のbinとがエッジの検出に関連して用いられる。より大きな瞳孔を示すデータを有するbinが用いられる。このことにより瞳孔のデータを、誤りなくレベルを1つのレベルのいくつかのデータと、そのレベルを越えるいくつかのデータとに分離することができる。
【0094】
瞳孔は暗いのでわずかに2,3のbinになることに注意しなければならない。虹彩は多数の輝度レベルを有するので多数のbinになる。
【0095】
検査レンズホルダをビデオ窓内に含むことのできない理由は明らかである。検査レンズホルダは暗く見え、前記ダークデータの最後の発生データになり、瞳孔のデータを書き換える。瞳孔がビデオ窓XX内の唯一のダークデータであることは重要である。
【0096】
くぼみ部分の検査レンズホルダからの指紋等の反射は、ダークピューピルデータの変化を惹引し、CAMを混乱させることも明らかである。これが、くぼみ部分が非赤外線光で照射され、カメラが赤外スペクトルに限定される理由である。くぼみ部分の照明による検査レンズからの反射はカメラに写らない。
【0097】
各ライン上のダークピューピル領域の位置を検出する場合、CAMを低いbinのレベルでサーチし、ダークピューピル領域を検出することができる。CAMのポインタは、輝度が増加し虹彩が現れる場合に開いている瞳孔のエッジを指示し、輝度データはもはや瞳孔の輝度のbinにならない。CAMのセルに書き込まれた最後の値は、ライン上で検出することのできる瞳孔のエッジであったRAMへのポインタを形成する。
【0098】
ビデオデータはインタレースされ、つまり半分の画像(フィールド)が送出され、左方から右方へスキャンされ、インタレースされたフィールドが後続し、完全な画像(フレーム)を形成する。これは、標準のテレビ伝送モードの一部である。
【0099】
図4に関して先に説明したように、ハードウェアでは1つのフレームからのデータは、各フィールドに1つが対応する2つのビデオRAMと、2つのCAMとに記憶される。最初のフィールドの期間中に、ビデオデータは第1のRAMとCAMとに記憶される。瞳孔を検出する場合、CAMは瞳孔の右エッジへのポインタを有する。
【0100】
第2フィールドの期間中に、ビデオデータは第2RAMに記憶され、第1RAMのデータは第2CAMに逆方向に読み込まれる。結果として、RAMデータを逆方向に読み込むことにより、所定の輝度を有するbinが瞳孔の左エッジにおいて発生することになるので、第1フィールドは瞳孔の右エッジおよび左エッジの検出に用いられる。
【0101】
この動作の後、RAMは精密検査に必要なダークピューピルのインタレースされた画像を有し、CAMは左と右の両方の瞳孔のエッジへのポインタを有する。実際には、元の明細書で概説したとおり、定数が右のポインタに加算され、かつ左のポインタから減算され、2次導関数のゼロクロス箇所を求めるための起点を形成する。
【0102】
実際に、ダークピューピルを検出するのに用いられるCAMのレベルは、一方のCAMをライン毎にbin0からbin7までサーチすることにより求められ、最初の零でないセルを検出する。最初のCAMのデータを有するレベルは、用いるのに適切なbinである(平らな底部と仮定)。選択されたbinとその上のbinとは、各ラインに対する瞳孔のエッジへの左と右のポインタの検出と関連して用いられる。
【0103】
角膜上の反射の面中心の検出
前述のように、RAMにおける角膜上の反射の位置へのポインタが検出される。実際には、小さなボックスがポインタの周囲の中心に置かれ、全ての角膜上の反射データを有するように構成される。実際にボックスは16画素×16ラインである。そのようなデータは、特にビデオカメラが完全に焦点が合っておらず、または角膜上の反射が非常に明るい場合、1画素より広い領域にわたって広がる。
【0104】
振幅閾値の半分を越えるボックス内のデータは、共に加算されて振幅の総和を形成する。データはさらにドットナンバとラインナンバとで乗算され、それぞれ積は加算される。結果としての3つの加算値は、面中心を求めるために用いられる。
【0105】
面中心は各積の加算値を、振幅の加算値で除算することにより求められ、2つの結果、つまり角膜上の反射の面中心のサブ画素のドット位置およびライン位置を形成する。この方法は”加重平均法”と呼ばれる。
【0106】
手順は以下のとおりである。
【0107】
振幅の加算値=Σビデオデータ(ボックス内でかつ閾値を越えるもの)
ドットの加算値=Σ(ビデオデータ)*(ドット#)
ラインの加算値=Σ(ビデオデータ)*(ライン#)
サブ画素のドット#=ドットの加算値/振幅の加算値
サブ画素のライン#=ラインの加算値/振幅の加算値
CAMを用いることにより、ビデオデータの収集と前記データの解析との両方の完全な処理を、シャッタが開放されている時間中に達成することができ、その時間にポイントは患者に呈せられている。このことにより、CAMを持たないより高速のコンピュータ、またはシャッタが閉鎖された後にデータを解析するための別のコンピュータと比較してコストを低減することができる。
【0108】
2次導関数に対するポインタとしての1次導関数の利用
1993年6月15日に発行されたGaze Tracking for Field Analyzerという表題のLehmerおよび他による米国特許第5,220,361号明細書に、ビデオの振幅と独立して瞳孔から虹彩へ移行する間の振幅の中間点を検出する方法として、第2導関数のゼロクロス箇所の利用が記載されている。
【0109】
実際に、導関数を得る処理は、特に変わり目がスムーズでない場合にビデオデータのノイズに対する感度を増加させる。2次導関数のゼロクロス箇所を検出するために、1次導関数の最大値が検出され、2次導関数のゼロクロスする所に対するサーチを制限するのに用いられる(図8および図9参照)。
【0110】
この方法は2次導関数のゼロクロスするサーチを制限し、ノイズにより惹起される不必要なデータを除外する。1次導関数は2次導関数よりノイズに対する感度が低い。この除外の例を図9にみることができ、1次導関数の最大値が瞳孔のエッジ301で生じるので、ノイズ300、つまり瞳孔より前の早過ぎるダーク領域(虹彩をカバーする睫毛等)は除かれる。このことは、301の周囲の小さな領域へ2次導関数のゼロクロスする検出作用を制限する。開いている瞳孔の輝点303、つまり未知のソースからの角膜上の反射も除かれる。
【0111】
瞳孔のエッジを検出するための2つのCAMのbinの使用
ダークピューピルデータが検出される可能性のあるより下のbinを調べることにより瞳孔のエッジを検出するためのCAMの使用は、理想的な場合では簡単である。実際には、使用されるbinの数の選択は極めて重要である。目的は、CAMを用いて簡単な方法で瞳孔の左エッジと右エッジを検出することである。CAMの処理が解析するには非常に複雑であると、時間を節約するという特徴が失われる。
【0112】
問題点を具象化するために、図8を参照してビデオライン上のダークピューピルを、虹彩の輝度レベルから下がっている反転した不完全な三角形と考えることができる。図8に示すように、CAMのレベルは、所定の一定レベルで三角形と交差する水平ラインを形成し、32個のCAMのセルの各々におけるデータは、ビデオデータと交差するライン上の水平位置である。
【0113】
垂直ラインも存在し、これはビデオデータがデジタルフレーム捕捉ハードウェアでサンプリングされ、CAMに記憶される時間である。所定のCAMのセルにセーブされるデータは、垂直クロックラインとビデオデータとの交差点に生じる。たとえば、CAMレベル12(図8)を考察するとデータと2回交差している。理論上は、水平位置はCAMのセルの12に2回書き込まれ、最後の値は、最後に書き込まれた値、つまり左方から右方へのスキャンに対する位置400、または右方から左方へのスキャンに対する位置401である。
【0114】
実際には、三角形のエッジの勾配が急俊になることがある。binの数が大きく、水平ラインが近接していると、所定のレベルがサンプリングされないので瞳孔のエッジを所定のbinに書き込めないことがある。瞳孔の底部により、書き込むべき多数のCAMのレベルを生じることがある。このためエッジに最も近いドットナンバを含んでいたレベルを検出する事後の検査が必要になる。
【0115】
binの数が小さいと、瞳孔から虹彩を区別するのはより難しくなる。カメラのゲインと照明のより慎重な制御が、虹彩と瞳孔を別個のbinに確実に置くために必要である。
【0116】
別の面倒なことには、瞳孔の輝度レベルがビデオスイープの期間中にノイズによる多くの値を有することがあり、2つのbinに股がることがある。この共有は、データをデジタルbinに強制的に入れることにより引き起こされ、共有量はデータに依存する。
【0117】
CAMサーチ方法
対象のCAMのbinを検出するのに用いられる方法は、最低のbinレベルでのビデオラインをサーチし、binレベルを増やしつつサーチを続けることである。最初の零でないデータは、瞳孔の輝度データがそのラインに生じたことを示す。これは、瞳孔がCAMのレベルに下降した単一のポイントであることがあり、そのレベルは左エッジおよび右エッジを含まないことがある。瞳孔のエッジを得るために、上述のように求められたCAMのレベルは、次に高いレベルと結合される。
【0118】
この方法は2つのCAMのbinを評価するが、1つのCAMのbinの分解能を利用する。このことは、多数のbinの半分を有することに勝る。零でないデータが両方ともCAMのレベルにあると、データ評価の方法により、最大の瞳孔の開きを形成するCAMレベルからデータが選択される。最も左にあるデータが左エッジに用いられ、最も右にあるデータが右エッジに用いられる。
【0119】
1次導関数の検出
図8は瞳孔を横断する単一のビデオラインを示す。図の上部近くの明るいビデオ値は虹彩を示し、図の下部近くの暗いビデオ値は瞳孔を示す。データの1次導関数と2次導関数も示されている。これらは、標準のソフトウェア技術を利用して容易に得ることができる。
【0120】
1次導関数の導出に関して、瞳孔のエッジを検出するために1つおきのビデオドット、または瞳孔の底部を検出するために1つおきのビデオラインからのデータを用いると有利であることが分かっており、導関数情報が得られる。たとえば、ビデオドットまたはラインの0と2、1と3、2と4からのデータを利用することにより、ノイズのないより明確な導関数が得られる。
【0121】
総括
データは各垂直ライン(図8および図9)でデジタルメモリに記憶され、その時間での輝度はRAMに記憶されて、CAMのbinを選択するのに用いられる。データが所定のCAMのbinになると、ドットナンバ(水平位置)がそのCAMのbinに書き込まれる。
【0122】
このbinに収容されている最後に発生したデータはCAMで保持され、データをメモリ内部で左方から右方へスキャンしている場合、右エッジを指示する。RAMデータがCAMへ逆方向に読み込まれる場合、左エッジが保持される。
【0123】
1次導関数は単一のピークを有し、2次導関数は最大垂直勾配の水平位置で符号を反転させることに注意しなければならない。これは、瞳孔のエッジを測定する最良の水平位置として選択される。
【0124】
さらに瞳孔の前の輝度の緩慢な変化は、この方法で検出されないことに注意すべきである。
【0125】
ダークピューピルデータが2つのCAMレベルになり、零でないデータを有する最初の最低のレベルの検出により正確なエッジ位置が得られないことに注意すべきである。
【0126】
瞳孔から虹彩への移行の変化率は十分に速く、大部分のCAMレベルは記録されないことに注意すべきである。このために最低レベルをサーチすることが望ましいのである。
【0127】
図9は、スプリアス障害(spurious disturbance)が虹彩と瞳孔に入っていることを除いて図8と類似である。1次導関数の最大値を、2次導関数に対するサーチ領域を指示するのに用いると、スプリアスデータ(spurious data)の代わりに瞳孔のエッジが検出される。2次導関数に対するサーチ領域が少数の画素だけをカバーしていると、2次導関数のゼロクロス箇所をサーチする場合、スプリアスデータは検出できない。
【0128】
虹彩に生成されるそのようなスプリアス信号は、実際に虹彩の暗斑点、または睫毛により惹起される。瞳孔の領域のスプリアス信号は、角膜からの不要反射により惹起される。両方の場合において、データの1次導関数は瞳孔から虹彩への移行により生成される1次導関数より小さいものであるので、スプリアス信号は除かれる。
【0129】
図5aを参照すると、処理の次のステップは弦68を2等分することであり、前記2等分した部分からRAMデータの下方へのスキャンを開始し、ダークピューピルから、照らされた虹彩領域への瞳孔60の底部での移行を検出する。このことにより垂直距離(y)が生成される。
【0130】
垂直距離(y)を検出することは、図8および図9のスキャンでのエッジの1つの検出と正確に同じである。繰り返しを避けるために、そのような処理をここで特に説明しない。
【0131】
水平距離(x)は、2等分点から弦68の1つの端部までのコードの長さである。
【0132】
計算はピタゴラスの定理に基づく。よく知られているように、直角三角形の2辺の2乗の加算値は、斜辺の2乗に等しい。三角形は図5aに示され、弦68の半分、垂直成分と未知の半径との差分(y−r)、および斜辺としての未知の半径(r)で形成される。この測定に対し瞳孔が真円であると仮定した場合のみ、このことは真である。その数学的手法を、瞳孔60の中心の下方に位置する任意の弦68に同様にうまく適用することができる。
【0133】
このことに対する式は次のとおりである。
【0134】
ピタゴラスの定理により
a2+b2=c2
(y−r)2+x2=r2
y2+r2−2yr+x2=r2
2yr=x2+y2
r=(x2+y2)÷(2y)
中心=Xo,Yo−(y−r)
ここで、r=未知の半径
x=弦長の半分
y=弦から瞳孔の底部までの距離
そしてXo,Yo=任意のコードの2分位置
上述の代数の式は複雑であるように思えるが、この式はコンピュータにとって迅速かつ容易な計算である。
【図面の簡単な説明】
【図1】 aおよびbは、それぞれ視野検査装置の一般的な動作環境における本発明の可動顎乗せ台を組み込んだ視野検査装置の側面図と正面図である。
【図2】 本発明の注視トラッキングに必要なサイクルまたはループを示す典型的な時分割、たとえば自動化された注視トラッキング情報に利用できる狭い時間窓を示すブロック図である。
【図3】 2つのインタリーブされたフィールドから成る各フレームを有する2つのビデオフレームを示す図である。この図は、ローデータの収集と、時分割された注視トラッキングの計算に利用できる時間を理解するのに有効である。
【図4】 RAMおよび連想メモリ内のビデオデータのデジタル表示を記憶するメモリシステムを構成するのに必要な相互接続を示すビデオメモリのブロック図である。
【図5】 aは、瞳孔の中心を突き止めるための任意の瞳孔の弦および通常の弦の2等分線の測定を示す視野検査中の患者の眼の正面図であり、bは、レンズホルダ上の光源を示すレンズホルダの図である。
【図6】 角膜上の反射のビデオデータの表示の後の連想メモリ内のデータを示す図である。
【図7】 照射された虹彩に囲まれたダークピューピルのビデオデータの表示の後の連想メモリ内のデータを示す図である。
【図8】 図5による任意の弦に相当する単一のビデオスキャンのラインからのビデオデータを示す複合図である。画像データは、画像データの1次導関数と2次導関数と一緒に示されている。
【図9】 図5による任意の弦に相当する単一のビデオスキャンのラインからのビデオデータを示す複合図であり、前記画像は画像処理に共通の故意のアーチファクトを含んでいる。画像データは、画像データの1次導関数と2次導関数と一緒に示されている。
【符号の説明】
25 顎カップ
55 光源
57 光源
68 コード
130 赤外線源
130’赤外線源
Claims (13)
- 高いコントラストの既知の境界を有するビデオ画像情報の処理装置において、
行および列位置における強度を受け取るために行および列でアドレシング可能なリードアンドライトメモリと、
画像を行および輝度アドレスによってメモリに受け取るため、および当該行および輝度アドレスにおける画像の列データを受け取るため、行および強度情報によってアドレシング可能な連想メモリと、
ビデオ画像を前記リードアンドライトメモリにロードする手段と、
前記の同一のビデオ画像を前記連想メモリにロードする手段と、
所定の輝度レベルを求めて前記連想メモリをサーチする手段と、
前記連想メモリから前記所定の強度レベルを有する前記ビデオ画像の列データを位置づける手段と、
リードアンドライトメモリ内の画像全体より少ない画像領域ないし画像の一部をサーチするサーチプロトコルを具備する手段と、
前記所定の強度レベルの前記行および列情報を利用して、リードアンドライトメモリに対し前記サーチプロトコルをアドレシングし、前記リードアンドライトメモリ内の前記記憶された画像全体より少ない画像を前記サーチプロトコルによりサーチする手段とを有することを特徴とするビデオ画像情報処理装置。 - 前記の強度の所定のレベルは、前記ビデオ画像内の強度の最高レベルである請求項1記載のビデオ画像情報処理装置。
- 前記の強度の所定のレベルは、前記ビデオ画像内の強度の最低レベルである請求項1記載のビデオ画像情報処理装置。
- 前記ビデオ画像はポイントソースからのコントラストを有する請求項1記載のビデオ画像情報処理装置。
- 前記ビデオ画像は円形のソースからのコントラストを有する請求項1記載のビデオ画像情報処理装置。
- 人間の眼の瞳孔から得られる画像のビデオ画像情報処理装置において、
理装置において、
行および列位置における人間の眼の画像の強度を受け取るために行および列でアドレシング可能なリードアンドライトメモリと、
画像を行および輝度アドレスによってメモリに受け取るため、および当該行および輝度位置における人間の眼の画像の列データを受け取るため、行および強度情報によってアドレシング可能な連想メモリと、
人間の眼の前記ビデオ画像をリードアンドライトメモリにロードする手段と、
人間の眼の前記の同一のビデオ画像を前記連想メモリにロードする手段と、
所定の強度レベルを求めて前記連想メモリをサーチする手段と、
前記連想メモリから前記所定の強度レベルを有する人間の眼の前記ビデオ画像の列データを位置づける手段と、
リードアンドライトメモリ内の人間の眼の前記ビデオ画像全体より少ない画像領域ないし画像の一部をサーチするサーチプロトコルを具備する手段と、
前記所定の強度レベルの前記行および列情報を利用して、リードアンドライトメモリに対し前記サーチプロトコルをアドレシングし、前記リードアンドライトメモリ内の人間の眼の記憶された画像全体より少ない画像を前記サーチプロトコルによりサーチする手段とを有することを特徴とするビデオ画像情報処理装置。 - 前期画像は、人間の眼から得られる光源の角膜上の反射であり、当該の光源の画像は、前記ビデオ画像内の強度の最高レベルを有する請求項1記載のビデオ画 像情報処理装置。
- 前記画像はダークピューピルの画像であり、前記ダークピューピルは、前記ビデオ画像内の強度の最低レベルである請求項1記載のビデオ画像情報処理装置。
- 光源の角膜上の反射を含む、人間の眼の瞳孔から得られる画像と、当該瞳孔の画像とを有する画像のビデオ画像情報処理装置において、
行および列位置における人間の眼の画像の強度を受け取るために行および列でアドレシング可能なリードアンドライトメモリと、
画像を行および輝度アドレスによってメモリに受け取るため、および当該行および輝度位置における人間の眼の画像の列を受け取るため、行および強度情報によってアドレシング可能な連想メモリと、
人間の眼から得られる前記角膜上の反射のビデオ画像を前記リードアンドライトメモリにロードする手段と、
人間の眼から得られる角膜上の反射の前記画像を前記連想メモリにロードする手段と、
最大強度のレベルを求めて前記連想メモリをサーチする手段と、
前記連想メモリから前記所定の強度レベルを有する前記人間の眼の前記ビデオ画像の列アドレスを位置づける手段と、
リードアンドライトメモリ内の前記人間の眼の前記ビデオ画像全体より少ない画像領域ないし画像の一部をサーチし、第1信号における前記角膜上の反射の面中心を求めるサーチプロトコルを具備する手段と、
前記所定の強度レベルの前記行および列情報を利用して、リードアンドライトメモリに対し前記サーチプロトコルをアドレシングし、前記リードアンドライトメモリ内の前記人間の眼の前記記憶された画像全体より少ない画像を前記サーチプロトコルによりサーチし、前記第1信号を生成する手段と、
人間の眼から得られる前記瞳孔のビデオ画像をリードアンドライトメモリにロードする手段と、
人間の眼の瞳孔の前記ビデオ画像を連想メモリをロードに手段と、
最低輝度のレベルを求めて前記連想メモリをサーチする手段と、
前記連想メモリから前記最低の強度レベルを有する人間の眼の前記ビデオ画像の列アドレスを位置づける手段と、
リードアンドライトメモリ内の人間の眼の前記ビデオ画像全体より少ない画像をサーチし、第2信号において、人間の眼の瞳孔の中心を位置づけるサーチプロトコルを具備する手段と、
前記所定の強度レベルの前記行および列情報を利用して、リードアンドライトメモリに対し前記サーチプロトコルをアドレシングし、前記リードアンドライトメモリ内の人間の眼の前記記憶された画像全体より少ない画像を前記サーチプロトコルによりサーチし、前記第2信号を生成する手段とを有することを特徴とするビデオ画像情報処理装置。 - 前記第1信号と第2信号を比較し、眼の注視方向に関するコンポジット信号を出力し、前記出力の変化は眼の注視の関数である請求項9記載のビデオ画像情報処理装置。
- 瞳孔の境界の間で眼を横断する水平の弦を位置づけし、該水平の弦を2等分し、当該の2等分した弦から瞳孔の境界までの垂直距離を得る請求項9記載のビデオ画像情報処理装置。
- 前記画像の強度変化の導関数を利用して前記弦の端部を位置づける請求項11記載のビデオ画像情報処理装置。
- 2次導関数のゼロクロス箇所をポイントするために前記画像の強度変化の1次導関数を利用して、前記弦の端部を位置づける請求項12記載のビデオ画像情報処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/172,136 US5491757A (en) | 1993-12-22 | 1993-12-22 | Field tester gaze tracking using content addressable memories to improve image data analysis speed |
US08/172136 | 1993-12-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07194549A JPH07194549A (ja) | 1995-08-01 |
JP3670695B2 true JP3670695B2 (ja) | 2005-07-13 |
Family
ID=22626520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP32066294A Expired - Fee Related JP3670695B2 (ja) | 1993-12-22 | 1994-12-22 | ビデオ画像情報処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US5491757A (ja) |
EP (1) | EP0659382B1 (ja) |
JP (1) | JP3670695B2 (ja) |
DE (1) | DE69433918T2 (ja) |
ES (1) | ES2225826T3 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5644642A (en) * | 1995-04-03 | 1997-07-01 | Carl Zeiss, Inc. | Gaze tracking using optical coherence tomography |
US6381339B1 (en) * | 1997-01-15 | 2002-04-30 | Winton Emery Brown | Image system evaluation method and apparatus using eye motion tracking |
US5790235A (en) * | 1997-03-26 | 1998-08-04 | Carl Zeiss, Inc. | Method and apparatus to measure pupil size and position |
US5852489A (en) * | 1997-12-23 | 1998-12-22 | Chen; Chi | Digital virtual chiasm for controlled stimulation of visual cortices |
US6204828B1 (en) | 1998-03-31 | 2001-03-20 | International Business Machines Corporation | Integrated gaze/manual cursor positioning system |
US6049486A (en) * | 1999-01-04 | 2000-04-11 | Taiwan Semiconductor Manufacturing Company | Triple mode erase scheme for improving flash EEPROM cell threshold voltage (VT) cycling closure effect |
DE10108797A1 (de) * | 2001-02-21 | 2002-09-05 | Zeiss Carl Jena Gmbh | Verfahren zur Ermittlung von Abständen am vorderen Augenabschnitt |
GB0119859D0 (en) * | 2001-08-15 | 2001-10-10 | Qinetiq Ltd | Eye tracking system |
EP1407710B1 (en) | 2002-10-08 | 2005-08-10 | Inami & Co., Ltd. | Computer controlled perimetry system |
GB2398631A (en) * | 2002-12-19 | 2004-08-25 | Ahmed A Assaf | Computerised assessment of the ocular motility fileds |
US7401921B2 (en) * | 2004-05-12 | 2008-07-22 | Carl Zeiss Meditec, Inc. | Motorized patient support for eye examination or treatment |
US8500278B2 (en) * | 2007-03-08 | 2013-08-06 | Liang Chen | Apparatus and method for objective perimetry visual field test |
US7575322B2 (en) * | 2007-05-11 | 2009-08-18 | Amo Development Llc. | Auto-alignment and auto-focus system and method |
ES2380469B2 (es) * | 2010-10-15 | 2013-04-10 | Universidad De Murcia | Instrumento para la medida rápida de las propiedades ópticas del ojo en todo el campo visual. |
JP6035255B2 (ja) | 2011-03-17 | 2016-11-30 | カール ツアイス メディテック アクチエンゲゼルシャフト | 視野検査における屈折補正のためのシステムおよび方法 |
US8684529B2 (en) | 2011-04-28 | 2014-04-01 | Carl Zeiss Meditec, Inc. | Systems and methods for improved visual field testing |
US9179833B2 (en) | 2013-02-28 | 2015-11-10 | Carl Zeiss Meditec, Inc. | Systems and methods for improved ease and accuracy of gaze tracking |
US9261959B1 (en) | 2013-03-28 | 2016-02-16 | Google Inc. | Input detection |
JP6276588B2 (ja) | 2013-12-27 | 2018-02-07 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 磁気トンネル接合素子 |
US10716730B2 (en) * | 2015-01-22 | 2020-07-21 | Ovard, Llc | Gaze stabilization system and method |
US10058241B2 (en) | 2016-02-29 | 2018-08-28 | Carl Zeiss Meditec, Inc. | Systems and methods for improved visual field testing |
WO2023220148A1 (en) * | 2022-05-10 | 2023-11-16 | Mayo Foundation For Medical Education And Research | Adjustable chin rest apparatus for visual field system |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1960111A (en) * | 1928-11-26 | 1934-05-22 | American Optical Corp | Eye testing device |
US4145123A (en) * | 1974-08-30 | 1979-03-20 | Optische Werke G. Rodenstock | Perimeter |
US4429961A (en) * | 1981-08-14 | 1984-02-07 | Sheingorn Larry A | Visual field testing device |
US5066117A (en) * | 1985-02-26 | 1991-11-19 | Canon Kabushiki Kaisha | Perimeter |
IL82112A0 (en) * | 1986-04-10 | 1987-10-30 | Techna Vision Inc | Optical-mechanical system for an automated perimeter |
JPH0616748B2 (ja) * | 1986-06-06 | 1994-03-09 | 興和株式会社 | 固視監視装置 |
US4748502A (en) * | 1986-08-18 | 1988-05-31 | Sentient Systems Technology, Inc. | Computer vision system based upon solid state image sensor |
US4973149A (en) * | 1987-08-19 | 1990-11-27 | Center For Innovative Technology | Eye movement detector |
US4836670A (en) * | 1987-08-19 | 1989-06-06 | Center For Innovative Technology | Eye movement detector |
JPH01158579A (ja) * | 1987-09-09 | 1989-06-21 | Aisin Seiki Co Ltd | 像認識装置 |
US4928260A (en) * | 1988-05-11 | 1990-05-22 | Advanced Micro Devices, Inc. | Content addressable memory array with priority encoder |
US4950069A (en) * | 1988-11-04 | 1990-08-21 | University Of Virginia | Eye movement detector with improved calibration and speed |
US5231674A (en) * | 1989-06-09 | 1993-07-27 | Lc Technologies, Inc. | Eye tracking method and apparatus |
IT1231669B (it) * | 1989-07-31 | 1991-12-18 | Lectrikon Srl | Dispositivo meccanico per il posizionamento della testa del paziente in apparati elettromedicali |
US5220361A (en) * | 1991-06-05 | 1993-06-15 | Allergan Humphrey | Gaze tracking for field analyzer |
US5214456A (en) * | 1991-10-09 | 1993-05-25 | Computed Anatomy Incorporated | Mapping of corneal topography with display of pupil perimeter |
US5270748A (en) * | 1992-01-30 | 1993-12-14 | Mak Technologies, Inc. | High-speed eye tracking device and method |
US5257220A (en) * | 1992-03-13 | 1993-10-26 | Research Foundation Of The State Univ. Of N.Y. | Digital data memory unit and memory unit array |
-
1993
- 1993-12-22 US US08/172,136 patent/US5491757A/en not_active Expired - Lifetime
-
1994
- 1994-10-18 DE DE1994633918 patent/DE69433918T2/de not_active Expired - Lifetime
- 1994-10-18 ES ES94116372T patent/ES2225826T3/es not_active Expired - Lifetime
- 1994-10-18 EP EP19940116372 patent/EP0659382B1/en not_active Expired - Lifetime
- 1994-12-22 JP JP32066294A patent/JP3670695B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
DE69433918D1 (de) | 2004-09-02 |
EP0659382B1 (en) | 2004-07-28 |
EP0659382A2 (en) | 1995-06-28 |
EP0659382A3 (en) | 1998-09-02 |
DE69433918T2 (de) | 2005-08-11 |
JPH07194549A (ja) | 1995-08-01 |
ES2225826T3 (es) | 2005-03-16 |
US5491757A (en) | 1996-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3670695B2 (ja) | ビデオ画像情報処理装置 | |
EP0604430B1 (en) | Gaze tracking for field analyzer | |
US11771317B2 (en) | Ocular surface interferometry (OSI) for imaging, processing, and/or displaying an ocular tear film | |
US7309128B2 (en) | Automated stereocampimeter and related method for improved measurement of the visual field | |
US4834528A (en) | Infrared photoretinoscope | |
KR100992182B1 (ko) | 안과용 양안 파면 측정 시스템 | |
US4998819A (en) | Topography measuring apparatus | |
US9795290B2 (en) | Ocular tear film peak detection and stabilization detection systems and methods for determining tear film layer characteristics | |
US5838420A (en) | Method and apparatus for ocular motility testing | |
EP0183565A1 (en) | Method and apparatus for checking articles against a standard | |
US5114222A (en) | Method and apparatus for perimetry | |
JP2001340300A (ja) | 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム | |
US8087780B2 (en) | High precision visual field tester with unprecedented detailed results | |
WO2021156873A1 (en) | System and method for imaging reflecting objects | |
JPH11137521A (ja) | 眼屈折力測定装置 | |
JPH08117186A (ja) | 視野測定装置 | |
WO2015073986A1 (en) | Ocular tear film peak detection and stabilitzation detection systems and methods for determining tear film layer characteristics | |
JPS649010B2 (ja) | ||
US20220338730A1 (en) | Device and method for detecting tear film breakup | |
JP3559391B2 (ja) | 光学部材検査装置 | |
JPS5967440A (ja) | 光学系の検査装置 | |
JPH06178762A (ja) | 瞳孔径計測機能を備えた視野測定装置 | |
JPS5839526B2 (ja) | シキノウケンサソウチ | |
JPH0397432A (ja) | 視野計の固視装置 | |
JPH0759733A (ja) | 視野測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040512 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040809 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040812 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050316 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050415 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110422 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110422 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120422 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120422 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130422 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |