JPH04347132A - 視線検出装置 - Google Patents
視線検出装置Info
- Publication number
- JPH04347132A JPH04347132A JP3121098A JP12109891A JPH04347132A JP H04347132 A JPH04347132 A JP H04347132A JP 3121098 A JP3121098 A JP 3121098A JP 12109891 A JP12109891 A JP 12109891A JP H04347132 A JPH04347132 A JP H04347132A
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- image
- information
- line
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title abstract description 3
- 210000001747 pupil Anatomy 0.000 claims abstract description 102
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims description 65
- 238000012545 processing Methods 0.000 claims description 53
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 238000005286 illumination Methods 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 5
- 210000004087 cornea Anatomy 0.000 abstract description 10
- 230000011514 reflex Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 14
- 238000003708 edge detection Methods 0.000 description 6
- 230000007717 exclusion Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Automatic Focus Adjustment (AREA)
- Eye Examination Apparatus (AREA)
Abstract
め要約のデータは記録されません。
Description
用する観察者の視線(注視点)を検出する視線検出装置
に関するものである。
どの位置を観察しているかを検出する、いわゆる視線検
出装置が、特開昭61−172552号公報、特開平1
−241511号公報、特開平2−5号公報等に開示さ
れている。
おいては、光源からの平行光束を観察者の眼球の前眼部
へ投射し、角膜からの反射光による角膜反射像と瞳孔の
結像位置を利用して視軸を求めている。
理説明図で、同図(A)は視線検出光学系の概略図、同
図(B)は光電素子列6からの出力信号の強度図である
。
外光を放射する発光ダイオード等の光源であり、投光レ
ンズ3の焦点面に配置されている。
により平行光となりハーフミラー2で反射し、眼球20
1の角膜21を照明する。このとき角膜21の表面で反
射した赤外光の一部による角膜反射像dはハーフミラー
2を透過し受光レンズ4により集光され光電素子列6上
の位置Zd′に再結像する。
からの光束はハーフミラー2、受光レンズ4を介して光
電素子列6上の位置Za′,Zb′に該端部a,bの像
を結像する。受光レンズ4の光軸(光軸ア)に対する眼
球の光軸イの回転角θが小さい場合、虹彩23の端分a
,bのZ座標をZa,Zbとすると、虹彩23の中心位
置cの座標Zcは Zc≒(Za+Zb)/2 と表わされる。
d、角膜21の曲率中心Oと瞳孔24の中心Cまでの距
離をOCとすると眼球光軸イの回転角θは、OC*SI
Nθ≒Zc−Zd…(1) の関係式を略満足する。
角膜21の曲率中心OのZ座標Z0とは一致している。 このため演算手段9において、同図(B)のごとく光電
素子列6面上に投影された各特異点(角膜反射像d及び
虹彩の端部a,b)の位置を検出することにより眼球光
軸イの回転角θを求めることができる。この時(1)式
は、
と受光レンズ4との距離L1と受光レンズ4と光電素子
列6との距離L0で決まる倍率で、通常ほぼ一定の値と
なっている。
おいて測距点を画面中心のみならず画面内の複数箇所に
設けた場合、観察者がそのうち1つの測距点を選択して
自動焦点検出を行おうとする場合、その1つを選択入力
する手間を省き観察者が観察している点を測距点とみな
し、該測距点を自動的に選択して自動焦点検出を行うの
に有効である。
視線検出装置では、発光ダイオードによって照明された
眼球像を水平方向に処理してゆき、同発光ダイオードが
形成する角膜反射像の水平方向の位置と、瞳孔円(瞳孔
部と虹彩部の境界−「瞳孔エッジ」と称する−が形成す
る円)の水平方向の位置を求め、それらから水平方向の
視線方向を検出している。
出された瞳孔エッジに関係すると考えられる出力信号の
横(水平)/縦(垂直)位置の座標に基づいて、数値計
算を行い瞳孔円を推定し、その中心座標を視線検出に適
用する方法が考えられる。この方法では、多数の観測点
から円を推定するため、例えば半円や三日月円に沿った
観測点からでも、良好に元の円を推定することが可能で
ある。
が真の円周の比較的近傍に存在している場合には非常に
効果があるが、何点かの偽の観測点が瞳孔円と少し離れ
た位置に存在していると、計算を行う性格上その影響は
無視できる程大きくなり、視線検出の精度も著しく低下
してしまうという問題がある。
消を目的としており、その要旨は次の通りである。
膜反射像は常に瞳孔円内に存在するとの仮定の元に、最
小2乗法を用いて瞳孔円の推定計算を行うに先だって、
同反射像の水平/垂直方向の位置を求める。そして、そ
の位置から制限される座標内の観測点(瞳孔エッジ点)
のみを瞳孔円の推定計算に用いるようにすることで、よ
り正確な瞳孔円を推定計算することにある。
察者の眼球からの光を複数の光電変換素子列で受光する
受光手段、前記受光手段の光電変換信号を時系列に出力
処理する処理手段、前記光電変換信号からプルキンエ像
の位置情報を記憶する第1の記憶手段、複数の光電変換
素子の光電変換信号のうち瞳孔に関係するであろう信号
を出力する光電変換素子の複数の位置情報を記憶する第
2の記憶手段、前記第2の記憶手段の複数の位置情報の
うちから前記プルキンエ像を中心として制限された所定
範囲の位置情報を抽出する抽出手段、前記抽出手段によ
り抽出された複数の位置情報から瞳孔情報を推定計算す
る計算手段、前記計算手段の瞳孔情報と前記プルキンエ
像の位置情報から視線方向を検出する検出手段、を具備
することにある。
きの一実施例の光学系の要部概略図、図2は図1の焦点
検出部の説明図である。図3は図1の視線検出系の要部
斜視図である。
視光透過・赤外光反射のダイクロイックミラー1aが斜
設されており、光路分割器を兼ねている。
5d)は照明手段であり、例えば発光ダイオードから成
っている。このうち5a,5bは接眼レンズの下部に配
置され角膜反射像を発生させる為の赤外発光ダイオード
であり、角膜反射像をできるだけ分解能よく検知できる
よう見かけのチップサイズの小さなスポット性のある発
光ダイオードを用いている。
けられた赤外発光ダイオードで眼球全体を照明するよう
に拡散性を持たせたもの、又は面発光的な特性を持った
もので、眼球が光軸中心よりはずれた場合でも十分カバ
ーする照明範囲を持っており、かつ受光レンズ4によっ
てエリアセンサ7には角膜反射像が結像されないように
配置されている。
光電素子列によって構成されている。
一要素を構成している。
検出系を構成している。
ターン(QR)ミラー、103は表示素子、104はピ
ント板、105はコンデンサーレンズ、106はペンタ
ダハプリズム、107はサブミラー、108は多点焦点
検出装置であり、撮影画面内の複数の領域を選択して焦
点検出を行っている。
めに必要ないため概略に止める。
ズ101の予定結像面近傍に配され、夫々測距域を決め
る複数のスリットを有する視野マスク110と各スリッ
ト内の像に対してフィールドレンズの作用を果たすレン
ズ部材111を近接配置し、更にスリット数に応じた再
結像レンズの組112と光電素子列の組113を順置す
る。スリット110、フィールドレンズ111、再結像
レンズの組112、そして光電素子列の組113はそれ
ぞれ周知の焦点検出系を構成している。
被写体光の一部はQRミラー102によって反射してピ
ント板104近傍に被写体像を結像する。ピント板10
4の拡散面で拡散した被写体光はコンデンサーレンズ1
05、ペンタダハプリズム106、接眼レンズ1を介し
てアイポイントEに導かれる。
いない2層タイプのゲスト−ホスト型液晶素子で、ファ
インダー視野内の測距域(焦点検出位置)を表示するも
のである。
の一部は、QRミラー102を透過し、サブミラー10
7で反射してカメラ本体底部に配置された前述の多点焦
点検出装置108に導かれる。さらに多点焦点検出装置
108の選択した被写体面上の位置の焦点検出情報に基
づいて、不図示の撮影レンズ駆動装置により撮影レンズ
101の繰り出しあるいは繰り込が行われ、焦点調節が
行われる。
ゆるワンチップマイクロコンピュータ(MCU)であり
、内部にROM,RAM,A/D変換器等を内蔵してい
るものである。MCU109は内蔵のROMに格納され
ているプログラムに従って一連の視線検出動作を実行す
る。
外発生ダイオード5を点灯する。放射された赤外光は図
中の上方から接眼レンズ1に入射し、ダイクロイックミ
ラー1aにより反射されアイポイントE近傍に位置する
観察者の眼球201を照明する。また眼球201で反射
した赤外光はダイクロイックミラー1aで再び反射され
受光レンズ4によってエリアセンサ6上に像を形成する
。MCU109はエリアセンサ6によって光電変換され
た眼球像を信号処理し、注視点情報(視線)を検知する
。
作と表示動作に利用される。即ち、注視点に最も近い測
距点の焦点検出結果に基づいて焦点調節を行い、同時に
表示素子103によって観察者の注視した場所をカメラ
のファインダー内に表示し、注視点の確認を行わさせる
ことが出来る。
の原理を示す原理図である。図4(A)において光電素
子列6の横方向(X軸方向)に分離して配置された赤外
発光ダイオード5a,5bからの光束はX軸方向に分離
した位置に角膜反射像e,dをそれぞれ形成する。この
時、角膜反射像e及びdの中点のX座標は角膜21の曲
率中心oのX座標と一致している。また角膜反射像e及
びdの間隔は赤外発光ダイオードと観察者の眼球との距
離に対応して変化するため、光電素子列6上に再結像し
た角膜反射像の位置e′,d′を検出することにより眼
球からの反射像の結像倍率βを求めることが可能となる
。虹彩情報検出用の赤外発光ダイオード5c,5dは、
フィインダの側面方向から眼球を照明するが、角膜反射
像が受光レンズ4によって光電素子列6上に再結像しな
いように配置されている。これによって光電素子列6上
における虹彩と瞳孔の境界位置a,bに不用光によるフ
レアー反射像が入射しないようにし、境界位置a,bの
検出精度の低下を防止している。
素子列6からなるエリアセンサー7上に投影された眼球
からの反射像を示す説明図である。同図において、角膜
反射像e′,d′は光電素子列Yp′上に再結像してい
る。一例としてこのとき光電素子列Yp′より得られる
光強度分布の出力信号を図5(B)に示す。
5(A),(B)に示したセンサ信号から、瞳孔の中心
位置と角膜反射像e′,d′の位置を検出し、それらの
位置関係に基づいて注視点(視線)を検知する。
置であるマイクロコンピュータMCU109のフローチ
ャートを示す。
ある。MCU109が視線検出動作を開始すると、ステ
ップ(#000)を経て、ステップ(#001)のデー
タの初期化を実行する。
信号中の最低の輝度値を記憶する変数であり、マイクロ
コンピュータ(MCU109)に内蔵されているA/D
変換器の分解能を8bitと想定し、像信号の読み込み
に伴って、逐次的に最低値を比較・更新してゆく。初期
値は8bitでの最大の値を表す255を格納しておく
。
エッジとして抽出した個数をカウントする変数である。
光ダイオード5a,5bの角膜反射像(以下「プルキン
エ像;P像」と称する)の位置を表す変数であり、横方
向(X軸)の範囲IP1〜IP2,縦方向(Y軸)の範
囲JP1〜JP2で囲まれる眼球反射像の領域内に、2
個のP像が存在する。
50画素、縦方向に100画素のサイズを想定しており
、IP1,IP2,JP1,JP2は全体のちょうど真
中の位置(75、50)を初期値として格納しておく。
)へ移行する。
イオード5a,5bと、眼球照明用の発光ダイオード5
c,5dを点灯する。次のステップ(#003)にて、
エリアセンサ7の蓄積動作を開始させる。センサの制御
は本発明と直接の関わりはないので詳細な説明は省略す
るが、本発明の実施例では不図示のセンサ・インターフ
ェース回路によって駆動制御されるものとする。
ンサの蓄積終了を待つ。
プ(#005)で発光ダイオードを消灯する。
、エリアセンサの光電変換信号の読み込みを開始する。
から99までカウントアップしながら、枠内の処理を実
行する、いわゆる「ループ処理」を表している。
、まずステップ(#007)にてエリアセンサの横方向
(X軸)の1ラインの光電変換信号の読み込みを行う。 1ラインの読み込みはサブルーチン形式となっており、
図7にサブルーチン「1ライン読み込み」のフローチャ
ートを示す。
ルされると、図7のステップ(#100)を経て、次の
ステップ(#101)を実行する。ステップ(#101
)と、その枠内のステップ(#102)は、前述したス
テップ(#006)と同様のループ処理を表しており、
ステップ(#101)では変数Kを0から3へカウント
アップさせながら、そしてステップ(#102)では変
数Iを0から149までカウントアップさせながら、そ
れぞれの枠内の処理を実行してゆく。従って、ステップ
(#101)とステップ(#102)は変数Kと変数I
の、いわゆる「入れ子」となったループ処理を表してい
る。
テップ(#103)では、配列変数IM(i,k)の再
格納作業を行っている。
U109が信号処理を行っているわけであるが、一般に
マイクロコンピュータの内蔵RAM(ランダム・アクセ
ス・メモリ)の記憶容量は、エリアセンサの全画素情報
を一度に記憶できる程大きくはない。そこで、本実施例
では、エリアセンサから出力される像信号を逐時読みだ
しながら、横方向(X軸)5ライン分に相当する最新の
像信号のみをマイクロコンピュータの内蔵RAMに記憶
させ、1ラインの読み込み毎に視線検出のための処理を
実行するようにしている。
03)の2重ループ処理で実行している内容は、新たな
1ライン分の像信号を読み込むために、記憶している過
去5ライン分の像信号データを更新する作業である。即
ち、配列変数IM(i,k)の内、IM(i,0)[i
=0〜149]が最も過去の、またIM(i,4)[i
=0〜149]が最も最近の1ラインの像データを表し
ており、次のようにデータを更新して新たな1ライン分
の像信号をIM(i,4)「i=0〜149]に格納で
きるように準備する。
,1)←IM(i,2) IM(i,2)←IM(i,3) IM(i,3)←IM(i,4)[i=0〜149]
0055】さて、ステップ(#101)〜ステップ(#
103)のデータ更新のためのロープ処理が終了すると
、次のステップ(#104)のループ処理を実行する。
エリアセンサの横方向(X軸)の1ライン分(150画
素)の像信号を逐次的にA/D変換しながら、RAMに
格納し、また像信号の最小値を検出している。
ステップ(#105)では、マイクロコンピュータMC
U109の内蔵のA/D変換器から、像信号をA/D変
換したディジタル値ADCを取り出し、その値を一時的
に変換EYEDTに格納する。そして、次のステップ(
#106)にて、EYEDTの値を配列変数IM(I,
4)に格納する。変数Iは外側のループ処理ステップ(
#104)にて0から149までカウントアップされる
。
信号の最小値を検出処理である。変数EYEMINは像
信号の最小値を保持する変数であり、ステップ(#10
7)において、EYEMINよりEYEDTの方が小さ
ければ、ステップ(#108)へ分岐し、EYEMIN
をこの小さなEYEDTの値で更新する。
ープ処理が終了し、新たな1ライン分の像信号の格納と
、最小値の検出が終ると、次のステップ(#109)で
サブルーチン「1ラインの読み込み」をリターンする。
(#007)のサブルーチン「1ラインの読み込み」が
完了すると、次のステップ(#008)へ移行し、外側
のループ処理ステップ(#006)のループ変数Jが5
以上か否か調べる。
軸)の画素ラインを表しており、本実施例では、エリア
センサの画素数を(150×100)としているので、
Jは0から99までカウントアップされる。
5以上の場合にはステップ(#009)へ分岐する。こ
れは、読み込んだ像信号のライン数が5以上になると、
エリアセンサの縦方向(Y軸)の処理が出来るようにな
るからである。
ブルーチン「P像の検出」を実行する。
角膜反射像(P像)の位置を検出するための処理であり
、エリアセンサの横方向(X軸)の1ラインの読み込み
毎に実行する。そのフローチャートを図8に示す。
ると、ステップ(#200)を経てステップ(#201
)のループ処理を実行する。ループ処理内では、像デー
タ(配列変数IM(i,k)に記憶)中のP像の位置を
検索し、もし見つかれば、エリアセンサ上でのその位置
を記憶する。本実施例ではP像は2個発生するので、記
憶する位置情報も2個となる。
は、所定位置の像データがP像としての条件を満足する
か否かを判定する。条件としては、次のようなものであ
る。
(1,2)>C1 かつ IM(I,1)>C2 かつ IM(I,3)>C2 かつ IM(I−1,2)>C2 かつ IM(I+1,2)>C2
≧C2なる関係があり、例えば、C1=230,C2=
200である。また、変数Iはループ処理のループ変数
であり、エリアセンサの横方向(X軸)の位置を表して
いる。
、スポット像のようなものであることに注目し、横/縦
方向(X/Y軸)の両方向に定義したものである。この
条件が満足されたとき、位置(I,2)にP像が存在す
るものと見なす。
エリアセンサの横方向(X軸)の1ライン読み込み毎に
更新しており、縦方向(Y軸)位置JラインはIM(i
、4)「i=0〜149]に格納されている。従って、
変数IMに対するアドレス(1,2)は、エリアセンサ
上では、位置(I,J−2)となる。
満足する像データがあった場合、ステップ(#203)
以降へ分岐し、ない場合には外側のループ変数Iがカウ
ントアップされる。
の存在範囲(X軸方向の範囲[IP1〜IP2],Y軸
方向の範囲[JP1〜JP2])を決定する処理である
。
センサの横方向(X軸)の位置を表す変数Iと変数IP
1を比較し、I<IP1ならば、ステップ(#204)
へ分岐する。即ち,P像の存在範囲のうち、横方向の左
方にあるP像位置IP1の位置よりも、変数Iの位置の
方が左にあれば、IP1を書換えようとするものである
。
変数Iの値を格納し、そのときの縦方向の位置(J−2
)を変数JP1に格納する。
、P像存在範囲のうち、横方向の右方にあるP像位置I
P2と、その縦方向位置を表すJP2の更新の判定を行
う。
のループ処理で、横方向(X軸)の位置Iが0から14
9までの1ラインの処理が終了すると、次のステップ(
#207)へ移行する。
照する変数XP1、XP2、YP1、YP2を図中の式
の如く計算する。
明のところで詳述するが、簡単に述べるならば、瞳孔中
心を検出する際に、P像位置周辺に発生する偽の瞳孔エ
ッジ情報を排除するために使用するものである。
、次のステップ(#208)でサブルーチン「P像の検
出」をリターンする。
像の検出」が完了すると、次のステップ(#010)で
サブルーチン「瞳孔エッジの検出」を実行する。
孔エッジ(虹彩と瞳孔の境界)の位置の検出を行うサブ
ルーチンであり、図9にそのフローチャートを示してい
る。
ルされると、ステップ(#300)を経て、次のステッ
プ(#301)のループ処理が実行される。ステップ(
#301)は図8のステップ(#201)と同様に、エ
リアセンサの横方向(X軸)の位置を表す変数Iをルー
プ変数とするループ処理である。
、像データ中に瞳孔のエッジを表す特徴があるかどうか
を検索し、もしあればあ、その位置情報を記憶する。 瞳孔エッジ位置情報は、配列変数EDGDT(m、n)
に格納される。
式は以下のように設定している。
の輝度 EDGDT(m、2)…m番目のエッジ点のX軸座標E
DGDT(m、3)…m番目のエッジ点のY軸座標
087】mは瞳孔エッジ検出の逐次処理の過程で見つか
ったエッジ点の順番である。従って、エッジがM個検出
されれば、配列変数EDGDTの容量は[M×3]バイ
程が必要となる。フローチャートでは、エッジの検出個
数は変数EDGCNTでカウントしている。
2)では、像データIM(I、2)の近傍に、過去に検
出されたエッジ点があるが否かを判定している。もう少
し詳しく説明すると次のようになる。
アセンサの横方向(X軸)の位置を表し、像データを格
納している配列変数IM(i、k)に対するアドレス(
I、2)は、いま正に瞳孔エッジであるが否かを検定し
ようとしている点(画素の座標)である。この(I、2
)の点に隣接する各点が、過去の逐次処理の過程で瞳孔
エッジと判定されたかどうかを、エッジ位置情報を格納
している配列変数EDGDT(m、n)から調べようと
するものである。
に記述すると、次のような条件となる。
DGDT(m、2)、EDGDT(m、3)}={(I
−1)、(J−2)}あるいは={(I−1)、(J−
3)} あるいは={(I)、(J−3)} あるいは={(I+1)、(J−3)}なる{EDGD
T(m、2)、EDGDT(m、3)}が存在する。
093】現在検定しようとしている座標は{(I)、(
J−2)}であるから、上記座標は現在座標に対して順
に左隣、左上隣、上隣、右上隣の位置を表している。
(m、3)はそれぞれm番目のエッジ点のX軸座標、Y
軸座標を表わしているから、結局上記条件は、現在座標
の左隣、左上隣、上隣、右上隣の位置にエッジ点があっ
たかどうかを判定していることになる。
、J−2)の近傍にエッジ点があると判定された場合に
はステップ(#304)へ、そうでない場合には、ステ
ップ(#303)へ分岐し、それぞれ別の条件を用いて
瞳孔エッジの判定を行う。
明する。
うとしている座標(I、J−2)の像データが瞳孔エッ
ジの条件(ステップ(#303)での判定条件を「エッ
ジ条件1」と称する)を満たすか否かを判定している。 座標(I、J−2)の像データは配列変数IM(I、2
)に格納されていることに留意されたい。
1.{IM(I−1、2)−IM(I、2)}>C3
かつ{IM(I−2、2)−IM(I−1、2)}<
C3 かつIM(I、2)<a 2.{IM(I+1、2)−IM(I、2)}>C3
かつ{IM(I+2、2)−IM(I+1、2)}>
C3 かつIM(I、2)<a 3.{IM(I、1)−IM(I、2)}>C3 か
つ{IM(I、0)−IM(I、1)}>C3 かつ
IM(I、2)<a 4.{IM(I、3)−IM(I、2)}>C3 か
つ{IM(I、4)−IM(I、3)}>C3かつIM
(I、2)<a
2)をエッジ点と見なす、但し、a=EYEMIN+C
4で、EYEMINは現在の逐次処理までの像データ中
の最低輝度値である。
、C4=20である。
界)においては連続して所定の輝度差があり、同時に瞳
孔部は眼球反射像の中で最も低い輝度となることを特徴
としてとらえている。1と2の条件はエリアセンサの横
方向(X軸)のエッジを抽出し、3と4の条件は縦方向
(Y軸)のエッジを抽出する。
抽出された場合には、ステップ(#303)からステッ
プ(#305)へ分岐し、エッジ点の輝度値と座標を記
憶する。
報格納用の配列変数EDGDT(m、k)に次のように
情報を格納する。
I、2) EDGDT(EDGCNT、2)←I EDGDT(EDGCNT、3)←J−2
IM(I、2)はEDGCNT番目に検出されたエッジ
点の輝度、Iは同X座標、(J−2)は同Y座標である
。
ントする変数EDGCNTを1つカウントアップする。
、外側のループ処理のループ変数I(横方向、X軸の座
標を表す)をカウントアップし、再びステップ(#30
2)以降のフローチャートを実行する。
在座標(I、J−2)の近傍にエッジ点があると判定さ
れた場合について説明する。
、ステップ(#303)と同じように、現在検定しよう
としている座標(I、J−2)の像データが瞳孔エッジ
の条件(ステップ(#304)での判定条件を「エッジ
条件2」と称する)を満たすか否かを判定する。
1」よりも、いわば緩い条件を設定してある。本実施例
では、条件式に同じで、しきい値C3、C4をそれぞれ
C3′、C4′とし、次のように変えている。
することで、「エッジ条件1」よりもエッジと判定され
る率が上昇する。
由は、そもそもエッジ点は孤立して存在するものではな
く、連続しているものであり、ある点がエッジ点である
ならば、その近傍が同じくエッジ点である可能性が高い
であろう、という観点に基づいている。
でエッジ点と判定された場合には、ステップ(#305
)へ分岐して、その座標の情報を記憶する。
となるまで、ステップ(#301)のループ処理が実行
され、エリアセンサの横方向(X軸)の1ライン分のエ
ッジ検出の処理が終了すると、ステップ(#306)へ
移行し、サブルーチン「瞳孔エッジの検出」をリターン
する。
孔エッジの検出」が完了すると、外側のループ処理ステ
ップ(#006)のループ変数J(エリアセンサの縦方
向、Y軸の座標を表す)がカウントアップされ、Jが9
9となるまで、再びステップ(#007)以降の処理が
実行される。
の全画素の読み込みと処理が終了すると、ステップ(#
006)からステップ(#011)へ移行する。
、ステップ(#006)のループ処理内で検出されたP
像位置および瞳孔エッジ情報から、瞳孔の中心座標の検
出と視線の検出を行う。
チン「瞳孔推定範囲の設定」をコールする。
孔エッジの検出」で検出された複数の瞳孔エッジ点には
、実際に瞳孔円(虹彩と瞳孔の境界が形成する円)を表
しているエッジ点以外にも、種々のノイズによって発生
した偽のエッジ点も含まれている。
ジ点を排除するために、P像位置情報に基づいて、確か
らしいエッジ点の座標範囲を限定するためのサブルーチ
ンであり、そのフローチャートを図10に示している。
ールされると、ステップ(#400)を経て、ステップ
(#401)を実行する。
検出」サブルーチンで説明したP像位置範囲、即ち、横
方向(X軸)にIP1〜IP2、縦方向(Y軸)にJP
1〜JP2の情報を用いて、瞳孔円の座標範囲IS1、
IS2、JS1、JS2を次の式に従って計算する。
1+JP2)/2+40
ッジ点は、エリアセンサの横方向(X軸)の範囲IS1
〜IS2、縦方向(Y軸)の範囲JS1〜JS2に存在
する点である、と設定する。
た如く、2個のP像は常に瞳孔円の円内の上部に存在す
るようになっており、これから上記計算式が成立する。
ップ(#402)へ移行し、サブルーチン「瞳孔推定範
囲の設定」をリターンする。
のサブルーチン「瞳孔中心の検出」をコールする。
ッジ点の座標から、瞳孔円の形状(中心座標と大きさ)
を推定するサブルーチンであり、そのフローチャートを
図11〜図13に示した。
を用いる。その考え方について先に述べておく。
、b)、半径をcとすると、(x−a)2+(y−b)
2=c2 …(10) で与えられる。
2)…(xn、yn)から、次式の誤差量ERが最小と
なるようにa、b、cを決定することを考える。
]2 …(11)ERは各観測点と、a、b、cで決
定される円の法線方向の距離(誤差)の2乗和であり、
これを最小する。
く。
X1=Σxi、X2=Σxi2、X3=Σxi3…
(16)〜(18) Y1=Σyi、Y2=Σyi2
、Y3=Σyi3…(19)〜(21) Z1=Σx
iyi、Z2=Σxi2yi、Z3=Σxiyi2…(
22)〜(24) とおき、さらに、V1=X2−X12/n …(25
)V2=Y2−Y12/n …(26)W1=X3+
Z3 …(27) W2=Y3+Z3 …(28) W3=(X2+Y2)/n …(29)W4=Z1−
X1Y1/n …(30)W5=(Z1−2・X1Y
1/n)Z1 …(31)W6=X1Y2 …(3
2) W7=X2Y1 …(33) とおいて整理すると、円の中心座標a、bは
】
はないが、半径cは、 c=[W3−2(aX1+bY1)/n+a2+b
2]1/2…(36)で計算される。
瞳孔中心検出の信頼性判定に用いており、ERは次の計
算式で与えられる。
X2−4adX1+Y4−4bY3+2(2b2+d)
Y2−4bdY1+2(Z4−2aZ3−2bZ2+4
abZ1)+d2n…(37)但し、X4=Σxi4
…(38) Y4=Σyi4 …(39) Z4=Σxi2yi2 …(40) d=a2+b2−c2 …(41) としている。
って、図11〜図13のフローチャートの説明を行う。
されると、ステップ(#500)を経て、ステップ(#
501)の「円の最小2乗推定」サブルーチンをコール
する。
瞳孔円の中心座標(a、b)と誤差量ERを計算するサ
ブルーチンであり、そのフローチャートを図12に示し
ている。同サブルーチンでは、さらに最低輝度値の見直
しと、P像による偽の瞳孔エッジの排除を行っている。
ルされると、ステップ(#600)を経て、ステップ(
#601)へ移行する。
乗推定式のワーク変数の初期化を行っている。
プ変数とするループ処理であり、記憶している瞳孔エッ
ジ情報を元に最小2乗法の計算の前半を行う部分である
。
T−1)個の情報が配列変数EDGDTに記憶されてい
る。ループ変数Lは記憶された順番を表している。
)では、L番目のエッジ点の輝度値EDGDT(L、1
)と(EYEMIN+C5)を比較し、輝度値の方が大
きければ分岐し、現在のループ変数Lの処理を終了する
。
号を読み込みながら、逐次的な処理を行っているため、
エッジ点検出の部分で使用している最低輝度値も、その
時点までの最低輝度値に過ぎない。故に、エッジ点とし
て検出された点も、実は本当の最低輝度値で判定された
ものではなく、実際にはエッジ点としてふさわしくない
点も含まれている可能性がある。そこで、このステップ
の目的は、最終的に決定された最低輝度値に基づいて、
もう一度最低輝度の判定にかけ、瞳孔エッジとしてふさ
わしくない点を排除しようとするものである。
0である。
いと判断された場合は、ステップ(#604)へ移行し
、横方向(X軸)座標と縦方向(Y軸)座標をそれぞれ
変数X、Yに一時的に格納する。
エッジ点の横方向座標Xが、横方向の範囲IS1〜IS
2に適合しているか否かを判定する。IS1、IS2は
サブルーチン「瞳孔推定範囲の設定」で求められた値で
あり、この範囲に入っていないエッジ点は瞳孔のエッジ
点として認めないように分岐し、現在のループ変数Lの
処理を終了する。
縦方向について同様の判定を行っている。
ていれば、ステップ(#607)へ移行する。
L番目のエッジ点の座標がP像の近傍であるかどうかを
判断している。
ーチン「P像の検出」で決定された値であり、エッジ点
の座標が横方向の範囲XP1〜XP2、縦方向の範囲Y
P1〜YP2に入っている場合には分岐し、現在のルー
プ変数Lの処理を終了するようにしている。これは、本
実施例の光学系では、2個のP像が瞳孔円内の上部に存
在するようになっているため、スポツト像的な形状をし
ているP像の「すそ」の部分が、前述した瞳孔エッジの
条件に適合し易く、偽の瞳孔エッジとして検出されてし
まっているのを排除するためである。
)の判定をパスしたエッジ点の座標情報が、ステップ(
#609)における最小2乗法の計算に供される。
16)〜(24)、(38)〜(40)を実行し、さら
に、計算に用いたエッジ点の個数Nをカウントアップす
る。
記憶していたエッジ点(EDGCNT−1)個の処理が
総て終了すると、ステップ(#610)へ移行する。
(35)、(37)〜(41)を計算し、瞳孔円の中心
座標(a、b)と誤差量ERを求める。
し、サブルーチン「円の最小2乗推定」をリターンする
。
サブルーチン「円の最小2乗推定」を完了すると、次の
ステップ(#502)へ移行する。
いたデータの個数Nをしきい値NTHRと比較し、N<
NTHRならば、データ数が少ないため結果の信頼性が
低いと見なして、ステップ(#512)へ分岐し、検出
失敗であるとする。
0である。
ならば、次のステップ(#503)にて、誤差量ERと
しきい値ERTHRを比較する。
検出結果が充分信頼できるものと見なして、ステップ(
#514)へ分岐し、検出成功であるとする。
RTHR=10000である。
RTHRならば、データ数が充分にも拘らず誤差が大き
すぎるとして、ステップ(#504)以下の再計算を実
施する。誤差が大きくなった原因としては、瞳孔円以外
の偽のエッジ点を計算に入れてしまったことが考えられ
、各エッジ点の座標の内、縦/横方向で端の座標のエッ
ジ点を計算から除外していって、誤差が減少するかどう
かを調べてゆく。
円の最小2乗推定 再計算1」をコールする。
小2乗推定の計算に用いたエッジ点の内、エリアセンサ
の縦方向上部に在るエッジ点(全体の5分の1)を除外
して、再び最小2乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図13に示す。
算1」がコールされると、ステップ(#700)を経て
、次のステップ(#701)にて図中のように変数の格
納を行う。
1)で計算した全エッジ点をしようしたときの対応する
ワーク変数の値を記憶する。そして、除外するエッジ点
の個数を全エッジ点の個数Nの5分の1として変数Mに
記憶しておく。
#601)と同様に計算のワークを初期化し、ステップ
(#703)へ移行する。
2)と同様のループ処理であり、このループ内で除外す
るエッジ点の最小2乗法の計算を行う。
向上部から読み込む構成にしているから、エッジ情報を
記憶している配列変数EDGDT(m、k)には、縦方
向の上部のエッジから順に格納されている。従って、E
DGDT(m、k)のmを0からアップカウントしてい
けば、縦方向上のエッジ点から取り出せることになる。
最初のステップ(#704)ではエッジ点(X、Y)が
瞳孔エッジとして有効か否かを判別しているが、これは
ステップ(#603)〜(#608)と全く同様である
。
にはステップ(#705)へ移行し、これもまたステッ
プ(#609)と同じ計算を実行する。
新たに計算したエッジ点の個数Nと除外すべきエッジ点
の個数Mを比較し、M個の計算が終了すれば分岐し、外
側のステップ(#703)のループ処理を中止する。M
個に達していない場合は、ループ変数Lをカウントアッ
プし、再びステップ(#704)移行の処理を続行する
。
8)へ分岐し、瞳孔円の中心(a、b)および誤差量E
R′を再計算する。再計算の式は次のようになる。
2S−X2…(17′) X3=X3S−X3…(18′) Y1=Y1S−Y1…(19′) Y2=Y2S−Y2…(20′) Y3=Y3S−Y3…(21′) Z1=Z1S−Z1…(22′) Z2=Z2S−Z2…(23′) Z3=Z3S−Z3…(24′) X4=X4S−X4…(38′) Y4=Y4S−Y4…(39′) Z4=Z4S−Z4…(40′)
〜(41)を計算し直せば、新たな瞳孔中心(a、b)
と誤差量ER′を得ることが出来る。式(16)〜(4
0)はもともと逐次形式になっているため、再び全デー
タを計算し直す必要はなく、除外したいデータの加算(
あるいは累乗加算)を計算して、元の値から減算すれば
済む。
)へ移行し、サブルーチン「円の最小2乗推定 再計
算1」をリターンする。
完了すると、ステップ(#505)へ移行し、再計算し
た誤差量ER′としきい値ERTHRを比較する。ER
′が小さい場合は、除外操作が効を奏したものとして、
ステップ(#514)へ分岐し、検出成功とする。
ップ(#506)へ移行し、別のサブルーチン「円の最
小2乗推定 再計算2」をコールする。
小2乗推定の計算に用いたエッジ点の内、エリアセンサ
の縦方向下部に在るエッジ点(全体の5分の1)を除外
して、再び最小2乗推定の計算を行うサブルーチンであ
り、そのフローチャートを図13(B)に示す。
様であるが、「再計算1」と違って縦方向下部のエッジ
点から除外してゆくようにするため、ステップ(#71
2)においてループ変数Lを(EDGCNT−1)から
ダウンカウントさせている。その他は「再計算1」と全
く同様であるため、説明を省略する。
の最小2乗推定 再計算2」を完了すると、ステップ
(#507)へ移行し、再計算した誤差量ER′としき
い値ERYHRを比較する。ER′が小さい場合は、除
外操作が有効であったものとして、ステップ(#514
)へ分岐し、検出成功と見なす。
ップ(#508)へ移行し、さらに別のサブルーチン「
円の最小2乗推定 再計算3」をコールする。
今度は最小2乗推定の計算に用いたエッジ点の内、エリ
アセンサの横方向左部に在るエッジ点(全体の5分の1
)を除外して、再び最小2乗推定の計算を行うサブルー
チンであり、そのフローチャートを図13(C)に示す
。
と、ステップ(#720)を経て、ステップ(#721
)にて、エッジ情報を記憶している配列変数EDGDT
(m、k)の並べ換えを行う。
k)にはエリアセンサの縦方向のエッジ点から順に格納
されているため、横方向に注目して処理を行うためには
、EDGDTに格納されているデータの並べ換えが必要
である。
向(X軸座標)の値が格納されているから、この値に対
して公知の「ソート操作」を実施すれば、EDGDTに
は横方向の左からの順となったエッジ情報が再格納が可
能である。
2)へ分岐し、後は「再計算1」と全く同様の処理を行
えば、エリアセンサの横方向左右のエッジ点を除外した
再計算ができる。
8)のサブルーチン「円の最小2乗推定 再計算3」
を完了すると、ステップ(#509)へ移行し、再計算
した誤差量ER′としきい値ERTHRを比較する。E
R′が小さい場合は、除外操作が有効であったものとし
て、ステップ(#514)へ分岐し、検出成功と見なす
。
ップ(#510)へ移行し、さらに別のサブルーチン「
円の最小2乗推定 再計算4」をコールする。
今度は最小2乗推定の計算に用いたエッジ点の内、エリ
アセンサの横方向右部に在るエッジ点(全体の5分の1
)を除外して、再び最小2乗推定の計算を行うサブルー
チンであり、そのフローチャートを図13(D)に示す
。
横方向の左から順のエッジ点が格納されているから、右
から順にエッジ点を除外しようとすれば、EDGDT(
m、k)を「再計算2」と同じように取り扱えば良い。 そこで、サブルーチン「再計算4」をコールされれば直
ちにステップ(#711)へ分岐して、「再計算2」と
同様の処理を行うようにしている。
の最小2乗推定 再計算4」を完了すると、ステップ
(#511)へ移行し、再計算した誤差量ER′としき
い値ERTHRを比較する。ER′が小さい場合は、除
外操作が有効であったものとして、ステップ(#514
)へ分岐し、検出成功と見なす。
ップ(#512)へ移行し、上述の操作が有効に働かな
かったものとして、ステップ(#512)へ移行し、検
出失敗とする。
)で瞳孔中心の検出が最終判断されると、ステップ(#
513)あるいは(#515)でサブルーチン「瞳孔中
心の検出」をリターンする。
一例を紹介しておく。
のエッジ点に基づいて瞳孔円を推定したものである。
出」が完了すると、ステップ(#013)へ移行し、サ
ブルーチン「視線の検出」をコールする。
したP像位置および瞳孔円の中心位置から、視線(注視
点)を検出するサブルーチンである。
(2)に従って、眼球光軸の回転角θを計算すれば良い
。
X軸)、縦方向(Y軸)の2次元で検出しているので、
公知例のように横方向のみではなく、縦方向の視線の方
向も横方向の検出と同様な考え方で、検出することがで
きる。
14)へ移行し、一連の処理を終了する。
ら制限される領域として、矩形の領域を用いているが、
これは矩形に限られるものではなく、瞳孔部を検出する
という意味からはむしろ円形の領域の方がより適してお
り、その場合にも本発明が有効であることは明らかであ
る。
例えば最小2乗法を用いて瞳孔用の推定計算を行うに先
だって、眼球照明用発光ダイオードの角膜反射像の水平
/垂直方向の位置座標を求め、その位置から制限される
座標内の観測点(瞳孔エッジ点)のみを瞳孔円の推定計
算に用いるようにすることによって、偽の観測点による
例えば最小2乗法の誤差を低減し、精度の高い視線検出
装置を提供することが可能となる。
オートフォーカス)カメラの概略図。
明するための原理図。
示す図。
ャート図。
込み動作を示すフローチャート図。
ト図。
図。
図。
瞳孔円を導出するに適切なポイントを選択するフローチ
ャート図。
れる瞳孔エッジのポイントを排除するためのフローチャ
ート図。
エッジポイントから算出した瞳孔円を示す図。
図。
外発光ダイオード 5c、5d 虹彩情報検出用の照明手段としての赤外
発光ダイオード 6 光電素子列(エリアセンサ) 21 角膜 22 眼球 23 虹彩 24 瞳孔 101 撮影レンズ 102 跳ね上げミラー 103 表示素子 104 ピント板 105 コンデンサーレンズ 106 ペンタタハプリズム
Claims (4)
- 【請求項1】 観察者の眼球を照明する照明手段と、
観察者の眼球像を受光し、2次元方向の光強度分布を検
知する受光手段と、前記受光手段から時系列に出力され
る光電変換信号を処理し、眼球像中の瞳孔部と虹彩部の
境界部分と、前記照明手段による角膜反射像とを抽出す
る処理手段と、前記処理手段の抽出した複数の境界部分
の位置情報から瞳孔部の形状を計算する計算手段と、計
算手段の結果に従って観察者の視線方向を検出する検出
手段と、を有する視線検出装置において、前記計算手段
は前記角膜反射像の位置から制限される領域内の境界部
分の情報から瞳孔部形状の計算を行うこと、を特徴とす
る視線検出装置。 - 【請求項2】 前記計算手段は前記処理手段の抽出し
た複数の境界部分の位置情報をもとに最小2乗法を用い
て瞳孔部の形状を計算すること、を特徴とする請求項1
の視線検出装置。 - 【請求項3】 前記計算手段は計算する瞳孔部の形状
を、円形あるいは楕円形として扱って計算することを特
徴とする請求項2の視線検出装置。 - 【請求項4】 観察者の眼球からの光を複数の光電変
換素子列で受光する受光手段、前記受光手段の光電変換
信号を時系列に出力処理する処理手段、前記光電変換信
号からプルキンエ像の位置情報を記憶する第1の記憶手
段、複数の光電変換素子の光電変換信号のうち瞳孔に関
する信号を出力する光電変換素子の複数の位置情報を記
憶する第2の記憶手段、前記第2の記憶手段の複数の位
置情報のうちから前記プルキンエ像を中心として制限さ
れた所定範囲の位置情報を抽出する抽出手段、前記抽出
手段により抽出された複数の位置情報から瞳孔情報を推
定計算する計算手段、前記計算手段の瞳孔情報と前記プ
ルキンエ像の位置情報から視線方向を検出する検出手段
、を具備することを特徴とする視線検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03121098A JP3143490B2 (ja) | 1991-05-27 | 1991-05-27 | 視線検出装置 |
US08/387,614 US5848175A (en) | 1991-05-27 | 1995-02-13 | View point detecting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03121098A JP3143490B2 (ja) | 1991-05-27 | 1991-05-27 | 視線検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH04347132A true JPH04347132A (ja) | 1992-12-02 |
JP3143490B2 JP3143490B2 (ja) | 2001-03-07 |
Family
ID=14802833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03121098A Expired - Fee Related JP3143490B2 (ja) | 1991-05-27 | 1991-05-27 | 視線検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3143490B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0534574A (ja) * | 1991-07-31 | 1993-02-12 | Victor Co Of Japan Ltd | 撮像装置 |
US6036316A (en) * | 1996-10-02 | 2000-03-14 | Canon Kabushiki Kaisha | Visual axis detecting device and apparatus including visual axis detecting device |
EP4278949A1 (en) | 2022-04-20 | 2023-11-22 | Canon Kabushiki Kaisha | Electronic apparatus, control method of electronic apparatus, program, and computer readable medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022131325A (ja) | 2021-02-26 | 2022-09-07 | キヤノン株式会社 | 視線検出装置、及びその制御方法 |
-
1991
- 1991-05-27 JP JP03121098A patent/JP3143490B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0534574A (ja) * | 1991-07-31 | 1993-02-12 | Victor Co Of Japan Ltd | 撮像装置 |
US6036316A (en) * | 1996-10-02 | 2000-03-14 | Canon Kabushiki Kaisha | Visual axis detecting device and apparatus including visual axis detecting device |
EP4278949A1 (en) | 2022-04-20 | 2023-11-22 | Canon Kabushiki Kaisha | Electronic apparatus, control method of electronic apparatus, program, and computer readable medium |
Also Published As
Publication number | Publication date |
---|---|
JP3143490B2 (ja) | 2001-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5280312A (en) | Visual axis detection apparatus | |
JP2803222B2 (ja) | 視線検出装置 | |
US5657109A (en) | Method of detecting eye component information for determining sight axis direction and sight axis direction detection apparatus | |
US5671447A (en) | Line-of-sight detecting device and apparatus including the same | |
US6035054A (en) | Visual axis detection apparatus and optical apparatus provided therewith | |
JP3219426B2 (ja) | 視線検出装置 | |
JPH04347132A (ja) | 視線検出装置 | |
JPH04347127A (ja) | 視線検出装置 | |
JPH04347128A (ja) | 視線検出装置 | |
JPH04347133A (ja) | 視線検出装置 | |
JP2861349B2 (ja) | 視線検出手段を有した光学装置 | |
JP3184553B2 (ja) | 視線検出装置 | |
US5848175A (en) | View point detecting device | |
JP3313803B2 (ja) | 視線検出装置 | |
JP3219425B2 (ja) | 視線検出装置 | |
US5706071A (en) | Line of sight detection apparatus and an equipment having the line of sight detection apparatus | |
JP3192503B2 (ja) | 視線検出装置 | |
JPH06138373A (ja) | 視線検出装置 | |
JP2950759B2 (ja) | 視線検出装置を有する光学機器 | |
JP3296578B2 (ja) | カメラ | |
JPH04138431A (ja) | 視線検出手段を有したカメラ | |
JPH06138370A (ja) | 視線検出装置 | |
JPH05313057A (ja) | 視線検出装置 | |
JPH04236935A (ja) | 視線検出装置 | |
JPH03293367A (ja) | 視線検出装置を有するカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20001205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081222 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081222 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |