JP3778182B2 - 奥行き知覚測定装置 - Google Patents
奥行き知覚測定装置 Download PDFInfo
- Publication number
- JP3778182B2 JP3778182B2 JP2003174350A JP2003174350A JP3778182B2 JP 3778182 B2 JP3778182 B2 JP 3778182B2 JP 2003174350 A JP2003174350 A JP 2003174350A JP 2003174350 A JP2003174350 A JP 2003174350A JP 3778182 B2 JP3778182 B2 JP 3778182B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- depth perception
- correlation
- observer
- eye movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，立体画像の観察者の奥行き知覚を客観的に定量評価するための奥行き知覚測定装置に関するものである。
【０００２】
【従来の技術】
従来，奥行き知覚量の評価は，主観評価法で行なわれるのが一般的である。例えば、立体表示された画像の奥行きを観察者が答えるといった測定を行う。この時，１項目当り数１０回の測定を行い，結果を平均してデータを得る。このような手法を心理物理学的手法と呼ぶが，主観的に観察者の奥行き知覚を計測する手法である。また，図１３に示すような構成で，観察者の視野の中での視点を計測し，左右の水平方向の眼の動きの差分（輻輳角）の変化量の平均値を求めることにより通常の２次元画像と立体画像を見た場合に平均値に差が出ることが報告されており，これを用いて観察者の奥行き知覚の評価が行える可能性があると述べている（参考資料：山田ほか”両眼眼球運動分析装置とこれを用いた輻輳角の測定”，１９８９年画像工学コンファレンス，５−５（１９８９））。
【０００３】
【発明が解決しようとする課題】
しかしながら、前者の様な主観評価法では、計測そのものに観察者の意図が混入する可能性がある。また，実時間で奥行き知覚を計測する事が難しいという欠点があった。また，後者の水平眼球運動の差分の変化量の平均値を求める方法では，左右の眼が反対方向に動く輻輳角の変化のみを取り扱っている。通常観察者の輻輳角は，常に，ある程度変化しており，通常この変化は小さく，輻輳角の変化は雑音に埋もれ，観察者の奥行き知覚の発生を正確に測定することは難しい。
【０００４】
本発明は上記課題を解決するもので、両眼眼球運動を測定することにより，観察者の奥行き知覚発生の程度を客観的に，かつ定量的に測定する奥行き知覚測定装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は上記目的を達成するため、両眼眼球運動信号から左右眼それぞれにおいて速度の速い急速眼球運動と瞬きによる妨害信号を除去するサッカード除去部を備え、相互相関関数の相関値・時間・相互相関関数における偏移により構成される３次元空間において、前記相関値が一定であることを示す平面と、左右の眼球運動の速度の相互相関関数の相関値・時間・相互相関関数における偏移により示される前記３次元空間における曲面により規定される領域の体積、または、この領域の時間・相互相関関数における偏移により構成される平面への２次元射影の面積を用いて観察者の奥行き知覚を測定構成である。
【０００６】
本発明は，前記した構成により，立体画像を観察している観察者の両眼の動きを測定し，これの相互相関・相関係数・分散等を評価することによって，両眼が同方向に回転する成分と反対方向に回転する成分の関係を定量的に解析することにより，観察者の奥行き知覚を定量評価する。
【０００７】
【発明の実施の形態】
以下、本発明の実施例について、図面を参照しながら説明する。図１は，本発明の第１の実施例における奥行き知覚測定装置の構成図を示すものである。
【０００８】
図１において，１は観察者，２は両眼眼球運動測定センサ，３は眼球運動信号処理回路，４は微分器，５はしきい処理部，６は微分器，７はサッカード除去部A，８はサッカード除去部B，９は観察者が見る被写体，１０は相互相関部，１１は解析部である。
【０００９】
以上のように構成された本実施例の奥行き知覚測定装置について，以下その動作を説明する。本実施例では，観察者１が被写体９を観賞する時に生じている奥行き知覚の強さを評価する手段について説明する。ここで被写体９は実物体を例にとったが，被写体９の代わりに立体画像を用意し，これを観賞する時の観察者の奥行き知覚の強さを測定することも可能である。
【００１０】
まず，観察者１の両眼眼球運動が両眼眼球運動測定センサ２によって計測される。眼球運動測定方法は過去多くの手法が提案されているが，どれを用いてもよい。例えば，図２に示したような強膜反射法（黒目と白目の反射率の違いを利用した方法）がある。
【００１１】
図２において，(a)は垂直眼球運動，(b)は水平眼球運動の測定方法を示している。垂直眼球運動は赤外LED２４によって黒目の下辺りを照射し，その反射光を赤外フォト・ダイオード（以後ＰＤと略記する）２５で検出することによって測定する。水平眼球運動は赤外LED２８の反射光を左右の黒目と白目の境界あたりの反射光をＰＤ２６，２７で検出し，これらの差分を取ることによって測定できる。次に，眼球運動信号処理回路３によってＰＤの電気信号を左右の眼球の水平方向の回転角（左・右水平眼球運動）を得る。
【００１２】
ここで，眼球運動の種類と性質について説明する。図３(a)(b)は，(c)の様に観察者１が点Ａから点Ｂに奥行き方向に視線を移動した時の左右眼の水平回転角の時間変化を示している（正の方向が右回転を表す）。視点移動は点ＡＢ間を直線的に移動するのではなく，左右の眼球が反対方向に回転するゆっくりとした輻輳開散運動と，左右の眼球が同方向に同じ大きさ回転する速い眼球運動（サッカード，※印）を合成することにより実現される。この時，奥行き方向への視線移動は輻輳開散運動によって実現され，上下左右方向への動きはサッカードによって実現される。
【００１３】
両眼が同方向に回転する状態は，動く被写体を追従して見る場合にも発生するが，この追従眼球運動も輻輳開散運動と同じように遅い眼球運動である。これらのうち，輻輳開散運動は奥行き方向の視線移動である性質上，この眼球運動が発生すると観察者は奥行き知覚が生じていると考えられる。左右眼が同方向にのみ主に動く時（これを共同運動と定義する）には，奥行き知覚があまり生じていないと考えられる。本実施例では，この輻輳開散運動と共同運動の発生頻度と大きさを比較評価し，観察者の奥行き知覚の強さを測定する。
【００１４】
次に，眼球運動信号処理回路３の出力である眼球運動信号を時間方向の低域ろ波器１２，１３によって時間的にゆっくりした成分のみを抽出する。これの処理により，奥行き知覚に関与するゆっくりとした輻輳開散運動の動き以外の眼球運動成分やノイズを低減し，Ｓ／Ｎの高い信号処理を行うことができる。この後，サッカード成分をサッカード除去部７，８により左右眼それぞれについて除去する。除去の方法は，まず微分器４により眼球運動の時間変化を計算し，しきい処理部５により眼球運動成分が発生している時間を検出し，この部分の速度を制限する（しきい値は±αで，それよりも絶対値の大きい信号を制限するか，または０等の小さな値に入れ換える）。
【００１５】
その後，微分器６を通すことにより，サッカード成分を除去した眼球回転加速度が得られる。この時，微分器６を無しにすれば，サッカード成分を除去した眼球運動速度，微分器６を積分器にすればサッカード成分を除去した眼球回転角が得られる。この３種類の信号の内（回転角，回転角の速度，回転角の加速度）本実施例では，どの信号を用いても同様な結果が得られる。
【００１６】
図４はサッカード除去部７，８の動作を説明したグラフであり，（ａ）は眼球回転角の時間変化，（ｂ）はこれの時間微分と，しきい値αの関係，（ｃ）はしきい処理後の時間微分波形である。微分値をしきい値αによりクリップすることによりサッカード成分（※）が除去された時間微分波形（ｃ）が得られている。また，図４(a)において，観察者が瞬きした場合に，図２で示した眼球運動検出方法では眼球表面に赤外線が照射できないためにインパルス的な妨害波形が発生するが，この様な妨害成分についてもサッカード除去部の動作によりその影響を低減することができる。
【００１７】
このようにして得られたサッカード成分を除去した左右眼の回転角の速度成分の相互相関を相互相関部１０により計算する。計算式は（数１）で示される。
【００１８】
【数１】
【００１９】
相互相関値は，負の場合に両眼が反対方向に運動したこと即ち輻輳開散運動が発生したことを示し，その絶対値が大きいほど輻輳開散運動の大きさが大きいことを表す。反対に相互相関値が正の場合には，両眼が同方向に動いたことを示す。つまり，相互相関値が負の値を取る場合，正の値を取る場合に比べて観察者は奥行き知覚を強く生じていることを示す。
【００２０】
計算例を図５に示す。図５は，左右の偏移Δｔと，時間ｔと，相互相関値ψの関係を示した図であり，観察者は0.5〜2.5秒の時刻において，輻輳開散運動し奥行き知覚が発生していることが示される。この計算結果から，解析部１１は図５のＡの部分の体積（相関関数の値がβ（≦０）以下の部分）を計算し，出力する。または，Ａの部分のｔ−Δｔ平面への投影部分Ｂの面積を計算してもよい。以上のようにして得られた解析部１１の出力の大きさを評価することにより，観察者の奥行き知覚の発生度合いを測定できる。
【００２１】
以上の様に，本実施例によれば，観察者の眼球運動を測定することにより，観察者の奥行き知覚発生量を客観的に評価出来る。更に，相互相関部１０，解析部１１の計算速度が速ければ，リアルタイムで観察者の奥行き知覚発生量を測定できる。
【００２２】
図６は，本発明の第２の実施例を示す奥行き知覚測定装置の構成図である。図６において，１は観察者，２は両眼眼球運動測定センサ，３は眼球運動信号処理回路，７はサッカード除去部A，８はサッカード除去部B，９は観察者が見る被写体，１２，１３は低域ろ波回路であり，これらは第１の実施例と同じ物である。第１の実施例の構成と異なるのは，ウインド処理部１４，相関係数計算部１５が相互相関部１０，解析部１１の代わりに用いられている点である。以上のように構成された第２の実施例の奥行き知覚測定装置について，以下その動作を説明する。
【００２３】
まず，第１の実施例と同様に，観察者１のサッカードや瞬きによる妨害信号を除去した両眼眼球運動（眼球回転角または回転角速度または回転角加速度）が眼球運動信号処理回路３，低域ろ波回路１２，１３，サッカード除去部７，８により測定される。この信号を，ウインド処理部１４・相関係数計算部１５により解析する。図７は相関係数を計算する過程を示したものである。サッカード除去部７，８の出力が，左右の眼の水平回転角度である場合について説明する。ウインド処理部１４によりある時間幅Ｗの眼球運動データＥL（ｔi），ＥR（ｔi），i＝−ｎ〜ｎを抽出し，相関係数計算部１５によりＥL（ｔi），ＥR（ｔi）の相関係数を計算する。
【００２４】
そしてこの時の相関係数を時間ｔ＝ｔcの時刻の両眼の相関係数とする。相関係数の計算式は次式で与えられる。
【００２５】
【数２】
【００２６】
そして，ｔcの時刻を時間軸方向に移動して相関係数を計算することによって，それぞれの時刻における両眼の眼球運動の相関係数が算出され，これの時間変化が測定される。ここで相関係数は，±１の間の値を持ち，負の値をとる場合に両眼が輻輳開散運動をしたことを示し，−１に近い程大きな奥行き知覚が生じていることを示す。また，１に近い程あまり大きな奥行き知覚が生じていないことを示す。図７（ｃ）においては，γの部分で観察者に奥行き知覚が発生していることになる。
【００２７】
以上のようにして，観察者の両眼眼球運動を測定し，これの相関係数の時間変化を評価することにより客観的・定量的に観察者の奥行き知覚発生量が測定できる。
【００２８】
図８は，本発明の第３の実施例を示す奥行き知覚測定装置の構成図である。図８において，１は観察者，２は両眼眼球運動測定センサ，３は眼球運動信号処理回路，７はサッカード除去部A，８はサッカード除去部B，９は観察者が見る被写体，１２，１３は低域ろ波回路であり，これらは本発明の第の実施例と同じ物である。第１の実施例の構成と異なるのは，ウインド処理部１４と２次元解析部１６が相互相関部１０，解析部１１の代わりに用いられている点である。以上の様に構成された第３の実施例の奥行き知覚測定装置について，以下その動作を説明する。
【００２９】
まず，第１の実施例と同様に，観察者１のサッカードを除去した両眼眼球運動が眼球運動信号処理回路３，低域ろ波回路１２，１３，サッカード除去部７，８により測定される。この信号を，２次元解析部１６で解析し，観察者の奥行き知覚を評価する。まず，ウインド処理については，本発明における第２の実施例と同様であり，図７(a)(b)に示した動作と同じ動作をする。即ち，ウインド処理部１４によりある時間幅Ｗの眼球運動データＥL（ｔi），ＥR（ｔi），i＝−ｎ〜ｎを抽出し，そのデータについて２次元解析部１６がデータ処理をする。そして，ウインドの中心時刻ｔcを変えていって同じ演算を繰り返し，奥行き知覚発生量の時間変化を算出する。図９は，２次元解析部１６の動作説明図である。
【００３０】
２次元解析部１６の動作は，基本的には相関係数計算部１５の計算を簡略化した計算手段の動作であり，ウインド内の眼球運動データＥL（ｔi），ＥR（ｔi），i＝−ｎ〜ｎをＥL，ＥR座標系にプロットし，δ領域内にある点の数Ｎδとε領域内にある点の数Ｎεの比Ｎε／Ｎδを計算する。ただし，領域δと領域εの重なる領域の点はカウントしなくてもよい。この値が大きいほど，ウインド時間内で強く奥行き知覚が発生したことを示している。ここで，図９においてa,b,c,dの座標は，測定データの分布がその範囲内に入るように，かつ２つの領域（δ・ε）の重なる部分以外に測定データが多く分布するように設定される。
【００３１】
以上の様に計算することにより，両眼眼球運動を測定し２次元解析部１６で測定データの数をカウントし比を求めるだけで相関係数を求めることなく，観察者の奥行き知覚を定量的に，客観的に測定することができる。
【００３２】
図１０は，本発明の第４の実施例を示す奥行き知覚測定装置の構成図である。図１０において，１は観察者，２は両眼眼球運動測定センサ，３は眼球運動信号処理回路，９は観察者が見る被写体，１２，１３は低域ろ波回路であり，これらは第１の実施例と同じ物である。第１の実施例の構成と異なるのは，減算回路１７，微分器４，絶対値回路１８，積分器１９が相互相関部１０，解析部１１の代わりに用いられている点，サッカード除去部が無いことである。以上の様に構成された第４の実施例の奥行き知覚測定装置について，以下その動作を説明する。
【００３３】
まず，眼球運動信号処理回路３，低域ろ波回路１２，１３により観察者１の両眼眼球運動が測定される。次に，左右の眼球運動信号の差分を減算回路１７により求め，微分器４で時間微分を求める。そして，これの絶対値を絶対値回路１８で計算する。この結果をある一定の時間積分器１９で積分し，測定結果を得る。この演算は測定時間中の輻輳開散運動の大きさと発生頻度に比例する。即ち，観察者１が被写体を観賞している時（測定時間中），奥行き知覚が頻繁に，大きく発生したかどうかを示す値が出力される。このようにして，両眼眼球運動を測定しその左右の眼の動きの差分の変化量を測定することにより，観察者の奥行き知覚を定量的に，客観的に測定することができる。
【００３４】
図１１は，本発明の第５の実施例を示す奥行き知覚測定装置の構成図である。図１１において，１は観察者，２は両眼眼球運動測定センサ，３は眼球運動信号処理回路，７はサッカード除去部A，８はサッカード除去部B，９は観察者が見る被写体，１２，１３は低域ろ波回路であり，これらは本発明の第１の実施例と同じ物である。第１の実施例の構成と異なるのは，加算回路２０，減算回路２１，分散計算部２２，２３，分散方向選択性計算部２４が相互相関部１０，解析部１１の代わりに用いられている点である。以上の様に構成された第５の実施例の奥行き知覚測定装置について，以下その動作を説明する。
【００３５】
まず，第１の実施例と同様に，眼球運動信号処理回路３，低域ろ波回路１２，１３，サッカード除去部７，８により観察者１のサッカードと瞬きによる妨害信号を除去した水平方向両眼眼球運動が測定される。次に，この信号の左右の差分と加算を減算回路２１，加算回路２０により算出する。加算成分は両眼が同じ方向に回転する成分，差分成分は両眼が反対方向に回転する輻輳開散運動成分を表している。そして，ある一定時間内の測定データに対する，それぞれの成分の分散（加算分散，減算分散）を分散計算部２２，２３で計算する。分散方向選択性計算部２４は加算分散と減算分散の比（減算分散／加算分散）を計算する。この値が大きい程，観察者の輻輳開散運動の発生頻度と大きさが大きく，即ち観察者の奥行き知覚が大きく，頻繁に起こっていることを示す。以上の様に，両眼眼球運動を測定しその左右の眼の動きの差分と加算成分の分散の比を測定することにより，観察者の奥行き知覚を定量的に，客観的に測定することができる。
【００３６】
なお，本発明の第５の実施例において，減算処理によりサッカード成分は自動的に除去されるので，減算器２１の入力はサッカード除去部７，８の入力側に接続しても良い。
【００３７】
また，本発明の第５の実施例において，減算器２１の出力の大きさ（左右の眼球運動の差分即ち輻輳開散運動の分散）のみを測定しても，観察者の奥行き知覚発生の大きさ，頻度を評価することができる。この場合，図１２に示すように，低域ろ波回路１２，１３の出力をそのまま時間微分し，差分処理，分散計算を行うだけで結果を出力できる（図３で説明したのサッカード成分は差分を計算することにより相殺されるため，サッカード除去部７，８は必要ない）。なお，この場合は眼球運動の速度を用いたが，微分器をなしにすれば眼球回転角度の分散，微分器を縦続に２段接続すれば眼球回転角度の加速度の分散を計算することにより観察者の奥行き知覚を測定することも出来る。
【００３８】
なお，本発明の第２〜５の実施例において，両眼の回転角を用いる方法のみならず，本発明の第１の実施例と同様に両眼の回転速度，加速度を用いて相関係数，２次元解析部１６の計算，差分絶対値の計算（図１０），分散の計算（図１１）を行い，その結果を用いて観察者の奥行き知覚の発生程度を評価しても同様の効果が得られる。
【００３９】
また，本発明の第３〜５の実施例において，眼球が反対方向に運動する成分と同方向に運動する成分の比を用いて評価したが，２つの成分の差分や重み付け平均値を用いても，同様の効果が得られる。
【００４０】
【発明の効果】
以上の様に，本発明によれば，両眼眼球運動を測定し，両眼が反対方向に回転する輻輳開散運動成分の大きさ・発生頻度と，同方向に回転する共同運動の大きさ・発生頻度の比を評価することにより，観察者の奥行き知覚の発生程度（大きさ，頻度）を客観的に，定量的に測定することができる。
【図面の簡単な説明】
【図１】本発明における第１の実施例の奥行き知覚測定装置の構成図
【図２】（ａ）は強膜反射方式の垂直眼球運動検出方法を示す図
（ｂ）は強膜反射方式の水平眼球運動検出方法を示す図
【図３】（ａ）は奥行き方向の視線移動時の左眼の水平回転角の時間変化を示す特性図
（ｂ）は奥行き方向の視線移動時の右眼の水平回転角の時間変化を示す特性図
（ｃ）は両眼眼球運動の種類と奥行き方向の視線移動の関係を示す図
【図４】（ａ）は眼球回転角の時間変化を示す図
（ｂ）は同時間微分としきい値αの関係を示す特性図
（ｃ）はしきい処理後の時間微分波形図
【図５】本発明における両眼の相互相関関数の測定例を示す図
【図６】本発明における第２の実施例の奥行き知覚測定装置の構成図
【図７】（ａ）は左右眼の水平回転角の時間変化を示す特性図
（ｂ）はウインド処理波形を示す特性図
（ｃ）はウインド処理と相関係数計算結果例を示す図
【図８】本発明における第３の実施例の奥行き知覚測定装置の構成図
【図９】第３の実施例の奥行き知覚測定装置の２次元解析部の動作を示す図
【図１０】本発明における第４の実施例の奥行き知覚測定装置の構成図
【図１１】本発明における第５の実施例の奥行き知覚測定装置の構成図
【図１２】本発明における第５の実施例の奥行き知覚測定装置を簡略化した場合の構成図
【図１３】従来の奥行き知覚測定装置の構成図
【符号の説明】
１ 観察者
２ 眼球運動測定センサ
３ 眼球運動信号処理回路
４ 微分器
５ しきい処理部
６ 微分器
７ サッカード除去部A
８ サッカード除去部B
９ 被写体
１０ 相互相関部
１１ 解析部
１２ 低域ろ波回路
１３ 低域ろ波回路
１４ ウインド処理部
１５ 相関係数計算部
１６ ２次元解析部
１７ 減算器
１８ 絶対値回路
１９ 積分器
２０ 加算器
２１ 減算器
２２ 分散計算部
２３ 分散計算部
２４ 赤外LED
２５ 赤外フォトダイオード
２６ 赤外フォトダイオード
２７ 赤外フォトダイオード
２８ 赤外LED
２９ 視野カメラ
３０ 眼球運動検出部
３１ データ処理部
３２ 画像処理部
【発明の属する技術分野】
本発明は，立体画像の観察者の奥行き知覚を客観的に定量評価するための奥行き知覚測定装置に関するものである。
【０００２】
【従来の技術】
従来，奥行き知覚量の評価は，主観評価法で行なわれるのが一般的である。例えば、立体表示された画像の奥行きを観察者が答えるといった測定を行う。この時，１項目当り数１０回の測定を行い，結果を平均してデータを得る。このような手法を心理物理学的手法と呼ぶが，主観的に観察者の奥行き知覚を計測する手法である。また，図１３に示すような構成で，観察者の視野の中での視点を計測し，左右の水平方向の眼の動きの差分（輻輳角）の変化量の平均値を求めることにより通常の２次元画像と立体画像を見た場合に平均値に差が出ることが報告されており，これを用いて観察者の奥行き知覚の評価が行える可能性があると述べている（参考資料：山田ほか”両眼眼球運動分析装置とこれを用いた輻輳角の測定”，１９８９年画像工学コンファレンス，５−５（１９８９））。
【０００３】
【発明が解決しようとする課題】
しかしながら、前者の様な主観評価法では、計測そのものに観察者の意図が混入する可能性がある。また，実時間で奥行き知覚を計測する事が難しいという欠点があった。また，後者の水平眼球運動の差分の変化量の平均値を求める方法では，左右の眼が反対方向に動く輻輳角の変化のみを取り扱っている。通常観察者の輻輳角は，常に，ある程度変化しており，通常この変化は小さく，輻輳角の変化は雑音に埋もれ，観察者の奥行き知覚の発生を正確に測定することは難しい。
【０００４】
本発明は上記課題を解決するもので、両眼眼球運動を測定することにより，観察者の奥行き知覚発生の程度を客観的に，かつ定量的に測定する奥行き知覚測定装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は上記目的を達成するため、両眼眼球運動信号から左右眼それぞれにおいて速度の速い急速眼球運動と瞬きによる妨害信号を除去するサッカード除去部を備え、相互相関関数の相関値・時間・相互相関関数における偏移により構成される３次元空間において、前記相関値が一定であることを示す平面と、左右の眼球運動の速度の相互相関関数の相関値・時間・相互相関関数における偏移により示される前記３次元空間における曲面により規定される領域の体積、または、この領域の時間・相互相関関数における偏移により構成される平面への２次元射影の面積を用いて観察者の奥行き知覚を測定構成である。
【０００６】
本発明は，前記した構成により，立体画像を観察している観察者の両眼の動きを測定し，これの相互相関・相関係数・分散等を評価することによって，両眼が同方向に回転する成分と反対方向に回転する成分の関係を定量的に解析することにより，観察者の奥行き知覚を定量評価する。
【０００７】
【発明の実施の形態】
以下、本発明の実施例について、図面を参照しながら説明する。図１は，本発明の第１の実施例における奥行き知覚測定装置の構成図を示すものである。
【０００８】
図１において，１は観察者，２は両眼眼球運動測定センサ，３は眼球運動信号処理回路，４は微分器，５はしきい処理部，６は微分器，７はサッカード除去部A，８はサッカード除去部B，９は観察者が見る被写体，１０は相互相関部，１１は解析部である。
【０００９】
以上のように構成された本実施例の奥行き知覚測定装置について，以下その動作を説明する。本実施例では，観察者１が被写体９を観賞する時に生じている奥行き知覚の強さを評価する手段について説明する。ここで被写体９は実物体を例にとったが，被写体９の代わりに立体画像を用意し，これを観賞する時の観察者の奥行き知覚の強さを測定することも可能である。
【００１０】
まず，観察者１の両眼眼球運動が両眼眼球運動測定センサ２によって計測される。眼球運動測定方法は過去多くの手法が提案されているが，どれを用いてもよい。例えば，図２に示したような強膜反射法（黒目と白目の反射率の違いを利用した方法）がある。
【００１１】
図２において，(a)は垂直眼球運動，(b)は水平眼球運動の測定方法を示している。垂直眼球運動は赤外LED２４によって黒目の下辺りを照射し，その反射光を赤外フォト・ダイオード（以後ＰＤと略記する）２５で検出することによって測定する。水平眼球運動は赤外LED２８の反射光を左右の黒目と白目の境界あたりの反射光をＰＤ２６，２７で検出し，これらの差分を取ることによって測定できる。次に，眼球運動信号処理回路３によってＰＤの電気信号を左右の眼球の水平方向の回転角（左・右水平眼球運動）を得る。
【００１２】
ここで，眼球運動の種類と性質について説明する。図３(a)(b)は，(c)の様に観察者１が点Ａから点Ｂに奥行き方向に視線を移動した時の左右眼の水平回転角の時間変化を示している（正の方向が右回転を表す）。視点移動は点ＡＢ間を直線的に移動するのではなく，左右の眼球が反対方向に回転するゆっくりとした輻輳開散運動と，左右の眼球が同方向に同じ大きさ回転する速い眼球運動（サッカード，※印）を合成することにより実現される。この時，奥行き方向への視線移動は輻輳開散運動によって実現され，上下左右方向への動きはサッカードによって実現される。
【００１３】
両眼が同方向に回転する状態は，動く被写体を追従して見る場合にも発生するが，この追従眼球運動も輻輳開散運動と同じように遅い眼球運動である。これらのうち，輻輳開散運動は奥行き方向の視線移動である性質上，この眼球運動が発生すると観察者は奥行き知覚が生じていると考えられる。左右眼が同方向にのみ主に動く時（これを共同運動と定義する）には，奥行き知覚があまり生じていないと考えられる。本実施例では，この輻輳開散運動と共同運動の発生頻度と大きさを比較評価し，観察者の奥行き知覚の強さを測定する。
【００１４】
次に，眼球運動信号処理回路３の出力である眼球運動信号を時間方向の低域ろ波器１２，１３によって時間的にゆっくりした成分のみを抽出する。これの処理により，奥行き知覚に関与するゆっくりとした輻輳開散運動の動き以外の眼球運動成分やノイズを低減し，Ｓ／Ｎの高い信号処理を行うことができる。この後，サッカード成分をサッカード除去部７，８により左右眼それぞれについて除去する。除去の方法は，まず微分器４により眼球運動の時間変化を計算し，しきい処理部５により眼球運動成分が発生している時間を検出し，この部分の速度を制限する（しきい値は±αで，それよりも絶対値の大きい信号を制限するか，または０等の小さな値に入れ換える）。
【００１５】
その後，微分器６を通すことにより，サッカード成分を除去した眼球回転加速度が得られる。この時，微分器６を無しにすれば，サッカード成分を除去した眼球運動速度，微分器６を積分器にすればサッカード成分を除去した眼球回転角が得られる。この３種類の信号の内（回転角，回転角の速度，回転角の加速度）本実施例では，どの信号を用いても同様な結果が得られる。
【００１６】
図４はサッカード除去部７，８の動作を説明したグラフであり，（ａ）は眼球回転角の時間変化，（ｂ）はこれの時間微分と，しきい値αの関係，（ｃ）はしきい処理後の時間微分波形である。微分値をしきい値αによりクリップすることによりサッカード成分（※）が除去された時間微分波形（ｃ）が得られている。また，図４(a)において，観察者が瞬きした場合に，図２で示した眼球運動検出方法では眼球表面に赤外線が照射できないためにインパルス的な妨害波形が発生するが，この様な妨害成分についてもサッカード除去部の動作によりその影響を低減することができる。
【００１７】
このようにして得られたサッカード成分を除去した左右眼の回転角の速度成分の相互相関を相互相関部１０により計算する。計算式は（数１）で示される。
【００１８】
【数１】
相互相関値は，負の場合に両眼が反対方向に運動したこと即ち輻輳開散運動が発生したことを示し，その絶対値が大きいほど輻輳開散運動の大きさが大きいことを表す。反対に相互相関値が正の場合には，両眼が同方向に動いたことを示す。つまり，相互相関値が負の値を取る場合，正の値を取る場合に比べて観察者は奥行き知覚を強く生じていることを示す。
【００２０】
計算例を図５に示す。図５は，左右の偏移Δｔと，時間ｔと，相互相関値ψの関係を示した図であり，観察者は0.5〜2.5秒の時刻において，輻輳開散運動し奥行き知覚が発生していることが示される。この計算結果から，解析部１１は図５のＡの部分の体積（相関関数の値がβ（≦０）以下の部分）を計算し，出力する。または，Ａの部分のｔ−Δｔ平面への投影部分Ｂの面積を計算してもよい。以上のようにして得られた解析部１１の出力の大きさを評価することにより，観察者の奥行き知覚の発生度合いを測定できる。
【００２１】
以上の様に，本実施例によれば，観察者の眼球運動を測定することにより，観察者の奥行き知覚発生量を客観的に評価出来る。更に，相互相関部１０，解析部１１の計算速度が速ければ，リアルタイムで観察者の奥行き知覚発生量を測定できる。
【００２２】
図６は，本発明の第２の実施例を示す奥行き知覚測定装置の構成図である。図６において，１は観察者，２は両眼眼球運動測定センサ，３は眼球運動信号処理回路，７はサッカード除去部A，８はサッカード除去部B，９は観察者が見る被写体，１２，１３は低域ろ波回路であり，これらは第１の実施例と同じ物である。第１の実施例の構成と異なるのは，ウインド処理部１４，相関係数計算部１５が相互相関部１０，解析部１１の代わりに用いられている点である。以上のように構成された第２の実施例の奥行き知覚測定装置について，以下その動作を説明する。
【００２３】
まず，第１の実施例と同様に，観察者１のサッカードや瞬きによる妨害信号を除去した両眼眼球運動（眼球回転角または回転角速度または回転角加速度）が眼球運動信号処理回路３，低域ろ波回路１２，１３，サッカード除去部７，８により測定される。この信号を，ウインド処理部１４・相関係数計算部１５により解析する。図７は相関係数を計算する過程を示したものである。サッカード除去部７，８の出力が，左右の眼の水平回転角度である場合について説明する。ウインド処理部１４によりある時間幅Ｗの眼球運動データＥL（ｔi），ＥR（ｔi），i＝−ｎ〜ｎを抽出し，相関係数計算部１５によりＥL（ｔi），ＥR（ｔi）の相関係数を計算する。
【００２４】
そしてこの時の相関係数を時間ｔ＝ｔcの時刻の両眼の相関係数とする。相関係数の計算式は次式で与えられる。
【００２５】
【数２】
そして，ｔcの時刻を時間軸方向に移動して相関係数を計算することによって，それぞれの時刻における両眼の眼球運動の相関係数が算出され，これの時間変化が測定される。ここで相関係数は，±１の間の値を持ち，負の値をとる場合に両眼が輻輳開散運動をしたことを示し，−１に近い程大きな奥行き知覚が生じていることを示す。また，１に近い程あまり大きな奥行き知覚が生じていないことを示す。図７（ｃ）においては，γの部分で観察者に奥行き知覚が発生していることになる。
【００２７】
以上のようにして，観察者の両眼眼球運動を測定し，これの相関係数の時間変化を評価することにより客観的・定量的に観察者の奥行き知覚発生量が測定できる。
【００２８】
図８は，本発明の第３の実施例を示す奥行き知覚測定装置の構成図である。図８において，１は観察者，２は両眼眼球運動測定センサ，３は眼球運動信号処理回路，７はサッカード除去部A，８はサッカード除去部B，９は観察者が見る被写体，１２，１３は低域ろ波回路であり，これらは本発明の第の実施例と同じ物である。第１の実施例の構成と異なるのは，ウインド処理部１４と２次元解析部１６が相互相関部１０，解析部１１の代わりに用いられている点である。以上の様に構成された第３の実施例の奥行き知覚測定装置について，以下その動作を説明する。
【００２９】
まず，第１の実施例と同様に，観察者１のサッカードを除去した両眼眼球運動が眼球運動信号処理回路３，低域ろ波回路１２，１３，サッカード除去部７，８により測定される。この信号を，２次元解析部１６で解析し，観察者の奥行き知覚を評価する。まず，ウインド処理については，本発明における第２の実施例と同様であり，図７(a)(b)に示した動作と同じ動作をする。即ち，ウインド処理部１４によりある時間幅Ｗの眼球運動データＥL（ｔi），ＥR（ｔi），i＝−ｎ〜ｎを抽出し，そのデータについて２次元解析部１６がデータ処理をする。そして，ウインドの中心時刻ｔcを変えていって同じ演算を繰り返し，奥行き知覚発生量の時間変化を算出する。図９は，２次元解析部１６の動作説明図である。
【００３０】
２次元解析部１６の動作は，基本的には相関係数計算部１５の計算を簡略化した計算手段の動作であり，ウインド内の眼球運動データＥL（ｔi），ＥR（ｔi），i＝−ｎ〜ｎをＥL，ＥR座標系にプロットし，δ領域内にある点の数Ｎδとε領域内にある点の数Ｎεの比Ｎε／Ｎδを計算する。ただし，領域δと領域εの重なる領域の点はカウントしなくてもよい。この値が大きいほど，ウインド時間内で強く奥行き知覚が発生したことを示している。ここで，図９においてa,b,c,dの座標は，測定データの分布がその範囲内に入るように，かつ２つの領域（δ・ε）の重なる部分以外に測定データが多く分布するように設定される。
【００３１】
以上の様に計算することにより，両眼眼球運動を測定し２次元解析部１６で測定データの数をカウントし比を求めるだけで相関係数を求めることなく，観察者の奥行き知覚を定量的に，客観的に測定することができる。
【００３２】
図１０は，本発明の第４の実施例を示す奥行き知覚測定装置の構成図である。図１０において，１は観察者，２は両眼眼球運動測定センサ，３は眼球運動信号処理回路，９は観察者が見る被写体，１２，１３は低域ろ波回路であり，これらは第１の実施例と同じ物である。第１の実施例の構成と異なるのは，減算回路１７，微分器４，絶対値回路１８，積分器１９が相互相関部１０，解析部１１の代わりに用いられている点，サッカード除去部が無いことである。以上の様に構成された第４の実施例の奥行き知覚測定装置について，以下その動作を説明する。
【００３３】
まず，眼球運動信号処理回路３，低域ろ波回路１２，１３により観察者１の両眼眼球運動が測定される。次に，左右の眼球運動信号の差分を減算回路１７により求め，微分器４で時間微分を求める。そして，これの絶対値を絶対値回路１８で計算する。この結果をある一定の時間積分器１９で積分し，測定結果を得る。この演算は測定時間中の輻輳開散運動の大きさと発生頻度に比例する。即ち，観察者１が被写体を観賞している時（測定時間中），奥行き知覚が頻繁に，大きく発生したかどうかを示す値が出力される。このようにして，両眼眼球運動を測定しその左右の眼の動きの差分の変化量を測定することにより，観察者の奥行き知覚を定量的に，客観的に測定することができる。
【００３４】
図１１は，本発明の第５の実施例を示す奥行き知覚測定装置の構成図である。図１１において，１は観察者，２は両眼眼球運動測定センサ，３は眼球運動信号処理回路，７はサッカード除去部A，８はサッカード除去部B，９は観察者が見る被写体，１２，１３は低域ろ波回路であり，これらは本発明の第１の実施例と同じ物である。第１の実施例の構成と異なるのは，加算回路２０，減算回路２１，分散計算部２２，２３，分散方向選択性計算部２４が相互相関部１０，解析部１１の代わりに用いられている点である。以上の様に構成された第５の実施例の奥行き知覚測定装置について，以下その動作を説明する。
【００３５】
まず，第１の実施例と同様に，眼球運動信号処理回路３，低域ろ波回路１２，１３，サッカード除去部７，８により観察者１のサッカードと瞬きによる妨害信号を除去した水平方向両眼眼球運動が測定される。次に，この信号の左右の差分と加算を減算回路２１，加算回路２０により算出する。加算成分は両眼が同じ方向に回転する成分，差分成分は両眼が反対方向に回転する輻輳開散運動成分を表している。そして，ある一定時間内の測定データに対する，それぞれの成分の分散（加算分散，減算分散）を分散計算部２２，２３で計算する。分散方向選択性計算部２４は加算分散と減算分散の比（減算分散／加算分散）を計算する。この値が大きい程，観察者の輻輳開散運動の発生頻度と大きさが大きく，即ち観察者の奥行き知覚が大きく，頻繁に起こっていることを示す。以上の様に，両眼眼球運動を測定しその左右の眼の動きの差分と加算成分の分散の比を測定することにより，観察者の奥行き知覚を定量的に，客観的に測定することができる。
【００３６】
なお，本発明の第５の実施例において，減算処理によりサッカード成分は自動的に除去されるので，減算器２１の入力はサッカード除去部７，８の入力側に接続しても良い。
【００３７】
また，本発明の第５の実施例において，減算器２１の出力の大きさ（左右の眼球運動の差分即ち輻輳開散運動の分散）のみを測定しても，観察者の奥行き知覚発生の大きさ，頻度を評価することができる。この場合，図１２に示すように，低域ろ波回路１２，１３の出力をそのまま時間微分し，差分処理，分散計算を行うだけで結果を出力できる（図３で説明したのサッカード成分は差分を計算することにより相殺されるため，サッカード除去部７，８は必要ない）。なお，この場合は眼球運動の速度を用いたが，微分器をなしにすれば眼球回転角度の分散，微分器を縦続に２段接続すれば眼球回転角度の加速度の分散を計算することにより観察者の奥行き知覚を測定することも出来る。
【００３８】
なお，本発明の第２〜５の実施例において，両眼の回転角を用いる方法のみならず，本発明の第１の実施例と同様に両眼の回転速度，加速度を用いて相関係数，２次元解析部１６の計算，差分絶対値の計算（図１０），分散の計算（図１１）を行い，その結果を用いて観察者の奥行き知覚の発生程度を評価しても同様の効果が得られる。
【００３９】
また，本発明の第３〜５の実施例において，眼球が反対方向に運動する成分と同方向に運動する成分の比を用いて評価したが，２つの成分の差分や重み付け平均値を用いても，同様の効果が得られる。
【００４０】
【発明の効果】
以上の様に，本発明によれば，両眼眼球運動を測定し，両眼が反対方向に回転する輻輳開散運動成分の大きさ・発生頻度と，同方向に回転する共同運動の大きさ・発生頻度の比を評価することにより，観察者の奥行き知覚の発生程度（大きさ，頻度）を客観的に，定量的に測定することができる。
【図面の簡単な説明】
【図１】本発明における第１の実施例の奥行き知覚測定装置の構成図
【図２】（ａ）は強膜反射方式の垂直眼球運動検出方法を示す図
（ｂ）は強膜反射方式の水平眼球運動検出方法を示す図
【図３】（ａ）は奥行き方向の視線移動時の左眼の水平回転角の時間変化を示す特性図
（ｂ）は奥行き方向の視線移動時の右眼の水平回転角の時間変化を示す特性図
（ｃ）は両眼眼球運動の種類と奥行き方向の視線移動の関係を示す図
【図４】（ａ）は眼球回転角の時間変化を示す図
（ｂ）は同時間微分としきい値αの関係を示す特性図
（ｃ）はしきい処理後の時間微分波形図
【図５】本発明における両眼の相互相関関数の測定例を示す図
【図６】本発明における第２の実施例の奥行き知覚測定装置の構成図
【図７】（ａ）は左右眼の水平回転角の時間変化を示す特性図
（ｂ）はウインド処理波形を示す特性図
（ｃ）はウインド処理と相関係数計算結果例を示す図
【図８】本発明における第３の実施例の奥行き知覚測定装置の構成図
【図９】第３の実施例の奥行き知覚測定装置の２次元解析部の動作を示す図
【図１０】本発明における第４の実施例の奥行き知覚測定装置の構成図
【図１１】本発明における第５の実施例の奥行き知覚測定装置の構成図
【図１２】本発明における第５の実施例の奥行き知覚測定装置を簡略化した場合の構成図
【図１３】従来の奥行き知覚測定装置の構成図
【符号の説明】
１ 観察者
２ 眼球運動測定センサ
３ 眼球運動信号処理回路
４ 微分器
５ しきい処理部
６ 微分器
７ サッカード除去部A
８ サッカード除去部B
９ 被写体
１０ 相互相関部
１１ 解析部
１２ 低域ろ波回路
１３ 低域ろ波回路
１４ ウインド処理部
１５ 相関係数計算部
１６ ２次元解析部
１７ 減算器
１８ 絶対値回路
１９ 積分器
２０ 加算器
２１ 減算器
２２ 分散計算部
２３ 分散計算部
２４ 赤外LED
２５ 赤外フォトダイオード
２６ 赤外フォトダイオード
２７ 赤外フォトダイオード
２８ 赤外LED
２９ 視野カメラ
３０ 眼球運動検出部
３１ データ処理部
３２ 画像処理部
Claims (4)
- 両眼眼球運動信号から左右眼それぞれにおいて速度の速い急速眼球運動と瞬きによる妨害信号を除去するサッカード除去部と、時間方向に走査する一定時間窓内の左右の眼球運動の速度または加速度の相互相関を計算する相互相関部とを備え、
相互相関関数の相関値・時間・相互相関を計算する際に左右眼球運動の速度または加速度に与えられる時間差である偏移により構成される３次元空間において、前記相関値が０近傍の一定値となる時間と前記偏移により構成される平面と、左右の眼球運動の速度の相互相関関数の相関値・時間・前記偏移により示される前記３次元空間における曲面により規定される領域の体積、または、この領域の時間・相互相関関数における偏移により構成される平面への２次元射影の面積を用いて観察者の奥行き知覚を測定することを特徴とする奥行き知覚測定装置。 - 両眼眼球運動信号から左右眼それぞれにおいて速度の速い急速眼球運動と瞬きによる妨害信号を除去するサッカード除去部と、時間方向に走査する一定時間窓内の左右の眼球運動の速度の相関係数を計算する相関係数計算部とを備え、前記相関係数計算部の出力の大きさによって観察者の奥行き知覚の強さを測定することを特徴とする奥行き知覚測定装置。
- 両眼眼球運動信号から左右眼それぞれにおいて速度の速い急速眼球運動と瞬きによる妨害信号を除去するサッカード除去部と、左右の水平眼球運動の速度を２次元座標に展開し，前記２次元座標において、左右の水平眼球運動の速度符号が同じである領域に測定データが入る時間と左右の水平眼球運動の速度符号が異なる領域に測定データが入る時間とを計算する計算手段とを備え、前記計算手段により計算された左右の水平眼球運動の速度符号が同じである領域に測定データが入る時間と左右の水平眼球運動の速度符号が異なる領域に測定データが入る時間との比または差分によって観察者の奥行き知覚を測定することを特徴とする奥行き知覚測定装置。
- 前記左右の眼球運動の速度の代わりに，左右の眼球運動の加速度または左右の視線位置の値を用いることを特徴とする請求項２又は３に記載の奥行き知覚測定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003174350A JP3778182B2 (ja) | 2003-06-19 | 2003-06-19 | 奥行き知覚測定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003174350A JP3778182B2 (ja) | 2003-06-19 | 2003-06-19 | 奥行き知覚測定装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10384094A Division JP3460302B2 (ja) | 1994-05-18 | 1994-05-18 | 奥行き知覚測定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003325455A JP2003325455A (ja) | 2003-11-18 |
| JP3778182B2 true JP3778182B2 (ja) | 2006-05-24 |
Family
ID=29707579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003174350A Expired - Lifetime JP3778182B2 (ja) | 2003-06-19 | 2003-06-19 | 奥行き知覚測定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3778182B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4604190B2 (ja) * | 2004-02-17 | 2010-12-22 | 国立大学法人静岡大学 | 距離イメージセンサを用いた視線検出装置 |
| JP2022037273A (ja) * | 2020-08-25 | 2022-03-09 | 株式会社ファインデックス | 可視判定システム及び視野検査装置 |
-
2003
- 2003-06-19 JP JP2003174350A patent/JP3778182B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003325455A (ja) | 2003-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR960013318B1 (ko) | 속깊이 지각 분석 장치 | |
| EP2857939B1 (en) | Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method | |
| Knill | Reaching for visual cues to depth: The brain combines depth cues differently for motor control and perception | |
| EP2150170B1 (en) | Methods and apparatus for estimating point-of-gaze in three dimensions | |
| US20140221827A1 (en) | Enhanced optical angiography using intensity contrast and phase contrast imaging methods | |
| DE112005000393T5 (de) | Sichtweitenerkennungsvorrichtung unter Verwendung eines Entfernungsbildsensors | |
| JP6852730B2 (ja) | スペックル測定装置およびスペックル測定方法 | |
| Samir et al. | Comparison between the Kinect™ V1 and Kinect™ V2 for respiratory motion tracking | |
| Duchowski et al. | 3D eye movement analysis for VR visual inspection training | |
| Larsson et al. | Head movement compensation and multi-modal event detection in eye-tracking data for unconstrained head movements | |
| Dupin et al. | Motion perception by a moving observer in a three-dimensional environment | |
| KR20180101816A (ko) | 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법 | |
| Mardanbegi et al. | Monocular gaze depth estimation using the vestibulo-ocular reflex | |
| Long et al. | A high speed eye tracking system with robust pupil center estimation algorithm | |
| Harris et al. | Accuracy and precision of binocular 3-D motion perception. | |
| JP3778182B2 (ja) | 奥行き知覚測定装置 | |
| Li et al. | Humans can perceive heading without visual path information | |
| Hogervorst et al. | Biases in three–dimensional structure–from–motion arise from noise in the early visual system | |
| JP3460302B2 (ja) | 奥行き知覚測定装置 | |
| Ouzts et al. | Comparison of eye movement metrics recorded at different sampling rates | |
| Welch et al. | Coherence determines speed discrimination | |
| KR20200027210A (ko) | 안구운동 분석 시스템 및 방법 | |
| JP3760960B2 (ja) | 視線位置検出装置 | |
| Cho et al. | An Analysis of Visual Discomfort Caused by Watching Stereoscopic 3D Content in Terms of Depth, Viewing Time and Display Size. | |
| Royden et al. | Detection of moving objects using motion-and stereo-tuned operators |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050920 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100310 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110310 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120310 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130310 Year of fee payment: 7 |