JP4082565B2 - 自動焦点調節眼鏡およびそのキャリブレーション方法 - Google Patents

自動焦点調節眼鏡およびそのキャリブレーション方法 Download PDF

Info

Publication number
JP4082565B2
JP4082565B2 JP2002054163A JP2002054163A JP4082565B2 JP 4082565 B2 JP4082565 B2 JP 4082565B2 JP 2002054163 A JP2002054163 A JP 2002054163A JP 2002054163 A JP2002054163 A JP 2002054163A JP 4082565 B2 JP4082565 B2 JP 4082565B2
Authority
JP
Japan
Prior art keywords
variable focus
focus lens
control amount
point distance
gaze point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002054163A
Other languages
English (en)
Other versions
JP2003255278A (ja
Inventor
正徳 出澤
広志 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Campus Create Co Ltd
Original Assignee
Campus Create Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Campus Create Co Ltd filed Critical Campus Create Co Ltd
Priority to JP2002054163A priority Critical patent/JP4082565B2/ja
Publication of JP2003255278A publication Critical patent/JP2003255278A/ja
Application granted granted Critical
Publication of JP4082565B2 publication Critical patent/JP4082565B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Eyeglasses (AREA)
  • Automatic Focus Adjustment (AREA)

Description

【発明の属する技術分野】
本発明は、自動焦点調節眼鏡およびそのキャリブレーション方法に関するものである。
【0001】
【発明の背景】
人間の眼球では、注視する対象物の距離に応じて水晶体の厚さが変化して、網膜上に鮮明な像が投影されるようになっている。しかし、水晶体厚さの調節可能範囲は、加齢に伴って狭くなる。そのため、日常の生活においても、見ようとする対象物の距離が焦点調節可能な範囲を超えてしまう場合がしばしば生じ、種々の作業が困難となる。眼球における焦点調節能力の不足を補うためには眼鏡が用いられている。そして、老齢化して焦点調節可能範囲が狭まってきた場合には、近見用と遠見用の2種類の眼鏡を選択使用する方法が一般的に用いられている。
【0002】
また、2焦点レンズも存在する。これは、眼鏡レンズの上側の領域を遠見用の焦点距離とし、下側の領域を近見用の焦点距離とするものである。これによれば、眼鏡に対する視線方向を意図的に変化させることにより、遠見用と近見用とを使い分けることができる。
【0003】
しかしながら、2種類の眼鏡を選択使用する方法では、作業のため両手を使用するような場合に、作業の続行が困難となる。また、2焦点レンズは、レンズに対する視線の移動と、視線が注視点に合致するための頭部運動とが必要となるため、意識を連続的に集中して行う作業等の場合には、しばしば作業に支障が生ずるという困難を伴う。
【0004】
このような困難を軽減するために、特開2000-249902公報(文献1)に示された自動焦点調節眼鏡が提案されている。この技術では、両眼眼球の向きに基づいて、観察者から注視点(対象点)までの距離を検知する。この距離に応じて、可変焦点レンズの焦点距離を自動的に調整する。これにより、眼鏡の交換や、意図的な視線移動や、頭部運動をしなくとも、遠見、近見の両範囲にわたり鮮明な像が観察できる。この眼鏡を使用することによって、腕が届く程度の範囲での作業(たとえばオフィスにおける事務作業や、工場における組立作業)のように、近い対象物と離れた対象物とを明瞭に観察して判断して操作するような場合に、その作業効率を著しく高めることができる。このような自動焦点調節眼鏡においては、使用中に取得される、注視位置までの距離情報に基づいて、レンズ焦点距離の制御を行っている。このため、距離情報と制御量との対応関係を、その使用に先立ってあらかじめ設定しておくことが必要である。
【0005】
そのため、従来の技術では、つぎの調整作業が必要であった。(1)各使用者の視覚的特性を計測すること。(2)可変焦点レンズの制御特性を取得すること。(3)これらから得られたデータに基づいて、注視位置までの距離とレンズ焦点距離の制御量との対応関係を設定すること。
【0006】
しかしながら、各使用者の視覚的特性を計測したり、可変焦点レンズの制御特性を正確に求めるためには、特別な計測システムが必要とされる。そして、可変焦点レンズの制御特性は使用中に徐々に変化することが予想される。さらに、可変焦点レンズは、使用中に劣化する。すると、時々交換することが必要とされ、その場合には可変焦点レンズの制御特性が異なってしまう。レンズの制御特性が変わった場合には、制御特性を再度計測することが必要になる。さらには、使用者の視覚特性も、朝、昼、夕という時間変化や疲れなどの視覚的要因によって変動する。したがって、注視位置までの距離情報と可変焦点レンズの制御量を定めるための対応関係を一旦得たとしても、再度のキャリブレーションが望まれる。ところが、前記した調整作業を繰り返すことは煩雑であるという問題がある。
【0007】
【発明が解決しようとする課題】
本発明は、前記の背景に基づいてなされたもので、注視位置までの距離情報と可変焦点レンズの制御量との対応関係を簡便に調整することができる可変焦点調節眼鏡を提供することを目的としている。
【0008】
【課題を解決するための手段】
請求項1記載の自動焦点調節眼鏡は、可変焦点レンズと、注視点距離算出部と、焦点距離制御部と、調節部と、記憶設定部とを備えている。前記注視点距離算出部は、前記注視点を注視したときの視線方向に基づいて、前記可変焦点レンズから注視点までの距離を算出するものである。前記焦点距離制御部は、前記記憶設定部での記憶内容に基づいて、前記可変焦点レンズの焦点距離を制御するものである。前記調節部は、前記可変焦点レンズの焦点距離を操作者の任意で、前記注視点における対象物が鮮明に見えるように調節するものである。前記記憶設定部は、前記調節部での前記操作者による調節によって得られた焦点距離における、前記可変焦点レンズの制御量と、そのときの前記視線方向に基づく注視点距離とを対応して記憶するものである。
【0009】
請求項2記載の自動焦点調節眼鏡は、請求項1記載のものにおいて、前記記憶設定部が、さらに、前記調節部での調節によって得られた前記可変焦点レンズの制御量と、そのときの注視点距離とから、補間データを生成するものとなっている。
【0010】
請求項3記載の自動焦点調節眼鏡は、請求項1または2に記載のものにおいて、前記記憶設定部が、さらに、前記調節部での調節によって得られた前記可変焦点レンズの制御量と、そのときの注視点距離とのデータ、または、これらから得られた前記補間データに基づいて、ある注視点距離での前記制御量を設定するものとなっている。
【0011】
請求項4記載の方法は、可変焦点レンズを用いた自動焦点調節眼鏡のキャリブレーション方法であって、前記可変焦点レンズで操作者が対象物を鮮明に見える状態となるように、前記可変焦点レンズを前記操作者が操作することによって取得される、前記可変焦点レンズの制御量と、前記操作者が前記対象物を鮮明に見える状態における、前記可変焦点レンズから注視点までの注視点距離との対応に基づいて、前記可変焦点レンズの制御量と、前記視線方向に基づく注視点距離との対応関係に対してキャリブレーションを行う構成となっている。
【0012】
請求項5記載の方法は、可変焦点レンズを用いた自動焦点調節眼鏡のキャリブレーション方法であって、前記可変焦点レンズの制御量と、前記可変焦点レンズから注視点までの注視点距離との対応が予め設定されており、ついで、前記可変焦点レンズで操作者が対象物を鮮明に見える状態となるように、前記可変焦点レンズを前記操作者が操作することによって取得される、前記可変焦点レンズの制御量と、前記操作者が前記対象物を鮮明に見える状態における、前記可変焦点レンズから注視点までの注視点距離との対応を記録し、予め設定された制御量とその後に記録された制御量との差分に基づいて、前記可変焦点レンズの制御量と、前記視線方向に基づく注視点距離との対応関係に対してキャリブレーションを行う構成となっている。
【0013】
請求項6記載のキャリブレーション方法は、請求項5記載の方法によりキャリブレーションが行われた後、さらに、前記可変焦点レンズの制御量と、前記可変焦点レンズから注視点までの注視点距離との対応を記録し、キャリブレーションされた制御量または予め設定された制御量とその後に記録された制御量との差分に基づいて前記制御量のキャリブレーションを行う構成となっている。
【0014】
請求項7記載のキャリブレーション方法は、請求項4〜6のいずれか1項記載のキャリブレーション方法であって、さらに、キャリブレーション時における視覚的条件を、当該キャリブレーションと関連付けて記録しておき、前記視覚的条件に当てはまる場合には、その条件と関連づけられた制御量を用いる構成となっている。
【0015】
【発明の実施の形態】
以下、本発明の一実施形態に係る可変焦点調節眼鏡を、添付の図面に基づいて説明する。この可変焦点調節眼鏡は、図1および図2に示されるように、可変焦点レンズ1と、注視点距離算出部2と、焦点距離制御部3と、調節部4と、記憶設定部5とを主体として備えている。
【0016】
可変焦点レンズ1は、眼球10の前方に配置されるものである(図2参照)。可変焦点レンズ1には、左用と右用とがある。すなわち、本実施形態では、2枚の可変焦点レンズ1が用いられている。これらの可変焦点レンズ1は、互いに同様に構成されている。可変焦点レンズ1は、2枚の透明板11と、その内部に充填された透明体12とを備えている(図3参照)。透明体12は、変形可能であり、この変形によって焦点距離を調整できるようになっている。このような可変焦点レンズは、例えば特開2000-249813公報(文献2)や特開2001-249202公報(文献3)に示されているので、詳細な説明は省略する。
【0017】
注視点距離算出部2は、注視点までの距離を算出するものである。注視点距離算出部2は、右目用の視線方向検出器21と、左目用の視線方向検出器22とを備えている。注視点距離算出部2の構成は、文献1に記載された通りであるので、詳細な説明を省略する。焦点距離制御部3は、アクチュエータ31を備えている。焦点距離制御部3は、アクチュエータ31の動作によって、可変焦点レンズ1の焦点距離を制御するものである。このような焦点距離制御部3も、文献1に記載された通りである。注視点距離算出部2と焦点距離制御部3とは、例えば、可変焦点レンズ1またはその近傍に取り付けられている。
【0018】
調節部4は、可変焦点レンズ1の焦点距離を操作者の操作によって調節するものである。例えば、調節部4は、操作者が焦点距離を操作できる操作部(図示せず)を有している。調節部4は、可変焦点レンズ1またはその近傍に取り付けられていても良く、または、無線もしくは有線を用いて離れた位置から焦点距離を調節できるようになっていてもよい。調節部4は、焦点距離を無段階で調節できるようになっていても良く、あるいは、予め設定された段階毎に調節できるようになっていてもよい。
【0019】
記憶設定部5は、調節部4での調節によって得られた、可変焦点レンズ1の制御量と、そのときの注視点距離とを対応して記憶するものである。記憶設定部5は、さらに、調節部4での調節によって得られた前記可変焦点レンズの制御量と、そのときの注視点距離とから、補間データを生成するものとなっている。記憶設定部5は、さらに、調節部4での調節によって得られた可変焦点レンズ1の制御量と、そのときの注視点距離とのデータ(または、これらから得られた前記補間データ)に基づいて、ある注視点距離での制御量を設定するようになっている。設定された制御量は、焦点距離制御部3に送られ、この制御量に従って制御できるようになっている。記憶設定部5は、例えば、可変焦点レンズ1またはその近傍に取り付けられている。
【0020】
つぎに、本実施形態に係る自動焦点調節眼鏡の動作を説明する。この実施形態の眼鏡は、文献1に記載されたものと同様に使用される。キャリブレーションが必要になった場合には、操作者は、まず、任意の対象物を注視する。このときの視線方向に基づいて、算出部2により、注視点までの距離を算出することができる。一方、操作者は、調節部4を操作して、対象物が最も鮮明に見えるように、左右のレンズ1の焦点距離を調節する。これにより、操作者は、任意の対象物に対して焦点距離を適合させることができる。このときの、左右のレンズ1に対する制御量を、記憶設定部5に記憶する。この関係を図4に概念的に示している。
【0021】
より具体的な使用例を図5に示す。図中破線は、距離情報と制御量との対応関係(既設定内容)である。これに対して、任意の数点において、対応関係を再設定することができる。個々の点における再設定方法は、図4に示される方法と基本的に同様である。ただし、この例においては、予め設定された制御量(図5中破線)とその後に記録された制御量(図5中実線)との差分に基づいて設定を行う。つまり、まずは、予め設定された制御量に基づいて制御を行う。そこから最適値までの差分を、調節部4の操作により取得する。この差分を用いて、制御量の設定を行う。このようにすると、調節部4の操作により制御量を取得するための時間を短縮することができる。
【0022】
別の使用例を図6に示す。この例では、任意の一点についてまず再調整を行う。続いて、他の点について再調整を行う。この作業を繰り返して行う。この方法によって、近距離、中距離、遠距離という異なる位置を見ながら、キャリブレーションを逐次行うことができる。また、この例においても、図5の場合と同様に、差分を用いて調整することができる。このようにすると、ある一点での調整によって制御量が調節された後、その調節された制御量と最適値との差分を用いて設定ができるので、調整された制御量を取得するための時間をさらに短縮しうるという利点がある。
【0023】
このようにして、距離情報と制御量との対応関係を再調整することができる。実際に計測していない点については、任意の補間方法により補間することができる。
【0024】
このようにして再調整された自動焦点調節眼鏡を使用する場合には、通常の自動焦点調節眼鏡と同様に使用することができる。すなわち、再調整された対応関係が焦点距離制御部3に格納されるので、それを用いて焦点距離の調整を行うことができる。
【0025】
この実施形態では、注視位置までの距離情報と可変焦点レンズの制御量との対応関係を簡便に再設定することができる。また、使用者の視覚特性や可変焦点レンズ1の制御特性が変化しても、対応関係を簡便に修正することができる。さらには、ある人の自動焦点調節眼鏡を別の人のために設定しなおすことさえ可能となる。
【0026】
なお、前記した実施形態では、注視位置までの距離情報と可変焦点レンズの制御量との対応関係を予め格納しておくものとしたが、最初からそのようなデータを有しない構成としてもよい。この場合は、前記した方法によって取得した対応関係を初めから用いればよい。また、前記したキャリブレーションのための制御量を取得する場合には、取得した時の視覚的条件(例えば朝、昼、夕等の時間的条件や疲労などの身体的条件)を制御量と共に記憶設定部5により記録しておくこともできる。そのようにすれば、使用者の視覚的条件が、記録された条件と一致したときに、その条件に適した制御量を用いることができる。
【0027】
なお、前記実施形態の記載は単なる一例に過ぎず、本発明に必須の構成を示したものではない。各部の構成は、本発明の趣旨を達成できるものであれば、上記に限らない。例えば、前記した各構成要素は、機能ブロックとして存在していれば良く、独立したハードウエアとして存在していなくてもよい。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いてもよい。さらに機能ブロックが複数のハードウエアにより構成されていても良く、複数の機能ブロックが一つのハードウエアにより構成されていてもよい。
なお、前記した構成要素を動作させるための電源は、レンズ1の近傍に配置しても良く、離間した位置に配置していてもよい。
【0028】
【発明の効果】
本発明によれば、注視位置までの距離情報と可変焦点レンズの制御量との対応関係を簡便に調整することができる可変焦点調節眼鏡を提供することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る可変焦点調節眼鏡の概略的な構成を説明するためのブロック図である。
【図2】本発明の一実施形態に係る可変焦点調節眼鏡の全体構成を説明するための説明図である。
【図3】可変焦点レンズの概略的な断面図である。
【図4】可変焦点調節眼鏡の使用方法を説明するためのグラフである。
【図5】可変焦点調節眼鏡の使用方法を説明するためのグラフである。
【図6】可変焦点調節眼鏡の使用方法を説明するためのグラフである。
【符号の説明】
1 可変焦点レンズ
2 注視点距離算出部
3 焦点距離制御部
4 調節部
5 記憶設定部
10 眼球
20 注視点

Claims (7)

  1. 可変焦点レンズと、注視点距離算出部と、焦点距離制御部と、調節部と、記憶設定部とを備え、前記注視点距離算出部は、前記注視点を注視したときの視線方向に基づいて、前記可変焦点レンズから注視点までの距離を算出するものであり、前記焦点距離制御部は、前記記憶設定部での記憶内容に基づいて、前記可変焦点レンズの焦点距離を制御するものであり、前記調節部は、前記可変焦点レンズの焦点距離を操作者の任意で、前記注視点における対象物が鮮明に見えるように調節するものであり、前記記憶設定部は、前記調節部での前記操作者による調節によって得られた焦点距離における、前記可変焦点レンズの制御量と、そのときの前記視線方向に基づく注視点距離とを対応して記憶するものであることを特徴とする自動焦点調節眼鏡。
  2. 前記記憶設定部は、さらに、前記調節部での調節によって得られた前記可変焦点レンズの制御量と、そのときの注視点距離とから、補間データを生成するものであることを特徴とする請求項1記載の自動焦点調節眼鏡。
  3. 前記記憶設定部は、さらに、前記調節部での調節によって得られた前記可変焦点レンズの制御量と、そのときの注視点距離とのデータ、または、これらから得られた前記補間データに基づいて、ある注視点距離での前記制御量を設定するものであることを特徴とする請求項1または2に記載の自動焦点調節眼鏡。
  4. 可変焦点レンズを用いた自動焦点調節眼鏡のキャリブレーション方法であって、前記可変焦点レンズで操作者が対象物を鮮明に見える状態となるように、前記可変焦点レンズを前記操作者が操作することによって取得される、前記可変焦点レンズの制御量と、前記操作者が前記対象物を鮮明に見える状態における、前記可変焦点レンズから注視点までの注視点距離との対応に基づいて、前記可変焦点レンズの制御量と、前記視線方向に基づく注視点距離との対応関係に対してキャリブレーションを行うことを特徴とするキャリブレーション方法。
  5. 可変焦点レンズを用いた自動焦点調節眼鏡のキャリブレーション方法であって、前記可変焦点レンズの制御量と、前記可変焦点レンズから注視点までの注視点距離との対応が予め設定されており、ついで、前記可変焦点レンズで操作者が対象物を鮮明に見える状態となるように、前記可変焦点レンズを前記操作者が操作することによって取得される、前記可変焦点レンズの制御量と、前記操作者が前記対象物を鮮明に見える状態における、前記可変焦点レンズから注視点までの注視点距離との対応を記録し、予め設定された制御量とその後に記録された制御量との差分に基づいて、前記可変焦点レンズの制御量と、前記視線方向に基づく注視点距離との対応関係に対してキャリブレーションを行うことを特徴とするキャリブレーション方法。
  6. 請求項5記載の方法によりキャリブレーションが行われた後、さらに、前記可変焦点レンズの制御量と、前記可変焦点レンズから注視点までの注視点距離との対応を記録し、キャリブレーションされた制御量または予め設定された制御量とその後に記録された制御量との差分に基づいて前記制御量のキャリブレーションを行うキャリブレーション方法。
  7. 請求項4〜6のいずれか1項記載のキャリブレーション方法であって、さらに、キャリブレーション時における視覚的条件を、当該キャリブレーションと関連付けて記録しておき、前記視覚的条件に当てはまる場合には、その条件と関連づけられた制御量を用いることを特徴とするキャリブレーション方法。
JP2002054163A 2002-02-28 2002-02-28 自動焦点調節眼鏡およびそのキャリブレーション方法 Expired - Fee Related JP4082565B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002054163A JP4082565B2 (ja) 2002-02-28 2002-02-28 自動焦点調節眼鏡およびそのキャリブレーション方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002054163A JP4082565B2 (ja) 2002-02-28 2002-02-28 自動焦点調節眼鏡およびそのキャリブレーション方法

Publications (2)

Publication Number Publication Date
JP2003255278A JP2003255278A (ja) 2003-09-10
JP4082565B2 true JP4082565B2 (ja) 2008-04-30

Family

ID=28665394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002054163A Expired - Fee Related JP4082565B2 (ja) 2002-02-28 2002-02-28 自動焦点調節眼鏡およびそのキャリブレーション方法

Country Status (1)

Country Link
JP (1) JP4082565B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4670299B2 (ja) * 2004-09-30 2011-04-13 カシオ計算機株式会社 レンズユニット、カメラ、光学機器、およびプログラム
US7253384B2 (en) 2005-03-23 2007-08-07 Microscan Systems Incorporated Focusing system using light source and image sensor
JP2015052772A (ja) * 2013-08-06 2015-03-19 孝郎 林 視力矯正装置
CN113534945A (zh) * 2020-04-17 2021-10-22 北京七鑫易维信息技术有限公司 眼球追踪校准系数的确定方法、装置、设备及存储介质
WO2023171661A1 (ja) * 2022-03-07 2023-09-14 ViXion株式会社 レンズ制御装置、眼用レンズ装置、眼鏡、制御方法

Also Published As

Publication number Publication date
JP2003255278A (ja) 2003-09-10

Similar Documents

Publication Publication Date Title
US9867532B2 (en) System for detecting optical parameter of eye, and method for detecting optical parameter of eye
US10281739B2 (en) Brightness-dependent adjustment of a spectacle lens
TWI710800B (zh) 頭戴式個人多媒體系統與視覺輔助裝置
US10551638B2 (en) Imaging apparatus and imaging method
US9961257B2 (en) Imaging to facilitate object gaze
JP6422954B2 (ja) 焦点距離の調節
CN107526165B (zh) 头戴式个人多媒体系统、视觉辅助装置以及相关眼镜
EP2564246A1 (en) Refractive eyewear
CN108513627A (zh) 头戴式显示设备及屈光度自适应调节方法
JP2014071230A (ja) 画像表示装置、制御方法、プログラム及び記憶媒体
WO2014179857A1 (en) Autofocus eyeglass system
JP4082565B2 (ja) 自動焦点調節眼鏡およびそのキャリブレーション方法
US11243401B2 (en) Method for customizing a head mounted device adapted to generate a virtual image
US20060187412A1 (en) Eye accommodation function state measurement device
US8851677B2 (en) Arrangement with a spectacle lens having a changeable effect and method for setting the effect of a spectacle lens
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
JP7417276B2 (ja) 光学レンズのカスタム化装置及び方法
JP2004038181A (ja) 自動焦点調節補助眼鏡とそのキャリブレーション方法
US11934571B2 (en) Methods and systems for a head-mounted device for updating an eye tracking model
WO2022103767A1 (en) Determining gaze depth using eye tracking functions
CN110520788B (zh) 被适配为由配戴者配戴的光学装置
CN113985606A (zh) 一种vr头显设备、镜片度数确定方法及相关组件
US20230393655A1 (en) Electronic apparatus
WO2024006966A1 (en) Eye-tracking system
JP2022518331A (ja) フォロプタヘッドを水平位置に配置するためのデバイス及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Effective date: 20050209

Free format text: JAPANESE INTERMEDIATE CODE: A621

A711 Notification of change in applicant

Effective date: 20050209

Free format text: JAPANESE INTERMEDIATE CODE: A711

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070228

A131 Notification of reasons for refusal

Effective date: 20071016

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Effective date: 20071212

Free format text: JAPANESE INTERMEDIATE CODE: A523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Effective date: 20080204

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080207

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110222

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees