JP7418149B2 - 光学装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置 - Google Patents

光学装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置 Download PDF

Info

Publication number
JP7418149B2
JP7418149B2 JP2018223811A JP2018223811A JP7418149B2 JP 7418149 B2 JP7418149 B2 JP 7418149B2 JP 2018223811 A JP2018223811 A JP 2018223811A JP 2018223811 A JP2018223811 A JP 2018223811A JP 7418149 B2 JP7418149 B2 JP 7418149B2
Authority
JP
Japan
Prior art keywords
signal
light
section
eyeball
psd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018223811A
Other languages
English (en)
Other versions
JP2020087200A (ja
Inventor
俊 三宮
達也 下川
秀 田中
修一 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2018223811A priority Critical patent/JP7418149B2/ja
Priority to US16/689,334 priority patent/US11334153B2/en
Priority to EP19210728.2A priority patent/EP3660576A1/en
Publication of JP2020087200A publication Critical patent/JP2020087200A/ja
Priority to JP2023042782A priority patent/JP7464166B2/ja
Application granted granted Critical
Publication of JP7418149B2 publication Critical patent/JP7418149B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/101Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features

Description

本発明は、光学装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置に関する。
近年、仮想現実(VR)、拡張現実(AR)に関わる技術・製品が注目されている。特にAR技術は、実空間においてデジタル情報を表示する手段として、産業分野への応用が期待されている。AR技術を活用する「人」は、認知情報の大部分を視覚から取得していることに鑑み、行動(作業)環境下において利用可能な眼鏡型映像表示装置が開発されている。
このような眼鏡型映像表示装置として、レーザを用いて「人」の網膜上に直接映像を描画する網膜描画方式の網膜投影表示装置が知られている。網膜描画方式によれば、焦点フリーの映像を視認情報に重畳させることで、外界に視点を置いた状態でデジタル情報を網膜上に表示し、「人」に認識させることができる。
ところで、レーザを用いた網膜投影表示装置では、角膜や瞳孔の大きさの制限から眼球運動を伴う行動(作業)環境下において、角膜や瞳孔の外周部等でレーザのケラレが発生し、所定の位置に所定の映像を描画できなくなる場合がある。
このような課題に対し、MEMS(Micro Electro Mechanical Systems)ミラーにより、眼球上で照射レーザ光を走査させ、眼球からの反射光の検出信号に基づき眼球の角膜位置を検出するアイトラッキング技術が開示されている(例えば、特許文献1、特許文献2参照)。
しかしながら、特許文献1及び特許文献2の技術では、高精度に眼球の角膜位置等を検出するためには、太陽光や室内照明等の環境光と照射レーザ光の眼球からの反射光とを分離して検出する必要があり、そのために照射レーザ光の光強度を大きくしなければならない場合がある。一方で、特許文献1及び特許文献2の技術において光強度の大きいレーザ光にすることは、眼球に対する安全性の観点から検出精度を向上させることが困難になる場合があった。
本発明は、上記の点に鑑みてなされたものであって、光強度が小さい光で対象物を高精度に検出することを課題とする。
開示の技術の一態様に係る光学装置は、少なくとも3つの発光部を備え、対象物に光を照射する光源部と、前記3つの発光部をそれぞれ異なる発光周期で発光駆動させる発光駆動部と、照射された光の前記対象物からの反射光に応じた検出信号を出力する位置検出部と、前記3つの発光部のそれぞれ異なる発光周期に対応する周期の参照信号を用いて、前記検出信号から抽出された直流成分又は低周波成分の少なくとも1つに該当する抽出信号を出力する抽出信号出力部と、前記抽出信号出力部から出力される前記発光周期の抽出信号に基づいて取得される前記対象物の表面形状データを出力する表面形状出力部と、を有し、前記位置検出部は、連続的な且つ画素分割されていない受光面を備えた単一の2次元PSD(Position Sensitive Detector)である。
本発明の実施形態によれば、光強度が小さい光で対象物を高精度に検出することができる。
実施形態に係る瞳孔位置検知装置の構成の一例を説明する図である。 眼球の回旋と信号光のPSDへの入射位置との関係を説明する図であり、(a)は眼球が回旋していない場合を説明する図であり、(b)は眼球が回旋している場合を説明する図である。 実施形態に係る処理部のハードウェア構成の一例を説明するブロック図である。 第1の実施形態に係る処理部の機能構成の一例を説明するブロック図である。 第1の実施形態に係る処理部の動作の一例を示すフローチャートである。 信号抽出処理の作用の検証実験結果の一例を説明する図であり、(a)は信号抽出処理を実行しなかった場合の結果を説明する図であり、(b)は信号抽出処理を実行した場合の結果を説明する図である。 信号抽出処理の作用の検証実験を照射レーザ光の光強度を変化させて行った結果を説明する図である。 瞳孔位置取得処理のシミュレーション結果の一例を説明する図であり、(a)は正視状態を基準角度とした場合の眼球の回旋角度の推定結果を説明する図であり、(b)は瞳孔位置が正視状態から右上方にある場合の眼球の回旋角度の推定結果を説明する図である。 第2の実施形態に係る処理部の機能構成の一例を説明するブロック図である。 第2の実施形態に係る処理部の動作の一例を示すフローチャートである。 第2の実施形態に係るPSDの受光面上で形成される信号光のビームスポットの一例を説明する図である。 第3の実施形態に係る処理部の機能構成の一例を説明するブロック図である。 第3の実施形態に係る処理部の動作の一例を説明するフローチャートである。 第3の実施形態に係るPSDの受光面上で形成される信号光のビームスポットの一例を説明する図である。 第4の実施形態に係る網膜投影表示装置の構成の一例を説明する図である。 特許文献1に記載されたアイトラッキング装置の構成を示す図である。
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。
光学装置の一例として、第1の実施形態、及び第2の実施形態では眼球の瞳孔位置検知装置を説明し、第3の実施形態では眼球の表面形状測定装置を説明する。これらの実施形態では、瞳孔位置検知装置、又は眼球の表面形状測定装置を眼鏡型支持体に実装した場合を一例として説明する。
また、第4の実施形態では網膜投影表示装置の一例を説明する。
なお、各実施形態では、「人」の右目の眼球を例に説明するが、左目の眼球に対しても同様である。また光学装置、又は網膜投影表示装置をそれぞれ2つ備え、両目の眼球に対して適用することもできる。
<実施形態に係る瞳孔位置検知装置の構成>
図1は、実施形態に係る瞳孔位置検知装置の構成の一例を説明する図である。
図1に示すように、瞳孔位置検知装置10は、光源部の一例であるVCSEL(垂直共振器面発光レーザ;Vertical Cavity Surface Emitting LASER)1と、平面ミラー2と、PSD(Position Sensitive Detector)3と、処理部100とを有している。VCSEL1、平面ミラー2及びPSD3は、眼鏡フレーム21及び眼鏡レンズ22を備える眼鏡型支持体20の眼鏡フレーム21に設けられている。処理部100は、任意の位置に配置してもよいが、一例として眼鏡フレーム21等に設けられている。ここで、PSD3は、「位置検出部」の一例である。
VCSEL1は、平面内に2次元的に配列された複数の発光部を有している。VCSEL1は複数の発光部から射出されるレーザ光を、眼球30の複数の箇所に照射することができ、或いは眼球30に複数の角度で照射することができる。なお、「複数の発光部」は、「複数の発光点」、又は「複数の発光素子」と同義である。各発光部は図中上向きに、指向性を有するレーザ光を射出する。ここで、VCSEL1は「光源部」の一例であり、「面発光レーザ」の一例である。また、レーザ光は「光」の一例である。
但し、光源部は、眼球30に光を照射することができれば、VCSELに限定されるものではない。レーザ光を射出する複数のLD(半導体レーザ;Laser Diode)やLED(発光ダイオード;Light Emitting Diode)を平面内に2次元的に配列して光源部を構成してもよい。またパルスレーザ光を射出するパルスレーザでもよい。さらに、被検知対象に合わせ、複数の種類の光源を組み合わせて光源部を構成してもよい。
VCSEL1から射出されるレーザ光の波長は、瞳孔位置を検知される「人」の視認を阻害しないように、非可視光である近赤外光の波長であることが好適である。但し、これに限定されるものではなく、可視光であってもよい。
VCSEL1から射出されたレーザ光は、平面ミラー2で眼球30に向けて反射され、眼球30の瞳孔31近傍に入射する。眼球30へのレーザ光の入射角度は、正視時における眼球30の瞳孔31の中心に所定角度で入射するように調整されている。
眼球30の瞳孔表面(角膜表面)は水分を含む透明体であり、約2~4%の反射率を有するのが一般的である。そのため、眼球30の瞳孔31近傍に入射したレーザ光は、眼球30の瞳孔表面の反射点Pで反射され、反射光はPSD3の受光面に入射してビームスポットを形成する。なお、説明を簡単にするため、眼球30での反射光を以降では信号光という。
PSD3は、受光面内で直交する2方向において、入射した光の電極までの距離に応じた電流値を検出し、直交2方向の電流値の比から入射光の位置を示す検出信号を出力する2次元の光位置検出素子である。PSD3は、信号光によりPSD3の受光面に形成されたビームスポットの位置を示す検出信号を出力することができる。
より具体的には、PSD3は4つの出力端子を備え、連続的な受光面(画素分割されていない)に抵抗膜が配され、また直交2方向の電極対が設けられている。ビームスポット位置で発生した光電流は、各出力端子との距離に応じて4つに分割される。このとき、抵抗膜による電気抵抗はビームスポット位置と出力端子との距離が長いほど電流が小さくなるよう作用する。PSD3は抵抗膜を経た電気信号を4つの端子を介して検出し、電気的な後処理により得られる受光面内の位置を示す検出信号を出力することができる。また、PSD3は光電変換で生じた電流をアナログ電圧信号に変換し、検出信号として4つの端子から出力することができる。つまり、PSD3は表面抵抗を利用して各端子との距離を求めることで入射した位置を検出することができる。
ところで、PSD3に代えてイメージセンサ(撮像素子)を光位置検出素子に適用した場合、イメージセンサは、各画素に入射される輝度値により出力結果が左右する。輝度が低いと出力電流が少なくなり、太陽光などの環境光の影響を受けなくするためには光源の出力を上げてイメージセンサに入射される輝度値を上げる必要がある。しかし、眼球30に光源からの光を入射させる装置に適用する場合は、眼球への安全性の観点で好ましくない。
またイメージセンサの場合、位置検出するための画像処理工程を経るが、このときに位置精度誤差の発生や処理負荷が発生する。その点、PSD3によれば、出力端子間で分割される電流分割比(割合)を使って位置を検出するため、輝度値に関係なく位置検出でき、また画像処理工程を行わない点で好適である。さらに後述する、発光周期に対応する周期の参照信号を用いて、検出信号から抽出された発光周期に対応する周期の抽出信号を出力する構成にする事で、より精度の高い位置検出を行うことができる。
但し、上記のPSD3の構成は一例であって、他の構成であってもよい。また、実施形態ではPSD3として受光面内の2次元的な位置を検出する2次元PSDの例を示すが、受光面内の1次元的な位置を検出する1次元PSDを用いてもよい。
眼球30の傾きによって、信号光がPSD3の受光面に形成するビームスポットの位置が変わるため、瞳孔位置検知装置10は、PSD3の検出信号を座標情報に変換することで眼球30の瞳孔位置を検知することができる。
ここで、PSD3は、眼球30での反射点の法線ベクトルの向き、すなわち3次元形状を検出する。瞳孔位置検知装置10は、検出された3次元形状と眼球の表面形状モデルとの対応に基づき、瞳孔位置を「推定」することができる。
なお、VCSEL1のレーザ光を眼球30に入射させる手段は、平面ミラー2に限定されるものではない。VCSEL1のレーザ光を眼球30に直接入射させてもよいし、任意の部材、又は任意の部材の組合せにより入射させてもよい。
凸レンズ、マイクロレンズアレイ、凹型曲面ミラー、ホログラム回折素子、プリズムアレイ、又は回折格子の何れか1つ、又は何れか2つ以上の組合せにより、VCSEL1のレーザ光を偏向させて眼球30に入射させることで、瞳孔検知範囲の拡大、装置の小型化、及び瞳孔位置検知装置10の組み立て負荷低減等の効果が得られる。
図1では、光学系および処理部の保持機構としてメガネフレームを示したが、これに限定されるものではなく、ヘッドマウント型ディスプレイやヘッドギア型の保持構造体等を用いてもよい。
一方で、眼球30は回旋等の眼球運動をするため、眼球運動により信号光の方向が変わると、信号光がPSD3の受光面から外れてしまう場合がある。これに対し、瞳孔位置検知装置10は、VCSEL1で発光させる発光部を順次、又は選択的に変更する制御を実行することで、信号光がPSD3の受光面から外れることを防止することができる。
ここで、図2は、眼球30の回旋と信号光のPSD3への入射位置との関係を説明する図である。(a)は眼球が回旋していない場合(正視時)を説明する図であり、(b)は眼球が回旋している場合を説明する図である。
図2は、VCSEL1の異なる2つの発光部から射出されたレーザ光の伝搬を示している。一方の発光部から射出されたレーザ光1aは点線で示され、他方の発光部から射出されたレーザ光1bは一点鎖線で示されている。
図2(a)において、レーザ光1aは眼球30で反射され、PSD3の受光面の中央付近に入射している。従ってPSD3は、眼球30の回旋に応じたレーザ光1aの受光面への入射位置変化を検出することができ、瞳孔位置検知装置10はPSD3の検出信号に基づき、瞳孔31の位置を検知することができる。
一方、レーザ光1bは眼球30で反射された後、PSD3の受光面に入射していないため、PSD3はレーザ光1bの位置を検出することができず、瞳孔位置検知装置10は瞳孔31の位置を検知することができない。
また、図2(b)に示すように、眼球30が大きく回旋した場合、レーザ光1aはPSD3の受光面から外れ、瞳孔位置検知装置10は瞳孔31の位置を検知することができない。一方、レーザ光1bはPSD3の受光面の中央付近に入射するため、PSD3は眼球30の回旋に応じたレーザ光1bの受光面への入射位置変化を検出することができ、瞳孔位置検知装置10はPSD3の検出信号に基づき、瞳孔31の位置を検知することができる。
このように、1つの発光部のみからの光では、限られた角度範囲でしか眼球30の瞳孔位置を検知できないのに対し、実施形態によれば、VCSEL1の発光部を変化させることで、眼球30への入射角度を変化させ、瞳孔位置の検知範囲を拡大することができる。
VCSEL1の発光部の変化は、眼球30の眼球運動に応じて、処理部100からの駆動信号により時系列に行われる。眼球30の眼球運動に応じて(追従して)発光部を制御することで、光利用効率向上や推定時間の短縮を図ることができる。
但し、必ずしも「眼球運動に応じる」必要はない。例えば、瞳孔位置検知装置10は、眼球運動とは独立に所定の時間間隔でVCSEL1の発光部をラスター走査(順次発光)させ、その場合のPSD3の検出信号に基づき、眼球30の粗動位置を取得するようにしてもよい。
なお、図2では説明を簡単にするため、2つの発光部から射出されたレーザ光のみを例示したが、眼球30の眼球運動に応じて、VCSEL1の備えるさらに多くの発光部を利用することができる。この場合、PSD3の受光面の大きさと眼球の大きさに合わせて、瞳孔31の位置が適切に検知されるように、VCSEL1の発光部の数、及び位置を適正化することができる。
<実施形態に係る処理部の構成>
次に、実施形態に係る処理部100のハードウェア構成について説明する。図3は、処理部100のハードウェア構成の一例を説明するブロック図である。
処理部100は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、SSD(Solid State Drive)104と、光源駆動回路105と、信号発生回路106と、A/D(Analog/Digital)変換回路107と、入出力I/F(Interface)108とを有している。それぞれはシステムバスBで相互に接続されている。
CPU101は、ROM102やSSD104等の記憶装置からプログラムやデータをRAM103上に読み出し、処理を実行することで、処理部100全体の制御や後述する機能を実現する演算装置である。なお、CPU101の有する機能の一部、又は全部を、ASIC(application specific integrated circuit)やFPGA(Field-Programmable Gate Array)といったハードウェアにより実現させてもよい。
ROM102は、電源を切ってもプログラムやデータを保持することが可能な不揮発性の半導体メモリ(記憶装置)である。ROM102には、処理部100の起動時に実行されるBIOS(Basic Input/Output System)、OS設定、及びネットワーク設定等のプログラムやデータが格納されている。RAM103は、プログラムやデータを一時保持する揮発性の半導体メモリ(記憶装置)である。
SSD104は、処理部100による処理を実行するプログラムや各種データが記憶された不揮発性メモリである。なお、SSDはHDD(Hard Disk Drive)であってもよい。
光源駆動回路105は、VCSEL1に電気的に接続され、入力された制御信号に従ってVCSEL1に駆動電圧等の駆動信号を出力する電気回路である。光源駆動回路105は、VCSEL1の備える複数の発光部を同時、又は順次に発光駆動させることができ、また駆動電圧の周期を変調することで、異なる発光周期で発光駆動させることができる。
駆動電圧として矩形波や正弦波、又は所定の波形形状の電圧波形を用いることができ、光源駆動回路105は、これらの電圧波形の周期(周波数)を変化させて、駆動電圧信号の周期を変調することができる。
信号発生回路106は、所定の周期の電気信号を発生させる電気回路である。信号発生回路106として、周期の異なる複数の電気信号を発生させ、複数の出力先に並行して出力することができる多チャンネルの信号発生器を用いることができる。
A/D変換回路107は、PSD3に電気的に接続され、PSD3の出力するアナログ電圧信号をA/D変換したデジタル電圧信号を出力する電気回路である。
入出力I/F108は、PC(Personal Computer)や映像機器等の外部機器と接続するためのインターフェースである。
[第1の実施形態]
<第1の実施形態に係る処理部の機能構成>
次に、第1の実施形態に係る処理部100の機能構成について説明する。図4は、処理部100の機能構成の一例を説明するブロック図である。なお、図4に図示される各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・結合して構成してもよい。各機能ブロックの機能は、特に実現手段を示す場合を除き、CPU101がプログラムを実行することで実現することができる。
図4に示すように、処理部100は、発光駆動部110と、参照信号出力部120と、検出信号入力部130と、信号抽出部140と、演算部150と、瞳孔位置出力部160を有している。ここで、瞳孔位置出力部160は「出力部」の一例である。
発光駆動部110は、VCSEL1に周期Tの駆動信号を出力し、VCSEL1の備える発光部を発光周期Tで発光駆動させる機能を有する。発光駆動部110は、光源駆動回路105等で実現することができる。周期Tは、「所定の周期」の一例である。
参照信号出力部120は、信号発生回路106等により実現され、信号抽出部140の備える参照信号入力部141に、周期Tの参照信号を出力する機能を有する。なお、信号発生回路106は、周期Tの参照信号を出力するとともに、周期Tの信号を発光駆動部110に出力してもよい。そして、発光駆動部110は、信号発生回路106からの信号に応じて、VCSEL1に周期Tの駆動信号を出力してもよい。この場合の信号発生回路106は、「信号発生部」の一例である。
検出信号入力部130は、A/D変換回路107等により実現され、PSD3から入力したアナログ電圧信号をA/D変換したデジタル電圧信号を、信号抽出部140の備える位相差調整部142に出力する機能を有する。
ここで、眼球30にはVCSEL1から発光周期Tで変調されたレーザ光が照射されるため、信号光のPSD3による検出信号は周期Tの電気信号である。但し、瞳孔位置検知装置10を使用する環境に応じて太陽光や室内照明等の環境光(以降、ノイズ光という)が存在する場合があり、この場合、PSD3の検出信号には、信号光である周期Tの電気信号と、ノイズ光の両方が含まれることになる。
一方、信号抽出部140は、VCSEL1の発光部の発光周期に対応する周期の参照信号を用いて、PSD3の検出信号から発光周期に対応する周期の電気信号を抽出する機能を有する。このような機能を実現するために、信号抽出部140は、参照信号入力部141と、位相差調整部142と、乗算部143と、フィルタ部144と、信号増幅部145と、抽出信号出力部146とを有している。なお、「発光周期に対応する周期」とは、発光周期と同一の周期や、発光周期の倍数又は約数となる周期等である。
参照信号入力部141は、参照信号出力部120から参照信号を入力し、位相差調整部142に出力することができる。
位相差調整部142は、検出信号入力部130を介してPSD3の検出信号を入力し、また、参照信号入力部141を介して参照信号出力部120の出力する参照信号を入力する。そして、参照信号の位相φと検出信号の位相φとの位相差を調整し、各信号を乗算部143に出力する機能を有する。この調整により、後述するローパスフィルタリング後の直流信号の出力を最大化することができる。
乗算部143は、位相差調整部142から入力した検出信号と参照信号を掛け合わせる処理を実行する。
ここで、PSD3の出力する検出信号Sd(t)は以下の(1)式で表すことができ、また、参照信号R(t)は次の(2)式で表すことができる。
Sd(t)=Nb(t)+S(t)×sin(2π・t/T+φ) ・・・(1)
R(t)=A×sin(2π・t/T+φ) ・・・(2)
但し、(1)式及び(2)式において、tは時間を表し、Nbは検出信号におけるノイズ光成分を表し、φは検出信号における信号光成分の位相を表し、Aは参照信号の振幅を表し、φは参照信号の位相を表す。
乗算部143により乗算された信号は、次の(3)のように表すことができる。
Sd(t)×R(t)=A×Nb(t)×sin(2π・t/T+φ
+A×S(t)×{cos[(1/T-1/T)×t+(φ-φ)]
+cos[(1/T+1/T)×t+(φ+φ)]} ・・・(3)
(3)式から分かるように、位相差調整部142で周期Tと周期Tとを略一致させることで、検出信号における信号光成分と参照信号の差周波成分を直流信号にすることができ、信号光成分S(t)とノイズ光成分Nb(t)を周波数領域で分離させることができる。なお、「略一致」は、一般的に誤差と認識される程度の差異は許容される「一致」を意味する。この点は以下においても同様である。
乗算部143は、検出信号と参照信号を乗算した乗算信号を、フィルタ部144に出力することができる。
フィルタ部144は、入力した調整後の乗算信号に対し、ローパスフィルタ処理を実行し、抽出した直流成分又は低周波成分の少なくとも1つに該当する抽出信号を信号増幅部145に出力する機能を有する。また、信号増幅部145は、入力した抽出信号を瞳孔位置算出のために処理可能なレベルにまで増幅し、抽出信号出力部146に出力することができる。また、抽出信号出力部146は、増幅された抽出信号を演算部150に出力することができる。
なお、位相差調整部142は、位相を同期させる方法として、位相差調整により直流信号の最大値を探索する方法以外にも、0°と90°の位相関係をもつ1対の参照信号を用いて振幅「A×S(t)」を同定する方法等を用いてもよい。
また、フィルタ部144によるローパスフィルタ処理後の直流信号を位相差調整部142に帰還させ、直流信号の出力を最大化するように位相差調整部142により位相差を調整するようなフィードバックループを構成してもよい。
また、上述の(1)~(3)式では、PSD3の検出信号を周期Tの正弦関数で表す例を示したが、周期Tの矩形パルス関数として表してもよい。
光源駆動回路105でVCSEL1をパルス変調する場合、VCSEL1に注入する電流の時間プロファイルを最適制御する方法や、外部位相変調器を設けてVCSEL1の共振器長を周期的に変化させる方法等を用いてもよい。
VCSEL1から眼球30に照射するレーザ光を狭帯化(短パルス化)することで、眼球30に照射するレーザ光の平均的な光強度を低減させることができるため、眼の安全性を向上させることができる。また、VCSEL1に代えて光源部にパルスレーザを用いることでも同様の効果が得られる。
また、処理部100の機能の一部をCPU101によりソフトウェアで実現する例を示したが、処理の高速化のためには、アナログ電子回路を用いてハードウェアで実現することが好適である。一方で、処理部100の機能の一部を光源駆動回路等によりハードウェアで実現する例を示したが、CPU101によりソフトウェアで実現することもできる。
図4を参照して説明を続ける。演算部150は、抽出信号出力部146から入力した抽出信号に基づき、眼球30の瞳孔位置を取得する演算処理を実行する機能を有する。このような機能を実現するために、演算部150は、眼球回旋角度推定部151と、瞳孔位置取得部152とを有している。
眼球回旋角度推定部151は、抽出信号出力部146から入力した抽出信号に基づき、眼球30の回旋角度を推定し、推定した回旋角度データを瞳孔位置取得部152に出力することができる。また、瞳孔位置取得部152は、推定された眼球30の回旋角度に基づき、瞳孔31の位置を取得する演算処理を実行することができる。
<第1の実施形態に係る処理部の動作>
次に、本実施形態に係る処理部100の動作について説明する。
ここで、瞳孔位置検知装置10では、瞳孔位置検知の事前準備として、VCSEL1による眼球30への照射レーザ光が眼球30に入射する入射角度と、眼球30の回旋角度の算出式が予め決定されるため、先ず、これらについて説明する。
眼球30の回旋角度の算出式は、1次関数、又は2次関数の算出式である。但し、これに限定はされるものではなく、レーザ光の入射角度とPSD3の受光面上のビームスポット位置から回旋角度を定めることができる算出式であれば、式の形式は問わない。簡単な近似式として、本実施形態では2次関数による算出式を採用している。
レーザ光が眼球30に入射する角度の決定には、眼球30の表面形状モデルを利用することができる。例えば、一般的な眼球の表面形状モデルとして古くから知られている略式模型眼(例えば、「眼の光学的機構」、精密機械27-11、1961参照)等を利用することができる。
一方、眼球30へのレーザ光の入射角度は、PSD3への信号光の入射位置が受光面の中心になるように、光線追跡計算等により予め決定することができる。
また、PSD3の受光面への信号光の入射位置は、眼球30へのレーザ光の入射角度、眼球30でのレーザ光の反射位置、及び眼球30表面の接面の傾きに基づき、理論解析することができる。そして、理論解析の解から、多項式近似により眼球30の回旋角度を推定する逆演算式(近似式)を決定することができる。
眼球30へのレーザ光の入射角度と、眼球30の回旋角度を推定する逆演算式は、処理部100のROM102やSSD104等のメモリに記憶され、発光駆動部110による発光部の変更や、演算部150による瞳孔位置取得処理において参照されることができる。
次に、図5は、本実施形態に係る処理部の動作の一例を示すフローチャートである。
先ず、ステップS51において、発光駆動部110は、VCSEL1を発光周期Tで発光駆動させる。
続いて、ステップS53において、参照信号出力部120は、発光周期Tと同じ周期の周期Tで参照信号を出力し、信号抽出部140の備える参照信号入力部141は参照信号を入力する。
続いて、ステップS55において、検出信号入力部130は、PSD3の検出信号を入力する。
続いて、ステップS57において、位相差調整部142は、検出信号入力部130を介して検出信号を入力し、また、参照信号入力部141を介して参照信号を入力する。そして、参照信号の位相φと検出信号の位相φとの位相差を調整し、調整後の各信号を乗算部143に出力する。
続いて、ステップS59において、乗算部143は、入力した検出信号と参照信号を掛け合わせる処理を実行し、掛け合わせた信号である乗算信号をフィルタ部144に出力する。
続いて、ステップS61において、フィルタ部144は、入力した調整後の乗算信号に対してローパスフィルタ処理を実行し、抽出された直流成分又は低周波成分の少なくとも1つに該当する抽出信号を信号増幅部145に出力する。
続いて、ステップS63において、信号増幅部145は、入力した抽出信号を、瞳孔位置算出のために処理可能なレベルにまで増幅して抽出信号出力部146に出力する。
続いて、ステップS65において、抽出信号出力部146は、増幅された抽出信号を演算部150に出力する。
続いて、ステップS67において、眼球回旋角度推定部151は、入力した抽出信号を、回旋角度を推定する逆演算式に代入して眼球回旋角度を算出し、眼球回旋角度データを瞳孔位置取得部152に出力する。
続いて、ステップS69において、瞳孔位置取得部152は、入力した眼球回旋角度データに基づき、眼球の表面形状モデルを用いて取得した瞳孔位置データを瞳孔位置出力部160に出力する。
続いて、ステップS71において、瞳孔位置出力部160は、入力した瞳孔位置データを出力する。
このようにして、処理部100は、PSD3の出力する検出信号に基づいて取得された眼球30の瞳孔31の位置データを出力することができる。
<第1の実施形態に係る瞳孔位置検知装置の作用>
次に、本実施形態に係る瞳孔位置検知装置の作用について説明する。
(信号抽出処理の作用)
先ず、信号抽出処理の作用の検証結果を説明する。この検証結果は、具体的には、VCSEL1による照射レーザ光の光強度を小さくした場合に、信号抽出部140による処理で照射レーザ光の位置を高精度に検出できるかの検証実験結果である。
実験では、オプティカルチョッパー装置により照射レーザ光を変調周波数200Hz(周期5ms)で機械的に変調し、照射レーザ光のPSD3による検出信号をA/D変換したデジタル電圧信号を、PC(Personal Computer)に入力した。そして、PCによるソフトウェア処理により信号抽出部140の処理を実行し、信号抽出部140による信号抽出処理を行った場合と行わなかった場合で、PSD3によるビームスポット位置の検出結果を比較した。なお、ローパスフィルタ処理におけるカットオフ周波数は40Hzとした。
図6は、信号抽出処理の作用の検証実験結果の一例を説明する図である。(a)は信号抽出処理を実行しなかった場合の結果を説明する図であり、(b)は信号抽出部処理を実行した場合の結果を説明する図である。
図6(a)では、位置の検出結果がばらついており、信号光以外のノイズ光による光スポットがPSD3の受光面上に形成されていることが分かる。これに対し、図6(b)では、位置の検出結果が中央の一点のみに集中し、信号光のビームスポット位置を安定して検出できている。このように、信号抽出部140による信号抽出処理により、VCSEL1による照射レーザ光の光強度を小さくしても、PSD3により信号光のビームスポットの位置を高精度に検出できることが分かった。
また、PSD受光面に到達する信号光の光量は、パワーメータによる計測値で2.6μWであった。従って、約60μWの室内照明下においても、信号光を高感度に検出できることが分かった。
一方、図7は、上述の信号抽出処理の作用の検証実験を照射レーザ光の光強度を変化させて行った結果を説明する図である。横軸は照射レーザ光の光強度を示し、縦軸はPSD3により検出したビームスポット位置の標準偏差を示している。
黒塗り潰しの四角ドット71は、信号抽出処理を行わなかった場合のX方向位置の検出値を示し、白抜きの四角ドット72は、信号抽出処理を行わなかった場合のY方向位置の検出値を示している。
また、黒塗り潰しの丸ドット73は、信号抽出処理を行った場合のX方向位置の検出値を示し、白抜きの丸ドット74は、信号抽出処理を行った場合のY方向位置の検出値を示している。
図7に示すように、信号抽出処理により、およそ一桁の検出精度の向上を図ることができた。また、X方向とY方向における検出精度の異方性が解消されることが分かった。
(瞳孔位置取得処理の作用)
次に、瞳孔位置取得処理の作用のシミュレーションによる検証結果について説明する。
この数値シミュレーションでは、図1において、眼球30から-Z軸方向に10mm離れた平面内に配置された平面ミラー2及びPSD3を想定した。眼球30の回旋角度をX方向に5点、Y方向に3点、ともに5°刻みで変化させた場合を、眼球30の基準角度(θx,θy)とした。
図8は、瞳孔位置取得処理のシミュレーション結果の一例を説明する図である。(a)は正視状態を基準角度とした場合の眼球の回旋角度の推定結果を説明する図であり、(b)は瞳孔位置が正視状態から右上方にある場合の眼球の回旋角度の推定結果を説明する図である。
図8の横軸はX方向の眼球回旋角度の変化量を示し、縦軸はY方向の眼球回旋角度の変化量を示している。回旋角度をX方向に5点、Y方向に3点、ともに5度刻みで変化させたそれぞれの入射角度を基準(角度変化量(0、0))にした値である。
シミュレーションでは、眼球30で反射され、PSD3の中央に入射する信号光の平面ミラー2の位置での射出角度(平面ミラー2での反射角度)を、眼球30の基準角度毎に数値演算により求めた。尚、PSD3の中央は、座標(0、0)として表現されている。
また、射出角度毎の信号光と、眼球30の基準角度(θx,θy)との差分(Δθx、Δθy)を、PSD3の受光面への入射位置(x,y)から推定する逆演算式を用いて2次関数により表現し、その係数をテイラー展開による方法で数値的に算出した。
図8(a)において、格子点は実際の眼球30の回旋角度であり、ドットが推定位置である。眼球30の回旋角度が小さい場合には、良好な一致が得られている。この場合、|Δθx|≦2.5度の範囲で、誤差は最大0.1度程度に収まっている。ここで、2.5度という数値は、基準角度を5度刻みとした半分の値であり、光が検出されていない領域が生じないための条件を意味している。また、平面ミラー2とPSD3を平面内でX方向に配置した構成を想定したため、Y方向の誤差はX方向よりも小さい値となっている。
図8(b)においても、図8(a)の結果と同等の誤差範囲で、眼球30の回旋角度が推定されている。
このシミュレーション結果は、眼球30の回旋角度の推定値を示したものである。眼球30の回旋角度は、正視の方向であるZ軸に対し、眼球30の中心、すなわち回旋の中心位置と、角膜の中心位置とを結ぶ直線とがなす角度と定義することができる。従って、瞳孔31の位置は、眼球30の中心位置と角膜の中心位置との距離だけ、眼球30の中心位置から眼球30の回旋角度の方向に離れた座標として算出することができる。なお、眼球30の中心位置から角膜の中心位置までの距離は、予め眼球モデルで与えられている。
このように、瞳孔位置取得部152の処理によって、十分な精度で瞳孔31の位置を算出できることがわかった。
<第1の実施形態に係る瞳孔位置検知装置の効果>
以上説明してきたように、本実施形態では、眼球30の瞳孔31等の対象物に照射する光を所定の発光周期で変調し、発光周期に対応する周期の参照信号を用いて、PSD3の検出信号から発光周期に対応する周期の信号を抽出する。
これにより、対象物からの反射光を太陽光等のノイズ光から分離して抽出することができる。そして、対象物からの反射光の光強度が小さい場合でも、反射光のPSD3の受光面上での位置を高精度に検出することができる。
また、本実施形態によれば、対象物が眼球30の瞳孔31等の生体であって、光強度が大きい光を照射することが好ましくない場合に、光強度が小さい光で対象物からの反射光の位置を高精度に検出できるため、安全に、眼球30の瞳孔31の位置を正確に検出することができる。
さらに、本実施形態では、VCSEL1の発光部を所定のタイミングで変化させることで、眼球30への入射角度を変化させ、瞳孔31の位置の検知範囲を拡大することができる。これにより、MEMSミラー等の可動構造を用いずに非機械式の構成で、眼球30の瞳孔31等の対象物の位置を検知することができ、振動や外的衝撃に強い瞳孔位置の検知を実現することができる。
なお、本実施形態では、瞳孔位置検知装置10の例を説明したが、これに限定されるものではなく、さまざまな対象物に対して、光強度が小さい光を用いて対象物の位置や傾きを高精度に検出することができる。
また、本実施形態では、発光周期Tと参照信号の周期Tを一致させる例を説明したが、必ずしも一致が求められるものではなく、両者が対応する周期であればよい。例えば、発光周期Tに対して倍数や約数となる周期T等を用いてもよい。また両者の周期が近い場合でもノイズ光の低減効果が得られるため、使用用途に応じて、求められるSN(Signal to Noise)比が得られるように、発光周期Tに対する周期Tを決定してもよい。
[第2の実施形態]
次に、第2の実施形態に係る瞳孔位置検知装置10aについて説明する。尚、既に説明した実施形態と同一の構成部分についての説明は省略する場合がある。
図2を用いて説明したように、実施形態に係る瞳孔位置検知装置は、眼球30が回旋した際に、信号光がPSD3の受光面から外れて見失われることで、瞳孔位置の検知をできなくなる場合がある。
そこで、本実施形態では、VCSEL1の複数の発光部から発光周期の異なる複数のレーザ光を眼球30に向けて同時に(並行して)照射し、また、複数の照射レーザ光による信号光のビームスポットをPSD3により同時、又はPSD3の処理時間内で受光する。なお、PSD3の処理時間とは、PSD3がビームスポットを受光後、電気回路による処理を実行し、ビームスポットの位置を示す検出信号を出力するまでの時間を意味する。
このようにして得られるPSD3の検出信号を用いて信号光が見失われることを低減している。以下に、VCSEL1の「2つ」の発光部から眼球30に向けて同時にレーザ光を照射する場合を例として、上記の機能について詳細に説明する。
<第2の実施形態に係る処理部の機能構成>
図9は、本実施形態に係る瞳孔位置検知装置の備える処理部の機能構成の一例を説明するブロック図である。
処理部100aは、発光駆動部110aと、参照信号出力部120aと、信号抽出部140aとを有している。
発光駆動部110aは、VCSEL1の2つの発光部にそれぞれ異なる周期T、Tの駆動信号を出力し、VCSEL1の備える2つの発光部を、それぞれ発光周期T、Tで同時に発光駆動させる機能を有する。発光駆動部110aは、光源駆動回路105等で実現することができる。
また、参照信号出力部120aは、信号発生回路106等により実現され、信号抽出部140の備える参照信号入力部141に周期TR1、TR2の参照信号を同時に出力する機能を有する。
ここで、眼球30に照射された発光周期T、Tのレーザ光は、眼球30の複数の箇所で同時に反射され、PSD3の受光面に同時に入射する。PSD3はそれらを同時、或いはPSD3の処理時間内において検出した1つの検出信号を出力する。このような検出信号は、検出信号入力部130を介して位相差調整部142aに入力される。
次に、信号抽出部140aは、VCSEL1の発光部の発光周期T、Tにそれぞれ対応する周期TR1、TR2の参照信号を用いて、PSD3の出力する検出信号から発光周期に対応する周期T、Tの抽出信号を同時に抽出する機能を有する。このような機能を実現するために、信号抽出部140aは、参照信号入力部141aと、位相差調整部142aと、乗算部143aと、フィルタ部144aと、信号増幅部145aと、抽出信号出力部146aとを有している。尚、以下の各機能部の処理は、周期TR1、TR2の参照信号において同時に実行されるものとする。
参照信号入力部141aは、参照信号出力部120の出力する周期TR1、TR2の参照信号を入力し、位相差調整部142aに出力する。
位相差調整部142aは、検出信号の位相φと参照信号の位相φR1の位相差、及び検出信号の位相φと参照信号の位相φR2の位相差をそれぞれ調整し、調整後の乗算信号SR、SRを乗算部143aに出力する機能を有する。
この調整によりそれぞれの直流信号の出力を最大化することができる。
乗算部143aは、入力した検出信号と周期TR1の参照信号、及び検出信号と周期TR2の参照信号を、それぞれ掛け合わせる処理を実行する。
位相差調整部142aで周期Tと周期TR1とを略一致させることで、検出信号における信号光成分と参照信号の差周波成分を直流信号にすることができ、周期Tの信号光成分S(t)とノイズ光成分Nb(t)を周波数領域で分離させることができる。同様に、位相差調整部142aで周期Tと周期TR2とを略一致させることで、周期Tの信号光成分S(t)とノイズ光成分Nb(t)を周波数領域で分離させることができる。
乗算部143aは、検出信号と周期TR1の参照信号を乗算した乗算信号SR、及び検出信号と周期TR2の参照信号を乗算した乗算信号SRを、フィルタ部144aに出力することができる。
フィルタ部144aは、入力した調整後の乗算信号SR、SRに対し、それぞれローパスフィルタ処理を実行し、抽出したそれぞれの直流成分又は低周波成分の少なくとも1つに該当する抽出信号を信号増幅部145に出力する機能を有する。また、信号増幅部145aは入力した各抽出信号を瞳孔位置算出のために処理可能なレベルにまで増幅して抽出信号出力部146aに出力することができる。また、抽出信号出力部146aは、増幅された各抽出信号を演算部150に出力することができる。
<第2の実施形態に係る処理部の動作>
次に、本実施形態に係る処理部100aの動作について説明する。
図10は、本実施形態に係る処理部の動作の一例を示すフローチャートである。
先ず、ステップS101において、発光駆動部110aは、VCSEL1を発光周期T、Tで発光駆動させる。
続いて、ステップS103において、参照信号出力部120aは、発光周期Tと同じ周期Tの参照信号と、発光周期Tと同じ周期Tの参照信号を同時に出力する。信号抽出部140aの備える参照信号入力部141aは、各参照信号を入力する。
続いて、ステップS105において、検出信号入力部130はPSD3の検出信号を入力する。
続いて、ステップS107において、位相差調整部142aは、検出信号入力部130から検出信号を入力し、また、参照信号入力部141aから周期TR1、TR2の参照信号を入力する。位相差調整部142aは、検出信号の位相φと参照信号の位相φR1の位相差、及び検出信号の位相φと参照信号の位相φR2の位相差をそれぞれ調整し、調整後の乗算信号SR、SRを位相差調整部143aに出力する。
続いて、ステップS109において、乗算部143aは、検出信号と周期TR1の参照信号、及び検出信号と周期TR2の参照信号のそれぞれを掛け合わせる処理を実行する。また、乗算部143aは、検出信号と周期TR1の参照信号を乗算した乗算信号SRと、検出信号と周期TR2の参照信号を乗算した乗算信号SRとを、フィルタ部144aに出力する。
続いて、ステップS111において、フィルタ部144aは、入力した調整後の乗算信号SR、SRに対し、それぞれローパスフィルタ処理を実行し、抽出したそれぞれの直流成分又は低周波成分の少なくとも1つに該当する抽出信号を信号増幅部145に出力する。
続いて、ステップS113において、信号増幅部145aは入力した各抽出信号を瞳孔位置算出のために処理可能なレベルにまで増幅し、抽出信号出力部146aに出力する。
続いて、ステップS115において、抽出信号出力部146aは、入力した各抽出信号を演算部150に出力する。
続いて、ステップS117において、眼球回旋角度推定部151は、回旋角度を推定する逆演算式に入力した各抽出信号を代入し、それぞれ眼球回旋角度を算出して瞳孔位置取得部152に出力する。
続いて、ステップS119において、瞳孔位置取得部152は、入力した各眼球回旋角度に基づき、眼球表面形状のモデルを用いて取得されるそれぞれの瞳孔位置データを瞳孔位置出力部160に出力する。
続いて、ステップS121において、瞳孔位置出力部160は、入力した各瞳孔位置データを出力する。
このようにして、処理部100aは、PSD3の出力する検出信号に基づいて取得される眼球30の瞳孔31の位置データを出力することができる。
<第2の実施形態に係る瞳孔位置検知装置の作用効果>
次に、本実施形態に係る瞳孔位置検知装置の作用効果について説明する。
図11は、本実施形態に係るPSDの受光面上で形成される信号光のビームスポットの一例を説明する図である。
図11に示すように、PSD3の受光面3a上には、周期Tの信号光のビームスポット111、及び周期Tの信号光のビームスポット112が形成されている。ビームスポット111及び112は、同時、又はPSD3の処理時間内において、受光面3a上に形成されたビームスポットである。
一般に、PSDは、受光面上に形成された1つのビームスポットの位置を検出し、図11に示すような受光面3a上に形成された2つのビームスポットのそれぞれの位置を検出することはできない。
これに対し、本実施形態では、各発光周期に対応する周期の参照信号を用いて、PSD3の検出信号から各発光周期に対応する信号を分離して抽出する。そして抽出信号から受光面3a上に形成された2つのビームスポットのそれぞれの位置を検出する。
1つのビームスポットを用いる場合に対し、2つのビームスポットを用いると、受光面3a上にビームスポットが形成される確率が高くなるため、信号光が見失われることを低減することができる。
なお、本実施形態では受光面3a上に2つのビームスポットが形成される場合を例として説明したが、ビームスポットの数をさらに増やしてもよい。ビームスポット数の増加に伴い、受光面3a上にビームスポットが形成される確率がより高くなるため、信号光が見失われることをさらに低減することができる。
この場合、5つのビームスポットが中央と四隅に形成されるようにすると、眼球30の回旋により、図11の±X方向及び±Y方向の何れの方向にビームスポットが移動しても、何れかのビームスポットを受光することができる。このようにして受光面3a上にビームスポットが形成される確率を上げることができるため、さらに好適である。
また、本実施形態では、信号抽出部140aにおける乗算部143a等の処理を、各周期の参照信号に対して同時(パラレル)に実行する例を示したが、これに限定されるものではない。例えば、時系列(シリアル)に参照信号の周期を切り替えながら、周期毎に時系列に処理を行ってもよい。つまり、先ず周期TR1の参照信号を用いた信号抽出処理を実行し、その後、周期TR2の参照信号を用いた信号抽出処理を実行するようにしてもよい。
高速で処理を実行するために、信号抽出部140aの処理をハードウェアの電子回路で実行する場合、各周期の参照信号に対する同時処理を行うと高速処理が実現できる。しかしその一方で、同じ処理を実行する電子回路が周期の数だけ必要になるため、電子回路の規模が大きくなる。電子回路規模に伴い装置コストが増大し、また電子回路サイズに応じて装置が大型化する場合がある。
信号抽出処理を時系列で実行することで、電子回路を共通化できるため、電子回路の規模の大型化を防ぐことができる。これにより装置コストの低減、及び装置の小型化を図ることができる。
なお、これ以外の効果は、第1の実施形態で説明したものと同様である。
[第3の実施形態]
次に、第3の実施形態に係る眼球の表面形状測定装置について説明する。
本実施形態では、VCSEL1の3つ以上の発光部から発光周期の異なる3つ以上のレーザ光を眼球30に向けて同時に照射し、複数の照射レーザ光による信号光のビームスポットをPSD3により同時、又はPSD3の処理時間内で受光する。このようにして得られるPSD3の検出信号を用いて、眼球30の表面形状を測定する。以下に、VCSEL1の「3つ」の発光部から眼球30に向けて同時にレーザ光を照射する場合を一例として、上記の機能について詳細に説明する。
<第3の実施形態に係る処理部の機能構成>
図12は、本実施形態に係る眼球の表面形状測定装置の備える処理部の機能構成の一例を説明するブロック図である。
図12に示すように、処理部100bは、発光駆動部110bと、参照信号出力部120bと、信号抽出部140bと、演算部150bと、表面形状出力部170とを有している。ここで、表面形状出力部170は、「出力部」の一例である。
発光駆動部110b、参照信号出力部120b、及び信号抽出部140bの各機能は、それぞれ発光駆動部110a、参照信号出力部120a、及び信号抽出部140a(図9参照)における各周期の信号の数を、2つから3つにした点のみが異なり、他は同様であるため、ここでは説明を省略する。
図12を参照して説明を続ける。演算部150bは、信号抽出部140bから入力した抽出信号に基づき、眼球30の曲率半径を取得する演算処理を実行する機能を有する。このような機能を実現するために、演算部150bは表面形状取得部153を有している。
表面形状取得部153は、抽出信号出力部146bから3つの抽出信号を入力する。3つの抽出信号の示すデータを球面にフィッティングすることで、眼球30の曲率半径を取得することができる。そして、曲率半径に基づいて取得される眼球の表面形状データを、表面形状出力部170に出力することができる。
表面形状出力部170は、表面形状取得部153から入力した表面形状データを出力することができる。
<第3の実施形態に係る処理部の動作>
図13は、本実施形態に係る眼球の表面形状測定装置の備える処理部の動作の一例を説明するフローチャートである。
ここで、ステップS131~S149の処理は、図10で説明したステップS101~119の処理に対し、各周期の信号の数を、2つから3つにした点のみが異なり、他は同様であるため、ここでは説明を省略する。
図13のステップS151において、表面形状取得部153は、3つの抽出信号を入力し、球面にフィッティングすることで、球面の曲率半径を取得する。そして、曲率半径に基づいて取得される眼球の表面形状データを表面形状出力部170に出力する。
続いて、ステップS153において、表面形状出力部170は、表面形状取得部153から入力した表面形状データを出力する。
このようにして、処理部100bは、PSD3の出力する検出信号に基づき、眼球30の表面形状データを取得し、出力することができる。なお、表面形状測定装置10bは、曲率半径データを出力してもよい。
<第3の実施形態に係る処理部の作用効果>
ここで、図14は、本実施形態に係るPSDの受光面上で形成される信号光のビームスポットの一例を説明する図である。
図14に示すように、PSD3の受光面3a上には、周期Tの信号光のビームスポット241、周期Tの信号光のビームスポット242、及び周期Tの信号光のビームスポット243が形成されている。ビームスポット241~243は、同時、又はPSD3の処理時間内において、受光面3a上に形成されたビームスポットである。
第2の実施形態で説明したものと同様に、本実施形態では、各発光周期に対応する周期の参照信号を用いて、PSD3の検出信号から各発光周期に対応する抽出信号を分離して抽出する。表面形状取得部153は、3つの抽出信号に基づき、眼球30の曲率半径及び表面形状を取得することができる。
ここで、上述したように、眼球30の表面形状のモデルは、レーザ光が眼球30に入射する角度、及び眼球30の回旋角度を推定する逆演算式(近似式)の決定に利用されるものである。しかし、眼球の表面形状には、個人差や年齢、性別による差異があり、一意的な眼球30の表面形状のモデルを利用すると、眼球30の瞳孔位置検知に誤差が生じる場合がある。
本実施形態によれば、取得された表面形状に基づき、眼球30の表面形状のモデルを構築することができる。従って、実測値に基づき構築された眼球30の表面形状のモデルを利用できるため、表面形状モデルの個人差や年齢、性別による差異を補正し、レーザ光が眼球30に入射する角度、及び眼球30の回旋角度を推定する逆演算式(近似式)を適切に決定することができる。これにより、瞳孔位置検知装置10等により瞳孔位置を正確に検知することができる。
なお、眼球30に照射するレーザ光の数が増えるほど眼球30の表面形状を正確に測定できるため、照射レーザ光の数はできるだけ多い方が好適である。
[第4の実施形態]
次に、第4の実施形態に係る網膜投影表示装置を、図15を参照して説明する。
図15は、本実施形態に係る網膜投影表示装置の構成の一例を説明する図である。
網膜投影表示装置50は、RGB(Red、Green、Blue)レーザ光源51と、走査ミラー52と、平面ミラー53と、ハーフミラー54と、画像生成手段55と、瞳孔位置検知装置10とを有している。
RGBレーザ光源51は、RGB3色のレーザ光を時間的に変調して出力する。走査ミラー52は、RGBレーザ光源51からの光を二次元的に走査する。走査ミラー52は、例えばMEMSミラーである。但し、これに限定されるものではなく、ポリゴンミラー、ガルバノミラー等、光を走査する反射部を有するものであれば良い。小型化・軽量化の点でMEMSミラーが有利となる。なお、MEMSミラーの駆動方式は、静電式、圧電式、電磁式などいずれであっても良い。
平面ミラー53は、ハーフミラー54に向けて走査ミラー52による走査光を反射する。ハーフミラー54は、入射する光の一部を透過し、一部を眼球30に向けて反射する。ハーフミラー54は、凹型の曲面形状を有しており、反射した光を眼球30の瞳孔31の近傍に収束させ、網膜32の位置で結像させる。これにより走査光で形成される画像を網膜32に投影する。図中破線で示されている光51aは、網膜32上に画像を形成する光を表している。尚、ハーフミラー54は、必ずしも反射光と透過光の光量が1対1にならなくてもよい。
瞳孔位置検知装置10は、眼球運動に応じた瞳孔31の位置を検知し、画像生成手段55に、瞳孔31の位置のフィードバック信号を送信する。
画像生成手段55は、走査ミラー52の振れ角制御機能と、RGBレーザ光源51の発光制御機能とを有している。また画像生成手段55は、瞳孔位置検知装置10から瞳孔31の位置のフィードバック信号を受信する。瞳孔位置検知装置10により検知された瞳孔31の位置に応じて、走査ミラー52の振れ角と、RGBレーザ光源51の発光を制御し、画像の投影角度、又は画像内容を書き換える。これにより、眼球運動に伴う瞳孔31の位置の変化に追従(アイトラッキング)した画像を、網膜32上に形成することができる。
上述では、網膜投影表示装置50をウェアラブル端末であるヘッドマウントディスプレイ(HMD;Head Mount Display)とした一例を示した。但し、ヘッドマウントディスプレイとしての網膜投影表示装置50は、「人」の頭部に直接装着させるだけでなく、固定部等の部材を介して間接的に「人」の頭部に装着させるもの(頭部装着型表示装置)であってもよい。また、左右眼用に一対の網膜投影表示装置50を設けた両眼式の網膜投影表示装置としてもよい。
[実施形態に係る瞳孔位置検知装置と特許文献1に記載の装置との比較]
ここで、特許文献1に記載の装置と、実施形態に係る瞳孔位置検知装置10とを比較する。図16は、特許文献1に記載されたアイトラッキング装置の構成を示す図である。
特許文献1に記載の装置では、レーザ光源を用い、レーザ光をMEMSミラーにより走査し、眼球への光の入射角度を変更している。これに対し、実施形態では、複数の発光部を有するVCSELを光源とし、VCSELの発光部の変更により、眼球への光の入射角度を変更している。また実施形態では、VCSELと併せて光偏向手段(レンズ、平面ミラー、マイクロレンズアレイ、凹型曲面ミラー、ホログラム回折素子、プリズムアレイ、回折格子等)を用いることで、入射角度の変更の範囲を拡大している。実施形態では、このように眼球への光の入射角度を、可動部を用いずに変更する。そのため、可動部を有する構成と比較して、振動や外的衝撃等に強くなる。
特許文献1に記載の装置では、角膜に照射した光の反射光強度を光検出器により検出するのに対し、実施形態では、PSDを用い、眼球で反射され、PSDの受光面に入射する光の位置を検出する。PSDは、光強度に依存せずに入射光の位置を検出するため、眼球における光の反射位置等に起因して反射光量に差が生じても、反射光量の差の影響を受けずに高感度の位置検出が可能である。その結果、瞳孔等の眼球の傾き位置を高精度に検知できる。
実施形態では、発光駆動部110を備え、発光駆動部110によりVCSELの発光部の位置と、発光部間の発光タイミングをずらして個別点灯する。これにより、眼球の運動の粗動を捕らえて、PSDの受光面に眼球からの反射光が収まるようにし、かつPSDによる位置検出で眼球運動の微動を捉えることができる。
特許文献1に記載の装置では、眼球での反射光の時間軸上の2つのピーク強度(2点の角膜上の反射位置)から眼球位置を推定している。実施形態では、角膜等の眼球上の1点の反射位置により眼球位置を推定する。そのためVCSELとPSDは、必ずしも対称位置になくともよい。実施形態では、PSDを、眼球の正反射(鏡面反射)角近傍に配置せず、VCSELと同じ側に配置してもよい。
以上、本発明の実施形態の例について記述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
また、瞳孔位置検知装置10により検知された瞳孔位置の情報を、電子機器の入力装置におけるアイトラッキングに利用することもできる。例えば、図1に示した瞳孔位置検知装置10の出力を、電子機器への入力情報としてアイトラッキングに利用する場合等である。これにより頭部位置ずれ等にロバストなアイトラッキングを実現することができる。
例えば、 眼球の傾きや瞳孔位置(角膜)の検出する機能を有する検眼装置にも採用する事ができる。検眼装置とは、視力検査、眼屈折力検査、眼圧検査、眼軸長検査など種々の検査を行う事が出来る装置を指す。検眼装置は、眼球に非接触で検査可能な装置であって、被験者の顔を支持する支持部と、検眼窓と、検眼に際し被検者の眼球の向き(視線の向き)を一定にする表示を行う表示部と、制御部と、測定部とを有している。測定部の測定精度を上げるために眼球(視線)を動かさず一点を見つめる事が求められ、被検者は支持部に顔を固定し、検眼窓から表示部に表示される表示物を凝視する。このとき、眼球の傾き位置を検出する際に、本実施形態の眼球の傾き位置検知装置が利用可能である。眼球の傾き位置検知装置は測定の妨げにならないよう、測定部の側方に配置される。眼球の傾き位置検知装置で得られた眼球の傾き位置(視線)情報は、制御部にフィードバックする事が可能で、眼球の傾き位置情報に応じた測定をする事ができる。
1 VCSEL(光源部の一例)
1a、1b レーザ光
2 平面ミラー
3 PSD
10、10a 瞳孔位置検知装置
10b 表面形状測定装置
20 眼鏡型支持体
21 眼鏡フレーム
22 眼鏡レンズ
30 眼球
31 瞳孔
32 網膜
50 網膜投影表示装置
51 RGBレーザ光源
52 走査ミラー
53 平面ミラー
54 ハーフミラー
55 画像生成手段
100 処理部
101 CPU
102 ROM
103 RAM
104 SSD
105 光源駆動回路
106 信号発生回路
107 A/D変換回路
108 入出力I/F
110、110a、110b 発光駆動部
120、120a、120b 参照信号出力部
130 検出信号入力部
140、140a、140b 信号抽出部
141、141a、141b 参照信号入力部
142、142a、142b 位相差調整部
143、143a、143b 乗算部
144、144a、144b フィルタ部
145、145a、145b 信号増幅部
146、146a、146b 抽出信号出力部
150 演算部
151 眼球回旋角度推定部
152 瞳孔位置取得部
153 表面形状取得部
160 瞳孔位置出力部
170 表面形状出力部
B システムバス
P 反射点
Sd 検出信号
R 参照信号
SR 乗算信号
Nb ノイズ光成分
φ 信号光成分の位相
φ 参照信号の位相
A 参照信号の振幅
US2016/0166146 US2017/0276934

Claims (12)

  1. 少なくとも3つの発光部を備え、対象物に光を照射する光源部と、
    前記3つの発光部をそれぞれ異なる発光周期で発光駆動させる発光駆動部と、
    照射された光の前記対象物からの反射光に応じた検出信号を出力する位置検出部と、
    前記3つの発光部のそれぞれ異なる発光周期に対応する周期の参照信号を用いて、前記検出信号から抽出された直流成分又は低周波成分の少なくとも1つに該当する抽出信号を出力する抽出信号出力部と、
    前記抽出信号出力部から出力される前記発光周期の抽出信号に基づいて取得される前記対象物の表面形状データを出力する表面形状出力部と、を有し、
    前記位置検出部は、連続的な且つ画素分割されていない受光面を備えた単一の2次元PSD(Position Sensitive Detector)である
    光学装置。
  2. 前記光源部は前記対象物に前記少なくとも3つの発光部のそれぞれから並行して光を照射する
    請求項1に記載の光学装置。
  3. 前記抽出信号出力部は、
    前記検出信号と、前記参照信号とを乗算する乗算部と、
    前記検出信号と、前記参照信号との位相差を調整する位相差調整部と、
    前記乗算部により乗算された乗算信号から直流成分及び低周波成分の少なくとも1つを抽出するフィルタ部と、を有する
    請求項1又は2に記載の光学装置。
  4. 前記抽出信号出力部は、前記発光周期と同じ周期の前記参照信号を用いて前記検出信号から抽出された直流成分又は低周波成分の少なくとも1つに該当する前記抽出信号を出力する
    請求項1乃至の何れか1項に記載の光学装置。
  5. 前記参照信号を出力する参照信号出力部を有する
    請求項1乃至の何れか1項に記載の光学装置。
  6. 前記発光駆動部と、前記参照信号出力部と、に所定周期の電気信号を出力する信号発生部を有する
    請求項の何れか1項に記載の光学装置。
  7. 前記対象物は眼球に含まれ、
    前記抽出信号に基づき取得される前記対象物の位置、傾き、曲率半径及び表面形状の少なくとも1つを示すデータを出力する出力部を有する
    請求項1乃至の何れか1項に記載の光学装置。
  8. 前記光源部は、面発光レーザを含む
    請求項1乃至の何れか1項に記載の光学装置。
  9. 前記光源部は、パルスレーザを含む
    請求項1乃至の何れか1項に記載の光学装置。
  10. 請求項1乃至の何れか1項に記載の光学装置を有する
    網膜投影表示装置。
  11. 請求項1乃至の何れか1項に記載の光学装置を有する
    頭部装着型表示装置。
  12. 請求項1乃至9の何れか1項に記載の光学装置を有する
    入力装置。
JP2018223811A 2018-11-29 2018-11-29 光学装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置 Active JP7418149B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018223811A JP7418149B2 (ja) 2018-11-29 2018-11-29 光学装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置
US16/689,334 US11334153B2 (en) 2018-11-29 2019-11-20 Optical device, retinal projection display, head-mounted display, and input device
EP19210728.2A EP3660576A1 (en) 2018-11-29 2019-11-21 Optical device, retinal projection display, head-mounted display, and input device
JP2023042782A JP7464166B2 (ja) 2018-11-29 2023-03-17 瞳孔又は角膜の位置検知装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018223811A JP7418149B2 (ja) 2018-11-29 2018-11-29 光学装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023042782A Division JP7464166B2 (ja) 2018-11-29 2023-03-17 瞳孔又は角膜の位置検知装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置

Publications (2)

Publication Number Publication Date
JP2020087200A JP2020087200A (ja) 2020-06-04
JP7418149B2 true JP7418149B2 (ja) 2024-01-19

Family

ID=68653393

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018223811A Active JP7418149B2 (ja) 2018-11-29 2018-11-29 光学装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置
JP2023042782A Active JP7464166B2 (ja) 2018-11-29 2023-03-17 瞳孔又は角膜の位置検知装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023042782A Active JP7464166B2 (ja) 2018-11-29 2023-03-17 瞳孔又は角膜の位置検知装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置

Country Status (3)

Country Link
US (1) US11334153B2 (ja)
EP (1) EP3660576A1 (ja)
JP (2) JP7418149B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111665622B (zh) * 2019-03-06 2022-07-08 株式会社理光 光学装置、视网膜投影显示装置、头部安装型显示装置
US10990816B1 (en) * 2019-05-01 2021-04-27 Facebook Technologies, Llc Apparatuses, systems, and methods for mapping corneal curvature
JP2022108496A (ja) 2021-01-13 2022-07-26 株式会社リコー 光学装置、視線検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、立体物の傾き検出方法及び視線検出方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017037708A1 (en) 2015-09-02 2017-03-09 Eyeway Vision Ltd. Eye projection system and method
US20170131766A1 (en) 2013-11-27 2017-05-11 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104170A (ja) * 1993-09-30 1995-04-21 Olympus Optical Co Ltd 視線検出装置
JPH08322004A (ja) * 1995-05-24 1996-12-03 Olympus Optical Co Ltd 立体視ディスプレイ装置
JP2003177984A (ja) * 2001-10-04 2003-06-27 Sony Corp 通信システム、送信装置、並びに受信装置
JP4608996B2 (ja) 2004-08-19 2011-01-12 ブラザー工業株式会社 瞳孔検出装置およびそれを備えた画像表示装置
JP2008281493A (ja) 2007-05-11 2008-11-20 Nippon Steel Corp 表面欠陥検査システム、方法及びプログラム
US8102514B2 (en) * 2007-09-14 2012-01-24 Sanyo Electric Co., Ltd. Beam irradiation apparatus
JP2009183325A (ja) 2008-02-02 2009-08-20 Calsonic Kansei Corp 瞳孔位置検出装置
US9836639B2 (en) * 2014-01-10 2017-12-05 Facebook, Inc. Systems and methods of light modulation in eye tracking devices
US10213105B2 (en) 2014-12-11 2019-02-26 AdHawk Microsystems Eye-tracking system and method therefor
US10317672B2 (en) 2014-12-11 2019-06-11 AdHawk Microsystems Eye-tracking system and method therefor
JP6646361B2 (ja) * 2015-04-27 2020-02-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2018186046A1 (ja) 2017-04-04 2018-10-11 国立大学法人福井大学 映像生成装置及び映像生成方法
JP2019154815A (ja) 2018-03-13 2019-09-19 株式会社リコー 眼球の傾き位置検知装置、表示装置、及び検眼装置
JP7143739B2 (ja) 2018-11-27 2022-09-29 株式会社リコー 眼球の傾き位置検知装置、表示装置、入力装置及び検眼装置
JP7424099B2 (ja) 2019-03-06 2024-01-30 株式会社リコー 光学装置、網膜投影表示装置、頭部装着型表示装置、及び検眼装置
CN111665622B (zh) 2019-03-06 2022-07-08 株式会社理光 光学装置、视网膜投影显示装置、头部安装型显示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170131766A1 (en) 2013-11-27 2017-05-11 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection
WO2017037708A1 (en) 2015-09-02 2017-03-09 Eyeway Vision Ltd. Eye projection system and method

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"同期検波を活用し、微小信号を高精度に計測"、2016年10月29日、インターネット
三尾典克、"微小信号計測"、PP.13-15、2015年12月24日、インターネット
倉沢 一男、"位置測定におけるPSDの応用"精密機械(精機学会誌)、精機学会、1985年4月、第51巻、第4号、PP.68-75.

Also Published As

Publication number Publication date
JP2020087200A (ja) 2020-06-04
US11334153B2 (en) 2022-05-17
JP2023063585A (ja) 2023-05-09
JP7464166B2 (ja) 2024-04-09
US20200174564A1 (en) 2020-06-04
EP3660576A1 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
JP7464166B2 (ja) 瞳孔又は角膜の位置検知装置、網膜投影表示装置、頭部装着型表示装置、及び入力装置
US10983592B2 (en) Eyeball-tilt position device and apparatus including same
EP3397137B1 (en) Eye tracker based on retinal imaging via light-guide optical element
US20200366887A1 (en) Method and system for tracking eye movement in conjunction with a light scanning projector
US10317672B2 (en) Eye-tracking system and method therefor
CN112639555A (zh) 用于求取眼睛的视线方向的方法
US10936056B2 (en) Method and system of eye tracking with glint drift correction on wearable heads-up display
US20190317597A1 (en) Method and System for Eye Tracking with Glint Space Recalibration on Wearable Heads-Up Display
US11157077B2 (en) Method and system for dual mode eye tracking on wearable heads-up display
JP7388507B2 (ja) 瞳孔又は角膜の位置検知装置用面発光レーザ、光源装置及び眼球の傾き位置検出装置
CN114647084A (zh) 具有眼睛跟踪的基于mems振镜的扩展现实投影
Mastrangelo et al. A low-profile digital eye-tracking oculometer for smart eyeglasses
US11892634B2 (en) Multi-plane projection with laser beam scanning in augmented reality displays
JP7424099B2 (ja) 光学装置、網膜投影表示装置、頭部装着型表示装置、及び検眼装置
RU2724442C1 (ru) Устройство и способ определения расстояния фокусировки глаза для наголовного устройства отображения, наголовное устройство отображения
US11914151B2 (en) Optical device, method of detecting degree of inclination of three-dimensional object, and line-of-sight detection method
Meyer et al. A Highly Integrated Ambient Light Robust Eye-Tracking Sensor for Retinal Projection AR Glasses Based on Laser Feedback Interferometry
JP7428028B2 (ja) 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置
JP7419900B2 (ja) 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置
US20220299762A1 (en) Optical device, line-of-sight detection device, retinal projection display device, head-mounted display, optometric device, user-condition estimation apparatus, driver-assistance system, method of detecting degree of inclination of three-dimensional object, and line-of-sight detection method
US20240069333A1 (en) Device for monitoring an eye position of a user’s eye in a virtual retinal display, data glasses, and method
US20240028116A1 (en) Timer-based eye-tracking
JP2022142736A (ja) 光学装置、視線検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、ユーザ状態推定装置、運転支援システム、立体物の傾き検出方法及び視線検出方法
WO2023119040A1 (en) Inclination detector, line-of-sight detection device, retinal projection display device, head-mounted display device, optometric device, virtual-reality display apparatus, user-condition estimation apparatus, driver-assistance system, method of detecting degree of inclination of three-dimensional object, and method of detecting line-of-sight
JP7158827B2 (ja) 眼科撮影装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220909

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230317

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230328

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230404

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230414

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20230418

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240109

R150 Certificate of patent or registration of utility model

Ref document number: 7418149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150