JP6159263B2 - 照射特性を調整可能にして少なくとも1つの眼における少なくとも1つのパラメータを捕捉する光学的測定装置及び方法 - Google Patents

照射特性を調整可能にして少なくとも1つの眼における少なくとも1つのパラメータを捕捉する光学的測定装置及び方法 Download PDF

Info

Publication number
JP6159263B2
JP6159263B2 JP2013558450A JP2013558450A JP6159263B2 JP 6159263 B2 JP6159263 B2 JP 6159263B2 JP 2013558450 A JP2013558450 A JP 2013558450A JP 2013558450 A JP2013558450 A JP 2013558450A JP 6159263 B2 JP6159263 B2 JP 6159263B2
Authority
JP
Japan
Prior art keywords
eye
irradiation
unit
light
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013558450A
Other languages
English (en)
Other versions
JP2014509533A (ja
Inventor
ニスティコ ヴァルター
ニスティコ ヴァルター
ホフマン ヤン
ホフマン ヤン
シュミット エーバーハルト
シュミット エーバーハルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Original Assignee
SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH filed Critical SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Publication of JP2014509533A publication Critical patent/JP2014509533A/ja
Application granted granted Critical
Publication of JP6159263B2 publication Critical patent/JP6159263B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Description

本発明は、光学的測定装置を着用する被検者の少なくとも一方の眼における少なくとも1つのパラメータを捕捉(取得)する光学的測定装置であって、被検者の頭部に光学的測定装置を固定するよう構成したフレームと、少なくとも一方の眼における少なくとも1つのパラメータを光学的に捕捉するよう構成した少なくとも1つの捕捉ユニットと、少なくとも一方の眼を照射する照射ユニットとを備える、光学的測定装置に関する。本発明は、さらに、少なくとも一方の眼の少なくとも1つのパラメータを捕捉する方法に関する。
従来技術からヘッドマウント型の視線追跡デバイスは既知である。特許文献1は、人の眼の動きをモニタリングする装置を開示している。このシステムは、人の眼に着用するフレームと、このフレームに設けたエミッタであり、人の眼に向けて光を発生する発光器のアレイと、及び発光器のアレイからの光を検出するようフレームに設けたセンサのアレイとを有する。これらセンサは眼又は瞼における対応部分から反射する光を検出し、これにより目の反射部分が瞼によって覆われた時を示す出力信号を発生する。このシステムによれば、その人の眠気レベルをモニタリングすることができる。
特許文献2は、人の眼の動きを使用して通信するシステム及び方法について開示しており、この場合、人の眼に光を指向させる発光器と、発光器からの光を検出するセンサと、このセンサに接続し、センサから受け取った順次の光強度信号をデータのストリームに変換する、及び/又は信号を理解可能なメッセージに変換するプロセッサとを含む。
特許文献3は、人の眼の動きをモニタリングする視線追跡システムを開示しており、この場合、アイカメラ及びシーンカメラを備え、使用者の眼の画像及び使用者が見たシーンの画像を示す電子ビデオデータを結び付けることを行う。さらに、このシステムには、ビデオデータをデジタル化し、かつアイデータ及びシーンデータを2つの処理チャネルに振り分けるフレーム取込み器と、ビデオデータから、使用者の眼を点光源で照射することにより使用者の眼に形成される基準スポットの位置を決定するスポット位置モジュールを組込む。このシステムには、さらに、瞳孔位置モジュールを組込み、使用者の注視ラインを決定することができるようにする。
特許文献4は、基準ポイントとしての検査シーンに配置した1個又は複数個の赤外線信号源と、被検者が着用する少なくとも1個の眼鏡(めがね)と、人の注視ポイントを計算するデータ処理及び記憶ユニットとを有する、注視ポイント検出システムを開示している。この眼鏡は、赤外線信号源からの赤外線信号を検出し、また赤外線信号源追跡信号を発生する画像センサと、被検者の注視方向を決定しかつ視線追跡信号を発生する視線追跡ユニットと、及び検査シーン映像を撮影し得るカメラユニットとを備える。
特許文献5は、ビデオ画面ポインタを使用者注視に関連する注視ポイントに表示する視線追跡システムを開示している。このシステムは、使用者の眼に焦点を合わせたカメラと、カメラの注視位置を使用者の瞳孔に固定するようカメラに連結した支持体と、及びCPU及び視線追跡インタフェースを有するコンピュータとを備える。眼の中心を決定することにより、ビデオ表示画面上のポインタを注視ポイントに表示する。特許文献5は、本明細書の冒頭に記載の光学的測定装置を開示している。
特許文献6は、透明レンズと、少なくとも1個の光源と、及び複数個の光検出器とを有する視線追跡システムを開示している。透明レンズは、眼に隣接して配置し得るものとする。少なくとも1個の光源は透明レンズ内に配置し、眼に向かって光を発生するよう構成する。少なくとも1個の光源は可視光に対して透過性を示す。複数個の光検出器は透明レンズ内に配置し、少なくとも1個の光源から発生した光を受け、また眼から反射するよう構成する。各光検出器は、可視光に対して透過性を示し、眼から反射した光を受光したとき出力信号を供給するよう構成する。
米国再発行特許第39,539号明細書 米国特許第6,163,281号明細書 米国特許出願公開第2004/0196433号明細書 国際公開第2010/83853号 国際公開第2004/066097号 米国特許出願公開第2010/0220291号明細書
既知のヘッドマウント型視線追跡装置は、被検者の眼で反射する外部の迷光が視線追跡機能に悪影響を与えるという欠点がある。被検者の眼をモニタリングするカメラは、眼の動きを追跡し続けるのに使用されるはっきりとした眼の特徴と、外部からの照明条件から生ずる反射などの特徴との区別をすることができない。一般的に、照射状況は極めて厳密に規定されない。信頼性の高い視線追跡は、しばしば外部条件及び追跡機構を攪乱する望ましくない迷光によって阻害される。したがって、既知のヘッドマウント型視線追跡装置は、通常、限定された精度及び確実性しか得られない。検出精度を向上するためには、時間がかかり、困難な較正手順を必要とする。さらに、既存の視線追跡装置は、使用者の眼における種々の個別特性用に補正するために、広範囲にわたる多重ポイント較正ルーチン作業を必要とする。このような特性の1つとして、個別の角膜の乱視又は角膜の非球形性があり、このことは人口の約1/3にとって光学的補正が必要であり、視線追跡装置のための較正による個別の補正が必要になるという大きな問題がある。
本発明の目的は、眼を特徴付ける少なくとも1つのパラメータをより信頼性高く捕捉(取得)できる光学的測定装置及び方法を得ることにある。
この課題は、本発明による特許請求の範囲の請求項1の特徴を有する光学的測定装置、及び請求項9の特徴を有する方法により解決する。本発明の有利な実施形態は特許請求の範囲の独立請求項に従属する従属請求項に記載する。
本発明による光学的測定装置は、光学的測定装置を着用する被検者の少なくとも一方の眼における少なくとも1つのパラメータを捕捉するよう作用する。この光学的測定装置は、前記被検者の頭部に前記光学的測定装置を固定するよう構成したフレームと、前記少なくとも一方の眼における少なくとも1つのパラメータを光学的に捕捉するよう構成した少なくとも1つの捕捉ユニットと、前記少なくとも一方の眼を照射する照射ユニットとを備える。本発明によれば、前記照射ユニットにより照射特性を調整可能にする。
このようにして、極めて良好に規定された照射状況を生ずる。照射ユニットにより、被検者の眼における反射が意図した通りに生じ、この反射を捕捉ユニットが捕捉することができる。捕捉ユニットが行った捕捉を、ロックインに類似した技術(測定信号から背景信号を周期的に差し引く)に従って照射特性に相関付けることにより、背景光及び迷光を極めて良好に抑制することができる。捕捉ユニットは、こうして外部からの迷光に不感性を示すようになることができる。検出精度及び視線追跡能力は極めて高くなる。照射特性は、捕捉ユニットの認識パターンとして作用することができる。複雑な較正手順は不要になる。
光学的測定装置によれば、構造化照明によって、角膜乱視を直接評価することができる。このことは、個別の医療診断装置(角膜湾曲計)によって行うのが一般的であった。本発明の実施形態によれば、この測定能力を有利にヘッドマウント型装置に組入れ、また視線追跡装置に組合わせることができ、したがって、多重較正ポイントの代わりに、構造化照明によって角膜乱視の評価及び補正を統合化することができる。
有利には、照射ユニットは、時間的照射シーケンス及び/又は空間的照射分布に関して調整可能に構成する。照射ユニットは単独の照射素子を有する構成とすることができる。この場合、時間的照射シーケンスは、照射素子の時間的発光特性を変化させることによって得ることができる。時間的照射シーケンスは、切替え周波数をオン/オフすることによって付与される。代案として、照射ユニットは2個又はそれ以上の照射素子を有する構成とすることができる。この場合、時間的照射シーケンスは、個別の照射素子における相関付けした又は相関付けしない切替えによって付与することができる。照射ユニット内での各照射素子に対して、異なった時間的照射又は発光パターンを生ずることができる。各照射素子における発光強度の時間的周波数は、若干又はすべての他の照射素子におけるそれぞれの照射特性に依存するものとすることができる。空間的照射分布は、個別の照射素子の相関付けした照射時間トレースによって得ることができる。したがって、極めて良好に規定された照射パターンを生じ、少なくとも一方の眼に対する照射外部環境を極めて良好に規定することができる。照射パターンを巧妙に加工すればするほど、外部からの迷光からより容易に区別することができるようになる。さらに、照射パターンは、異なった2つのセンサタイプ、すなわち、カメラセンサ及び光ダイオード(アレイ)に対して、各センサタイプの感度及び解像度特性に特別に適合させた、異なった照射を眼に当てるよう照射パターンを発生することができる。
有利には、照射ユニットは、前記光学的測定装置を前記被検者の頭部に固定した状態で、前記照射ユニットが前記少なくとも一方の眼に対面し、放つ放射が少なくとも部分的に前記少なくとも一方の眼に当たるように、前記フレームに取付けられる。このようにして、眼における反射は意図した通りに生ずることができる。さらに、この反射は照射ユニットと同一の照射パターンを示す。反射は捕捉ユニットによって容易に捕捉することができ、また照射パターンは、計画的な反射と望ましくない迷光からの反射とを区別する際立った特徴として作用することができる。検出精度は極めて高くなるよう改善される。
有利には、照射ユニットは、少なくとも2つの照射セグメントを有するものとし、これら照射セグメントは、その明度及び/又は光の色及び/又は主放射方向及び/又は発光の時間的シーケンスに関してそれぞれ個別に調整可能とする。照射セグメントは照射ユニットの照射素子と同一のものとすることができる。照射セグメントは、その照射特性に関して照射ユニット内で個別の独自な均質性を有する構成要素とすることができる。この場合、異なった照射セグメントは、空間的に離して配置するか、又はその照射特性に関して容易に区別可能にすることができる。明度及び/又は光の色及び/又は主放射方向及び/又は発光の時間的シーケンスは、捕捉ユニットによって容易に捕捉し、また識別することができる。
一実施形態において、照射ユニットは、少なくとも1個の光ガイド及び/又は少なくとも2個の光源、とくに、発光ダイオードを有する。発光ダイオードは寿命が長く、電力はそれほど必要ではなく、また極めて良好に規定された発光特性を有する。したがって、発光ダイオードは、携帯型光学的測定装置に極めて良好に適用できる。光ガイド及び発光ダイオードによれば、点光源のような照射を実現することができる。したがって、空間的照射パターンを極めて良好に規定することができる。
有利には、照射ユニットは可視光を発生するよう構成する。付加的に又は代替的に照射ユニットは、赤外線スペクトル範囲にある光、とくに、750ナノメートル〜1000ナノメートルの間における波長範囲の光を発生するよう構成することができる。赤外線光は望ましくない外部迷光から極めて容易に区別することができる。このようにして、検出精度は一層改善される。
有利には、フレームは、メガネレンズを収容する少なくとも1個のフレーム素子を有し、光学的測定装置を被検者の頭部に固定した状態で、前記照射ユニット(9,21,22)が前記少なくとも一方の眼(10l,10r)に対面し、放つ放射が少なくとも部分的に前記少なくとも一方の眼(10l,10r)に当たるように、前記フレーム(4)に取付けられる。この結果、照射ユニットを保持する付加的な素子は不要になる。とくに、光学的測定装置は、被検者が普通のメガネとして着用できる眼鏡装置として設計することができる。照射ユニットは、フレームに完全に組入れることができ、また装置全体を通常のメガネ装置に似たものとすることができる。このことは被検者にとって受け入れ易くなる。とくに、この場合、照射ユニットは数個の個別の照射セグメント又は照射素子を有する構成とし、これら照射セグメント又は照射素子を各メガネレンズの周縁に360゜にわたり円形となるよう位置決めすることができる。これにより、極めて良好に規定された空間的照射分布を生ずることができる。
有利には、捕捉された少なくとも1つのパラメータは、少なくとも一方の眼における、指向性及び/又は位置及び/又は瞼閉じ及び/又は瞳孔直径及び/又は角膜縁特性及び/又は強膜特性及び/又は虹彩特性及び/又は血管特性及び/又は角膜特性に関する。とくに、捕捉された少なくとも1つのパラメータは、角膜半径(前側、後側)、眼球半径、瞳孔中心から角膜中心までの距離、角膜中心から眼球中心までの距離、瞳孔中心から周縁中心までの距離、角膜曲率測定法による屈折率、角膜屈折率、硝子体液屈折率、水晶体から眼球中心まで、及び角膜中心まで、及び角膜頂点までの距離、水晶体屈折率、光軸の向き、瞳孔軸(アクロマチック軸)の向き、見る方向のライン、フラット軸及びスティープ軸における乱視度(ジオプター)及び向きの角度、虹彩直径、瞳孔直径(瞳孔長軸及び短軸)、瞳孔面積、周縁長軸及び短軸、眼の回転方向ねじれ、眼球内距離、眼の両眼転導、眼の内転/外転に対する統計、及び眼の上げ/下げ統計に関する。光学的測定装置は、視線追跡装置として動作することができる。
本発明による方法は、被検者の少なくとも一方の眼における少なくとも1つのパラメータを捕捉するよう作用し、以下のステップ、すなわち、
・前記被検者の頭部に光学的測定装置を固定する固定ステップであり、前記光学的測定装置は、少なくとも1個の捕捉ユニット及び照射ユニットを備えたものとする、該固定ステップと、
・前記照射ユニットにより前記少なくとも一方の眼を照射するステップと、
・前記少なくとも一方の眼における少なくとも1つのパラメータを前記捕捉ユニットによって光学的に捕捉するステップと、
・照射特性を設定するステップと、
・前記設定した照射特性に従って前記照射ユニットにより前記少なくとも一方の眼を照射するステップと
を含む。
有利には、少なくとも一方の眼を照射するステップでは、前記照射ユニットは、時間的照射シーケンス及び/又は空間的照射分布に応じて調節する。
有利には、少なくとも一方の眼における少なくとも1つのパラメータを光学的に捕捉する前記ステップは、以下のサブステップ、すなわち、
・前記少なくとも一方の眼における少なくとも2つの光反射及び/又は特徴を光学的に捕捉するステップと、及び
・前記捕捉した光反射及び/又は特徴によって前記少なくとも一方の眼における少なくとも1つのパラメータを決定するステップと
を含む。
とくに、少なくとも2つの光反射は照射ユニットによって計画的に発生させることができる。一実施形態において、少なくとも2つの光反射における第1光反射を照射ユニットの第1照射素子によって発生させるとともに、少なくとも2つの光反射における第2光反射を照射ユニットの第2照射素子によって発生させる。このとき、少なくとも2つの光反射は、照射ユニットが発生する照射パターンを直接反射する。
代案として、照射ユニットは、単に眼を照射するためにだけ使用し、少なくとも一方の眼の特徴は、その眼に対応する捕捉ユニットによって検出可能となるようにする。このためには、特別な照射色を使用することができる。
有利には、少なくとも2つの光反射及び/又は特徴を前記照射ユニットによって生ずる異なった照射で捕捉する。
一実施形態において、本発明方法は、以下の付加的なステップ、すなわち、
・前記被検者の視認挙動及び/又は眼の動き特性及び/又は瞳孔変化及び/又は外部条件及び/又は前記被検者の入力に関するデータを取得するステップと、
・取得したデータに応じて、前記時間的及び/若しくは空間的照射分布、並びに/又は照射パターンのための照射プログラムを設定するステップと
・前記設定した照射プログラムに従って前記前記時間的照射シーケンス及び/又は空間的照射分布及び/又は照射パターンを調節するステップと
を含む。
このようにして、照射プログラムは、それぞれに対応する状況に対して動的に調整することができる。被検者の視認挙動及び/又は眼の動き特性及び/又は瞳孔変化及び/又は外部照明条件に対して、異なった照射プログラムを最良となるよう適合させることができる。捕捉ユニットはこのような変化を決定し、この情報に基づいて照射プログラムを自動的に調整することができる。被検者が検出精度を上げる必要性を認識する場合、代替的に又は付加的に照射プログラムを手動で設定できるようにすることができる。光学的測定装置を暗闇で(例えば、夜中に)使用する場合、異なった照射プログラムを導入して、白昼条件で使用する照射プログラムよりも良好な検出結果となるようにすることができる。少なくとも1つのパラメータを捕捉する方法によれば、この外的変化に自動的に調整し、これにより、外的条件に大きな変化があっても極めて良好な視線追跡結果が得られる。
本発明の他の特徴は、特許請求の範囲、図面及び図面の説明から導くことができるであろう。上述した説明におけるすべての特徴及び特徴の組合せ、並びに以下に図面につきさらに説明する及び/又は単に図面で示す特徴及び特徴の組合せは、各場合に示した組合せで使用できるだけでなく、異なる組合せ又はそれ自体でも使用できる。
本発明を、以下に個別の好適な実施形態につき、また添付図面につきより詳細に説明する。
本発明の一実施形態による眼鏡デバイスの正面図である。 図1Aに示す眼鏡デバイスの側面図である。 図1Aに示す眼鏡デバイスの頂面図である。 図1Aに示す眼鏡デバイスの斜視図である。 眼鏡デバイスの背面図である。 光路を眼に指向させる転向素子を使用するアイカメラを有する眼鏡デバイスの線図的背面図である。 アイカメラの向きを線図的に示す眼鏡デバイスの側面図である。 眼鏡デバイスが有する個別電子コンポーネントの線図的説明図である。 従来技術による光学的測定デバイスで得られる大きなパララックス誤差を示すシンボマーク付きの説明図である。 本発明の実施形態による眼鏡デバイスによりパララックス誤差がないことを示すシンボマーク付きの説明図である。 パララックス誤差モデルを示す説明図である。 従来技術による測定デバイス及び本発明の実施形態による測定デバイスのパララックス誤差を比較する説明図である。 シーンカメラが捕捉する第1視野を示す説明図である。 シーンカメラが捕捉する第2視野を示す説明図である。 アイカメラの光路がアイカメラから眼にいたる直線上に存在する眼鏡デバイスの線図的側面図である。 アイカメラの光路がアイカメラからミラーを経て眼に至る眼鏡デバイスの線図的側面図である。
図面において、同一素子又は同一機能を有する素子には同一の参照符号を付けて示す。図2,3及び4図は、デカルト座標軸及び互いにに直交するx,y及びz軸を有する同一基準座標系を示す。
図1A〜1Dには、それぞれ眼鏡デバイス1又は視線追跡デバイスの形式とした光学的測定装置を示す。眼鏡デバイス1は、人が頭部に通常のメガネのように着用することができる設計とする。このデバイスは、着用する人の耳に眼鏡デバイスを支持する2つのサイドバー5l及び5rを有するフレーム4を備える。さらに、眼鏡デバイス1は、鼻サポート7によって頭部の所定位置に保持する。主フレームは固有の幅w1及び高さhを有する。その長さlは、サイドバー5l及び5rの長さに基づく。図1Cに示すように、サイドバー5l及び5rは、フレーム4の前方部分にヒンジ連結し、これにより、サイドバー5l及び5r相互間の距離w2が拡大又は減少(図1Cに示すサイドバー5lを破線で示したサイドバー参照)できるようにする。
代案として、光学的測定装置は、普通のメガネの形式として設計せず、フェイスシールド付きのフレームを形成し、またフレームインサートを形成するヘルメットに類似する設計とすることができる。
フレーム4において鼻サポート7上方にシーンカメラ2を据え付ける。シーンカメラ2はフレーム4に取り付けるか、又はフレーム4内に一体化する。シーンカメラ2によれば、眼鏡デバイス1を着用するとき、被検者が見るのと同様の視野を撮影できる。フレーム4の下方部分において、眼鏡デバイス1には2つのアイカメラ3l,3rを設ける。眼鏡デバイス1を人が着用するとき、人の眼は、フレーム4に適正な角度で組入れたアイカメラ3l,3rが捕捉することができる。アイカメラ3l,3rは、それぞれ人の左眼及び右眼を、すなわち、人の眼の特性を撮影する。
フレーム4は、メガネレンズ8l,8rを装着し、したがって、フレームインサートを形成する2つの開口を有する。シーンカメラ2及びアイカメラ3l,3rが撮影した映像は、サイドバー5l及び5r内に組入れた1個又は複数個の前処理ユニット6で処理する信号を生ずる。
図2は、眼鏡デバイス1の内側から見た図を示す。フレーム部分のメガネレンズ8l,8rを包囲するリムに沿って、数個の発光ダイオード(LED)9をリング状に配置する。眼鏡デバイス1を人が着用するとき、これらLED9は被検者の眼を規定様式で照射する。LED9は、被検者の眼ですべての生じ得る注視角度で反射(角膜反射)する。これら反射をアイカメラ3l,3rによって検出することができ、また視線追跡に使用することができる。
LED9は、特定時間パターンに従って個別に、又はグループ毎に、又はすべて一斉にストロボ的特性で又は空間的変化をつけて、スイッチをオン・オフする。異なったLED9又はLED9のグループ毎にオン・オフする切替えの周波数を変化させることができる。LED9の所定グループは、他のグループがまさにスイッチオフする時点でちょうどスイッチオンする。特定の空間的及び時間的相関パターンは、スイッチング特性及び照明特性に関連して実現する。このようにして、アイカメラ3によって容易に認識することができる反射パターンを眼で生ずる。
最も重要な電子コンポーネントとともに全体のセットアップ構成を図5に示す。アイカメラ3l,3rは、特定カメラ電子機器15に対して長さ100mmのケーブル14により接続する。とくに、アイカメラ3l,3rは、基本的電子コンポーネントのみを有するとともに、大部分の電子コンポーネントはカメラ電子機器15内に配置する。このようにして、アイカメラ3l,3rの主要な「光学的部品」は、カメラ電子機器15内の主要「電子部品」から離れた位置に配置することができる。つぎに、双方の部品は、可撓性のPCBケーブル14によって接続することができる。このようにして、アイカメラ3l,3r内の光学的センサ及び基本電子コンポーネントは、極めて小さくコンパクト性の高な統一体をなすとともに、電子機器15内の嵩張る電子コンポーネントはより空間的余裕のある集積回路板上の任意な位置に配置することができる。電子機器15は前処理ユニット16に接続し、この前処理ユニット16は、アイカメラ3l,3rからの信号を処理することができる。前処理ユニット16は、眼鏡デバイス1のサイドバー5l,5r内に配置した前処理ユニット6と同一のとすることができる。前処理ユニット16はUSBハブ19に接続する。フレーム4に設置したLED9は、メガネレンズ8l,8rの周りにそれぞれリング状に配列した第1赤外線LEDチェーン21及び第2赤外線LEDチェーン22を形成する。第1及び第2赤外線LEDチェーン21及び22は、赤外線LED用の一定電流源20に接続し、この一定電流源20はUSBハブ19にも接続する。USBハブ19は、さらに、赤外線LED用の一定電流源20のための電源としても作用する。赤外線LEDチェーン21及び22のLED9は、個別にスイッチのオン・オフを行うことができる。このことを行うには、赤外線LEDチェーン21及び22のLED9を赤外線LED用の一定電流源20に並列ネットワーク状に接続し、各LED9用の個別電気スイッチを実装する。
USBハブ19は、USB2.0ケーブル25を介して前処理ユニット26に接続する。前処理ユニット26内で処理した信号は、最終的にパーソナルコンピュータ27内で分析し、このコンピュータは記録装置28を含む。眼鏡デバイス1におけるインタフェースを形成する付加的な補助/同期ポート13もUSBハブ19に接続する。補助/同期ポート13は、他の電子デバイスと同期をとり、またパラレルなデータ取得をトリガするためのインタフェースとして作用することができる。電子機器15、前処理ユニット16、USBハブ19、及び赤外線LED用の一定電流源20は、共通のプリント回路板PCB23上に配置する。
このセットアップ構成と同様に、シーンカメラ2も100mmケーブル14により電子機器15に接続する。この場合、電子機器15は、第2プリント回路板PCB24上に配置し、この第2プリント回路板PCB24は、さらに、前処理ユニット17も有する。前処理ユニット17は、ダビンチ・デジタル信号プロセッサ(DSP)により電子機器に基づくものとすることができる。前処理ユニット17は、電子機器15から受け取る信号をエンコードする、MPEGエンコーダ18を含む。マイクロフォン12も前処理ユニット17に接続することができる。PCB24上に配置した前処理ユニット17をUSBハブ19に接続する。このようにして、シーンカメラ2が取得した処理信号を最終的にパーソナルコンピュータ27内で分析する。
前処理ユニット6,16,17及び26は、2個のアイカメラ3l,3r及びシーンカメラ2により発生した3つの画像ストリームのうち、少なくとも1つの画像ストリームを圧縮することができる。この場合、異なる代替案が可能である。前処理ユニットは、1個のカメラの画像ストリームのみを圧縮するとともに、各カメラはそれ自身の前処理ユニットを有する。代案として、単独の前処理ユニットがすべてのカメラの画像ストリームを圧縮することができ、さらに、前処理ユニットは、システムインタフェース及び対応のソフトウェアを介して、解像度調整による帯域幅、関心領域、フレームレート及び圧縮パラメータを管理するよう構成可能にすることができる。前処理ユニットは、カメラによる画像撮影を同期的にトリガするよう設計する。カメラは、各撮影した画像にタイムスタンプを付与し、これらタイムスタンプを使用して、オフラインでいくつかの又はすべてのカメラデータストリームの同期をとることができるようにする。
前処理ユニットは、カメラの集積回路板上、又はヘッドマウント内若しくはヘッドマウント上に配置した個別の集積回路板上(例えば、眼鏡デバイス1のサイドバー5l,5r内の)、又は例えば、ベルトのような被検者31が着用する個別のハウジング内のいずれかに配置することができる。
眼鏡デバイス1は、さらに、外部センサからリアルタイムでデータを取得できる補助インタフェースを有することができる。このようなセンサとしては、バイオメトリックセンサ(限定しないが、EEG,ECG等を含む)、姿勢センサ(限定しないが、加速度計、磁力計、ジャイロスコープ等を含む)がある。つぎに、外部センサのデータストリームをカメラ2,3l及び3rから取得したデータストリームと同期させることができる。さらに、外部クロック又はトリガ信号を供給し、これらを使用して外部センサがシステムと自身を同期させることができる。インタフェースから取得したデータの帯域幅は、システム内に統合した基板取付処理リソースによって専用記録ユニット28内に縮小又は圧縮することができる。
アイカメラ3l,3rは、可視光又は近赤外光のいずれかに適合可能である。アイカメラは、使用者の顔面を2分割する垂直中心ラインに対して対称的に配置する。アイカメラ3l,3rは、眼10l,10rの前方かつ下方にそれぞれ配置し、例えば、1対のメガネレンズ8l,8rにおける下側のリム内若しくはリムで眼10l,10rに向かって30゜〜50゜の角度をなすよう、またフレーム4内に30゜〜50゜の角度をなすよう位置決めすることができる。
一実施形態において、アイカメラ3l,3rは近赤外光に対して感受性があるものとする。これらは640×480の解像度を有し、また60Hzの周波数で読み出すものとする。
シーンカメラ2は、使用者の顔を2つのハーフに分割する垂直中心線上に、又はフレーム4の鼻ブリッジに配置することができる。代案として、ヘルメット、キャップ又はヘッドバンドの縁、縁内又は縁に近接する位置に配置することもできる。シーンカメラ2はHD(高解像度)及び/又は少なくとも720p(1280×720ピクセル)の調整可能な解像度を有し、30Hz又は60Hzで動作するものとすることができる。このシーンカメラは風景又は人物に対する指向性を有するよう取り付けることができる。さらに、その指向性は、風景から人物向けの指向性に変化(カメラロール)させることができ、また、カメラが指し示す方向を変化(カメラパン及びチルト)できるよう取り付けることができる。
単独のシーンカメラ2の代わりに、眼鏡デバイス1は1対のシーンカメラを有するものとすることができ、この場合、各シーンカメラは人物モード又は風景モードのいずれかの指向性を持たせることができる。さらに、各シーンカメラは、それぞれに対する他方の第2カメラとは独立的に指向性を持たせることができる。代案として、双方のシーンカメラ2を、互いに異なる、又は互いに異ならない固定指向性にすることができる。
さらに、プリズム又はレンズをシーンカメラ2の前面に取付け、メガネに対するシーンカメラ2の視野の異なった位置決め、とくに、近接レンジ読取り用途向けのより下方に向かう視野の位置決めを生ずるようにすることができる。
6個のLED9を各メガネレンズ8の周りに配置する。LEDは、赤外線波長レンジ(典型的には750nmより長く、1000nm未満)にあり、中心波長が850nmの光を発生する。LEDは赤外線LED用一定電流源20によって供給される50mAの電流によって駆動される。
LED9により直接眼を照射する代わりに、光ガイドを用いる実施形態も考えられる。1個又は数個の光ガイド(例えば、光ファイバ)セグメントを使用することができる。眼の照射は、合焦光学系(構造化照射)で実施することができる。LED9の代わりに、適当な回折光学的又はレーザーを使用して、眼を照射するためのコヒーレント光のパターンを発生させることができる。光源を光学的素子(例えば、合焦光学系又は回折光学系)と一緒に使用して、眼10l,10rにおける反射パターンを生ずることができる。照射源は可視光又は近赤外光のいずれかを発生できるものとする。照射源は、フレーム4内又はフレーム4上で、とくに、メガネレンズ8l,8rの周りに円形状配列となるよう位置決めする。代案として、照射源は、ヘッドマウントディスプレイのフレームのリムに配置することができる。とくに、被検者31の眼の表面で反射パターンを生ずるよう設計する。
図2に示す眼鏡デバイス1を被検者が着用するとき、図10Aに示す状況が簡単に実現される。アイカメラ3は、被検者の頭部に固定した眼鏡デバイス1により、眼10における少なくとも1つのパラメータを取得する光路Mは、アイカメラ3から眼10に至る直線上に存在する。
図3及び図10Bは、眼鏡デバイス1の異なった形態を示す。眼鏡デバイス1は、フレーム4に取付けた光学的転向素子をなすミラー11を有し、ミラー11及びアイカメラ3は、被検者の頭部に固定した眼鏡デバイス1により、眼10における少なくとも1つのパラメータを取得する光路Mが、アイカメラ3からミラー11を経て眼10に至るようフレームに配置する。図3の3次元的表示は、眼鏡デバイス1を後方又は内側から見た状態を示す。この図において、左眼10l及び右眼10rの反射が、それぞれメガネレンズ8l及び8rに見える。座標系は、z軸が投影面に指向するデカルト座標系である。
このように、アイカメラ3l,3rは、眼10l,10rの前方及び上方に取付け、光ガイド又はミラー11を眼10l,10rの前方及び下方、例えば1対のメガネレンズ8l,8rの下側リム内又は下側リムに配置し、アイカメラ3l,3rが各眼10l,10rの前方及びは下方からの透視画像を取得し、またその画像が眼10l,10rに見えるようにする。光ガイド又はミラー11は、(平坦)ミラー、球面ミラー、ドームミラー、カスタムレンズ、ホログラフィック・イメージガイド等のいずれかとすることができる。ミラー11は、特定波長レンジのみで反射でき、他のレンジに対しては透過性を示すものとすることができる。
ミラー11は平坦ミラー又は球面ミラーのいずれかとすることができる。球面ミラーは、アイカメラ3の視野を平坦ミラーで得られる視野を越えて拡大するという利点がある。図3の形態によれば、さらに、光学系を眼10に極めて(セット方向に)近接させて配置でき、したがって、人間工学的にまた審美的に改善をもたらす。被検者自身の視野はほとんど阻害されない。ミラー11は、いわゆるホットミラーとすることができ、すなわち、このミラーは、可視波長範囲では透過性を示し、赤外線波長レンジでは高い反射性を有する。このミラーは極めて薄くかつ中空(いわゆるドーム状)にすることができ、したがって、屈折に起因するゆがみを減少することができる。それは、極めて低い屈折率(IOR:index of refraction)を示す材料から形成することができる。
図10A及び10B双方の場合、アイカメラ3は、眼10における少なくとも1つのパラメータを取得する光路Mがフレームインサート、すなわちメガネレンズ8を除外するよう配置する。さらに、メガネレンズ8は、眼10の光軸K及び光路Mがともに使用する単独の光学的素子として眼10を有するよう配置する。さらに、光路Mは、メガネレンズ8の眼10に対向する側に延びて存在(延在)する空間Sp内に完全に延在する。
図2及び3並びに図10A及び10Bに示す実施形態それぞれは、ともに上瞼による眼閉じを少なくする。
図6A〜8は、従来技術と比較して眼鏡デバイス1のパララックス誤差の減少を示す。図6Aから分かるように、被検者が実際に眼の焦点を合わせている対象物の位置29、及び眼鏡デバイス1が決定した注視ポイント32は、従来既知の眼鏡デバイス1を使用するとき、通常は十分よく一致することはない。この作用は、通常、被検者が眼の焦点を合わせている対象物29に近づけば近づくほど、一層顕著となる。しかし、本発明の実施形態による眼鏡デバイス1では、決定した注視ポイント32と実際の対象物29との間の一致度が極めてよく、測定距離が0.5mの短いものであったとしても、よく一致する(図6B参照)。このことは、眼球中心とカメラの焦点との間の距離を最小化することによって得られる。
この状況を図7で再び示す。眼10及びシーンカメラ2を僅かに異なった位置に配置するとき、対象物29に合焦するそれぞれの視野角における差は、対象物29が眼10及びシーンカメラ2それぞれに近づけば近づくほど一層顕著となる(すなわち、zの座標値が小さくなればなるほど、より大きいゆがみとなる)。眼鏡デバイス1は図6Bに示す状況に較正することができる。対象物29は較正平面P上に位置し、また眼鏡デバイス1を較正することによって、着用者は、決定された注視ポイント32がまさに実際の対象物29にあると確信できる。較正は、一般的に被検者から若干離れた距離にある平面上で行う。このことは、シーンビデオフレームにおけるピクセルに対する測定した注視方向(角度)に関連する。この計算は、較正平面上に存在するポイントに対してのみ有効な結果を与える。較正平面上にないポイントに対しては、系統的な誤差(パララックス)が入ることになる。対象物29からの眼鏡デバイスの距離が大きくなるとき、較正平面Pまでの距離と対象物29までの実際の距離との差は顕著なずれを生ずる。本発明の実施形態による眼鏡デバイス1では、すべての距離dに対するこれらずれ又はパララックス誤差(図8に円形の記号S2で示す)は、従来技術によるデバイス(矩形の記号S1)によるものよりも相当小さい。細い×印は記号S2のグループに関連し、太い×印は記号S1のグループに関連する。×印は較正目的に使用された注視ポイント32に対応する。
パララックス誤差は、眼の位置に対するシーンカメラ2の位置の関数として数学的にモデル化される。パララックスによる注視推定誤差は、数学的シミュレーションによって示される結果に従って、シーンカメラ2を眼10にできるだけ接近させて配置することにより減少することができる。さらに、パララックス誤差は、両眼追跡から両眼転導を使用して注視ポイントまでの距離を推定することによって、また視線追跡デバイスに対する眼の位置を推定することによって補正することができる。
良好な結果を得るため、シーンカメラ2の視野を最適化することができる。標準光学系を有するシーンカメラ2の視野は、生理学上の注視レンジ全体をカバーしない(標準光学系の水平視野:40゜〜50゜; 典型的注視レンジ:60%)。一実施形態において、シーンカメラ2の視野はそれぞれの用途に応じて最適化することができる。このような視野最適化を図9A及び9Bで説明する。眼鏡デバイス1を着用する使用者は、同時に背景B及び携帯電話30を見ている。図9Aによれば、視野FOV(field of view)1は主に背景Bをカバーする。被検者31が携帯電話30に目を落とすとき、注視方向の変化はアイカメラ3l,3r及びシーンカメラ2によって自動的に決定され、視野は風景指向性から人物指向性に切替えることによって自動的に調整される。このことは、シーンカメラ2をz軸周りに90゜機械的に転回(ロール)することにより、又はシーンカメラ2の前面に光学的プリズムを使用することにより行うことができる。さらに、異なるチルト角度又はロール角度を有する2つのシーンカメラを使用することによっても可能である。代案として、光学的ビームスプリッタをシーンカメラ2の前方に使用することができる。
要するに、眼鏡デバイス1は、3個のカメラ、すなわち、2個のアイカメラ3l,3r及び少なくとも1個のシーンカメラ2よりなるヘッドマウント型視線追跡システムを形成する。3個のカメラ3l,3r及び2は、例えば、調整可能なフレームレート及び解像度によって、管理可能な帯域幅を有することができる。1個又は数個の前処理ユニット6,16,17及び26は、カメラ2,3l,3rから受け取ったビデオストリームの可変圧縮を行うのに設けることができる。ビデオストリームの圧縮レベルは、アイカメラ3l,3r及びシーンカメラ2のものと同一とする、又はアイカメラ3l,3r及びシーンカメラ2のものとは別個のものとすることができる。アイカメラ3lのフレームレートは全速力取得(撮影)に対応し、アイカメラ3rのフレームレートは1/10速力取得に対応し、シーンカメラ2のフレームレートは1/2速力取得に対応するものとすることができる。異なったカメラのフレームレートを調整する代わりに、取得レートを同一となるよう選択し、データ処理をカメラ毎に異ならせて行うようにすることができる。一方のカメラによって得られたデータは、他のカメラによって得られたデータよりも多く圧縮するが、双方のカメラは同一のデータ量を取得するものとすることができる。さらに、異なる圧縮レートと異なる取得レートを組合わせることもできる。さらに、例えば、データを転送するとき、2つ目毎の取得画像を省き、CPUに送るデータ量を半分に減らすこともできる。カメラ2,3l及び3rの信号は、PC27内のCPUに有線又は無線のインタフェース(図5参照)を介して転送することができる。他のデータ源用の補助インタフェース及びこれら他のデータ源との同期方法を眼鏡デバイス1に実装することができる。
眼鏡デバイス1は、数個の交換可能なピースよりなるシステムとして構成することができる。眼鏡デバイス1は、小さい鼻又は大きい鼻を有する顔用に、鼻ピース又は鼻支持体7の交換可能なセットを有する。このようにして、眼鏡デバイス1は問題なく視力補正メガネ上に着用することができる。さらに、眼鏡デバイス1は、所定波長レンジ用の異なる透光レベルを有する交換可能なメガネレンズ(例えば、透明メガネ又はサングラス)のための保持機構を有する。付加的に又は代替的に、交換可能なメガネレンズは、近赤外光学的フィルタを有し、照射源の波長にマッチし、また同一及び類似波長の外側から眼の表面に達する光の若干又はすべてをブロックし、眼の表面における信号対ノイズ比を改善できるようにする。眼鏡デバイス1は、アイカメラ3l,3r及びシーンカメラ2のためのマウント又はハウジングとして作用する、リム及び鼻ブリッジを有する。アイカメラ3l,3rは、交換可能なメガネレンズ8l,8rの背後に視野が広がるように取り付ける。
眼鏡デバイス1によれば、視線追跡、オキュロメトリクス、バイオメトリクス、及び位置及びモーション測定を行い、自由に動ける設定にした人間行動をできる限り完全に測定及び分類することができるようになる。ヘッドマウント型視線追跡装置は、較正フリーであり、乱視推定を行えるよう実現する。視線追跡機能はセットアップ時間がゼロである。調整は不要である。被検者31は、眼鏡デバイス1を着用するだけで、使用を開始することができる。人の眼の動きにおける生理学的レンジ(水平方向に80゜、垂直方向に60゜)をカバーする極めて大きな注視追跡レンジを有する。眼鏡デバイスは、極めて堅牢であり、注視マッピングに高い精度を有する。眼鏡デバイスは、乱視を補償し、パララックスを少なくし、瞳孔軸線シフトを補償し、また較正フリー若しくは1点較正の特徴を使用して較正を行うことができる。さらに、民族(白色人種、アジア系人種、アフリカ系人種等)、性別及び年齢を問わず動作するよう設計する。シーンカメラ2の視野を最適化する。光学的センサ、慣性センサ又は磁気センサを使用することにより、頭部追跡機能を実装することができる。眼鏡デバイスは、さらに、バイオメトリックの特徴、例えば、瞳孔直径測定、及びEEG、ECG等とのインタフェースをとって同期させる選択肢も与える。最後に、ヘッドマウントディスプレイに組入れることができる。バーチャル画像をパーソナルコンピュータのスクリーンにおける被検眼に投影することができる。さらに、眼の動き(注視、まばたき)を使用してバーチャル画像における「オブジェクト」との対話的相互作用を提供することができる。
頭部追跡機能は、3軸ジャイロスコープ、3軸加速度計及び/又は3軸磁力計を光学的センサとともに使用し、六次元的頭部追跡用に実現することができる。
要約すると、眼鏡デバイス1は、極めて固有の光学的及び電子的アーキテクチャを用意する。電子的アーキテクチャに関しては、割り当て可能な帯域幅を有する3個以上の高解像度カメラを眼鏡デバイス1に組込む。アイカメラ3l,3r及びシーンカメラ2用の個別の処理チャネルを設けることが考えられる。光学的アーキテクチャは、種々の特性を有する交換可能なメガネレンズによって特徴付けられる。アイカメラ3l,3rの光路は、メガネ又はメガネレンズ8l,8rそれぞれの背後に延在するものとする。さらに、LED9のセットにより、眼10l,10rの極めて可変の照射を行うことができる。例えば、眼の周りの照射ジオメトリを制御することができる。特定LEDのサブセットは、ストロボ効果及び順序付けによって制御することができる。最後に眼の照射は、点光源、ライン光源又は2次元配列光源により行うことができる。
1 眼鏡デバイス
2 シーンカメラ
3,3l,3r アイカメラ
4 フレーム
5l,5r サイドバー
6 前処理ユニット
7 鼻支持体
8,8l,8r メガネレンズ
9 LED
10,10l,10r 眼
11 ミラー
12 マイクロフォン
13 補助/同期ポート
14 ケーブル
15 電子機器
16 前処理ユニット
17 前処理ユニット
18 MPEGエンコーダ
19 USBハブ
20 赤外線LED一定電流源
21,22 赤外線LEDチェーン
23,24 PCB
25 USB2.0ケーブル
26 前処理ユニット
27 パーソナルコンピュータ
28 記録装置
29 対象物
30 携帯電話
31 被検者
32 注視ポイント
w1,w2 幅
h 高さ
l 長さ
a チルト角度
K 光軸
M 光路
O 基準座標系の原点
P 較正平面
Sp 空間
d 距離
S1,S2 記号
B 背景
FOV1,FOV2 視野
x,y,z 軸

Claims (14)

  1. 光学的測定装置(1)を着用する被検者(31)の少なくとも一方の眼(10l,10r)における少なくとも1つのパラメータを捕捉する光学的測定装置(1)であって、
    前記被検者(31)の頭部に前記光学的測定装置(1)を固定するよう構成したフレーム(4)と、
    前記少なくとも一方の眼(10l,10r)における少なくとも1つのパラメータを光学的に捕捉するよう構成した少なくとも1つの捕捉ユニット(3l,3r)と、
    前記少なくとも一方の眼(10l,10r)に可視光又は赤外光を照射する照射ユニット(9,21,22)とを備えた、該光学的測定装置において、
    前記照射ユニット(9,21,22)により照射特性を調整可能にし、前記照射特性は、前記少なくとも1つの捕捉ユニットの認識パターンとして作用し、前記少なくとも1つの補足ユニットは、前記照射特性を捕捉して識別するように構成された、ことを特徴とする光学的測定装置。
  2. 請求項1記載の光学的測定装置(1)において、前記照射ユニット(9,21,22)は、時間的照射シーケンス及び/又は空間的照射分布に関して調整可能に構成した、ことを特徴とする光学的測定装置。
  3. 請求項1又は2記載の光学的測定装置(1)において、前記照射ユニット(9,21,22)は、前記光学的測定装置(1)を前記被検者(3l)の頭部に固定した状態で、前記照射ユニット(9,21,22)が前記少なくとも一方の眼(10l,10r)に対面し、放つ放射が少なくとも部分的に前記少なくとも一方の眼(10l,10r)に当たるように、前記フレーム(4)に取付けられた、ことを特徴とする光学的測定装置。
  4. 請求項1〜3のうちいずれか一項記載の光学的測定装置(1)において、前記照射ユニット(21,22)は、少なくとも2つの照射セグメント(9)を有し、これら照射セグメント(9)は、その明度及び/又は光の色及び/又は主放射方向及び/又は発光の時間的シーケンスに関してそれぞれ個別に調整可能とした、ことを特徴とする光学的測定装置。
  5. 請求項1〜4のうちいずれか一項記載の光学的測定装置(1)において、前記照射ユニット(9,21,22)は、少なくとも1個の光ガイド及び/又は少なくとも2個の光源を有する、ことを特徴とする光学的測定装置。
  6. 請求項5記載の光学的測定装置(1)において、前記少なくとも1個の光ガイド及び/又は少なくとも2個の光源は、発光ダイオード(9)である、ことを特徴とする光学的測定装置。
  7. 請求項1〜6のうちいずれか一項記載の光学的測定装置(1)において、前記照射ユニット(9,21,22)は、可視光及び/又は赤外線スペクトル範囲にある光を発光するよう構成した、ことを特徴とする光学的測定装置。
  8. 請求項1〜7のうちいずれか一項記載の光学的測定装置(1)において、
    前記フレーム(4)は、メガネレンズ(8l,8r)を収容する少なくとも1個のフレーム素子を有し、前記光学的測定装置(1)を被検者(31)の頭部に固定した状態で、前記フレーム素子が枠付けする部分が前記被検者(31)の前記少なくとも一方の眼(10l,10r)の前方に位置し、
    前記照射ユニット(9,21,22)は、前記フレーム素子上又は前記フレーム素子の範囲内に配置された、ことを特徴とする光学的測定装置。
  9. 請求項1〜8のうちいずれか一項記載の光学的測定装置(1)において、前記少なくとも1つの捕捉可能なパラメータは、少なくとも一方の眼(10l,10r)の指向性及び/又は位置及び/又は瞼閉じ及び/又は瞳孔直径及び/又は角膜縁特性及び/又は強膜特性及び/又は虹彩特性及び/又は血管特性及び/又は角膜特性に関するものとした、ことを特徴とする光学的測定装置。
  10. 被検者(31)の少なくとも一方の眼(10l,10r)における少なくとも1つのパラメータを捕捉する方法であって、以下のステップ、すなわち、
    ・前記被検者(31)の頭部に光学的測定装置(1)を固定する固定ステップであり、前記光学的測定装置(1)は、少なくとも1個の捕捉ユニット(3l,3r)及び照射ユニット(9,21,22)を備えたものとする、該固定ステップと、
    ・前記照射ユニット(9,21,22)により前記少なくとも一方の眼(10l,10r)に可視光又は赤外光を照射するステップと、
    ・前記少なくとも一方の眼(10l,10r)における少なくとも1つのパラメータを前記捕捉ユニット(3l,3r)によって光学的に捕捉するステップと
    を含む、該方法において、さらに、以下のステップ、すなわち、
    ・照射特性を設定するステップと、
    ・前記設定した照射特性に従って前記照射ユニット(9,21,22)により前記少なくとも一方の眼(10l,10r)に可視光又は赤外光を照射するステップであって、前記照射特性は、前記少なくとも1つの捕捉ユニットの認識パターンとして作用し、前記少なくとも1つの補足ユニットは、前記照射特性を捕捉して識別する、ことを特徴とする方法。
  11. 請求項10記載の方法において、前記少なくとも一方の眼(10l,10r)に可視光又は赤外光を照射するステップでは、前記照射ユニット(9,21,22)は、時間的照射シーケンス及び/又は空間的照射分布及び/又は照射パターンに応じて調節される、ことを特徴とする方法。
  12. 請求項10又は11記載の方法において、前記少なくとも一方の眼(10l,10r)における少なくとも1つのパラメータを光学的に捕捉する前記ステップは、以下のサブステップ、すなわち、
    ・前記少なくとも一方の眼(10l,10r)における少なくとも2つの光反射及び/又は特徴を光学的に捕捉するステップと、
    ・前記捕捉した光反射及び/又は特徴によって前記少なくとも一方の眼(10l,10r)における少なくとも1つのパラメータを決定するステップと
    を含む、ことを特徴とする方法。
  13. 請求項12記載の方法において、前記少なくとも2つの光反射及び/又は特徴を前記照射ユニット(9,21,22)によって生ずる異なった照射で捕捉する、ことを特徴とする方法。
  14. 請求項11記載の方法において、以下のステップ、すなわち、
    ・前記被検者(31)の視認挙動及び/又は眼の動き特性及び/又は瞳孔変化及び/又は外部条件及び/又は前記被検者(31)の入力に関するデータを取得するステップと、
    ・前記取得したデータに応じて、前記時間的及び/若しくは空間的照射分布、並びに/又は照射パターンのための照射プログラムを設定するステップと
    ・前記設定した照射プログラムに従って前記時間的照射シーケンス及び/又は空間的照射分布及び/又は照射パターンを調節するステップと
    を含む、ことを特徴とする方法。
JP2013558450A 2011-03-18 2012-03-15 照射特性を調整可能にして少なくとも1つの眼における少なくとも1つのパラメータを捕捉する光学的測定装置及び方法 Active JP6159263B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP11158891.9 2011-03-18
EP11158891 2011-03-18
EP11173753.2A EP2499962B1 (en) 2011-03-18 2011-07-13 Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
EP11173753.2 2011-07-13
PCT/EP2012/054609 WO2012126810A1 (en) 2011-03-18 2012-03-15 Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable

Publications (2)

Publication Number Publication Date
JP2014509533A JP2014509533A (ja) 2014-04-21
JP6159263B2 true JP6159263B2 (ja) 2017-07-05

Family

ID=45607837

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2013558450A Active JP6159263B2 (ja) 2011-03-18 2012-03-15 照射特性を調整可能にして少なくとも1つの眼における少なくとも1つのパラメータを捕捉する光学的測定装置及び方法
JP2013558451A Active JP6159264B2 (ja) 2011-03-18 2012-03-15 調整可能な視野を有する眼鏡デバイス及び方法
JP2013558448A Active JP6026444B2 (ja) 2011-03-18 2012-03-15 データ転送速度を設定することにより2つの眼における少なくとも1つのパラメータを決定する方法及び光学的測定装置
JP2013558449A Active JP6030075B2 (ja) 2011-03-18 2012-03-15 光学的測定装置及びシステム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2013558451A Active JP6159264B2 (ja) 2011-03-18 2012-03-15 調整可能な視野を有する眼鏡デバイス及び方法
JP2013558448A Active JP6026444B2 (ja) 2011-03-18 2012-03-15 データ転送速度を設定することにより2つの眼における少なくとも1つのパラメータを決定する方法及び光学的測定装置
JP2013558449A Active JP6030075B2 (ja) 2011-03-18 2012-03-15 光学的測定装置及びシステム

Country Status (5)

Country Link
US (5) US9107622B2 (ja)
EP (5) EP2499962B1 (ja)
JP (4) JP6159263B2 (ja)
CN (3) CN103429139B (ja)
WO (4) WO2012126811A1 (ja)

Families Citing this family (174)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US9894269B2 (en) 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
JP6066676B2 (ja) * 2012-11-06 2017-01-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび映像提示システム
CN102961119B (zh) * 2012-11-26 2015-01-07 深圳恒兴视光科技有限公司 瞳距仪
EP2929413B1 (en) 2012-12-06 2020-06-03 Google LLC Eye tracking wearable devices and methods for use
US20140176327A1 (en) * 2012-12-20 2014-06-26 Nokia Corporation Method and apparatus for determining that medical assistance may be required
US9160915B1 (en) * 2013-01-09 2015-10-13 Amazon Technologies, Inc. Modifying device functionality based on device orientation
GB2513579A (en) * 2013-04-29 2014-11-05 Tobii Technology Ab Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system
JP6330258B2 (ja) * 2013-05-15 2018-05-30 セイコーエプソン株式会社 虚像表示装置
TWI505260B (zh) * 2013-07-30 2015-10-21 Univ Nat Chiao Tung 頭戴式人眼追蹤系統
AT513987B1 (de) * 2013-08-23 2014-09-15 Ernst Dipl Ing Dr Pfleger Brille und Verfahren zur Bestimmung von Pupillenmittelpunkten beider Augen eines Menschen
CN108209857B (zh) 2013-09-03 2020-09-11 托比股份公司 便携式眼睛追踪设备
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US11327302B2 (en) 2013-09-18 2022-05-10 Beth Holst Secure capture and transfer of image and audio data
US10008124B1 (en) 2013-09-18 2018-06-26 Beth Holst Method and system for providing secure remote testing
JP2015061595A (ja) * 2013-09-19 2015-04-02 ジーエヌ オトメトリックス エー/エスGN Otometrics A/S 目の動きを観察するためのヘッドギア
US9332903B2 (en) 2013-09-19 2016-05-10 Gn Otometrics A/S Headgear for observation of eye movements
US9785231B1 (en) * 2013-09-26 2017-10-10 Rockwell Collins, Inc. Head worn display integrity monitor system and methods
CN104706422A (zh) * 2013-12-13 2015-06-17 Ge医疗系统环球技术有限公司 一种头戴式医疗装置、医疗系统及其操作方法
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9811153B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9794475B1 (en) 2014-01-29 2017-10-17 Google Inc. Augmented video capture
US20170090557A1 (en) * 2014-01-29 2017-03-30 Google Inc. Systems and Devices for Implementing a Side-Mounted Optical Sensor
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
WO2015122890A1 (en) * 2014-02-12 2015-08-20 Nokia Corporation Method and apparatus for updating a firmware of an apparatus
GB2523356A (en) * 2014-02-21 2015-08-26 Tobii Technology Ab Apparatus and method for robust eye/gaze tracking
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US9361519B2 (en) * 2014-03-28 2016-06-07 Intel Corporation Computational array camera with dynamic illumination for eye tracking
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
JP2015202199A (ja) * 2014-04-14 2015-11-16 株式会社ジェイアイエヌ 眼電位情報処理装置、眼電位情報処理システム、装着具及びプログラム
JP2015202183A (ja) * 2014-04-14 2015-11-16 株式会社ジェイアイエヌ 検出制御装置、装着具、眼電位情報処理システム、及びプログラム
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
JP2017527036A (ja) * 2014-05-09 2017-09-14 グーグル インコーポレイテッド セキュアなモバイル通信で眼信号を用いるためのシステムおよび方法
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
CN104111530A (zh) * 2014-06-30 2014-10-22 联想(北京)有限公司 一种信息处理方法及穿戴式电子设备
US10540907B2 (en) 2014-07-31 2020-01-21 Intelligent Technologies International, Inc. Biometric identification headpiece system for test taking
US9465991B2 (en) 2014-08-11 2016-10-11 Microsoft Technology Licensing, Llc Determining lens characteristics
EP4029425A1 (en) * 2014-08-20 2022-07-20 California Baptist University Systems and methods for monitoring eye health
US10410535B2 (en) 2014-08-22 2019-09-10 Intelligent Technologies International, Inc. Secure testing device
US9959777B2 (en) 2014-08-22 2018-05-01 Intelligent Technologies International, Inc. Secure testing device, system and method
AT516326B1 (de) * 2014-09-29 2016-07-15 Pocket Sky Og Vorrichtung zur Signalübermittlung zum Auge
WO2016073202A1 (en) 2014-11-04 2016-05-12 Intelligent Technologies International, Inc. Smartcard
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US10567641B1 (en) * 2015-01-19 2020-02-18 Devon Rueckner Gaze-directed photography
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
NZ773819A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
JP6383490B2 (ja) * 2015-06-01 2018-08-29 アルプス電気株式会社 眼鏡型電子機器
US9870049B2 (en) * 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
EP3332284A1 (de) * 2015-08-07 2018-06-13 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und vorrichtung zur datenerfassung und auswertung von umgebungsdaten
JP2016127587A (ja) * 2015-09-03 2016-07-11 株式会社Fove ヘッドマウントディスプレイ
WO2017042612A1 (en) * 2015-09-12 2017-03-16 Shamir Optical Industry Ltd. Automatic eyewear measurement and specification
US11109916B2 (en) 2015-11-09 2021-09-07 Digital Surgicals Pte Ltd Personalized hand-eye coordinated digital stereo microscopic systems and methods
US10043075B2 (en) * 2015-11-19 2018-08-07 Microsoft Technology Licensing, Llc Eye feature identification
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
CN108369451B (zh) * 2015-12-18 2021-10-29 索尼公司 信息处理装置、信息处理方法及计算机可读存储介质
US10678958B2 (en) 2015-12-28 2020-06-09 Intelligent Technologies International, Inc. Intrusion-protected memory component
KR20180104051A (ko) * 2016-01-19 2018-09-19 매직 립, 인코포레이티드 리플렉션들을 활용하는 증강 현실 시스템들 및 방법들
CN108700743A (zh) * 2016-01-22 2018-10-23 康宁股份有限公司 宽视场个人显示器
US11054648B2 (en) * 2016-02-04 2021-07-06 Google Llc Compact near-eye display optics for higher optical performance
JP2017163180A (ja) * 2016-03-07 2017-09-14 富士通株式会社 ずれ判定プログラム、ずれ判定方法、及び、情報処理装置
USD794112S1 (en) 2016-03-07 2017-08-08 Snap Inc. Eyeglasses
US11106276B2 (en) 2016-03-11 2021-08-31 Facebook Technologies, Llc Focus adjusting headset
US10379356B2 (en) 2016-04-07 2019-08-13 Facebook Technologies, Llc Accommodation based optical correction
WO2017176898A1 (en) 2016-04-08 2017-10-12 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
CN105676458A (zh) * 2016-04-12 2016-06-15 王鹏 可穿戴计算装置及其控制方法以及具有它的可穿戴设备
NZ787459A (en) 2016-04-26 2023-05-26 Magic Leap Inc Electromagnetic tracking with augmented reality systems
CN109068973B (zh) * 2016-04-28 2021-01-29 亚历克斯·阿尔茨约科维奇 用于白内障手术的可拆卸微型显微镜安装的角膜曲率计
US9854968B2 (en) * 2016-05-20 2018-01-02 International Business Machines Corporation Behind-eye monitoring using natural reflection of lenses
US10684479B2 (en) * 2016-06-15 2020-06-16 Vrvaorigin Vision Technology Corp. Ltd. Head-mounted personal multimedia systems and visual assistance devices thereof
KR102362001B1 (ko) * 2016-06-16 2022-02-14 애플 인크. 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품
CN106200901B (zh) * 2016-06-24 2019-03-29 联想(北京)有限公司 一种头戴式眼追踪装置的校正方法及头戴式眼追踪装置
JP6992046B2 (ja) 2016-07-25 2022-01-13 マジック リープ, インコーポレイテッド ライトフィールドプロセッサシステム
CN106293100A (zh) * 2016-08-24 2017-01-04 上海与德通讯技术有限公司 虚拟现实设备中视线焦点的确定方法及虚拟现实设备
US10828560B2 (en) * 2016-09-30 2020-11-10 Sony Interactive Entertainment Inc. Systems and methods for stereoscopic vision with head mounted display
EP3306528B1 (en) * 2016-10-04 2019-12-25 Axis AB Using image analysis algorithms for providing traning data to neural networks
US10877556B2 (en) * 2016-10-21 2020-12-29 Apple Inc. Eye tracking system
CN107066079A (zh) 2016-11-29 2017-08-18 阿里巴巴集团控股有限公司 基于虚拟现实场景的业务实现方法及装置
CN206301289U (zh) * 2016-11-29 2017-07-04 阿里巴巴集团控股有限公司 Vr终端设备
US9905143B1 (en) * 2016-12-01 2018-02-27 Varjo Technologies Oy Display apparatus and method of displaying using image renderers and optical combiners
JP7076754B2 (ja) * 2017-01-04 2022-05-30 スリーエム イノベイティブ プロパティズ カンパニー トップハット光出力分布を有する非対称光方向転換フィルム
US10310598B2 (en) * 2017-01-17 2019-06-04 Facebook Technologies, Llc Varifocal head-mounted display including modular air spaced optical assembly
US10545347B2 (en) * 2017-02-23 2020-01-28 Google Llc Compact eye tracking using folded display optics
KR102601052B1 (ko) 2017-02-23 2023-11-09 매직 립, 인코포레이티드 가변 파워 반사기를 갖는 디스플레이 시스템
CN106873158A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106873159A (zh) 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN107122642A (zh) 2017-03-15 2017-09-01 阿里巴巴集团控股有限公司 基于虚拟现实环境的身份认证方法及装置
JP6941952B2 (ja) * 2017-03-28 2021-09-29 株式会社トプコン 眼科装置
CN110520824B (zh) * 2017-04-14 2023-11-24 奇跃公司 多模式眼睛跟踪
US10976551B2 (en) 2017-08-30 2021-04-13 Corning Incorporated Wide field personal display device
US10379628B2 (en) * 2017-09-27 2019-08-13 Htc Corporation Tracking system, virtual reality system and attachable device
FI20175960A1 (en) 2017-10-30 2019-05-01 Univ Of Eastern Finland Procedure and apparatus for gaze detection
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
US10728517B2 (en) * 2017-12-22 2020-07-28 Flir Systems Ab Parallax mitigation for multi-imager systems and methods
JP7020110B2 (ja) * 2017-12-26 2022-02-16 トヨタ自動車株式会社 排ガス浄化用触媒の製造方法及び排ガス浄化用触媒
JP2019124772A (ja) * 2018-01-15 2019-07-25 株式会社東海理化電機製作所 撮像装置
CN108089326B (zh) 2018-02-01 2023-12-26 北京七鑫易维信息技术有限公司 一种适配于与眼镜使用的装置
US11393251B2 (en) 2018-02-09 2022-07-19 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
US10845872B2 (en) 2018-02-09 2020-11-24 Ricoh Company, Ltd. Eye-gaze tracker, eye-gaze tracking method, and recording medium
KR102579034B1 (ko) * 2018-02-23 2023-09-15 삼성전자주식회사 영상 출력 모듈의 아래에 영상이 출력되는 방향에 대해 지정된 각도로 배치된 반 투명 부재를 포함하는 전자 장치
FR3079936B1 (fr) * 2018-04-04 2020-04-17 Institut Mines-Telecom Systeme optique de detection et de suivi de mouvements oculaires, monture externe et lentille de contact connectee associees
EP3582077A1 (en) * 2018-06-13 2019-12-18 Tobii AB Eye tracking device and method for manufacturing an eye tracking device
EP3826528A4 (en) * 2018-07-25 2022-07-27 Natus Medical Incorporated REAL TIME REMOVAL OF IR LED REFLECTIONS FROM AN IMAGE
JP7227989B2 (ja) * 2018-08-21 2023-02-22 メタ プラットフォームズ テクノロジーズ, リミテッド ライアビリティ カンパニー 視野内マイクロデバイスを備えた照明アセンブリ
US10809760B1 (en) * 2018-10-29 2020-10-20 Facebook, Inc. Headset clock synchronization
US10914945B2 (en) 2018-11-09 2021-02-09 Facebook Technologies, Llc Inconspicuous near-eye electrical circuits
US11500185B2 (en) * 2018-11-09 2022-11-15 Meta Platforms Technologies, Llc Catadioptric and refractive optical structures for beam shaping
US20200150425A1 (en) * 2018-11-09 2020-05-14 Facebook Technologies, Llc Inconspicuous near-eye electrical components
CN109725714B (zh) 2018-11-14 2022-06-14 北京七鑫易维信息技术有限公司 视线确定方法、装置、系统、以及头戴式眼动设备
EP3891696A1 (en) 2018-12-04 2021-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Improved optical see-through viewing device and method for providing virtual content overlapping visual objects
USD879868S1 (en) * 2018-12-27 2020-03-31 Snap Inc. Eyewear
USD879865S1 (en) * 2018-12-27 2020-03-31 Snap Inc. Eyewear
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
US11861063B2 (en) 2019-02-05 2024-01-02 Samsung Electronics Co., Ltd. Eye-tracking device and display apparatus including the same
US10764571B1 (en) * 2019-04-22 2020-09-01 Snap Inc. Camera holder for economical and simplified test alignment
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
EP3980835A1 (en) * 2019-06-07 2022-04-13 Telefonaktiebolaget Lm Ericsson (Publ) Improved optical see-through viewing device and method for calibrating provision of virtual content overlapping visual objects
CN110441901A (zh) * 2019-08-14 2019-11-12 东北大学 一种可实时追踪注视位置的光学显微镜系统及方法
CN111651034B (zh) * 2019-12-05 2023-12-26 寰采星科技(宁波)有限公司 智能眼镜以及智能眼镜的控制方法和控制芯片
AT523152B1 (de) * 2020-02-24 2021-06-15 Univ Graz Tech Vorrichtung zum Erfassen von Augenbewegungen
WO2021228399A1 (en) * 2020-05-14 2021-11-18 Viewpoint Sicherheitsforschung-Blickforschung Gmbh Spectacles and method for determining the pupil center
CN111783660B (zh) * 2020-07-01 2023-11-10 业成科技(成都)有限公司 眼动追踪装置及应用其的电子装置
CN116137801A (zh) * 2020-07-23 2023-05-19 奇跃公司 使用交替采样的眼睛跟踪
CN112244763A (zh) * 2020-10-20 2021-01-22 垒途智能教科技术研究院江苏有限公司 一种便于调整的头戴眼镜式眼动仪
EP4215976A1 (en) * 2021-01-18 2023-07-26 Samsung Electronics Co., Ltd. Wearable electronic device including miniature camera
US11818472B2 (en) 2022-01-31 2023-11-14 Donald Siu Simultaneously capturing images in landscape and portrait modes
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system
US20240061499A1 (en) * 2022-08-22 2024-02-22 Meta Platforms Technologies, Llc Gaze adjusted avatars for immersive reality applications
CN115624315B (zh) * 2022-11-18 2023-03-14 北京中科睿医信息科技有限公司 眼动追踪方法、装置、电子设备、计算机存储介质及产品

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4145122A (en) * 1977-05-31 1979-03-20 Colorado Seminary Method and apparatus for monitoring the position of the eye
US4300818A (en) * 1978-03-13 1981-11-17 Schachar Ronald A Multifocal ophthalmic lens
US4659197A (en) * 1984-09-20 1987-04-21 Weinblatt Lee S Eyeglass-frame-mounted eye-movement-monitoring apparatus
US4852988A (en) * 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US5092669A (en) * 1990-03-16 1992-03-03 Migra Limited Optical device and method for using same
US5610678A (en) * 1993-12-30 1997-03-11 Canon Kabushiki Kaisha Camera including camera body and independent optical viewfinder
JP3477567B2 (ja) * 1995-05-15 2003-12-10 日本光電工業株式会社 瞳孔測定装置およびアルツハイマー病診断装置
DE59609821D1 (de) * 1995-05-15 2002-11-28 Leica Mikroskopie Systeme Ag H Verfahren und vorrichtung zum parallelen erfassen von sehinformation
DE69604228T2 (de) * 1995-05-15 2000-01-20 Nihon Kohden Corp Pupillen Messanordnung und Alzheimer Krankheits Diagnosesystem
US6003991A (en) * 1996-02-17 1999-12-21 Erik Scott Viirre Eye examination apparatus and method for remote examination of a patient by a health professional
US5861936A (en) * 1996-07-26 1999-01-19 Gillan Holdings Limited Regulating focus in accordance with relationship of features of a person's eyes
USRE39539E1 (en) 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
US6163281A (en) 1996-08-19 2000-12-19 Torch; William C. System and method for communication using eye movement
US6120460A (en) * 1996-09-04 2000-09-19 Abreu; Marcio Marc Method and apparatus for signal acquisition, processing and transmission for evaluation of bodily functions
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US5886767A (en) * 1996-10-09 1999-03-23 Snook; Richard K. Keratometry system and method for measuring physical parameters of the cornea
US6133946A (en) * 1998-01-06 2000-10-17 Sportvision, Inc. System for determining the position of an object
CA2233047C (en) * 1998-02-02 2000-09-26 Steve Mann Wearable camera system with viewfinder means
US6614408B1 (en) * 1998-03-25 2003-09-02 W. Stephen G. Mann Eye-tap for electronic newsgathering, documentary video, photojournalism, and personal safety
JP2000023065A (ja) * 1998-06-29 2000-01-21 Dainippon Printing Co Ltd 視線入力付きゴーグル型ディスプレイ
EP1038494A1 (en) * 1999-03-20 2000-09-27 Richard K. Snook Clinical keratometer system
US6116736A (en) * 1999-04-23 2000-09-12 Neuroptics, Inc. Pupilometer with pupil irregularity detection capability
JP2000300520A (ja) * 1999-04-23 2000-10-31 Matsushita Electric Works Ltd 瞳孔測定装置
JP3200801B2 (ja) * 1999-06-14 2001-08-20 八木 聰明 撮像装置
JP2001281520A (ja) * 2000-03-30 2001-10-10 Minolta Co Ltd 光学装置
JP4584408B2 (ja) * 2000-05-17 2010-11-24 株式会社ニューオプト 眼球画像解析システム
DE10047237A1 (de) * 2000-09-23 2002-04-11 Physoptics Opto Electronic Gmb System zur Aufnahme des Netzhautreflexbildes
US6384863B1 (en) * 2000-10-11 2002-05-07 Hewlett-Packard Company Ergonomically designed digital camera capable of being held by one hand
US6478425B2 (en) * 2000-12-29 2002-11-12 Koninlijke Phillip Electronics N. V. System and method for automatically adjusting a lens power through gaze tracking
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
FR2820486B1 (fr) * 2001-02-02 2003-04-04 Dietrich & Cie De Organe de fermeture d'une vanne comportant un logement interieur pour une sonde permettant l'extraction de celle-ci sans demontage
US6760576B2 (en) * 2001-03-27 2004-07-06 Qualcomm Incorporated Method and apparatus for enhanced rate determination in high data rate wireless communication systems
GB0119859D0 (en) 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
JP2003061912A (ja) * 2001-08-29 2003-03-04 Canon Inc 眼科用画像装置
US7753524B2 (en) * 2002-02-08 2010-07-13 Novavision, Inc. Process and device for treating blind regions of the visual field
EP1391176A1 (en) * 2002-08-16 2004-02-25 Universiteit Maastricht Method and arrangement for performing measurements of the topography of a corneal surface
US7206022B2 (en) * 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring
US6637883B1 (en) 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
AU2003903157A0 (en) * 2003-06-20 2003-07-03 The Lions Eye Institute of Western Australia Incorporated The Ophthalmic camera and ophthalmic camera adaptor
WO2005043218A1 (ja) * 2003-10-30 2005-05-12 Brother Kogyo Kabushiki Kaisha 画像表示装置
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7515054B2 (en) * 2004-04-01 2009-04-07 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP4580678B2 (ja) * 2004-04-28 2010-11-17 株式会社ディテクト 注視点位置表示装置
WO2006011870A1 (en) * 2004-06-25 2006-02-02 Fergason James L Optical system for monitoring eye movement
FI20045300A (fi) * 2004-08-17 2006-02-18 Nokia Corp Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi
US7390088B2 (en) * 2004-12-03 2008-06-24 Searete Llc Adjustable lens system with neural-based control
EP2328131B1 (en) * 2005-03-25 2012-10-10 Sensormatic Electronics LLC Intelligent camera selection and object tracking
JP4617214B2 (ja) * 2005-08-05 2011-01-19 キヤノン株式会社 画像撮影装置及びその制御方法、プログラム、画像撮影システム
BRPI0614807B1 (pt) * 2005-08-11 2018-02-14 Sleep Diagnostics Pty Ltd “armação de óculos para uso em sistema de controle ocular”
SE529763C2 (sv) * 2005-10-10 2007-11-20 Tobii Technology Ab Ögonrörelseföljare med ett utökat omfång av arbetsavstånd
US8066375B2 (en) * 2005-10-10 2011-11-29 Tobii Technology Ab Eye tracker having an extended span of operating distances
US7914148B2 (en) 2005-11-15 2011-03-29 Carl Zeiss Vision Australia Holdings Limited Ophthalmic lens simulation system and method
US20110298829A1 (en) * 2010-06-04 2011-12-08 Sony Computer Entertainment Inc. Selecting View Orientation in Portable Device via Image Analysis
JP4869757B2 (ja) * 2006-03-24 2012-02-08 株式会社トプコン 眼底観察装置
JP4961914B2 (ja) * 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
JP4663700B2 (ja) * 2007-09-28 2011-04-06 富士フイルム株式会社 撮影装置、及び撮影方法
CN201110916Y (zh) * 2007-12-03 2008-09-03 吴汉标 视场调节眼镜
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US8348429B2 (en) * 2008-03-27 2013-01-08 Doheny Eye Institute Optical coherence tomography device, method, and system
EP2334270B1 (en) * 2008-04-01 2016-06-01 AMO Development, LLC Ophthalmic laser apparatus and system with high resolution imaging
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8269893B2 (en) * 2008-05-12 2012-09-18 Flir Systems, Inc. Optical payload electrical system
JP2010081480A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム
WO2010083853A1 (en) 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
US8398239B2 (en) 2009-03-02 2013-03-19 Honeywell International Inc. Wearable eye tracking system
JP5658228B2 (ja) * 2009-04-01 2015-01-21 テイアサイエンス・インコーポレーテツド 眼球涙液膜の画像形成、処理および/または表示を行いおよび/または眼球涙液膜層の厚さを測定する、眼球表面の干渉分光(osi)装置、システムおよび方法
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
JP5828070B2 (ja) * 2010-08-20 2015-12-02 パナソニックIpマネジメント株式会社 撮像装置および撮像方法
US8593558B2 (en) * 2010-09-08 2013-11-26 Apple Inc. Camera-based orientation fix from portrait to landscape
JP2012070116A (ja) * 2010-09-22 2012-04-05 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
US8836777B2 (en) * 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device

Also Published As

Publication number Publication date
WO2012126808A1 (en) 2012-09-27
US20140078283A1 (en) 2014-03-20
JP2014509534A (ja) 2014-04-21
EP2923638B1 (en) 2019-02-20
EP2499964A1 (en) 2012-09-19
CN103429139A (zh) 2013-12-04
JP2014512596A (ja) 2014-05-22
JP2014509533A (ja) 2014-04-21
US20140055746A1 (en) 2014-02-27
US20220061660A1 (en) 2022-03-03
JP2014508016A (ja) 2014-04-03
EP2499960B1 (en) 2015-04-22
US20170035293A1 (en) 2017-02-09
CN103442629A (zh) 2013-12-11
EP2499960A1 (en) 2012-09-19
WO2012126810A1 (en) 2012-09-27
EP2499961B1 (en) 2016-09-21
EP2499961A1 (en) 2012-09-19
EP2499962A1 (en) 2012-09-19
CN103429139B (zh) 2017-02-15
CN103429143A (zh) 2013-12-04
US9107622B2 (en) 2015-08-18
CN103442629B (zh) 2016-01-06
WO2012126811A1 (en) 2012-09-27
EP2499962B1 (en) 2015-09-09
JP6026444B2 (ja) 2016-11-16
WO2012126809A1 (en) 2012-09-27
EP2499964B1 (en) 2015-04-15
US20140085452A1 (en) 2014-03-27
JP6030075B2 (ja) 2016-11-24
CN103458770B (zh) 2017-04-05
JP6159264B2 (ja) 2017-07-05
CN103458770A (zh) 2013-12-18
EP2923638A1 (en) 2015-09-30

Similar Documents

Publication Publication Date Title
JP6159263B2 (ja) 照射特性を調整可能にして少なくとも1つの眼における少なくとも1つのパラメータを捕捉する光学的測定装置及び方法
US9033502B2 (en) Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
US20160302663A1 (en) Method for calibrating a head-mounted eye tracking device
EP3371781B1 (en) Systems and methods for generating and using three-dimensional images
JP2016510517A (ja) ウエアラブル視線計測デバイス及び使用方法
JP6957048B2 (ja) 眼部画像処理装置
CN109964230B (zh) 用于眼睛度量采集的方法和设备
CN103429143B (zh) 光学测量装置和系统

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20140203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170609

R150 Certificate of patent or registration of utility model

Ref document number: 6159263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250