JP7018634B2 - 眼球運動測定装置及び眼球運動解析システム - Google Patents

眼球運動測定装置及び眼球運動解析システム Download PDF

Info

Publication number
JP7018634B2
JP7018634B2 JP2018545003A JP2018545003A JP7018634B2 JP 7018634 B2 JP7018634 B2 JP 7018634B2 JP 2018545003 A JP2018545003 A JP 2018545003A JP 2018545003 A JP2018545003 A JP 2018545003A JP 7018634 B2 JP7018634 B2 JP 7018634B2
Authority
JP
Japan
Prior art keywords
eyeball
eye movement
measuring device
driver
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018545003A
Other languages
English (en)
Other versions
JPWO2018070379A1 (ja
Inventor
栄二 鈴木
豊 平田
祥悟 中村
慎一 上田
雅也 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NAC IMAGE TECHNOLOGY INC.
Tokai Optical Co Ltd
Chubu University Educational Foundation
Original Assignee
NAC IMAGE TECHNOLOGY INC.
Tokai Optical Co Ltd
Chubu University Educational Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NAC IMAGE TECHNOLOGY INC., Tokai Optical Co Ltd, Chubu University Educational Foundation filed Critical NAC IMAGE TECHNOLOGY INC.
Publication of JPWO2018070379A1 publication Critical patent/JPWO2018070379A1/ja
Application granted granted Critical
Publication of JP7018634B2 publication Critical patent/JP7018634B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A61B5/741—Details of notification to user or communication with user or patient ; user input means using sound using synthesised speech
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/04—Illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/10—Filters, e.g. for facilitating adaptation of the eyes to the dark; Sunglasses
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/14—Mirrors; Prisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C9/00—Attaching auxiliary optical parts
    • G02C9/04—Attaching auxiliary optical parts by fitting over or clamping on

Description

本発明は、車両の運転者等が装着し、運転者等の眼球運動を測定するための眼球運動測定装置及び眼球運動測定装置により取得された眼球運動に基づき、運転者等の意識状態の解析等、各種解析を行うための眼球運動解析システムに関する。
車両の運転者等のヒューマンエラーに起因する事故の低減などを目的として、運転者等の状態をモニタリングする技術開発の要請がある。運転者等の眼球運動は、覚醒度や漫然度など、運転者等の意識状態を反映することが知られており、眼球運動を測定し、運転者等の状態を検知することが試みられてきた。このような眼球運動を測定するための装置として、対象者の眼球を含む顔面に検知光を照射して、目を撮像する装置が提案されている（例えば、特許文献１）。
特開２０１６－５１３１７号公報
従来、提案されている撮像装置は、眼球に正対するようにあらかじめ車両に配置する、などの状態で使用される。そのため、運転者等が頭部を動かすことにより、撮像装置と眼球との位置関係が変化し、眼球が撮像装置の視野から外れること等があり、安定した撮像ができないおそれがあった。また、環境光が撮像装置に入射し、鮮明な画像が取得できないおそれがあった。
ハーフミラーを用いたゴーグルタイプの撮像装置では、撮像装置と眼球との位置関係を所定の関係に維持できるが、構成が複雑で大型になるとともに、上述の撮像装置同様に、環境光が撮像装置に入り込み、鮮明な画像が取得できないおそれがあった。
そこで、本発明では、運転者等が容易に着脱可能なコンパクトな構成であるとともに、環境光の効果を低減し、高精度で眼球運動を測定することができる眼球運動測定装置及び眼球運動測定装置により取得された眼球運動に基づき、運転者等の意識状態の解析等、各種解析を行うための眼球運動解析システムを提供することを目的とする。
請求項１に記載の発明では、眼球を撮影する眼球撮影装置と、前記眼球撮影装置により撮影された眼球像に基づいて眼球運動を検出する眼球運動検出手段と、を備え、眼球の状態及び運動を検出する眼球運動測定装置であって、前記眼球撮影装置は、照明光により運転者等の眼球を照明する眼球照明手段と、前記眼球照明手段により照明された眼球の眼球像を撮像する眼球像撮像手段と、運転者等が前記眼球撮影装置を装着するときに、前記眼球照明手段を眼球に照明光を照射可能な位置に配置し、前記眼球像撮像手段を眼球像を撮像可能な位置に配置する配置手段と、を備えた、という技術的手段を用いる。
請求項１に記載の発明によれば、眼球撮影装置は、眼球照明手段により照明光で眼球を照明し、眼球像撮像手段により眼球照明手段により照明された眼球の眼球像を撮像することができる。そして、眼球運動検出手段により、眼球撮影装置により撮影された眼球像に基づいて眼球運動を検出することができる。また、配置手段により、眼球照明手段及び眼球像撮像手段を容易に所定の位置に配置することができる。
これにより、運転者等が容易に着脱可能なコンパクトな構成であるとともに、環境光の効果を低減し、安定した条件で眼球運動を測定することができる眼球運動測定装置とすることができる。ここで、「運転者等」とは、車両の運転者、装置の操作者等を示す。
また、請求項１に記載の発明では、前記眼球像撮像手段は、前記眼球照明手段が発する不可視光を透過するとともに、可視光領域の環境光の少なくとも一部を吸収または反射するフィルタを備えた、という技術的手段を用いる。
請求項１に記載の発明によれば、撮像に用いる不可視光を透過するとともに、撮像手段に入射する可視光領域の環境光を減じることができるので、環境光の影響を低減し、高精度で眼球を撮像することができる。
請求項２に記載の発明では、請求項１に記載の眼球運動測定装置において、眼鏡を装着する運転者等の眼球の状態及び運動を測定する眼球運動測定装置であって、前記配置手段は、装着された眼鏡に対して、前記眼球照明手段及び前記眼球像撮像手段を配置する、という技術的手段を用いる。
請求項２に記載の発明によれば、運転者等が普段使用している眼鏡を装着したまま、眼球運動を測定することができる。
請求項３に記載の発明では、請求項１または請求項２に記載の眼球運動測定装置において、可視光を透過し、前記眼球照明手段から照射される照明光を反射し眼球に導くとともに、前記眼球像撮像手段に撮像する眼球像を反射するための反射手段を備え、前記配置手段は、前記反射手段に対して、前記眼球照明手段を眼球に照明光を照射可能な位置に配置し、前記眼球像撮像手段を前記反射手段により反射される眼球像を撮像可能な位置に配置し、前記眼球像撮像手段は、前記眼球照明手段により照明された眼球の眼球像を、前記反射手段を介して眼球の後方または側方から撮像する、という技術的手段を用いる。
請求項３に記載の発明によれば、反射手段により眼球照明手段から照射される不可視光を反射し眼球に導くとともに眼球像を反射し、眼球像撮像手段により眼球照明手段により照明された眼球の眼球像を眼球の後方または側方から撮像することができる。これにより、眼球撮影装置を、よりコンパクトな構成とすることができる。また、環境光の影響をより低減し、高精度で眼球運動を測定することができる眼球運動測定装置とすることができる。
ここで、「眼球の後方または側方」とは、運転者等の顔面から表出する眼球面を基準とした位置関係を示している。
請求項４に記載の発明では、請求項１ないし請求項３のいずれか１つに記載の眼球運動測定装置において、オーバーグラスが前記配置手段を構成する、という技術的手段を用いる。
請求項５に記載の発明では、請求項１ないし請求項３のいずれか１つに記載の発明の眼球運動測定装置において、クリップオングラスが前記配置手段を構成する、という技術的手段を用いる。
請求項４、５に記載の発明のように、配置手段を構成するものとして、オーバーグラスやクリップオングラスを好適に用いることができる。
請求項６に記載の発明では、請求項１ないし請求項５のいずれか１つに記載の眼球運動測定装置において、前記眼球照明手段が発する照明光は不可視光である近赤外光である、という技術的手段を用いる。
請求項６に記載の発明のように、照明光として、夜間での撮像も可能な不可視光である近赤外光を採用することができる。
請求項７に記載の発明では、請求項１ないし請求項４のいずれか１つに記載の眼球運動測定装置において、前記眼球照明手段が発する照明光は不可視光である紫外光である、という技術的手段を用いる。
一般的な眼鏡のレンズが紫外線の透過率が低く、環境光の影響を受けにくいので、請求項７に記載の発明のように、照明光として不可視光である紫外光を採用することができる。
請求項８に記載の発明では、請求項６に記載の眼球運動測定装置において、前記反射手段は、近赤外光を選択的に反射する反射膜である、という技術的手段を用いる。
反射手段は、請求項８に記載の発明のように、近赤外光を選択的に反射する反射膜とすることができる。
請求項９に記載の発明では、請求項８に記載の眼球運動測定装置において、眼鏡、オーバーグラス及びクリップオングラスのいずれかのレンズは、近赤外線を吸収する材料からなる、という技術的手段を用いる。
請求項９に記載の発明によれば、レンズが近赤外線を吸収するため、環境光に含まれる近赤外光の影響を低減して、高精度で眼球を撮像することができる。
請求項１０に記載の発明では、請求項１ないし請求項９のいずれか１つに記載の眼球運動測定装置において、前記眼球照明手段による照明光の照射方向と、前記眼球像撮像手段の視野方向と、は略同一方向である、という技術的手段を用いる。
請求項１０に記載の発明によれば、眼球像撮像手段の視野方向に対して、十分な照度の不可視光を照射することができるので、眼球への照明光の照射効率がよくなり、鮮明な画像を取得することができる。
請求項１１に記載の発明では、眼球運動解析システムが、請求項１ないし請求項１０のいずれか１つに記載の眼球運動測定装置と、前記眼球運動検出手段により検出された眼球運動に基づいて運転者等の意識状態等の状態を検知する人状態検知手段と、を備えた、という技術的手段を用いる。
請求項１１に記載の発明によれば、眼球運動解析システムが、眼球運動測定装置と人状態検知手段とを備えているので、眼球運動検出手段により検出された眼球運動に基づいて人状態検知手段により運転者等の意識状態等の状態を検知することができる。
請求項１２に記載の発明では、請求項１１に記載の眼球運動解析システムにおいて、車両の運転者に用いられ、前記解析手段は、運転者の覚醒度、漫然状態等の意識状態を検知する、という技術的手段を用いる。
請求項１２に記載の発明のように、眼球運動解析システムによれば、車両の運転においてヒューマンエラーの原因となる運転者の覚醒度、漫然状態等の意識状態を解析することができる。
請求項１３に記載の発明では、請求項１２に記載の眼球運動解析システムにおいて、前記解析手段が運転者の意識状態が所定の状態であると判断したときに、音声、振動等により運転者に警告する警告手段を備えた、という技術的手段を用いる。
請求項１３に記載の発明によれば、警告手段は、運転者の意識状態が車両の運転において危険な意識状態であるなどの所定の状態であると判断したときに、警告を発して注意喚起することができる。
第１実施形態の眼球撮影装置及び眼球運動解析システムの構成を模式的に示す説明図である。 運転者等の眼球に対する眼球照明手段、眼球像撮像手段及び反射手段の配置を模式的に示す説明図である。 第２実施形態の眼球撮影装置及び眼球運動解析システムの構成を模式的に示す説明図である。
（第１実施形態）
本発明の眼球運動解析システムＳについて、図を参照して説明する。図１に示すように、眼球運動解析システムＳは、車両の運転者、装置の操作者等（以下、運転者等、という）の眼球を撮影する眼球撮影装置１と、眼球撮影装置１により撮影された眼球像に基づいて眼球運動を検出する眼球運動検出手段２と、眼球運動検出手段２により検出された眼球運動に基づいて運転者等の意識状態等の状態を検知する人状態検知手段３と、を備えている。また、人状態検知手段３により検出された運転者等の状態に基づき、警告を発する警告手段４を備えている。ここで、眼球撮影装置１と、眼球運動検出手段２と、が眼球運動測定装置を構成する。
第１実施形態の眼球撮影装置１は、運転者等が装着している眼鏡Ｇを覆って装着されるオーバーグラス１０と、不可視光により眼球を照明する眼球照明手段１１と、眼球照明手段１１により照明された眼球の眼球像を撮像する眼球像撮像手段１２と、眼球照明手段１１から照射される不可視光を反射し眼球に導くとともに、眼球像撮像手段１２に撮像する眼球像を反射するための反射手段１３と、眼鏡Ｇに対して、眼球照明手段１１、眼球像撮像手段１２、反射手段１３を所定の位置に配置する配置手段と、を備えている。
ここで、配置手段は、反射手段１３に対して、眼球照明手段１１を不可視光で眼球を照射可能な位置に配置し、眼球像撮像手段１２を反射手段１３により反射される眼球像を撮像可能な位置に配置する。
本実施形態では、眼球照明手段１１として、照明光として不可視光である近赤外光を発する近赤外光ＬＥＤ１１ａを採用する。近赤外光は、夜間での撮像も可能であり、好適に用いることができる。また、不可視光は、運転者等が眼球を照明されていることを知覚しないため、視覚、集中力などを阻害することがないので、好適に用いることができる。近赤外光ＬＥＤ１１ａは、固定部材１４により、運転者等の視野を遮らない位置に、オーバーグラス１０のレンズ部１０ａに設けられた反射手段１３に向かって近赤外光を照射可能な方向で、オーバーグラス１０のテンプル１０ｂに取り付けられている。ここで、固定部材１４は、近赤外光ＬＥＤ１１ａ及び近赤外光カメラ１２ａの向きを調整する調整機構を備えている。
本実施形態では、眼球像撮像手段１２として、近赤外光カメラ１２ａを採用する。近赤外光カメラ１２ａは、近赤外光ＬＥＤ１１ａとともに、固定部材１４によりオーバーグラス１０のテンプル１０ｂに取り付けられている。ここで、近赤外光ＬＥＤ１１ａによる近赤外光の照射方向と、近赤外光カメラ１２ａの視野方向と、は略同一方向である。このような配置によれば、眼球像撮像手段１２の視野方向に対して、十分な照度の不可視光を照射することができるので、眼球への不可視光の照射効率がよくなり、鮮明な画像を取得することができる。
近赤外光カメラ１２ａは、人状態検出のために必要な撮像周期及び精度を備えている。例えば、フレームレートが２００フレーム毎秒であり、分解能が０．０５°で撮像可能なカメラとして構成されている。
本実施形態では、反射手段１３は、可視光を透過し近赤外光の反射率が選択的に高い反射膜１３ａとして、オーバーグラス１０のレンズ部１０ａの眼球側の面に形成されている。反射膜１３ａとしては、近赤外光を反射する公知のコーティング膜、例えば、特開２０１５－１４８６４３号公報に開示されたコーティング膜等を採用することができる。
図２に運転者等の右目Ｒに対する近赤外光ＬＥＤ１１ａ、近赤外光カメラ１２ａ及び反射膜１３ａの配置を示す。図２は、運転者等の頭上から眼球撮影装置１を見たときの配置を模式的に示す。なお、簡単のため、眼鏡Ｇの図示は省略する。
近赤外光ＬＥＤ１１ａは、反射膜１３ａを介して右目Ｒの眼球、少なくとも光彩及び瞳孔に、経路Ａのように近赤外光を照射可能な位置に配置されている。
右目Ｒに照射された近赤外光は、経路Ｂのように反射膜１３ａを介して近赤外光カメラ１２ａに入射し、眼球像として撮像される。
本実施形態では、近赤外光ＬＥＤ１１ａ及び近赤外光カメラ１２ａを配置する固定部材１４、固定部材１４が取り付けられるテンプル１０ｂと反射膜１３ａを配置するレンズ１０ａとを備えたオーバーグラス１０が配置手段に相当する。
オーバーグラス１０は眼鏡Ｇとの位置関係が一定であるため、本実施形態では、近赤外光ＬＥＤ１１ａ及び近赤外光カメラ１２ａを配置する固定部材１４、固定部材１４が取り付けられるテンプル１０ｂと反射膜１３ａを配置するレンズ１０ａとを備えたオーバーグラス１０が配置手段に相当する。
このように、第１実施形態の眼球撮影装置１によれば、近赤外光ＬＥＤ１１ａ、近赤外光カメラ１２ａ及び反射膜１３ａはオーバーグラス１０に配置されるため、運転者等の頭部が動いてもその動きに追従し、眼球との位置関係が変化することがない。また、運転者等の視界を遮ることがない。
また、不可視光である近赤外光で眼球を照明するため、運転者等が眼球の撮像を意識することがなく前方を注視して、車両の運転や装置の操作等を行うことができる。
オーバーグラス１０は、レンズ１０ａが外界からの近赤外光を吸収、遮断するレンズ、例えば、銅イオンが導入されたレンズからなる構成を採用することができる。これによれば、オーバーグラス１０の前方から環境光に含まれる近赤外光がレンズ１０ａを透過して近赤外光カメラ１２ａに入射することを抑制することができるので、眼球の撮像における環境光の影響を低減し、高精度で眼球を撮像することができる。また、環境光の影響を低減することができるので、眼球に照射する近赤外光の照射強度を低減することもできる。
眼球運動検出手段２及び人状態検知手段３は、コンピュータ、スマートフォン等の携帯端末、など演算処理機能を備えた装置により構成されている。眼球運動検出手段２及び人状態検知手段３は、当該手段に記録されたプログラムに従って、それぞれ眼球撮影装置１により撮影された眼球像に基づいた眼球運動の検出、眼球運動検出手段２により検出された眼球運動に基づいた運転者等の意識状態等の状態の検知、を行う。
眼球運動検出手段２及び人状態検知手段３は、同一の演算処理用コンピュータとして構成することができる。また、本システムを、例えば、自動車などの車両に搭載する場合には、エンジンコントロールユニット（ＥＣＵ）を演算処理用コンピュータとして共用することもできる。
眼球運動検出手段２は、眼球照明手段１１及び眼球像撮像手段１２に電力を供給し、それぞれの制御を行う。そして、所定の間隔で眼球像撮像手段１２から眼球像を取得し、人状態検知手段３へ当該データを送出する。本実施形態では、眼球運動検出手段２が通信手段を備え、眼球運動検出手段２から人状態検知手段３へのデータの送出を無線通信で行っている。
眼球運動検出手段２では、近赤外光ＬＥＤ１１ａにより近赤外光の照射については、近赤外光ＬＥＤ１１ａを常時点灯して行ってもよいし、近赤外光カメラ１２ａによる撮像周期と同期するよう、照射タイミングを制御してもよい。
眼球の運動、瞳孔径の変化などの眼球の状態は、運転者等の意識状態と密接な関係がある。人状態検知手段３は、眼球運動検出手段２により検出された眼球運動に基づいて運転者等の意識状態等の状態を検知する。眼球の撮像データについて画像処理等の処理を行い各種パラメータを抽出し、そのパラメータの値、変化に基づいて、運転者等の覚醒度、漫然状態などの意識状態を検知することができる。
人状態検知手段３には、各種解析に必要なセンサ類、例えば、ジャイロスコープを接続可能に構成されている。これら、センサ類からの出力信号を取得し、解析に用いることができる。
運転者等の意識状態の検知としては、例えば、両眼の輻輳角、開散を検出することにより運転者等の漫然状態を検知することができる。
また、車両の運転者の頭部に生じる直線加速度及び回転角速度を検出する、例えば、直線加速度を検出する３軸加速度センサ及び回転角速度を検出するジャイロスコープを付帯装置として用意し、前庭動眼反射（ＶＯＲ）を検出し、この前庭動眼反射に基づいて眠気の予兆等、運転者の覚醒度を判定することができる。ここで、この解析に用いるパラメータは一方の眼球運動だけで算出することができるので、近赤外光ＬＥＤ１１ａ、近赤外光カメラ１２ａ及び反射膜１３ａは片眼分だけ用意すればよい。
また、運転者等の視線方向を検出可能な、例えば、視線カメラを付帯装置として用意し、視線行動のデータと瞳孔径の変化率と組み合わせて運転者等の意識状態を検知することができる。
警告手段４は、人状態検知手段３により検知された運転者等の状態に基づき、警告を発する。例えば、人状態検知手段３において、運転者等に眠気が生じていると判断されたときには、警告音、警告メッセージを発する、という構成を有する。ここで、警告の発し方は、ＥＣＵに接続し、車両のディスプレイに警告表示をする、空調、車内照明を変化させる、シートベルトを締める、など、種々の形態を採用することができる。
（変更例）
眼鏡Ｇを使用しない運転者等については、オーバーグラス１０を単独で用いることもできる。
近赤外光カメラ１２ａは、可視光領域の環境光の少なくとも一部を吸収または反射し、近赤外光ＬＥＤ１１ａが発する近赤外線を選択的に透過するフィルタを備える構成とすることもできる。例えば、可視光吸収、近赤外線透過色素を添加した樹脂板や誘電体多層膜による可視光反射コートなどを採用することができる。これによれば、近赤外光カメラ１２ａに眼球の撮像に用いる近赤外光を選択的に入射させることができるので、環境光の影響を受けにくく、高精度で眼球を撮像することができる
。
反射膜１３ａに代えて、近赤外光を選択的に反射するシールを眼鏡Ｇのレンズに貼り付けることにより、同様の構成とすることができる。シール以外には、近赤外光を反射する成分を含んだ液体を噴霧してレンズＧａをコーティングすることもできる。
不可視光として紫外光を用いることもできる。このとき、眼球照明手段１１として紫外光ＬＥＤを、眼球像撮像手段１２として紫外線カメラを、反射手段１３として紫外光反射膜を用いる。オーバーグラス１０のレンズ１０ａや眼鏡Ｇのレンズは、一般的に紫外光の透過率が低いため、眼球の撮像における環境光の影響を低減することができるので、好適である。
眼球照明手段１１による照明光として、不可視光ではなく可視光領域の照明光を用いることもできる。このとき、環境光の影響を低減するために、反射手段１３は照明光の波長領域を選択的に反射する構成とすることが好ましい。
（第２実施形態）
第２実施形態の眼球撮影装置５を図３に示す。眼球撮影装置５は、オーバーグラス１０に代えて、眼鏡ＧのレンズＧａの前方に、レンズ５０ａをクリップ５０ｂにより装着するクリップオングラス５０を用いる。
眼球照明手段１１及び眼球像撮像手段１２の構成は、第１実施形態の眼球撮影装置１と同様である。眼球照明手段１１及び眼球像撮像手段１２は、固定部材１４により、眼鏡ＧのテンプルＧｂに取り付けられている。
ここで、固定部材１４は、クリップなどの公知の固定手段により眼鏡ＧのテンプルＧｂに脱着可能に形成されているとともに、近赤外光カメラ１２ａの向きを調整する調整機構を有する構成である。
本実施形態では、反射手段１３は、クリップオングラス５０のレンズ５０ａに反射膜１３ａとして形成される。ここで、反射膜１３ａはレンズ５０ａの眼球側、眼球と反対側のいずれの面に形成してもよい。
クリップオングラス５０のレンズ５０ａは、オーバーグラス１０のレンズ１０ａ同様に、外界からの近赤外光を吸収、遮断するレンズ、例えば、銅イオンが導入されたレンズからなる構成を採用することができる。
なお、本実施形態では、眼鏡ＧのレンズＧａは眼球撮像用の近赤外光が透過するために、近赤外光を吸収または反射する機能を付与しないことが好ましい。
（変更例）
クリップオングラス５０のレンズ５０ａに形成する反射膜１３ａに代えて、近赤外光を選択的に反射するシールを眼鏡ＧのレンズＧａに貼り付けることにより、眼鏡Ｇにクリップオングラス５０を装着することなく、同様の構成とすることができる。これによれば、運転者等は普段からかけ慣れた眼鏡Ｇをそのまま使用することができる。シール以外には、近赤外光を反射する成分を含んだ液体を噴霧してレンズＧａをコーティングすることもできる。また、眼鏡ＧのレンズＧａオーバーグラス１０のレンズ１０ａ同様に、外界からの近赤外光を吸収、遮断するレンズ、例えば、銅イオンが導入されたレンズからなる構成を採用することができる。
第１実施形態同様に、不可視光として紫外光を用いることもできる。また、眼球照明手段１１による照明光として、不可視光ではなく可視光領域の照明光を用いることもできる。
（その他の実施形態）
眼球像撮像手段１２を配置手段により眼球の前方または側方に配置し、反射手段１３を介さずに直接眼球を撮像する構成を採用することもできる。このとき、眼球撮影装置１には反射手段１３を設ける必要はない。
眼球運動解析システムＳは、医療用の診断装置として、眼球運動に特徴的な挙動が認められるパーキンソン病、自閉症、統合失調症等の診断に用いることもできる。また、スポーツビジョン評価やトレーニング用装置としても用いることができる。
（実施形態の効果）
本発明の眼球運動測定装置によれば、眼球撮影装置１は、眼球照明手段１１により不可視光で眼球を照明し、反射手段１３により眼球照明手段から照射される不可視光を反射し眼球に導くとともに眼球像を反射し、眼球像撮像手段１２により眼球照明手段１１により照明された眼球の眼球像を眼球の後方または側方から撮像することができる。そして、眼球運動検出手段２により、眼球撮影装置により撮影された眼球像に基づいて眼球運動を検出することができる。また、配置手段により、眼球照明手段１１、眼球像撮像手段１２及び反射手段１３を容易に所定の位置に配置することができる。
これにより、運転者等が容易に着脱可能なコンパクトな構成であるとともに、環境光の効果を低減し、高精度で眼球運動を測定することができる眼球運動測定装置とすることができる。また、運転者等が普段使用している眼鏡を装着したまま、眼球運動を測定することができる。
また、眼球運動解析システムＳによれば、眼球運動検出手段２により検出された眼球運動に基づいて人状態検知手段３により運転者等の意識状態等の状態を検知することができる。また、車両の運転においてヒューマンエラーの原因となる運転者の覚醒度、漫然状態等の意識状態を解析することができる。運転者の意識状態が車両の運転において危険な意識状態であるなどの所定の状態であると判断したときに、警告手段４により警告を発して注意喚起することができる。
１…眼球撮影装置
２…眼球運動検出手段
３…人状態検知手段
４…警告手段
５…眼球撮影装置
１０…オーバーグラス
１０ａ…レンズ部
１０ｂ…テンプル
１１…眼球照明手段
１１ａ…近赤外光ＬＥＤ
１２…眼球像撮像手段
１２ａ…近赤外光カメラ
１３…反射手段
１３ａ…反射膜
１４…固定部材
５０…クリップオングラス
５０ａ…レンズ
５０ｂ…クリップ
Ｇ…眼鏡
Ｇａ…レンズ
Ｇｂ…テンプル
Ｓ…眼球運動解析システム

Claims (13)

  1. 眼球を撮影する眼球撮影装置と、前記眼球撮影装置により撮影された眼球像に基づいて眼球運動を検出する眼球運動検出手段と、を備え、眼球の状態及び運動を検出する眼球運動測定装置であって、
    前記眼球撮影装置は、
    照明光により運転者等の眼球を照明する眼球照明手段と、
    前記眼球照明手段により照明された眼球の眼球像を撮像する眼球像撮像手段と、
    運転者等が前記眼球撮影装置を装着するときに、
    前記眼球照明手段を眼球に照明光を照射可能な位置に配置し、前記眼球像撮像手段を眼球像を撮像可能な位置に配置する配置手段と、を備え、
    前記眼球像撮像手段は、環境光の少なくとも一部を吸収または反射し、前記眼球照明手段が発する照明光を選択的に透過するフィルタを備えたことを特徴とする、
    眼球運動測定装置。
  2. 眼鏡を装着する運転者等の眼球の状態及び運動を測定する眼球運動測定装置であって、
    前記配置手段は、装着された眼鏡に対して、前記眼球照明手段及び前記眼球像撮像手段を配置することを特徴とする請求項１に記載の眼球運動測定装置。
  3. 可視光を透過し、前記眼球照明手段から照射される照明光を反射し眼球に導くとともに、
    前記眼球像撮像手段に撮像する眼球像を反射するための反射手段を備え、
    前記配置手段は、前記反射手段に対して、前記眼球照明手段を眼球に照明光を照射可能な位置に配置し、前記眼球像撮像手段を前記反射手段により反射される眼球像を撮像可能な位置に配置し、
    前記眼球像撮像手段は、前記眼球照明手段により照明された眼球の眼球像を、前記反射手段を介して眼球の後方または側方から撮像することを特徴とする請求項１または請求項２に記載の眼球運動測定装置。
  4. オーバーグラスが前記配置手段を構成することを特徴とする請求項１ないし請求項３のいずれか１つに記載の眼球運動測定装置。
  5. クリップオングラスが前記配置手段を構成することを特徴とする請求項１ないし請求項３のいずれか１つに記載の眼球運動測定装置。
  6. 前記眼球照明手段が発する照明光は不可視光である近赤外光であることを特徴とする請求項１ないし請求項５のいずれか１つに記載の眼球運動測定装置。
  7. 前記眼球照明手段が発する照明光は不可視光である紫外光であることを特徴とする請求項１ないし請求項５のいずれか１つに記載の眼球運動測定装置。
  8. 前記反射手段は、近赤外光を選択的に反射する反射膜であることを特徴とする請求項６に記載の眼球運動測定装置。
  9. 眼鏡、オーバーグラス及びクリップオングラスのいずれかのレンズは、近赤外線を吸収する材料からなることを特徴とする請求項８に記載の眼球運動測定装置。
  10. 前記眼球照明手段による照明光の照射方向と、前記眼球像撮像手段の視野方向と、は略同一方向であることを特徴とする請求項１ないし請求項９のいずれか１つに記載の眼球運動測定装置。
  11. 請求項１ないし請求項１０のいずれか１つに記載の眼球運動測定装置と、
    前記眼球運動検出手段により検出された眼球運動に基づいて運転者等の意識状態等の状態を検知する人状態検知手段と、
    を備えた眼球運動解析システム。
  12. 車両の運転者に用いられ、
    前記解析手段は、運転者の覚醒度、漫然状態等の意識状態を検知することを特徴とする請求項１１に記載の眼球運動解析システム。
  13. 前記解析手段が運転者の意識状態が所定の状態であると判断したときに、音声、振動等により運転者に警告する警告手段を備えたことを特徴とする請求項１２に記載の眼球運動解析システム。
JP2018545003A 2016-10-11 2017-10-10 眼球運動測定装置及び眼球運動解析システム Active JP7018634B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016200411 2016-10-11
JP2016200411 2016-10-11
PCT/JP2017/036672 WO2018070379A1 (ja) 2016-10-11 2017-10-10 眼球運動測定装置及び眼球運動解析システム

Publications (2)

Publication Number Publication Date
JPWO2018070379A1 JPWO2018070379A1 (ja) 2019-09-26
JP7018634B2 true JP7018634B2 (ja) 2022-02-14

Family

ID=61906354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018545003A Active JP7018634B2 (ja) 2016-10-11 2017-10-10 眼球運動測定装置及び眼球運動解析システム

Country Status (5)

Country Link
US (1) US10874357B2 (ja)
JP (1) JP7018634B2 (ja)
CN (1) CN109804422B (ja)
DE (1) DE112017005146B4 (ja)
WO (1) WO2018070379A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3627194A1 (en) 2018-09-20 2020-03-25 Essilor International An optical device with reduced reflection in deep red, near infrared and visible ranges
US10633007B1 (en) * 2019-01-31 2020-04-28 StradVision, Inc. Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network
DE102019210862A1 (de) * 2019-07-23 2021-01-28 Robert Bosch Gmbh Beleuchtungseinheit für eine Beobachtungsvorrichtung
US20230280835A1 (en) * 2020-07-10 2023-09-07 Arizona Board Of Regents On Behalf Of Arizona State University System including a device for personalized hand gesture monitoring

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030685A1 (en) 2003-02-13 2008-02-07 Fergason Patent Properties, Llc Optical system for monitoring eye movement
JP2014079374A (ja) 2012-10-16 2014-05-08 Univ Of Tokyo 瞳孔径測定支援装置及び瞳孔径測定支援システム
JP2015109984A (ja) 2004-04-01 2015-06-18 ウィリアム・シー・トーチＷｉｌｌｉａｍ Ｃ． Ｔｏｒｃｈ 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3588216A (en) * 1966-09-02 1971-06-28 Polaroid Corp Plastic optical elements
GB1540992A (en) * 1975-04-22 1979-02-21 Smiths Industries Ltd Display or other systems and equipment for use in such systems
JP5072553B2 (ja) * 2007-11-29 2012-11-14 浜松ホトニクス株式会社 眼球運動計測装置
EP2571417A1 (en) * 2010-05-20 2013-03-27 BAE Systems PLC Eye monitor for monitoring the size of a pupil
US9658453B1 (en) * 2013-04-29 2017-05-23 Google Inc. Head-mounted display including diffractive combiner to integrate a display and a sensor
JP6451057B2 (ja) 2014-02-04 2019-01-16 東海光学株式会社 可視域反射防止近赤外域透過抑制光学製品並びに眼鏡レンズ及び眼鏡
JP2016051317A (ja) 2014-08-29 2016-04-11 アルプス電気株式会社 視線検出装置
US9572488B2 (en) * 2014-09-23 2017-02-21 Gn Otometrics A/S Head mountable device for measuring eye movement
US9568603B2 (en) * 2014-11-14 2017-02-14 Microsoft Technology Licensing, Llc Eyewear-mountable eye tracking device
CN105929963B (zh) * 2016-05-11 2019-04-30 北京蚁视科技有限公司 一种用于追踪眼球位置的方法及检测装置
US9854968B2 (en) * 2016-05-20 2018-01-02 International Business Machines Corporation Behind-eye monitoring using natural reflection of lenses
CN107515466B (zh) * 2017-08-14 2019-11-26 华为技术有限公司 一种眼球追踪系统和眼球追踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030685A1 (en) 2003-02-13 2008-02-07 Fergason Patent Properties, Llc Optical system for monitoring eye movement
JP2015109984A (ja) 2004-04-01 2015-06-18 ウィリアム・シー・トーチＷｉｌｌｉａｍ Ｃ． Ｔｏｒｃｈ 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
JP2014079374A (ja) 2012-10-16 2014-05-08 Univ Of Tokyo 瞳孔径測定支援装置及び瞳孔径測定支援システム

Also Published As

Publication number Publication date
DE112017005146B4 (de) 2023-06-15
JPWO2018070379A1 (ja) 2019-09-26
US10874357B2 (en) 2020-12-29
DE112017005146T5 (de) 2019-07-25
CN109804422A (zh) 2019-05-24
CN109804422B (zh) 2021-11-02
US20190231279A1 (en) 2019-08-01
WO2018070379A1 (ja) 2018-04-19

Similar Documents

Publication Publication Date Title
US10874357B2 (en) Eye movement measuring device and eye movement analysis system
EP2499962B1 (en) Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
JP6591085B2 (ja) 乗り物酔い推定装置、乗り物酔い防止装置および乗り物酔い推定方法
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US9033502B2 (en) Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
US20160180692A1 (en) Reminding method and reminding device
IL292427A (en) Change, display and visualization of imaging using augmented and virtual reality glasses
FI125445B (fi) Katseenohjausjärjestely
US20150238087A1 (en) Biological information measurement device and input device utilizing same
RU2006138622A (ru) Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения
US20200012101A1 (en) Head-mounted display
JP2018156175A (ja) 車両の表示システム及び車両の表示システムの制御方法
US20180336720A1 (en) Systems and Methods For Generating and Using Three-Dimensional Images
KR101619651B1 (ko) 운전자 감시장치 및 그의 조명제어방법
JP2015126857A (ja) 視線検出支援装置および視線検出支援方法
CN109964230B (zh) 用于眼睛度量采集的方法和设备
US20220083786A1 (en) Method and system for monitoring a person using infrared and visible light
WO2018170538A1 (en) System and method of capturing true gaze position data
JP5144412B2 (ja) 車両用物体判定装置
US20220121278A1 (en) Connected device with eye tracking capabilities
CN114929501A (zh) 车辆用显示装置
JP2021133801A (ja) 車両用表示装置
KR20230095682A (ko) 가상현실 기반 안구운동 측정을 통한 어지럼증 진단방법, 장치, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 기록매체에 저장된 컴퓨터 프로그램
Mohan et al. EYE GAZE ESTIMATION INVISIBLE AND IR

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210617

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220124

R150 Certificate of patent or registration of utility model

Ref document number: 7018634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150