WO2018070379A1 - 眼球運動測定装置及び眼球運動解析システム - Google Patents

眼球運動測定装置及び眼球運動解析システム Download PDF

Info

Publication number
WO2018070379A1
WO2018070379A1 PCT/JP2017/036672 JP2017036672W WO2018070379A1 WO 2018070379 A1 WO2018070379 A1 WO 2018070379A1 JP 2017036672 W JP2017036672 W JP 2017036672W WO 2018070379 A1 WO2018070379 A1 WO 2018070379A1
Authority
WO
WIPO (PCT)
Prior art keywords
eyeball
eye movement
illumination
driver
eye
Prior art date
Application number
PCT/JP2017/036672
Other languages
English (en)
French (fr)
Inventor
鈴木　栄二
平田　豊
祥悟 中村
慎一 上田
山本　雅也
Original Assignee
東海光学株式会社
学校法人中部大学
株式会社ナックイメージテクノロジー
株式会社東海理化電機製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東海光学株式会社, 学校法人中部大学, 株式会社ナックイメージテクノロジー, 株式会社東海理化電機製作所 filed Critical 東海光学株式会社
Priority to CN201780063136.9A priority Critical patent/CN109804422B/zh
Priority to DE112017005146.0T priority patent/DE112017005146B4/de
Priority to JP2018545003A priority patent/JP7018634B2/ja
Publication of WO2018070379A1 publication Critical patent/WO2018070379A1/ja
Priority to US16/376,363 priority patent/US10874357B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A61B5/741—Details of notification to user or communication with user or patient ; user input means using sound using synthesised speech
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/04—Illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/10—Filters, e.g. for facilitating adaptation of the eyes to the dark; Sunglasses
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/14—Mirrors; Prisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C9/00—Attaching auxiliary optical parts
    • G02C9/04—Attaching auxiliary optical parts by fitting over or clamping on

Definitions

  • the present invention relates to an eye movement measurement device that is worn by a driver of a vehicle and measures the eye movement of the driver and the eye movement acquired by the eye movement measurement device, and analyzes the state of consciousness of the driver or the like.
  • the present invention relates to an eye movement analysis system for performing various analyses.
  • the proposed imaging device is used in a state where it is arranged in advance in a vehicle so as to face the eyeball. Therefore, when the driver or the like moves his / her head, the positional relationship between the imaging device and the eyeball is changed, and the eyeball may be out of the field of view of the imaging device. In addition, ambient light may enter the imaging device, and a clear image may not be acquired.
  • the positional relationship between the imaging device and the eyeball can be maintained in a predetermined relationship.
  • the configuration is complicated and large, and, similarly to the imaging device described above, ambient light is captured by the imaging device. There was a possibility that a clear image could not be acquired.
  • an eye movement measuring apparatus and an eye movement measuring apparatus that have a compact configuration that can be easily attached / detached by a driver and the like, can reduce the effect of ambient light, and can measure eye movement with high accuracy. It is an object of the present invention to provide an eye movement analysis system for performing various analyses, such as analysis of a driver's consciousness state, based on the eye movement obtained by the above.
  • the apparatus includes: an eyeball photographing device that photographs an eyeball; and an eyeball motion detecting unit that detects an eyeball motion based on an eyeball image photographed by the eyeball photographing device.
  • the eyeball photographing device detects an eyeball of a driver or the like with illumination light, and an eyeball image that captures an eyeball image of the eyeball illuminated by the eyeball illumination unit.
  • the eyeball photographing apparatus is worn by an imaging means and a driver
  • the eyeball illumination means is disposed at a position where the eyeball can be illuminated with illumination light
  • the eyeball image imaging means is located at a position where an eyeball image can be captured.
  • the technical means of providing the arrangement means to arrange is used.
  • the eyeball photographing apparatus can illuminate the eyeball with the illumination light by the eyeball illuminating unit, and can capture the eyeball image of the eyeball illuminated by the eyeball illuminating unit by the eyeball image capturing unit. .
  • the eye movement detecting means can detect the eye movement based on the eyeball image photographed by the eyeball photographing apparatus.
  • the placement means can easily place the eyeball illumination means and the eyeball image capturing means at predetermined positions. Thereby, while being a compact structure which a driver
  • the “driver” or the like indicates a vehicle driver, an apparatus operator, or the like.
  • the eye movement measuring apparatus measures the state and movement of the eyeball of a driver or the like wearing spectacles
  • the placement means includes: The technical means that the eyeball illuminating means and the eyeball image capturing means are arranged with respect to the spectacles worn.
  • the second aspect of the present invention it is possible to measure the eye movement while wearing the glasses normally used by the driver or the like.
  • the visible light is transmitted, the illumination light irradiated from the eyeball illumination means is reflected and guided to the eyeball, Reflecting means for reflecting an eyeball image to be picked up by the eyeball image capturing means, wherein the arranging means arranges the eyeball illuminating means at a position where the eyeball can irradiate illumination light with respect to the reflecting means,
  • An eyeball image capturing unit is disposed at a position where the eyeball image reflected by the reflecting unit can be captured, and the eyeball image capturing unit transmits an eyeball image of the eyeball illuminated by the eyeball illuminating unit via the reflecting unit.
  • the technical means of imaging from the back or side of the eyeball is used.
  • the invisible light irradiated from the eyeball illuminating means is reflected by the reflecting means and guided to the eyeball, the eyeball image is reflected, and the eyeball illuminated by the eyeball illuminating means by the eyeball image capturing means.
  • An eyeball image can be taken from the back or side of the eyeball.
  • an eyeball imaging device can be made into a more compact structure.
  • “behind or the side of the eyeball” indicates a positional relationship based on the eyeball surface exposed from the face of the driver or the like.
  • a technical means that an over glass constitutes the arrangement means is used.
  • the invention according to claim 5 uses the technical means that in the eye movement measuring device according to any one of claims 1 to 3, the clip-on glass constitutes the arrangement means.
  • overglass or clip-on-glass can be suitably used as the arrangement means.
  • the illumination light emitted by the eyeball illumination means is near-infrared light that is invisible light.
  • the technical means is used.
  • near-infrared light that is invisible light that can be imaged at night can be used as illumination light.
  • the illumination light emitted from the eyeball illumination means is ultraviolet light that is invisible light. Use appropriate means.
  • ultraviolet light that is invisible light can be used as illumination light as in the invention described in claim 7.
  • the reflection means is a reflection film that selectively reflects near-infrared light is used.
  • the reflection means can be a reflection film that selectively reflects near-infrared light as in the invention described in claim 8.
  • any one of the glasses, the overglass and the clip-on-glass is made of a material that absorbs near infrared rays. Use.
  • the lens absorbs near-infrared rays, the influence of near-infrared light included in ambient light can be reduced, and an eyeball can be imaged with high accuracy.
  • an illumination light irradiation direction by the eyeball illumination unit and a visual field direction of the eyeball image capturing unit are substantially in the same direction.
  • invisible light with sufficient illuminance can be irradiated in the visual field direction of the eyeball image capturing means, so that the irradiation efficiency of illumination light to the eyeball is improved and clear. Images can be acquired.
  • the imaging means transmits invisible light emitted by the eyeball illumination means and visible light.
  • the technical means of providing a filter that absorbs or reflects at least part of the ambient light in the region is used.
  • the invisible light used for imaging can be transmitted and the ambient light in the visible light region incident on the imaging means can be reduced.
  • the eyeball can be imaged.
  • an eye movement analysis system is based on the eye movement measuring device according to any one of the first to eleventh aspects and the eye movement detected by the eye movement detecting means.
  • a technical means is used that includes a human state detecting means for detecting a state such as a driver's consciousness state.
  • the eye movement analysis system since the eye movement analysis system includes the eye movement measuring device and the human state detecting means, the human state detecting means based on the eye movement detected by the eye movement detecting means. Thus, it is possible to detect a state such as a driver's consciousness state.
  • the eye movement analysis system is used by a vehicle driver, and the analysis means detects a driver's arousal level, a state of consciousness such as a sloppy state, The technical means is used.
  • the eye movement analysis system it is possible to analyze the state of consciousness such as the driver's arousal level and the indecent state that causes human error in driving the vehicle.
  • the warning means issues a warning and alerts when the driver's consciousness state is determined to be a predetermined state such as a dangerous consciousness state in driving the vehicle. can do.
  • the eye movement analysis system S of the present invention will be described with reference to the drawings.
  • the eye movement analysis system S is photographed by an eyeball photographing device 1 that photographs the eyeballs of a driver of a vehicle, an operator of the device (hereinafter referred to as a driver, etc.)
  • Eye movement detection means 2 for detecting eye movement based on the obtained eyeball image
  • human state detection means 3 for detecting a state such as a driver's consciousness state based on the eye movement detected by the eye movement detection means 2
  • the warning means 4 which issues a warning based on a driver
  • the eyeball photographing apparatus 1 and the eyeball movement detecting means 2 constitute an eyeball movement measuring apparatus.
  • the eyeball photographing apparatus 1 includes an overglass 10 that covers and wears glasses G worn by a driver, an eyeball illumination unit 11 that illuminates the eyeball with invisible light, and an eyeball illumination unit 11.
  • An eyeball image capturing unit 12 that captures an eyeball image of the illuminated eyeball, and invisible light emitted from the eyeball illumination unit 11 is reflected and guided to the eyeball, and the eyeball image captured by the eyeball image capturing unit 12 is reflected.
  • the reflecting means 13 and the eyeball illumination means 11, the eyeball image capturing means 12, and the arranging means for arranging the reflecting means 13 at predetermined positions are provided.
  • the arrangement unit can arrange the eyeball illumination unit 11 at a position where the eyeball can be irradiated with invisible light with respect to the reflection unit 13, and the eyeball image imaging unit 12 can capture an eyeball image reflected by the reflection unit 13. Place it in a proper position.
  • the near-infrared LED 11a that emits near-infrared light that is invisible light as the illumination light is employed as the eyeball illumination unit 11.
  • Near-infrared light can be imaged at night and can be suitably used. Further, invisible light is not perceived by the driver or the like when the eyeball is illuminated, and thus can be suitably used because it does not hinder vision and concentration.
  • the near-infrared light LED 11a is in a direction in which near-infrared light can be irradiated toward the reflecting means 13 provided in the lens portion 10a of the overglass 10 at a position where the visual field of the driver or the like is not blocked by the fixing member 14.
  • the fixing member 14 includes an adjustment mechanism that adjusts the directions of the near-infrared light LED 11a and the near-infrared light camera 12a.
  • a near-infrared light camera 12 a is employed as the eyeball image capturing unit 12.
  • the near-infrared light camera 12a is attached to the temple 10b of the overglass 10 by a fixing member 14 together with the near-infrared light LED 11a.
  • the irradiation direction of the near infrared light by the near infrared light LED 11a and the viewing direction of the near infrared light camera 12a are substantially the same direction. According to such an arrangement, invisible light with sufficient illuminance can be irradiated with respect to the visual field direction of the eyeball image pickup means 12, so that the irradiation efficiency of the invisible light to the eyeball is improved and a clear image is obtained. Can be acquired.
  • the near-infrared light camera 12a has an imaging cycle and accuracy necessary for detecting a human state.
  • the camera is configured as a camera that can capture an image with a frame rate of 200 frames per second and a resolution of 0.05 °.
  • the reflecting means 13 is formed on the eyeball side surface of the lens portion 10a of the overglass 10 as a reflective film 13a that transmits visible light and has a selectively high reflectance of near infrared light.
  • a known coating film that reflects near-infrared light for example, a coating film disclosed in JP-A-2015-148643 can be employed.
  • FIG. 2 shows the arrangement of the near-infrared light LED 11a, the near-infrared light camera 12a, and the reflective film 13a for the right eye R of the driver or the like.
  • FIG. 2 schematically shows an arrangement when the eyeball photographing apparatus 1 is viewed from the overhead of a driver or the like. For simplicity, the illustration of the glasses G is omitted.
  • the near-infrared light LED 11a is arranged at a position where the near-infrared light can be irradiated like the path A to the eyeball of the right eye R, at least the luminosity and the pupil via the reflective film 13a.
  • the near-infrared light irradiated to the right eye R enters the near-infrared light camera 12a through the reflective film 13a as in the path B, and is imaged as an eyeball image.
  • an over glass 10 including a fixing member 14 for arranging the near-infrared light LED 11a and the near-infrared light camera 12a, a temple 10b to which the fixing member 14 is attached, and a lens 10a for arranging the reflective film 13a is arranged.
  • a fixing member 14 for arranging the near-infrared light LED 11a and the near-infrared light camera 12a a temple 10b to which the fixing member 14 is attached
  • a lens 10a for arranging the reflective film 13a is arranged.
  • the overglass 10 provided with the lens 10a for disposing the film 13a corresponds to the disposing means.
  • the near-infrared light LED 11a, the near-infrared light camera 12a, and the reflective film 13a are disposed on the overglass 10, so that the head of a driver or the like Even if it moves, it follows the movement and the positional relationship with the eyeball does not change. In addition, the driver's view is not obstructed.
  • the eyeball is illuminated with near-infrared light, which is invisible light, the driver or the like can watch the front and operate the vehicle or operate the apparatus without being conscious of imaging the eyeball.
  • the overglass 10 can employ a configuration in which the lens 10a is formed of a lens that absorbs and blocks near-infrared light from the outside, for example, a lens into which copper ions are introduced.
  • the lens 10a is formed of a lens that absorbs and blocks near-infrared light from the outside, for example, a lens into which copper ions are introduced.
  • the eye movement detection means 2 and the human state detection means 3 are configured by a device having a calculation processing function such as a computer, a portable terminal such as a smartphone.
  • the eye movement detection means 2 and the human state detection means 3 are detected by the eye movement detection means 2 and the eye movement detection means 2 respectively based on the eyeball images photographed by the eyeball photographing device 1 in accordance with the program recorded in the means. Detection of a state such as a driver's consciousness state based on eye movement.
  • the eye movement detection means 2 and the human state detection means 3 can be configured as the same arithmetic processing computer. Further, when the present system is mounted on a vehicle such as an automobile, for example, the engine control unit (ECU) can be shared as a computer for arithmetic processing.
  • ECU engine control unit
  • the eye movement detection unit 2 supplies power to the eyeball illumination unit 11 and the eyeball image capturing unit 12, and performs respective controls. Then, an eyeball image is acquired from the eyeball image capturing unit 12 at a predetermined interval, and the data is sent to the human state detection unit 3.
  • the eye movement detection means 2 includes a communication means, and data is transmitted from the eye movement detection means 2 to the human state detection means 3 by wireless communication.
  • the near-infrared light LED 11a may be irradiated with the near-infrared light LED 11a while the near-infrared light LED 11a is always turned on or synchronized with the imaging cycle of the near-infrared light camera 12a. As such, the irradiation timing may be controlled.
  • the state of the eyeball such as the movement of the eyeball and the change in pupil diameter, is closely related to the driver's consciousness state.
  • the human state detection unit 3 detects a state such as a driver's consciousness state based on the eye movement detected by the eye movement detection unit 2.
  • Various parameters are extracted by performing image processing or the like on the imaging data of the eyeball, and based on the values and changes of the parameters, it is possible to detect the state of consciousness such as the driver's arousal level and the indecent state.
  • the human state detection means 3 is configured to be connectable with sensors necessary for various analyses, such as a gyroscope. Output signals from these sensors can be acquired and used for analysis.
  • the driver's sensual state can be detected.
  • a three-axis acceleration sensor for detecting linear acceleration and a rotational angular velocity generated on the head of the vehicle driver, and a gyroscope for detecting the rotational angular velocity are prepared as accessory devices.
  • VOR can be detected, and the driver's arousal level, such as a sign of sleepiness, can be determined based on the vestibulo-oculomotor reflex.
  • the parameter used for this analysis can be calculated by only one eye movement, the near-infrared light LED 11a, the near-infrared light camera 12a, and the reflection film 13a need only be prepared for one eye.
  • a gaze camera capable of detecting the gaze direction of the driver or the like can be prepared as an accessory device, and the consciousness status of the driver or the like can be detected in combination with the gaze behavior data and the pupil diameter change rate.
  • the warning unit 4 issues a warning based on the state of the driver or the like detected by the human state detection unit 3. For example, when the human state detection means 3 determines that the driver is drowsy, a warning sound and a warning message are generated.
  • various forms of warning can be adopted, such as connecting to the ECU and displaying a warning on the vehicle display, changing the air conditioning, in-vehicle lighting, and fastening the seat belt.
  • the overglass 10 can be used alone.
  • the near-infrared light camera 12a can also be configured to include a filter that absorbs or reflects at least part of ambient light in the visible light region and selectively transmits near-infrared light emitted from the near-infrared light LED 11a.
  • a filter that absorbs or reflects at least part of ambient light in the visible light region and selectively transmits near-infrared light emitted from the near-infrared light LED 11a.
  • a resin plate added with visible light absorption or near-infrared transmitting dye, or a visible light reflection coating with a dielectric multilayer film can be employed. According to this, since the near infrared light used for imaging the eyeball can be selectively incident on the near infrared light camera 12a, the eyeball can be imaged with high accuracy without being affected by the ambient light. .
  • a similar configuration can be obtained by attaching a seal that selectively reflects near-infrared light to the lens of the glasses G instead of the reflective film 13a.
  • the lens Ga can be coated by spraying a liquid containing a component that reflects near-infrared light.
  • Ultraviolet light can also be used as invisible light.
  • an ultraviolet LED is used as the eyeball illuminating means 11
  • an ultraviolet camera is used as the eyeball image capturing means 12
  • an ultraviolet light reflecting film is used as the reflecting means 13.
  • the lens 10a of the overglass 10 and the lens of the glasses G are suitable because they generally have a low transmittance of ultraviolet light and can reduce the influence of ambient light on the imaging of the eyeball.
  • illumination light in the visible light region can be used instead of invisible light.
  • the reflecting means 13 is preferably configured to selectively reflect the wavelength region of the illumination light.
  • FIG. 1 An eyeball photographing device 5 of the second embodiment is shown in FIG.
  • the eyeball photographing device 5 uses a clip-on-glass 50 in which a lens 50a is attached with a clip 50b in front of the lens Ga of the glasses G instead of the overglass 10.
  • the configurations of the eyeball illumination unit 11 and the eyeball image capturing unit 12 are the same as those of the eyeball photographing apparatus 1 of the first embodiment.
  • the eyeball illuminating means 11 and the eyeball image capturing means 12 are attached to the temple Gb of the glasses G by a fixing member 14.
  • the fixing member 14 is configured to be detachable from the temple Gb of the glasses G by a known fixing means such as a clip, and has an adjustment mechanism for adjusting the direction of the near-infrared light camera 12a.
  • the reflecting means 13 is formed as a reflecting film 13 a on the lens 50 a of the clip-on glass 50.
  • the reflective film 13a may be formed on either the eyeball side of the lens 50a or the opposite side of the eyeball.
  • the lens 50a of the clip-on-glass 50 can employ a configuration composed of a lens that absorbs and blocks near-infrared light from the outside, for example, a lens into which copper ions are introduced, like the lens 10a of the overglass 10. .
  • the lens Ga of the eyeglasses G preferably transmits no near-infrared light for eyeball imaging, and therefore does not have a function of absorbing or reflecting near-infrared light.
  • the clip-on glass 50 is attached to the glasses G by attaching a seal that selectively reflects near infrared light to the lens Ga of the glasses G. It can be set as the same structure without this. According to this, the driver or the like can use the glasses G that he / she has been familiar with as it is.
  • the lens Ga can be coated by spraying a liquid containing a component that reflects near-infrared light. Further, like the lens 10a of the glasses Ga overglass 10 of the glasses G, it is possible to adopt a configuration comprising a lens that absorbs and blocks near-infrared light from the outside, for example, a lens into which copper ions are introduced.
  • ultraviolet light can be used as invisible light.
  • illumination light in the visible light region can be used instead of invisible light.
  • the eye movement analysis system S can be used as a medical diagnostic apparatus for diagnosis of Parkinson's disease, autism, schizophrenia, etc. in which behavior characteristic of eye movement is recognized. It can also be used as a device for sports vision evaluation or training.
  • the eyeball photographing apparatus 1 illuminates the eyeball with invisible light by the eyeball illumination means 11, reflects the invisible light emitted from the eyeball illumination means by the reflection means 13, and guides it to the eyeball.
  • the eyeball image is reflected, and the eyeball image of the eyeball illuminated by the eyeball illuminating unit 11 by the eyeball image capturing unit 12 can be captured from the back or side of the eyeball.
  • the eye movement detection means 2 can detect the eye movement based on the eyeball image photographed by the eyeball photographing apparatus.
  • the eyeball illumination unit 11, the eyeball image capturing unit 12, and the reflection unit 13 can be easily arranged at predetermined positions by the arrangement unit.
  • the eye movement measuring apparatus which can reduce the effect of ambient light and can measure eye movement with high precision. Further, it is possible to measure the eye movement while wearing the glasses that are normally used by the driver. Further, according to the eye movement analysis system S, the state of the driver or the like can be detected by the human state detection means 3 based on the eye movement detected by the eye movement detection means 2. In addition, it is possible to analyze a driver's consciousness state such as a driver's arousal level and a casual state that causes a human error in driving the vehicle. When it is determined that the driver's consciousness state is a predetermined state such as a dangerous consciousness state in driving the vehicle, a warning can be issued by the warning means 4 to call attention.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Otolaryngology (AREA)
  • Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Emergency Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)

Abstract

【課題】運転者等が容易に着脱可能なコンパクトな構成であるとともに、環境光の効果を低減し、安定した条件で眼球運動を測定することができる眼球運動測定装置及び眼球運動測定装置により取得された眼球運動に基づき、運転者等の意識状態の解析等、各種解析を行うための眼球運動解析システムを提供する。 【解決手段】 眼球運動解析システムＳは、眼球撮影装置１と、眼球運動検出手段２と、人状態検知手段３と、を備えている。眼球撮影装置１は、オーバーグラス１０と、不可視光により眼球を照明する眼球照明手段１１と、眼球照明手段１１により照明された眼球の眼球像を撮像する眼球像撮像手段１２と、不可視光を眼球に導くとともに、眼球像を反射するための反射手段１３と、眼鏡Ｇに対して、眼球照明手段１１、眼球像撮像手段１２、反射手段１３を所定の位置に配置する配置手段と、を備えている。

Description

眼球運動測定装置及び眼球運動解析システム
本発明は、車両の運転者等が装着し、運転者等の眼球運動を測定するための眼球運動測定装置及び眼球運動測定装置により取得された眼球運動に基づき、運転者等の意識状態の解析等、各種解析を行うための眼球運動解析システムに関する。
車両の運転者等のヒューマンエラーに起因する事故の低減などを目的として、運転者等の状態をモニタリングする技術開発の要請がある。運転者等の眼球運動は、覚醒度や漫然度など、運転者等の意識状態を反映することが知られており、眼球運動を測定し、運転者等の状態を検知することが試みられてきた。このような眼球運動を測定するための装置として、対象者の眼球を含む顔面に検知光を照射して、目を撮像する装置が提案されている（例えば、特許文献１）。
特開２０１６－５１３１７号公報
従来、提案されている撮像装置は、眼球に正対するようにあらかじめ車両に配置する、などの状態で使用される。そのため、運転者等が頭部を動かすことにより、撮像装置と眼球との位置関係が変化し、眼球が撮像装置の視野から外れること等があり、安定した撮像ができないおそれがあった。また、環境光が撮像装置に入射し、鮮明な画像が取得できないおそれがあった。
ハーフミラーを用いたゴーグルタイプの撮像装置では、撮像装置と眼球との位置関係を所定の関係に維持できるが、構成が複雑で大型になるとともに、上述の撮像装置同様に、環境光が撮像装置に入り込み、鮮明な画像が取得できないおそれがあった。
そこで、本発明では、運転者等が容易に着脱可能なコンパクトな構成であるとともに、環境光の効果を低減し、高精度で眼球運動を測定することができる眼球運動測定装置及び眼球運動測定装置により取得された眼球運動に基づき、運転者等の意識状態の解析等、各種解析を行うための眼球運動解析システムを提供することを目的とする。
請求項１に記載の発明では、眼球を撮影する眼球撮影装置と、前記眼球撮影装置により撮影された眼球像に基づいて眼球運動を検出する眼球運動検出手段と、を備え、眼球の状態及び運動を検出する眼球運動測定装置であって、前記眼球撮影装置は、照明光により運転者等の眼球を照明する眼球照明手段と、前記眼球照明手段により照明された眼球の眼球像を撮像する眼球像撮像手段と、運転者等が前記眼球撮影装置を装着するときに、前記眼球照明手段を眼球に照明光を照射可能な位置に配置し、前記眼球像撮像手段を眼球像を撮像可能な位置に配置する配置手段と、を備えた、という技術的手段を用いる。
請求項１に記載の発明によれば、眼球撮影装置は、眼球照明手段により照明光で眼球を照明し、眼球像撮像手段により眼球照明手段により照明された眼球の眼球像を撮像することができる。そして、眼球運動検出手段により、眼球撮影装置により撮影された眼球像に基づいて眼球運動を検出することができる。また、配置手段により、眼球照明手段及び眼球像撮像手段を容易に所定の位置に配置することができる。
これにより、運転者等が容易に着脱可能なコンパクトな構成であるとともに、環境光の効果を低減し、安定した条件で眼球運動を測定することができる眼球運動測定装置とすることができる。ここで、「運転者等」とは、車両の運転者、装置の操作者等を示す。
請求項２に記載の発明では、請求項１に記載の眼球運動測定装置において、眼鏡を装着する運転者等の眼球の状態及び運動を測定する眼球運動測定装置であって、前記配置手段は、装着された眼鏡に対して、前記眼球照明手段及び前記眼球像撮像手段を配置する、という技術的手段を用いる。
請求項２に記載の発明によれば、運転者等が普段使用している眼鏡を装着したまま、眼球運動を測定することができる。
請求項３に記載の発明では、請求項１または請求項２に記載の眼球運動測定装置において、可視光を透過し、前記眼球照明手段から照射される照明光を反射し眼球に導くとともに、前記眼球像撮像手段に撮像する眼球像を反射するための反射手段を備え、前記配置手段は、前記反射手段に対して、前記眼球照明手段を眼球に照明光を照射可能な位置に配置し、前記眼球像撮像手段を前記反射手段により反射される眼球像を撮像可能な位置に配置し、前記眼球像撮像手段は、前記眼球照明手段により照明された眼球の眼球像を、前記反射手段を介して眼球の後方または側方から撮像する、という技術的手段を用いる。
請求項３に記載の発明によれば、反射手段により眼球照明手段から照射される不可視光を反射し眼球に導くとともに眼球像を反射し、眼球像撮像手段により眼球照明手段により照明された眼球の眼球像を眼球の後方または側方から撮像することができる。これにより、眼球撮影装置を、よりコンパクトな構成とすることができる。また、環境光の影響をより低減し、高精度で眼球運動を測定することができる眼球運動測定装置とすることができる。
ここで、「眼球の後方または側方」とは、運転者等の顔面から表出する眼球面を基準とした位置関係を示している。
請求項４に記載の発明では、請求項１ないし請求項３のいずれか１つに記載の眼球運動測定装置において、オーバーグラスが前記配置手段を構成する、という技術的手段を用いる。
請求項５に記載の発明では、請求項１ないし請求項３のいずれか１つに記載の発明の眼球運動測定装置において、クリップオングラスが前記配置手段を構成する、という技術的手段を用いる。
請求項４、５に記載の発明のように、配置手段を構成するものとして、オーバーグラスやクリップオングラスを好適に用いることができる。
請求項６に記載の発明では、請求項１ないし請求項５のいずれか１つに記載の眼球運動測定装置において、前記眼球照明手段が発する照明光は不可視光である近赤外光である、という技術的手段を用いる。
請求項６に記載の発明のように、照明光として、夜間での撮像も可能な不可視光である近赤外光を採用することができる。
請求項７に記載の発明では、請求項１ないし請求項４のいずれか１つに記載の眼球運動測定装置において、前記眼球照明手段が発する照明光は不可視光である紫外光である、という技術的手段を用いる。
一般的な眼鏡のレンズが紫外線の透過率が低く、環境光の影響を受けにくいので、請求項７に記載の発明のように、照明光として不可視光である紫外光を採用することができる。
請求項８に記載の発明では、請求項６に記載の眼球運動測定装置において、前記反射手段は、近赤外光を選択的に反射する反射膜である、という技術的手段を用いる。
反射手段は、請求項８に記載の発明のように、近赤外光を選択的に反射する反射膜とすることができる。
請求項９に記載の発明では、請求項８に記載の眼球運動測定装置において、眼鏡、オーバーグラス及びクリップオングラスのいずれかのレンズは、近赤外線を吸収する材料からなる、という技術的手段を用いる。
請求項９に記載の発明によれば、レンズが近赤外線を吸収するため、環境光に含まれる近赤外光の影響を低減して、高精度で眼球を撮像することができる。
請求項１０に記載の発明では、請求項１ないし請求項９のいずれか１つに記載の眼球運動測定装置において、前記眼球照明手段による照明光の照射方向と、前記眼球像撮像手段の視野方向と、は略同一方向である、という技術的手段を用いる。
請求項１０に記載の発明によれば、眼球像撮像手段の視野方向に対して、十分な照度の不可視光を照射することができるので、眼球への照明光の照射効率がよくなり、鮮明な画像を取得することができる。
請求項１１に記載の発明では、請求項１ないし請求項１０のいずれか１つに記載の眼球運動測定装置において、前記撮像手段は、前記眼球照明手段が発する不可視光を透過するとともに、可視光領域の環境光の少なくとも一部を吸収または反射するフィルタを備えた、という技術的手段を用いる。
請求項１１に記載の発明によれば、撮像に用いる不可視光を透過するとともに、撮像手段に入射する可視光領域の環境光を減じることができるので、環境光の影響を低減し、高精度で眼球を撮像することができる。
請求項１２に記載の発明では、眼球運動解析システムが、請求項１ないし請求項１１のいずれか１つに記載の眼球運動測定装置と、前記眼球運動検出手段により検出された眼球運動に基づいて運転者等の意識状態等の状態を検知する人状態検知手段と、を備えた、という技術的手段を用いる。
請求項１２に記載の発明によれば、眼球運動解析システムが、眼球運動測定装置と人状態検知手段とを備えているので、眼球運動検出手段により検出された眼球運動に基づいて人状態検知手段により運転者等の意識状態等の状態を検知することができる。
請求項１３に記載の発明では、請求項１２に記載の眼球運動解析システムにおいて、車両の運転者に用いられ、前記解析手段は、運転者の覚醒度、漫然状態等の意識状態を検知する、という技術的手段を用いる。
請求項１３に記載の発明のように、眼球運動解析システムによれば、車両の運転においてヒューマンエラーの原因となる運転者の覚醒度、漫然状態等の意識状態を解析することができる。
請求項１４に記載の発明では、請求項１３に記載の眼球運動解析システムにおいて、前記解析手段が運転者の意識状態が所定の状態であると判断したときに、音声、振動等により運転者に警告する警告手段を備えた、という技術的手段を用いる。
請求項１４に記載の発明によれば、警告手段は、運転者の意識状態が車両の運転において危険な意識状態であるなどの所定の状態であると判断したときに、警告を発して注意喚起することができる。
第１実施形態の眼球撮影装置及び眼球運動解析システムの構成を模式的に示す説明図である。 運転者等の眼球に対する眼球照明手段、眼球像撮像手段及び反射手段の配置を模式的に示す説明図である。 第２実施形態の眼球撮影装置及び眼球運動解析システムの構成を模式的に示す説明図である。
（第１実施形態）
本発明の眼球運動解析システムＳについて、図を参照して説明する。図１に示すように、眼球運動解析システムＳは、車両の運転者、装置の操作者等（以下、運転者等、という）の眼球を撮影する眼球撮影装置１と、眼球撮影装置１により撮影された眼球像に基づいて眼球運動を検出する眼球運動検出手段２と、眼球運動検出手段２により検出された眼球運動に基づいて運転者等の意識状態等の状態を検知する人状態検知手段３と、を備えている。また、人状態検知手段３により検出された運転者等の状態に基づき、警告を発する警告手段４を備えている。ここで、眼球撮影装置１と、眼球運動検出手段２と、が眼球運動測定装置を構成する。
第１実施形態の眼球撮影装置１は、運転者等が装着している眼鏡Ｇを覆って装着されるオーバーグラス１０と、不可視光により眼球を照明する眼球照明手段１１と、眼球照明手段１１により照明された眼球の眼球像を撮像する眼球像撮像手段１２と、眼球照明手段１１から照射される不可視光を反射し眼球に導くとともに、眼球像撮像手段１２に撮像する眼球像を反射するための反射手段１３と、眼鏡Ｇに対して、眼球照明手段１１、眼球像撮像手段１２、反射手段１３を所定の位置に配置する配置手段と、を備えている。
ここで、配置手段は、反射手段１３に対して、眼球照明手段１１を不可視光で眼球を照射可能な位置に配置し、眼球像撮像手段１２を反射手段１３により反射される眼球像を撮像可能な位置に配置する。
本実施形態では、眼球照明手段１１として、照明光として不可視光である近赤外光を発する近赤外光ＬＥＤ１１ａを採用する。近赤外光は、夜間での撮像も可能であり、好適に用いることができる。また、不可視光は、運転者等が眼球を照明されていることを知覚しないため、視覚、集中力などを阻害することがないので、好適に用いることができる。近赤外光ＬＥＤ１１ａは、固定部材１４により、運転者等の視野を遮らない位置に、オーバーグラス１０のレンズ部１０ａに設けられた反射手段１３に向かって近赤外光を照射可能な方向で、オーバーグラス１０のテンプル１０ｂに取り付けられている。ここで、固定部材１４は、近赤外光ＬＥＤ１１ａ及び近赤外光カメラ１２ａの向きを調整する調整機構を備えている。
本実施形態では、眼球像撮像手段１２として、近赤外光カメラ１２ａを採用する。近赤外光カメラ１２ａは、近赤外光ＬＥＤ１１ａとともに、固定部材１４によりオーバーグラス１０のテンプル１０ｂに取り付けられている。ここで、近赤外光ＬＥＤ１１ａによる近赤外光の照射方向と、近赤外光カメラ１２ａの視野方向と、は略同一方向である。このような配置によれば、眼球像撮像手段１２の視野方向に対して、十分な照度の不可視光を照射することができるので、眼球への不可視光の照射効率がよくなり、鮮明な画像を取得することができる。
近赤外光カメラ１２ａは、人状態検出のために必要な撮像周期及び精度を備えている。例えば、フレームレートが２００フレーム毎秒であり、分解能が０．０５°で撮像可能なカメラとして構成されている。
本実施形態では、反射手段１３は、可視光を透過し近赤外光の反射率が選択的に高い反射膜１３ａとして、オーバーグラス１０のレンズ部１０ａの眼球側の面に形成されている。
反射膜１３ａとしては、近赤外光を反射する公知のコーティング膜、例えば、特開２０１５－１４８６４３号公報に開示されたコーティング膜等を採用することができる。
図２に運転者等の右目Ｒに対する近赤外光ＬＥＤ１１ａ、近赤外光カメラ１２ａ及び反射膜１３ａの配置を示す。図２は、運転者等の頭上から眼球撮影装置１を見たときの配置を模式的に示す。なお、簡単のため、眼鏡Ｇの図示は省略する。
近赤外光ＬＥＤ１１ａは、反射膜１３ａを介して右目Ｒの眼球、少なくとも光彩及び瞳孔に、経路Ａのように近赤外光を照射可能な位置に配置されている。
右目Ｒに照射された近赤外光は、経路Ｂのように反射膜１３ａを介して近赤外光カメラ１２ａに入射し、眼球像として撮像される。
本実施形態では、近赤外光ＬＥＤ１１ａ及び近赤外光カメラ１２ａを配置する固定部材１４、固定部材１４が取り付けられるテンプル１０ｂと反射膜１３ａを配置するレンズ１０ａとを備えたオーバーグラス１０が配置手段に相当する。
オーバーグラス１０は眼鏡Ｇとの位置関係が一定であるため、本実施形態では、近赤外光ＬＥＤ１１ａ及び近赤外光カメラ１２ａを配置する固定部材１４、固定部材１４が取り付けられるテンプル１０ｂと反射膜１３ａを配置するレンズ１０ａとを備えたオーバーグラス１０が配置手段に相当する。
このように、第１実施形態の眼球撮影装置１によれば、近赤外光ＬＥＤ１１ａ、近赤外光カメラ１２ａ及び反射膜１３ａはオーバーグラス１０に配置されるため、運転者等の頭部が動いてもその動きに追従し、眼球との位置関係が変化することがない。また、運転者等の視界を遮ることがない。
また、不可視光である近赤外光で眼球を照明するため、運転者等が眼球の撮像を意識することがなく前方を注視して、車両の運転や装置の操作等を行うことができる。
オーバーグラス１０は、レンズ１０ａが外界からの近赤外光を吸収、遮断するレンズ、例えば、銅イオンが導入されたレンズからなる構成を採用することができる。これによれば、オーバーグラス１０の前方から環境光に含まれる近赤外光がレンズ１０ａを透過して近赤外光カメラ１２ａに入射することを抑制することができるので、眼球の撮像における環境光の影響を低減し、高精度で眼球を撮像することができる。また、環境光の影響を低減することができるので、眼球に照射する近赤外光の照射強度を低減することもできる。
眼球運動検出手段２及び人状態検知手段３は、コンピュータ、スマートフォン等の携帯端末、など演算処理機能を備えた装置により構成されている。眼球運動検出手段２及び人状態検知手段３は、当該手段に記録されたプログラムに従って、それぞれ眼球撮影装置１により撮影された眼球像に基づいた眼球運動の検出、眼球運動検出手段２により検出された眼球運動に基づいた運転者等の意識状態等の状態の検知、を行う。
眼球運動検出手段２及び人状態検知手段３は、同一の演算処理用コンピュータとして構成することができる。また、本システムを、例えば、自動車などの車両に搭載する場合には、エンジンコントロールユニット（ＥＣＵ）を演算処理用コンピュータとして共用することもできる。
眼球運動検出手段２は、眼球照明手段１１及び眼球像撮像手段１２に電力を供給し、それぞれの制御を行う。そして、所定の間隔で眼球像撮像手段１２から眼球像を取得し、人状態検知手段３へ当該データを送出する。本実施形態では、眼球運動検出手段２が通信手段を備え、眼球運動検出手段２から人状態検知手段３へのデータの送出を無線通信で行っている。
眼球運動検出手段２では、近赤外光ＬＥＤ１１ａにより近赤外光の照射については、近赤外光ＬＥＤ１１ａを常時点灯して行ってもよいし、近赤外光カメラ１２ａによる撮像周期と同期するよう、照射タイミングを制御してもよい。
眼球の運動、瞳孔径の変化などの眼球の状態は、運転者等の意識状態と密接な関係がある。人状態検知手段３は、眼球運動検出手段２により検出された眼球運動に基づいて運転者等の意識状態等の状態を検知する。眼球の撮像データについて画像処理等の処理を行い各種パラメータを抽出し、そのパラメータの値、変化に基づいて、運転者等の覚醒度、漫然状態などの意識状態を検知することができる。
人状態検知手段３には、各種解析に必要なセンサ類、例えば、ジャイロスコープを接続可能に構成されている。これら、センサ類からの出力信号を取得し、解析に用いることができる。
運転者等の意識状態の検知としては、例えば、両眼の輻輳角、開散を検出することにより運転者等の漫然状態を検知することができる。
また、車両の運転者の頭部に生じる直線加速度及び回転角速度を検出する、例えば、直線加速度を検出する３軸加速度センサ及び回転角速度を検出するジャイロスコープを付帯装置として用意し、前庭動眼反射（ＶＯＲ）を検出し、この前庭動眼反射に基づいて眠気の予兆等、運転者の覚醒度を判定することができる。ここで、この解析に用いるパラメータは一方の眼球運動だけで算出することができるので、近赤外光ＬＥＤ１１ａ、近赤外光カメラ１２ａ及び反射膜１３ａは片眼分だけ用意すればよい。
また、運転者等の視線方向を検出可能な、例えば、視線カメラを付帯装置として用意し、視線行動のデータと瞳孔径の変化率と組み合わせて運転者等の意識状態を検知することができる。
警告手段４は、人状態検知手段３により検知された運転者等の状態に基づき、警告を発する。例えば、人状態検知手段３において、運転者等に眠気が生じていると判断されたときには、警告音、警告メッセージを発する、という構成を有する。ここで、警告の発し方は、ＥＣＵに接続し、車両のディスプレイに警告表示をする、空調、車内照明を変化させる、シートベルトを締める、など、種々の形態を採用することができる。
（変更例）
眼鏡Ｇを使用しない運転者等については、オーバーグラス１０を単独で用いることもできる。
近赤外光カメラ１２ａは、可視光領域の環境光の少なくとも一部を吸収または反射し、近赤外光ＬＥＤ１１ａが発する近赤外線を選択的に透過するフィルタを備える構成とすることもできる。例えば、可視光吸収、近赤外線透過色素を添加した樹脂板や誘電体多層膜による可視光反射コートなどを採用することができる。
これによれば、近赤外光カメラ１２ａに眼球の撮像に用いる近赤外光を選択的に入射させることができるので、環境光の影響を受けにくく、高精度で眼球を撮像することができる。
反射膜１３ａに代えて、近赤外光を選択的に反射するシールを眼鏡Ｇのレンズに貼り付けることにより、同様の構成とすることができる。シール以外には、近赤外光を反射する成分を含んだ液体を噴霧してレンズＧａをコーティングすることもできる。
不可視光として紫外光を用いることもできる。このとき、眼球照明手段１１として紫外光ＬＥＤを、眼球像撮像手段１２として紫外線カメラを、反射手段１３として紫外光反射膜を用いる。オーバーグラス１０のレンズ１０ａや眼鏡Ｇのレンズは、一般的に紫外光の透過率が低いため、眼球の撮像における環境光の影響を低減することができるので、好適である。
眼球照明手段１１による照明光として、不可視光ではなく可視光領域の照明光を用いることもできる。このとき、環境光の影響を低減するために、反射手段１３は照明光の波長領域を選択的に反射する構成とすることが好ましい。
（第２実施形態）
第２実施形態の眼球撮影装置５を図３に示す。眼球撮影装置５は、オーバーグラス１０に代えて、眼鏡ＧのレンズＧａの前方に、レンズ５０ａをクリップ５０ｂにより装着するクリップオングラス５０を用いる。
眼球照明手段１１及び眼球像撮像手段１２の構成は、第１実施形態の眼球撮影装置１と同様である。眼球照明手段１１及び眼球像撮像手段１２は、固定部材１４により、眼鏡ＧのテンプルＧｂに取り付けられている。
ここで、固定部材１４は、クリップなどの公知の固定手段により眼鏡ＧのテンプルＧｂに脱着可能に形成されているとともに、近赤外光カメラ１２ａの向きを調整する調整機構を有する構成である。
本実施形態では、反射手段１３は、クリップオングラス５０のレンズ５０ａに反射膜１３ａとして形成される。ここで、反射膜１３ａはレンズ５０ａの眼球側、眼球と反対側のいずれの面に形成してもよい。
クリップオングラス５０のレンズ５０ａは、オーバーグラス１０のレンズ１０ａ同様に、外界からの近赤外光を吸収、遮断するレンズ、例えば、銅イオンが導入されたレンズからなる構成を採用することができる。
なお、本実施形態では、眼鏡ＧのレンズＧａは眼球撮像用の近赤外光が透過するために、近赤外光を吸収または反射する機能を付与しないことが好ましい。
（変更例）
クリップオングラス５０のレンズ５０ａに形成する反射膜１３ａに代えて、近赤外光を選択的に反射するシールを眼鏡ＧのレンズＧａに貼り付けることにより、眼鏡Ｇにクリップオングラス５０を装着することなく、同様の構成とすることができる。これによれば、運転者等は普段からかけ慣れた眼鏡Ｇをそのまま使用することができる。シール以外には、近赤外光を反射する成分を含んだ液体を噴霧してレンズＧａをコーティングすることもできる。また、眼鏡ＧのレンズＧａオーバーグラス１０のレンズ１０ａ同様に、外界からの近赤外光を吸収、遮断するレンズ、例えば、銅イオンが導入されたレンズからなる構成を採用することができる。
第１実施形態同様に、不可視光として紫外光を用いることもできる。また、眼球照明手段１１による照明光として、不可視光ではなく可視光領域の照明光を用いることもできる。
（その他の実施形態）
眼球像撮像手段１２を配置手段により眼球の前方または側方に配置し、反射手段１３を介さずに直接眼球を撮像する構成を採用することもできる。このとき、眼球撮影装置１には反射手段１３を設ける必要はない。
眼球運動解析システムＳは、医療用の診断装置として、眼球運動に特徴的な挙動が認められるパーキンソン病、自閉症、統合失調症等の診断に用いることもできる。また、スポーツビジョン評価やトレーニング用装置としても用いることができる。
（実施形態の効果）
本発明の眼球運動測定装置によれば、眼球撮影装置１は、眼球照明手段１１により不可視光で眼球を照明し、反射手段１３により眼球照明手段から照射される不可視光を反射し眼球に導くとともに眼球像を反射し、眼球像撮像手段１２により眼球照明手段１１により照明された眼球の眼球像を眼球の後方または側方から撮像することができる。そして、眼球運動検出手段２により、眼球撮影装置により撮影された眼球像に基づいて眼球運動を検出することができる。また、配置手段により、眼球照明手段１１、眼球像撮像手段１２及び反射手段１３を容易に所定の位置に配置することができる。
これにより、運転者等が容易に着脱可能なコンパクトな構成であるとともに、環境光の効果を低減し、高精度で眼球運動を測定することができる眼球運動測定装置とすることができる。また、運転者等が普段使用している眼鏡を装着したまま、眼球運動を測定することができる。
また、眼球運動解析システムＳによれば、眼球運動検出手段２により検出された眼球運動に基づいて人状態検知手段３により運転者等の意識状態等の状態を検知することができる。また、車両の運転においてヒューマンエラーの原因となる運転者の覚醒度、漫然状態等の意識状態を解析することができる。運転者の意識状態が車両の運転において危険な意識状態であるなどの所定の状態であると判断したときに、警告手段４により警告を発して注意喚起することができる。
１…眼球撮影装置
２…眼球運動検出手段
３…人状態検知手段
４…警告手段
５…眼球撮影装置
１０…オーバーグラス
１０ａ…レンズ部
１０ｂ…テンプル
１１…眼球照明手段
１１ａ…近赤外光ＬＥＤ
１２…眼球像撮像手段
１２ａ…近赤外光カメラ
１３…反射手段
１３ａ…反射膜
１４…固定部材
５０…クリップオングラス
５０ａ…レンズ
５０ｂ…クリップ
Ｇ…眼鏡
Ｇａ…レンズ
Ｇｂ…テンプル
Ｓ…眼球運動解析システム

 

Claims (14)

  1. 眼球を撮影する眼球撮影装置と、前記眼球撮影装置により撮影された眼球像に基づいて眼球運動を検出する眼球運動検出手段と、を備え、眼球の状態及び運動を検出する眼球運動測定装置であって、
    前記眼球撮影装置は、
    照明光により運転者等の眼球を照明する眼球照明手段と、
    前記眼球照明手段により照明された眼球の眼球像を撮像する眼球像撮像手段と、
    運転者等が前記眼球撮影装置を装着するときに、
    前記眼球照明手段を眼球に照明光を照射可能な位置に配置し、前記眼球像撮像手段を眼球像を撮像可能な位置に配置する配置手段と、
    を備えたことを特徴とする眼球運動測定装置。
  2. 眼鏡を装着する運転者等の眼球の状態及び運動を測定する眼球運動測定装置であって、
    前記配置手段は、装着された眼鏡に対して、前記眼球照明手段及び前記眼球像撮像手段を配置することを特徴とする請求項１に記載の眼球運動測定装置。
  3. 可視光を透過し、前記眼球照明手段から照射される照明光を反射し眼球に導くとともに、
    前記眼球像撮像手段に撮像する眼球像を反射するための反射手段を備え、
    前記配置手段は、前記反射手段に対して、前記眼球照明手段を眼球に照明光を照射可能な位置に配置し、前記眼球像撮像手段を前記反射手段により反射される眼球像を撮像可能な位置に配置し、
    前記眼球像撮像手段は、前記眼球照明手段により照明された眼球の眼球像を、前記反射手段を介して眼球の後方または側方から撮像することを特徴とする請求項１または請求項２に記載の眼球運動測定装置。
  4. オーバーグラスが前記配置手段を構成することを特徴とする請求項１ないし請求項３のいずれか１つに記載の眼球運動測定装置。
  5. クリップオングラスが前記配置手段を構成することを特徴とする請求項１ないし請求項３のいずれか１つに記載の眼球運動測定装置。
  6. 前記眼球照明手段が発する照明光は不可視光である近赤外光であることを特徴とする請求項１ないし請求項５のいずれか１つに記載の眼球運動測定装置。
  7. 前記眼球照明手段が発する照明光は不可視光である紫外光であることを特徴とする請求項１ないし請求項５のいずれか１つに記載の眼球運動測定装置。
  8. 前記反射手段は、近赤外光を選択的に反射する反射膜であることを特徴とする請求項６に記載の眼球運動測定装置。
  9. 眼鏡、オーバーグラス及びクリップオングラスのいずれかのレンズは、近赤外線を吸収する材料からなることを特徴とする請求項８に記載の眼球運動測定装置。
  10. 前記眼球照明手段による照明光の照射方向と、前記眼球像撮像手段の視野方向と、は略同一方向であることを特徴とする請求項１ないし請求項９のいずれか１つに記載の眼球運動測定装置。
  11. 前記撮像手段は、環境光の少なくとも一部を吸収または反射し、前記眼球照明手段が発する照明光を選択的に透過するフィルタを備えたことを特徴とする請求項１ないし請求項１０のいずれか１つに記載の眼球運動測定装置。
  12. 請求項１ないし請求項１１のいずれか１つに記載の眼球運動測定装置と、
    前記眼球運動検出手段により検出された眼球運動に基づいて運転者等の意識状態等の状態を検知する人状態検知手段と、
    を備えた眼球運動解析システム。
  13. 　車両の運転者に用いられ、
    前記解析手段は、運転者の覚醒度、漫然状態等の意識状態を検知することを特徴とする請求項１２に記載の眼球運動解析システム。
  14. 前記解析手段が運転者の意識状態が所定の状態であると判断したときに、音声、振動等により運転者に警告する警告手段を備えたことを特徴とする請求項１３に記載の眼球運動解析システム。

     
PCT/JP2017/036672 2016-10-11 2017-10-10 眼球運動測定装置及び眼球運動解析システム WO2018070379A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780063136.9A CN109804422B (zh) 2016-10-11 2017-10-10 眼球运动测量装置和眼球运动分析系统
DE112017005146.0T DE112017005146B4 (de) 2016-10-11 2017-10-10 Augenbewegungs-Messeinrichtung und Augenbewegungs-Analysesystem
JP2018545003A JP7018634B2 (ja) 2016-10-11 2017-10-10 眼球運動測定装置及び眼球運動解析システム
US16/376,363 US10874357B2 (en) 2016-10-11 2019-04-05 Eye movement measuring device and eye movement analysis system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016200411 2016-10-11
JP2016-200411 2016-10-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/376,363 Continuation US10874357B2 (en) 2016-10-11 2019-04-05 Eye movement measuring device and eye movement analysis system

Publications (1)

Publication Number Publication Date
WO2018070379A1 true WO2018070379A1 (ja) 2018-04-19

Family

ID=61906354

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036672 WO2018070379A1 (ja) 2016-10-11 2017-10-10 眼球運動測定装置及び眼球運動解析システム

Country Status (5)

Country Link
US (1) US10874357B2 (ja)
JP (1) JP7018634B2 (ja)
CN (1) CN109804422B (ja)
DE (1) DE112017005146B4 (ja)
WO (1) WO2018070379A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020126625A (ja) * 2019-01-31 2020-08-20 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． ディープニューラルネットワークを基盤としたイメージ分析を通じて人の状態及び走行環境を識別して自律走行を補助する自律走行補助眼鏡
JP2022501636A (ja) * 2018-09-20 2022-01-06 エシロール・アンテルナシオナル 深紅、近赤外線及び可視範囲における低減された反射を有する光学デバイス

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019210862A1 (de) * 2019-07-23 2021-01-28 Robert Bosch Gmbh Beleuchtungseinheit für eine Beobachtungsvorrichtung
US20230280835A1 (en) * 2020-07-10 2023-09-07 Arizona Board Of Regents On Behalf Of Arizona State University System including a device for personalized hand gesture monitoring

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030685A1 (en) * 2003-02-13 2008-02-07 Fergason Patent Properties, Llc Optical system for monitoring eye movement
JP2014079374A (ja) * 2012-10-16 2014-05-08 Univ Of Tokyo 瞳孔径測定支援装置及び瞳孔径測定支援システム
JP2015109984A (ja) * 2004-04-01 2015-06-18 ウィリアム・シー・トーチＷｉｌｌｉａｍ Ｃ． Ｔｏｒｃｈ 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3588216A (en) * 1966-09-02 1971-06-28 Polaroid Corp Plastic optical elements
GB1540992A (en) * 1975-04-22 1979-02-21 Smiths Industries Ltd Display or other systems and equipment for use in such systems
JP5072553B2 (ja) * 2007-11-29 2012-11-14 浜松ホトニクス株式会社 眼球運動計測装置
EP2571417A1 (en) * 2010-05-20 2013-03-27 BAE Systems PLC Eye monitor for monitoring the size of a pupil
US9658453B1 (en) * 2013-04-29 2017-05-23 Google Inc. Head-mounted display including diffractive combiner to integrate a display and a sensor
JP6451057B2 (ja) 2014-02-04 2019-01-16 東海光学株式会社 可視域反射防止近赤外域透過抑制光学製品並びに眼鏡レンズ及び眼鏡
JP2016051317A (ja) 2014-08-29 2016-04-11 アルプス電気株式会社 視線検出装置
US9572488B2 (en) * 2014-09-23 2017-02-21 Gn Otometrics A/S Head mountable device for measuring eye movement
US9568603B2 (en) * 2014-11-14 2017-02-14 Microsoft Technology Licensing, Llc Eyewear-mountable eye tracking device
CN105929963B (zh) * 2016-05-11 2019-04-30 北京蚁视科技有限公司 一种用于追踪眼球位置的方法及检测装置
US9854968B2 (en) * 2016-05-20 2018-01-02 International Business Machines Corporation Behind-eye monitoring using natural reflection of lenses
CN107515466B (zh) * 2017-08-14 2019-11-26 华为技术有限公司 一种眼球追踪系统和眼球追踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080030685A1 (en) * 2003-02-13 2008-02-07 Fergason Patent Properties, Llc Optical system for monitoring eye movement
JP2015109984A (ja) * 2004-04-01 2015-06-18 ウィリアム・シー・トーチＷｉｌｌｉａｍ Ｃ． Ｔｏｒｃｈ 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
JP2014079374A (ja) * 2012-10-16 2014-05-08 Univ Of Tokyo 瞳孔径測定支援装置及び瞳孔径測定支援システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022501636A (ja) * 2018-09-20 2022-01-06 エシロール・アンテルナシオナル 深紅、近赤外線及び可視範囲における低減された反射を有する光学デバイス
JP7364665B2 (ja) 2018-09-20 2023-10-18 エシロール・アンテルナシオナル 深紅、近赤外線及び可視範囲における低減された反射を有する光学デバイス
JP2020126625A (ja) * 2019-01-31 2020-08-20 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． ディープニューラルネットワークを基盤としたイメージ分析を通じて人の状態及び走行環境を識別して自律走行を補助する自律走行補助眼鏡

Also Published As

Publication number Publication date
JPWO2018070379A1 (ja) 2019-09-26
US20190231279A1 (en) 2019-08-01
US10874357B2 (en) 2020-12-29
DE112017005146T5 (de) 2019-07-25
DE112017005146B4 (de) 2023-06-15
JP7018634B2 (ja) 2022-02-14
CN109804422A (zh) 2019-05-24
CN109804422B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
US10874357B2 (en) Eye movement measuring device and eye movement analysis system
JP6470335B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6591085B2 (ja) 乗り物酔い推定装置、乗り物酔い防止装置および乗り物酔い推定方法
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
EP2499962B1 (en) Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
US10395510B2 (en) Reminding method and reminding device
US9033502B2 (en) Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
FI125445B (fi) Katseenohjausjärjestely
IL292427A (en) Change, display and visualization of imaging using augmented and virtual reality glasses
JP2008074146A (ja) 車両運転者撮影用カメラの搭載構造
KR101619651B1 (ko) 운전자 감시장치 및 그의 조명제어방법
RU2006138622A (ru) Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения
US20200012101A1 (en) Head-mounted display
KR20150056521A (ko) 화상 표시 장치 및 화상 표시 방법, 및 기록 매체
CN108621941A (zh) 车辆的显示系统及车辆的显示系统的控制方法
JP2015194884A (ja) 運転者監視システム
JP2021507301A (ja) 頭部装着型ディスプレイのためのアイトラッキング
CN113316805A (zh) 使用红外线和可见光监视人的方法和系统
WO2018170538A1 (en) System and method of capturing true gaze position data
JP2019018751A (ja) 撮像装置及び車両用表示装置
JP2024078785A (ja) 撮像装置、及び生体部位検出装置
Mohan et al. Eye Gaze Estimation Invisible and IR Spectrum for Driver Monitoring System
CN114929501A (zh) 车辆用显示装置
US20220121278A1 (en) Connected device with eye tracking capabilities
JP5144412B2 (ja) 車両用物体判定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17861168

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018545003

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17861168

Country of ref document: EP

Kind code of ref document: A1