WO2022234632A1 - 反射性眼球運動評価装置、反射性眼球運動評価システム、および反射性眼球運動評価方法 - Google Patents

反射性眼球運動評価装置、反射性眼球運動評価システム、および反射性眼球運動評価方法 Download PDF

Info

Publication number
WO2022234632A1
WO2022234632A1 PCT/JP2021/017437 JP2021017437W WO2022234632A1 WO 2022234632 A1 WO2022234632 A1 WO 2022234632A1 JP 2021017437 W JP2021017437 W JP 2021017437W WO 2022234632 A1 WO2022234632 A1 WO 2022234632A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye movement
vehicle
movement
reflex
image
Prior art date
Application number
PCT/JP2021/017437
Other languages
English (en)
French (fr)
Inventor
大智 常道
良樹 小野
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/017437 priority Critical patent/WO2022234632A1/ja
Priority to DE112021007613.2T priority patent/DE112021007613T5/de
Priority to JP2023518565A priority patent/JP7466766B2/ja
Publication of WO2022234632A1 publication Critical patent/WO2022234632A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change

Definitions

  • the present disclosure relates to reflex eye movement evaluation technology.
  • Patent Document 1 An imaging unit that is installed in a moving body and captures the face of a person in the moving body, a gyro sensor that is installed in the moving body and measures motion data of the moving body, and an imaging unit A first calculation unit that calculates the eyeball movement of the person using the captured image of the face, and the motion data of the moving body measured by the sensor and the image of the face captured by the imaging unit to determine the movement of the person.
  • a second calculation unit that calculates head movement, the eye movement calculated by the first calculation unit, and the head movement calculated by the second calculation unit, an index related to the person's arousal is calculated.
  • a technique related to a calculation system including a third calculation unit is disclosed.
  • the present disclosure has been made to solve such problems, and aims to provide a reflex eye movement evaluation technique that can accurately evaluate the reflex eye movement of a subject in a moving object.
  • a reflex eye movement evaluation device is a reflex eye movement evaluation device used in a vehicle, and includes an image outside the vehicle including a visual target of a subject photographed by an imaging unit and the subject. receiving an in-vehicle image containing the object, measuring the visual object movement of the subject with the vehicle as a fixed coordinate system from the outside image, and measuring the head movement of the subject from the in-vehicle image, and measuring the reflexivity of the subject a reflex eye movement estimation unit that estimates eye movement; an eye movement measurement unit that measures eye movement of the subject from the in-vehicle image; and an evaluation value calculation unit that calculates an evaluation value of the sexual eye movement.
  • the reflex eye movement evaluation device can accurately evaluate the reflex eye movement of the subject in the moving object.
  • FIG. 1 is a block diagram showing a reflex eye movement evaluation device and a reflex eye movement evaluation system according to Embodiment 1;
  • FIG. FIG. 10 is a block diagram showing a reflex eye movement evaluation device and a reflex eye movement evaluation system according to Embodiment 2;
  • FIG. 4 is a diagram showing a difference in coordinate systems considered in the reflex eye movement evaluation device or the reflex eye movement evaluation system according to Embodiments 1 and 2, and a movement to be focused on;
  • FIG. 4A is a diagram showing a hardware configuration example of the reflex eye movement evaluation device according to Embodiments 1 and 2.
  • FIG. 4B is a diagram showing a hardware configuration example of the reflex eye movement evaluation apparatus according to Embodiments 1 and 2.
  • FIG. It is a flow chart of a reflex eye movement evaluation method.
  • FIG. 1 shows a reflex eye movement evaluation device 100A according to Embodiment 1 of the present disclosure and a reflex eye movement evaluation system SYS. 1 is a block diagram showing A.
  • FIG. Reflex eye movement evaluation system SYS. A is used for a movable vehicle (not shown). The vehicle need only be movable, and therefore the vehicle may be a two-wheeled vehicle, a three-wheeled vehicle, or a four-wheeled vehicle.
  • an imaging unit 10 that captures an image outside the vehicle including a visual target that the target person is gazing at and a target person (typically, the driver of the vehicle) inside the vehicle;
  • the reflex eye movement evaluation system SYS. A is constructed.
  • the terms “inside the vehicle” and “outside the vehicle” are terms that are distinguished from each other from the viewpoint of whether or not to shoot a subject who is actually operating the vehicle or is scheduled to operate the vehicle. .
  • the terms “inside the vehicle” and “outside the vehicle” are not terms that are distinguished from each other in terms of the space inside the vehicle.
  • the term “in-vehicle image” is used when capturing a subject who is currently operating or scheduled to operate a vehicle.
  • the term “in-vehicle video” should be used when shooting a subject operating a two-wheeled vehicle. use.
  • the "subject who is scheduled to operate the vehicle” includes the operator of the automated driving vehicle.
  • the imaging unit 10 captures an in-vehicle image A1 including a face image of a target person in the vehicle and an exterior image B1 including a visual target, and outputs the captured in-vehicle image A1 and exterior image B1.
  • the in-vehicle image A1 and the out-of-vehicle image B1 may each be captured using a single camera, or may be captured using a stereo camera to accurately measure the three-dimensional position.
  • the in-vehicle image A1 and the out-vehicle image B1 may be captured as separate images using separate cameras, or may be collectively captured within the same image by a device capable of capturing a wide range, such as an omnidirectional camera.
  • the imaging unit 10 is connected to the reflex eye movement estimation unit 20A, and outputs the in-vehicle image A1 and the exterior image B1 to the reflex eye movement estimation unit 20A.
  • the imaging unit 10 is also connected to the eye movement measurement unit 30 and outputs the in-vehicle image A ⁇ b>1 to the eye movement measurement unit 30 .
  • the reflex eye movement evaluation device 100A includes a reflex eye movement estimation unit 20A that measures visual object movement and head movement to estimate reflex eye movement, and an eye movement measurement unit that measures eye movement from the face image of the in-vehicle image A1. and an evaluation value calculation unit 40A for calculating an evaluation value representing the performance of the vestibulo-oculomotor reflex from the estimated reflex eye movement and the measured eye movement.
  • the reflective eye movement estimator 20A receives the in-vehicle image A1 and the exterior image B1 as the obtained imaging data, and transforms the in-vehicle image A1 and the exterior image B1 into the imaging data necessary for measuring the movement of the visual object or the movement of the head.
  • a reflex eye movement calculator 24A for estimating the reflex eye movement of the subject from the visual target movement and the head movement.
  • the data input unit 21A classifies the in-vehicle image A1 and the exterior image B1 into imaging data necessary for measuring visual object motion or head motion measurement, and outputs the in-vehicle image A1 and the exterior image B1.
  • the data input section 21A is connected to the visual target movement measuring section 22A, and outputs the vehicle exterior image B1 to the visual target movement measuring section 22A.
  • the data input unit 21A is also connected to the head motion measurement unit 23 and outputs the in-vehicle image A1 to the head motion measurement unit 23.
  • the visual object movement measurement unit 22A receives the external image B1 as an input, identifies the visual object area from the external image B1, and measures the visual object movement, which is the measurement result of the movement of the visual object when the vehicle is in a fixed coordinate system. Output the result C1.
  • the visual target area may be identified by generating a saliency map for estimating the features in the image B1 outside the vehicle that people tend to direct their eyes to.
  • the visual object movement measurement unit 22A is connected to the reflex eye movement calculation unit 24A, and outputs the visual object movement measurement result C1 to the reflex eye movement calculation unit 24A.
  • the head motion measurement unit 23 receives the in-vehicle image A1 as an input, measures the head motion, which is the motion of the subject's head, from the in-vehicle image A1 with the vehicle as a fixed coordinate system, and measures the subject's head motion.
  • a head movement measurement result D1 which is the result, is output.
  • a method for measuring head movement is disclosed in, for example, Patent Document 1 and is well known, so description thereof will be omitted.
  • the head movement measurement unit 23 is connected to the reflex eye movement calculation unit 24A, and outputs the head movement measurement result D1 to the reflex eye movement calculation unit 24A.
  • the reflex eye movement calculation unit 24A receives the visual object movement measurement result C1 and the head movement measurement result D1 with the vehicle as a fixed coordinate system as inputs, and calculates the object person from the visual object movement measurement result C1 and the head movement measurement result D1. is calculated, and the calculation result is output as the reflex eye movement estimation result E1.
  • the reflex eye movement calculator 24A estimates the reflex eye movement of the subject in the in-vehicle image A1 in the same direction as the direction of the visual target movement and opposite to the direction of the head movement.
  • the motion of the visual object perceived by the subject in the vehicle is a combination of the visual object motion and the head motion with the vehicle as a fixed coordinate system.
  • the reflex eye movement is such that it counteracts the motion of the visual object perceived by the subject in the vehicle.
  • An estimate of the reflex eye movement is therefore estimated as the movement reversed in direction with respect to the resulting visual object movement.
  • the reflex eye movement calculation unit 24A is connected to the evaluation value calculation unit 40A, and outputs the reflex eye movement estimation result E1 to the evaluation value calculation unit 40A.
  • the eye movement measurement unit 30 receives the in-vehicle image A1 as an input, measures the eye movement, which is the eye movement of the subject, from the in-vehicle image A1 using the vehicle as a fixed coordinate system, and obtains the measurement result of the measured eye movement of the subject. is output as the eye movement measurement result F1.
  • a method for measuring eye movements is disclosed, for example, in Patent Literature 1 and is well known, so a description thereof will be omitted.
  • the eye movement measurement unit 30 is connected to the evaluation value calculation unit 40A, and outputs the eye movement measurement result F1 to the evaluation value calculation unit 40A.
  • the evaluation value calculation unit 40A receives the reflex eye movement estimation result E1 and the eye movement measurement result F1 as inputs, and calculates an evaluation index related to the reflex eye movement.
  • evaluation indexes include the gain value, which is the absolute ratio of the subject's eye movement to the estimated reflex eye movement, and the waveform (time-series data) of the estimated reflex eye movement and the subject's eye movement. phase difference, residual standard deviation, and period difference from the waveform (time series data) of .
  • Examples of the evaluation index are not limited to these, and may be an index relating to the correlation between the waveform of the estimated value of the reflex eye movement and the waveform of the eye movement.
  • the evaluation value calculation unit 40A calculates at least one index, and sets the evaluation value obtained by the calculated one index or the combination (sum) of two or more calculated indexes as the reflex eye movement evaluation value G1. Output.
  • the reflex eye movement evaluation device 100A and the reflex eye movement evaluation system SYS According to A, the subject's reflex eye movement is evaluated using the outside image B1 including the visual target that the subject is gazing at, so it is accurately evaluated.
  • FIG. 2 shows a reflex eye movement evaluation device 100B according to Embodiment 2 of the present disclosure and a reflex eye movement evaluation system SYS. 2 is a block diagram showing B; FIG. Reflex eye movement evaluation system SYS. B is provided in a vehicle (not shown). As shown in FIG. 2, an imaging unit 10 that captures an image outside the vehicle including a visual target and a driver inside the vehicle, and a reflex eye movement evaluation device 100B that receives the image captured by the imaging unit 10 inputs a reflective eye movement evaluation device 100B. Eye movement evaluation system SYS. B is constructed.
  • the imaging unit 10 captures an in-vehicle image A1 including a face image of a target person in the vehicle and an exterior image B1 including a visual target that the target person is gazing at, and outputs the captured in-vehicle image A1 and exterior image B1. do.
  • the in-vehicle image A1 and the out-of-vehicle image B1 may each be captured using a single camera, or may be captured using a stereo camera to accurately measure the three-dimensional position.
  • the in-vehicle image A1 and the out-vehicle image B1 may be captured as separate images using separate cameras, or may be collectively captured within the same image by a device capable of capturing a wide range, such as an omnidirectional camera.
  • the imaging unit 10 is connected to the reflex eye movement estimation unit 20B, and outputs the in-vehicle image A1 and the exterior image B1 to the reflex eye movement estimation unit 20B.
  • the imaging unit 10 is also connected to the eye movement measurement unit 30 and outputs the in-vehicle image A ⁇ b>1 to the eye movement measurement unit 30 .
  • the imaging unit 10 is also connected to the line-of-sight angle calculation unit 50 and outputs the in-vehicle image A ⁇ b>1 to the line-of-sight angle calculation unit 50 .
  • the reflex eye movement evaluation device 100B includes a reflex eye movement estimation unit 20B that measures visual object movement and head movement to estimate reflex eye movement, and an eye movement measurement unit that measures eye movement from the face image of the in-vehicle image A1.
  • an evaluation value calculation unit 40B that calculates an evaluation value representing the performance of the vestibulo-ocular reflex from the estimated reflex eye movement and the measured eye movement; and a section 50 .
  • the line-of-sight angle calculation unit 50 receives the in-vehicle image A1, calculates the line-of-sight angle of the subject using the vehicle as a fixed coordinate system, and outputs the line-of-sight angle calculation result H1.
  • the line-of-sight angle is an angle formed by a predetermined reference axis, for example, the longitudinal axis of a fixed coordinate system of the vehicle, and the line-of-sight direction of the subject.
  • the line-of-sight angle calculation unit 50 is connected to the reflex eye movement estimation unit 20B, and outputs the line-of-sight angle calculation result H1 to the reflex eye movement estimation unit 20B.
  • the reflex eye movement estimator 20B receives the in-vehicle image A1 and the out-of-vehicle image B1 as the obtained imaging data, and the line-of-sight angle calculation result H1 as inputs, and obtains the imaging data and line-of-sight angle necessary for measuring visual object movement and head movement.
  • a data input unit 21B that classifies and outputs the data
  • a visual object motion measurement unit 22B that measures the motion of the visual object from the outside image B1 and the line-of-sight angle calculation result H1, and a target person's head movement from the in-vehicle image A1.
  • a head movement measurement unit 23 and a reflex eye movement calculation unit 24B for estimating the reflex eye movement of the subject from the visual target movement and the head movement are provided.
  • the data input unit 21B classifies the in-vehicle image A1, the out-vehicle image B1, and the line-of-sight angle calculation result H1 into the data necessary for measuring the visual object movement or the head movement, and classifies the in-vehicle image A1, the out-vehicle image B1, or the line-of-sight angle into data necessary for measurement of the visual object movement or head movement.
  • An angle calculation result H1 is output.
  • the data input section 21B is connected to the visual target movement measuring section 22B, and outputs the vehicle exterior image B1 and the line-of-sight angle calculation result H1 to the visual target movement measuring section 22B.
  • the data input unit 21B is also connected to the head movement measurement unit 23 and outputs the in-vehicle image A1 to the head movement measurement unit 23.
  • the visual target motion measuring unit 22B receives the vehicle exterior image B1 and the line-of-sight angle calculation result H1 as inputs, identifies the visual target region from the vehicle exterior image B1 and the line-of-sight angle, and measures the motion of the visual target when the vehicle is in a fixed coordinate system. output the visual object motion measurement result C2, which is the measurement result of .
  • the visual target area is specified using the line-of-sight angle. Furthermore, the visual target may be identified by combining the line-of-sight angle and the result of general object recognition.
  • the visual object movement measurement unit 22B is connected to the reflex eye movement calculation unit 24B, and outputs the visual object movement measurement result C2 to the reflex eye movement calculation unit 24B.
  • the head motion measurement unit 23 receives the in-vehicle image A1 as an input, measures the head motion, which is the motion of the subject's head, from the in-vehicle image A1 with the vehicle as a fixed coordinate system, and measures the subject's head motion.
  • a head movement measurement result D1 which is the result, is output.
  • the head movement measurement unit 23 is connected to the reflex eye movement calculation unit 24B, and outputs the head movement measurement result D1 to the reflex eye movement calculation unit 24B.
  • the reflex eye movement calculation unit 24B receives as inputs the visual object movement measurement result C2 and the head movement measurement result D1 with the vehicle as a fixed coordinate system, and calculates the reflex eye movement that is the result of estimating the reflex eye movement of the subject. Output the estimation result E2.
  • the reflex eye movement calculator 24B estimates the reflex eye movement of the subject in the in-vehicle image A1 in the same direction as the direction of the visual target movement and opposite to the direction of the head movement.
  • the motion of the visual object perceived by the subject in the vehicle is a combination of the visual object motion and the head motion with the vehicle as a fixed coordinate system. To stabilize the field of view, the reflex eye movement is such that it counteracts the motion of the visual object perceived by the subject in the vehicle.
  • the reflex eye movement calculation unit 24B is connected to the evaluation value calculation unit 40B, and outputs the reflex eye movement estimation result E2 to the evaluation value calculation unit 40B.
  • the eye movement measurement unit 30 receives the in-vehicle image A1 as an input, measures the eye movement, which is the eye movement of the subject, from the in-vehicle image A1 using the vehicle as a fixed coordinate system, and obtains the measurement result of the measured eye movement of the subject. is output as the eye movement measurement result F1.
  • the eye movement measurement unit 30 is connected to the evaluation value calculation unit 40B, and outputs the eye movement measurement result F1 to the evaluation value calculation unit 40B.
  • the evaluation value calculation unit 40B receives the reflex eye movement estimation result E2 and the eye movement measurement result F1 as inputs, and calculates an evaluation index related to the reflex eye movement.
  • evaluation indexes include the gain value, which is the absolute ratio of the subject's eye movement to the estimated reflex eye movement, and the waveform (time-series data) of the estimated reflex eye movement and the subject's eye movement. phase difference, residual standard deviation, and period difference from the waveform (time series data) of .
  • Examples of the evaluation index are not limited to these, and may be an index relating to the correlation between the waveform of the estimated value of the reflex eye movement and the waveform of the eye movement.
  • the evaluation value calculation unit 40B calculates at least one index, and outputs an evaluation value obtained from one calculated index or a combination of two or more calculated indices as a reflex eye movement evaluation value G2.
  • FIG. 3 is a diagram showing a difference in coordinate systems considered when evaluating reflex eye movements and movements to be focused on according to Embodiments 1 and 2 of the present disclosure.
  • an inward facing camera is shown as a camera for photographing the in-vehicle image A1
  • an outward facing camera is shown as a camera for photographing the exterior image B1.
  • the world coordinate system in which the direction of gravity is set in the vertical direction and the vehicle coordinate system in which the vehicle is a fixed coordinate system can be considered to be different coordinate systems when the vehicle itself vibrates.
  • the camera attached to the vehicle and the device that measures vibration output the measurement results in the vehicle coordinate system because they are fixed to the vehicle.
  • the reflex eye movement evaluation device 100A or 100B of the present disclosure receives the outside image B1 including the visual target captured by the imaging unit 10 and evaluates the reflex eye movement of the subject. Therefore, according to the reflex eye movement evaluation device 100A or 100B, since the movement of a moving body such as another vehicle outside the vehicle is taken into consideration, the reflex eye movement of the subject can be accurately evaluated.
  • the reflex eye movement evaluation apparatuses 100A and 100B are processing circuits for performing various operations such as data reception, visual object movement measurement, head movement measurement, reflex eye movement calculation, evaluation value calculation, and line-of-sight angle calculation.
  • the processing circuitry whether dedicated processing circuitry 100a as shown in FIG. 4A, executes programs stored in memory 100c as shown in FIG. 4B. It may be the CPU 100b.
  • the dedicated processing circuitry 100a may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an application specific integrated circuit (ASIC) , FPGA (field-programmable gate array), or a combination of these.
  • ASIC application specific integrated circuit
  • FPGA field-programmable gate array
  • Data input unit 21 (21A; 21B), visual target movement measurement unit 22 (22A; 22B), head movement measurement unit 23, reflex eye movement calculation unit 24 (24A; 24B), eye movement measurement unit 30, evaluation value
  • the function of each part of the calculation unit 40 (40A; 40B) and the line-of-sight angle calculation unit 50 may be realized by a plurality of separate processing circuits (processing circuits), or the functions of each part may be integrated into a single processing circuit ( processing circuit).
  • the processing circuitry is the CPU 100b
  • the data input unit 21 (21A; 21B), the visual object movement measurement unit 22 (22A; 22B), the head movement measurement unit 23, the reflex eye movement calculation unit 24 (24A; 24B), the eye movement measurement unit 30, the evaluation value calculation unit 40 (40A; 40B), and the line-of-sight angle calculation unit 50 are implemented by software, firmware, or a combination of software and firmware.
  • Software and firmware are written as programs and stored in memory 100c.
  • the CPU 100b realizes the function of each part by reading and executing the program stored in the memory. That is, the steps of receiving data, measuring visual object movement, measuring head movement, calculating reflex eye movements, calculating evaluation values, and calculating line-of-sight angles are performed.
  • a computer includes a memory 100C for storing the resulting program to be executed.
  • these programs include a data input unit 21 (21A; 21B), a visual target movement measurement unit 22 (22A; 22B), a head movement measurement unit 23, a reflex eye movement calculation unit 24 (24A; 24B), an eyeball
  • a computer is caused to execute the procedures and methods of the motion measurement unit 30, the evaluation value calculation unit 40 (40A; 40B), and the line-of-sight angle calculation unit 50.
  • the memory 100c include RAM (random access memory), ROM (read-only memory), flash memory, EPROM (erasable programmable read-only memory), EEPROM (electrically erasable programmable read-only memory), etc.
  • RAM random access memory
  • ROM read-only memory
  • flash memory EPROM (erasable programmable read-only memory), EEPROM (electrically erasable programmable read-only memory), etc.
  • Non-volatile or volatile semiconductor memories magnetic disks, flexible disks, optical
  • the functions of the evaluation value calculation unit 40 (40A; 40B) and the line-of-sight angle calculation unit 50 may be partly implemented by dedicated hardware and partly implemented by software or firmware.
  • the processing circuitry may implement each of the functions described above through hardware, software, firmware, or a combination thereof.
  • the reflex eye movement estimating unit 20 (20A; 20B) receives an image outside the vehicle B1 including the subject's visual target captured by the imaging unit 10 and an inside image A1 including the subject.
  • step ST12 the reflective eye movement estimating unit 20 (20A; 20B) measures the visual object movement from the outside image B1 and the subject's head movement from the inside image A1, and measures the measured visual object movement measurement result.
  • the subject's reflex eye movement is estimated from C1 and the head movement measurement result D1.
  • the line-of-sight angle calculator 50 calculates the angle of the target person's line of sight from the image A1 inside the vehicle.
  • the motion of the visual object may be measured from the outside image B1 and the line-of-sight angle calculation result H1 by receiving from the calculation unit 50 .
  • the reflex eye movement estimator 20B estimates the subject's reflex eye movement from the visual target movement measurement result C2 and the head movement measurement result D1.
  • step ST13 the eye movement measurement unit 30 measures the subject's eye movement from the in-vehicle image A1.
  • step ST14 the evaluation value calculation unit 40 (40A; 40B) calculates the reflex eye movement evaluation value G1 or Calculate G2.
  • the reflex eye movement evaluation device of Supplementary Note 1 is a reflex eye movement evaluation device (100A; 100B) used in a vehicle, and is an image outside the vehicle including the visual target of the subject photographed by the imaging unit (10). (B1) and receiving an in-vehicle image (A1) including the subject, and obtaining a visual object motion of the subject with the vehicle as a fixed coordinate system from the exterior image, and obtaining a head motion of the subject from the in-vehicle image. and a reflex eye movement estimating unit (20A; 20B) for estimating the reflex eye movement of the subject by measuring the eye movement measuring unit (30) for measuring the eye movement of the subject from the in-vehicle image. and an evaluation value calculation unit (40A; 40B) for calculating an evaluation value of the reflex eye movement from the estimated reflex eye movement and the measured eye movement.
  • the reflex eye movement evaluation device of Supplementary Note 2 is the reflex eye movement evaluation device of Supplementary Note 1, wherein the reflex eye movement estimation unit (20A) receives the in-vehicle image and the out-vehicle image input from the imaging unit. a data input unit (21A) that distributes and outputs a visual object motion measurement unit (22A) that measures the visual object motion from the video outside the vehicle; and a head motion measurement unit that measures the head motion from the video inside the vehicle. and a reflex eye movement calculator (24A) for calculating the reflex eye movement from the visual target movement and the head movement.
  • the reflex eye movement estimation unit (20A) receives the in-vehicle image and the out-vehicle image input from the imaging unit.
  • a data input unit (21A) that distributes and outputs a visual object motion measurement unit (22A) that measures the visual object motion from the video outside the vehicle; and a head motion measurement unit that measures the head motion from the video inside the vehicle.
  • a reflex eye movement calculator (24A) for
  • the reflex eye movement evaluation device of appendix 3 is the reflex eye movement evaluation device of appendix 2, wherein the visible object movement measuring unit measures the saliency map of the outside-vehicle image, the optical flow of the outside-vehicle image, and the outside-vehicle image.
  • the visible object movement measuring unit measures the saliency map of the outside-vehicle image, the optical flow of the outside-vehicle image, and the outside-vehicle image.
  • the reflex eye movement evaluation device is the reflex eye movement evaluation device according to appendix 2, wherein the reflex eye movement calculation unit is configured in the same direction as the direction of the visual target movement and the direction of the head movement. Conversely, estimating the reflex eye movements of the subject in the in-car video.
  • the reflex eye movement evaluation device (100B) of appendix 5 is the reflex eye movement evaluation device of appendix 1, further comprising a line-of-sight angle calculator (50) for calculating the line-of-sight angle of the subject from the in-vehicle image. .
  • the reflex eye movement evaluation device of appendix 6 is the reflex eye movement evaluation device of appendix 5, wherein the reflex eye movement estimation unit receives the in-vehicle image and the exterior image input from the imaging unit and the line of sight.
  • a data input unit (21B) that distributes and outputs the line-of-sight angle input from the angle calculation unit
  • a visual object movement measurement unit (22B) that measures the visual object movement from the vehicle exterior image and the line-of-sight angle
  • the vehicle interior A head movement measurement unit (23) that measures the head movement from an image
  • a reflex eye movement calculation unit (24B) that calculates the reflex eye movement from the visual target movement and the head movement.
  • the reflex eye movement evaluation device is the reflex eye movement evaluation device according to appendix 6, wherein the visual object movement measuring unit includes a saliency map of the vehicle exterior image, an optical flow of the vehicle exterior image, and the vehicle exterior image. Using at least one of object position information detected by general object recognition from and the line-of-sight angle, a region including the visual object is limited or the visual object is specified.
  • the reflex eye movement evaluation device is the reflex eye movement evaluation device according to appendix 6, wherein the reflex eye movement calculation unit is configured in the same direction as the direction of the visual target movement and the direction of the head movement. Conversely, estimating the reflex eye movements of the subject in the in-car video.
  • the reflex eye movement evaluation device of appendix 9 is the reflex eye movement evaluation device of any one of appendices 1 to 8, wherein the evaluation value calculation unit includes time-series data of the estimated reflex eye movement, comparing the measured eye movement time-series data, and adding a sum of calculated results for at least one index including gain, phase difference, residual standard deviation, and period difference between the two time-series data to the reflexivity It is calculated as an evaluation value of eye movements.
  • the reflex eye movement evaluation system of appendix 10 includes the imaging unit and the reflex eye movement evaluation device of any one of appendices 1 to 9.
  • the reflex eye movement evaluation method of appendix 11 is a reflex eye movement evaluation method using a reflex eye movement evaluation device (100A; 100B), and is photographed by an imaging unit by a reflex eye movement estimation unit (20). An image outside the vehicle including the visual target of the subject and an image inside the vehicle including the subject are received, and the motion of the target is measured from the image outside the vehicle, and the head movement of the subject is measured from the image inside the vehicle. Steps of estimating reflex eye movements (ST11, ST12), steps of measuring the eye movements of the subject from the in-vehicle video by an eye movement measurement unit (23) (ST13), and an evaluation value calculation unit (40) and calculating an evaluation value of the reflex eye movement from the estimated reflex eye movement and the measured eye movement (ST14).
  • the reflex eye movement evaluation device of the present disclosure can be mounted on a vehicle and used as part of a driving support system.
  • Imaging unit 20 Reflex eye movement estimation unit 21 (21A; 21B) Data input unit 22 (22A; 22B) Visual target movement measurement unit 23 Head movement measurement unit 24 (24A; 24B) Reflex eyeball Movement calculation unit 30 Eye movement measurement unit 40 (40A; 40B) Evaluation value calculation unit 50 Line of sight angle calculation unit 100 (100A; 100B) Reflex eye movement evaluation device A1 In-vehicle image B1 Out-of-vehicle image C1 Vision Target movement measurement result, D1 Head movement measurement result, E1 Reflex eye movement estimation result, F1 Eye movement measurement result, G1 Reflex eye movement evaluation value, H1 Gaze angle calculation result, C2 Visual object movement measurement result, E2 Reflex Eye movement estimation result, G2 reflex eye movement evaluation value.

Abstract

反射性眼球運動評価装置（１００Ａ；１００Ｂ）は、車両に備えて用いられる反射性眼球運動評価装置であって、撮像部（１０）により撮影される対象者の視対象を含む車外映像および前記対象者を含む車内映像を受け付けて、前記車外映像から前記車両を固定座標系とした前記対象者の視対象運動を、前記車内映像から前記対象者の頭部運動を測定して、前記対象者の反射性眼球運動を推定する反射性眼球運動推定部（２０Ａ；２０Ｂ）と、前記車内映像から前記対象者の眼球運動を測定する眼球運動測定部（３０）と、推定された反射性眼球運動と測定された眼球運動とから、前記反射性眼球運動の評価値を算出する評価値算出部（４０Ａ；４０Ｂ）と、を備える。

Description

反射性眼球運動評価装置、反射性眼球運動評価システム、および反射性眼球運動評価方法
　本開示は、反射性眼球運動評価技術に関する。
　車両の運転者が眠気に襲われていないかを判定する技術が開発されている。例えば、特許文献１には、移動体に設置され、移動体中の人物の顔を撮影する撮像部と、その移動体に設置され、移動体の運動データを計測するジャイロセンサと、撮像部により撮影された顔の画像を用いてその人物の眼球運動を算出する第１の算出部と、センサにより計測された移動体の運動データ及び撮像部により撮影された顔の画像を用いてその人物の頭部運動を算出する第２の算出部と、第１の算出部によって算出された眼球運動、及び第２の算出部によって算出された頭部運動を用いて、その人物の覚醒に関する指標を算出する第３の算出部とを備えた算出システムに関する技術が開示されている。
特許第６４３２７０２号公報
　しかしながら、特許文献１の算出システムによれば、移動体の外界の他の移動体の移動を直接評価していないので、反射性眼球運動を正確に評価できないという課題がある。
　本開示は、このような課題を解決するためになされたものであり、移動体内の対象者の反射性眼球運動を正確に評価できる反射性眼球運動評価技術を提供することを目的とする。
　本開示の実施形態による反射性眼球運動評価装置は、車両に備えて用いられる反射性眼球運動評価装置であって、撮像部により撮影される対象者の視対象を含む車外映像および前記対象者を含む車内映像を受け付けて、前記車外映像から前記車両を固定座標系とした前記対象者の視対象運動を、前記車内映像から前記対象者の頭部運動を測定して、前記対象者の反射性眼球運動を推定する反射性眼球運動推定部と、前記車内映像から前記対象者の眼球運動を測定する眼球運動測定部と、推定された反射性眼球運動と測定された眼球運動とから、前記反射性眼球運動の評価値を算出する評価値算出部と、を備える。
　本開示の実施形態による反射性眼球運動評価装置は、移動体内の対象者の反射性眼球運動を正確に評価できる。
実施の形態１による反射性眼球運動評価装置および反射性眼球運動評価システムを表すブロック図である。 実施の形態２による反射性眼球運動評価装置および反射性眼球運動評価システムを表すブロック図である。 実施の形態１および２による反射性眼球運動評価装置または反射性眼球運動評価システムで考える座標系の違いと、着目する運動を示す図である。 図４Ａは、実施の形態１および２による反射性眼球運動評価装置のハードウェアの構成例を示す図である。 図４Ｂは、実施の形態１および２による反射性眼球運動評価装置のハードウェアの構成例を示す図である。 反射性眼球運動評価方法のフローチャートである。
　以下、図１から図５を参照して、本開示における種々の実施形態について詳細に説明する。なお、図面において同一または類似の符号を付された構成要素は、同一または類似の構成または機能を有するものとする。
実施の形態１．
＜構成＞
（反射性眼球運動評価システム）
　図１は、本開示の実施の形態１による反射性眼球運動評価装置１００Ａ、および反射性眼球運動評価システムＳＹＳ．Ａを示すブロック図である。反射性眼球運動評価システムＳＹＳ．Ａは、不図示の移動可能な車両に備えて用いられる。車両は移動可能であればよく、従って車両は２輪車両でも、３輪車両でも、４輪車両でもよい。図１に示すように、対象者が注視している視対象を含む車外映像および車内の対象者（典型的には、車両の運転者）を撮影する撮像部１０と、撮像部１０により撮像された映像が入力される反射性眼球運動評価装置１００Ａとにより、反射性眼球運動評価システムＳＹＳ．Ａが構成される。
　なお、「車内」および「車外」との用語は、本開示においては、車両を現に操作し又は操作することが予定されている対象者を撮影するか否かという観点から区別される用語である。換言すれば、「車内」および「車外」との用語は、車内の空間か否かという観点から区別される用語でない。したがって、例えば、車両を現に操作し又は操作することが予定されている対象者を撮影する場合には、「車内映像」という用語を用いる。また、２輪車両のように車両の内部空間と外部空間の識別が困難である場合であっても、２輪車両を操作している対象者を撮影する場合は、「車内映像」という用語を用いる。「車両を操作することが予定されている対象者」には、自動走行車両の操作者が含まれる。
（撮像部）
　撮像部１０は、車内の対象者の顔映像を含む車内映像Ａ１と、視対象を含む車外映像Ｂ１とを撮影し、撮影された車内映像Ａ１および車外映像Ｂ１を出力する。車内映像Ａ１および車外映像Ｂ１はそれぞれ単一のカメラを用いて撮影してもよいし、正確な三次元位置を計測するためにステレオカメラを用いて撮影してもよい。また、車内映像Ａ１および車外映像Ｂ１は別々のカメラを用いて個別の映像として撮影してもよいし、全天球カメラのように広範囲の撮影を可能にするデバイスによって同一画像内にまとめて撮影してもよい。撮像部１０は、反射性眼球運動推定部２０Ａに接続され、車内映像Ａ１および車外映像Ｂ１を反射性眼球運動推定部２０Ａに出力する。また、撮像部１０は、眼球運動測定部３０にも接続され、車内映像Ａ１を眼球運動測定部３０に出力する。
（反射性眼球運動評価装置）
　反射性眼球運動評価装置１００Ａは、視対象運動および頭部運動を測定し反射性眼球運動を推定する反射性眼球運動推定部２０Ａと、車内映像Ａ１の顔映像から眼球運動を測定する眼球運動測定部３０と、推定した反射性眼球運動と測定した眼球運動から前庭動眼反射のパフォーマンスを表す評価値を算出する評価値算出部４０Ａとを備える。
（反射性眼球運動推定部）
　反射性眼球運動推定部２０Ａは、得られた撮像データとして車内映像Ａ１および車外映像Ｂ１を入力として受け付け、車内映像Ａ１および車外映像Ｂ１を視対象運動または頭部運動の測定に必要な撮像データに分類して出力するデータ入力部２１Ａと、車外映像Ｂ１から視対象の運動を測定する視対象運動測定部２２Ａと、車内映像Ａ１から対象者の頭部運動を測定する頭部運動測定部２３と、視対象運動と頭部運動から、対象者の反射性眼球運動を推定する反射性眼球運動算出部２４Ａとを備える。
（データ入力部）
　データ入力部２１Ａは、車内映像Ａ１および車外映像Ｂ１を視対象運動の測定または頭部運動の測定に必要な撮像データに分類して、車内映像Ａ１および車外映像Ｂ１を出力する。データ入力部２１Ａは、視対象運動測定部２２Ａに接続され、車外映像Ｂ１を視対象運動測定部２２Ａに出力する。また、データ入力部２１Ａは、頭部運動測定部２３にも接続され、車内映像Ａ１を頭部運動測定部２３に出力する。
（視対象運動測定部）
　視対象運動測定部２２Ａは、車外映像Ｂ１を入力として受け付け、車外映像Ｂ１から視対象領域を特定して、車両を固定座標系とした場合の視対象の運動の測定結果である視対象運動測定結果Ｃ１を出力する。視対象領域の特定においては、例えば車外映像Ｂ１内で人が視線を向けやすい特徴を推定する顕著性マップを生成して視対象領域を特定してもよいし、車外映像Ｂ１から物体の動き量を表すオプティカルフローを算出してオプティカルフローが消失した消失領域を視対象領域として特定してもよいし、顕著性マップまたはオプティカルフローの結果と一般物体認識の結果とを組み合わせて視対象領域を特定してもよい。このように車外映像Ｂ１全体の中から、注視されている領域の限定または注視されている対象物体の特定をすることで、車内の対象者の反射性眼球運動に影響を与える物体に限定した運動を計測することが可能となる。視対象運動測定部２２Ａは、反射性眼球運動算出部２４Ａに接続され、視対象運動測定結果Ｃ１を反射性眼球運動算出部２４Ａに出力する。
（頭部運動測定部）
　頭部運動測定部２３は、車内映像Ａ１を入力として受け付け、車両を固定座標系として車内映像Ａ１から対象者の頭部の運動である頭部運動を測定し、対象者の頭部運動の測定結果である頭部運動測定結果Ｄ１を出力する。頭部運動の測定方法は、例えば特許文献１に記載されており公知であるので、説明を省略する。頭部運動測定部２３は、反射性眼球運動算出部２４Ａに接続され、頭部運動測定結果Ｄ１を反射性眼球運動算出部２４Ａに出力する。
（反射性眼球運動算出部）
　反射性眼球運動算出部２４Ａは、車両を固定座標系とした視対象運動測定結果Ｃ１と頭部運動測定結果Ｄ１を入力として受け付け、視対象運動測定結果Ｃ１と頭部運動測定結果Ｄ１から対象者の反射性眼球運動を算出して、算出結果を反射性眼球運動推定結果Ｅ１として出力する。反射性眼球運動算出部２４Ａは、視対象運動の方向と同方向かつ頭部運動の方向と逆方向に、車内映像Ａ１における対象者の反射性眼球運動を推定する。車両内の対象者が知覚する視対象の運動は、車両を固定座標系とした視対象運動と頭部運動を組み合わせたものとなる。視界を安定させるために、反射性眼球運動は車両内の対象者が知覚する視対象の運動を打ち消すような動きとなる。そのため反射性眼球運動の推定値は、得られた視対象運動に対して方向が逆転した運動として推定される。頭部運動だけではなく、視対象運動を考慮することにより、対象者が注視している箇所に応じた反射性眼球運動の推定が可能となる。反射性眼球運動算出部２４Ａは、評価値算出部４０Ａに接続され、反射性眼球運動推定結果Ｅ１を評価値算出部４０Ａに出力する。
（眼球運動測定部）
　眼球運動測定部３０は、車内映像Ａ１を入力として受け付け、車両を固定座標系として車内映像Ａ１から対象者の眼球の運動である眼球運動を測定し、測定された対象者の眼球運動の測定結果である眼球運動測定結果Ｆ１を出力する。眼球運動の測定方法は、例えば特許文献１に記載されており公知であるので、説明を省略する。眼球運動測定部３０は、評価値算出部４０Ａに接続され、眼球運動測定結果Ｆ１を評価値算出部４０Ａに出力する。
（評価値算出部）
　評価値算出部４０Ａは、反射性眼球運動推定結果Ｅ１および眼球運動測定結果Ｆ１を入力として受け付け、反射性眼球運動に関わる評価指標を算出する。評価指標の例には、反射性眼球運動の推定値に対する対象者の眼球運動の絶対値比であるゲイン値、並びに反射性眼球運動の推定値の波形（時系列データ）と対象者の眼球運動の波形（時系列データ）との位相差、残差標準偏差、および周期差が含まれる。評価指標の例はこれらに限られるものでなく、反射性眼球運動の推定値の波形と眼球運動の波形との相関に関する指標であればよい。２つの時系列データを比較するうえで、波形の相関に関わる指標を抽出することにより、２波形の類似性を評価することが可能となる。評価値算出部４０Ａは、少なくとも１つの指標を算出し、算出された１つの指標または算出された２つ以上の指標の組合せ（合算）で得られる評価値を、反射性眼球運動評価値Ｇ１として出力する。
　このように、反射性眼球運動評価装置１００Ａおよび反射性眼球運動評価システムＳＹＳ．Ａによれば、対象者の反射性眼球運動は、対象者が注視している視対象を含む車外映像Ｂ１を用いて評価されるので、正確に評価される。
実施の形態２．
＜構成＞
（反射性眼球運動評価システム）
　図２は、本開示の実施の形態２による反射性眼球運動評価装置１００Ｂ、および反射性眼球運動評価システムＳＹＳ．Ｂを示すブロック図である。反射性眼球運動評価システムＳＹＳ．Ｂは、不図示の車両に備えられる。図２に示すように、視対象を含む車外映像および車内の運転者を撮影する撮像部１０と、撮像部１０により撮像された映像が入力される反射性眼球運動評価装置１００Ｂとにより、反射性眼球運動評価システムＳＹＳ．Ｂが構成される。
（撮像部）
　撮像部１０は、車内の対象者の顔映像を含む車内映像Ａ１と、対象者が注視している視対象を含む車外映像Ｂ１とを撮影し、撮影された車内映像Ａ１および車外映像Ｂ１を出力する。車内映像Ａ１および車外映像Ｂ１はそれぞれ単一のカメラを用いて撮影してもよいし、正確な三次元位置を計測するためにステレオカメラを用いて撮影してもよい。また、車内映像Ａ１および車外映像Ｂ１は別々のカメラを用いて個別の映像として撮影してもよいし、全天球カメラのように広範囲の撮影を可能にするデバイスによって同一画像内にまとめて撮影してもよい。撮像部１０は、反射性眼球運動推定部２０Ｂに接続され、車内映像Ａ１および車外映像Ｂ１を反射性眼球運動推定部２０Ｂに出力する。また、撮像部１０は、眼球運動測定部３０にも接続され、車内映像Ａ１を眼球運動測定部３０に出力する。また、撮像部１０は、視線角度算出部５０にも接続され、車内映像Ａ１を視線角度算出部５０に出力する。
（反射性眼球運動評価装置）
　反射性眼球運動評価装置１００Ｂは、視対象運動および頭部運動を測定し反射性眼球運動を推定する反射性眼球運動推定部２０Ｂと、車内映像Ａ１の顔映像から眼球運動を測定する眼球運動測定部３０と、推定した反射性眼球運動と測定した眼球運動から前庭動眼反射のパフォーマンスを表す評価値を算出する評価値算出部４０Ｂと、車内映像Ａ１の顔映像から視線角度を算出する視線角度算出部５０とを備える。
（視線角度算出部）
　視線角度算出部５０は、車内映像Ａ１を入力とし、車両を固定座標系として対象者の視線角度を算出して、視線角度の算出結果である視線角度算出結果Ｈ１を出力する。視線角度は、所定の基準軸、例えば車両の固定座標系の前後方向の軸と、対象者の視線方向とがなす角の角度である。視線角度算出部５０は、反射性眼球運動推定部２０Ｂに接続され、視線角度算出結果Ｈ１を反射性眼球運動推定部２０Ｂに出力する。対象者の視線角度を算出することにより、視線角度の算出結果を用いて、車外における視対象を細かく特定することが可能になる。そのため、対象者が実際に注視している視対象の運動を考慮した反射性眼球運動の推定をすることが可能となる。
（反射性眼球運動推定部）
　反射性眼球運動推定部２０Ｂは、得られた撮像データとして車内映像Ａ１および車外映像Ｂ１と視線角度算出結果Ｈ１とを入力として受け付け、視対象運動と頭部運動測定に必要な撮像データと視線角度を分類して出力するデータ入力部２１Ｂと、車外映像Ｂ１と視線角度算出結果Ｈ１から視対象の運動を測定する視対象運動測定部２２Ｂと、車内映像Ａ１から対象者の頭部運動を測定する頭部運動測定部２３と、視対象運動と頭部運動から、対象者の反射性眼球運動を推定する反射性眼球運動算出部２４Ｂとを備える。
（データ入力部）
　データ入力部２１Ｂは、車内映像Ａ１、車外映像Ｂ１および視線角度算出結果Ｈ１を、視対象運動の測定または頭部運動の測定に必要なデータに分類して、車内映像Ａ１、車外映像Ｂ１または視線角度算出結果Ｈ１を出力する。データ入力部２１Ｂは、視対象運動測定部２２Ｂに接続され、車外映像Ｂ１および視線角度算出結果Ｈ１を視対象運動測定部２２Ｂに出力する。また、データ入力部２１Ｂは、頭部運動測定部２３にも接続され、車内映像Ａ１を頭部運動測定部２３に出力する。
（視対象運動測定部）
　視対象運動測定部２２Ｂは、車外映像Ｂ１および視線角度算出結果Ｈ１を入力として受け付け、車外映像Ｂ１および視線角度から視対象領域を特定して、車両を固定座標系とした場合の視対象の運動の測定結果である視対象運動測定結果Ｃ２を出力する。視対象領域の特定においては、視線角度を用いて特定する。さらに、視線角度と一般物体認識の結果とを組み合わせて視対象を特定してもよい。視対象運動測定部２２Ｂは、反射性眼球運動算出部２４Ｂに接続され、視対象運動測定結果Ｃ２を反射性眼球運動算出部２４Ｂに出力する。
（頭部運動測定部）
　頭部運動測定部２３は、車内映像Ａ１を入力として受け付け、車両を固定座標系として車内映像Ａ１から対象者の頭部の運動である頭部運動を測定し、対象者の頭部運動の測定結果である頭部運動測定結果Ｄ１を出力する。頭部運動測定部２３は、反射性眼球運動算出部２４Ｂに接続され、頭部運動測定結果Ｄ１を反射性眼球運動算出部２４Ｂに出力する。
（反射性眼球運動算出部）
　反射性眼球運動算出部２４Ｂは、車両を固定座標系とした視対象運動測定結果Ｃ２と頭部運動測定結果Ｄ１を入力として受け付け、対象者の反射性眼球運動の推定結果である反射性眼球運動推定結果Ｅ２を出力する。反射性眼球運動算出部２４Ｂは、視対象運動の方向と同方向かつ頭部運動の方向と逆方向に、車内映像Ａ１における対象者の反射性眼球運動を推定する。車両内の対象者が知覚する視対象の運動は、車両を固定座標系とした視対象運動と頭部運動を組み合わせたものとなる。視界を安定させるために、反射性眼球運動は車両内の対象者が知覚する視対象の運動を打ち消すような動きとなる。そのため反射性眼球運動の推定値は、得られた視対象運動に対して方向が逆転した運動として推定される。頭部運動だけではなく、視対象運動を考慮することにより、対象者が注視している箇所に応じた反射性眼球運動の推定が可能となる。反射性眼球運動算出部２４Ｂは、評価値算出部４０Ｂに接続され、反射性眼球運動推定結果Ｅ２を評価値算出部４０Ｂに出力する。
（眼球運動測定部）
　眼球運動測定部３０は、車内映像Ａ１を入力として受け付け、車両を固定座標系として車内映像Ａ１から対象者の眼球の運動である眼球運動を測定し、測定された対象者の眼球運動の測定結果である眼球運動測定結果Ｆ１を出力する。眼球運動測定部３０は、評価値算出部４０Ｂに接続され、眼球運動測定結果Ｆ１を評価値算出部４０Ｂに出力する。
（評価値算出部）
　評価値算出部４０Ｂは、反射性眼球運動推定結果Ｅ２および眼球運動測定結果Ｆ１を入力として受け付け、反射性眼球運動に関わる評価指標を算出する。評価指標の例には、反射性眼球運動の推定値に対する対象者の眼球運動の絶対値比であるゲイン値、並びに反射性眼球運動の推定値の波形（時系列データ）と対象者の眼球運動の波形（時系列データ）との位相差、残差標準偏差、および周期差が含まれる。評価指標の例はこれらに限られるものでなく、反射性眼球運動の推定値の波形と眼球運動の波形との相関に関する指標であればよい。評価値算出部４０Ｂは、少なくとも１つの指標を算出し、算出された１つの指標または算出された２つ以上の指標の組合せで得られる評価値を、反射性眼球運動評価値Ｇ２として出力する。
　図３は、本開示の実施の形態１及び実施の形態２に関わる反射性眼球運動評価時に考える座標系の違いと、着目する運動を示す図である。図３では、車内映像Ａ１を撮影するカメラとして内向きカメラが、車外映像Ｂ１を撮影するカメラとして外向きカメラが示されている。重力方向を鉛直方向に定めた世界座標系と、車両を固定座標系とした車両座標系とでは、車両自体に振動がある場合には異なる座標系と考えることができる。
　車両に取り付けられたカメラおよび振動を計測するデバイスは、車両に固定されているために車両座標系における測定結果を出力していることになる。
　一方で、車両に乗車している対象者が車外の対象を注視している状態では、対象者から見た視対象の運動は、自車両の振動が発生したことによる視界変動と、車両振動によって頭部運動が発生したことによる視界変動と、視対象自体の運動を合わせた結果として知覚される。車内映像からは、車両座標系における対象者の頭部運動と眼球運動を測定することができる。また車外映像からは、車両の振動による視界変動と、視対象自体の運動とを、車両座標系からみた相対運動として測定することができる。
　本開示の反射性眼球運動評価装置１００Ａまたは１００Ｂは、撮像部１０により撮影された視対象を含む車外映像Ｂ１を受け付けて、対象者の反射性眼球運動を評価する。したがって、反射性眼球運動評価装置１００Ａまたは１００Ｂによれば、車外の他の車両等の移動体の動きが考慮されるので、対象者の反射性眼球運動を正確に評価することができる。
　次に、図４Ａおよび図４Ｂを参照して、反射性眼球運動評価装置１００Ａおよび１００Ｂのハードウェアの構成例について説明する。データ入力部２１（２１Ａ；２１Ｂ）、視対象運動測定部２２（２２Ａ；２２Ｂ）、頭部運動測定部２３、反射性眼球運動算出部２４（２４Ａ；２４Ｂ）、眼球運動測定部３０、評価値算出部４０（４０Ａ；４０Ｂ）、および視線角度算出部５０の各機能は、処理回路（processing　circuitry）により実現される。すなわち、反射性眼球運動評価装置１００Ａおよび１００Ｂは、データ受付け、視対象運動測定、頭部運動測定、反射性眼球運動算出、評価値算出、視線角度算出などの種々の演算を行うための処理回路を備える。処理回路（processing　circuitry）は、図４Ａに示されているような専用の処理回路（processing　circuit）１００ａであっても、図４Ｂに示されているようなメモリ１００ｃに格納されるプログラムを実行するＣＰＵ１００ｂであってもよい。
　処理回路（processing　circuitry）が専用の処理回路１００ａである場合、専用の処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（application　specific　integrated　circuit）、ＦＰＧＡ（field-programmable　gate　array）、またはこれらを組み合わせたものが該当する。データ入力部２１（２１Ａ；２１Ｂ）、視対象運動測定部２２（２２Ａ；２２Ｂ）、頭部運動測定部２３、反射性眼球運動算出部２４（２４Ａ；２４Ｂ）、眼球運動測定部３０、評価値算出部４０（４０Ａ；４０Ｂ）、および視線角度算出部５０の各部の機能を別個の複数の処理回路（processing　circuits）で実現してもよいし、各部の機能をまとめて単一の処理回路（processing　circuit）で実現してもよい。
　処理回路（processing　circuitry）がＣＰＵ１００ｂの場合、データ入力部２１（２１Ａ；２１Ｂ）、視対象運動測定部２２（２２Ａ；２２Ｂ）、頭部運動測定部２３、反射性眼球運動算出部２４（２４Ａ；２４Ｂ）、眼球運動測定部３０、評価値算出部４０（４０Ａ；４０Ｂ）、および視線角度算出部５０の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。ＣＰＵ１００ｂは、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、データ受付けを行うステップ、視対象運動測定を行うステップ、頭部運動測定を行うステップ、反射性眼球運動算出を行うステップ、評価値算出を行うステップ、視線角度算出を行うステップ等のステップが、結果的に実行されることになるプログラムを格納するためのメモリ１００Ｃを備える。また、これらのプログラムは、データ入力部２１（２１Ａ；２１Ｂ）、視対象運動測定部２２（２２Ａ；２２Ｂ）、頭部運動測定部２３、反射性眼球運動算出部２４（２４Ａ；２４Ｂ）、眼球運動測定部３０、評価値算出部４０（４０Ａ；４０Ｂ）、および視線角度算出部５０の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００ｃの例には、ＲＡＭ（random　access　memory）、ＲＯＭ（read-only　memory）、フラッシュメモリ、ＥＰＲＯＭ（erasable　programmable　read　only　memory）、ＥＥＰＲＯＭ（electrically　erasable　programmable　read-only　memory）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤが含まれる。
　なお、データ入力部２１（２１Ａ；２１Ｂ）、視対象運動測定部２２（２２Ａ；２２Ｂ）、頭部運動測定部２３、反射性眼球運動算出部２４（２４Ａ；２４Ｂ）、眼球運動測定部３０、評価値算出部４０（４０Ａ；４０Ｂ）、および視線角度算出部５０の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
（動作）
　次に、図５を参照して、反射性眼球運動評価装置１００Ａおよび１００Ｂの動作について説明する。
　ステップＳＴ１１において、反射性眼球運動推定部２０（２０Ａ；２０Ｂ）は、撮像部１０により撮影される対象者の視対象を含む車外映像Ｂ１および対象者を含む車内映像Ａ１を受け付ける。
　ステップＳＴ１２において、反射性眼球運動推定部２０（２０Ａ；２０Ｂ）は、車外映像Ｂ１から視対象運動を、車内映像Ａ１から対象者の頭部運動を測定して、測定された視対象運動測定結果Ｃ１と頭部運動測定結果Ｄ１から対象者の反射性眼球運動を推定する。
　車外映像Ｂ１から視対象運動を測定する際、視線角度算出部５０が車内映像Ａ１から対象者の視線角度を算出し、反射性眼球運動推定部２０Ｂは算出された視線角度算出結果Ｈ１を視線角度算出部５０から受け付けて、車外映像Ｂ１と視線角度算出結果Ｈ１から視対象運動を測定してもよい。この場合、反射性眼球運動推定部２０Ｂは、視対象運動測定結果Ｃ２と頭部運動測定結果Ｄ１から対象者の反射性眼球運動を推定する。
　ステップＳＴ１３において、眼球運動測定部３０は、車内映像Ａ１から対象者の眼球運動を測定する。
　ステップＳＴ１４において、評価値算出部４０（４０Ａ；４０Ｂ）は、推定された反射性眼球運動推定結果Ｅ１またはＥ２と測定された眼球運動測定結果Ｆ１とから、前記反射性眼球運動の評価値Ｇ１またはＧ２を算出する。
＜付記＞
　以上で説明した実施形態の種々の側面の一部を、以下にてまとめる。
（付記１）
　付記１の反射性眼球運動評価装置は、車両に備えて用いられる反射性眼球運動評価装置（１００Ａ；１００Ｂ）であって、撮像部（１０）により撮影される対象者の視対象を含む車外映像（Ｂ１）および前記対象者を含む車内映像（Ａ１）を受け付けて、前記車外映像から前記車両を固定座標系とした前記対象者の視対象運動を、前記車内映像から前記対象者の頭部運動を測定して、前記対象者の反射性眼球運動を推定する反射性眼球運動推定部（２０Ａ；２０Ｂ）と、前記車内映像から前記対象者の眼球運動を測定する眼球運動測定部（３０）と、推定された反射性眼球運動と測定された眼球運動とから、前記反射性眼球運動の評価値を算出する評価値算出部（４０Ａ；４０Ｂ）と、を備える。
（付記２）
　付記２の反射性眼球運動評価装置は、付記１の反射性眼球運動評価装置であって、前記反射性眼球運動推定部（２０Ａ）は、前記撮像部から入力される前記車内映像および前記車外映像を分配して出力するデータ入力部（２１Ａ）と、前記車外映像から前記視対象運動を測定する視対象運動測定部（２２Ａ）と、前記車内映像から前記頭部運動を測定する頭部運動測定部（２３）と、前記視対象運動および前記頭部運動から前記反射性眼球運動を算出する反射性眼球運動算出部（２４Ａ）と、を備える。
（付記３）
　付記３の反射性眼球運動評価装置は、付記２の反射性眼球運動評価装置であって、前記視対象運動測定部は、前記車外映像の顕著性マップ、前記車外映像のオプティカルフロー、および前記車外映像から一般物体認識により検出される物体位置情報の少なくとも１つを用いて、前記視対象を含む領域を限定し又は前記視対象を特定する。
（付記４）
　付記４の反射性眼球運動評価装置は、付記２の反射性眼球運動評価装置であって、前記反射性眼球運動算出部は、前記視対象運動の方向と同方向かつ前記頭部運動の方向と逆方向に、前記車内映像における前記対象者の前記反射性眼球運動を推定する。
（付記５）
　付記５の反射性眼球運動評価装置（１００Ｂ）は、付記１の反射性眼球運動評価装置であって、前記車内映像から前記対象者の視線角度を算出する視線角度算出部（５０）を更に備える。
（付記６）
　付記６の反射性眼球運動評価装置は、付記５の反射性眼球運動評価装置であって、前記反射性眼球運動推定部は、前記撮像部から入力される前記車内映像および前記車外映像並びに前記視線角度算出部から入力される視線角度を分配して出力するデータ入力部（２１Ｂ）と、前記車外映像および前記視線角度から前記視対象運動を測定する視対象運動測定部（２２Ｂ）と、前記車内映像から前記頭部運動を測定する頭部運動測定部（２３）と、前記視対象運動および前記頭部運動から前記反射性眼球運動を算出する反射性眼球運動算出部（２４Ｂ）と、を備える。
（付記７）
　付記７の反射性眼球運動評価装置は、付記６の反射性眼球運動評価装置であって、前記視対象運動測定部は、前記車外映像の顕著性マップ、前記車外映像のオプティカルフロー、前記車外映像から一般物体認識により検出される物体位置情報、および前記視線角度の少なくとも１つを用いて、前記視対象を含む領域を限定し又は前記視対象を特定する。
（付記８）
　付記８の反射性眼球運動評価装置は、付記６の反射性眼球運動評価装置であって、前記反射性眼球運動算出部は、前記視対象運動の方向と同方向かつ前記頭部運動の方向と逆方向に、前記車内映像における前記対象者の前記反射性眼球運動を推定する。
（付記９）
　付記９の反射性眼球運動評価装置は、付記１から８のいずれか１つの反射性眼球運動評価装置であって、前記評価値算出部は、推定された反射性眼球運動の時系列データと、測定された眼球運動の時系列データとを比較し、２つの時系列データ間のゲイン、位相差、残差標準偏差、および周期差を含む少なくとも１つの指標に関する算出結果の合算値を前記反射性眼球運動の評価値として算出する。
（付記１０）
　付記１０の反射性眼球運動評価システムは、前記撮像部と、付記１から９のいずれか１つの反射性眼球運動評価装置と、を備える。
（付記１１）
　付記１１の反射性眼球運動評価方法は、反射性眼球運動評価装置（１００Ａ；１００Ｂ）による反射性眼球運動評価方法であって、反射性眼球運動推定部（２０）により、撮像部により撮影される対象者の視対象を含む車外映像および前記対象者を含む車内映像を受け付けて、前記車外映像から視対象運動を、前記車内映像から前記対象者の頭部運動を測定して、前記対象者の反射性眼球運動を推定するステップ（ＳＴ１１、ＳＴ１２）と、眼球運動測定部（２３）により、前記車内映像から前記対象者の眼球運動を測定するステップ（ＳＴ１３）と、評価値算出部（４０）により、推定された反射性眼球運動と測定された眼球運動とから、前記反射性眼球運動の評価値を算出するステップ（ＳＴ１４）と、を備える。
　なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。
　本開示の反射性眼球運動評価装置は、車両に搭載されて運転支援システムの一部として用いることができる。
　１０　撮像部、２０　反射性眼球運動推定部、２１（２１Ａ；２１Ｂ）　データ入力部、２２（２２Ａ；２２Ｂ）　視対象運動測定部、２３　頭部運動測定部、２４（２４Ａ；２４Ｂ）　反射性眼球運動算出部、３０　眼球運動測定部、４０（４０Ａ；４０Ｂ）　評価値算出部、５０　視線角度算出部、１００（１００Ａ；１００Ｂ）　反射性眼球運動評価装置、Ａ１　車内映像、Ｂ１　車外映像、Ｃ１　視対象運動測定結果、Ｄ１　頭部運動測定結果、Ｅ１　反射性眼球運動推定結果、Ｆ１　眼球運動測定結果、Ｇ１　反射性眼球運動評価値、Ｈ１　視線角度算出結果、Ｃ２　視対象運動測定結果、Ｅ２　反射性眼球運動推定結果、Ｇ２　反射性眼球運動評価値。

Claims (11)

  1. 　車両に備えて用いられる反射性眼球運動評価装置であって、
    　撮像部により撮影される対象者の視対象を含む車外映像および前記対象者を含む車内映像を受け付けて、前記車外映像から前記車両を固定座標系とした前記対象者の視対象運動を、前記車内映像から前記対象者の頭部運動を測定して、前記対象者の反射性眼球運動を推定する反射性眼球運動推定部と、
    　前記車内映像から前記対象者の眼球運動を測定する眼球運動測定部と、
    　推定された反射性眼球運動と測定された眼球運動とから、前記反射性眼球運動の評価値を算出する評価値算出部と、
    を備える、反射性眼球運動評価装置。
  2. 　前記反射性眼球運動推定部は、
    　前記撮像部から入力される前記車内映像および前記車外映像を分配して出力するデータ入力部と、
    　前記車外映像から前記視対象運動を測定する視対象運動測定部と、
    　前記車内映像から前記頭部運動を測定する頭部運動測定部と、
    　前記視対象運動および前記頭部運動から前記反射性眼球運動を算出する反射性眼球運動算出部と、
    を備える、
    請求項１に記載の反射性眼球運動評価装置。
  3. 　前記視対象運動測定部は、前記車外映像の顕著性マップ、前記車外映像のオプティカルフロー、および前記車外映像から一般物体認識により検出される物体位置情報の少なくとも１つを用いて、前記視対象を含む領域を限定し又は前記視対象を特定する、
    請求項２に記載の反射性眼球運動評価装置。
  4. 　前記反射性眼球運動算出部は、前記視対象運動の方向と同方向かつ前記頭部運動の方向と逆方向に、前記車内映像における前記対象者の前記反射性眼球運動を推定する、
    請求項２に記載の反射性眼球運動評価装置。
  5. 　前記車内映像から前記対象者の視線角度を算出する視線角度算出部を更に備える、
    請求項１に記載の反射性眼球運動評価装置。
  6. 　前記反射性眼球運動推定部は、
    　前記撮像部から入力される前記車内映像および前記車外映像並びに前記視線角度算出部から入力される視線角度を分配して出力するデータ入力部と、
    　前記車外映像および前記視線角度から前記視対象運動を測定する視対象運動測定部と、
    　前記車内映像から前記頭部運動を測定する頭部運動測定部と、
    　前記視対象運動および前記頭部運動から前記反射性眼球運動を算出する反射性眼球運動算出部と、
    を備える、
    請求項５に記載の反射性眼球運動評価装置。
  7. 　前記視対象運動測定部は、前記車外映像の顕著性マップ、前記車外映像のオプティカルフロー、前記車外映像から一般物体認識により検出される物体位置情報、および前記視線角度の少なくとも１つを用いて、前記視対象を含む領域を限定し又は前記視対象を特定する、
    請求項６に記載の反射性眼球運動評価装置。
  8. 　前記反射性眼球運動算出部は、前記視対象運動の方向と同方向かつ前記頭部運動の方向と逆方向に、前記車内映像における前記対象者の前記反射性眼球運動を推定する、
    請求項６に記載の反射性眼球運動評価装置。
  9. 　前記評価値算出部は、推定された反射性眼球運動の時系列データと、測定された眼球運動の時系列データとを比較し、２つの時系列データ間のゲイン、位相差、残差標準偏差、および周期差を含む少なくとも１つの指標に関する算出結果の合算値を前記反射性眼球運動の評価値として算出する、
    請求項１に記載の反射性眼球運動評価装置。
  10. 　前記撮像部と、
    　請求項１から９のいずれか１項に記載の反射性眼球運動評価装置と、
    を備える、反射性眼球運動評価システム。
  11. 　反射性眼球運動推定部により、撮像部により撮影される対象者の視対象を含む車外映像および前記対象者を含む車内映像を受け付けて、前記車外映像から視対象運動を、前記車内映像から前記対象者の頭部運動を測定して、前記対象者の反射性眼球運動を推定するステップと、
    　眼球運動測定部により、前記車内映像から前記対象者の眼球運動を測定するステップと、
    　評価値算出部により、推定された反射性眼球運動と測定された眼球運動とから、前記反射性眼球運動の評価値を算出するステップと、
    を備える、反射性眼球運動評価装置による反射性眼球運動評価方法。
PCT/JP2021/017437 2021-05-07 2021-05-07 反射性眼球運動評価装置、反射性眼球運動評価システム、および反射性眼球運動評価方法 WO2022234632A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/017437 WO2022234632A1 (ja) 2021-05-07 2021-05-07 反射性眼球運動評価装置、反射性眼球運動評価システム、および反射性眼球運動評価方法
DE112021007613.2T DE112021007613T5 (de) 2021-05-07 2021-05-07 Reflexaugenbewegungs-auswertungseinrichtung, reflexaugenbewegungs-auswertungssystem und reflexaugenbewegungs-auswertungsverfahren
JP2023518565A JP7466766B2 (ja) 2021-05-07 2021-05-07 反射性眼球運動評価装置、反射性眼球運動評価システム、および反射性眼球運動評価方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/017437 WO2022234632A1 (ja) 2021-05-07 2021-05-07 反射性眼球運動評価装置、反射性眼球運動評価システム、および反射性眼球運動評価方法

Publications (1)

Publication Number Publication Date
WO2022234632A1 true WO2022234632A1 (ja) 2022-11-10

Family

ID=83932668

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017437 WO2022234632A1 (ja) 2021-05-07 2021-05-07 反射性眼球運動評価装置、反射性眼球運動評価システム、および反射性眼球運動評価方法

Country Status (3)

Country Link
JP (1) JP7466766B2 (ja)
DE (1) DE112021007613T5 (ja)
WO (1) WO2022234632A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008079737A (ja) * 2006-09-26 2008-04-10 Toyota Motor Corp 集中度評価装置及びこれを用いた車両用表示装置
WO2018070330A1 (ja) * 2016-10-11 2018-04-19 三菱電機株式会社 乗り物酔い推定装置、乗り物酔い防止装置および乗り物酔い推定方法
JP2019154929A (ja) * 2018-03-15 2019-09-19 オムロン株式会社 算出システム、指標算出方法、およびコンピュータプログラム
JP2019195377A (ja) * 2018-05-07 2019-11-14 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP2021053240A (ja) * 2019-09-30 2021-04-08 トヨタ紡織株式会社 眠気又は覚醒レベル評価装置及び評価プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008079737A (ja) * 2006-09-26 2008-04-10 Toyota Motor Corp 集中度評価装置及びこれを用いた車両用表示装置
WO2018070330A1 (ja) * 2016-10-11 2018-04-19 三菱電機株式会社 乗り物酔い推定装置、乗り物酔い防止装置および乗り物酔い推定方法
JP2019154929A (ja) * 2018-03-15 2019-09-19 オムロン株式会社 算出システム、指標算出方法、およびコンピュータプログラム
JP2019195377A (ja) * 2018-05-07 2019-11-14 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP2021053240A (ja) * 2019-09-30 2021-04-08 トヨタ紡織株式会社 眠気又は覚醒レベル評価装置及び評価プログラム

Also Published As

Publication number Publication date
JPWO2022234632A1 (ja) 2022-11-10
DE112021007613T5 (de) 2024-02-29
JP7466766B2 (ja) 2024-04-12

Similar Documents

Publication Publication Date Title
US10496163B2 (en) Eye and head tracking
JP6374107B2 (ja) アイトラッキングシステムのための改良されたキャリブレーション
US8649583B2 (en) Pupil detection device and pupil detection method
US20140300746A1 (en) Image analysis method, camera apparatus, control apparatus, control method and storage medium
JP2019083004A (ja) オブジェクトトラッキング方法及び装置
García et al. Driver monitoring based on low-cost 3-D sensors
EP2704056A2 (en) Image processing apparatus, image processing method
JPWO2018154709A1 (ja) 動作学習装置、技能判別装置および技能判別システム
WO2019135281A1 (ja) 視線方向較正装置、視線方向較正方法および視線方向較正プログラム
WO2019068699A1 (en) METHOD FOR CLASSIFYING AN OBJECT POINT AS STATIC OR DYNAMIC, DRIVER ASSISTANCE SYSTEM, AND MOTOR VEHICLE
WO2019024350A1 (zh) 生物特征识别方法及装置
JP5719216B2 (ja) 視線測定装置および視線測定プログラム
WO2022234632A1 (ja) 反射性眼球運動評価装置、反射性眼球運動評価システム、および反射性眼球運動評価方法
JPWO2015198592A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20230300290A1 (en) Information display system, information display method, and non-transitory recording medium
KR20160068281A (ko) 객체 인식 방법
JP4676375B2 (ja) 車両運転者の視線方向の検出方法又は同装置
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
JP7040627B2 (ja) 算出装置、情報処理方法およびプログラム
JP6847323B2 (ja) 視線検出装置および視線検出方法
CN110895675B (zh) 用于确定3d空间中的对象的特征点的坐标的方法
JP6024639B2 (ja) 視線位置検出装置、および視線位置検出方法
KR20190143287A (ko) 홍채와 촬영 장치간 거리 예측 방법 및 이를 수행하기 위한 단말
JP7450715B2 (ja) 運転不能判定装置および運転不能判定方法
JP2019101520A (ja) 視認対象検知装置、視認対象検知方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21939825

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023518565

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18288574

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112021007613

Country of ref document: DE