WO2019176492A1 - 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体 - Google Patents

算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体 Download PDF

Info

Publication number
WO2019176492A1
WO2019176492A1 PCT/JP2019/006511 JP2019006511W WO2019176492A1 WO 2019176492 A1 WO2019176492 A1 WO 2019176492A1 JP 2019006511 W JP2019006511 W JP 2019006511W WO 2019176492 A1 WO2019176492 A1 WO 2019176492A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving body
calculation
person
unit
movement
Prior art date
Application number
PCT/JP2019/006511
Other languages
English (en)
French (fr)
Inventor
倭 竹内
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2019176492A1 publication Critical patent/WO2019176492A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a calculation system, an information processing apparatus, a driving support system, an index calculation method, a computer program, and a storage medium.
  • a driver's head movement or eye movement is detected from a driver's face image captured by a camera, and the driver's head movement or eye movement is detected based on the detected driver's head movement or eye movement.
  • Techniques relating to various driving assistances or interventions for detecting a decrease in arousal level and issuing a warning or arousing driving attention are disclosed.
  • a driver's blinking time is detected, and a blinking reference time unique to the driver at the time of awakening is increased by a predetermined ratio to evaluate a long blink.
  • a long blink is detected according to the blink evaluation time, and the occurrence ratio is determined from the total number of blinks within a predetermined time and the number of long blinks, and regression using a sleepiness prediction model is performed.
  • a technique for evaluating a driver's arousal level according to a prediction formula obtained by analysis is disclosed.
  • a drowsiness sign detection device head movement is detected by head movement detection means, eye movement is detected by eye movement detection means, and an ideal eye movement angular velocity calculation unit is used to detect the head movement.
  • the ideal eye movement angular velocity is calculated based on the movement data
  • the eye rotation angular velocity calculation unit calculates the eye rotation angular speed based on the eye movement data
  • the drowsiness sign determination means calculates the vestibular moving eye from the ideal eye movement angular velocity and the eye rotation angular velocity.
  • a technique is disclosed in which reflection is detected and a sign of sleepiness before a driver of a vehicle, an operator of a machine, etc. is aware of sleepiness based on this vestibulo-oculomotor reflection is disclosed.
  • VOR Vestibulo-Ocular Reflex
  • Patent Document 2 describes an experimental example using a driving simulator system that simulates driving of a car, and allows a subject to report introspection about sleepiness, gain of vestibular oculomotor reflex (VOR gain), residual standard It is described that a sign of sleepiness was determined from a change in deviation (SDres).
  • the imaging device when the imaging device is attached to the inside of the moving body, only driver information in the coordinate system (moving body coordinate system) within the moving body can be obtained.
  • the eye movement of the driver who is driving the moving body is a movement belonging to the absolute coordinate system when the driver is gazing at the front outside the vehicle. For this reason, it is difficult to accurately calculate the vestibulo-oculomotor reflex if head movement cannot be detected in the absolute coordinate system.
  • the photographing apparatus is attached to the inside of the moving body, only driver information in the moving body coordinate system can be obtained. For this reason, there is a problem that it is extremely difficult to detect information about awakening of a driver who is getting on and actually traveling with high accuracy.
  • the present invention has been made in view of the above problems, and a calculation system, an information processing apparatus, a driving support system, and an index calculation that can obtain information on a person's arousal level with higher accuracy in a moving moving object. It is an exemplary object to provide a method, a computer program, and a storage medium.
  • the calculation system (1) includes: An imaging unit for photographing the face of a person in a moving body; A sensor for measuring movement data of the moving body; A first calculation unit that calculates an eye movement of the person using an image of a face imaged by the imaging unit; A second calculation unit that calculates head movement of the person using movement data of the moving body measured by the sensor and a face image taken by the imaging unit; It is characterized by having.
  • an image of the face of the person in the moving body is captured by the imaging unit, movement data of the moving body is measured by the sensor, and the person is measured by the first calculation unit.
  • the eye movement of the person is calculated based on the face image.
  • the second calculation unit calculates the head movement of the person based on the movement data of the moving body and the face image. Therefore, the head movement considering the movement of the moving body is calculated. For this reason, even when at least the imaging unit and the sensor are arranged on the moving body and the moving body is moving, accurate information on the head movement with respect to the absolute coordinate system can be obtained.
  • the calculation system (2) is the above calculation system (1), Further, a third index for calculating an index related to the awakening of the person in the moving body is obtained using the eye movement calculated by the first calculation unit and the head movement calculated by the second calculation unit. It is characterized by having a calculation unit.
  • the imaging unit and the sensor are installed on a moving body, and further provided with the third calculation unit, whereby the imaging unit and the sensor are provided on the driver's head. Even if it is not worn, it is possible to calculate with high accuracy an index relating to the awakening of the person in the moving body based on the information on the head movement considering the movement of the moving body.
  • the calculation system (3) is the above calculation system (2), A first determination unit that determines whether or not the person is in a first state of gazing at an external gazing point of the moving body, using a face image captured by the imaging unit;
  • the third calculation unit is characterized in that the index is calculated using eye movement and head movement when the first determination unit determines that the state is the first state.
  • the calculation system (3) performs the calculation of the awakening index when the person is watching the gaze point outside the moving body. According to the calculation system (3), a high-accuracy index relating to arousal is obtained by calculating an index relating to the driver's arousal based on information about head movement and eye movement when the user is gazing outside the vehicle. Can do. As an index relating to awakening in a state of gazing outside the vehicle, for example, various values relating to VOR (vestibulo-ocular reflex) can be cited.
  • VOR vestibulo-ocular reflex
  • the calculation system (4) includes either the calculation system (2) or (3), A second discriminating unit that discriminates whether or not the eyeball and the head are moving in the same direction using the face image taken by the imaging unit;
  • the third calculation unit includes the eye movement and the head in the second state among the eye movement calculated by the first calculation unit and the head movement calculated by the second calculation unit.
  • the index is calculated by excluding exercise.
  • the calculation system (5) includes any one of the calculation systems (2) to (4) described above.
  • the wakefulness index is at least one of the gain of vestibular ocular reflex, the phase difference between the angular velocity of the head and the angular velocity of the eyeball, and the residual standard deviation of the vestibular ocular reflex, or two or more of these values It is a calculation value based on the value of.
  • the calculation system (6) includes any one of the calculation systems (2) to (5) described above.
  • the head movement is Facial motion information based on a facial image captured by the imaging unit; By adding the corresponding values of the movement information of the moving body measured by the sensor, It is calculated as a value of an absolute coordinate system outside the moving body.
  • the calculation system (6) converts the head movement into a value in the absolute coordinate system by adding corresponding values. By adding each value of the motion information of the face and each value of the motion information of the moving body itself, the motion information of the face in the absolute coordinate system can be obtained. As a result, it is possible to calculate an index related to awakening with higher accuracy.
  • the information processing apparatus (1) is: An information processing apparatus constituting any one of the calculation systems (1) to (6), A first calculation unit that calculates an eye movement of a person using an image of a face imaged by an imaging unit installed on a moving body; A second calculation unit that calculates head movement of the person using movement data of the moving body measured by a sensor installed on the moving body and a face image captured by the imaging unit; , It is characterized by having.
  • the information processing apparatus (1) captures an image of a person's face using an imaging unit installed on a moving body, and calculates the eye movement of the person based on the captured image of the face. Further, the movement data of the moving body is measured by a sensor installed on the moving body, and the head movement of the person is calculated based on the measured movement data of the moving body and the face image. Since the second calculation unit calculates the head movement based on the movement data and the face image of the moving body, the head movement is set as an absolute coordinate system outside the moving body regardless of the movement state of the moving body. Obtainable. As a result, it is possible to more accurately calculate information related to the awakening of the driver in the moving body.
  • the driving support system (1) includes the information processing device (1), the eye movement calculated by the first calculation unit, and the head calculated by the second calculation unit. And a control means for controlling the moving body using motion.
  • the driving support system (1) it is possible to provide a system capable of accurately calculating information related to the awakening of the driver in the moving body.
  • the index calculation method (1) relating to awakening includes: A method for calculating an index related to awakening of a person in a moving body, An imaging step of capturing an image of the face of the person in the moving body by an imaging unit installed in the moving body; A measurement step of measuring motion data of the moving body being moved by a sensor installed on the moving body; A first calculation step of calculating an eye movement of the person in the moving body using an image of the face imaged in the imaging step; The head motion of the person in the moving body is calculated as an absolute coordinate system value using the face image captured in the imaging step and the motion data of the moving body measured in the measuring step. A second calculation step; Third calculation step for calculating an index relating to the awakening of the person in the moving body using the eye movement calculated in the first calculation step and the head movement calculated in the second calculation step. When, It is characterized by having.
  • the head movement can be obtained as an absolute coordinate system outside the moving body regardless of the moving state of the moving body.
  • the third calculation step it is possible to more accurately calculate an index relating to the driver's arousal in the moving body.
  • the computer program (1) for calculating an index relating to awakening is: A computer program for causing at least one computer to execute an index calculation process related to awakening of a person in a moving body, Said at least one computer, An imaging step of capturing an image of the face of the person in the moving body by an imaging unit installed in the moving body; A measurement step of measuring motion data of the moving body being moved by a sensor installed on the moving body; A first calculation step of calculating an eye movement of the person in the moving body using an image of the face imaged in the imaging step; The head motion of the person in the moving body is calculated as an absolute coordinate system value using the face image captured in the imaging step and the motion data of the moving body measured in the measuring step. A second calculation step; Third calculation step for calculating an index relating to the awakening of the person in the moving body using the eye movement calculated in the first calculation step and the head movement calculated in the second calculation step. When, It is characterized by executing.
  • the head movement can be acquired as an absolute coordinate system outside the moving body regardless of the moving state of the moving body.
  • the computer it is possible to cause the computer to calculate the index relating to the driver's arousal in the moving body more accurately.
  • the computer-readable storage medium (1) includes A computer-readable storage medium storing a computer program for causing at least one computer to execute an index calculation process related to awakening of a person in a moving body, Said at least one computer, An imaging step of capturing an image of the face of the person in the moving body by an imaging unit installed in the moving body; A measurement step of measuring motion data of the moving body being moved by a sensor installed on the moving body; A first calculation step of calculating an eye movement of the person in the moving body using an image of the face imaged in the imaging step; The head motion of the person in the moving body is calculated as an absolute coordinate system value using the face image captured in the imaging step and the motion data of the moving body measured in the measuring step. A second calculation step; Third calculation step for calculating an index relating to the awakening of the person in the moving body using the eye movement calculated in the first calculation step and the head movement calculated in the second calculation step.
  • a computer program for executing When, It is characterized by memorizing a program for executing.
  • the head movement is performed regardless of the movement state of the moving body. It can be acquired as an absolute coordinate system outside the moving body. As a result, in the third calculation step, it is possible to cause the computer to calculate the index relating to the driver's arousal in the moving body more accurately.
  • FIG. 1 is a schematic plan view illustrating an example in which a calculation system including an information processing apparatus according to an embodiment is applied to a moving body M
  • FIG. 2 is a schematic perspective view illustrating a calculation system mounted on the moving body M. It is.
  • the moving body M is a vehicle that carries a person and has a visual recognition part (for example, a windshield) that allows the outside to be seen through.
  • the moving body M is provided with a seating portion (for example, a driver's seat) for the driver D to sit, and the driver D is seated on the seating portion of the moving moving body M via the visual recognition unit.
  • An arbitrary gazing point P outside the moving body M can be visually recognized. The gazing point P may actually be farther from the moving body M than the illustrated position.
  • the driver D sits on the seat with the upper body including the head DH facing the viewing portion, and the pupil 101 (FIG. 3) of the eyeball is the point of sight P at the tip of the viewing portion. Facing the direction.
  • the gazing point P for example, the tail portion of the vehicle ahead, or a distant road sign arranged around the road shown in FIG.
  • the road sign shown in FIG. 1 is stationary in an absolute coordinate system outside the moving body M. 2 indicates one facial organ point of the face for calculating the orientation of the person's face.
  • the information processing apparatus 10 (FIG. 4) prepares a face model composed of a large number of facial organ point information, and estimates the facial orientation from the positional information of a plurality of organ points. The amount of movement of the face can be calculated from the amount of change in the direction of the face.
  • the line-of-sight vector of the driver D includes the position of the pupil center 11 ⁇ / b> A in the image portion of the eyeball, and the reflection position of the irradiation light (corneal reflection image 121 in the eyeball image portion). ) And can be specified by. It is also possible to calculate the movement (eye movement) by differentiating the line-of-sight vector. The eye movement can also be calculated from the movement of the pupil 101 in the image portion of the eyeball.
  • the irradiation light is invisible light, and in the case of invisible light, the image captured by the camera 11 is an image of a person based on reflected light of the invisible light.
  • the calculation system 1 includes a camera 11 as an imaging unit that captures the face of a driver D who is a person in the moving body M, an information processing apparatus 10 that performs various types of information processing, and a moving body.
  • a gyro sensor 2 that measures M motion data is included.
  • the calculation system 1 includes the camera 11, the information processing apparatus 10, and the gyro sensor 2, and can be regarded as constituting a part of a so-called driver monitoring system.
  • the calculation system 1 can also be expressed by a functional configuration block as shown in FIG.
  • a first calculation unit 31 that calculates an eye movement of the person using an image of a face photographed by the camera 11;
  • a second calculation unit 32 that calculates the head movement of the person relative to the absolute coordinate system using the movement data of the moving body M measured by the gyro sensor 2 and the face image captured by the camera 11;
  • a third calculation unit that calculates an index related to the awakening of the person in the moving body M using the eye movement calculated by the first calculation unit 31 and the head movement calculated by the second calculation unit 32.
  • the calculation system 1 is equipped with a camera 11 as an imaging unit that captures an image including a person's head at predetermined time intervals, and an irradiation unit 3 that irradiates the eyeball of the driver D with irradiation light.
  • the device 10 is built in.
  • the calculation system 1 is, for example, fixed at a position in the moving body M and facing the driver D (FIG. 1).
  • the camera 11 as the imaging unit includes, for example, a lens unit, an imaging element unit, an interface unit, and a control unit that controls these units (not shown).
  • the image sensor unit includes an image sensor such as a CCD (Charge-Coupled Device) and a CMOS (Complementary Metal-Oxide Semiconductor), a filter, a microlens, and the like.
  • the image sensor section includes a sensor that can form a captured image by receiving light in the visible region, and can also include a sensor such as a CCD, CMOS, or photodiode that can form a captured image by receiving ultraviolet light, infrared light, or near infrared light. Good.
  • the camera 11 photographs the driver D.
  • the head movement of the driver D in the moving body M can be measured by the image taken by the camera 11. Further, the image taken by the camera 11 has a resolution that can specify the direction of the eyeball and line of sight of the person in the image, and the eyeball movement of the driver D can be calculated.
  • the number of cameras 11 may be one as shown in FIG. 2, and in a modified configuration example described later, the camera 11 is constituted by two or more cameras including the auxiliary camera 4 as shown in FIG. 11.
  • the camera 11 may be a monocular camera or a stereo camera.
  • the camera 11 captures an image at a predetermined frame rate (for example, 30 to 60 frames per second), and data of the image captured by the camera 11 is output to the information processing apparatus 10.
  • the gyro sensor 2 acquires motion information associated with the movement of the moving body M.
  • the gyro sensor 2 shown in FIG. 2 is a three-dimensional gyro sensor, and is fixed to the calculation system 1 fixed to the front part of the moving body M (FIG. 1).
  • the measured motion information is the rotational momentum of the moving body M with respect to the external absolute coordinate system.
  • the rotation amount around each axis of the XYZ axes that are three-dimensionally orthogonal to each other, and the rotation angular velocities of the roll, pitch, and yaw per unit time are acquired.
  • the gyro sensor 2 may be installed on the moving body M without unnecessarily swinging, and the installation position on the moving body M is not particularly limited.
  • the irradiation unit 3 includes a light emitting element such as an LED (Light Emitting Diode), and an infrared LED, a near infrared LED, or the like is employed so that the state of the driver can be photographed regardless of day or night.
  • the irradiating unit 3 irradiates irradiation light from a predetermined position in the moving body M toward a driver seat where a person is present. By irradiating the irradiation light in a certain direction, a point on the eyeball in a certain direction is reflected as a cornea reflection image 121.
  • the cornea reflection image 121 is formed at a point where the distance from the fixed position of the irradiation unit 3 to the human eyeball is the shortest distance. Moreover, when irradiation light is a non-visible light ray, it does not disturb the movement of a person's eyes
  • An image photographed by the camera 11 is an image including a corneal reflection image 121.
  • FIG. 4 is a block diagram illustrating a functional configuration example of the calculation system 1 including the information processing apparatus 10 according to the embodiment.
  • the information processing apparatus 10 includes an input / output interface (I / F) 110, a control unit 12, and a storage unit 13.
  • the camera 11, the gyro sensor 2, the irradiation unit 3, the operation control device 30, the notification device 37, and the like are connected to the input / output I / F 110, and the input / output I / F 110 receives signals from these external devices. It is configured to include an interface circuit, a connection connector, etc. for performing exchanges.
  • the operation control device 30 can control the moving body M based on various information supplied from the information processing device 10. For example, the operation control device 30 may control the operation of the moving body M, or may control the output from a speaker or a display provided on the moving body M.
  • the control unit 12 includes an image acquisition unit 12a, a detection unit 12b, an information acquisition unit 12c, a first determination unit 12d, a second determination unit 12e, and a reference determination unit 12f, and further includes a calculation unit 12g and a processing unit. 12h, the reference changing unit 12i, and the like may be included.
  • the control unit 12 includes, for example, a CPU (Central Processing Unit), a memory, an image processing circuit, and the like. By reading a predetermined control program stored in the storage unit 13 and the like, the CPU executes interpretation and execution. That work is realized.
  • a CPU Central Processing Unit
  • the control unit 12 controls the imaging device unit and the irradiation unit 3 to irradiate light (for example, near infrared rays) from the irradiation unit 3 and controls the imaging device unit to photograph the reflected light.
  • the control unit 12 includes one or more hardware processors such as a CPU and a graphics processing unit (GPU).
  • the storage unit 13 includes an image storage unit 13a, a face orientation storage unit 13b, a parameter storage unit 13c, a reference storage unit 13d, and a program storage unit 13e.
  • the storage unit 13 stores data by a semiconductor element such as Random Access Memory (RAM), Read Only Memory (ROM), hard disk drive (HDD), solid state drive (SSD), flash memory, other nonvolatile memory or volatile memory. It is comprised with one or more memory
  • the control unit 12 may include a RAM and a ROM.
  • the image of the driver D acquired from the camera 11 by the image acquisition unit 12a is stored in the image storage unit 13a.
  • the face direction storage unit 13b information on the face direction and movement amount of the driver D of each image detected by the detection unit 12b is stored in association with each image stored in the image storage unit 13a.
  • the parameter storage unit 13c stores various parameters used for determination by the second determination unit 12e, such as a face direction threshold value and a movement amount threshold value.
  • the reference storage unit 13d stores information related to the reference of the face direction of the driver D determined by the reference determination unit 12f, for example, a value indicating the reference (reference value).
  • the program storage unit 13e stores an information processing program executed by each unit of the control unit 12, data necessary for executing the program, and the like.
  • the information processing apparatus 10 is built in the calculation system 1 mounted on the moving body M, and can acquire various types of information related to the traveling state of the moving body M from an in-vehicle device (not shown). Is configured to output.
  • the information processing apparatus 10 calculates a face model composed of a large number of facial organ point information in order to calculate the face orientation. Prepare the face direction from the position information of multiple organ points. The amount of movement of the face can be calculated from the amount of change in the direction of the face.
  • the information processing apparatus 10 as one of information processing for grasping the state of the driver D in the moving body M is an eyeball on at least one side of the driver D that serves as a reference for the direction of the eyeball of the driver D.
  • a process of grasping the pupil included in the eyeball and grasping the amount of movement of the pupil in the eyeball is also executed, and the eye movement can be detected.
  • the head movement of the driver D includes a pitch angle that is an angle (vertical direction) around the X axis (left and right axis) of the driver D, a Y of the face, At least one of the yaw (Yaw) angle that is an angle around the axis (vertical axis) (left-right orientation) and the roll angle that is an angle (left-right tilt) around the Z axis (front-rear axis) of the face is include.
  • the motion information of the moving body M may include vehicle speed information or steering information acquired from, for example, in-vehicle devices connected by CAN (Controller Area Network) in addition to the speed information of each three-dimensional axis of the moving body M. Good.
  • vehicle speed information or steering information acquired from, for example, in-vehicle devices connected by CAN (Controller Area Network) in addition to the speed information of each three-dimensional axis of the moving body M. Good.
  • the exercise information includes information acquired from the in-vehicle device, it is possible to determine whether the vehicle is in a specific running state based on the acquired information.
  • Examples of the specific traveling state include a traveling state in which the vehicle speed of the moving body M is in a predetermined vehicle speed range and is in a non-steering state, in other words, a traveling state in which the moving body M is traveling straight.
  • Such a running state can be said to be a state suitable for calculating an index related to the awakening of the driver D.
  • the information processing apparatus 10 detects the head DH of the driver D based on the image taken by the camera 11 and further uses the head movement reference of the head DH. A process for detecting a certain facial organ point DO is executed.
  • the facial organ point DO information for example, a value obtained by combining the positional information of the facial organ point DO and the orientation information of the facial organ point DO is used.
  • the position information of the facial organ point DO for example, a combination of values of the width position Xd, the height position Yd, and the front and rear position Zd indicating the three-dimensional axial position of the face of the driver D is used.
  • the orientation information of the facial organ point DO includes, for example, a pitch Pd that is a rotation angle around the X axis among three-dimensional axes, a yaw Yd that is a rotation angle around the Y axis, and a rotation angle around the Z axis.
  • a combination of values consisting of the roll Rd is used.
  • a combination of values such as the mode value can be used as movement information of the facial organ point DO.
  • the information processing apparatus 10 acquires an image photographed by the camera 11, calculates the head movement of the driver D from the acquired image, and acquires movement information of the moving body M. And the 1st determination part 12d of the information processing apparatus 10 determines whether the driver
  • the first determination unit 12d of the information processing device 10 corrects the amount of change in the head movement of the driver D in the moving body M according to the movement information of the moving body M itself, and then sets a preset threshold value. It is good also as what discriminate
  • the control unit 12 performs a process of storing various data in the storage unit 13.
  • the control unit 12 reads various data and various programs stored in the storage unit 13 and executes these programs.
  • the control unit 12 cooperates with the storage unit 13 to operate the image acquisition unit 12a, the detection unit 12b, the information acquisition unit 12c, the first determination unit 12d, the second determination unit 12e, and the reference determination unit 12f,
  • the operations of the calculation unit 12g, the processing unit 12h, and the reference changing unit 12i are realized.
  • the image acquisition unit 12a performs a process of acquiring an image of the driver D photographed at a predetermined frame rate from the camera 11, and performs a process of storing the image acquired from the camera 11 in the image storage unit 13a.
  • the detection unit 12b reads the image stored in the image storage unit 13a every frame or every frame at a predetermined interval, performs a process of detecting the head DH of the driver D from these images, and detects the detected driver D
  • the movement information of the head DH is stored in the face direction storage unit 13b in association with the image.
  • the movement information of the head DH of the driver D includes an angle indicating the direction of the face of the driver D detected by the image processing, for example, at least one of the above yaw angle, pitch angle, and roll angle. Contains information. Further, the movement information of the head D of the driver D includes position information related to the facial organ points DO such as the eyes, the base of the nose, the tip of the nose, the mouth, the eyebrows, and the top of the head. For example, the facial organ point DO is identified by image processing as a feature point indicating a representative or characteristic position of each organ of the face, and is detected as a reference point for head movement.
  • the information acquisition unit 12c performs a process of acquiring exercise information of the moving body M via the operation control device 30, and outputs the acquired information to the first determination unit 12d.
  • the process of the information acquisition unit 12c and the image acquisition unit 12a is not necessarily limited. For example, each of these treatments may be performed in parallel. In addition, you may make it the information acquisition part 12c acquire the said information from each part of a vehicle-mounted system (not shown) not via the operation control apparatus 30.
  • the motion information of the moving body M includes at least the rotational angular velocity detected by the gyro sensor 2.
  • the information acquisition unit 12c may acquire acceleration / deceleration information of the moving body M, inclination information of the moving body M, and the like.
  • the information acquisition unit 12c may acquire the position information of the moving body M and the map information around the moving body M. These pieces of information include, for example, the vehicle position determined by the navigation device and map information around the vehicle position.
  • the information acquisition unit 12c may acquire information related to monitoring objects such as other moving objects and people existing around the moving object M, particularly in the traveling direction.
  • information includes, for example, information on the type of object and the distance to the object detected by the periphery monitoring sensor.
  • the first determination unit 12d determines whether or not the condition of the first state regarding the driver D is satisfied.
  • the first determination unit 12d uses the face image captured by the camera 11 to determine whether or not the first state is based on the line-of-sight vector.
  • the determination result is output as a binary signal from the first determination unit 12d to the second determination unit 12e, for example.
  • the first determination unit 12d is an example of a first determination unit according to the present disclosure.
  • the second determination unit 12e determines whether or not the current state is not suitable for calculating VOR information described later.
  • a state where the movement direction of the eyeball and the movement direction of the face are the same direction is referred to as a state unsuitable for calculation of VOR information, and this is also referred to as a “second state”.
  • the second determination unit 12e uses the face image captured by the camera 11 to determine whether or not the eye movement direction and the face movement direction are the same direction, thereby determining whether or not the second state is established. Can be determined.
  • the determination result is output as a binary signal from the second determination unit 12e to the reference determination unit 12f, for example.
  • the second determination unit 12e is an example of a second determination unit according to the present disclosure.
  • the reference determination unit 12f analyzes the image element ID 20 (FIG. 6) including the head DH of the driver D when the driver D is determined to be in the first state and the second state. Further, the image element ID 10 (FIG. 6) of the eyeball included in the head DH of the driver D is extracted by image analysis. Based on the image element ID 10 of the eyeball, processing for specifying the position and orientation of the pupil 101 is performed. Then, based on the change in the positional information and orientation information of the facial organ point DO of each image taken continuously, the process of determining the “eye movement” of the driver D is performed, and the determined head movement is used as the reference storage unit. Store in 13d.
  • the change in the direction of the face of the driver D and the direction of the line of sight determined by the second determination unit 12e is not the same direction, “a non-codirectional movement state (that is, the second state)” It is determined whether or not a state that can be estimated to be present continues for a predetermined period or longer. That is, the second determination unit 12e gives a determination result indicating that the vehicle is in the “non-coaxial motion state” for each frame of the captured image, and whether or not the determination result has continued for a predetermined number of frames or not. Is determined.
  • the reference determination unit 12f displays the eyeball of the driver D corresponding to the image acquired in the predetermined period from the face orientation storage unit 13b (the embodiment of FIG. 3). Then, the image element ID 10 of the left eye that becomes the facial organ point DO) is read out, and the eye movement of the driver D is determined from the image element ID 10 of the eyeball of each frame read out continuously or intermittently.
  • the eye movement is information related to the position of the pupil 101 in the eyeball, for example, it can be obtained by specifying the movement of the pupil 101 in the image element of the eyeball based on the image element of the eyeball photographed by the camera 11. it can. By specifying the change in the position information of the pupil 101, the eye movement of the driver D is determined.
  • VOR information VOR information
  • the above-described detection unit 12b, information acquisition unit 12c, first determination unit 12d, second determination unit 12e, reference determination unit 12f, and face orientation storage unit 13b cooperate to provide information on VOR (hereinafter "VOR information").
  • VOR information hereinafter "VOR information"
  • the calculation process is executed.
  • the calculation unit 12g, the processing unit 12h, and the reference storage unit 13d cooperate to execute processing for grasping (monitoring) the state of the driver D.
  • the calculation unit 12g reads an image including the head from the face orientation storage unit 13b determined by the reference determination unit 12f, reads out the eye movement from the reference storage unit 13d, and calculates VOR information from the head movement and the eye movement. And the calculation result is output to the processing unit 12h.
  • the processing unit 12h performs predetermined processing based on the face direction (for example, deviation from the reference value) of the driver D with respect to the reference of the face direction calculated by the calculation unit 12g.
  • the predetermined process is performed by determining whether or not the user is in the side-by-side state.
  • the side-by-side state is in the side-by-side state (for example, when the face direction in the left-right direction is shifted from the reference value by a predetermined value or more) 37 may be a process of instructing the notification, or may be a process of storing information on the orientation of the face in the looking-aside state in the storage unit 13 or a process of outputting to the driving control device 30 without performing the notification process.
  • the processing unit 12h performs a determination process as to whether or not a decrease in the arousal level of the driver D is predicted based on the calculation result of the calculation process of the VOR information, and when it is determined that a decrease in the arousal level is predicted Alternatively, a process of outputting a detection signal to the notification device 37 and instructing notification regarding the awakening level reduction into the moving body M may be performed.
  • the processing unit 12h may perform a process of storing the VOR information in the storage unit 13 when the driver D's arousal level is lowered, instead of the notification process or together with the notification process.
  • the processing unit 12h performs a determination process of the moving state of the moving body M, and detects when the moving body M is clearly stopped or when the moving body M is clearly moving right or left.
  • the notification process or the storage process to the storage unit 13 may be performed only when the above is not the case.
  • the predetermined process is a state in which it is possible to take over by determining whether or not the driver D is ready to take over to manual operation when switching from the automatic operation mode to the manual operation mode.
  • the operation control device 30 is provided with a signal permitting switching to manual operation. The process to output may be sufficient.
  • the reference changing unit 12i performs a process of changing the reference of the face orientation determined by the reference determining unit 12f, for example, a reference value, and stores the changed reference value in the reference storage unit 13d. For example, the difference between the face direction of the driver D calculated by the calculation unit 12g and the reference of the face direction when a specific driving state (for example, a straight driving state) is within a predetermined range. The difference is reduced when the face is in a certain state (for example, the face is deviated in a certain direction from the reference value, but is not deviated as much as looking aside) for a certain period or intermittently.
  • the reference of the face orientation may be changed, for example, corrected.
  • the process performed by the reference changing unit 12i includes a process of changing the reference of the face orientation when the driver D changes.
  • the driver D when the driver D is seated in the driver's seat and is in a state of gazing at the external gaze point P, the driver D is based on the driver's D eye movement and head movement. D's VOR information is calculated.
  • FIG. 7 is a flowchart illustrating an example of the entire VOR information calculation processing operation performed by the control unit 12 of the information processing apparatus 10 according to the embodiment.
  • step S1 the control unit 12 performs a process of acquiring an image captured by the camera 11, and then in step S2, the image element ID 20 including the head of the driver D is extracted from the acquired image.
  • step S2 the image element ID 20 including the head of the driver D is extracted from the acquired image.
  • step S3 After detecting the facial organ points included in the image element, a process of calculating the head movement of the driver D in the moving body M coordinate system is performed.
  • the camera 11 captures a predetermined number of frames per second.
  • the control unit 12 captures these captured images in time series, and executes this process every frame or every frame at a predetermined interval.
  • step S ⁇ b> 3 the control unit 12 extracts the image element ID 10 including the eyeball of the driver D from the acquired image, and then performs a process of calculating eye movement.
  • step S4 the vehicle motion is calculated based on the information obtained by the gyro sensor 2, and then the process proceeds to step S5.
  • step S5 in order to obtain the head movement of the driver D with respect to the absolute coordinate system, the moving body M calculated in step S4 is set to the value of the head movement of the driver D in the vehicle coordinate system calculated in step S2.
  • a process of adding vehicle motion values in the absolute coordinate system is performed.
  • the addition process is a process of adding a value indicating the head movement at a certain time to a value indicating the vehicle movement at the time.
  • step S6 the first determination unit 12d determines whether or not the driver D is in the first state. If it is determined that the driver D is in the first state, the process proceeds to step S7.
  • step S7 processing for calculating VOR information of the driver D based on the head movement and eye movement converted to the absolute coordinate system when the driver D is determined to be in the first state. Then, the process proceeds to step S8.
  • step S8 processing for storing and storing the VOR information in the storage unit 13 is performed. At the same time, data older than 5 seconds is erased, and rewriting to VOR information within the latest 5 seconds is performed.
  • step S9 it is determined whether or not data for 5 seconds has been stored. If it is determined that data has been stored, the process proceeds to step S10. If it is not determined that data has been stored, this process is terminated.
  • step S10 a process of excluding data for which the correlation between the head movement and the eye movement is determined to be “in the same direction movement state” in the second determination unit 12e is performed, and then the process proceeds to step S11.
  • step S11 an output process of only the VOR information determined as “non-co-directional movement state” is performed, and then this process ends.
  • FIG. 8 is a flowchart showing details of the head movement calculation process (the process of step S2 in the flowchart shown in FIG. 7) performed by the control unit 12 of the information processing apparatus 10 according to the embodiment.
  • the control unit 12 performs a process of acquiring an image photographed by the camera 11.
  • step S22 whether or not the head DH of the driver D can be detected based on the acquired image. If it is determined that the head DH of the driver D can be detected, the process proceeds to step S23. On the other hand, if it is determined that the head DH of the driver D cannot be detected, the process ends.
  • step S23 it is determined whether or not the facial organ point DO can be detected from the head DH of the driver D based on the acquired image. If it is determined that the facial organ point DO can be detected, the process proceeds to step S24. If it is determined that the facial organ point DO cannot be detected, the process is terminated.
  • step S24 the “face momentum”, which is the amount of movement of the position of the detected facial organ point, is calculated as the momentum in the vehicle coordinate system of the moving body M (that is, the relative facial momentum with respect to the moving body M).
  • step S25 the head movement in the vehicle coordinate system is calculated based on the movement amount of the facial organ point position, and then the process proceeds to step S26.
  • step S26 the process which memorize
  • FIG. 9 is a flowchart showing details of the eye movement calculation process (the process of step S3 in the flowchart shown in FIG. 7) performed by the control unit 12 of the information processing apparatus 10 according to the embodiment.
  • the control unit 12 performs a process of acquiring an image captured by the camera 11, and then proceeds to step S32.
  • step S32 the head D of the driver D is based on the acquired image. If it is determined whether or not the head DH of the driver D can be detected, the process proceeds to step S33. If it is determined that the head DH of the driver D cannot be detected, the process ends. .
  • step S33 it is determined whether or not the eyeball DO can be detected from the head DH of the driver D based on the acquired image. If it is determined that the eyeball DO can be detected, the process proceeds to step S34. If it is determined that it cannot be detected, this process is terminated. In step S34, it is determined whether or not the pupil 101 can be detected from the eyeball DO of the driver D. If it is determined that the pupil 101 can be detected, the process proceeds to step S35, and if it is determined that the pupil 101 cannot be detected, The process ends. In step S35, the amount of movement of the pupil is calculated, and then the process proceeds to step S36.
  • step S36 the amount of movement of the eyeball is calculated based on the amount of movement of the pupil, and then the process proceeds to step S37. Based on the movement amount of the eyeball, eye movement is calculated. Next, the process proceeds to step S38, and in step S38, a process of storing the calculated eye movement in the storage unit 13 is performed, and then this process ends.
  • FIG. 10 is a flowchart showing details of the VOR information calculation process (step S7 in the flowchart shown in FIG. 7) performed by the control unit 12 of the information processing apparatus 10 according to the embodiment.
  • step S71 a gain (VOR gain) of vestibular eye movement reflection is calculated.
  • step S72 the phase difference between the head angular velocity and the eyeball angular velocity is calculated.
  • step S73 a residual standard deviation is calculated based on the VOR gain and the phase difference.
  • step S74 a process for storing these VOR information in the storage unit 13 is performed, and then this process is terminated.
  • FIG. 11 shows another application example of the calculation system including the information processing apparatus according to the embodiment.
  • This application example is provided with two cameras as an imaging unit, and the irradiation unit 3 applies an invisible light image to the driver D's eyeball as well as to the driver D's back, and the application example shown in FIG. Is different.
  • the imaging unit includes two cameras including the camera 11 and the auxiliary camera 4 at different positions.
  • the imaging unit includes two cameras including the camera 11 and the auxiliary camera 4 at different positions.
  • the driver D's back is irradiated with an invisible light time display image whose display changes in synchronization with the irradiation time.
  • the time display image is composed of, for example, an image of a clock whose time changes. By including the time display image in the image captured by the camera, it is possible to reliably perform synchronization between the captured image and the capture time of each image.
  • the time display image should just be an image which can identify time.
  • the time display image is not limited to an image such as a clock that allows a person to recognize the time, and may be an image encoded such as a barcode or a two-dimensional code.
  • the calculation system is applied to a vehicle.
  • the calculation system can also be applied to other moving bodies other than the vehicle, for example, a ship, a diving machine, and an aircraft.
  • An information processing apparatus comprising:
  • [Appendix 2] A method for calculating an index relating to awakening of a person in a moving body M, An imaging step (S1) for capturing an image of a person's face in the moving body M with a camera (11) fixed to the moving body M; A measurement step (S4) of measuring motion data of the moving moving body M by the gyro sensor (2) installed on the moving body M; A first calculation step (S3) for calculating eye movements of a person in the moving body M using the face image captured in the imaging step (S1); Using the face image photographed in the imaging step (S1) and the motion data of the moving body M measured in the measuring step (S4), the head motion of the person in the moving body M is a value in the absolute coordinate system.
  • Appendix 3 An information processing apparatus (10) and a control means for controlling the moving body using the eye movement calculated by the first calculation unit and the head movement calculated by the second calculation unit.
  • a driving support system characterized by comprising.
  • the head motion of the person in the moving body M is a value in the absolute coordinate system.
  • Step (S7); A computer program for calculating an index relating to awakening, characterized in that
  • the present invention can be widely used in a system that calculates an index related to awakening of a moving person, such as a driver monitoring system mounted on a vehicle.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本発明は、移動中の移動体において、人物の覚醒度に関する情報を、より高い精度で得ることのできる算出システムを提供することを目的としており、移動体Ｍ中の運転者Ｄの顔を撮影するカメラ１１と、移動体Ｍの運動データを計測するジャイロセンサ２と、カメラ１１により撮影された顔の画像を用いて運転者Ｄの眼球運動を算出する第１の算出部３１と、ジャイロセンサ２により計測された前記移動体の運動データ及びカメラ１１により撮影された顔の画像を用いて人物の頭部運動を算出する第２の算出部３２と、を備えた算出システムとする。

Description

算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
　本発明は、算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体に関する。
　近年、カメラで撮影された運転者の顔画像から運転者の頭部運動や眼球運動を検出し、該検出した運転者の頭部運動や眼球運動などに基づいて、車両走行時の運転者の覚醒度低下を検出して警告を発したり、運転注意力を喚起したりする種々の運転への支援又は介入に関する技術が開示されている。
　例えば、下記の特許文献１には、覚醒度推定装置として、運転者の瞬き時間を検出し、覚醒時における運転者に固有の瞬きの基準時間を、所定の割合だけ増大させて長い瞬きを評価するための瞬き評価時間を設定すると共に、この瞬き評価時間に従って長い瞬きを検出し、所定時間内における瞬きの総数と、長い瞬きの回数とからその生起比率を求め、眠気予測モデルを用いた回帰分析により求められる予測式に従って、運転者の覚醒度を評価する技術が開示されている。
　また、下記の特許文献２には、眠気予兆検出装置として、頭部運動検出手段により頭部運動を検出し、眼球運動検出手段により眼球運動を検出し、理想眼球運動角速度算出部により、頭部運動データに基づいて理想眼球運動角速度を算出し、眼球回転角速度算出部により、眼球運動データに基づいて眼球回転角速度を算出し、眠気予兆判定手段により理想眼球運動角速度と眼球回転角速度とから前庭動眼反射を検出し、この前庭動眼反射に基づいて、車両の運転者、機械の操作者などが眠気を自覚する前の眠気の予兆を判定する技術が開示されている。
　［発明が解決しようとする課題］
　下記の特許文献１に開示されている技術では、運転者の瞬き時間を検出して、所定時間内における瞬きの総数と、長い瞬きの回数とから運転者の覚醒度を評価する。このため、低下した覚醒度の検出は可能であるものの、覚醒度低下の予兆、すなわち眠気を自覚する前の眠気の予兆を検出することはできない。
　下記の特許文献２に開示されている技術では、前庭動眼反射に基づいて、車両の運転者、機械の操作者などが眠気を自覚する前の眠気の予兆を判定する。前庭動眼反射（Vestibulo-Ocular Reflex：ＶＯＲ）は、頭部運動に対してほぼ同じ速さで眼球を逆方向に回転させ、ブレのない視界を得るための反射性眼球運動である。前庭動眼反射のゲインの減少及び残差標準偏差の増大は、眠気を自覚する前から生じるため、眠気の予兆を示す指標として有効である。特許文献２には、自動車運転時を模擬したドライビングシミュレータシステムを用いた実験例が記載されると共に、眠気に関する内省を被験者に報告させて、前庭動眼反射のゲイン（ＶＯＲゲイン）、残差標準偏差（ＳＤｒｅｓ）の変化から眠気の予兆を判定した、と記載されている。
　しかしながら、特許文献２に記載のものでは、被験者が、眼球回旋撮影装置および加速度センサとジャイロセンサを頭部に装着後、振動装置を備えたドライバーシートに着座し、前方スクリーンに映し出される前方自動車のテール部を注視する状況を維持させた状態での実験しか行われていない。実際の乗用移動体では、乗車の度に運転者の頭部にジャイロセンサや撮影装置を取り付けることはできない。従って、実際の移動体を運転中の運転者の覚醒度を評価するシステムにあっては、ジャイロセンサや撮影装置を運転者の頭部に取り付けるよりも、移動体の内部に取り付けることが通常となる。
　しかしながら、撮影装置を移動体の内部に取り付けると、移動体内の座標系（移動体座標系）における運転者の情報しか得られない。移動体を運転している運転者の眼球運動は、運転者が車外前方を注視している場合、絶対座標系に属する運動となる。このため、頭部運動も絶対座標系で検出できなければ、前庭動眼反射を精度良く算出することは困難となる。
　ところが上記したように、撮影装置を移動体の内部に取り付けた場合、移動体座標系における運転者の情報しか得られない。
　このため、乗車し、実際に走行中の運転者の覚醒に関する情報を高い精度に検出することは極めて困難であるという課題があった。
特開平１０－２７２９６０号公報 ＷＯ２０１０／０３２４２４号公報
課題を解決するための手段及びその効果
　本発明は上記課題に鑑みなされたものであって、移動中の移動体において、人物の覚醒度に関する情報を、より高い精度で得ることのできる算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体を提供することを例示的な目的としている。
　上記目的を達成するために、本開示に係る算出システム（１）は、
　移動体中の人物の顔を撮影する撮像部と、
　前記移動体の運動データを計測するセンサと、
　前記撮像部により撮影された顔の画像を用いて前記人物の眼球運動を算出する第１の算出部と、
　前記センサにより計測された前記移動体の運動データ及び前記撮像部により撮影された顔の画像を用いて前記人物の頭部運動を算出する第２の算出部と、
　を備えていることを特徴としている。
　上記算出システム（１）によれば、前記撮像部により移動体中における前記人物の顔の画像が撮影され、前記センサにより移動体の運動データが計測され、前記第１の算出部により、前記人物の顔の画像に基づいて前記人物の眼球運動が算出される。そして前記第２の算出部により前記移動体の運動データ及び顔の画像に基づいて前記人物の頭部運動が算出される。
　従って、移動体の運動を考慮した頭部運動が算出される。このため、少なくとも前記撮像部及び前記センサが移動体に配備され、移動体が移動中の場合であっても、絶対座標系に対する頭部運動の正確な情報を得ることができる。
　また、本開示に係る算出システム（２）は、上記算出システム（１）において、
　さらに、前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動を用いて、前記移動体中における人物の覚醒に関する指標を算出する第３の算出部を備えていることを特徴としている。
　上記算出システム（２）によれば、前記撮像部と前記センサとが移動体に設置された構成で、さらに前記第３の算出部を備えることで、運転者の頭部に撮像部やセンサを装着しなくても、移動体の運動を考慮した頭部運動の情報に基づいて前記移動体中における前記人物の覚醒に関する指標を高い精度に算出することが可能となる。
　また、本開示に係る算出システム（３）は、上記算出システム（２）において、
　前記撮像部により撮影された顔の画像を用いて、前記人物が前記移動体の外部の注視点を注視している第１の状態か否かを判別する第１の判別部をさらに備え、
　前記第３の算出部は、前記第１の判別部によって第１の状態であると判別された場合の眼球運動及び頭部運動を用いて、前記指標を算出することを特徴としている。
　上記算出システム（３）は、覚醒に関する指標の算出を、人物が移動体の外部の注視点を注視している場合に行うものである。上記算出システム（３）によれば、車外を注視している場合の頭部運動と眼球運動の情報に基づいて運転者の覚醒に関する指標を算出することで、高い精度の覚醒に関する指標を得ることができる。車外を注視している状態の覚醒に関する指標としては、例えばＶＯＲ（前庭動眼反射）に関する各種の値が挙げられる。
　また、本開示に係る算出システム（４）は、上記算出システム（２）又は（３）のいずれかにおいて、
　前記撮像部により撮影された顔の画像を用いて、眼球と頭部とが同方向に運動している第２の状態であるか否かを判別する第２の判別部をさらに備え、
　前記第３の算出部は、前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動のうち、前記第２の状態における眼球運動及び頭部運動を除外して、前記指標を算出することを特徴としている。
　一般的に、人物が視線方向を意識的に変えるときは、眼球の運動方向と顔の運動方向とが同方向となる。このような同方向の運動時における情報を除くことで、高い精度の覚醒に関する指標を得ることができる。
　また、本開示に係る算出システム（５）は、上記算出システム（２）～（４）のいずれかにおいて、
　前記覚醒に関する指標が、前庭動眼反射のゲイン、頭部の角速度と眼球の角速度との位相差、及び前庭動眼反射の残差標準偏差のうちの少なくとも一つの値、或いは、これら値の二つ以上の値に基づく演算値であることを特徴としている。
　上記算出システム（５）によれば、覚醒度低下の指標として知られるＶＯＲ（前庭動眼反射）に関する各値、又はこれらに基づく演算値を用いることで、覚醒度との相関性に優れた指標を算出することができる。
　また、本開示に係る算出システム（６）は、上記算出システム（２）～（５）のいずれかにおいて、
　前記頭部運動が、
　前記撮像部により撮影された顔の画像に基づく顔の運動情報と、
　前記センサにより計測された前記移動体の運動情報と、の対応値同士の加算によって、
　前記移動体外の絶対座標系の値として算出されることを特徴としている。
　上記算出システム（６）は、頭部運動を対応値の加算処理によって絶対座標系の値に換算するものである。顔の運動情報の各値と、移動体自体の運動情報の各値とを加算することで、絶対座標系における顔の運動情報を得ることができる。これにより、より高い精度の覚醒に関する指標を算出することが可能となる。
　また、本開示に係る情報処理装置（１）は、
　上記算出システム（１）～（６）のいずれかを構成する情報処理装置であって、
　移動体に設置された撮像部によって撮影された顔の画像を用いて、人物の眼球運動を算出する第１の算出部と、
　前記移動体に設置されたセンサによって計測された前記移動体の運動データ、及び、前記撮像部によって撮影された顔の画像を用いて、前記人物の頭部運動を算出する第２の算出部と、
　を備えていることを特徴としている。
　上記情報処理装置（１）は、移動体に設置された撮像部により人物の顔の画像を撮影し、この撮影された顔の画像に基づき、前記人物の眼球運動を算出する。また、前記移動体に設置されたセンサにより前記移動体の運動データを計測し、計測された前記移動体の運動データと前記顔の画像に基づいて、人物の頭部運動を算出する。
　前記第２の算出部は、前記移動体の運動データと顔の画像に基づいて頭部運動を算出するため、移動体の運動状態にかかわらず、頭部運動を、移動体外の絶対座標系として得ることができる。これにより、移動体中の運転者の覚醒に関連する情報をより正確に算出することが可能となる。
　また、本開示に係る運転支援システム（１）は、上記情報処理装置（１）と、前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動を用いて、前記移動体を制御する制御手段とを備えていることを特徴としている。
　上記運転支援システム（１）によれば、移動体中の運転者の覚醒に関連する情報を正確に算出することが可能なシステムとすることができる。
　また、本開示に係る覚醒に関する指標算出方法（１）は、
　移動体中の人物の覚醒に関する指標を算出する方法であって、
　前記移動体に設置された撮像部によって、前記移動体中の前記人物の顔の画像を撮影する撮像ステップと、
　前記移動体に設置されたセンサによって、移動中の前記移動体の運動データを計測する計測ステップと、
　前記撮像ステップにおいて撮影された顔の画像を用いて、前記移動体中の前記人物の眼球運動を算出する第１の算出ステップと、
　前記撮像ステップにおいて撮影された顔の画像、及び、前記計測ステップにおいて計測された前記移動体の運動データを用いて、前記移動体中の前記人物の頭部運動を絶対座標系の値として算出する第２の算出ステップと、
　前記第１の算出ステップにおいて算出された眼球運動、及び、前記第２の算出ステップにおいて算出された頭部運動を用いて、前記移動体中の人物の覚醒に関する指標を算出する第３の算出ステップと、
　を備えていることを特徴としている。
　上記覚醒に関する指標算出方法（１）によれば、移動体の運動状態にかかわらず、頭部運動を、移動体外の絶対座標系として得ることができる。これにより、第３の算出ステップにおいて、移動体中の運転者の覚醒に関する指標をより正確に算出することが可能となる。
　また、本開示に係る覚醒に関する指標算出のためのコンピュータプログラム（１）は、
　移動体中の人物の覚醒に関する指標の算出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムであって、
　前記少なくとも１つのコンピュータに、
　前記移動体に設置された撮像部によって、前記移動体中の前記人物の顔の画像を撮影する撮像ステップと、
　前記移動体に設置されたセンサによって、移動中の前記移動体の運動データを計測する計測ステップと、
　前記撮像ステップにおいて撮影された顔の画像を用いて、前記移動体中の前記人物の眼球運動を算出する第１の算出ステップと、
　前記撮像ステップにおいて撮影された顔の画像、及び、前記計測ステップにおいて計測された前記移動体の運動データを用いて、前記移動体中の前記人物の頭部運動を絶対座標系の値として算出する第２の算出ステップと、
　前記第１の算出ステップにおいて算出された眼球運動、及び、前記第２の算出ステップにおいて算出された頭部運動を用いて、前記移動体中の人物の覚醒に関する指標を算出する第３の算出ステップと、
　を実行させることを特徴としている。
　上記覚醒に関する指標算出のためのコンピュータプログラム（１）によれば、移動体の運動状態にかかわらず、頭部運動を、移動体外の絶対座標系として取得させることができる。これにより、前記第３の算出ステップにおいて、移動体中の運転者の覚醒に関する指標をより正確に、コンピュータに算出させることが可能となる。
　また、本開示に係るコンピュータ読み取り可能な記憶媒体（１）は、
　移動体中の人物の覚醒に関する指標の算出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
　前記少なくとも１つのコンピュータに、
　前記移動体に設置された撮像部によって、前記移動体中の前記人物の顔の画像を撮影する撮像ステップと、
　前記移動体に設置されたセンサによって、移動中の前記移動体の運動データを計測する計測ステップと、
　前記撮像ステップにおいて撮影された顔の画像を用いて、前記移動体中の前記人物の眼球運動を算出する第１の算出ステップと、
　前記撮像ステップにおいて撮影された顔の画像、及び、前記計測ステップにおいて計測された前記移動体の運動データを用いて、前記移動体中の前記人物の頭部運動を絶対座標系の値として算出する第２の算出ステップと、
　前記第１の算出ステップにおいて算出された眼球運動、及び、前記第２の算出ステップにおいて算出された頭部運動を用いて、前記移動体中の人物の覚醒に関する指標を算出する第３の算出ステップと、
　を実行させるためのプログラムを記憶したことを特徴としている。
　上記コンピュータ読み取り可能な記憶媒体（１）によれば、前記少なくとも１つのコンピュータに、前記プログラムを読み取らせて上記各ステップを実行させることにより、移動体の運動状態にかかわらず、頭部運動を、移動体外の絶対座標系として取得させることができる。これにより、前記第３の算出ステップにおいて、移動体中の運転者の覚醒に関する指標をより正確に、コンピュータに算出させることが可能となる。
実施の形態に係る情報処理装置を含む算出システムを移動体へ適用した例を示す概略平面図である。 実施の形態に係る算出システムを示す概略斜視図である。 実施の形態に係る情報処理装置における、撮像部の処理動作に関する構成例を示す概略側面図である。 実施の形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 実施の形態に係る算出システムの情報処理の流れを示すブロック図である。 情報処理の流れにおけるデータ構造例を示すブロック図である。 実施の形態に係る情報処理装置のＶＯＲ情報の算出処理動作全体の一例を示すフローチャートである。 情報処理における、頭部運動算出処理の一例を示すフローチャートである。 実施の形態に係る情報処理装置における、眼球運動算出処理の一例を示すフローチャートである。 実施の形態に係る情報処理装置における、ＶＯＲ情報の算出処理の一例を示すフローチャートである。 実施の形態に係る情報処理装置を含む別の算出システムを移動体へ適用した例を示す概略平面図である。
　以下、本発明に係る算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体の実施の形態を図面に基づいて説明する。
［適用例］
　図１は、実施の形態に係る情報処理装置を含む算出システムを移動体Ｍへ適用した例を示す概略平面図であり、図２は、移動体Ｍに搭載された算出システムを示す概略斜視図である。
　この例において、移動体Ｍは人物を乗せて移動する車両であって、外部を透過視認する視認部（例えばフロントガラス）を有している。移動体Ｍは、運転者Ｄが着座するための着座部（例えば運転席）を備えており、運転者Ｄは、移動中の移動体Ｍの着座部に着座した状態で、視認部を介して移動体Ｍの外部の任意の注視点Ｐを視認することができる。注視点Ｐは、実際には、図示された位置よりも移動体Ｍから遠くにあってもよい。
　図２に示す例において、運転者Ｄは、頭部ＤＨを含む上半身が視認部方向を向いた状態で着座部に着座し、眼球の瞳孔１０１（図３）が視認部の先の注視点Ｐの方向を向いている。
　注視点Ｐとしては、例えば、通常は前方車両のテール部、あるいは図１に示した、道路周辺に配置された遠方の道路標識などを挙げることができる。図１に示した道路標識は移動体Ｍ外部の絶対座標系で静止したものとなる。
　また、図２に示す符号ＤＯは、人物の顔の向きを算出するための顔の一つの顔器官点を示している。情報処理装置１０（図４）は、顔の向きを算出するために、多数の顔の器官点情報からなる顔のモデルを用意し、複数の器官点の位置情報から顔の向きを推定する。顔の向きの変化量から顔の移動量を算出することができる。
　運転者Ｄの視線ベクトルは、例えば、図３に示したように、眼球の画像部分における瞳孔中心１１Ａの位置と、眼球の画像部分における照射部３からの照射光の反射位置（角膜反射像１２１）とによって特定することができる。この視線ベクトルを微分することで動き（眼球運動）を算出することも可能である。
　また、眼球運動は、眼球の画像部分における瞳孔１０１の動きから算出することも可能である。
　前記照射光は非可視光線であることも多く、非可視光線である場合、カメラ１１によって撮影される画像は、非可視光線の反射光に基づく人物の画像からなる。
　［構成例］
　［算出システムの構成例］
　算出システム１は、図４に示したように、移動体Ｍ中の人物である運転者Ｄの顔を撮影する撮像部としてのカメラ１１、各種の情報処理を行う情報処理装置１０、及び移動体Ｍの運動データを計測するジャイロセンサ２を含んで構成されている。
　算出システム１は、カメラ１１、情報処理装置１０、及びジャイロセンサ２を含んで構成されており、いわゆるドライバモニタリングシステムの一部を構成しているとみなすこともできる。
　また、算出システム１は、図５に示したような機能構成ブロックでも表すことができ、
　カメラ１１により撮影された顔の画像を用いて前記人物の眼球運動を算出する第１の算出部３１と、
　ジャイロセンサ２により計測された移動体Ｍの運動データ及びカメラ１１により撮影された顔の画像を用いて絶対座標系に対する人物の頭部運動を算出する第２の算出部３２と、
　第１の算出部３１により算出された眼球運動、及び、第２の算出部３２により算出された頭部運動を用いて、移動体Ｍ中の人物の覚醒に関する指標を算出する第３の算出部３３とを備えている。
　算出システム１には、人物の頭部を含む画像を所定の時間間隔で撮影する撮像部としてのカメラ１１と、運転者Ｄの眼球に照射光を照射する照射部３とが装備され、情報処理装置１０が内蔵されている。算出システム１は、例えば、移動体Ｍ内にあって運転者Ｄと対向する位置に固定されている（図１）。
　撮像部としてのカメラ１１は、例えば、図示しないレンズ部、撮像素子部、インターフェース部、これら各部を制御する制御部などを含んで構成されている。撮像素子部は、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、マイクロレンズなどを含んで構成される。撮像素子部は、可視領域の光を受けて撮影画像を形成できるものを含む他、紫外線、赤外線、あるいは近赤外線を受けて撮影画像を形成できるＣＣＤ、ＣＭＯＳ、或いはフォトダイオード等のセンサを含んでもよい。
　カメラ１１は、運転者Ｄを撮影する。カメラ１１によって撮影された画像によって、移動体Ｍ中における運転者Ｄの頭部運動を測定することが可能になる。また、カメラ１１によって撮影される画像は、画像内の人物の眼球及び視線の方向を特定できる解像度を有しており、運転者Ｄの眼球運動を算出することも可能になっている。
　カメラ１１の数は、図２に示したように１台でもよいし、後述の変形構成例では、図１１に示したように、補助カメラ４を含む２台以上のカメラで構成される。カメラ１１は、単眼カメラであってもよいし、ステレオカメラであってもよい。
　カメラ１１は所定のフレームレート（例えば、毎秒３０～６０フレーム）で画像を撮像し、カメラ１１で撮影された画像のデータが情報処理装置１０へ出力されるようになっている。
　ジャイロセンサ２は、移動体Ｍの移動に伴う運動情報を取得する。例えば、図２に示したジャイロセンサ２は三次元ジャイロセンサからなり、移動体Ｍの前部に固定された算出システム１に固定される（図１）。この例において、計測される運動情報は、外部の絶対座標系に対する、移動体Ｍの回転運動量である。運動情報の内容として、三次元的に互いに直交するＸＹＺ軸の各軸周りの回転量、及び単位時間当たりにおける、ロール、ピッチ、ヨーそれぞれの回転角速度が取得される。
　ジャイロセンサ２は移動体Ｍに不要に揺動することなく設置されていればよく、移動体Ｍへの設置位置は特に限定されない。
　照射部３は、ＬＥＤ(Light Emitting Diode)などの発光素子を含み、また、昼夜を問わず運転者の状態を撮影できるように赤外線ＬＥＤ、近赤外線ＬＥＤなどが採用される。
　照射部３は、例えば図２に示したように、移動体Ｍ内の決められた位置から、人物のいる運転席の方向へ照射光を照射する。照射光は、一定方向へ照射されることで、眼球上の一定方向の一点が角膜反射像１２１として反射される。この角膜反射像１２１は、照射部３の固定位置から人物の眼球までの距離が最短距離となる点に形成される。また、照射光が非可視光線である場合、人物の視線の動きを妨げることがない。カメラ１１によって撮影される画像は、角膜反射像１２１を含む画像である。
　［情報処理装置の構成例］
　図４は、実施の形態に係る情報処理装置１０を含む算出システム１の機能構成例を示すブロック図である。
　情報処理装置１０は、入出力インターフェース（Ｉ／Ｆ）１１０、制御ユニット１２、及び記憶ユニット１３を含んで構成されている。
　入出力Ｉ／Ｆ１１０には、例えば、カメラ１１、ジャイロセンサ２、照射部３、運転制御装置３０、報知装置３７などが接続され、入出力Ｉ／Ｆ１１０は、これら外部機器との間で信号の授受を行うためのインターフェース回路や接続コネクタなどを含んで構成されている。運転制御装置３０は、情報処理装置１０から供給される種々の情報に基づいて、移動体Ｍを制御することができる。例えば、運転制御装置３０は、移動体Ｍの運転を制御してもよいし、移動体Ｍに設けられたスピーカやディスプレイによる出力を制御してもよい。
　制御ユニット１２は、画像取得部１２ａ、検出部１２ｂ、情報取得部１２ｃ、第１判定部１２ｄ、第２判定部１２ｅ、及び基準決定部１２ｆを含んで構成され、さらに、算出部１２ｇ、処理部１２ｈ、基準変更部１２ｉなどを含んで構成されてもよい。制御ユニット１２は、例えば、ＣＰＵ(Central Processing Unit)、メモリ、画像処理回路などを含んで構成され、記憶ユニット１３等に保存されている所定の制御プログラムを読み出してCPUで解釈実行することにより、その働きが実現される。制御ユニット１２は、前記撮像素子部や照射部３を制御して、照射部３から光（例えば、近赤外線など）を照射させ、前記撮像素子部でその反射光を撮影する制御などを行う。制御ユニット１２は、ＣＰＵ、Graphics processing unit（ＧＰＵ）などの１つ以上のハードウェアプロセッサを含んで構成される。
　記憶ユニット１３は、画像記憶部１３ａ、顔の向き記憶部１３ｂ、パラメータ記憶部１３ｃ、基準記憶部１３ｄ、及びプログラム記憶部１３ｅを含んで構成される。記憶ユニット１３は、Random Access Memory（ＲＡＭ）、Read Only Memory（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、その他の不揮発性メモリや揮発性メモリなど、半導体素子によってデータを記憶可能な１つ以上の記憶装置で構成される。なお、ＲＡＭ及びＲＯＭを制御ユニット１２に含んで構成してもよい。
　画像記憶部１３ａには、画像取得部１２ａによりカメラ１１から取得された運転者Ｄの画像が記憶される。
　顔の向き記憶部１３ｂには、検出部１２ｂで検出された各画像の運転者Ｄの顔の向き及び移動量に関する情報が、画像記憶部１３ａに記憶される各画像と対応付けて記憶される。
　パラメータ記憶部１３ｃには、第２判定部１２ｅでの判定に用いられる、顔の向きの閾値や移動量の閾値などの各種パラメータが記憶されている。
　基準記憶部１３ｄには、基準決定部１２ｆで決定された運転者Ｄの顔の向きの基準に関する情報、例えば、基準を示す値（基準値）などが記憶される。
　プログラム記憶部１３ｅには、制御ユニット１２の各部で実行される情報処理プログラムや該プログラムの実行に必要なデータなどが記憶されている。
　［動作例］
　情報処理装置１０は、移動体Ｍに搭載される算出システム１に内蔵され、車載機器（図示せず）から移動体Ｍの走行状態に関する各種情報を取得できるとともに、車載機器に対して制御信号などを出力するように構成されている。
　情報処理装置１０は、移動体Ｍ中の運転者Ｄの状態を把握するための情報処理の一つとして、顔の向きを算出するために、多数の顔の器官点情報からなる顔のモデルを用意し、複数の器官点の位置情報から顔の向きを推定する。顔の向きの変化量から顔の移動量を算出することができる。また、情報処理装置１０は、移動体Ｍ中の運転者Ｄの状態を把握するための情報処理の一つとして、運転者Ｄの眼球の向きの基準となる、運転者Ｄの少なくとも片側の眼球及び当該眼球に含まれる瞳孔を把握し、前記眼球における瞳孔の移動量を把握する処理も実行し、眼球運動の検出を可能としている。
　運転者Ｄの頭部運動には、例えば、図２に示すように、運転者Ｄの顔のＸ軸（左右軸）回りの角度(上下の向き)であるピッチ（Pitch）角、顔のＹ軸(上下軸)回りの角度（左右の向き）であるヨー(Yaw)角、及び顔のＺ軸（前後軸）回りの角度（左右傾き）であるロール(Roll)角のうち、少なくとも１つが含まれている。
　移動体Ｍの運動情報には、移動体Ｍの三次元軸それぞれの速度情報のほか、例えば、ＣＡＮ（Controller Area Network）で接続された車載機器から取得した、車速情報、或いは操舵情報を含んでもよい。運動情報が車載機器から取得した情報を含む場合、当該取得した情報に基づいて、特定の走行状態にあるかどうかを判別することが可能となる。特定の走行状態としては、例えば、移動体Ｍの車速が所定の車速域にあり、かつ非操舵状態にある走行状態、換言すれば、移動体Ｍが直進している走行状態が挙げられる。このような走行状態は、運転者Ｄの覚醒に関する指標を算出するのに適した状態と言える。
　情報処理装置１０は、「頭部運動算出処理」として、カメラ１１により撮影された画像に基づいて、運転者Ｄの頭部ＤＨを検出し、さらに、頭部ＤＨのうち頭部運動の基準である顔器官点ＤＯを検出する処理を実行する。
　顔器官点ＤＯの情報として、例えば、顔器官点ＤＯの位置情報と、顔器官点ＤＯの向き情報とを組み合わせた値が用いられる。
　このうち、顔器官点ＤＯの位置情報としては、例えば、運転者Ｄの顔の３次元の軸上位置を示す幅位置Ｘｄ、高さ位置Ｙｄ、前後位置Ｚｄの各値の組合せが用いられる。また、顔器官点ＤＯの向きの情報としては、例えば、３次元軸のうちＸ軸周りの回転角であるピッチＰｄ、Ｙ軸周りの回転角であるヨーＹｄ、Ｚ軸周りの回転角であるロールＲｄからなる各値の組合せが用いられる。これらは、運転者Ｄの頭部の位置を示す情報、及び、運転者Ｄの頭部運動を示す情報となる。
　カメラ１１で撮影された１以上の画像から、前記幅位置Ｘｄ、高さ位置Ｙｄ、前後位置Ｚｄ、ピッチＰｄ、ヨーＹｄ、ロールＲｄのうち、少なくとも１つ以上の値の組合せ、これらの平均値又は最頻値などの値の組合せを、顔器官点ＤＯの移動情報として用いることができる。
　本実施の形態では、情報処理装置１０が、カメラ１１によって撮影された画像を取得し、取得した画像から運転者Ｄの頭部運動を算出するとともに、移動体Ｍの運動情報を取得する。そして、情報処理装置１０の第１判定部１２ｄが、取得した前記情報に基づいて、運転者Ｄが特定の状態（以下「第１の状態」という。）にあるか否かを判定する（図７）。第１の状態は、具体的には、運転者Ｄが移動体Ｍの外部（ここでは車外）を注視している状態であるといえる。
　情報処理装置１０の第１判定部１２ｄは、移動体Ｍ内の運転者Ｄの頭部運動の変化量を、移動体Ｍ自体の運動情報に応じて修正した上で、あらかじめ設定された閾値をこえるか否か、判別するものとしてもよい。
　制御ユニット１２は、記憶ユニット１３に各種データを記憶する処理を行う。また、制御ユニット１２は、記憶ユニット１３に記憶された各種データや各種プログラムを読み出し、これらプログラムを実行する。制御ユニット１２が記憶ユニット１３と協働して、画像取得部１２ａ、検出部１２ｂ、情報取得部１２ｃ、第１判定部１２ｄ、第２判定部１２ｅ、及び基準決定部１２ｆの動作、さらには、算出部１２ｇ、処理部１２ｈ、及び基準変更部１２ｉの動作が実現される。
　画像取得部１２ａは、所定のフレームレートで撮影された運転者Ｄの画像をカメラ１１から取得する処理を行い、カメラ１１から取得した画像を画像記憶部１３ａに記憶する処理を行う。
　検出部１２ｂは、画像記憶部１３ａに記憶された画像を毎フレーム、又は所定間隔のフレーム毎に読み出し、これら画像から運転者Ｄの頭部ＤＨを検出する処理を行い、検出した運転者Ｄの頭部ＤＨの運動情報を、当該画像と対応付けて顔の向き記憶部１３ｂに記憶する処理を行う。
　運転者Ｄの頭部ＤＨの運動情報には、画像処理により検出された運転者Ｄの顔の向きを示す角度、例えば、上記したヨー角、ピッチ角、及びロール角のうち少なくとも１つの角度の情報が含まれる。また、運転者Ｄの頭部ＤＨの運動情報には、目、鼻付け根部、鼻先端部、口、眉、頭頂部などの顔器官点ＤＯに関する位置情報が含まれる。顔器官点ＤＯは例えば、顔の各器官の代表的又は特徴的な位置を示す特徴点として画像処理によって特定され、頭部運動の基準点として検出される。
　情報取得部１２ｃは、運転制御装置３０を介して移動体Ｍの運動情報を取得する処理を行い、取得した前記情報を第１判定部１２ｄに出力する。情報取得部１２ｃの処理と、画像取得部１２ａの処理との先後は必ずしも限定されない。例えば、これらの各処置を並行して行ってもよい。なお、情報取得部１２ｃは、運転制御装置３０を介さずに、車載システム（図示せず）の各部から前記情報を取得するようにしてもよい。
　移動体Ｍの運動情報には、少なくともジャイロセンサ２で検出された回転角速度などが含まれる。
　また、情報取得部１２ｃは、移動体Ｍの加減速情報や移動体Ｍの傾斜情報等を取得してもよい。
　また、情報取得部１２ｃは、移動体Ｍの位置情報と、移動体Ｍの周辺の地図情報とを取得してもよい。これら情報には、例えば、ナビゲーション装置で割り出された自車位置と、該自車位置周辺の地図情報などが含まれる。
　さらに、情報取得部１２ｃは、移動体Ｍの周辺、特に進行方向に存在する他の移動体や人などの監視対象物に関する情報を取得してもよい。これら情報には、例えば、周辺監視センサで検出された、対象物の種類や対象物までの距離に関する情報などが含まれる。
　第１判定部１２ｄは、運転者Ｄに関する第１の状態の条件を満たすか否かを判別する。第１判定部１２ｄは、カメラ１１により撮影された顔の画像を用いて、第１の状態か否かを視線ベクトルに基づいて判別する。判別結果は例えば二値信号として、第１判定部１２ｄから第２判定部１２ｅに出力される。第１判定部１２ｄは、本開示に係る第１の判別部の一例である。
　第２判定部１２ｅは、現在の状態が後述のＶＯＲ情報の算出に適さない状態であるか否かを判別する。本実施の形態では、一例として、眼球の運動方向と顔の運動方向とが同方向である状態をＶＯＲ情報の算出に適さない状態とし、以下これを「第２の状態」ともいう。例えば、第２判定部１２ｅは、カメラ１１により撮影された顔の画像を用いて、眼球の運動方向と顔の運動方向とが同方向か否かを判別することによって、第２の状態か否かを判別することができる。判別結果は例えば二値信号として、第２判定部１２ｅから基準決定部１２ｆに出力される。第２判定部１２ｅは、本開示に係る第２の判別部の一例である。
　基準決定部１２ｆは、運転者Ｄが第１の状態にあり、かつ第２の状態にあると判別されているときの運転者Ｄの頭部ＤＨを含む画像要素ＩＤ２０（図６）を画像解析によって抽出し、さらに、運転者Ｄの頭部ＤＨに含まれる眼球の画像要素ＩＤ１０（図６）を画像解析によって抽出する。眼球の画像要素ＩＤ１０に基づいて、瞳孔１０１の位置及び向きを特定する処理を行う。そして、連続撮影された各画像の顔器官点ＤＯの位置情報及び向きの情報の変化に基づいて、運転者Ｄの“眼球運動”を決定する処理を行い、決定した頭部運動を基準記憶部１３ｄに記憶する。
　具体的には、まず、第２判定部１２ｅで判定された、運転者Ｄの顔の向きと視線の向きの変化が同一方向ではない、“非同方向運動状態（すなわち第２の状態）”にあると推定できる状態が所定期間以上継続しているか否かが判定される。すなわち、第２判定部１２ｅから、“非同方向運動状態”にあることを示す判定結果を撮影された画像のフレーム毎に付与し、当該判定結果が、所定のフレーム数以上継続したか否かが判定される。
　所定期間以上継続して取得されたと判断すれば、基準決定部１２ｆは、次に、顔の向き記憶部１３ｂから前記所定期間に取得した画像に対応する運転者Ｄの眼球（図３の実施形態では顔器官点ＤＯとなる左目）の画像要素ＩＤ１０を読み出し、連続的又は断続的に読み出した各フレームの眼球の画像要素ＩＤ１０から、運転者Ｄの眼球運動を決定する。
　眼球運動は、眼球内における瞳孔１０１の位置に関する情報であるから、例えば、カメラ１１で撮影される眼球の画像要素に基づいて、眼球の画像要素における瞳孔１０１の動きを特定することにより求めることができる。瞳孔１０１の位置情報の変化を特定することで、運転者Ｄの眼球運動が決定される。
　上記した検出部１２ｂ、情報取得部１２ｃ、第１判定部１２ｄ、第２判定部１２ｅ、基準決定部１２ｆ、及び顔の向き記憶部１３ｂが協働して、ＶＯＲに関する情報（以下「ＶＯＲ情報」という。）の算出処理を実行する。
　一方、算出部１２ｇ、処理部１２ｈ、及び基準記憶部１３ｄが協働して、運転者Ｄの状態を把握（モニタリング）する処理を実行する。
　算出部１２ｇは、基準決定部１２ｆで決定された顔の向き記憶部１３ｂから頭部を含む画像を読みだすと共に、眼球運動を基準記憶部１３ｄから読み出して、頭部運動及び眼球運動からＶＯＲ情報の算出処理を行い、算出結果を処理部１２ｈに出力する。
　処理部１２ｈは、算出部１２ｇで算出された、顔の向きの基準に対する運転者Ｄの顔の向き（例えば、基準値からのずれ）に基づいて、所定の処理を行う。
　所定の処理は、例えば、脇見状態にあるか否かの判定処理を行って、脇見状態にある場合（例えば、左右方向の顔の向きが基準値から所定値以上ずれている場合）、報知装置３７に報知を指示する処理でもよいし、報知処理を行うことなく、脇見状態にある顔の向きの情報を記憶ユニット１３に記憶する処理や、運転制御装置３０に出力する処理でもよい。
　また、処理部１２ｈは、ＶＯＲ情報の算出処理の算出結果によって、運転者Ｄの覚醒度の低下が予兆されるかどうかの判定処理を行い、覚醒度の低下が予兆されると判断される場合には、報知装置３７に検知信号を出力して、移動体Ｍ内へ覚醒度低下に関する報知を指示する処理を行ってもよい。
　また、処理部１２ｈは、報知処理に代えて、又は報知処理とともに、運転者Ｄの覚醒度が低下した状態になっているときのＶＯＲ情報を記憶ユニット１３に記憶する処理を行ってもよい。
　また、処理部１２ｈは、移動体Ｍの移動状態の判定処理を行って、明らかに移動体Ｍが停止している場合、或いは明らかに移動体Ｍが右左折移動を行っている場合を検知し、前記いずれの場合でもない時に限って、前記報知処理、あるいは前記記憶ユニット１３への記憶処理を行ってもよい。
　また、所定の処理は、自動運転モードから手動運転モードへの切り替え時において、運転者Ｄが手動運転への引き継ぎが可能な状態にあるか否かの判定処理を行って、引き継ぎが可能な状態にあると判定された場合（例えば、基準値からの顔の向きのずれが、手動運転に適切な所定範囲内である場合）、運転制御装置３０に、手動運転への切り替えを許可する信号を出力する処理でもよい。
　基準変更部１２ｉは、基準決定部１２ｆで決定された顔の向きの基準、例えば、基準値を変更する処理を行い、変更した基準値を基準記憶部１３ｄに記憶する処理を行う。
　例えば、特定の走行状態（例えば、直進している走行状態）であるときに、算出部１２ｇで算出された前記運転者Ｄの顔の向きと、前記顔の向きの基準との差が所定範囲内である状態（例えば、基準値から一定の方向に顔の向きがずれているが、脇見ほどずれていない状態）で一定期間又は断続的に継続している場合に、前記差が小さくなるように前記顔の向きの基準を変更、例えば補正してもよい。また、基準変更部１２ｉが行う処理には、運転者Ｄが変わった場合に、顔の向きの基準を変更する処理も含まれる。
　実施の形態に係る算出システムは、運転者Ｄが、運転席に着座し、外部の注視点Ｐを注視した状態にあるとき、運転者Ｄの眼球運動、及び頭部運動に基づいて、運転者ＤのＶＯＲ情報が算出される。
　図７は、実施の形態に係る情報処理装置１０の制御ユニット１２が行う、ＶＯＲ情報の算出処理動作全体の一例を示すフローチャートである。
　まず、ステップＳ１では、制御ユニット１２が、カメラ１１により撮影された画像を取得する処理を行い、次にステップＳ２では、取得した画像から運転者Ｄの頭部を含む画像要素ＩＤ２０を抽出し、当該画像要素に含まれる顔器官点を検出したうえで、移動体Ｍ座標系における運転者Ｄの頭部運動を算出する処理を行う。カメラ１１では、毎秒所定フレーム数の画像が撮影される。
　制御ユニット１２は、これら撮影された画像を時系列で取り込み、毎フレーム、又は所定間隔のフレーム毎に本処理を実行する。
　次に、ステップＳ３では、制御ユニット１２が、取得した画像から運転者Ｄの眼球を含む画像要素ＩＤ１０を抽出したうえで、眼球運動を算出する処理を行う。
　次に、ステップＳ４では、ジャイロセンサ２によって得られた情報に基づき、車両運動を算出し、次にステップＳ５に進む。
　ステップＳ５では、絶対座標系に関する運転者Ｄの頭部運動を求めるために、ステップＳ２で算出された車両座標系における運転者Ｄの頭部運動の値に、ステップＳ４で算出された移動体Ｍの絶対座標系における車両運動の値を加算する処理を行う。この加算処理は、例えば、ある時刻における頭部運動を示す値を、当該時刻の車両運動を示す値とを加算する処理である。
　次に、ステップＳ６では、第１判定部１２ｄによって、運転者Ｄが第１の状態にあるか否かが判断され、第１の状態にあると判断されれば、次にステップＳ７に進み、第１の状態にはないと判断されれば、本処理を終了する。
　次に、ステップＳ７では、運転者Ｄが第１の状態にあると判断されたときの絶対座標系に変換された頭部運動及び眼球運動に基づいて、運転者ＤのＶＯＲ情報を算出する処理を行い、その後、ステップＳ８に進む。
　ステップＳ８では、ＶＯＲ情報を記憶ユニット１３に格納して記憶していく処理が行われ、同時に、５秒以上前のデータは消去され、直近５秒間以内のＶＯＲ情報への書換えが行われる。
　その後、ステップＳ９では、５秒間分のデータが格納されたか否かが判断され、格納されたと判断されれば、ステップＳ１０に進み、一方、格納されたと判断されなければ、本処理を終了する。
　ステップＳ１０では、第２判定部１２ｅにおいて頭部運動と眼球運動との相関性が“同方向運動状態にある”と判断されたデータを除外する処理が行われ、その後、ステップＳ１１に進み、ステップＳ１１では、“非同方向運動状態”と判断されたＶＯＲ情報のみの出力処理が行われ、その後、本処理が終了する。
　図８は、実施の形態に係る情報処理装置１０の制御ユニット１２が行う、頭部運動算出処理（図７に示したフローチャートにおけるステップＳ２の処理）の詳細を示すフローチャートである。
　まず、ステップＳ２１では、制御ユニット１２が、カメラ１１により撮影された画像を取得する処理を行い、次に、ステップＳ２２では、取得した画像に基づいて運転者Ｄの頭部ＤＨが検出できるか否かを判断し、運転者Ｄの頭部ＤＨが検出できると判断すると、次にステップＳ２３に進む一方、運転者Ｄの頭部ＤＨが検出できないと判断すると、本処理を終了する。
　ステップＳ２３では、取得した画像に基づいて運転者Ｄの頭部ＤＨから顔器官点ＤＯが検出できるか否かを判断し、顔器官点ＤＯが検出できると判断すると、次にステップＳ２４に進む一方、顔器官点ＤＯが検出できないと判断すると、本処理を終了する。
　ステップＳ２４では、検出された顔器官点の位置の移動量である“顔運動量”を、移動体Ｍにおける車両座標系での運動量（すなわち移動体Ｍに対する相対的顔運動量）として算出する。
　次にステップＳ２５に進み、ステップＳ２５では、顔器官点位置の移動量に基づき、車両座標系における頭部運動を算出し、次に、ステップＳ２６に進む。
　ステップＳ２６では、算出された頭部運動を示す情報を記憶ユニット１３に記憶する処理が行なわれ、その後、本処理を終了する。
　図９は、実施の形態に係る情報処理装置１０の制御ユニット１２が行う、眼球運動算出処理（図７に示したフローチャートにおけるステップＳ３の処理）の詳細を示すフローチャートである。
　まず、ステップＳ３１では、制御ユニット１２が、カメラ１１により撮影された画像を取得する処理を行い、次にステップＳ３２に進み、ステップＳ３２では、取得した画像に基づいて運転者Ｄの頭部ＤＨが検出できるか否かを判断し、運転者Ｄの頭部ＤＨが検出できると判断すると、次にステップＳ３３に進む一方、運転者Ｄの頭部ＤＨが検出できないと判断すると、本処理を終了する。
　ステップＳ３３では、取得した画像に基づいて運転者Ｄの頭部ＤＨから眼球ＤＯが検出できるか否かを判断し、眼球ＤＯが検出できると判断すると、次にステップＳ３４に進む一方、眼球ＤＯが検出できないと判断すると、本処理を終了する。
　ステップＳ３４では、運転者Ｄの眼球ＤＯから瞳孔１０１が検出できるか否かを判断し、瞳孔１０１が検出できると判断すると、次にステップＳ３５に進む一方、瞳孔１０１が検出できないと判断すると、本処理を終了する。
　ステップＳ３５では、瞳孔の移動量を算出し、次にステップＳ３６に進み、ステップＳ３６では、瞳孔の移動量に基づいて、眼球の移動量を算出し、次にステップＳ３７に進み、ステップＳ３７では、眼球の移動量に基づいて、眼球運動を算出する。
　次にステップＳ３８に進み、ステップＳ３８では、算出された眼球運動を記憶ユニット１３に記憶する処理が行なわれ、その後、本処理を終了する。
　図１０は、実施の形態に係る情報処理装置１０の制御ユニット１２が行う、ＶＯＲ情報の算出処理（図７に示したフローチャートにおけるステップＳ７の処理）の詳細を示すフローチャートである。
　まず、ステップＳ７１では、前庭動眼反射のゲイン（ＶＯＲゲイン）が算出される。
　次に、ステップＳ７２では、頭部角速度と眼球角速度の位相差が算出される。
　次に、ステップＳ７３では、ＶＯＲゲインと上記位相差に基づいて、残差標準偏差が算出される。
　次に、ステップＳ７４では、これらのＶＯＲ情報を記憶ユニット１３に記憶する処理が行なわれ、その後、本処理を終了する。
［他の適用例］
　実施の形態に係る情報処理装置を含む算出システムの他の適用例を図１１に示す。本適用例は撮像部として二つのカメラを備えている点、照射部３が不可視光線像を運転者Ｄの眼球に加えて運転者Ｄ背部にも照射する点で、図２に示した適用例とは異なっている。
　図１１に示す適用例では、撮像部が、カメラ１１と補助カメラ４とからなる二つのカメラを異なる位置に備えている。異なる２つの位置から運転者Ｄの頭部を含む画像を取得することで、撮影される画像の奥行き方向の値の変化を確実に得ることができる。
　また、図１１に示す適用例では、運転者Ｄ背部に照射時刻と同期して表示変化する不可視光線の時刻表示画像を照射する。時刻表示画像は例えば時刻変化する時計の画像からなる。カメラによって撮影される画像に時刻表示画像を含めることで、撮影した画像と各画像の撮影時刻との同期を確実に行うことができる。なお、時刻表示画像は、時刻を識別可能な画像であればよい。例えば、時刻表示画像は、時計のような人間が時刻を認識できる画像に限定されず、バーコード、２次元コード等の符号化された画像であってもよい。
　以上、本発明の実施の形態を詳細に説明したが、上記説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。
　上記実施の形態では、算出システムを車両に適用した場合について説明したが、車両以外の他の移動体、例えば、船舶、潜水機、航空機にも適用することが可能である。
［付記］
　本発明の実施の形態は、以下の付記のようにも記載され得るが、これらに限定されない。
　［付記１］
　移動体に設置されたカメラ（１１）によって撮影された顔の画像を用いて、人物の眼球運動を算出する第１の算出部（３１）と、
　前記移動体に設置されたセンサ（２）によって計測された前記移動体の運動データ、及び、
　カメラ（１１）によって撮影された顔の画像を用いて、前記人物の頭部運動を算出する第２の算出部（３２）と、
　を備えていることを特徴とする情報処理装置。
　［付記２］
　移動体Ｍ中の人物の覚醒に関する指標を算出する方法であって、
　移動体Ｍに固定されたカメラ（１１）によって、移動体Ｍ中の人物の顔の画像を撮影する撮像ステップ（Ｓ１）と、
　移動体Ｍに設置されたジャイロセンサ（２）によって、移動中の移動体Ｍの運動データを計測する計測ステップ（Ｓ４）と、
　撮像ステップ（Ｓ１）において撮影された顔の画像を用いて、移動体Ｍ中の人物の眼球運動を算出する第１の算出ステップ（Ｓ３）と、
　撮像ステップ（Ｓ１）において撮影された顔の画像、及び、計測ステップ（Ｓ４）により計測された移動体Ｍの運動データを用いて、移動体Ｍ中の人物の頭部運動を絶対座標系の値として算出する第２の算出ステップ（Ｓ５）と、
　第１の算出ステップ（Ｓ３）において算出された眼球運動、及び、第２の算出ステップにおいて算出された頭部運動を用いて、移動体Ｍ中の人物の覚醒に関する指標を算出する第３の算出ステップ（Ｓ７）と、
　を備えていることを特徴とする指標算出方法。
　［付記３］
　情報処置装置（１０）と、前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動を用いて、前記移動体を制御する制御手段とを備えていることを特徴とする運転支援システム。
　［付記４］
　移動体中の人物の覚醒に関する指標の算出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムであって、
　前記少なくとも１つのコンピュータに、
　移動体Ｍに固定されたカメラ（１１）によって、移動体Ｍ中の人物の顔の画像を撮影する撮像ステップ（Ｓ１）と、
　移動体Ｍに設置されたジャイロセンサ（２）によって、移動中の移動体Ｍの運動データを計測する計測ステップ（Ｓ４）と、
　撮像ステップ（Ｓ１）において撮影された顔の画像を用いて、移動体Ｍ中の人物の眼球運動を算出する第１の算出ステップ（Ｓ３）と、
　撮像ステップ（Ｓ１）において撮影された顔の画像、及び、計測ステップ（Ｓ４）により計測された移動体Ｍの運動データを用いて、移動体Ｍ中の人物の頭部運動を絶対座標系の値として算出する第２の算出ステップ（Ｓ５）と、
　第１の算出ステップ（Ｓ３）において算出された眼球運動、及び、第２の算出ステップにおいて算出された頭部運動を用いて、移動体Ｍ中の人物の覚醒に関する指標を算出する第３の算出ステップ（Ｓ７）と、
　を実行させることを特徴とする覚醒に関する指標算出のためのコンピュータプログラム。
　本発明は、例えば、車両に搭載されるドライバモニタリングシステムなど、移動体に搭載され、移動中の人物の覚醒に関する指標を算出するシステムにおいて広く利用することができる。
１　　　算出システム
２　　　ジャイロセンサ
３　　　照射部
４　　　補助カメラ
１０　　情報処理装置
１１　　カメラ
１１Ａ　瞳孔中心
１２　　制御ユニット
１３　　記憶ユニット
３０　　運転制御装置
３１　　第１の算出部
３２　　第２の算出部
３３　　第３の算出部
３７　　報知装置
１０１　瞳孔
１１０　入出力インターフェース
１２１　角膜反射像
Ｍ　　　移動体
Ｄ　　　運転者
ＤＯ　　顔器官点
Ｘ－Ｙ－Ｚ　絶対座標系における三次元軸

Claims (11)

  1. 　移動体中の人物の顔を撮影する撮像部と、
    　前記移動体の運動データを計測するセンサと、
    　前記撮像部により撮影された顔の画像を用いて前記人物の眼球運動を算出する第１の算出部と、
    　前記センサにより計測された前記移動体の運動データ及び前記撮像部により撮影された顔の画像を用いて前記人物の頭部運動を算出する第２の算出部と、
    　を備えていることを特徴とする算出システム。
  2. 　さらに、前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動を用いて、前記移動体中における人物の覚醒に関する指標を算出する第３の算出部を備えていることを特徴とする請求項１記載の算出システム。
  3. 　前記撮像部により撮影された顔の画像を用いて、前記人物が前記移動体の外部の注視点を注視している第１の状態か否かを判別する第１の判別部をさらに備え、
    　前記第３の算出部は、前記第１の判別部によって第１の状態であると判別された場合の眼球運動及び頭部運動を用いて、前記指標を算出することを特徴とする請求項２記載の算出システム。
  4. 　前記撮像部により撮影された顔の画像を用いて、眼球と頭部とが同方向に運動している第２の状態であるか否かを判別する第２の判別部をさらに備え、
    　前記第３の算出部は、前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動のうち、前記第２の状態における眼球運動及び頭部運動を除外して、前記指標を算出することを特徴とする請求項２又は請求項３記載の算出システム。
  5. 　前記覚醒に関する指標が、前庭動眼反射のゲイン、頭部の角速度と眼球の角速度との位相差、及び前庭動眼反射の残差標準偏差のうちの少なくとも一つの値、或いは、これら値の二つ以上の値に基づく演算値であることを特徴とする請求項２又は請求項３記載の算出システム。
  6. 　前記頭部運動が、
    　前記撮像部により撮影された顔の画像に基づく顔の運動情報と、
    　前記センサにより計測された前記移動体の運動情報と、の対応値同士の加算によって、
    　前記移動体外の絶対座標系の値として算出されることを特徴とする請求項２又は請求項３記載の算出システム。
  7. 　移動体に設置された撮像部によって撮影された顔の画像を用いて、人物の眼球運動を算出する第１の算出部と、
    　前記移動体に設置されたセンサによって計測された前記移動体の運動データ、及び、前記撮像部によって撮影された顔の画像を用いて、前記人物の頭部運動を算出する第２の算出部と、
    　を備えていることを特徴とする情報処理装置。
  8. 　請求項７に記載の情報処理装置と、
    　前記第１の算出部により算出された眼球運動、及び、前記第２の算出部により算出された頭部運動を用いて、前記移動体を制御する制御手段と
    　を備えていることを特徴とする運転支援システム。
  9. 　移動体中の人物の覚醒に関する指標を算出する方法であって、
    　前記移動体に設置された撮像部によって、前記移動体中の前記人物の顔の画像を撮影する撮像ステップと、
    　前記移動体に設置されたセンサによって、移動中の前記移動体の運動データを計測する計測ステップと、
    　前記撮像ステップにおいて撮影された顔の画像を用いて、前記移動体中の前記人物の眼球運動を算出する第１の算出ステップと、
    　前記撮像ステップにおいて撮影された顔の画像、及び、前記計測ステップにおいて計測された前記移動体の運動データを用いて、前記移動体中の前記人物の頭部運動を絶対座標系の値として算出する第２の算出ステップと、
    　前記第１の算出ステップにおいて算出された眼球運動、及び、前記第２の算出ステップにおいて算出された頭部運動を用いて、前記移動体中の人物の覚醒に関する指標を算出する第３の算出ステップと、
    　を備えていることを特徴とする覚醒に関する指標算出方法。
  10. 　移動体中の人物の覚醒に関する指標の算出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムであって、
    　前記少なくとも１つのコンピュータに、
    　前記移動体に設置された撮像部によって、前記移動体中の前記人物の顔の画像を撮影する撮像ステップと、
    　前記移動体に設置されたセンサによって、移動中の前記移動体の運動データを計測する計測ステップと、
    　前記撮像ステップにおいて撮影された顔の画像を用いて、前記移動体中の前記人物の眼球運動を算出する第１の算出ステップと、
    　前記撮像ステップにおいて撮影された顔の画像、及び、前記計測ステップにおいて計測された前記移動体の運動データを用いて、前記移動体中の前記人物の頭部運動を絶対座標系の値として算出する第２の算出ステップと、
    　前記第１の算出ステップにおいて算出された眼球運動、及び、前記第２の算出ステップにおいて算出された頭部運動を用いて、前記移動体中の人物の覚醒に関する指標を算出する第３の算出ステップと、
    　を実行させることを特徴とする覚醒に関する指標算出のためのコンピュータプログラム。
  11. 　移動体中の人物の覚醒に関する指標の算出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
    　前記少なくとも１つのコンピュータに、
    　前記移動体に設置された撮像部によって、前記移動体中の前記人物の顔の画像を撮影する撮像ステップと、
    　前記移動体に設置されたセンサによって、移動中の前記移動体の運動データを計測する計測ステップと、
    　前記撮像ステップにおいて撮影された顔の画像を用いて、前記移動体中の前記人物の眼球運動を算出する第１の算出ステップと、
    　前記撮像ステップにおいて撮影された顔の画像、及び、前記計測ステップにおいて計測された前記移動体の運動データを用いて、前記移動体中の前記人物の頭部運動を絶対座標系の値として算出する第２の算出ステップと、
    　前記第１の算出ステップにおいて算出された眼球運動、及び、前記第２の算出ステップにおいて算出された頭部運動を用いて、前記移動体中の人物の覚醒に関する指標を算出する第３の算出ステップと、
    　を実行させるためのプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
     
PCT/JP2019/006511 2018-03-15 2019-02-21 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体 WO2019176492A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018048269A JP6432702B1 (ja) 2018-03-15 2018-03-15 算出システム、指標算出方法、およびコンピュータプログラム
JP2018-048269 2018-03-15

Publications (1)

Publication Number Publication Date
WO2019176492A1 true WO2019176492A1 (ja) 2019-09-19

Family

ID=64560686

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006511 WO2019176492A1 (ja) 2018-03-15 2019-02-21 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体

Country Status (2)

Country Link
JP (1) JP6432702B1 (ja)
WO (1) WO2019176492A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220095972A1 (en) * 2019-01-21 2022-03-31 Mitsubishi Electric Corporation Attentiveness determination device, attentiveness determination system, attentiveness determination method, and computer-readable storage medium
JP7466766B2 (ja) 2021-05-07 2024-04-12 三菱電機株式会社 反射性眼球運動評価装置、反射性眼球運動評価システム、および反射性眼球運動評価方法
WO2024079779A1 (ja) * 2022-10-11 2024-04-18 三菱電機株式会社 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010032424A1 (ja) * 2008-09-18 2010-03-25 学校法人中部大学 眠気予兆検出装置
WO2010091464A1 (en) * 2009-02-11 2010-08-19 Seeing Machines Limited Method and system for monitoring an operator of machinery
JP2017094121A (ja) * 2016-12-26 2017-06-01 ヤマハ発動機株式会社 人の状態推定装置およびそれを備えた輸送機器
JP2019034723A (ja) * 2017-08-10 2019-03-07 ヤマハ発動機株式会社 視線移動関連値取得装置、それを備えた輸送機器及び視線移動関連値取得方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04288123A (ja) * 1991-03-18 1992-10-13 A T R Shichiyoukaku Kiko Kenkyusho:Kk 視線表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010032424A1 (ja) * 2008-09-18 2010-03-25 学校法人中部大学 眠気予兆検出装置
WO2010091464A1 (en) * 2009-02-11 2010-08-19 Seeing Machines Limited Method and system for monitoring an operator of machinery
JP2017094121A (ja) * 2016-12-26 2017-06-01 ヤマハ発動機株式会社 人の状態推定装置およびそれを備えた輸送機器
JP2019034723A (ja) * 2017-08-10 2019-03-07 ヤマハ発動機株式会社 視線移動関連値取得装置、それを備えた輸送機器及び視線移動関連値取得方法

Also Published As

Publication number Publication date
JP6432702B1 (ja) 2018-12-05
JP2019154929A (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
CN106663377B (zh) 驾驶员的驾驶不能状态检测装置
CN109791739B (zh) 晕车估计装置、晕车防止装置和晕车估计方法
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP5406328B2 (ja) 車両用表示装置、その制御方法及びプログラム
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP6497158B2 (ja) 表示装置、移動体
WO2019176492A1 (ja) 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
CN110826369A (zh) 一种驾驶员驾驶时注意力检测方法和系统
JP2016057839A (ja) 顔向き検出装置及び車両用警告システム
CN109760689A (zh) 驾驶员监视系统
JP6187155B2 (ja) 注視対象物推定装置
JP2015207163A (ja) 状態推定装置、および状態推定プログラム
JP2017027604A (ja) 車両の乗員の視線方向を推定する方法および装置、ならびに車両の乗員に特有の頭部動作増強パラメータを決定する方法および装置
JP2022502757A (ja) 運転者注意状態推定
JP2018183532A (ja) 状態推定装置
JP6708152B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
WO2019155914A1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体
JP4325271B2 (ja) 状態検出装置及び状態検出システム
KR20180129044A (ko) 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
JP7024332B2 (ja) ドライバモニタシステム
JP6948210B2 (ja) 運転支援装置及び運転支援方法
JP6775135B2 (ja) ドライバ状態検出装置
JP6418341B1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP7099036B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP7298351B2 (ja) 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19766955

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19766955

Country of ref document: EP

Kind code of ref document: A1