WO2015019542A1 - 視野算出装置および視野算出方法 - Google Patents

視野算出装置および視野算出方法 Download PDF

Info

Publication number
WO2015019542A1
WO2015019542A1 PCT/JP2014/003532 JP2014003532W WO2015019542A1 WO 2015019542 A1 WO2015019542 A1 WO 2015019542A1 JP 2014003532 W JP2014003532 W JP 2014003532W WO 2015019542 A1 WO2015019542 A1 WO 2015019542A1
Authority
WO
WIPO (PCT)
Prior art keywords
visual field
saccade
user
field range
calculation
Prior art date
Application number
PCT/JP2014/003532
Other languages
English (en)
French (fr)
Inventor
望月　誠
江村　恒一
哲朗 松瀬
伊藤　快
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP14834591.1A priority Critical patent/EP3031388B1/en
Priority to JP2015530677A priority patent/JP6343808B2/ja
Publication of WO2015019542A1 publication Critical patent/WO2015019542A1/ja
Priority to US14/996,057 priority patent/US10117577B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present disclosure relates to a visual field calculation device and a visual field calculation method.
  • Patent Document 1 Conventionally, as a method for calculating a visual field range (also referred to as “visual field region”) of a user who drives a vehicle, for example, there is a method disclosed in Patent Document 1.
  • a moving object for example, a person
  • a user's line-of-sight direction is detected using a means for detecting the user's line-of-sight direction. measure.
  • the visual field range is calculated based on the position of the gazing point.
  • one aspect of the present disclosure provides a visual field calculation apparatus that can calculate the visual field range with a simpler configuration.
  • a visual field calculation apparatus is a visual field calculation apparatus that calculates a visual field range of a user based on a detected user's gaze direction, and the first gaze direction detected at a first timing And a saccade detector for detecting a saccade based on the second gaze direction detected at the second timing, a time difference between the first timing and the second timing, and the first gaze
  • a saccade speed calculation unit that calculates the speed of the saccade based on the direction and the second gaze direction; and a saccade whose saccade speed exceeds a first threshold is extracted, and a displacement vector of the extracted saccade is obtained
  • a visual field range calculation unit that calculates and calculates a region including a start point and an end point of the displacement vector as the visual field range of the user.
  • the visual field calculation apparatus can calculate the visual field range with a simpler configuration.
  • FIG. 1 Graph showing characteristics of extrinsic saccade and endogenous saccade
  • the block diagram which shows the structural example of the driving assistance system which concerns on Embodiment 1 of this indication, and a visual field calculation apparatus.
  • the flowchart which shows an example of the visual field calculation operation
  • Conceptual diagram showing an example of saccade detection processing according to Embodiment 1 of the present disclosure
  • the figure which shows an example of the saccade speed threshold value which concerns on Embodiment 1 of this indication.
  • the flowchart which shows an example of the oversight determination operation
  • the figure which shows an example of the change of the visual field range which concerns on Embodiment 2 of this indication The block diagram which shows the structural example of the driving assistance system which concerns on Embodiment 3 of this indication, and a visual field calculation apparatus.
  • Non-Patent Document 1 (TR S 0004 2010 Data collection regarding age-related changes in visual target detection visual field published by the Japanese Standards Association published on April 1, 2010) discloses a method using target presentation.
  • the method described in Non-Patent Document 1 (hereinafter also referred to as the method of Non-Patent Document 1) presents a visual target on a screen installed in front of the user, and measures the user's response to the visual target. Calculate the field of view.
  • Non-Patent Document 1 the point of the user front on the screen in front of the user is set as the origin, and the eccentric angle with respect to the upper, lower, left, and right, and the upper right, upper left, lower left, and lower right from the origin.
  • the target is presented at a position of 10 to 60 degrees for 200 msec.
  • the method of a nonpatent literature 1 calculates a visual field range based on the judgment result whether the user was able to visually recognize each target in the state which fixed the screen center.
  • the visual field range here is defined as “a visual field in which the presence of an object can be detected”.
  • the visual field range is a range in which the user can notice the presence of an object when the object appears around the line of sight when the user looks at the front.
  • the visual field range is defined as “detection visual field” in Non-Patent Document 1.
  • the visual field range changes due to various factors such as the user's age or state (for example, psychological state, arousal state), foreground complexity, and user's behavior. Since the method of Non-Patent Document 1 is performed for the purpose of maintaining basic data on the field of view of young and elderly people in an experimental environment, the scene where the field of view changes depending on the situation, such as during driving of the vehicle The calculation of the visual field range is not assumed. That is, it is difficult to use the method of Non-Patent Document 1 that requires configurations such as a screen and a target for calculation of the visual field range during driving.
  • a user takes some action including driving a car
  • eye movement occurs to acquire the surrounding environment.
  • the driver obtains about 90% of the information necessary for driving from the visual information, and the driver drives while sequentially switching the object to be watched.
  • the eye movement that occurs when the object to be watched is switched is referred to as a saccade (hereinafter referred to as “SC” as appropriate).
  • the displacement of the saccade is 0.5 to 50 degrees
  • the saccade speed is 100 to 500 degrees / second.
  • saccades are very fast eye movements.
  • extrinsic SC is classified into extrinsic SC and endogenous SC based on the difference in the factors that cause it.
  • An extrinsic SC is also referred to as an externally induced SC, and is an SC that occurs almost reflexly due to a visual stimulus that suddenly appeared in the visual field.
  • the endogenous SC is also referred to as an internally induced SC, and the generation origin is inside the user and occurs consciously. Endogenous SC is considered to be independent of the visual field range.
  • Non-Patent Document 2 Analysis of dynamic characteristics of saccades generated during slidable eye movements, IEICE Transactions Vol.J78-D-II, No.5, pp.845-854, Visually Induced Saccade and Internally Induced In the saccade, the extrinsic SC has a higher maximum velocity than the endogenous SC, and the distribution of the maximum velocity of the extrinsic SC and the intrinsic SC differs depending on the amount of SC displacement. It has become clear.
  • FIG. 1 is a graph showing the characteristics of exogenous SC and endogenous SC.
  • the vertical axis indicates the SC speed (degrees / second)
  • the horizontal axis indicates the SC displacement (degrees)
  • the extrinsic SC is indicated by “+”
  • the intrinsic SC is indicated by “ ⁇ ”.
  • the approximate curve of the extrinsic SC distribution is indicated by a solid line
  • the approximate curve of the intrinsic SC distribution is indicated by a broken line.
  • the extrinsic SC and the intrinsic SC can be separated by providing a threshold value for the SC speed in accordance with the SC displacement amount.
  • Each embodiment of the present disclosure to be described later uses the above principle, excludes the intrinsic SC that is not related to the visual field range, and extracts only the extrinsic SC that is a response to the visual stimulus in the visual field.
  • the visual field range can be calculated with high accuracy.
  • FIG. 2 is a block diagram illustrating a configuration example of the driving support system 100 including the visual field calculation device 130 according to the present embodiment.
  • the driving support system 100 includes an information acquisition unit 110, a gaze direction detection unit 120, a visual field calculation device 130, a visual field range recording unit 140, an oversight determination unit 150, and a display unit 160.
  • the driving support system 100 is mounted on a vehicle such as an automobile, detects a user's oversight of obstacles around the vehicle, and pays attention to the user using at least one of auditory means and visual means. It is a system that performs alerts and warnings. Thereby, it is possible to prevent the user from overlooking obstacles around the vehicle and support safe driving.
  • the “user” in the first to fourth embodiments means a driver of a vehicle on which the driving support system 100 is mounted.
  • the information acquisition unit 110 acquires obstacle information.
  • the obstacle information is information including the presence / absence of an obstacle around the vehicle, the position of the obstacle, the relative speed of the obstacle with the vehicle, and the like. Obstacle information is acquired using a camera installed in the vehicle, a vehicle-mounted sensor such as a millimeter wave radar, a sensor installed on the road side, wireless communication, or the like. Moreover, the obstacle information acquired by another vehicle may be acquired by using vehicle-to-vehicle communication as a means.
  • the gaze direction detection unit 120 detects the user's gaze direction (hereinafter referred to as “gaze direction” as appropriate). For example, the gaze direction detection unit 120 calculates an eye movement using an corneal reflection method or the like from an image acquired using a camera that captures the user's eyeball.
  • the corneal reflection method is a near-infrared light source (point light source) that irradiates the eyeball with near-infrared light, images the eyeball with a camera, and uses the captured image to position the pupil and the position of the corneal reflection image of the light source on the cornea surface. It is a method of detecting. Based on the calculated positional relationship between the pupil and the cornea reflection image, the gaze direction detection unit 120 detects the gaze direction of the user.
  • the gaze direction indicates a direction in which the user's line of sight is directed.
  • the gaze direction is expressed by, for example, a horizontal angle and a vertical angle (unit: degree) with reference to the front direction of the vehicle.
  • the gaze direction detection unit 120 may be, for example, a device installed near the steering column of the driver's seat, or a head-mounted measuring instrument worn by the user.
  • the visual field calculation device 130 calculates the user's visual field range based on the user's gaze direction detected by the gaze direction detection unit 120.
  • the visual field calculation device 130 includes a saccade detection unit 131, a saccade speed calculation unit 132, and a visual field range calculation unit 133.
  • the saccade detection unit 131 acquires the gaze direction of the user detected by the gaze direction detection unit 102 in time series, and detects the presence or absence of a saccade based on it.
  • the saccade speed calculation unit 132 calculates the saccade speed (SC speed) for the saccade detected by the saccade detection unit 131 based on the saccade displacement amount (SC displacement amount) and the duration of the saccade.
  • the visual field range calculation unit 133 calculates the user's visual field range using only saccades whose saccade speed calculated by the saccade speed calculation unit 132 is equal to or greater than a predetermined threshold. Details of this calculation will be described later.
  • the threshold here is a value capable of separating the extrinsic SC and the endogenous SC.
  • the visual field range recording unit 140 records the visual field range of the user calculated by the visual field calculation device 130.
  • the oversight determination unit 150 includes the obstacle information acquired by the information acquisition unit 110, the user's gaze direction calculated by the gaze direction detection unit 120, and the user's visual field range recorded in the visual field range recording unit 140. Based on this, it is determined whether the user has overlooked an obstacle.
  • the display unit 160 presents information indicating the oversight of the obstacle determined by the oversight determination unit 150 to the user.
  • the display unit 160 may display an icon indicating an obstacle on a display device such as a car navigation device, and may output a warning sound or an alarm together with this display.
  • This visual field calculation operation is executed by the visual field calculation device 130.
  • the visual field calculation operation is executed at a predetermined time interval T1 such as 10 minutes, 30 minutes, and 60 minutes, as an example, and is performed independently of an oversight determination operation described later.
  • step S1 the saccade detection unit 131 acquires gaze direction information from the gaze direction detection unit 120, and records the gaze direction of the user indicated by the information as a gaze direction for a predetermined time.
  • the gaze direction information is information indicating the gaze direction of the user detected by the gaze direction detection unit 120.
  • step S2 the saccade detection unit 131 receives the gaze acquired from the start time of the visual field calculation operation (TP1 in FIG. 4) to a time point that is a predetermined time backward (hereinafter referred to as “saccade detection section”; T3 in FIG. 4).
  • the saccade is detected in the saccade detection section T3 using the direction information. If a saccade is detected (step S2: YES), the flow proceeds to step S3. On the other hand, when a saccade is not detected (step S2: NO), the flow proceeds to step S7.
  • the saccade detection process in step S2 will be described with reference to FIG.
  • the vertical axis indicates the user's gaze direction (unit: degree)
  • the horizontal axis indicates time (t)
  • the user's gaze direction shown on the vertical axis in FIG. 4 is an angle of the horizontal component (left, right) as an example. Therefore, hereinafter, detection of a saccade based on a horizontal component will be described. Although description is omitted, saccade detection based on vertical components (upper and lower) is also performed using the same method as described below.
  • Saccade is a very fast eye movement with a speed of 100-500 ° / sec.
  • the saccade detector 131 detects a saccade based on the amount of movement in the gaze direction per unit time.
  • the saccade detection unit 131 calculates D (T) at each time point by using D (T) as the difference between the horizontal angle in the gaze direction at time T and the horizontal angle in the gaze direction at time T + 1.
  • D (T) is an example of D (T).
  • the saccade detection unit 131 detects the time when D (T) exceeds the threshold D_th (an example of the first threshold) as the saccade start time Ts.
  • This saccade start time Ts is indicated by a black circle in FIG. In FIG. 4, t is an example of Ts.
  • the saccade detection unit 131 detects a time point that is below the threshold value D_th as a saccade end time Te.
  • the saccade end time Te is indicated by a double circle in FIG. In FIG. 4, t + 2 is an example of Te.
  • the saccade detector 131 detects the time Ts to Te as the saccade section ST, and D (Ts) + D (Ts + 1) +... + D (Te ⁇ 1) as the saccade displacement amount SD.
  • t to t + 1 are examples of ST
  • D (t) + D (t + 1) is an example of SD.
  • the saccade detection unit 131 in the saccade detection section T3, the saccade SC (1) to saccade SC (N: N is a positive integer; the same applies hereinafter) and the saccade section ST ( 1) to ST (N) and saccade displacement amounts SD (1) to SD (N) are detected.
  • N is a positive integer; the same applies hereinafter
  • the saccade section ST ( 1) to ST (N) and saccade displacement amounts SD (1) to SD (N) are detected.
  • the saccade section ST and the saccade displacement amount SD are not shown.
  • step S3 the saccade speed calculation unit 132 calculates the saccade speed SV (i) based on the detected saccade section ST (i) and the saccade displacement amount SD (i). For example, the saccade speed calculation unit 132 calculates SD (i) / ST (i) and calculates SV (i).
  • the visual field range calculation unit 133 extracts saccades whose saccade speed is equal to or higher than a predetermined threshold among the detected saccades.
  • the threshold here is a value capable of separating the extrinsic SC and the endogenous SC. Therefore, the extracted saccade is exogenous SC.
  • the threshold value may be changed according to the saccade displacement amount SD.
  • step S5 the field-of-view range calculation unit 133 sets, for the extracted extrinsic SC, a vector having the coordinates at the saccade start time as the start point and the coordinates at the saccade end time as the end point (hereinafter referred to as “exogenous SC vector”). Is calculated. Then, the visual field range calculation unit 133 calculates a region calculated by a plurality of extrinsic SC vectors as the visual field range. Both the coordinates at the saccade start time and the coordinates at the saccade end time described above are coordinates obtained based on the user's gaze direction (the angle of the horizontal component and the angle of the vertical component).
  • FIG. 6 shows an example of the visual field range calculated in step S5.
  • FIG. 6A shows, as a field of view, an area (polygonal outline in FIG. 6A) defined by matching the start points of all of a plurality of extrinsic SC vectors and combining the end points of all of the plurality of exogenous SC vectors. It is calculated.
  • FIG. 6B the start points of all of the plurality of extrinsic SC vectors are matched so that all of the plurality of extrinsic SC vectors are included, and among the plurality of exogenous SC vectors, an extrinsic factor that is larger than a predetermined value.
  • the visual field range approximated as an elliptical shape based on the end point coordinates of the extrinsic SC vector is shown using only the characteristic SC vector.
  • a general method such as a least square method may be used.
  • step S6 the visual field range recording unit 140 records the visual field range calculated as described above. This visual field range is used for, for example, an oversight determination described later.
  • step S7 the visual field range calculation unit 133 does not calculate the visual field range. Therefore, the visual field range recording unit 140 does not record the visual field range. In this case, in the oversight determination described later, the visual field range recorded in the visual field range recording unit 140 is used.
  • This oversight determination operation is executed by the oversight determination unit 150.
  • the oversight determination operation is performed independently of the above-described visual field calculation operation at a predetermined time interval T2 such as 10 msec, 20 msec, and 30 msec.
  • step S10 the information acquisition unit 110 acquires obstacle information.
  • the obstacle information is information including the presence or absence of an obstacle around the vehicle, the position of the obstacle, the relative speed of the obstacle with the vehicle, and the like.
  • the information acquisition unit 110 outputs the acquired obstacle information to the oversight determination unit 150.
  • the gaze direction detection unit 120 detects the gaze direction of the user.
  • the gaze direction indicates a direction in which the user's line of sight is directed, and is expressed by, for example, a horizontal angle and a vertical angle with the front direction of the vehicle as the origin direction.
  • the gaze direction detection unit 120 outputs gaze direction information indicating the detected gaze direction to the oversight determination unit 150.
  • the origin direction is not limited to the front direction of the vehicle, and may be any direction.
  • step S ⁇ b> 12 the oversight determination unit 150 acquires the visual field range from the visual field range recording unit 140.
  • step S13 the oversight determination unit 150 performs an oversight determination that determines whether the user has overlooked an obstacle based on the obstacle information, the gaze direction information, and the visual field range. Note that gaze direction information may be used in this oversight determination.
  • FIG. 8 is a conceptual diagram for explaining oversight determination when a pedestrian (an example of an obstacle) is detected in front of a driving vehicle.
  • the center coordinates 40 of the obstacle (pedestrian) are included in the visual field range 20 centering on the gazing point 30 in the front window 10 of the vehicle.
  • the oversight determination unit 150 determines that the user has not overlooked an obstacle (no oversight).
  • the central coordinates 40 of the obstacle (pedestrian) are not included in the visual field range 20 centering on the gazing point 30.
  • the oversight determination unit 150 determines that the user has overlooked an obstacle (there is an oversight).
  • the oversight determination unit 150 outputs oversight occurrence information indicating that to the display unit 160.
  • the visual field range 20, the gazing point 30, and the center coordinates 40 of the obstacle are included in the range of the front window 10, but actually, the visual field range 20, The gaze point 30 and the center coordinates 40 of the obstacle are not displayed on the front window 10. That is, the user does not visually recognize the visual field range 20, the gazing point 30, and the center coordinates 40 of the obstacle.
  • step S14 the display unit 160 presents information (for example, an icon indicating an obstacle) for notifying the user of the oversight based on the occurrence information of the oversight.
  • this information presentation may output a warning sound or an alarm together with the display of information.
  • the visual field calculation device 130 is characterized by detecting a saccade based on a user's gaze direction and calculating a visual field range based on the saccade.
  • the field-of-view calculation device 130 does not use a configuration for presenting a target, and does not use information acquired by a means (for example, a camera) for detecting a moving object outside the vehicle. Can be calculated. Therefore, the visual field calculation device 130 of the present embodiment can calculate the visual field range with a simpler configuration.
  • the visual field calculation device 130 when the user gazes at a moving body outside the visual field range at will or when the user gazes at a moving body outside the visual field range for safety confirmation, the visual field range is calculated. There is a problem of becoming inaccurate.
  • the visual field calculation device 130 according to the present embodiment is characterized in that, among the detected saccades, the intrinsic SC based on free will and safety confirmation is excluded, and the visual field range is calculated based only on the extrinsic SC. To do. With this feature, the visual field calculation device 130 can calculate the visual field range with higher accuracy.
  • Patent Document 2 Japanese Patent Laid-Open No. 2005-95572
  • a technique for calculating the user's visual field based on the user's gaze point and the presence / absence of the blink action is also known.
  • the frequency of blink action varies greatly depending on the user's arousal state or individual differences, it is difficult to calculate the visual field range when the user's arousal state is low or the user has few blinking actions.
  • the visual field calculation device 130 detects the saccade based on the user's gaze direction, and calculates the visual field range based on the saccade, thereby calculating the visual field range at least with the frequency of the blink action. it can.
  • the driving support system 100 of the present embodiment detects the user's oversight based on the visual field range calculated with high accuracy, it is possible to prevent the user's oversight of the obstacle with high accuracy.
  • the gaze direction detection unit 120 has been described using a camera that captures the user's face and eyeballs.
  • the gaze direction may be calculated using an EOG (Electrooculogram) method.
  • the EOG method is a method of measuring eye movement from a change in potential of electrodes arranged on the left and right or above and below the eyeball.
  • the EOG method utilizes the property that the cornea of the eyeball is positively charged with respect to the retina. By utilizing this property, it is possible to measure eye movement from the potential change at the left and right or upper and lower electrodes of the eyeball.
  • the gaze direction detection unit 120 may measure the eye movement in a head-mounted manner, or an electrode embedded in a car seat (mainly a headrest) may be the head of the driver who is seated.
  • the eye movement may be measured by making contact with the vicinity of the part.
  • the field of view range calculated by the field of view calculation device 130 has been described as being presented when the user has overlooked an obstacle.
  • control may be performed so that an overlooked obstacle is irradiated with a headlight of the vehicle.
  • the accelerator and the handle may be controlled to avoid a collision between an overlooked obstacle and the vehicle.
  • the saccade detector 131 calculates the saccade displacement amount SD_XY on the two-dimensional plane based on the saccade displacement amount ⁇ X in the horizontal direction and the saccade displacement amount ⁇ Y in the vertical direction according to the following equation (1), SD_XY exceeding the threshold value may be extracted as an extrinsic SC.
  • the user's gaze direction is described as an angle (unit: degree) in the horizontal direction or the vertical direction with the front direction of the vehicle as the origin direction, but is not limited thereto.
  • the user's gaze direction is defined as a gaze point at the intersection of a predetermined plane that is perpendicular to the origin in the front direction of the vehicle and each gaze direction, and the gaze point coordinates in the horizontal and vertical directions It may be expressed as (unit: cm or m).
  • the visual field range calculation unit 144 holds a visual field model (for example, a circle, an ellipse, etc.) in advance, for example, at least one extrinsic property
  • the visual field range may be estimated based on the SC vector and the visual field model.
  • the visual field calculation device 130 may include a “visual field model holding unit” that stores and holds the visual field model separately from the visual field range calculation unit 144. This example will be described below.
  • FIG. 9 is a block diagram illustrating a configuration example of the driving support system 100 including the visual field calculation device 130 according to a modification of the present embodiment.
  • the configuration shown in FIG. 9 is different from the configuration shown in FIG. 2 in that the visual field calculation device 130 includes a visual field model holding unit 134. 9, the same components as those in FIG. 2 are denoted by the same reference numerals. Hereinafter, only differences from the configuration shown in FIG. 2 will be described.
  • the visual field model holding unit 134 stores at least one visual field model having a predetermined shape in which a reference point is defined.
  • the visual field model is model data indicating the visual field range of the user.
  • An example of the visual field model is shown in FIG. FIG. 10 shows three types of visual field models 50, 51, and 52 as an example.
  • the visual field model 50 is a circle centered on the reference point.
  • the visual field model 51 is an ellipse centered on the reference point and the ratio of the major axis to the minor axis is set to a predetermined value.
  • the visual field model 52 has an arbitrary shape in which a reference point is defined.
  • step S21 the visual field range calculation unit 133 acquires the visual field model held in the visual field model holding unit 134.
  • the visual field range calculation unit 133 calculates the visual field range based on the extracted extrinsic SC displacement vector and the acquired visual field model. For example, the visual field range calculation unit 133 matches the start point of the displacement vector of at least one extrinsic SC with the reference point of the visual field model, and expands or contracts the contour of the visual field model according to the end point of the displacement vector. Calculate the field of view.
  • the visual field range calculation unit 133 enlarges the contour of the visual field model 50 in accordance with the end point of the displacement vector 60 of the extrinsic SC. Thereby, the visual field range 70 is calculated.
  • the visual field range calculation unit 133 enlarges the contour of the visual field model 51 in accordance with the end point of the displacement vector 61 of the extrinsic SC. Thereby, the visual field range 71 is calculated.
  • the visual field range calculation unit 133 enlarges the contour of the visual field model 52 in accordance with the end point of the displacement vector 62 of the extrinsic SC. Thereby, the visual field range 72 is calculated.
  • the visual field range calculated in this way is recorded in the visual field range recording unit 140, and is used for, for example, the above-described oversight determination.
  • the visual field calculation device 130 of the modified example of the present embodiment described above can obtain the same operational effects as the configuration shown in FIG. Further, the visual field calculation device 130 according to the modification of the present embodiment calculates a user's visual field range by using a predetermined visual field model when at least one extrinsic SC displacement vector can be detected. Even when the number of saccades detected in the saccade detection section T3 is small, the visual field range can be calculated accurately. In addition, since the visual field range can be calculated from a small number of saccades, the visual field calculation device 130 shortens a predetermined time interval T1 (for example, 10 minutes, 30 minutes, 60 minutes, etc.) that is an update interval of the visual field range. Is possible. As a result, the visual field calculation device 130 can detect a change in the visual field range of the user without a time delay even when the visual field range fluctuates due to the complexity of the traveling environment during driving or the influence of the traveling speed. It becomes possible.
  • a predetermined time interval T1 for example, 10 minutes, 30
  • FIG. 13 is a block diagram illustrating a configuration example of the driving support system 100 including the visual field calculation device 130 according to the present embodiment.
  • the configuration shown in FIG. 13 differs from the configuration of the first embodiment (FIG. 2) in that the visual field calculation device 130 includes a visual field calculation time setting unit 135.
  • FIG. 13 the same components as those in FIG. Hereinafter, only differences from the configuration of the first embodiment will be described.
  • the visual field calculation time setting unit 135 sets a saccade detection section T3 as a time to be used for visual field calculation by estimating a time point at which the visual field range is assumed to have changed.
  • FIG. 14 is different from the flow of the first embodiment (FIG. 3) in that steps S31 and S32 are included. 14, the same processes as those in FIG. 3 are denoted by the same reference numerals. Hereinafter, only differences from the flow of the first embodiment will be described.
  • step S31 when the visual field calculation device 130 starts the visual field calculation operation, the visual field range calculation time setting unit 135 determines that the visual field range has changed before the start time of the visual field calculation operation (hereinafter referred to as “visual field range change”). Time)).
  • the estimation of the visual field range change time includes information indicating a change in the speed of the vehicle, information for a car navigation system (for example, information indicating a road type, information indicating a building around the road), and a user's arousal level, Alternatively, information indicating a distraction state is used. Details of this estimation will be described later with reference to FIG.
  • step S32 the visual field range calculation time setting unit 135 sets a section (time) from the visual field range change time to the start time of the visual field calculation operation as a new saccade detection section T3 (S32).
  • the visual field range of a user during driving depends on the complexity of the driving environment (the number of objects around the vehicle that need attention), the driving speed of the vehicle, the user's arousal state, the distraction state, etc. It is known to change. Specifically, it is known that as the driving environment becomes more complicated (the number of objects existing around the vehicle increases), the user's visual field range becomes narrower, and as the traveling speed increases, the user's visual field range increases. . In addition, when sleepiness occurs during driving and the user's arousal state decreases, or when the driver's distraction occurs due to thoughts or conversations with passengers, the visual field range tends to narrow. .
  • FIG. 15 focuses on the relationship between the traveling speed of the vehicle and the visual field range, and schematically shows the change of the visual field range when shifting from general road traveling (driving at low to medium speed) to highway traveling (driving at high speed). It is a representation. Steps S31 and S32 will be described with reference to FIG.
  • the visual field range calculation time setting unit 135 estimates a time point when the visual field range becomes larger (a time point when entering the expressway from the general road) before the visual field calculation operation start time point TP1 as a visual field range change time point TP0 (step S31). ). Then, the visual field range calculation time setting unit 135 sets the visual field range change time point TP0 to the visual field range calculation operation start time point TP1 as a new saccade detection section T3 (step S32).
  • the visual field calculation device 130 of the present embodiment described above can obtain the same functions and effects as those of the first embodiment. Furthermore, even if the saccade detection section T3 is set in advance, the visual field calculation device 130 according to the present embodiment, when a visual field range change time point is detected, starts from that time point as a new saccade detection section T3. Since it changes, it becomes possible to calculate a user's visual field range more correctly.
  • FIG. 16 is a block diagram illustrating a configuration example of the driving support system 100 including the visual field calculation device 130 according to the present embodiment.
  • the configuration shown in FIG. 16 is different from the configuration of the first embodiment (FIG. 2) in that the visual field calculation device 130 has a face direction detection unit 136, the driving support system 100 has a vehicle information acquisition unit 170, and navigation information. The difference is that the acquisition unit 180 is provided. 16, the same components as those in FIG. 2 are denoted by the same reference numerals. Hereinafter, only differences from the configuration of the first embodiment will be described.
  • the driving support system 100 displays vehicle information and navigation information (both described later) superimposed on the foreground on the head-up display so that the user can easily understand and do not bother (hereinafter referred to as “AR”). (Augmented Reality) display). Therefore, in the present embodiment, the driving support system 100 can be said to be an information presentation system that presents various types of information to the user.
  • AR Augmented Reality
  • the driving support system 100 includes an information acquisition unit 110, a gaze direction detection unit 120, a visual field calculation device 130, a visual field range recording unit 140, a vehicle information acquisition unit 170, a navigation information acquisition unit 180, an AR information display control unit 151, a head-up display. 161.
  • the visual field calculation device 130 includes a face direction detection unit 136 in addition to the saccade detection unit 131, the saccade speed calculation unit 132, and the visual field range calculation unit 133.
  • the vehicle information acquisition unit 170 acquires vehicle information.
  • vehicle information includes information related to the vehicle, such as vehicle speed, shift lever information, and fuel information.
  • Navigation information acquisition unit 180 acquires navigation information.
  • the navigation information is information indicating, for example, the position of the vehicle, the name of the road, the type of road, the name of a building (facility, store, etc.) around the road, and the like.
  • the AR information presentation control unit 151 records the obstacle information from the information acquisition unit 110, the vehicle information from the vehicle information acquisition unit 170, and the display method of the navigation information from the navigation information acquisition unit 180 in the visual field range recording unit 140. Control according to the visual field range of the user.
  • the head-up display 161 superimposes obstacle information, vehicle information, and navigation information on the foreground according to the display method controlled by the AR information presentation control unit 151 and displays the AR.
  • the head-up display 161 is, for example, an entire area or a part of the front window of the vehicle.
  • the head-up display 161 may be a head-up display independent of the front window, or may be a glasses-type head-mounted display worn by the user.
  • the face direction detection unit 136 is, for example, a device installed near the steering column of the driver's seat, and detects the user's face orientation from the user's face and eyeball images. For example, the face direction detection unit 136 first detects the user's face area and the user's eye area by pattern matching. Thereafter, the face direction detection unit 136 calculates the angle of the face direction of the user in the vertical direction and the horizontal direction based on the position of the user's eye area with respect to the user's face area, and obtains face direction information indicating the angle. Generate.
  • a head-mounted measuring instrument worn by the user may be used as the face direction detection unit 136. In the case of a head-mounted measuring instrument, it is possible to calculate the angle of the face orientation of the user in the vertical direction and the horizontal direction using a gyro sensor built in the measuring instrument.
  • the effective visual field calculation operation is an operation for calculating an effective visual field range from the relationship between the face direction of the user and the gaze direction when a saccade occurs.
  • the effective visual field range refers to a range in which information can be received only by moving the line of sight without moving the face during driving.
  • the information presentation control operation indicates that information with high priority (for example, obstacle information) is AR-displayed within the effective visual field range, and information with low priority (for example, vehicle information and navigation information) is out of the effective visual field range. It is an operation to be displayed.
  • step S41 when the visual field calculation device 130 starts an effective visual field calculation operation, the face direction detection unit 136 determines the angle of the user's face (vertical angle and horizontal angle) in a predetermined saccade detection section T3. Detect and generate face orientation information.
  • the face direction information is information indicating the angle of the user's face direction in the vertical direction and the horizontal direction.
  • the face direction detection unit 136 outputs the generated face orientation information to the visual field range calculation unit 133.
  • step S42 the visual field range calculation unit 133 calculates a face direction displacement amount at the time of occurrence of the saccade for each detected saccade.
  • FIG. 18A is a diagram showing changes in the gaze direction of the user in the saccade detection section T3 in time series, and is the same diagram as FIG.
  • FIG. 18B is a diagram showing, in time series, changes in the direction of the user's face in the saccade detection section T3.
  • T, t + 1, t + 2, and t + 3 in FIG. 18A correspond to t, t + 1, t + 2, and t + 3 in FIG. 18B, respectively.
  • FIG. 18A is a diagram showing changes in the gaze direction of the user in the saccade detection section T3 in time series, and is the same diagram as FIG.
  • FIG. 18B is a diagram showing, in time series, changes in the direction of the user's face in the saccade detection section T3.
  • T, t + 1, t + 2, and t + 3 in FIG. 18A correspond to t, t + 1, t + 2, and t + 3 in FIG. 18B, respectively.
  • FIG. 18A is a diagram showing changes in the
  • the field-of-view range calculation unit 133 determines the SC start point (time point indicated by a black circle) detected from the user's gaze direction and the SC end point in each saccade SC (1) to SC (N) The difference in the face direction at the time indicated by a double circle) is calculated as the face direction displacement amount SD (i) _face (unit: degree).
  • the visual field range calculation unit 133 extracts only the extrinsic SC whose face direction displacement amount SD (i) _face is less than or equal to a threshold value SD_face_Th (an example of a second threshold value) from the extracted extrinsic SCs. Extract as a saccade.
  • the threshold value SD_face_Th is predetermined for each horizontal direction and vertical direction, for example, ⁇ 3 degrees in the horizontal direction and ⁇ 2 degrees in the vertical direction.
  • step S5 the visual field range calculation unit 133 calculates the effective visual field range using only saccades in the effective visual field. Thereafter, the effective visual field range is recorded in the visual field range recording unit 140.
  • the effective visual field range calculated here will be described later with reference to FIG.
  • This information presentation control operation is executed by the visual field calculation device 130.
  • the information presentation control operation is executed independently of the above-described effective visual field calculation operation at a predetermined time interval T2 such as 10 msec, 20 msec, and 30 msec as an example.
  • the information acquisition unit 110 acquires obstacle information.
  • the obstacle information is information including the presence or absence of an obstacle around the vehicle, the position of the obstacle, the relative speed of the obstacle with the vehicle, and the like.
  • the obstacle information includes a display of a warning to the user regarding the obstacle.
  • the information acquisition unit 110 outputs the acquired obstacle information to the AR information presentation control unit 151.
  • step S52 the vehicle information acquisition unit 170 acquires vehicle information.
  • the vehicle information is information including vehicle speed, shift lever information, fuel information, and the like.
  • the vehicle information acquisition unit 170 outputs the acquired vehicle information to the AR information presentation control unit 151.
  • the navigation information acquisition unit 180 acquires navigation information.
  • the navigation information is information including the position of the vehicle, the name of the road, the type of road, the name of a building (facility, store, etc.) around the road, and the like.
  • step S54 the AR information display control unit 151 reads the effective visual field range recorded in the visual field range recording unit 140.
  • step S55 the AR information presentation control unit 151 AR-displays obstacle information having a high priority within the read effective visual field range, and vehicle information and navigation information having a low priority outside the effective visual field range.
  • the display of the head-up display 161 is controlled to display. Assume that priorities of obstacle information, vehicle information, and navigation information are determined in advance.
  • step S56 the head-up display 161 presents information based on the control of the AR information presentation control unit 151.
  • FIG. 20 is a diagram illustrating an example of information presentation on the head-up display 161.
  • the vehicle 80 and the lane 81 are real images.
  • the vehicle 80 is another vehicle that is traveling ahead and is an example of the obstacle indicated by the obstacle information.
  • an effective visual field range 21 exists around the reference point 30 near the front of the user. This effective visual field range 21 is not visually recognized by the user.
  • a warning character 90 an example of obstacle information
  • an arrow an example of navigation information
  • a remaining fuel amount display 92, and a vehicle speed display 93 both examples of vehicle information
  • the reference point 30 is a fixed point near the front of the user as an example, but the user's gaze direction detected by the gaze direction detection unit 120 may be used as the reference point.
  • the visual field calculation device 130 of the present embodiment described above detects a saccade based on the user's gaze direction, and based on this, the user can accept information only by moving the line of sight without moving the face during driving. Calculate the field of view. Therefore, the field-of-view calculation apparatus 130 calculates the effective field-of-view range without using a configuration for presenting a target, and without using information acquired by means for detecting a moving object outside the vehicle (for example, a camera). It can be calculated. Therefore, the visual field calculation device 130 can calculate the effective visual field range with a simpler configuration. In addition, the effective visual field range can be calculated at least with the frequency of blink action.
  • the visual field calculation device 130 of the present embodiment can calculate the effective visual field range with higher accuracy by calculating the effective visual field range based only on the extrinsic SC.
  • the driving support system 100 of the present embodiment described above displays information with high priority in the effective visual field range, and displays information with low priority outside the effective visual field range.
  • the driving user can visually recognize the information with high priority only by moving the line of sight without moving the face, and does not feel bothered by the display of information with low priority.
  • the driving support system 100 even when the effective visual field range of the user changes during driving, the driving support system 100 always presents information that is easy to understand and not bothered by changing the display position of the AR display in accordance with the change. It can be carried out.
  • the effective visual field range is used for the information presentation control operation.
  • Low information may be displayed outside the effective visual field range and within the visual field range.
  • the present disclosure is useful for a technique (for example, an apparatus, a system, a method, a program, and the like) that calculates a user's visual field range.
  • a technique for example, an apparatus, a system, a method, a program, and the like
  • the present disclosure is not limited to a user who is driving, and can be applied to a technique for calculating a visual field range of a user in a situation other than driving by using a device that can be worn by the user.
  • DESCRIPTION OF SYMBOLS 100 Driving assistance system 110 Information acquisition part 120 Gaze direction detection part 130 Field of view calculation apparatus 131 Saccade detection part 132 Saccade speed calculation part 133 Field of view range calculation part 134 Field of view model holding part 135 Field of view calculation time setting part 136 Face direction detection part 140 Field of view range Recording unit 150 Overlook determination unit 151 AR information presentation control unit 160 Display unit 161 Head-up display 170 Vehicle information acquisition unit 180 Navigation information acquisition unit

Abstract

複雑な構成を用いることなく、ユーザの視野範囲を高精度に算出できる視野算出装置を提供する。視野算出装置（１３０）は、第１のタイミングで検出された第１の注視方向と、第２のタイミングで検出された第２の注視方向とに基づいて、サッケードを検出するサッケード検出部（１３１）と、第１のタイミングと第２のタイミングとの時間差と、第１の注視方向と、第２の注視方向とに基づいて、サッケードの速度を算出するサッケード速度算出部（１３２）と、サッケードの速度が第１の閾値を超えるサッケードを抽出し、抽出したサッケードの変位ベクトルを算出し、変位ベクトルの終点を含む領域をユーザの視野範囲として算出する視野範囲算出部（１３３）と、を備える。

Description

視野算出装置および視野算出方法
　本開示は、視野算出装置および視野算出方法に関する。
　従来、車両を運転するユーザの視野範囲（「視野領域」ともいう）を算出する方法として、例えば特許文献１に開示されている方法がある。特許文献１に記載の方法では、車外の移動体を検出する手段を用いて車外の移動物体（例えば人物）を検出し、かつ、ユーザの視線方向を検出する手段を用いてユーザの視線方向を計測する。そして、移動物体および視線方向に基づいてユーザが車外の移動物体を注視していると判定した場合、注視点の位置に基づいて視野範囲を算出する。
特開２０１１－２０６０７２号公報
　しかしながら、特許文献１の方法では、ユーザの視線方向を検出する手段に加えて、車外の移動体を検出する手段（例えば、カメラなどのデバイス）を備える必要があり、構成が複雑になる。
　そこで、本開示の一態様は、より構成が簡易な、視野範囲を算出できる視野算出装置を提供する。
　本開示の一態様に係る視野算出装置は、検出されたユーザの注視方向に基づいて前記ユーザの視野範囲を算出する視野算出装置であって、第１のタイミングで検出された第１の注視方向と、第２のタイミングで検出された第２の注視方向とに基づいて、サッケードを検出するサッケード検出部と、前記第１のタイミングと前記第２のタイミングとの時間差と、前記第１の注視方向と、前記第２の注視方向とに基づいて、前記サッケードの速度を算出するサッケード速度算出部と、前記サッケードの速度が第１の閾値を超えるサッケードを抽出し、抽出したサッケードの変位ベクトルを算出し、前記変位ベクトルの始点および終点を含む領域を前記ユーザの視野範囲として算出する視野範囲算出部と、を備える。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示に係る視野算出装置によれば、より簡易な構成により視野範囲を算出できる。
外因性サッケードと内因性サッケードの特性を示すグラフ 本開示の実施の形態１に係る運転支援システムおよび視野算出装置の構成例を示すブロック図 本開示の実施の形態１に係る視野算出動作の一例を示すフローチャート 本開示の実施の形態１に係るサッケード検出処理の一例を示す概念図 本開示の実施の形態１に係るサッケード速度閾値の一例を示す図 本開示の実施の形態１に係る視野算出装置で算出された視野の一例を示す概念図 本開示の実施の形態１に係る見落し判定動作の一例を示すフローチャート 本開示の実施の形態１に係る見落し判定動作の結果の一例を示す概念図 本開示の実施の形態１の変形例に係る運転支援システムおよび視野算出装置の構成例を示すブロック図 本開示の実施の形態１の変形例に係る視野パタンの一例を示す概念図 本開示の実施の形態１の変形例に係る視野算出動作の一例を示すフローチャート 本開示の実施の形態１の変形例に係る視野算出動作の一例を示す概念図 本開示の実施の形態２に係る運転支援システムおよび視野算出装置の構成例を示すブロック図 本開示の実施の形態２に係る視野算出動作の一例を示すフローチャート 本開示の実施の形態２に係る視野範囲の変化の一例を示す図 本開示の実施の形態３に係る運転支援システムおよび視野算出装置の構成例を示すブロック図 本開示の実施の形態３に係る視野算出動作の一例を示すフローチャート 本開示の実施の形態３に係るサッケード検出処理および顔変位量算出処理の一例を示す概念図 本開示の実施の形態３に係る情報提示制御動作の一例を示すフローチャート 本開示の実施の形態３に係るＡＲ表示の一例を示す概念図
　（視標の提示を用いた視野範囲の算出）
　まず、一般的な視野範囲の算出の例を示す。視標の提示を用いる方法が、例えば非特許文献１（TR　S　0004　2010　視標検出視野の加齢変化に関するデータ集　日本規格協会発行　２０１０年４月１日公表）に開示されている。非特許文献１に記載されている方法（以下、非特許文献１の方法ともいう）は、ユーザの前方に設置したスクリーンに視標を提示し、その視標に対するユーザの反応を計測することにより、視野範囲を算出する。
　以下、具体的に解説する。非特許文献１の方法では、ユーザ前方のスクリーン上のユーザ正面の点を原点として、原点から上・下・左・右と、右上・左上・左下・右下の８方向に対して、離心角度１０～６０度の位置に２００ｍｓｅｃ間視標を提示する。そして、非特許文献１の方法は、ユーザがスクリーン中央を固視した状態で各視標を視認できたか否かの判断結果に基づいて、視野範囲を算出する。ここでいう視野範囲とは、「物体の存在を検出することのできる視野」として定義されている。具体的には、視野範囲は、ユーザが正面を見た状態において視線の周辺に物体が出現した場合に、ユーザがその物体の存在に気づくことのできる範囲である。視野範囲は、非特許文献１では「検出視野」として定義されている。
　一般に、視野範囲は、ユーザの年齢または状態（例えば、心理状態、覚醒状態）、前景の複雑さ、ユーザの動作などの様々な要因に起因して変化する。非特許文献１の方法は、実験環境下における若年者と高齢者の視野範囲の基本データの整備を目的に行われているため、車両の運転中等の、状況に応じて視野範囲が変化する場面における視野範囲の算出を想定していない。すなわち、スクリーンおよび視標などの構成を必須とする非特許文献１の方法を、運転中における視野範囲の算出に用いることは困難である。
　（視野範囲の算出に用いる原理）
　後述する本開示の各実施の形態において視野範囲の算出（以下、適宜「視野算出」ともいう）に用いる原理について説明する。
　通常、自動車の運転をはじめとする何らかの行動をユーザがとる場合、周辺の環境を取得するために眼球運動が発生する。自動車の運転の場合、運転者は運転に必要な情報のおよそ９０％を視覚情報から得ていると言われており、運転者は注視する対象物を順次切り替えながら運転する。このように、注視する対象物を切り替えるときに発生する眼球運動を、サッケード（以下、適宜「ＳＣ」という）という。サッケードの変位量は０．５度～５０度、サッケードの速度は１００～５００度／秒である。よって、サッケードは、非常に高速な眼球運動である。
　ＳＣは、その発生要因の違いから、外因性ＳＣと内因性ＳＣに分類される。外因性ＳＣは、外部誘発ＳＣとも言われ、視野内に突然現れた視覚刺激を原因として、ほぼ反射的に生じるＳＣである。一方、内因性ＳＣは、内部誘発ＳＣとも言われ、その発生起源がユーザ内部にあり、意識的に生じるものである。また、内因性ＳＣは、視野範囲とは無関係と考えられる。
　外因性ＳＣと内因性ＳＣの特性については、様々な研究が行われている。その結果、非特許文献２（滑動性眼球運動中に発生するサッカードの動特性解析　電子情報通信学会論文誌Vol.J78-D-II　No.5　pp．８４５－８５４、視覚誘発サッケードと内部誘発サッケードにおける覚醒水準依存性）において、外因性ＳＣは内因性ＳＣと比較して最高速度が大きいこと、また、ＳＣの変位量に応じて外因性ＳＣと内因性ＳＣの最高速度の分布が異なることなどが、明らかになっている。
　図１は、外因性ＳＣと内因性ＳＣの特性を示すグラフである。図１において、縦軸はＳＣ速度（度／秒）、横軸はＳＣ変位量（度）を示し、外因性ＳＣを“＋”、内因性ＳＣを“－”で示している。また、図１において、外因性ＳＣの分布の近似曲線を実線、内因性ＳＣの分布の近似曲線を破線で示している。この図１から明らかなように、ＳＣ変位量に応じてＳＣ速度に閾値を設けることで、外因性ＳＣと内因性ＳＣを分離することが可能であると考えられる。
　後述する本開示の各実施の形態は、上記原理を用い、視野範囲とは無関係な内因性ＳＣを除外し、視野内の視覚刺激に対する反応である外因性ＳＣのみを抽出することで、ユーザの視野範囲を高精度に算出できる。
　以下、本開示の実施の形態１～４について、図面を参照して説明する。
　（実施の形態１）
　本開示の実施の形態１について説明する。
　図２は、本実施の形態に係る視野算出装置１３０を含む運転支援システム１００の構成例を示すブロック図である。図２において、運転支援システム１００は、情報取得部１１０、注視方向検出部１２０、視野算出装置１３０、視野範囲記録部１４０、見落し判定部１５０、表示部１６０を有する。
　運転支援システム１００は、自動車等の車両に搭載され、その車両の周辺の障害物に対するユーザの見落しを検出して、聴覚的な手段および視覚的な手段のうち少なくとも一方を用いてユーザに注意喚起、警告等を行うシステムである。これにより、ユーザが車両周辺の障害物を見落すことを防止し、安全な運転を支援できる。なお、実施の形態１～４でいう「ユーザ」は、運転支援システム１００が搭載された車両の運転者を意味する。
　情報取得部１１０は、障害物情報を取得する。障害物情報とは、車両の周辺における障害物の有無、その障害物の位置、その障害物の車両との相対速度などを含む情報である。障害物情報は、車両に設置されたカメラ、ミリ波レーダなどの車載センサ、道路側に設置されたセンサ、無線通信などを用いて取得される。また、他の車両で取得された障害物情報は、車車間通信を手段として取得されてもよい。
　注視方向検出部１２０は、ユーザの注視方向（以下、適宜「注視方向」という）を検出する。例えば、注視方向検出部１２０は、ユーザの眼球を撮影するカメラを用いて取得した画像から、角膜反射法などを用いて眼球運動を算出する。角膜反射法とは、近赤外線光源（点光源）が近赤外線を眼球に照射し、その眼球をカメラで撮影し、撮影した映像を用いて瞳孔の位置および角膜表面における光源の角膜反射像の位置を検出する方法である。算出された瞳孔と角膜反射像との位置関係に基づいて、注視方向検出部１２０は、ユーザの注視方向を検出する。注視方向とは、ユーザの視線が向いている方向を示す。注視方向は例えば、車両の正面方向を基準として、水平方向の角度と垂直方向の角度（単位：degree）で表現される。なお、注視方向検出部１２０は、例えば、運転席のステアリングコラム付近に設置された装置でもよいし、ユーザが装着するヘッドマウント式の計測器でもよい。
　視野算出装置１３０は、注視方向検出部１２０で検出されたユーザの注視方向に基づいて、ユーザの視野範囲を算出する。視野算出装置１３０は、サッケード検出部１３１、サッケード速度算出部１３２、視野範囲算出部１３３を有する。
　サッケード検出部１３１は、注視方向検出部１０２で検出されたユーザの注視方向を時系列に取得し、それに基づいてサッケードの有無を検出する。
　サッケード速度算出部１３２は、サッケード検出部１３１で検出されたサッケードに対して、サッケード変位量（ＳＣ変位量）とサッケードの継続時間とに基づいて、サッケード速度（ＳＣ速度）を算出する。
　視野範囲算出部１３３は、サッケード速度算出部１３２で算出されたサッケード速度が、所定の閾値以上であるサッケードのみを用いて、ユーザの視野範囲を算出する。この算出の詳細については後述する。ここでの閾値は、図１を用いて述べたように、外因性ＳＣと内因性ＳＣとを分離可能な値である。
　視野範囲記録部１４０は、視野算出装置１３０で算出されたユーザの視野範囲を記録する。
　見落し判定部１５０は、情報取得部１１０で取得された障害物情報と、注視方向検出部１２０で算出されたユーザの注視方向と、視野範囲記録部１４０に記録されたユーザの視野範囲とに基づいて、ユーザが障害物を見落としているか否かを判定する。
　表示部１６０は、見落し判定部１５０で判定された障害物の見落としを示す情報をユーザに提示する。例えば、表示部１６０は、障害物を示すアイコンなどをカーナビゲーション装置などの表示装置に表示してもよいし、この表示とともに注意喚起音または警報を出力してもよい。
　次に、運転支援システム１００の動作例として、視野算出動作および見落し判定動作について、それぞれ順に説明する。
　＜視野算出動作＞
　まず、図３のフローチャートを用いて、視野算出動作の一例について説明する。この視野算出動作は、視野算出装置１３０にて実行される。また、視野算出動作は、例として、１０分、３０分、６０分といった所定の時間間隔Ｔ１で、後述する見落とし判定動作とは独立して実行されるものとする。
　ステップＳ１において、サッケード検出部１３１は、注視方向検出部１２０から注視方向情報を取得し、その情報が示すユーザの注視方向を所定時間分の注視方向として記録する。注視方向情報とは、注視方向検出部１２０で検出されたユーザの注視方向を示す情報である。
　ステップＳ２において、サッケード検出部１３１は、視野算出動作の開始時点（図４のＴＰ１）から所定時間遡った時点までの間（以下、「サッケード検出区間」という。図４のＴ３）に取得した注視方向情報を用いて、サッケード検出区間Ｔ３におけるサッケードの検出を行う。ここで、サッケードが検出された場合（ステップＳ２：ＹＥＳ）、フローはステップＳ３へ進む。一方、サッケードが検出されなかった場合（ステップＳ２：ＮＯ）、フローがステップＳ７へ進む。
　ここで、図４を用いて、ステップＳ２のサッケードの検出処理について説明する。図４において、縦軸はユーザの注視方向（単位：degree）、横軸は時刻（ｔ）を示しており、サッケード検出区間Ｔ３におけるユーザの注視方向の時間的な変化を模式的に示している。図４の縦軸に示すユーザの注視方向は、例として水平方向成分（左、右）の角度である。よって、以下では、水平方向成分に基づいたサッケードの検出について説明する。なお、説明は省略するが、下記と同様の方法を用いて、垂直方向成分（上、下）に基づくサッケード検出も行われる。
　サッケードは、その速度が１００～５００°／秒の非常に高速な眼球運動である。サッケード検出部１３１は、単位時間当たりの注視方向の移動量に基づいてサッケードの検出を行う。
　まず、サッケード検出部１３１は、時刻Ｔにおける注視方向の水平角度と、時刻Ｔ＋１における注視方向の水平角度との差分をＤ（Ｔ）として、各時点のＤ（Ｔ）を算出する。図４において、ｔはＴの一例であり、ｔ＋１はＴ＋１の一例であり、Ｄ（ｔ）はＤ（Ｔ）の一例である。
　次に、サッケード検出部１３１は、Ｄ（Ｔ）が閾値Ｄ＿ｔｈ（第１の閾値の一例）を上回った時点をサッケード開始時点Ｔｓとして検出する。このサッケード開始時点Ｔｓは、図４において、黒丸で示す。また、図４において、ｔはＴｓの一例である。
　次に、サッケード検出部１３１は、閾値Ｄ＿ｔｈを下回った時点をサッケード終了時点Ｔｅとして検出する。このサッケード終了時点Ｔｅは、図４において、二重丸で示す。また、図４において、ｔ＋２はＴｅの一例である。
　そして、サッケード検出部１３１は、時点Ｔｓ～Ｔｅをサッケード区間ＳＴとして、また、Ｄ（Ｔｓ）＋Ｄ（Ｔｓ＋１）＋・・・＋Ｄ（Ｔｅ－１）をサッケード変位量ＳＤとして検出する。図４において、ｔ～ｔ＋１はＳＴの一例であり、Ｄ（ｔ）＋Ｄ（ｔ＋１）はＳＤの一例である。
　このようにして、サッケード検出部１３１は、サッケード検出区間Ｔ３において、サッケードＳＣ（１）～サッケードＳＣ（Ｎ：Ｎは正の整数。以下同じ）と、それらのサッケードに対応する、サッケード区間ＳＴ（１）～ＳＴ（Ｎ）およびサッケード変位量ＳＤ（１）～ＳＤ（Ｎ）とを検出する。なお、図４において、サッケードＳＣ（２）～ＳＣ（Ｎ）については、サッケード区間ＳＴおよびサッケード変位量ＳＤの図示を省略している。
　ステップＳ３において、サッケード速度算出部１３２は、検出されたサッケード区間ＳＴ（ｉ）とサッケード変位量ＳＤ（ｉ）とに基づいて、サッケード速度ＳＶ（ｉ）を算出する。例えば、サッケード速度算出部１３２は、ＳＤ（ｉ）／ＳＴ（ｉ）を計算し、ＳＶ（ｉ）を算出する。
　ステップＳ４において、視野範囲算出部１３３は、検出されたサッケードのうち、サッケード速度が所定の閾値以上のサッケードを抽出する。ここでの閾値は、上述した通り、外因性ＳＣと内因性ＳＣを分離可能な値である。従って、抽出されたサッケードは外因性ＳＣである。外因性ＳＣと内因性ＳＣとを精度良く分離するためには、図１に示す外因性ＳＣと内因性ＳＣの特性から分かるように、ＳＣ変位量の増加に伴ってより大きな閾値を用いることが望ましい。例えば、図５に示すように、サッケード変位量ＳＤに応じて閾値を変更してもよい。
　ステップＳ５において、視野範囲算出部１３３は、抽出した外因性ＳＣに対して、サッケード開始時点における座標を始点とし、サッケード終了時点における座標を終点とするベクトル（以下、「外因性ＳＣベクトル」という）を算出する。そして、視野範囲算出部１３３は、複数の外因性ＳＣベクトルにより算出される領域を、視野範囲として算出する。上述したサッケード開始時点における座標およびサッケード終了時点における座標はともに、ユーザの注視方向（水平方向成分の角度と垂直方向成分の角度）に基づいて求められる座標である。
　ステップＳ５で算出される視野範囲の例を図６に示す。図６Ａは、複数の外因性ＳＣベクトル全部の始点を一致させるとともに、複数の外因性ＳＣベクトル全部の終点を結合することにより定義される領域（図６Ａにおける多角形の輪郭線）を視野範囲として算出したものである。一方、図６Ｂは、複数の外因性ＳＣベクトル全部が含まれるように、複数の外因性ＳＣベクトル全部の始点を一致させ、かつ、複数の外因性ＳＣベクトルのうち、所定の値よりも大きな外因性ＳＣベクトルのみを用いて、外因性ＳＣベクトルの終点座標を基に楕円形状として近似された視野範囲を示している。外因性ＳＣベクトルの終端座標から楕円形状を近似する方法としては、最小二乗法などの一般的な方法を用いればよい。
　ステップＳ６において、視野範囲記録部１４０は、上述のように算出された視野範囲を記録する。この視野範囲は、例えば、後述する見落とし判定に用いられる。
　ステップＳ７において、視野範囲算出部１３３は視野範囲の算出を行わない。よって、視野範囲記録部１４０において視野範囲の記録も行われない。この場合、後述する見落とし判定では、視野範囲記録部１４０に記録済みの視野範囲が用いられることになる。
　＜見落し判定動作＞
　次に、図７のフローチャートを用いて、見落とし判定動作の一例について説明する。この見落とし判定動作は、見落とし判定部１５０にて実行される。また、見落し判定動作は、１０ｍｓｅｃ、２０ｍｓｅｃ、３０ｍｓｅｃといった所定の時間間隔Ｔ２で、上述した視野算出動作とは独立して実行されるものとする。
　ステップＳ１０において、情報取得部１１０は、障害物情報を取得する。障害物情報とは、上述したとおり、車両の周辺における障害物の有無、その障害物の位置、その障害物の車両との相対速度などを含む情報である。情報取得部１１０は、取得した障害物情報を、見落とし判定部１５０へ出力する。
　ステップＳ１１において、注視方向検出部１２０は、ユーザの注視方向を検出する。注視方向とは、上述したとおり、ユーザの視線が向いている方向を示し、例えば、車両の正面方向を原点方向として、水平方向の角度と垂直方向の角度で表現される。注視方向検出部１２０は、検出した注視方向を示す注視方向情報を、見落とし判定部１５０へ出力する。なお、原点方向は車両の正面方向に限定されず、任意の方向でもよい。
　ステップＳ１２において、見落とし判定部１５０は、視野範囲記録部１４０から、視野範囲を取得する。
　ステップＳ１３において、見落し判定部１５０は、障害物情報、注視方向情報、および視野範囲に基づいて、ユーザが障害物を見落としているか否かを判定する見落とし判定を行う。なお、この見落とし判定において、注視方向情報を用いてもよい。
　ここで、図８を用いて、ステップＳ１３の見落とし判定処理について説明する。図８は、運転中の車両前方に歩行者（障害物の一例）が検出された場合における見落し判定を説明する概念図である。図８Ａでは、車両のフロントウィンドウ１０において、注視点３０を中心とした視野範囲２０内に、障害物（歩行者）の中心座標４０が含まれている。この場合、見落とし判定部１５０は、ユーザが障害物を見落していない（見落とし無し）と判定する。一方、図８Ｂでは、注視点３０を中心とした視野範囲２０内に、障害物（歩行者）の中心座標４０が含まれていない。この場合、見落とし判定部１５０は、ユーザが障害物を見落としている（見落し有り）と判定する。見落とし判定部１５０は、見落とし有りの場合、その旨を示す見落とし発生情報を、表示部１６０へ出力する。
　なお、図８Ａ、Ｂでは、便宜上、視野範囲２０、注視点３０、障害物の中心座標４０がフロントウィンドウ１０の範囲内に含まれていることを示したが、実際には、視野範囲２０、注視点３０、障害物の中心座標４０がフロントウィンドウ１０上に表示されるわけではない。すなわち、ユーザは、視野範囲２０、注視点３０、障害物の中心座標４０を視認することはない。
　ステップＳ１４において、表示部１６０は、見落しの発生情報に基づいて、ユーザに対して見落としを知らせるための情報（例えば、障害物を示すアイコン等）を提示する。なお、この情報提示は、情報の表示とともに注意喚起音または警報を出力してもよい。
　以上説明したように、本実施の形態の視野算出装置１３０は、ユーザの注視方向に基づいてサッケードを検出し、それに基づいて視野範囲を算出することを特徴とする。この特徴により、視野算出装置１３０は、視標を提示する構成を使用することなく、また、車外の移動体を検出する手段（例えば、カメラ）で取得される情報も使用することなく、視野範囲を算出できる。よって、本実施の形態の視野算出装置１３０は、より簡易な構成で視野範囲を算出できる。
　また、例えば上記特許文献１の方法では、ユーザが自由意志により視野範囲外の移動体を注視する場合またはユーザが安全確認のために視野範囲外の移動体を注視する場合、視野範囲の算出が不正確になるという課題がある。これに対し、本実施の形態の視野算出装置１３０は、検出したサッケードのうち、自由意志、安全確認による内因性ＳＣを除外し、外因性ＳＣのみに基づいて視野範囲を算出することを特徴とする。この特徴により、視野算出装置１３０は、より精度良く視野範囲を算出できる。
　また、例えば、特許文献２（特開２００５－９５５７２号公報）に示されているとおり、ユーザの注視点と瞬目行為の有無に基づいてユーザの視野の算出を行う技術も知られている。しかしながら、瞬目行為の頻度はユーザの覚醒状態または個人差によって大きく異なるため、ユーザの覚醒状態が低下している場合または瞬目行為が少ないユーザにおいては、視野範囲の算出が困難になるという課題がある。これに対し、本実施の形態の視野算出装置１３０は、ユーザの注視方向に基づいてサッケードを検出し、それに基づいて視野範囲を算出することで、瞬目行為の頻度が少なくとも、視野範囲を算出できる。
　また、本実施形態の運転支援システム１００は、精度良く算出された視野範囲に基づいて、ユーザの見落しを検出するので、ユーザの障害物の見落しを精度良く防止できる。
　なお、本実施の形態において、注視方向検出部１２０は、ユーザの顔、眼球を撮影するカメラを用いて説明したが、ＥＯＧ（Electrooculogram）法を用いて注視方向を算出してもよい。ＥＯＧ法とは、眼球の左右または上下に配置した電極の電位変化から眼球運動を計測する方法である。ＥＯＧ法は、眼球の角膜が網膜に対して正に帯電する性質を利用する。この性質を利用して、眼球の左右または上下の電極における電位変化から、眼球運動を計測することができる。ＥＯＧ法を用いる場合、注視方向検出部１２０は、ヘッドマウント式で眼球運動を計測してもよいし、または、車のシート（主にヘッドレスト）に埋め込まれた電極が、着座した運転者の頭部付近と接するようにすることで、眼球運動を計測してもよい。
　また、本実施の形態では、視野算出装置１３０が算出した視野範囲を用いて、ユーザが障害物を見落としている場合に情報提示を行うとして説明したが、情報提示の代わりに、または、情報提示とともに、見落とされた障害物に車両のヘッドライトを照射するように制御してもよい。これにより、ユーザは、見落した障害物にすぐに気づくことができる。上記ヘッドライトの照射の代わりに、または、ヘッドライトの照射とともに、アクセルおよびハンドルを制御することで、見落とした障害物と車両との衝突を回避するようにしてもよい。
　また、サッケード検出部１３１は、水平方向におけるサッケード変位量ΔＸ、垂直方向におけるサッケード変位量ΔＹに基づいて、２次元平面上でのサッケード変位量ＳＤ＿ＸＹを以下の式（１）に従って算出し、所定の閾値を超えるＳＤ＿ＸＹを外因性ＳＣとして抽出してもよい。
Figure JPOXMLDOC01-appb-M000001
　また、本実施の形態では、ユーザの注視方向は、車両の正面方向を原点方向として、水平方向または垂直方向の角度（単位：degree）として表現するものとして説明したが、これに限定されない。例えば、ユーザの注視方向は、車両の正面方向に存在する原点に対して垂直に存在する所定の平面と、各注視方向との交点を注視点として定義し、水平方向、垂直方向の注視点座標（単位：ｃｍまたはｍ）として表現してもよい。
　また、本実施の形態では、楕円形状で近似する例としたが、視野範囲算出部１４４が予め視野モデル（例えば、円形、楕円形など）を保持しており、例えば、少なくとも一本の外因性ＳＣベクトルと視野モデルとに基づいて、視野範囲を推定してもよい。なお、視野算出装置１３０が、視野範囲算出部１４４とは別に、視野モデルを格納・保持する「視野モデル保持部」を有してもよい。この例について以下に説明する。
　図９は、本実施の形態の変形例に係る視野算出装置１３０を含む運転支援システム１００の構成例を示すブロック図である。図９に示す構成は、図２に示す構成と比べて、視野算出装置１３０が視野モデル保持部１３４を有する点が異なる。図９において、図２と同一の構成については同一の符号を付している。以下では、図２に示す構成との差分についてのみ説明する。
　視野モデル保持部１３４は、基準点が定義された所定形状の視野モデルを少なくとも１つ記憶している。視野モデルとは、ユーザの視野範囲を示す雛形のデータである。視野モデルの例を図１０に示す。図１０は、例として、３種類の視野モデル５０、５１、５２を示している。視野モデル５０は、基準点を中心とした円である。視野モデル５１は、基準点を中心とし、長軸と短軸の比率が所定の値に設定された楕円である。また、視野モデル５２は、基準点が定義された任意の形状である。
　＜視野算出動作＞
　次に、図１１のフローチャートを用いて、視野算出動作の一例について説明する。この視野算出動作は、視野算出装置１３０にて実行される。また、視野算出動作は、例として、１０分、３０分、６０分といった所定の時間間隔Ｔ１で、上述した見落とし判定動作とは独立して実行されるものとする。図１１に示すフローは、図３に示すフローと比べて、ステップＳ２１、Ｓ２２を有する点が異なる。図１１において、図３と同一の処理については同一の符号を付している。以下では、図３に示すフローとの差分についてのみ説明する。
　ステップＳ２１において、視野範囲算出部１３３は、視野モデル保持部１３４に保持されている視野モデルを取得する。
　ステップＳ２２において、視野範囲算出部１３３は、抽出した外因性ＳＣの変位ベクトルと、取得した視野モデルとに基づいて、視野範囲の算出を行う。例えば、視野範囲算出部１３３は、少なくとも１つの外因性ＳＣの変位ベクトルの始点を視野モデルの基準点に合わせ、かつ、その変位ベクトルの終点に合わせて視野モデルの輪郭を拡大または縮小することで、視野範囲を算出する。
　ここで、ステップＳ２２の視野範囲の算出の各例について、図１２を参照して説明する。図１２Ａにおいて、視野範囲算出部１３３は、外因性ＳＣの変位ベクトル６０の終点に合わせて視野モデル５０の輪郭を拡大している。これにより、視野範囲７０が算出される。また、図１２Ｂにおいて、視野範囲算出部１３３は、外因性ＳＣの変位ベクトル６１の終点に合わせて視野モデル５１の輪郭を拡大している。これにより、視野範囲７１が算出される。また、図１２Ｃにおいて、視野範囲算出部１３３は、外因性ＳＣの変位ベクトル６２の終点に合わせて視野モデル５２の輪郭を拡大している。これにより、視野範囲７２が算出される。
　このようにして算出された視野範囲は、視野範囲記録部１４０に記録され、例えば、上述した見落とし判定に用いられる。
　以上説明した本実施の形態の変形例の視野算出装置１３０は、図２に示す構成と同様の作用効果を得ることができる。さらに、本実施の形態の変形例の視野算出装置１３０は、少なくとも１つの外因性ＳＣの変位ベクトルを検出できた場合、予め定められた視野モデルを用いて、ユーザの視野範囲を算出することにより、サッケード検出区間Ｔ３で検出されるサッケードの数が少ない場合でも、視野範囲を正確に算出することができる。また、少ないサッケードから視野範囲を算出することができるため、視野算出装置１３０は、視野範囲の更新間隔である所定の時間間隔Ｔ１（例えば、１０分、３０分、６０分等）を短縮することが可能となる。その結果、視野算出装置１３０は、運転中の走行環境の複雑さ、または、走行速度などの影響により視野範囲が変動した場合にも、時間遅れなく、ユーザの視野範囲の変化を検出することが可能となる。
　（実施の形態２）
　本開示の実施の形態２について説明する。
　図１３は、本実施の形態に係る視野算出装置１３０を含む運転支援システム１００の構成例を示すブロック図である。図１３に示す構成は、実施の形態１の構成（図２）と比べて、視野算出装置１３０が視野算出時間設定部１３５を有する点が異なる。図１３において、図２と同一の構成については同一の符号を付している。以下では、実施の形態１の構成との差分についてのみ説明する。
　視野算出時間設定部１３５は、視野範囲が変化したと想定される時点を推定することにより、視野算出に用いるための時間として、サッケード検出区間Ｔ３を設定する。
　＜視野算出動作＞
　次に、図１４のフローチャートを用いて、視野算出動作の一例について説明する。この視野算出動作は、視野算出装置１３０にて実行される。また、視野算出動作は、例として、１０分、３０分、６０分といった所定の時間間隔Ｔ１で、上述した見落とし判定動作とは独立して実行されるものとする。図１４に示すフローは、実施の形態１のフロー（図３）と比べて、ステップＳ３１、Ｓ３２を有する点が異なる。図１４において、図３と同一の処理については同一の符号を付している。以下では、実施の形態１のフローとの差分についてのみ説明する。
　ステップＳ３１において、視野算出装置１３０が視野算出動作を開始すると、視野範囲算出時間設定部１３５は、視野算出動作の開始時点以前において視野範囲が変化したと想定される時点（以下、「視野範囲変化時点」という）を推定する。この視野範囲変化時点の推定には、車両の速度の変化を示す情報、カーナビゲーションシステム用の情報（例えば、道路種別を示す情報、道路周辺の建物を示す情報）、および、ユーザの覚醒度、または、注意散漫状態を示す情報が用いられる。なお、この推定の詳細は、図５を用いて後述する。
　ステップＳ３２において、視野範囲算出時間設定部１３５は、視野範囲変化時点から視野算出動作の開始時点までの区間（時間）を、新たなサッケード検出区間Ｔ３として設定する（Ｓ３２）。
　一般に、運転中におけるユーザの視野範囲は、走行環境の複雑さ（車両周辺に存在する、注意を払うべき対象物の数）、車両の走行速度、ユーザの覚醒状態、注意散漫状態などにより、動的に変化することが知られている。具体的には、走行環境が複雑になる（車両周辺に存在する対象物の数が多くなる）ほど、ユーザの視野範囲は狭まり、走行速度が速くなるほど、ユーザの視野範囲が広がることが知られている。また、運転に眠気が発生し、ユーザの覚醒状態が低下する場合、また、考え事、同乗者との会話等のドライバ・ディストラクションの発生により注意散漫状態となる場合、視野範囲が狭まる傾向がある。
　図１５は、車両の走行速度と視野範囲との関係に着目し、一般道路走行（低～中速で走行）から、高速道路走行（高速で走行）に移行した際の視野範囲の変化を模式的に表したものである。図１５を参照して上記ステップＳ３１、Ｓ３２を説明する。視野範囲算出時間設定部１３５は、視野算出動作開始時点ＴＰ１より前において、視野範囲が大きくなった時点（一般道路から高速道路へ入った時点）を、視野範囲変化時点ＴＰ０として推定する（ステップＳ３１）。そして、視野範囲算出時間設定部１３５は、視野範囲変化時点ＴＰ０から視野範囲算出動作開始時点ＴＰ１までを、新たなサッケード検出区間Ｔ３として設定する（ステップＳ３２）。
　以上説明した本実施の形態の視野算出装置１３０は、実施の形態１と同様の作用効果を得ることができる。さらに、本実施の形態の視野算出装置１３０は、予めサッケード検出区間Ｔ３が設定されていたとしても、視野範囲変化時点が検出された場合には、その時点を起点として新たなサッケード検出区間Ｔ３に変更するので、より正確にユーザの視野範囲を算出することが可能となる。
　（実施の形態３）
　本開示の実施の形態３について説明する。
　図１６は、本実施の形態に係る視野算出装置１３０を含む運転支援システム１００の構成例を示すブロック図である。図１６に示す構成は、実施の形態１の構成（図２）と比べて、視野算出装置１３０が顔方向検出部１３６を有する点、および、運転支援システム１００が車両情報取得部１７０、ナビゲーション情報取得部１８０を有する点が異なる。図１６において、図２と同一の構成については同一の符号を付している。以下では、実施の形態１の構成との差分についてのみ説明する。
　運転支援システム１００は、障害物情報の他に、車両情報およびナビゲーション情報（ともに後述）を、ユーザに分かりやすくかつ煩わしく無いように、ヘッドアップディスプレイ上において前景に重畳して表示（以下、「ＡＲ（Augmented　Reality）表示」という）するシステムである。よって、本実施の形態では、運転支援システム１００は、ユーザに各種情報を提示する情報提示システムといえる。
　運転支援システム１００は、情報取得部１１０、注視方向検出部１２０、視野算出装置１３０、視野範囲記録部１４０、車両情報取得部１７０、ナビゲーション情報取得部１８０、ＡＲ情報表示制御部１５１、ヘッドアップディスプレイ１６１を有する。さらに、視野算出装置１３０は、サッケード検出部１３１、サッケード速度算出部１３２、視野範囲算出部１３３に加えて、顔方向検出部１３６を有する。
　車両情報取得部１７０は、車両情報を取得する。車両情報とは、例えば、車両の速度、シフトレバー情報、燃料情報といった車両に関連する情報を含む。
　ナビゲーション情報取得部１８０は、ナビゲーション情報を取得する。ナビゲーション情報とは、例えば、車両の位置、道路の名称、道路の種別、道路周辺の建物（施設、店舗等）の名称などを示す情報である。
　ＡＲ情報提示制御部１５１は、情報取得部１１０からの障害物情報、車両情報取得部１７０からの車両情報、ナビゲーション情報取得部１８０からのナビゲーション情報の表示方法を、視野範囲記録部１４０に記録されたユーザの視野範囲に応じて制御する。
　ヘッドアップディスプレイ１６１は、ＡＲ情報提示制御部１５１により制御された表示方法に従って、障害物情報、車両情報およびナビゲーション情報を前景に重畳してＡＲ表示する。このヘッドアップディスプレイ１６１は、例えば、車両のフロントウィンドウの全部または一部のエリアである。なお、ヘッドアップディスプレイ１６１は、フロントウィンドウとは独立したヘッドアップディスプレイでもよいし、または、ユーザが装着する眼鏡型のヘッドマウンドディスプレイでもよい。
　顔方向検出部１３６は、例えば、運転席のステアリングコラム付近に設置される装置であり、ユーザの顔および眼球の画像からユーザの顔向きを検出する。例えば、顔方向検出部１３６は、まず、パターンマッチングによりユーザの顔の領域およびユーザの目の領域を検出する。その後、顔方向検出部１３６は、ユーザの顔の領域に対するユーザの目の領域の位置に基づいてユーザの垂直方向および水平方向の顔の向きの角度を算出し、この角度を示す顔向き情報を生成する。なお、顔方向検出部１３６としては、ユーザが装着するヘッドマウント式の計測器を用いてもよい。ヘッドマウント式の計測器の場合、計測器に内蔵されたジャイロセンサを用いて、ユーザの垂直方向および水平方向の顔の向きの角度を算出することができる。
　次に、運転支援システム１００の動作例として、有効視野算出動作および情報提示制御動作について、それぞれ順に説明する。有効視野算出動作とは、サッケード発生時のユーザの顔向きと注視方向の関係から、有効視野範囲を算出する動作である。有効視野範囲とは、ユーザが運転中に顔を動かさずに視線移動のみで情報を受容可能な範囲をいう。また、情報提示制御動作とは、優先度の高い情報（例えば、障害物情報）を有効視野範囲内にＡＲ表示し、優先度の低い情報（例えば、車両情報およびナビゲーション情報）を有効視野範囲外に表示する動作である。
　＜有効視野算出動作＞
　まず、図１７のフローチャートを用いて、有効視野算出動作の一例について説明する。この有効視野算出動作は、視野算出装置１３０にて実行される。また、有効視野算出動作は、例として、１０分、３０分、６０分といった所定の時間間隔Ｔ１で、後述する情報提示制御動作とは独立して実行されるものとする。図１７に示すフローは、実施の形態１のフロー（図３）と比べて、ステップＳ４１、Ｓ４２、Ｓ４３を有する点が異なる。図１７において、図３と同一の処理については同一の符号を付している。以下では、実施の形態１のフローとの差分についてのみ説明する。
　ステップＳ４１において、視野算出装置１３０が有効視野算出動作を開始すると、顔方向検出部１３６は、所定のサッケード検出区間Ｔ３におけるユーザの顔の向きの角度（垂直方向の角度および水平方向の角度）を検出し、顔向き情報を生成する。上述したとおり、顔向き方向情報とは、垂直方向および水平方向におけるユーザの顔の向きの角度を示す情報である。顔方向検出部１３６は、生成した顔向き情報を視野範囲算出部１３３へ出力する。
　ステップＳ４２において、視野範囲算出部１３３は、検出されたサッケード毎に、サッケード発生時の顔向き変位量を算出する。
　ここで、ステップＳ４２の顔向き変位量の算出の例について、図１８を参照して説明する。図１８Ａは、サッケード検出区間Ｔ３におけるユーザの注視方向の変化を時系列に示した図であり、図４と同じ図である。一方、図１８Ｂは、サッケード検出区間Ｔ３におけるユーザの顔の方向の変化を時系列に示した図である。図１８Ａのｔ、ｔ＋１、ｔ＋２、ｔ＋３は、それぞれ、図１８Ｂのｔ、ｔ＋１、ｔ＋２、ｔ＋３と対応している。図１８Ｂに示すように、視野範囲算出部１３３は、各サッケードＳＣ（１）～ＳＣ（Ｎ）おいて、ユーザの注視方向から検出されたＳＣ開始点（黒丸で示す時点）とＳＣ終了点（二重丸で示す時点）における顔向き方向の差分を、顔向き変位量ＳＤ（ｉ）＿ｆａｃｅ（単位：degree）として算出する。
　ステップＳ４３において、視野範囲算出部１３３は、抽出した外因性ＳＣのうち、顔向き変位量ＳＤ（ｉ）＿ｆａｃｅが閾値ＳＤ＿ｆａｃｅ＿Ｔｈ（第２の閾値の一例）以下の外因性ＳＣのみを、有効視野内のサッケードとして抽出する。閾値ＳＤ＿ｆａｃｅ＿Ｔｈは、例えば、水平方向に±３度、垂直方向に±２度などのように、水平方向、垂直方向ごとに予め定められている。
　ステップＳ５において、視野範囲算出部１３３は、有効視野内のサッケードのみを用いて、有効視野範囲の算出を行う。その後、有効視野範囲は、視野範囲記録部１４０に記録される。なお、ここで算出された有効視野範囲の具体例は、図２０を用いて後述する。
　＜情報提示制御動作＞
　続いて、図１９のフローチャートを用いて、情報提示制御動作の一例について説明する。この情報提示制御動作は、視野算出装置１３０にて実行される。また、情報提示制御動作は、例として、１０ｍｓｅｃ、２０ｍｓｅｃ、３０ｍｓｅｃといった所定の時間間隔Ｔ２で、上述した有効視野算出動作とは独立して実行されるものとする。
　ステップＳ５１において、情報取得部１１０は、障害物情報を取得する。障害物情報とは、上述したとおり、車両の周辺における障害物の有無、その障害物の位置、その障害物の車両との相対速度などを含む情報である。また、本実施の形態では、障害物情報は、障害物に関するユーザへの警告の表示を含む。情報取得部１１０は、取得した障害物情報を、ＡＲ情報提示制御部１５１へ出力する。
　ステップＳ５２において、車両情報取得部１７０は、車両情報を取得する。車両情報とは、上述したとおり、例えば、車両の速度、シフトレバー情報、燃料情報などを含む情報である。車両情報取得部１７０は、取得した車両情報を、ＡＲ情報提示制御部１５１へ出力する。
　ステップＳ５３において、ナビゲーション情報取得部１８０は、ナビゲーション情報を取得する。ナビゲーション情報とは、上述したとおり、例えば、車両の位置、道路の名称、道路の種別、道路周辺の建物（施設、店舗等）の名称などを含む情報である。
　ステップＳ５４において、ＡＲ情報表示制御部１５１は、視野範囲記録部１４０に記録されている有効視野範囲を読み込む。
　ステップＳ５５において、ＡＲ情報提示制御部１５１は、読み込んだ有効視野範囲内に、優先度の高い障害物情報をＡＲ表示し、かつ、有効視野範囲外に、優先度の低い車両情報およびナビゲーション情報を表示するように、ヘッドアップディスプレイ１６１の表示を制御する。障害物情報、車両情報、ナビゲーション情報の優先度は、予め定められているとする。
　ステップＳ５６において、ヘッドアップディスプレイ１６１は、ＡＲ情報提示制御部１５１の制御に基づいて情報提示を行う。
　ここで、ステップＳ５６のヘッドアップディスプレイ１６１における表示例について説明する。図２０は、ヘッドアップディスプレイ１６１における情報提示の例を示す図である。
　図２０において、車両８０および車線８１は、実画像である。車両８０は、前方を走行中の他の車両であり、障害物情報が示す障害物の一例である。また、図２０において、ユーザの正面付近の基準点３０を中心として、有効視野範囲２１が存在する。この有効視野範囲２１は、ユーザに視認されない。この有効視野範囲２１内において、「車間距離注意」という警告の文字９０（障害物情報の一例）がＡＲ表示される。一方、進行方向を案内する矢印（ナビゲーション情報の一例）９１、残り燃料量の表示９２、車両の速度の表示９３（ともに車両情報の一例）は、有効視野範囲２１外の任意の位置（例えば、ヘッドアップディスプレイ１６１の下方）に表示される。
　なお、図２０において、基準点３０は、例として、ユーザの正面付近の固定点としているが、注視方向検出部１２０により検出されるユーザの注視方向を基準点としてもよい。
　以上説明した本実施の形態の視野算出装置１３０は、ユーザの注視方向に基づいてサッケードを検出し、それに基づいて、ユーザが運転中に顔を動かさずに視線移動のみで情報を受容可能な有効視野範囲を算出する。したがって、視野算出装置１３０は、視標を提示する構成を使用することなく、また、車外の移動体を検出する手段（例えば、カメラ）で取得される情報も使用することなく、有効視野範囲を算出できる。よって、視野算出装置１３０は、より簡易な構成で有効視野範囲を算出できる。また、瞬目行為の頻度が少なくとも、有効視野範囲を算出できる。
　また、本実施の形態の視野算出装置１３０は、外因性ＳＣのみに基づいて有効視野範囲を算出することにより、より精度良く有効視野範囲を算出できる。
　また、以上説明した本実施の形態の運転支援システム１００は、有効視野範囲に優先度の高い情報を表示し、有効視野範囲外に優先度の低い情報を表示する。これにより、運転中のユーザは、顔を動かさずに視線の移動だけで、優先度の高い情報を視認することができるとともに、優先度の低い情報の表示に煩わしさを感じることがない。また、運転支援システム１００は、運転中にユーザの有効視野範囲が変化した場合においても、その変化に合わせて、ＡＲ表示の表示位置を変更することで、常時、わかりやすく、煩わしくない情報提示を行うことができる。
　なお、本実施の形態では、情報提示制御動作に有効視野範囲のみを用いているが、実施形態１～３において算出されるユーザの視野範囲を有効視野範囲と併せて用いることにより、優先度の低い情報を、有効視野範囲外かつ視野範囲内に表示するようにしてもよい。
　本開示は、ユーザの視野範囲を算出する技術（例えば、装置、システム、方法、プログラムなど）に有用である。なお、本開示は、運転中のユーザに限らず、ユーザが装着可能なデバイス等を用いることで、運転中以外の状況におけるユーザの視野範囲を算出する技術にも応用が可能である。
　１００　運転支援システム
　１１０　情報取得部
　１２０　注視方向検出部
　１３０　視野算出装置
　１３１　サッケード検出部
　１３２　サッケード速度算出部
　１３３　視野範囲算出部
　１３４　視野モデル保持部
　１３５　視野算出時間設定部
　１３６　顔方向検出部
　１４０　視野範囲記録部
　１５０　見落し判定部
　１５１　ＡＲ情報提示制御部
　１６０　表示部
　１６１　ヘッドアップディスプレイ
　１７０　車両情報取得部
　１８０　ナビゲーション情報取得部

Claims (8)

  1. 　検出されたユーザの注視方向に基づいて前記ユーザの視野範囲を算出する視野算出装置であって、
    　第１のタイミングで検出された第１の注視方向と、第２のタイミングで検出された第２の注視方向とに基づいて、サッケードを検出するサッケード検出部と、
    　前記第１のタイミングと前記第２のタイミングとの時間差と、前記第１の注視方向と、前記第２の注視方向とに基づいて、前記サッケードの速度を算出するサッケード速度算出部と、
    　前記サッケードの速度が第１の閾値を超えるサッケードを抽出し、抽出したサッケードの変位ベクトルを算出し、前記変位ベクトルの始点および終点を含む領域を前記ユーザの視野範囲として算出する視野範囲算出部と、
    　を備える視野算出装置。
  2. 　前記所定の閾値は、
    　前記サッケードの変位ベクトルの大きさであるサッケード変位量に応じた値であり、前記サッケード変位量が大きいほど大きい、
    　請求項１記載の視野算出装置。
  3. 　予め定められた所定形状の視野モデルを保持するモデル保持部をさらに備え、
    　前記視野範囲算出部は、
    　前記変位ベクトルの始点および終点に基づいて前記視野モデルを拡大または縮小することで、前記ユーザの視野範囲を算出する、
    　請求項１記載の視野算出装置。
  4. 　前記視野モデルは、
    　円、長軸と短軸の比率が所定の値に設定された楕円、基準点が定義された任意の形状のうち、少なくとも１つを含む、
    　請求項３記載の視野算出装置。
  5. 　サッケードの検出が行われる時間であるサッケード検出区間を設定する視野算出時間設定部をさらに備え、
    　前記視野算出時間設定部は、
    　前記ユーザの視野範囲の算出を開始した第１の時点より前において前記ユーザの視野範囲が変化したと想定される第２の時点を推定し、
    　前記第２の時点から前記第１の時点までの時間を前記サッケード検出区間として設定する、
    　請求項１記載の視野算出装置。
  6. 　前記ユーザの顔の方向を検出する顔方向検出部をさらに備え、
    　前記視野範囲算出部は、
    　前記サッケード毎に、当該サッケードの開始時点と終了時点における前記ユーザの顔の方向の差分を、顔向き変位量として算出し、
    　前記第１の閾値に基づいて抽出したサッケードのうち、前記顔向き変位量が第２の閾値以下に対応するサッケードのみを、有効視野内のサッケードとして抽出し、
    　前記有効視野内のサッケードのみの変位ベクトルを算出し、当該変位ベクトルに基づいて、前記ユーザが顔を動かさずに視線移動のみで情報を受容可能な範囲である有効視野範囲を算出する、
    　請求項１記載の視野算出装置。
  7. 　前記有効視野範囲は、所定の情報がＡＲ（Augmented　Reality）表示される範囲として用いられる、
    　請求項６記載の視野算出装置。
  8. 　ユーザの注視方向を検出する検出部を含む視野算出システムにおいて、前記ユーザの視野範囲を算出する視野算出方法であって、
    　前記検出部が第１のタイミングで検出した第１の注視方向と、前記検出部が第２のタイミングで検出した第２の注視方向とに基づいて、サッケードを検出し、
    　前記第１のタイミングと前記第２のタイミングとの時間差と、前記第１の注視方向と、前記第２の注視方向とに基づいて、前記サッケードの速度を算出し、
    　前記サッケードの速度が第１の閾値を超えるサッケードを抽出し、前記抽出されたサッケードの変位ベクトルを算出し、前記変位ベクトルの始点および終点を含む領域を前記ユーザの視野範囲として算出する、
    　視野算出方法。
PCT/JP2014/003532 2013-08-08 2014-07-02 視野算出装置および視野算出方法 WO2015019542A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14834591.1A EP3031388B1 (en) 2013-08-08 2014-07-02 Visual field-calculating unit and visual field-calculating method
JP2015530677A JP6343808B2 (ja) 2013-08-08 2014-07-02 視野算出装置および視野算出方法
US14/996,057 US10117577B2 (en) 2013-08-08 2016-01-14 Visual field calculation apparatus and method for calculating visual field

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013164963 2013-08-08
JP2013-164963 2013-08-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/996,057 Continuation US10117577B2 (en) 2013-08-08 2016-01-14 Visual field calculation apparatus and method for calculating visual field

Publications (1)

Publication Number Publication Date
WO2015019542A1 true WO2015019542A1 (ja) 2015-02-12

Family

ID=52460905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/003532 WO2015019542A1 (ja) 2013-08-08 2014-07-02 視野算出装置および視野算出方法

Country Status (4)

Country Link
US (1) US10117577B2 (ja)
EP (1) EP3031388B1 (ja)
JP (1) JP6343808B2 (ja)
WO (1) WO2015019542A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017006750A1 (ja) * 2015-07-08 2017-01-12 株式会社クリュートメディカルシステムズ 標準眼モジュール装置および視野計評価方法
JP2017024711A (ja) * 2015-07-22 2017-02-02 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 乗員の視線方向を予測する方法および装置
WO2017145549A1 (ja) * 2016-02-23 2017-08-31 株式会社デンソー 脇見見落とし注意システム及びコンピュータプログラム
EP3220237A1 (en) * 2016-03-18 2017-09-20 Toyota Jidosha Kabushiki Kaisha Vehicle display device
JP2017206067A (ja) * 2016-05-16 2017-11-24 株式会社東芝 眼電位検出電極付き制帽、眼電位検出電極付きヘッドウエア、および眼電位検出を利用したアラート方法
JP2017215963A (ja) * 2016-05-30 2017-12-07 日本電信電話株式会社 注目範囲推定装置、学習装置、それらの方法およびプログラム
KR20190105487A (ko) * 2018-03-05 2019-09-17 고려대학교 산학협력단 안구추적을 통한 시야장애 평가 장치, 이를 이용한 시야장애 평가 방법 및 컴퓨터 판독 가능한 저장 매체
WO2019239459A1 (ja) * 2018-06-11 2019-12-19 三菱電機株式会社 運転支援装置、運転支援システムおよび運転支援方法
JP2020093766A (ja) * 2018-12-05 2020-06-18 パナソニックＩｐマネジメント株式会社 車両の制御装置、制御システム、及び制御プログラム
JP2020144731A (ja) * 2019-03-08 2020-09-10 株式会社デンソーアイティーラボラトリ 見落し検知装置、見落し検知方法、およびプログラム
CN112130329A (zh) * 2015-03-17 2020-12-25 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
KR102121134B1 (ko) * 2015-09-24 2020-06-09 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
CN108349503B (zh) * 2015-10-30 2022-08-02 三菱电机株式会社 驾驶辅助装置
WO2017186320A1 (en) 2016-04-29 2017-11-02 Tobii Ab Eye-tracking enabled wearable devices
US11305766B2 (en) * 2016-09-26 2022-04-19 Iprd Group, Llc Combining driver alertness with advanced driver assistance systems (ADAS)
KR101896790B1 (ko) * 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
JP7107725B2 (ja) * 2018-04-10 2022-07-27 浜松ホトニクス株式会社 眼球運動特徴量算出システム、眼球運動特徴量算出方法及び眼球運動特徴量算出プログラム
TWI676823B (zh) * 2018-12-26 2019-11-11 中強光電股份有限公司 抬頭顯示裝置
US10976816B2 (en) * 2019-06-25 2021-04-13 Microsoft Technology Licensing, Llc Using eye tracking to hide virtual reality scene changes in plain sight
CN110728652B (zh) * 2019-09-04 2021-09-14 中国地质大学（武汉） 面向二维规则矢量空间数据的可视域分析方法及装置
EP3920083A1 (en) * 2020-06-05 2021-12-08 Aptiv Technologies Limited Pointing to non-mapped objects outside a vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0938037A (ja) * 1995-07-27 1997-02-10 Agency Of Ind Science & Technol 眼球運動計数型有効視野計測装置
JP2005095572A (ja) 2003-08-21 2005-04-14 Nissan Motor Co Ltd 有効視野計測装置
WO2006106877A1 (ja) * 2005-03-31 2006-10-12 The University Of Tokyo 視野計及び視野計測方法
JP2011206072A (ja) 2010-03-26 2011-10-20 Toyota Infotechnology Center Co Ltd 有効視野測定システムおよび有効視野測定方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880812A (en) 1997-03-13 1999-03-09 Ramot-University Authority For Applied Research And Industrial Development, Ltd. Method and apparatus for evaluating and mapping visual field
GB0709405D0 (en) * 2007-05-16 2007-06-27 Univ Edinburgh Testing vision
US10463248B2 (en) * 2011-03-02 2019-11-05 Brien Holden Vision Institute Limited Systems, methods, and devices for measuring eye movement and pupil response

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0938037A (ja) * 1995-07-27 1997-02-10 Agency Of Ind Science & Technol 眼球運動計数型有効視野計測装置
JP2005095572A (ja) 2003-08-21 2005-04-14 Nissan Motor Co Ltd 有効視野計測装置
WO2006106877A1 (ja) * 2005-03-31 2006-10-12 The University Of Tokyo 視野計及び視野計測方法
JP2011206072A (ja) 2010-03-26 2011-10-20 Toyota Infotechnology Center Co Ltd 有効視野測定システムおよび有効視野測定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Characteristics of Visually Triggered and Internally Guided Saccade Depending on Vigilance States", ANALYSIS OF DYNAMIC PROPERTIES OF SACCADES OCCURRING DURING SMOOTH PURSUIT EYE MOVEMENT, INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS JOURNAL, vol. J78-D-11, no. 5, pages 845 - 854
"TR S 0004 2010: Data on the Age-related Changes of Visual Field Size for Detection", 1 April 2010, JAPANESE STANDARDS ASSOCIATION
NORIO IDEGUCHI ET AL.: "Characteristics of saccadic eye movement as an interface of the automatic perimetry", IEICE TECHNICAL REPORT, vol. 106, no. 285, 5 October 2006 (2006-10-05), pages 45 - 50, XP008179457 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112130329A (zh) * 2015-03-17 2020-12-25 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN112130329B (zh) * 2015-03-17 2022-08-23 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
WO2017006750A1 (ja) * 2015-07-08 2017-01-12 株式会社クリュートメディカルシステムズ 標準眼モジュール装置および視野計評価方法
JP2017024711A (ja) * 2015-07-22 2017-02-02 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 乗員の視線方向を予測する方法および装置
WO2017145549A1 (ja) * 2016-02-23 2017-08-31 株式会社デンソー 脇見見落とし注意システム及びコンピュータプログラム
EP3220237A1 (en) * 2016-03-18 2017-09-20 Toyota Jidosha Kabushiki Kaisha Vehicle display device
CN107203044A (zh) * 2016-03-18 2017-09-26 丰田自动车株式会社 车辆用显示装置
JP2017170949A (ja) * 2016-03-18 2017-09-28 トヨタ自動車株式会社 車両用表示装置
JP2017206067A (ja) * 2016-05-16 2017-11-24 株式会社東芝 眼電位検出電極付き制帽、眼電位検出電極付きヘッドウエア、および眼電位検出を利用したアラート方法
JP2017215963A (ja) * 2016-05-30 2017-12-07 日本電信電話株式会社 注目範囲推定装置、学習装置、それらの方法およびプログラム
JP7070605B2 (ja) 2016-05-30 2022-05-18 日本電信電話株式会社 注目範囲推定装置、その方法およびプログラム
JP2020124590A (ja) * 2016-05-30 2020-08-20 日本電信電話株式会社 注目範囲推定装置、その方法およびプログラム
KR102259462B1 (ko) * 2018-03-05 2021-06-03 고려대학교 산학협력단 안구추적을 통한 시야장애 평가 장치, 이를 이용한 시야장애 평가 방법 및 컴퓨터 판독 가능한 저장 매체
KR20190105487A (ko) * 2018-03-05 2019-09-17 고려대학교 산학협력단 안구추적을 통한 시야장애 평가 장치, 이를 이용한 시야장애 평가 방법 및 컴퓨터 판독 가능한 저장 매체
JPWO2019239459A1 (ja) * 2018-06-11 2020-12-17 三菱電機株式会社 運転支援装置、運転支援システムおよび運転支援方法
JP7003254B2 (ja) 2018-06-11 2022-01-20 三菱電機株式会社 運転支援装置、運転支援システムおよび運転支援方法
WO2019239459A1 (ja) * 2018-06-11 2019-12-19 三菱電機株式会社 運転支援装置、運転支援システムおよび運転支援方法
JP2020093766A (ja) * 2018-12-05 2020-06-18 パナソニックＩｐマネジメント株式会社 車両の制御装置、制御システム、及び制御プログラム
JP2020144731A (ja) * 2019-03-08 2020-09-10 株式会社デンソーアイティーラボラトリ 見落し検知装置、見落し検知方法、およびプログラム
JP7145792B2 (ja) 2019-03-08 2022-10-03 株式会社デンソーアイティーラボラトリ 見落し検知装置、見落し検知方法、およびプログラム

Also Published As

Publication number Publication date
EP3031388B1 (en) 2020-01-15
JP6343808B2 (ja) 2018-06-20
EP3031388A4 (en) 2016-08-03
EP3031388A1 (en) 2016-06-15
JPWO2015019542A1 (ja) 2017-03-02
US20160120403A1 (en) 2016-05-05
US10117577B2 (en) 2018-11-06

Similar Documents

Publication Publication Date Title
JP6343808B2 (ja) 視野算出装置および視野算出方法
JP6591085B2 (ja) 乗り物酔い推定装置、乗り物酔い防止装置および乗り物酔い推定方法
EP2893867B1 (en) Detecting visual inattention based on eye convergence
JP4733242B2 (ja) 運転注意量判別装置、方法、および、コンピュータプログラム
US20150229885A1 (en) Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle
JP6565408B2 (ja) 車両制御装置及び車両制御方法
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
EP2911117B1 (en) Controlling display of information for alerting a driver
JP2018156172A (ja) 車両の表示システム及び車両の表示システムの制御方法
EP3588372A1 (en) Controlling an autonomous vehicle based on passenger behavior
JP4647387B2 (ja) 車両の運転支援装置
EP3875299A1 (en) Attention-based notifications
JP6213435B2 (ja) 注意過多状態判定装置及び注意過多状態判定プログラム
US20150158494A1 (en) Method and apparatus for determining carelessness of driver
JP4929681B2 (ja) 眼球停留関連電位解析装置及び解析方法
JP5644414B2 (ja) 覚醒度判定装置、覚醒度判定方法及びプログラム
JP6822325B2 (ja) 操縦支援装置、操縦支援方法、プログラム
JP7342637B2 (ja) 車両制御装置および運転者状態判定方法
JP7342636B2 (ja) 車両制御装置および運転者状態判定方法
JP2006043429A (ja) 視認負荷判断装置
CN113276821A (zh) 驾驶员状态推断装置
CN113276822A (zh) 驾驶员状态推断装置
WO2018158950A1 (ja) 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム
JP2018013811A (ja) ドライバ状態判定装置、及びドライバ状態判定プログラム
JP2011086125A (ja) 視認検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14834591

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015530677

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014834591

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE