WO2019117165A1 - 瞳孔検出装置および検出システム - Google Patents

瞳孔検出装置および検出システム Download PDF

Info

Publication number
WO2019117165A1
WO2019117165A1 PCT/JP2018/045555 JP2018045555W WO2019117165A1 WO 2019117165 A1 WO2019117165 A1 WO 2019117165A1 JP 2018045555 W JP2018045555 W JP 2018045555W WO 2019117165 A1 WO2019117165 A1 WO 2019117165A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil
movement
imaging
control unit
detection device
Prior art date
Application number
PCT/JP2018/045555
Other languages
English (en)
French (fr)
Inventor
田中　純一
雄太郎 奥野
正行 荒川
正樹 諏訪
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2019117165A1 publication Critical patent/WO2019117165A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods

Definitions

  • the present disclosure relates to a pupil detection device that detects movement of a pupil, and a detection system including the pupil detection device.
  • Patent Document 1 discloses an eye movement inspection apparatus for estimating the movement of the eye and the movement of the head of a target person from a photographed image.
  • the subject of the eye movement inspection apparatus wears a predetermined contact lens.
  • a retroreflective material is formed on the contact lens to form a predetermined reflection pattern.
  • light of a predetermined wavelength is emitted toward the subject by the light source, and imaging is performed by the camera.
  • the computer estimates the head movement of the subject for each axis in the world coordinate system based on the captured image, and estimates the eye movement of the subject in the head coordinate system for each axis of the head coordinate system There is.
  • Patent Document 2 discloses an eye part area detection program for extracting an eye part of a subject at high speed from image data obtained by photographing the subject using an image processing technology.
  • the eye area detection program differentiates the density value in the original image including the face of the subject in the vertical direction of the original image, integrates the differential values in the horizontal direction, and generates a histogram, and the maximum value of the histogram or The eye region is extracted from the original image using the maximum value.
  • Patent Documents 3 and 4 also disclose an image processing technique for detecting an eye part, a pupil part and the like from an image captured by a camera.
  • Patent Document 5 discloses a state estimation device that estimates a state of a monitoring target person based on eye movement, using a driver of a vehicle as a monitoring target person.
  • Patent Document 6 discloses a system for estimating the attentiveness of a person to be monitored in a state estimation device.
  • Patent Document 7 proposes to use measurement of fixation involuntary eye movement when estimating the position at which the user is paying attention within the field of view of the user.
  • Patent No. 5276381 gazette Patent No. 596458 gazette Patent No. 5995217 Unexamined-Japanese-Patent No. 2017-23519 JP, 2015-207163, A JP 2013-240469 A
  • An object of the present disclosure is to provide a pupil detection device and a detection system that can facilitate detection of specific pupil movement.
  • the pupil detection device detects the movement of the pupil based on the imaging result of the imaging device that captures an image including the pupil.
  • the pupil detection device includes an acquisition unit and a control unit.
  • the acquisition unit acquires imaging data indicating an imaging result from the imaging device.
  • the control unit executes data processing based on the imaging data acquired by the acquisition unit.
  • the control unit extracts information indicating the movement of the pupil based on the imaging data, performs time-frequency analysis on the extracted information, and detects the movement of the pupil.
  • the time frequency analysis is a numerical analysis that decomposes the waveform to be analyzed in the time direction into each frequency, and is performed by, for example, Fourier transform.
  • a detection device includes an imaging device and a pupil detection device.
  • the imaging device captures an image including a pupil and generates imaging data.
  • the pupil detection device detects the movement of the pupil based on the imaging data.
  • the pupil detection device and detection system of the present disclosure can facilitate detection of particular pupil movements.
  • FIG. 6 illustrates image processing in the microsaccade detection process of the first embodiment.
  • a diagram for explaining an imaging device according to a second embodiment Schematic view of various images in the microsaccade detection process of the second embodiment
  • Flowchart exemplifying micro-saccade detection process in the second embodiment A scatter plot that illustrates the distribution of events in the intensity change data when a microsaccade occurs
  • FIG. 1 is a diagram for describing an application example of a detection system 1 according to the present disclosure.
  • FIG. 1 shows an application example of the detection system 1 to in-vehicle applications.
  • the detection system 1 detects, for example, the awakening degree indicating the awakening state of the driver 3 driving the vehicle 2, and performs notification for the prevention of a doze or driving according to the decrease in the awakening degree.
  • the detection system 1 may perform various controls for driving assistance of the vehicle 2 based on the detection results of the awakening degree and the like.
  • the detection system 1 includes an imaging device 4 and a pupil detection device 5 as shown in FIG.
  • the imaging device 4 is disposed, for example, in the vehicle 2 and captures an image in the vicinity of the eye 30 of the driver 3.
  • the driver 3 is an example of a subject to be detected by the detection system 1.
  • the pupil detection device 5 is a device that detects the movement of the pupil according to the eye movement of the subject based on the imaging result of the imaging device 4.
  • the pupil detection device 5 is connected to, for example, a notification unit 21 such as an audio output device provided in the vehicle 2.
  • the pupil detection device 5 may be connected to various ECUs (electronic control units) or the like of the vehicle 2.
  • microsaccades are high-speed eye movements that move instantaneously in fine eye movements classified as involuntary eye movement.
  • head movement and eye movement can occur simultaneously, such as occurrence of microsaccade when the driver 3 moves the head, for example.
  • each of head movement and eye movement was measured, and complicated processing of analyzing the correlation between the head movement and eye movement was performed to detect eye movement to be a target.
  • the detection system 1 does not need to separately measure the head movement under the above-mentioned situation, and the pupil detection device 5 can detect the eye movement to be a target such as a microsaccade.
  • the information which shows the movement of the pupil is extracted in and the frequency analysis is performed in the time direction.
  • the imaging device 4 is configured by a high-speed camera having a high frame rate such as 500 fps.
  • the frame rate of the imaging device 4 is set to be equal to or more than twice the peak frequency of eye movement to be detected in consideration of the detection object such as a microsaccade.
  • the imaging device 4 of the present embodiment generates image data indicating a frame image, and outputs the generated image data to the pupil detection device 5.
  • the image data generated by the imaging device 4 is an example of imaging data in the present embodiment.
  • the imaging device 4 may include an illumination light source for imaging.
  • the illumination light source emits, for example, infrared light as illumination light.
  • the illumination light source is arranged to irradiate the subject such as the driver 3 with illumination light.
  • the illumination light source may be configured separately from the imaging device 4 and can be incorporated into the detection system 1 as appropriate.
  • FIG. 2 is a diagram illustrating the configuration of the pupil detection device 5.
  • the pupil detection device 5 includes an acquisition unit 51 and a control unit 52 as shown in FIG.
  • the pupil detection device 5 also includes, for example, a storage unit 53 and an output unit 54.
  • the acquisition unit 51 is an input interface circuit that inputs data from the outside of the pupil detection device 5.
  • the acquisition unit 51 is connected to the imaging device 4 in accordance with a predetermined communication standard such as USB, for example.
  • the acquisition unit 51 acquires imaging data and the like indicating an imaging result from the imaging device 4.
  • the control unit 52 includes a CPU, a RAM, a ROM and the like, and controls each component according to information processing. For example, based on the data acquired by the acquisition unit 51, the control unit 52 executes data processing according to a predetermined program.
  • the predetermined program is a program for realizing various operations of the pupil detection device 5 to be described later.
  • the control unit 52 may hold various data such as imaging data from the imaging device 4 in an internal memory such as a RAM.
  • the storage unit 53 is, for example, an auxiliary storage device such as a hard disk drive or a solid state drive.
  • the storage unit 53 stores programs executed by the control unit 52, various data, and the like.
  • the pupil detection device 5 may obtain the above-described program and the like from a portable storage medium.
  • the storage medium stores information such as a program by an electric, magnetic, optical, mechanical or chemical action so that information such as a computer or other device, machine or the like can be read. It is a medium.
  • the output unit 54 is an output interface circuit that outputs data from the pupil detection device 5 to the outside.
  • the output unit 54 is connected to, for example, the notification unit 21 of the vehicle 2 (FIG. 1) or various ECUs.
  • the output unit 54 and the acquisition unit 51 may be integrally configured to configure an input / output interface.
  • FIG. 3 is a flowchart illustrating the operation of the pupil detection device 5 in the detection system 1.
  • Each process of the flowchart shown in FIG. 3 is executed by the control unit 52 of the pupil detection device 5.
  • This flowchart is started in a state where the imaging device 4 captures an image in the vicinity of the eye 30 of the driver 3 while driving the vehicle 2 shown in FIG. 1, for example.
  • the control unit 52 of the pupil detection device 5 executes microsaccade detection processing (S1).
  • the microsaccade detection process is an example of data processing for detecting a microsaccade in the movement of the pupil 6 based on the imaging result of the imaging device 4. Details of the micro saccade detection process will be described later.
  • the occurrence frequency of the microsaccade is detected from the detection result of the microsaccade detection process (S2), and it is determined whether the current occurrence frequency of the microsaccade corresponds to the decrease condition of the awakening degree. (S2).
  • step S2 is performed by appropriately setting a condition for decreasing the awakening degree in accordance with the correlation between the assumed frequency of occurrence of the microsaccade and the awakening degree. For example, the control unit 52 determines whether the same occurrence frequency corresponds to the decrease condition of the awakening degree according to whether the current occurrence frequency of the microsaccade is higher than a predetermined reference value (S2). ).
  • step S1 When the control unit 52 determines that the current microsaccade occurrence frequency does not correspond to the awakening degree reduction condition (NO in S2), the control unit 52 executes the process of step S1 again in a predetermined cycle.
  • the cycle of repeating step S1 can be set as appropriate, and is, for example, one second.
  • control unit 52 determines that the current microsaccade occurrence frequency falls under the awakening degree reduction condition (YES in S2), the control unit 52 generates notification information indicating that the awakening degree has decreased, and the output unit The notification information is output to the notification unit 21 and the like via 54 (FIG. 2) (S3).
  • the control unit 52 outputs the notification information (S3), and ends the process according to the flowchart of FIG.
  • the pupil detection device 5 can detect the occurrence frequency of the microsaccade by the subject such as the driver 3 and the like, and can detect the decrease in the awakening degree.
  • FIG. 4 is a flowchart illustrating the microsaccade detection process (S1 in FIG. 3) in the present embodiment.
  • FIG. 5 is a diagram illustrating image processing (S12) in the microsaccade detection process of the present embodiment.
  • FIG. 6 is a diagram for explaining time frequency analysis (S13, S14) in the microsaccade detection process.
  • the control unit 52 of the pupil detection device 5 acquires image data for a predetermined period from the imaging device 4 via the acquisition unit 51 (S11).
  • the predetermined period of step S11 can be appropriately set in consideration of the number of frames required for frequency analysis. For example, the predetermined period is set to one second.
  • control unit 52 performs image processing on the image of each frame in the acquired image data, and extracts a temporal change (i.e., time evolution) of the position of the pupil (S12).
  • a temporal change i.e., time evolution
  • FIG. 5A illustrates an image 60 of one frame in image data from the imaging device 4.
  • the pupil 61 is included in the image 60.
  • FIG. 5 (b) illustrates the binarized image 62 of the image 60 of FIG. 5 (a).
  • X direction the horizontal direction on the imaging surface of the imaging device 4
  • Y direction the vertical direction
  • step S12 the control unit 52 performs, for example, binarization processing on the luminance for each pixel in the image 60 of one frame as shown in FIG. 5A.
  • the control unit 52 assigns white gradation to pixels having luminance less than a predetermined threshold in the original image 60 (FIG. 5A), and sets black floors to pixels having luminance equal to or higher than the threshold.
  • a tone is assigned to generate a binarized image 62 (FIG. 5 (b)).
  • the threshold value is set to a value larger than the luminance assumed for the pupil 61 in the image 60.
  • the area 63 corresponding to the pupil 61 can be easily determined.
  • the control unit 52 calculates the central position 64 of the area 63 determined by the binarization processing as the pupil position of the pupil 61 at the time of the corresponding frame.
  • the control unit 52 performs the above processing on the image of each frame to generate time-series data of pupil positions. Thereby, the temporal change of the pupil position is extracted.
  • FIG. 6A illustrates temporal changes in pupil position. In the graph illustrated in FIG. 6A, the horizontal axis indicates time (ms), and the vertical axis indicates the X coordinate of the pupil position.
  • the control unit 52 performs frequency decomposition in the time direction on the temporal change of the extracted pupil position (S13). For example, the control unit 52 performs FFT (Fast Fourier Transform) on the generated time-series data to calculate a frequency spectrum of the time-series data.
  • FIG. 6 (b) is a graph showing the frequency spectrum for one second in FIG. 6 (a). In the graph of FIG. 6 (b), the horizontal axis indicates frequency (Hz), and the vertical axis indicates intensity of the frequency component.
  • control unit 52 analyzes, for example, the frequency spectrum as a result of the frequency resolution shown in FIG. 6B to determine whether or not pupil movement occurs in a specific frequency band corresponding to the microsaccade.
  • the specific frequency band is set to, for example, a range including the peak frequency of the microsaccade, such as 220 to 250 Hz, and not including the frequency that is expected to significantly occur according to the head movement.
  • step S14 for example, in the frequency spectrum, the control unit 52 determines whether the frequency component included in the specific frequency band is equal to or higher than a predetermined threshold.
  • the threshold value is set in consideration of the strength of the frequency component assumed when microsaccade occurs. If the maximum value of the specific frequency band component is equal to or higher than the threshold value, the control unit 52 determines that the movement of the pupil in the specific frequency band, that is, the microsaccade has occurred (YES in S14).
  • the control unit 52 determines that the movement of the pupil in a specific frequency band has occurred (YES in S14), the micro-saccade occurrence time is recorded in the storage unit 53 (S15). For example, the control unit 52 records the time when the image data is acquired in step S11 as the micro-saccade occurrence time.
  • control unit 52 determines that the movement of the pupil in the specific frequency band does not occur (NO in S14)
  • the microsaccade detection process (S1 in FIG. 3) is ended without performing the process of step S15. , And go to step S2.
  • FIG. 6A shows an example in which a microsaccade occurs at the timing indicated by the arrow A1 while the X coordinate of the position of the pupil gradually changes due to head movement.
  • the pupil detection device 5 of this embodiment executes the microsaccade detection process every predetermined period (S11) to detect whether or not the microsaccade has occurred during the period to be processed.
  • the control unit 52 of the pupil detection device 5 extracts a temporal change of the position of the pupil for one second in the example of FIG. 6A (S12), and as shown in FIG. To calculate the frequency spectrum of (S13).
  • the frequency spectrum of the example of FIG. 6B includes a first peak value P1 corresponding to head movement and a second peak value P2 corresponding to microsaccade.
  • the control unit 52 of the pupil detection device 5 processes one second based on, for example, the second peak value P2 that is maximum within the range of the specific frequency band B1. It is detected that a microsaccade has occurred (S14, S15). In this way, it is possible to detect whether a microsaccade is occurring or not without interfering with the head movement, particularly under conditions where head movement can occur simultaneously.
  • the pupil detection device 5 detects the movement of the pupil based on the imaging result of the imaging device 4 for imaging an image including the pupil.
  • the pupil detection device 5 includes an acquisition unit 51 and a control unit 52.
  • the acquisition unit 51 acquires image data as imaging data indicating an imaging result from the imaging device 4.
  • the control unit 52 executes data processing based on the image data acquired by the acquisition unit 51.
  • the control unit 52 extracts a time change of the pupil position as information indicating the movement of the pupil based on the image data (S12).
  • the control unit 52 performs time-frequency analysis on the extracted information to detect the movement of the pupil (S13, S14).
  • the pupil detection device 5 by extracting information indicating the movement of the pupil and performing time frequency analysis, for example, a specific pupil corresponding to eye movement having a frequency band different from head movement, etc. Motion can be made easy to detect.
  • the imaging data of the imaging device 4 is image data indicating the image 60 for each frame.
  • the control unit 52 extracts a temporal change of the position of the pupil 61 in the image 60 for each frame (S12).
  • S12 a temporal change of the position of the pupil 61 in the image 60 for each frame
  • control unit 52 performs a binarization process on luminance on the image 62 for each frame to determine an area 63 corresponding to the pupil 61 (see FIG. 5).
  • the control unit 52 extracts a temporal change of the position 64 of the pupil 61 based on the area 63 determined for each frame (S12). Since the luminance of the pupil 61 in the image 62 is considered to be remarkably low, the position of the pupil 61 can be accurately obtained by the binarization processing.
  • the detection system 1 includes an imaging device 4 and a pupil detection device 5.
  • the imaging device 4 captures an image including a pupil and generates imaging data.
  • the pupil detection device 5 detects the movement of the pupil based on the imaging data.
  • the detection system 1 can easily detect the movement of a specific pupil according to the microsaccade or the like by the pupil detection device 5, and can detect the awakening degree or the like of the subject based on the detection result.
  • Second Embodiment In the second embodiment, a configuration example of a detection system 1 using a differential detection type imaging device 4 that detects a change in luminance will be described.
  • FIG. 7 is a diagram for explaining the imaging device 4 according to the present embodiment.
  • FIG. 7 schematically shows an imaging surface 4 a of the imaging device 4 of the present embodiment and output data of each pixel 40 on the imaging surface 4 a.
  • the detection system 1 of the present embodiment employs, as the imaging device 4, a differential detection type camera device that detects a temporal change rate of luminance for each pixel 40 in the imaging surface 4 a.
  • a configuration of the imaging device 4 of the present embodiment for example, a known configuration known as a dynamic vision sensor (DVS) can be applied (see, for example, Non-Patent Document 1).
  • DVD dynamic vision sensor
  • the imaging device 4 outputs an imaging element having an imaging surface 4a in which the pixels 40 are arranged in a two-dimensional array, an optical lens for condensing light on the imaging surface 4a, and imaging data (brightness change data D1).
  • a data output circuit etc. are provided.
  • Each pixel 40 of the imaging device includes, for example, a photodiode, a differentiator, a comparator, and the like.
  • Each pixel 40 can be identified by XY coordinates on the imaging surface 4a.
  • an image is formed (formed) on the imaging surface 4 a of the imaging element by the light from the optical lens.
  • the imaging device 4 of the present embodiment performs threshold determination of the temporal change rate of luminance for each pixel 40 on the image on the imaging surface 4 a, and detects an event in which the luminance for each pixel 40 has changed.
  • the event to be detected is an event in which a change in brightness occurs at the position of the pixel 40, and is specified by whether the change in brightness increases or decreases, the timing when the brightness increases or decreases, and the XY coordinate of the pixel 40.
  • the imaging device 4 generates luminance change data D1 indicating the detection result of each event.
  • the luminance change data D1 illustrated in FIG. 7 includes output data D11 when the luminance is increased and output data D12 when the luminance is reduced.
  • the open squares represent output data when the luminance is increased.
  • the black squares represent output data at the time of decrease in luminance.
  • the luminance change data D1 is an example of imaging data of an imaging result by the imaging device 4 of the present embodiment.
  • each pixel 40 detects an increase in luminance when the temporal change rate of luminance exceeds the upper threshold, and detects a decrease in luminance when the temporal change rate falls below the lower threshold.
  • each pixel 40 detects an increase or a decrease in luminance, it immediately outputs a detection result at the detected timing.
  • the pixel 40 whose luminance has not changed and the pixel 40 whose temporal change rate of luminance is between the upper threshold and the lower threshold do not particularly output the detection result.
  • the imaging device 4 generates, for example, the luminance change data D1 in association with the XY coordinates of the pixel 40 which has output the detection result, the timing of the detection result, and information indicating increase or decrease of the luminance.
  • the imaging device 4 externally outputs the luminance change data D1 as, for example, time-series data in which the time width is set to a predetermined value.
  • the imaging device 4 of the present embodiment can detect a change in luminance in a time width much shorter than the frame period.
  • the detectable time width is, for example, a reaction period in which the pixel 40 responds to the change in luminance, and is, for example, 100 microseconds.
  • the pupil detection device 5 executes the microsaccade detection process (S1 in FIG. 3) using the luminance change data D1 by the imaging device 4.
  • the outline of the microsaccade detection process according to the present embodiment will be described with reference to FIG.
  • FIG. 8 is a schematic view of various images in the microsaccade detection process of the present embodiment.
  • FIGS. 8 (a) and 8 (b) illustrate an image including the pupil 6 before and after the occurrence of the microsaccade.
  • FIG. 8C illustrates the luminance change image 7 corresponding to the imaging result between FIGS. 8A and 8B by the imaging device 4 (FIG. 1).
  • FIGS. 8 (a) and 8 (b) are formed on the imaging surface 4a (FIG. 7) of the imaging device 4 before and after the occurrence of the microsaccade, respectively.
  • the pupil 6 on the image of FIGS. 8 (a) and 8 (b) is moved by the micro saccade from the time point of FIG. 8 (a) to the moving direction d1 as shown in FIG. 8 (b).
  • the imaging device 4 outputs a change in luminance for each pixel as luminance change data D1 as needed between FIGS. 8A and 8B (FIG. 7).
  • FIG. 8C illustrates the luminance change image 7 corresponding to the luminance change data D1 obtained between FIGS. 8A and 8B. Since the brightness of the area where the pupil 6 is located is significantly lower than the brightness of the area around the pupil 6, the movement of the pupil 6 such as a microsaccade causes a unique change in brightness in the brightness change image 7. it is conceivable that.
  • the luminance of the luminance change image 7 is changed between the area 71 on the start end side and the area 72 on the end side in the moving direction d1 of the pupil 6.
  • the pupil 6 was positioned at the time of FIG. 8A, but the luminance is increased because the pupil 6 is not positioned at the time of FIG. 8B.
  • the pupil 6 was not positioned at the time of FIG. 8A, but the pupil 6 became to be positioned at the time of FIG. Do.
  • the microsaccade detection process of the present embodiment realizes the automatic detection of microsaccades that may occur at any time by the simple process of counting the change in luminance as described above.
  • the micro saccade detection process according to the present embodiment will be described in detail.
  • FIG. 9 is a flowchart illustrating the micro-saccade detection process according to the second embodiment.
  • the pupil detection device 5 of the present embodiment executes the microsaccade detection process according to the flowchart of FIG. 9 instead of the flowchart of FIG.
  • the microsaccade detection process acquires image data for a predetermined period including a plurality of frames (S11 in FIG. 4), and extracts a temporal change in pupil position (S12).
  • the control unit 52 of the pupil detection device 5 acquires luminance change data D1 for a predetermined period, instead of image data, from the imaging device 4 via the acquisition unit 51 S11A).
  • the control unit 52 Based on the acquired luminance change data D1, the control unit 52 extracts the temporal change of the number of luminance changes instead of the temporal change of the pupil position (S12A).
  • the number of changes in luminance indicates the number of events in which the luminance at the same coordinate in the luminance change data D1 temporally changes, that is, the number of events.
  • the control unit 52 divides the above-mentioned predetermined period into predetermined sample periods, and counts the number of luminance changes in each sample period in the acquired luminance change data D1 (S12A).
  • the sample period is appropriately set to 1/2 or less of the reciprocal of the frequency of the movement of the pupil to be detected.
  • the control unit 52 performs frequency decomposition in the time direction (S13) as in the first embodiment with respect to temporal changes in the extracted luminance change number, and based on the result of the frequency decomposition, the movement of the pupil in a specific frequency band Is determined (S14).
  • the specific frequency is set, for example, near the peak frequency of the microsaccade velocity.
  • the microsaccade occurrence time can be detected (S15).
  • control unit 52 searches for a region corresponding to the pupil in luminance change data D1, and the number of events having coordinates within the searched region May be counted as the number of luminance changes.
  • a method of searching for the area of the pupil in the luminance change data D1 will be described with reference to FIGS.
  • FIG. 10 is a scatter diagram illustrating the distribution of events in the luminance change data D1 at the occurrence of microsaccades.
  • FIG. 10 shows a spatial distribution of an increase event E11 in which the brightness is increased and a decrease event E12 in which the brightness is decreased in the brightness change data D1 acquired in step S11A.
  • control unit 52 generates the luminance change image 7 by calculating the number of events E11 and E12 for each XY coordinate of each pixel in the acquired luminance change data D1.
  • the luminance change image 7 may have two types (for example, two colors) of pixel values corresponding to the increase event E11 and the decrease event E12 in each pixel.
  • the distribution of FIG. 10 includes an elliptical region R1 corresponding to the pupil 6 moved by the micro saccade.
  • the luminance increase event E11 and the luminance decrease event E12 are distributed in an elliptical shape. Therefore, the control unit 52 searches for an elliptical region R1 due to the movement of the pupil 6 in the generated luminance change image 7.
  • FIG. 11 is a diagram illustrating a method of searching for the elliptical region R1 in the luminance change image 7.
  • the control unit 52 scans the luminance change image 7 using the scanning region R10.
  • the scan area R10 has a predetermined elliptical shape, and is set at various scan positions on the luminance change image 7.
  • the elliptical shape of the scanning region R10 is set to the size and shape assumed as the elliptical region R1 due to the movement of the pupil 6.
  • control unit 52 sequentially counts predetermined evaluation values for the images located inside the scanning region R10.
  • the evaluation value is counted, for example, by the number of pixels having at least one event E11 and E12 in the image inside the scanning region R10.
  • the evaluation value may be counted by the number of luminance changes in the scanning region R10.
  • the control unit 52 detects a scan area R10 at a scan position where the evaluation value is the maximum value or the maximum value as an elliptical area R1.
  • the search for the elliptical region R1 is not limited to the scanning by the scanning region R10, and for example, pattern recognition may be applied, or Hough transform using an equation of an elliptic curve or the like may be applied. Further, not only the image processing of the luminance change image 7 but also the event processing of the luminance change data D1 may extract data corresponding to the moving pupil 6.
  • FIG. 12 is a graph showing experimental results of a pupil model test on the pupil detection device 5 of the second embodiment.
  • time ( ⁇ s) is shown, and the vertical axis shows the number of changes in luminance.
  • FIG. 12 a model experiment was conducted to simulate the state in which the eye movement and the head movement overlap.
  • a black round member with a diameter of 3 mm was used as a model of the pupil.
  • the model was moved at 100 m / s corresponding to head movement while vibrating the model corresponding to eye movement.
  • the vibration of the model was set at a frequency of 100 Hz and an amplitude of 200 ⁇ m so as to correspond to a microsaccade, and a maximum velocity of 20 mm / s was obtained.
  • the motion of the model of the pupil as described above was imaged by the imaging device 4, and the number of changes in luminance was counted by the pupil detection device 5 (S15).
  • the imaging condition of the imaging device 4 was an optical magnification of 1.0 and a resolution of 304 ⁇ 240 pixels.
  • the sample period (S12A) for counting the number of changes in luminance was 0.5 milliseconds.
  • the increase event E11 and the decrease event E12 of the brightness are, for example, 500 or more.
  • the number of changes in luminance increases as the object such as the pupil moves faster, and is considered to be correlated with the velocity of the object. For this reason, it is considered that, for example, when the pupil moves by head movement unrelated to eye movement, the number of brightness changes increases.
  • the pupil detection device 5 of the present embodiment analyzes the high-frequency component not including the head movement by frequency-resolving the temporal change of the number of luminance changes (S13).
  • FIG. 13 is a graph showing the frequency spectrum of the experimental result of FIG. In FIG. 13, the frequency (Hz) is shown, and the vertical axis shows the intensity of the frequency component.
  • frequency analysis was performed on the number of luminance changes of 1024 samples for 512 milliseconds.
  • a first peak P11 and a second peak P12 which were separated from each other were confirmed.
  • the first peak P11 is located near 0 Hz, and is considered to correspond to simulated movement of head movement.
  • the second peak P12 is located near 100 Hz and is considered to correspond to a simulated oscillatory movement of the eye movement. Therefore, even when an actual microsaccade or the like is generated overlapping the head movement, the temporal change in the number of changes in luminance is frequency-resolved, and the movement of the pupil in a specific frequency band according to the microsaccade is It was confirmed to be detectable.
  • the imaging data acquired from the imaging device 4 is luminance change data D1 indicating the timing of an event in which the luminance has changed for each pixel.
  • the control unit 52 Based on the luminance change data D1, the control unit 52 extracts temporal change of the number of events of the event whose luminance has changed (that is, the number of luminance changes) (S12A).
  • the number of events has a correlation with the speed of movement of the pupil 6, and the temporal change in the number of events is an example of information indicating the movement of the pupil 6.
  • information indicating the movement of the pupil 6 can be easily extracted by counting the number of events.
  • control unit 52 performs frequency decomposition on the temporal change of the extracted number of events (S13), and detects the movement of the pupil in a specific frequency band (S14).
  • S13 the extracted number of events
  • S14 the movement of the pupil in a specific frequency band
  • the specific frequency band includes, for example, a frequency corresponding to the micro saccade of eye movement.
  • Embodiments 1 and 2 described above an example in which the detection target by the pupil detection device 5 is a microsaccade has been described.
  • the object to be detected by the pupil detection device 5 is not limited to the microsaccade, and may be another fine eye movement, a saccade, a blink or the like. In this case, a specific frequency band corresponding to the movement of the pupil to be detected can be set as appropriate.
  • the detection system 1 detects the awakening degree of the subject.
  • the detection target of the detection system 1 is not limited to the awakening degree. It may be various indicators that can be detected.
  • the detection system 1 may detect the degree of collection or fatigue of a subject.
  • the detection system 1 which concerns on this indication is not limited to a vehicle-mounted use.
  • the detection system 1 according to the present disclosure is applicable to various environments capable of imaging the eye of a subject, and can be applied, for example, to monitor workers in a factory.
  • a first aspect according to the present disclosure is a pupil detection device (5) for detecting the movement of the pupil based on an imaging result of an imaging device (4) for imaging an image including a pupil.
  • the pupil detection device includes an acquisition unit (51) and a control unit (52).
  • An acquisition unit acquires imaging data indicating the imaging result from the imaging device.
  • the control unit executes data processing based on the imaging data acquired by the acquisition unit.
  • the control unit extracts information indicating the movement of the pupil based on the imaging data (S12, S12A).
  • the control unit performs time-frequency analysis on the extracted information to detect the movement of the pupil (S13, S14).
  • the imaging data indicates an image (60) for each frame.
  • the information indicating the movement of the pupil indicates a temporal change of the position of the pupil.
  • the control unit extracts a temporal change of the position of the pupil (61) in the image for each frame.
  • the control unit performs binarization processing on luminance on the image for each frame to determine a region (63) corresponding to the pupil. .
  • the control unit extracts a temporal change of the position of the pupil based on the area determined for each frame (S12).
  • the imaging data (D1) indicates a timing at which the luminance changes for each pixel.
  • the information indicating the movement of the pupil indicates a temporal change in the number of luminance changes, which is the number of timings at which the luminance has changed.
  • the control unit counts the number of changes in luminance based on the imaging data, and extracts temporal changes in the number of changes in luminance (S12A).
  • the control unit frequency-resolves the temporal change of the extracted luminance change number (S13) to detect the movement of the pupil in a specific frequency band To do (S14).
  • the specific frequency band includes a frequency corresponding to a microsaccade of eye movement.
  • a seventh aspect is a detection system (1) including an imaging device and the pupil detection device according to any of the first to sixth aspects.
  • the imaging device captures an image including a pupil and generates imaging data.
  • the pupil detection device detects the movement of the pupil based on the imaging data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Child & Adolescent Psychology (AREA)
  • Eye Examination Apparatus (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

瞳孔検出装置（５）は、瞳孔を含んだ画像を撮像する撮像装置（４）の撮像結果に基づいて、瞳孔の動きを検出する。瞳孔検出装置は、取得部（５１）と、制御部（５２）とを備える。取得部は、撮像装置から撮像結果を示す撮像データを取得する。制御部は、取得部によって取得された撮像データに基づくデータ処理を実行する。制御部は、撮像データに基づいて、瞳孔の動きを示す情報を抽出し、抽出した情報に時間周波数解析を行って、瞳孔の動きを検出する。

Description

瞳孔検出装置および検出システム
　本開示は、瞳孔の動きを検出する瞳孔検出装置、および瞳孔検出装置を備えた検出システムに関する。
　特許文献１は、撮影画像から、対象となる人物の眼球の運動と頭部の運動の推定をするための眼球運動検査装置を開示している。眼球運動検査装置の対象者は、所定のコンタクトレンズを装着している。当該コンタクトレンズには、再帰性反射材が、所定の反射パターンを成すように形成されている。眼球運動検査装置では、光源により、対象者に向けて所定の波長の光が照射され、カメラによって撮像が行われる。コンピュータは、撮像された画像に基づき、世界座標系での軸ごとに対象者の頭部運動を推定し、頭部座標系における対象者の眼球運動を頭部座標系の軸ごとに推定している。
　特許文献２は、画像処理技術を用いて、被検者を撮影した画像データから、被検者の眼部を高速で抽出することを目的とした眼部領域検出プログラムを開示している。眼部領域検出プログラムは、被検者の顔を含んだ元画像における濃度値を、元画像の縦方向で微分し、微分値を横方向で積算してヒストグラムを生成し、ヒストグラムの最大値又は極大値を用いて元画像から眼部領域を抽出している。
　また、特許文献３，４においても、カメラで撮像した画像から眼部および瞳孔部分等を検出する画像処理技術が開示されている。特許文献５は、車両のドライバ等を監視対象者として、眼球運動に基づき監視対象者の状態を推定する状態推定装置を開示している。特許文献６は、状態推定装置において監視対象者の注意力を推定するシステムを開示している。特許文献７は、利用者の視野内で利用者が注意している位置を推定する際に、固視微動の計測を用いることを提案している。
特開２０１６－８７０９３号公報 特許第５２７６３８１号公報 特許第５９６４５８号公報 特許第５９９５２１７号公報 特開２０１７－２３５１９号公報 特開２０１５－２０７１６３号公報 特開２０１３－２４０４６９号公報
Ｔｏｂｉ　Ｄｅｌｂｒｕｃｋ，"Ｆｒａｍｅ－ｆｒｅｅ　ｄｙｎａｍｉｃ　ｄｉｇｉｔａｌ　ｖｉｓｉｏｎ"，Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｉｎｔｌ．Ｓｙｍｐ．ｏｎ　Ｓｅｃｕｒｅ－Ｌｉｆｅ　Ｅｌｅｃｔｒｏｎｉｃｓ，Ａｄｖａｎｃｅｄ　Ｅｌｅｃｔｒｏｎｉｃｓ　ｆｏｒ　Ｑｕａｌｉｔｙ　Ｌｉｆｅ　ａｎｄ　Ｓｏｃｉｅｔｙ，Ｕｎｉｖ．　ｏｆ　Ｔｏｋｙｏ，Ｍａｒ．６－７，２００８．
　特許文献１の眼球運動検査装置では、再帰性反射材による特殊なコンタクトレンズを対象者に装着させる必要がある。また、対象者の眼球運動を検出する際に、先ず頭部運動を推定する処理を実行する必要が生じてしまう。よって、従来技術では、対象者の頭部運動と眼球運動とが同時に発生し得る状況において、検出対象とする眼球運動に応じた特定の瞳孔の動きを検出することが、容易に行えないという課題があった。
　本開示の目的は、特定の瞳孔の動きを検出し易くすることができる瞳孔検出装置および検出システムを提供することにある。
　本開示に係る瞳孔検出装置は、瞳孔を含んだ画像を撮像する撮像装置の撮像結果に基づいて、瞳孔の動きを検出する。瞳孔検出装置は、取得部と、制御部とを備える。取得部は、撮像装置から撮像結果を示す撮像データを取得する。制御部は、取得部によって取得された撮像データに基づくデータ処理を実行する。制御部は、撮像データに基づいて、瞳孔の動きを示す情報を抽出し、抽出した情報に時間周波数解析を行って、瞳孔の動きを検出する。なお、時間周波数解析は、時間方向における解析対象の波形を周波数毎に分解する数値解析であり、例えばフーリエ変換により実行される。
　本開示に係る検出装置は、撮像装置と、瞳孔検出装置とを備える。撮像装置は、瞳孔を含む画像を撮像して、撮像データを生成する。瞳孔検出装置は、撮像データに基づき瞳孔の動きを検出する。
　本開示の瞳孔検出装置および検出システムによると、特定の瞳孔の動きを検出し易くすることができる。
本開示に係る検出システムの適用例を説明するための図 検出システムにおける瞳孔検出装置の構成を例示する図 実施形態１に係る瞳孔検出装置の動作を例示するフローチャート 実施形態１におけるマイクロサッカード検出処理を例示するフローチャート 実施形態１のマイクロサッカード検出処理における画像処理を例示する図 実施形態１のマイクロサッカード検出処理における時間周波数解析を説明するための図 実施形態２に係る撮像装置を説明するための図 実施形態２のマイクロサッカード検出処理における各種画像の模式図 実施形態２におけるマイクロサッカード検出処理を例示するフローチャート マイクロサッカードの発生時の輝度変化データにおけるイベントの分布を例示する散布図 輝度変化画像における楕円領域の探索方法を例示する図 実施形態２の瞳孔検出装置に関する瞳孔の模型実験の実験結果を示すグラフ 図１２の実験結果の周波数スペクトルを示すグラフ
　以下、添付の図面を参照して本開示に係る瞳孔検出装置および検出システムの実施の形態を説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。
（適用例）
　本開示に係る瞳孔検出装置および検出システムが適用可能な一例について、図１を用いて説明する。図１は、本開示に係る検出システム１の適用例を説明するための図である。
　図１は、車載用途への検出システム１の適用例を示している。検出システム１は、例えば、車両２を運転するドライバ３の覚醒状態を示す覚醒度を検出して、覚醒度の低下に応じて居眠り運転又は漫然運転の防止のための報知を行う。検出システム１は、覚醒度等の検出結果に基づき、車両２の運転支援のための各種制御を行ってもよい。
　検出システム１は、図１に示すように、撮像装置４と、瞳孔検出装置５とを備える。撮像装置４は、例えば車両２中に配置され、ドライバ３の眼３０近傍の画像を撮像する。ドライバ３は、検出システム１の検出対象となる対象者の一例である。
　瞳孔検出装置５は、撮像装置４の撮像結果に基づいて、対象者の眼球運動に応じた瞳孔の動きを検出する装置である。瞳孔検出装置５は、例えば車両２に設けられた音声出力装置などの報知部２１に接続される。瞳孔検出装置５は、車両２の各種ＥＣＵ（電子制御ユニット）等に接続されてもよい。
　眼球運動の一種であるマイクロサッカードの発生頻度と覚醒度との間には、生理学的な相関関係があると考えられている。例えば、覚醒度が低下する際にはマイクロサッカードの発生頻度が増加すると考えられている。そこで、本適用例の検出システム１は、瞳孔検出装置５によってドライバ３の眼３０によるマイクロサッカードを検出して、覚醒度の検出に用いる。マイクロサッカードは、固視微動に分類される微細な眼球運動において、瞬間的に移動する高速な眼球運動である。
　車両２においては、例えばドライバ３が頭部を動かしたときにマイクロサッカードが発生することが生じる等、頭部運動と眼球運動とが同時に発生し得る状況が想定される。従来、このような状況下では頭部運動と眼球運動との各々を計測し、互いの相関を解析する煩雑な処理を行って、対象とする眼球運動の検出が行われていた。これに対して、検出システム１は、上記の状況下で頭部運動を別途、計測するような必要なく、マイクロサッカード等の対象とする眼球運動を検出可能にするために、瞳孔検出装置５において瞳孔の動きを示す情報を抽出し、時間方向に周波数解析を行う。
（構成例）
　以下、検出システム１及び瞳孔検出装置５の構成例として各実施形態を説明する。
（実施形態１）
　実施形態１では、フレーム毎の画像を撮像する撮像装置４を用いた検出システム１の構成例を説明する。
１．構成
　本実施形態に係る検出システム１の撮像装置４及び瞳孔検出装置５の構成について、以下に説明する。
１－１．撮像装置について
　本実施形態において、撮像装置４は、例えば５００ｆｐｓ等の高速なフレームレートを有する高速カメラで構成される。撮像装置４のフレームレートは、マイクロサッカード等の検出対象を考慮して、検出対象の眼球運動におけるピーク周波数の２倍以上となるように設定される。
　本実施形態の撮像装置４は、フレーム画像を示す画像データを生成し、生成した画像データを瞳孔検出装置５に出力する。撮像装置４が生成する画像データは、本実施形態における撮像データの一例である。
　撮像装置４は、撮像用の照明光源を備えてもよい。照明光源は、例えば赤外光を照明光として発光する。照明光源は、ドライバ３等の対象者に照明光を照射するように配置される。照明光源は、撮像装置４とは別体で構成されてもよく、適宜、検出システム１に組み込むことができる。
１－２．瞳孔検出装置について
　検出システム１における瞳孔検出装置５の構成を、図２を参照して説明する。図２は、瞳孔検出装置５の構成を例示する図である。瞳孔検出装置５は、図２に示すように、取得部５１と制御部５２とを備える。また、瞳孔検出装置５は、例えば、記憶部５３と出力部５４とを備える。
　取得部５１は、瞳孔検出装置５の外部からデータを入力する入力インタフェース回路である。取得部５１は、例えばＵＳＢ等の所定の通信規格に従って、撮像装置４に接続される。取得部５１は、撮像装置４から撮像結果を示す撮像データ等を取得する。
　制御部５２は、ＣＰＵ、ＲＡＭ及びＲＯＭ等を含み、情報処理に応じて各構成要素の制御を行う。例えば、制御部５２は、取得部５１が取得したデータに基づき、所定のプログラムに従うデータ処理を実行する。所定のプログラムは、瞳孔検出装置５の後述する各種動作を実現するためのプログラムである。制御部５２は、例えば撮像装置４からの撮像データ等の各種データを、ＲＡＭ等の内部メモリに保持してもよい。
　記憶部５３は、例えば、ハードディスクドライブ又はソリッドステートドライブ等の補助記憶装置である。記憶部５３は、制御部５２で実行されるプログラム、及び各種のデータ等を記憶する。
　瞳孔検出装置５は、可搬性を有する記憶媒体から上記のプログラム等を取得してもよい。記憶媒体は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。
　出力部５４は、瞳孔検出装置５から外部にデータを出力する出力インタフェース回路である。出力部５４は、例えば、車両２（図１）の報知部２１、又は各種ＥＣＵ等に接続される。瞳孔検出装置５において、出力部５４と取得部５１とは、入出力インタフェースを構成するように、一体的に構成されてもよい。
２．動作
　以上のように構成される検出システム１及び瞳孔検出装置５の動作について、以下説明する。
２－１．検出システムの動作
　検出システム１の全体動作について、図３を用いて説明する。図３は、検出システム１における瞳孔検出装置５の動作を例示するフローチャートである。
　図３に示すフローチャートの各処理は、瞳孔検出装置５の制御部５２によって実行される。本フローチャートは、例えば図１に示す車両２の運転中に、撮像装置４がドライバ３の眼３０近傍の画像を撮像している状態で開始される。
　図３のフローチャートにおいて、瞳孔検出装置５の制御部５２は、マイクロサッカード検出処理を実行する（Ｓ１）。マイクロサッカード検出処理は、撮像装置４の撮像結果に基づいて、瞳孔６の動きにおけるマイクロサッカードを検出するデータ処理の一例である。マイクロサッカード検出処理の詳細については後述する。
　次に、マイクロサッカード検出処理（Ｓ２）の検出結果によりマイクロサッカードの発生頻度を検知して、現在のマイクロサッカードの発生頻度が、覚醒度の低下条件に該当するか否かを判断する（Ｓ２）。
　ステップＳ２の判断は、想定されるマイクロサッカードの発生頻度と覚醒度間の相関関係に従った覚醒度の低下条件を適宜、設定して行われる。例えば、制御部５２は、現在のマイクロサッカードの発生頻度が所定の基準値よりも高いか否かに応じて、同発生頻度が覚醒度の低下条件に該当するか否かを判断する（Ｓ２）。
　制御部５２は、現在のマイクロサッカードの発生頻度が覚醒度の低下条件に該当していないと判断した場合（Ｓ２でＮＯ）、所定の周期においてステップＳ１の処理を再度、実行する。ステップＳ１を繰り返す周期は、適宜設定可能であり、例えば１秒である。
　一方、制御部５２は、現在のマイクロサッカードの発生頻度が覚醒度の低下条件に該当すると判断した場合（Ｓ２でＹＥＳ）、覚醒度が低下したことを示す報知情報を生成して、出力部５４（図２）を介して報知部２１等に報知情報を出力する（Ｓ３）。
　制御部５２は、報知情報の出力を行って（Ｓ３）、図３のフローチャートによる処理を終了する。
　以上の処理によると、検出システム１において、瞳孔検出装置５がドライバ３等の対象者によるマイクロサッカードの発生頻度を検知して、覚醒度の低下を検出することができる。
２－１－１．マイクロサッカード検出処理
　図３のステップＳ１におけるマイクロサッカード検出処理の詳細について、図４～図６を参照して説明する。
　図４は、本実施形態におけるマイクロサッカード検出処理（図３のＳ１）を例示するフローチャートである。図５は、本実施形態のマイクロサッカード検出処理における画像処理（Ｓ１２）を例示する図である。図６は、マイクロサッカード検出処理における時間周波数解析（Ｓ１３，Ｓ１４）を説明するための図である。
　図４のフローチャートにおいて、まず、瞳孔検出装置５（図１）の制御部５２は、撮像装置４から取得部５１を介して、所定期間分の画像データを取得する（Ｓ１１）。ステップＳ１１の所定期間は、周波数解析に必要なフレーム数を考慮して適宜、設定可能である。例えば、当該所定期間は１秒間に設定される。
　次に、制御部５２は、取得した画像データにおける各々のフレームの画像に画像処理を行って、瞳孔の位置の時間的変化（即ち時間発展）を抽出する（Ｓ１２）。ステップＳ１２の処理の一例を、図５を用いて説明する。
　図５（ａ）は、撮像装置４からの画像データにおける１フレームの画像６０を例示している。図５（ａ）の例では、画像６０中に瞳孔６１が含まれている。図５（ｂ）は、図５（ａ）の画像６０の二値化画像６２を例示している。以下、各種画像６０，６２に共通のＸＹ座標系として、撮像装置４の撮像面における水平方向を「Ｘ方向」とし、垂直方向を「Ｙ方向」とする。
　ステップＳ１２において、制御部５２は、例えば図５（ａ）に示すような１フレームの画像６０において、画素毎の輝度についての二値化処理を行う。例えば、制御部５２は、元の画像６０（図５（ａ））において所定のしきい値未満の輝度を有する画素に白階調を割り当て、同しきい値以上の輝度を有する画素に黒階調を割り当てて、二値化画像６２（図５（ｂ））を生成する。当該しきい値は、画像６０中の瞳孔６１として想定される輝度よりも大きい値に設定される。
　上記の二値化処理によると、図５（ｂ）に示すように、瞳孔６１に対応する領域６３を容易に判定することができる。制御部５２は、二値化処理で判定した領域６３の中心位置６４を、対応するフレームの時点における瞳孔６１の瞳孔位置として算出する。ステップＳ１２において、制御部５２は、以上の処理を各フレームの画像に行って、瞳孔位置の時系列データを生成する。これにより、瞳孔位置の時間的変化が抽出される。図６（ａ）に、瞳孔位置の時間的変化を例示する。図６（ａ）に例示するグラフにおいて、横軸は時刻（ｍｓ）を示し、縦軸は瞳孔位置のＸ座標を示す。
　図４に戻り、制御部５２は、抽出した瞳孔位置の時間的変化を、時間方向に周波数分解する（Ｓ１３）。例えば、制御部５２は、生成した時系列データにＦＦＴ（高速フーリエ変換）を行って、時系列データの周波数スペクトルを算出する。図６（ｂ）は、図６（ａ）における１秒分の周波数スペクトルを示すグラフである。図６（ｂ）のグラフにおいて、横軸は周波数（Ｈｚ）を示し、縦軸は周波数成分の強度を示す。
　次に、制御部５２は、例えば図６（ｂ）に示す周波数分解の結果の周波数スペクトルを解析して、マイクロサッカードに対応する特定の周波数帯における瞳孔の動きが生じたか否かを判断する（Ｓ１４）。特定の周波数帯は、例えば２２０～２５０Ｈｚなど、マイクロサッカードのピーク周波数を含んで且つ頭部運動に応じて顕著に生じることが想定される周波数を含まない範囲に設定される。
　ステップＳ１４において、制御部５２は、例えば周波数スペクトルにおいて、特定の周波数帯に含まれる周波数成分が所定のしきい値以上であるか否かを判断する。当該しきい値は、マイクロサッカードが発生した場合に想定される周波数成分の強度を考慮して設定される。特定の周波数帯成分の最大値がしきい値以上である場合、制御部５２は、特定の周波数帯における瞳孔の動き、即ちマイクロサッカードが生じたと判断する（Ｓ１４でＹＥＳ）。
　制御部５２は、特定の周波数帯における瞳孔の動きが生じたと判断すると（Ｓ１４でＹＥＳ）、マイクロサッカードの発生時刻を記憶部５３に記録する（Ｓ１５）。例えば、制御部５２はマイクロサッカードの発生時刻として、ステップＳ１１で画像データを取得した時刻を記録する。
　一方、制御部５２は、特定の周波数帯における瞳孔の動きが生じていないと判断すると（Ｓ１４でＮＯ）、ステップＳ１５の処理を行わずにマイクロサッカード検出処理（図３のＳ１）を終了し、ステップＳ２に進む。
　以上の処理によると、撮像装置４からの画像データにおける瞳孔位置の周波数スペクトルに基づく時間周波数解析によって、マイクロサッカードの自動検出を行うことができる。本実施形態のマイクロサッカード検出処理における時間周波数解析について、図６（ａ），（ｂ）を用いて説明する。
　図６（ａ）では、頭部運動によって瞳孔の位置のＸ座標が緩やかに変化しながら、矢印Ａ１を付したタイミングにマイクロサッカードが発生した例を示している。本実施形態の瞳孔検出装置５は、マイクロサッカード検出処理を所定期間（Ｓ１１）毎に実行して、処理対象の期間中にマイクロサッカードが発生したか否かを検出する。例えば、瞳孔検出装置５の制御部５２は、図６（ａ）の例における１秒分の瞳孔の位置の時間的変化を抽出し（Ｓ１２）、図６（ｂ）に示すように、時間方向の周波数スペクトルを算出する（Ｓ１３）。
　図６（ｂ）の例の周波数スペクトルは、頭部運動に対応する第１のピーク値Ｐ１と、マイクロサッカードに対応する第２のピーク値Ｐ２とを含んでいる。図６（ｂ）の周波数スペクトルに対して、瞳孔検出装置５の制御部５２は、例えば特定の周波数帯Ｂ１の範囲内で最大となる第２のピーク値Ｐ２に基づいて、処理対象の１秒中にマイクロサッカードが発生したことを検出する（Ｓ１４，Ｓ１５）。このように、頭部運動が同時に生じ得る状況下で特に頭部運動に干渉することなく、マイクロサッカードが発生しているか否かを検出することができる。
３．まとめ
　以上のように、本実施形態に係る瞳孔検出装置５は、瞳孔を含んだ画像を撮像する撮像装置４の撮像結果に基づいて、瞳孔の動きを検出する。瞳孔検出装置５は、取得部５１と、制御部５２とを備える。取得部５１は、撮像装置４から撮像結果を示す撮像データとして画像データを取得する。制御部５２は、取得部５１によって取得された画像データに基づくデータ処理を実行する。制御部５２は、画像データに基づいて、瞳孔の動きを示す情報として瞳孔位置の時間変化を抽出する（Ｓ１２）。制御部５２は、抽出した情報に時間周波数解析を行って、瞳孔の動きを検出する（Ｓ１３，Ｓ１４）。
　以上の瞳孔検出装置５によると、瞳孔の動きを示す情報を抽出して、時間周波数解析を行うことにより、例えば頭部運動とは別の周波数帯を有する眼球運動などに応じた特定の瞳孔の動きを検出し易くすることができる。
　本実施形態において、撮像装置４の撮像データは、フレーム毎の画像６０を示す画像データである。制御部５２は、フレーム毎の画像６０における瞳孔６１の位置の時間的変化を抽出する（Ｓ１２）。これにより、フレーム画像６０のフレームレートの範囲内で、瞳孔６１の動きの時間周波数解析を行うことができる（図６）。
　また、本実施形態において、制御部５２は、フレーム毎の画像６２に、輝度に関する二値化処理を行って、瞳孔６１に対応する領域６３を判定する（図５参照）。制御部５２は、フレーム毎に判定した領域６３に基づいて、瞳孔６１の位置６４の時間的変化を抽出する（Ｓ１２）。画像６２中で瞳孔６１の輝度は顕著に低いと考えられることから、二値化処理により、瞳孔６１の位置を精度良く得ることができる。
　また、本実施形態に係る検出システム１は、撮像装置４と、瞳孔検出装置５とを備える。撮像装置４は、瞳孔を含む画像を撮像して、撮像データを生成する。瞳孔検出装置５は、撮像データに基づき瞳孔の動きを検出する。検出システム１は、瞳孔検出装置５によって、マイクロサッカード等に応じた特定の瞳孔の動きを容易に検出でき、当該検出結果に基づき対象者の覚醒度などを検出することができる。
（実施形態２）
　実施形態２では、輝度の変化を検出する微分検出型の撮像装置４を用いた検出システム１の構成例を説明する。
１．構成
　実施形態２に係る検出システム１において、瞳孔検出装置５の構成は、実施形態１と同様に構成される。以下、実施形態２に係る撮像装置４について、図７を参照して説明する。
　図７は、本実施形態に係る撮像装置４を説明するための図である。図７は、本実施形態の撮像装置４における撮像面４ａと、撮像面４ａ上の画素４０毎の出力データとを模式的に示している。
　本実施形態の検出システム１は、撮像装置４として、撮像面４ａにおける画素４０毎に輝度の時間変化率を検出する微分検出型のカメラデバイスを採用する。本実施形態の撮像装置４の構成としては、例えば、動的ビジョンセンサ（ＤＶＳ）として知られる公知の構成を適用することができる（例えば非特許文献１参照）。
　例えば、撮像装置４は、画素４０が二次元アレイ状に配置された撮像面４ａを有する撮像素子、撮像面４ａに光を集光する光学レンズ、及び撮像データ（輝度変化データＤ１）を出力するデータ出力回路などを備える。撮像素子の各画素４０は、例えば、フォトダイオード、微分器および比較器などを備える。各々の画素４０は、撮像面４ａにおけるＸＹ座標によって識別可能である。
　撮像装置４において、撮像素子の撮像面４ａには、光学レンズからの光によって画像が形成（結像）される。本実施形態の撮像装置４は、撮像面４ａ上の画像に対して画素４０毎に輝度の時間変化率のしきい値判定を行って、画素４０毎の輝度が変化したイベントを検出する。検出対象のイベントは、画素４０の位置において輝度の変化が生じた事象であり、輝度の変化が増大か減少かと、輝度が増大または減少したタイミングと、画素４０のＸＹ座標とによって特定される。
　撮像装置４は、図７に示すように、各イベントの検出結果を示す輝度変化データＤ１を生成する。図７に例示する輝度変化データＤ１は、輝度の増大時の出力データＤ１１と、輝度の減少時の出力データＤ１２とを含んでいる。図７に図示する輝度変化データＤ１のうち、白抜きの四角は、輝度の増大時の出力データを意味する。そして、黒塗りの四角は、輝度の減少時の出力データを意味する。輝度変化データＤ１は、本実施形態の撮像装置４による撮像結果の撮像データの一例である。
　撮像装置４において、各画素４０は、輝度の時間変化率が、上限のしきい値を上回ると輝度の増大を検出し、下限のしきい値を下回ると輝度の減少を検出する。各画素４０は、それぞれ輝度の増大又は減少を検出すると、検出したタイミングで直ちに検出結果を出力する。輝度が変化していない画素４０、及び輝度の時間変化率が上限のしきい値と下限のしきい値間にある画素４０は、特に検出結果の出力を行わない。撮像装置４は、例えば検出結果を出力した画素４０のＸＹ座標、検出結果のタイミング、及び輝度の増大又は減少を示す情報を関連付けて、輝度変化データＤ１を生成する。撮像装置４は、例えば時間幅が所定値に設定された時系列データとして、輝度変化データＤ１を外部出力する。
　以上の撮像装置４の撮像方法によると、特に全画素の検出結果を同期させるフレーム周期のような動作周期は生じない。よって、本実施形態の撮像装置４は、フレーム周期よりも格段に短い時間幅における輝度の変化を検出可能である。検出可能な時間幅は、例えば画素４０が輝度の変化に反応する反応期間であり、例えば１００マイクロ秒である。
２．動作
　実施形態２に係る検出システム１の動作について、以下に説明する。
２－１．動作の概要
　本実施形態の検出システム１では、撮像装置４による輝度変化データＤ１を用いて、瞳孔検出装置５がマイクロサッカード検出処理（図３のＳ１）を実行する。本実施形態におけるマイクロサッカード検出処理の概要について、図８を用いて説明する。
　図８は、本実施形態のマイクロサッカード検出処理における各種画像の模式図を示す。図８（ａ），８（ｂ）は、マイクロサッカードの発生前後の瞳孔６を含んだ画像を例示する。図８（ｃ）は、撮像装置４（図１）による図８（ａ），８（ｂ）間の撮像結果に対応する輝度変化画像７を例示する。
　図８（ａ），８（ｂ）に例示する画像は、それぞれマイクロサッカードの発生前後の時点において、撮像装置４の撮像面４ａ（図７）上に形成される。図８（ａ），８（ｂ）の画像上の瞳孔６は、図８（ａ）の時点からマイクロサッカードによって、図８（ｂ）に示すように移動方向ｄ１に移動している。本実施形態の検出システム１において、撮像装置４は、図８（ａ），８（ｂ）間に随時、画素毎の輝度の変化を輝度変化データＤ１として出力する（図７）。
　図８（ｃ）は、図８（ａ），８（ｂ）の間に得られた輝度変化データＤ１に対応する輝度変化画像７を例示している。瞳孔６が位置する領域の輝度は瞳孔６の周囲の領域の輝度よりも顕著に低いことから、マイクロサッカードのような瞳孔６の動きによると、輝度変化画像７において特有の輝度の変化が生じると考えられる。
　図８（ｃ）の例において、輝度変化画像７の輝度は、瞳孔６の移動方向ｄ１における始端側の領域７１と終端側の領域７２とで変化している。具体的に、始端側の領域７１においては、図８（ａ）の時点では瞳孔６が位置していたが図８（ｂ）の時点で瞳孔６が位置しなくなったことから、輝度が増大する。また、終端側の領域７２においては、図８（ａ）の時点では瞳孔６が位置していなかったが図８（ｂ）の時点で瞳孔６が位置するようになったことから、輝度が減少する。
　本実施形態のマイクロサッカード検出処理は、以上のような輝度の変化を計数する簡単な処理によって、随時、発生し得るマイクロサッカードの自動検出を実現する。以下、本実施形態に係るマイクロサッカード検出処理の詳細について説明する。
２－２．マイクロサッカード検出処理
　図９は、実施形態２におけるマイクロサッカード検出処理を例示するフローチャートである。本実施形態の瞳孔検出装置５は、例えば図３のステップＳ１において、図４のフローチャートの代わりに、図９のフローチャートによるマイクロサッカード検出処理を実行する。
　実施形態１のマイクロサッカード検出処理は、複数のフレームを含む所定期間分の画像データを取得して（図４のＳ１１）、瞳孔位置の時間的変化を抽出した（Ｓ１２）。本実施形態のマイクロサッカード検出処理において、瞳孔検出装置５の制御部５２は、取得部５１を介して撮像装置４から、画像データの代わりに、所定期間分の輝度変化データＤ１を取得する（Ｓ１１Ａ）。
　取得した輝度変化データＤ１に基づいて、制御部５２は、瞳孔位置の時間的変化の代わりに、輝度変化数の時間的変化を抽出する（Ｓ１２Ａ）。輝度変化数は、輝度変化データＤ１における同一座標の輝度が時間的に変化したイベントの回数、即ちイベント数を示す。例えば、制御部５２は、上記の所定期間を所定のサンプル期間毎に分割し、取得した輝度変化データＤ１において各サンプル期間中の輝度変化数を計数する（Ｓ１２Ａ）。当該サンプル期間は、検出対象とする瞳孔の動きの周波数の逆数の１／２以下において適宜、設定される。
　抽出した輝度変化数の時間的変化に対して、制御部５２は、実施形態１と同様に時間方向に周波数分解し（Ｓ１３）、周波数分解の結果に基づいて、特定の周波数帯における瞳孔の動きが生じたか否かを判断する（Ｓ１４）。特定の周波数は、例えばマイクロサッカードの速度のピーク周波数近傍に設定される。これにより、実施形態１と同様に、マイクロサッカードの発生時刻を検知することができる（Ｓ１５）。
２－２－１．瞳孔の領域の探索方法について
　以上のマイクロサッカード検出処理におけるステップＳ１２Ａにおいて、制御部５２は、輝度変化データＤ１の中で瞳孔に対応する領域を探索し、探索した領域内の座標を有するイベント数を輝度変化数として計数してもよい。輝度変化データＤ１における瞳孔の領域の探索方法について、図１０～１１を用いて説明する。
　図１０は、マイクロサッカードの発生時の輝度変化データＤ１におけるイベントの分布を例示する散布図である。図１０では、ステップＳ１１Ａで取得された輝度変化データＤ１において輝度が増大した増大イベントＥ１１と、輝度が減少した減少イベントＥ１２との空間分布を示している。
　例えば、制御部５２は、取得した輝度変化データＤ１における各画素のＸＹ座標毎に、各イベントＥ１１，Ｅ１２の回数を算出して、輝度変化画像７を生成する。輝度変化画像７は、各画素において、増大イベントＥ１１と減少イベントＥ１２とに対応する２種類（例えば２色）の画素値を有してもよい。
　図１０の分布には、マイクロサッカードで動いた瞳孔６に対応する楕円領域Ｒ１が含まれている。楕円領域Ｒ１には、輝度の増大イベントＥ１１と減少イベントＥ１２とが、楕円状に分布している。そこで、制御部５２は、生成した輝度変化画像７において、瞳孔６の動きによる楕円領域Ｒ１を探索する。
　図１１は、輝度変化画像７における楕円領域Ｒ１の探索方法を例示する図である。制御部５２は、例えば図１１に示すように、走査領域Ｒ１０を用いて輝度変化画像７を走査する。走査領域Ｒ１０は、所定の楕円形状を有し、輝度変化画像７上で種々の走査位置に設定される。走査領域Ｒ１０の楕円形状は、瞳孔６の動きによる楕円領域Ｒ１として想定される寸法及び形状に設定される。
　輝度変化画像７の走査時に、制御部５２は順次、走査領域Ｒ１０の内部に位置する画像について所定の評価値を計数する。評価値は、例えば走査領域Ｒ１０の内部の画像において少なくとも一つのイベントＥ１１，Ｅ１２を有する画素の個数で計数される。評価値は、走査領域Ｒ１０内の輝度変化数で計数されてもよい。
　種々の走査位置における走査領域Ｒ１０の評価値を比較することにより、楕円領域Ｒ１が探索される。例えば、制御部５２は、評価値が最大値又は極大値となる走査位置の走査領域Ｒ１０を楕円領域Ｒ１として探知する。
　また、楕円領域Ｒ１の探索は、走査領域Ｒ１０による走査に限らず、例えばパターン認識を適用してもよいし、楕円曲線の方程式等を用いたハフ変換が適用されてもよい。また、輝度変化画像７の画像処理に限らず、輝度変化データＤ１のイベント処理によって、移動中の瞳孔６に対応するデータが抽出されてもよい。
２－２－２．確認実験について
　本実施形態のマイクロサッカード検出処理の効果に関する確認実験について、図１２，１３を用いて説明する。
　図１２は、実施形態２の瞳孔検出装置５に関する瞳孔の模型実験の実験結果を示すグラフである。図１２において、時間（μｓ）を示し、縦軸は輝度変化数を示す。
　図１２では、眼球運動と頭部運動とが重畳した状態を模擬する模型実験を行った。瞳孔の模型として、直径３ｍｍの黒色の丸形部材を用いた。眼球運動に対応して同模型を振動させながら、頭部運動に対応して同模型を１００ｍ／ｓで移動させた。同模型の振動は、マイクロサッカードに相当するように、振動数１００Ｈｚで且つ振幅２００μｍに設定し、最大速度２０ｍｍ／ｓを得た。
　以上のような瞳孔の模型の運動を撮像装置４で撮像し、瞳孔検出装置５で輝度変化数を計数した（Ｓ１５）。撮像装置４の撮像条件は、光学倍率１．０倍で解像度３０４×２４０画素であった。輝度変化数を計数するサンプル期間（Ｓ１２Ａ）は、０．５ミリ秒とした。
　図１２の実験結果において、輝度の増大イベントＥ１１と減少イベントＥ１２とは、瞳孔の模型が撮像装置４の画角の範囲内にあるとき、例えば５００以上になっている。輝度変化数は、瞳孔などの対象物が速く移動するほど多くなり、対象物の速度と相関があると考えられる。このため、例えば眼球運動とは無関係な頭部運動によって瞳孔が移動すると、輝度変化数が増えてしまうと考えられる。これに対して、本実施形態の瞳孔検出装置５は、輝度変化数の時間変化を周波数分解して、頭部運動を含まない高周波成分を解析する（Ｓ１３）。
　図１３は、図１２の実験結果の周波数スペクトルを示すグラフである。図１３において、周波数（Ｈｚ）を示し、縦軸は周波数成分の強度を示す。
　図１３では、５１２ミリ秒分の１０２４サンプルの輝度変化数に、周波数解析を行った。図１３の周波数スペクトルにおいては、互いに離間した第１のピークＰ１１と、第２のピークＰ１２とが確認された。第１のピークＰ１１は、０Ｈｚ近傍に位置し、頭部運動の模擬の移動運動に対応すると考えられる。第２のピークＰ１２は、１００Ｈｚ近傍に位置し、眼球運動の模擬の振動運動に対応すると考えられる。よって、実際のマイクロサッカード等が頭部運動と重畳して発生した場合においても、輝度変化数の時間的変化を周波数分解して、マイクロサッカードに応じた特定の周波数帯における瞳孔の動きを検出可能であることが確認された。
３．まとめ
　以上のように、本実施形態に係る瞳孔検出装置５において、撮像装置４から取得する撮像データは、画素毎に輝度が変化したイベントのタイミングを示す輝度変化データＤ１である。制御部５２は、輝度変化データＤ１に基づいて、輝度が変化したイベントのイベント数（即ち輝度変化数）の時間的変化を抽出する（Ｓ１２Ａ）。当該イベント数は瞳孔６の動きの速度と相関関係を有し、同イベント数の時間的変化は、瞳孔６の動きを示す情報の一例である。本実施形態の瞳孔検出装置５によると、イベント数の計数によって、容易に瞳孔６の動きを示す情報を抽出することができる。
　本実施形態において、制御部５２は、抽出したイベント数の時間的変化を周波数分解して（Ｓ１３）、特定の周波数帯における瞳孔の動きを検出する（Ｓ１４）。これにより、輝度変化データＤ１における輝度の変化に応じて、容易に高分解能の時間周波数解析を行うことができる。
　また、本実施形態において、特定の周波数帯は、例えば眼球運動のマイクロサッカードに応じた周波数を含む。検出対象とする瞳孔６の動きの周波数帯を特定することにより、容易に特定の瞳孔６の動きを検出することができる。
（他の実施形態）
　上記の実施形態１，２では、瞳孔検出装置５による検出対象が、マイクロサッカードである例を説明した。瞳孔検出装置５による検出対象は、マイクロサッカードに限らず、他の固視微動であってもよいし、サッカード、あるいは瞬目などであってもよい。この場合、検出対象とする瞳孔の動きに応じた特定の周波数帯が適宜、設定可能である。
　また、上記の各実施形態では、検出システム１が対象者の覚醒度を検出する例を説明したが、検出システム１の検出対象は、覚醒度に限らず、瞳孔検出装置５の検出結果に応じて検出可能な各種指標であってもよい。例えば、検出システム１は、対象者の収集度、あるいは疲労度などを検出してもよい。
　また、以上の説明では、車載用途への検出システム１の適用例を説明したが、本開示に係る検出システム１は車載用途に限定されない。本開示に係る検出システム１は、対象者の眼を撮像可能な種々の環境に適用可能であり、例えば、工場の作業者を監視するように適用することができる。
（付記）
　以上のように、本開示の各種実施形態について説明したが、本発明は上記の開示内容に限定されるものではなく、本発明の範囲内で種々の変更を行って実施することができる。以下、本開示に係る各種態様を付記する。
　本開示に係る第１の態様は、瞳孔を含んだ画像を撮像する撮像装置（４）の撮像結果に基づいて、前記瞳孔の動きを検出する瞳孔検出装置（５）である。瞳孔検出装置は、取得部（５１）と、制御部（５２）とを備える。取得部は、前記撮像装置から前記撮像結果を示す撮像データを取得する。制御部は、前記取得部によって取得された撮像データに基づくデータ処理を実行する。前記制御部は、前記撮像データに基づいて、前記瞳孔の動きを示す情報を抽出する（Ｓ１２，Ｓ１２Ａ）。前記制御部は、抽出した情報に時間周波数解析を行って、前記瞳孔の動きを検出する（Ｓ１３，Ｓ１４）。
　第２の態様では、第１の態様の瞳孔検出装置において、前記撮像データは、フレーム毎の画像（６０）を示す。前記瞳孔の動きを示す情報は、瞳孔の位置の時間的変化を示す。前記制御部は、前記フレーム毎の画像における瞳孔（６１）の位置の時間的変化を抽出する。
　第３の態様では、第２の態様の瞳孔検出装置において、前記制御部は、前記フレーム毎の画像に、輝度に関する二値化処理を行って、前記瞳孔に対応する領域（６３）を判定する。前記制御部は、フレーム毎に判定した領域に基づいて、前記瞳孔の位置の時間的変化を抽出する（Ｓ１２）。
　第４の態様では、第１の態様の瞳孔検出装置において、前記撮像データ（Ｄ１）は、画素毎に輝度が変化したタイミングを示す。前記瞳孔の動きを示す情報は、前記輝度が変化したタイミングの回数である輝度変化数の時間的変化を示す。前記制御部は、前記撮像データに基づいて、前記輝度変化数を計数して、前記輝度変化数の時間的変化を抽出する（Ｓ１２Ａ）。
　第５の態様では、第４の態様の瞳孔検出装置において、前記制御部は、前記抽出した輝度変化数の時間的変化を周波数分解して（Ｓ１３）、特定の周波数帯における瞳孔の動きを検出する（Ｓ１４）。
　第６の態様では、第５の態様の瞳孔検出装置において、前記特定の周波数帯は、眼球運動のマイクロサッカードに応じた周波数を含む。
　第７の態様は、撮像装置と、第１～第６の態様のいずれかの瞳孔検出装置とを備える検出システム（１）である。撮像装置は、瞳孔を含む画像を撮像して、撮像データを生成する。瞳孔検出装置は、前記撮像データに基づき前記瞳孔の動きを検出する。
　　１　　検出システム
　　２　　車両
　　３　　ドライバ
　　４　　撮像装置
　　５　　瞳孔検出装置
　　５１　　取得部
　　５２　　制御部

Claims (7)

  1. 　瞳孔を含んだ画像を撮像する撮像装置の撮像結果に基づいて、前記瞳孔の動きを検出する瞳孔検出装置であって、
    　前記撮像装置から前記撮像結果を示す撮像データを取得する取得部と、
    　前記取得部によって取得された撮像データに基づくデータ処理を実行する制御部と
    を備え、
    　前記制御部は、
    　前記撮像データに基づいて、前記瞳孔の動きを示す情報を抽出し、
    　抽出した情報に時間周波数解析を行って、前記瞳孔の動きを検出する
    瞳孔検出装置。
  2. 　前記撮像データは、フレーム毎の画像を示し、
    　前記瞳孔の動きを示す情報は、瞳孔の位置の時間的変化を示し、
    　前記制御部は、前記フレーム毎の画像における瞳孔の位置の時間的変化を抽出する
    請求項１に記載の瞳孔検出装置。
  3. 　前記制御部は、
    　前記フレーム毎の画像に、輝度に関する二値化処理を行って、前記瞳孔に対応する領域を判定し、
    　フレーム毎に判定した領域に基づいて、前記瞳孔の位置の時間的変化を抽出する
    請求項２に記載の瞳孔検出装置。
  4. 　前記撮像データは、画素毎に輝度が変化したタイミングを示し、
    　前記瞳孔の動きを示す情報は、前記輝度が変化したタイミングの回数である輝度変化数の時間的変化を示し、
    　前記制御部は、前記撮像データに基づいて、前記輝度変化数を計数して、前記輝度変化数の時間的変化を抽出する
    請求項１記載の瞳孔検出装置。
  5. 　前記制御部は、前記抽出した輝度変化数の時間的変化を周波数分解して、特定の周波数帯における瞳孔の動きを検出する
    請求項４に記載の瞳孔検出装置。
  6. 　前記特定の周波数帯は、眼球運動のマイクロサッカードに応じた周波数を含む
    請求項５に記載の瞳孔検出装置。
  7. 　瞳孔を含む画像を撮像して、撮像データを生成する撮像装置と、
    　前記撮像データに基づき前記瞳孔の動きを検出する、請求項１～６のいずれか１項に記載の瞳孔検出装置と
    を備えた検出システム。
PCT/JP2018/045555 2017-12-14 2018-12-11 瞳孔検出装置および検出システム WO2019117165A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017239692A JP6930410B2 (ja) 2017-12-14 2017-12-14 瞳孔検出装置および検出システム
JP2017-239692 2017-12-14

Publications (1)

Publication Number Publication Date
WO2019117165A1 true WO2019117165A1 (ja) 2019-06-20

Family

ID=66819356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045555 WO2019117165A1 (ja) 2017-12-14 2018-12-11 瞳孔検出装置および検出システム

Country Status (2)

Country Link
JP (1) JP6930410B2 (ja)
WO (1) WO2019117165A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003230552A (ja) * 2001-12-03 2003-08-19 Denso Corp 生体状態推定方法及び生体刺激方法
JP2016220801A (ja) * 2015-05-28 2016-12-28 浜松ホトニクス株式会社 両眼計測装置、両眼計測方法、及び両眼計測プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003230552A (ja) * 2001-12-03 2003-08-19 Denso Corp 生体状態推定方法及び生体刺激方法
JP2016220801A (ja) * 2015-05-28 2016-12-28 浜松ホトニクス株式会社 両眼計測装置、両眼計測方法、及び両眼計測プログラム

Also Published As

Publication number Publication date
JP2019103745A (ja) 2019-06-27
JP6930410B2 (ja) 2021-09-01

Similar Documents

Publication Publication Date Title
WO2019117247A1 (ja) 瞳孔検出装置および検出システム
US11303804B2 (en) Method and apparatus of processing a signal from an event-based sensor
US10801831B2 (en) Speckle measurement apparatus and speckle measurement method
WO2014002534A1 (ja) 対象物認識装置
GB2610734A (en) Barcode readers with 3D camera(s)
JP4969462B2 (ja) 注意領域を推定するシステムおよび方法
US10525900B2 (en) Vehicle periphery monitoring device
JP3116638B2 (ja) 覚醒状態検知装置
EP2976990B1 (en) Pupil detection device and pupil detection method
JP2012185684A (ja) 対象物検出装置、対象物検出方法
JP2020087312A (ja) 行動認識装置、行動認識方法及びプログラム
JP6338445B2 (ja) 瞬き検出システムおよび方法
WO2008107832A1 (en) Stress estimation
WO2019117165A1 (ja) 瞳孔検出装置および検出システム
KR20230161443A (ko) Ｒｇｂ 이미지로부터의 심박수 추출을 위한 방법 및 시스템
JP5825588B2 (ja) 瞬目計測装置及び瞬目計測方法
JP3148187B2 (ja) パーティクルモニタシステム及びパーティクル検出方法並びにパーティクル検出プログラムを格納した記録媒体
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP2012073891A (ja) 煙検出用周波数成分特定方法、および煙検出装置
CN109313070A (zh) 工业视觉检测振动的方法及系统
JP2008134150A (ja) 画像目標識別装置
KR101830331B1 (ko) 기계 이상 동작 검출 장치 및 방법
CN108254379B (zh) 一种缺陷检测装置及方法
JP2009064287A (ja) 侵入者検知装置
JP2015097089A (ja) 対象物検出装置、対象物検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18887698

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18887698

Country of ref document: EP

Kind code of ref document: A1