WO2020195770A1 - 状態検出装置、状態検出システム及び状態検出方法 - Google Patents

状態検出装置、状態検出システム及び状態検出方法 Download PDF

Info

Publication number
WO2020195770A1
WO2020195770A1 PCT/JP2020/010190 JP2020010190W WO2020195770A1 WO 2020195770 A1 WO2020195770 A1 WO 2020195770A1 JP 2020010190 W JP2020010190 W JP 2020010190W WO 2020195770 A1 WO2020195770 A1 WO 2020195770A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
driver
state
state detection
vehicle
Prior art date
Application number
PCT/JP2020/010190
Other languages
English (en)
French (fr)
Inventor
慶 中川
伸 北野
Original Assignee
ソニー株式会社
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニー株式会社
Priority to US17/593,376 priority Critical patent/US20220161654A1/en
Priority to CN202080021923.9A priority patent/CN113647087B/zh
Publication of WO2020195770A1 publication Critical patent/WO2020195770A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/11—Passenger cars; Automobiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the present disclosure relates to a state detection device, a state detection system, and a state detection method.
  • a doze driving prevention device determines whether or not the driver is dozing from the image captured by the driver, and if the driver is dozing, issues an alarm to the driver to prevent the driver from dozing. ing.
  • a general doze driving prevention device it is determined whether or not the driver is dozing by analyzing the image data read from the camera at a predetermined frame rate. Therefore, the amount of data processing required to detect the driver's condition is large, and it is difficult to quickly determine whether or not the driver is dozing.
  • this disclosure proposes a state detection device, a state detection system, and a state detection method capable of detecting the driver's state more quickly.
  • the state detection device of one form according to the present disclosure includes a plurality of pixels arranged in a matrix, and detects the occurrence of an event of the pixels according to the amount of light incident on each of the pixels. It includes a first solid-state image sensor, and a state detection unit that detects the driver's state based on the occurrence of the event detected by the first solid-state image sensor.
  • FIG. 1 is a block diagram showing a schematic configuration example of a state detection device (or state detection system; hereinafter referred to as a state detection device) according to the first embodiment. ..
  • the state detection device 1 includes, for example, an image pickup lens 11, a DVS (Dynamic Vision Sensor) (first solid-state image pickup device) 200, a motion detection unit 12, an image pickup lens 13, and an image sensor ( It includes a second solid-state image sensor) 14, an object detection unit 15, a motion vector estimation unit 16, an action pattern determination unit 17, a storage unit 18, and an interface (I / F) unit 19.
  • an image pickup lens 11 for example, an image pickup lens 11, a DVS (Dynamic Vision Sensor) (first solid-state image pickup device) 200, a motion detection unit 12, an image pickup lens 13, and an image sensor ( It includes a second solid-state image sensor) 14, an object detection unit 15, a motion vector estimation unit 16, an action pattern determination unit 17, a storage unit 18, and an interface (I / F) unit 19.
  • the DVS200 is a sensor for detecting the driver's state, and is an asynchronous image sensor provided with a detection circuit for detecting in real time as an address event that the amount of received light exceeds a threshold value for each pixel.
  • the DVS200 as a sensor for detecting the driver's condition, it is possible to detect the driver's condition more quickly. By reducing the amount of data at the time of state detection, it is possible to reduce power consumption.
  • the unit pixel in the present description is the minimum unit of a pixel configured including one photoelectric conversion element (also referred to as a light receiving element), and corresponds to each dot in the image data read from the image sensor, for example.
  • the address event is an event that occurs for each address assigned to each of a plurality of unit pixels arranged in a two-dimensional lattice, and is, for example, a current based on the electric charge generated by the photoelectric conversion element (hereinafter referred to as photocurrent). ) The current value or the amount of change thereof exceeds a certain threshold value.
  • the DVS 200 detects the occurrence of an address event based on the amount of incident light, and generates address information for identifying the unit pixel in which the occurrence of the address event is detected as event detection data.
  • the event detection data may include time information such as a time stamp indicating the timing at which the occurrence of the address event is detected. Further, the generated event detection data is input to the motion detection unit 12 and the object detection unit 15, respectively.
  • the image sensor 14 is various image sensors capable of acquiring image data, such as a CCD (Charge Coupled Device) type image sensor and a CMOS (Complementary Metal-Oxide-Semiconductor) type image sensor. You can.
  • the image data acquired by the image sensor 14 is input to the motion detection unit 12 and the object detection unit 15, respectively.
  • the DVS 200 and the image sensor 14 may be arranged close to each other in the same direction so as to image substantially the same angle of view, for example.
  • the image pickup lens 11 is an example of an optical system that collects incident light and forms an image on the light receiving surface of the DVS 200.
  • the light receiving surface may be a surface on which the photoelectric conversion elements in the DVS 200 are arranged.
  • the image pickup lens 13 is an example of an optical system that collects incident light and forms an image on the light receiving surface of the image sensor 14.
  • the light receiving surface may be a surface on which the photoelectric conversion elements in the image sensor 14 are arranged.
  • the motion detection unit 12 detects the motion of an object existing within the angle of view of the DVS 200, for example, based on the event detection data input from the DVS 200. For example, the motion detection unit 12 creates one frame data based on the event detection data input within a predetermined period, and detects the motion of the region in the frame from the created frame data. At that time, the motion detection unit 12 may use the image data input from the image sensor 14 to confirm whether the detected motion is the motion of the object or the erroneous detection. The motion detection result is input to, for example, the object detection unit 15 and the motion vector estimation unit 16, respectively.
  • the cycle in which the motion detection unit 12 generates frame data from the event detection data may be the same as or shorter than the cycle in which the image sensor 14 acquires the image data (frame rate).
  • the object detection unit 15 detects an object whose movement is detected by the motion detection unit 12, for example, based on the event detection data input from the DVS 200. For example, the object detection unit 15 creates one frame data based on the event detection data input within a predetermined period, and detects an object in the frame from the created frame data. At that time, the object detection unit 15 may detect an object by combining the event detection data input from the DVS 200 and the image data input from the image sensor 14. The result of the object detection is input to, for example, the motion vector estimation unit 16 and the action pattern determination unit 17, respectively.
  • the cycle in which the object detection unit 15 generates frame data from the event detection data may be the same as or different from the cycle in which the motion detection unit 12 generates frame data from the event detection data, for example. ..
  • the object detection unit 15 may generate frame data at the same cycle as the frame rate at which the image sensor 14 acquires the image data.
  • the motion vector estimation unit 16 estimates the motion vector of the object, for example, based on the motion detected by the motion detection unit 12 of the object detected by the object detection unit 15. For estimating the motion vector of an object, a general method of estimating the motion vector from the amount of movement of the region between frames may be used. In the following, for simplification of the explanation, "estimating the motion vector of an object” is referred to as "detecting the motion of an object”. The estimated motion vector is input to, for example, the behavior pattern determination unit 17.
  • the behavior pattern determination unit 17 determines the behavior pattern of a device such as a vehicle equipped with the state detection system 1 based on the movement of the object estimated by the motion vector estimation unit 16, for example.
  • the storage unit 18 stores various programs and data necessary for the behavior pattern determination unit 17 to determine the behavior pattern.
  • the I / F unit 19 is an interface for transmitting / receiving data to / from the outside via a bus or the like, for example.
  • the motion detection unit 12, the object detection unit 15, and the motion vector estimation unit 16 function as a state detection unit that detects the state of a person or an object such as a driver.
  • Motion detection by the motion detection unit 12 object detection by the object detection unit 15, motion vector estimation by the motion vector estimation unit 16, and behavior pattern determination by the behavior pattern determination unit 17 are stored in advance in a memory or the like.
  • Machine learning using a trained model may be used.
  • the object detection by the object detection unit 15 is a pattern for identifying an object from matching of feature points extracted from event detection data or image data with feature points stored in advance in a memory or the like. Techniques such as matching may be used.
  • FIG. 2 is a block diagram showing a functional configuration example of the DVS according to the first embodiment.
  • the DVS 200 includes a drive circuit 211, a signal processing unit 212, an arbiter 213, and a pixel array unit 300.
  • a plurality of unit pixels are arranged in a two-dimensional grid in the pixel array unit 300.
  • the unit pixel will be described in detail later. For example, whether or not the current value of the photocurrent due to the photoelectric conversion element such as a photodiode and the electric charge generated by the photoelectric conversion element or the amount of change thereof exceeds a predetermined threshold value.
  • a pixel circuit (corresponding to the address event detection unit 400 described later in this embodiment) for detecting the presence or absence of an address event.
  • the pixel circuit can be shared by a plurality of photoelectric conversion elements.
  • each unit pixel is configured to include one photoelectric conversion element and a shared pixel circuit.
  • the plurality of unit pixels of the pixel array unit 300 may be grouped into a plurality of pixel blocks each consisting of a predetermined number of unit pixels.
  • a set of unit pixels or pixel blocks arranged in the horizontal direction is referred to as a "row”
  • a set of unit pixels or pixel blocks arranged in a direction perpendicular to the row is referred to as a "column”.
  • each unit pixel When the occurrence of an address event is detected in the pixel circuit, each unit pixel outputs a request to read a signal from the unit pixel to the arbiter 213.
  • the arbiter 213 arbitrates the request from one or more unit pixels, and based on the arbitration result, transmits a predetermined response to the unit pixel that issued the request.
  • the unit pixel that receives this response outputs a detection signal indicating the occurrence of an address event to the drive circuit 211 and the signal processing unit 212.
  • the drive circuit 211 sequentially drives the unit pixels that output the detection signal, so that the unit pixel in which the occurrence of the address event is detected outputs a signal to the signal processing unit 212, for example, according to the amount of received light.
  • the DVS 200 includes, for example, one or a plurality of unit pixels of an analog-digital converter for converting a signal read from a photoelectric conversion element 333, which will be described later, into a signal having a digital value according to the amount of electric charge. It may be provided for each or for each row.
  • the signal processing unit 212 executes predetermined signal processing on the signal input from the unit pixel, and supplies the result of this signal processing as event detection data to the data processing unit 120 via the signal line 209.
  • the event detection data may include address information of the unit pixel in which the occurrence of the address event is detected and time information such as a time stamp indicating the timing at which the address event has occurred.
  • FIG. 3 is a circuit diagram showing a schematic configuration example of a unit pixel according to the first embodiment.
  • the unit pixel 310 includes, for example, a light receiving unit 330 and an address event detection unit 400.
  • the logic circuit 210 in FIG. 3 may be, for example, a logic circuit including the drive circuit 211 in FIG. 2, the signal processing unit 212, and the arbiter 213.
  • the light receiving unit 330 includes a photoelectric conversion element 333 such as a photodiode, and its output is connected to the address event detection unit 400.
  • the address event detection unit 400 includes, for example, a current-voltage conversion unit 410 and a subtractor 430. However, the address event detection unit 400 also includes a buffer, a quantizer, and a transfer unit. The details of the address event detection unit 400 will be described later with reference to FIG. 5 and the like.
  • the photoelectric conversion element 333 of the light receiving unit 330 photoelectrically converts the incident light to generate an electric charge.
  • the electric charge generated by the photoelectric conversion element 333 is input to the address event detection unit 400 as a photocurrent having a current value corresponding to the amount of the electric charge.
  • FIG. 4 is a block diagram showing a schematic configuration example of the address event detection unit according to the first embodiment.
  • the address event detection unit 400 includes a buffer 420 and a transfer unit 450 in addition to the current-voltage conversion unit 410, the subtractor 430, and the quantizer 440 also shown in FIG.
  • the current-voltage conversion unit 410 converts the photocurrent from the light-receiving unit 330 into a logarithmic voltage signal, and outputs the voltage signal generated thereby to the buffer 420.
  • the buffer 420 corrects the voltage signal from the current-voltage conversion unit 410, and outputs the corrected voltage signal to the subtractor 430.
  • the subtractor 430 lowers the voltage level of the voltage signal from the buffer 420 according to the row drive signal from the drive circuit 211, and outputs the lowered voltage signal to the quantizer 440.
  • the quantizer 440 quantizes the voltage signal from the subtractor 430 into a digital signal, and outputs the digital signal generated by this to the transfer unit 450 as a detection signal.
  • the transfer unit 450 transfers the detection signal from the quantizer 440 to the signal processing unit 212 or the like. For example, when the occurrence of an address event is detected, the transfer unit 450 outputs a request for transmitting an address event detection signal from the transfer unit 450 to the drive circuit 211 and the signal processing unit 212 to the arbiter 213. .. Then, when the transfer unit 450 receives the response to the request from the arbiter 213, the transfer unit 450 outputs the detection signal to the drive circuit 211 and the signal processing unit 212.
  • the current-voltage conversion unit 410 in the configuration shown in FIG. 4 includes, for example, an LG transistor 411, an amplification transistor 412, and a constant current circuit 415, as shown in FIG. It may be a so-called source follower type current-voltage converter provided.
  • the present invention is not limited to this, and for example, a so-called gain boost type including two LG transistors 411 and 413, two amplification transistors 412 and 414, and a constant current circuit 415 as illustrated in FIG. It may be a current-voltage converter.
  • the source of the LG transistor 411 and the gate of the amplification transistor 412 are connected to, for example, the cathode of the photoelectric conversion element 333 of the light receiving unit 330.
  • the drain of the LG transistor 411 is connected to, for example, the power supply terminal VDD.
  • the constant current circuit 415 may be composed of a load MOS transistor such as a P-type MOS (Metal-Oxide-Semiconductor) transistor.
  • the source of the LG transistor 411 and the gate of the amplification transistor 412 are connected to, for example, the cathode of the photoelectric conversion element 333 of the light receiving unit 330.
  • the drain of the LG transistor 411 is connected to, for example, the source of the LG transistor 413 and the gate of the amplification transistor 412.
  • the drain of the LG transistor 413 is connected to, for example, the power supply terminal VDD.
  • the source of the amplification transistor 414 is connected to the gate of the LG transistor 411 and the drain of the amplification transistor 412.
  • the drain of the amplification transistor 414 is connected to the power supply terminal VDD via, for example, the constant current circuit 415.
  • a loop-shaped source follower circuit is configured by establishing a connection relationship as shown in FIG. 3 or FIG. As a result, the photocurrent from the light receiving unit 330 is converted into a logarithmic voltage signal corresponding to the amount of electric charge.
  • the LG transistors 411 and 413 and the amplification transistors 412 and 414 may be composed of, for example, an NMOS transistors, respectively.
  • FIG. 6 is a circuit diagram showing a schematic configuration example of the subtractor and quantizer according to the first embodiment.
  • the subtractor 430 includes capacitors 431 and 433, an inverter 432, and a switch 434.
  • the quantizer 440 includes a comparator 441.
  • One end of the capacitor 431 is connected to the output terminal of the buffer 420, and the other end is connected to the input terminal of the inverter 432.
  • the capacitor 433 is connected in parallel with the inverter 432.
  • the switch 434 opens and closes the path connecting both ends of the capacitor 433 according to the row drive signal.
  • the inverter 432 inverts the voltage signal input via the capacitor 431.
  • the inverter 432 outputs the inverted signal to the non-inverting input terminal (+) of the comparator 441.
  • Equation (5) represents the subtraction operation of the voltage signal, and the gain of the subtraction result is C1 / C2. Since it is usually desired to maximize the gain, it is preferable to design C1 to be large and C2 to be small. On the other hand, if C2 is too small, kTC noise may increase and noise characteristics may deteriorate. Therefore, the capacity reduction of C2 is limited to a range in which noise can be tolerated. Further, since the address event detection unit 400 including the subtractor 430 is mounted on each unit pixel, the capacitances C1 and C2 have an area limitation. In consideration of these, the values of the capacities C1 and C2 are determined.
  • the comparator 441 compares the voltage signal from the subtractor 430 with the predetermined threshold voltage Vth applied to the inverting input terminal ( ⁇ ). The comparator 441 outputs a signal indicating the comparison result to the transfer unit 450 as a detection signal.
  • the gain A of the entire address event detection unit 400 described above is expressed by the following equation (6), where the conversion gain of the current-voltage conversion unit 410 is CG log and the gain of the buffer 420 is '1'.
  • i photo _n is the photocurrent of the n-th unit pixel, the unit is, for example, ampere (A).
  • N is the number of unit pixels 310 in the pixel block, which is '1' in the present embodiment.
  • the above-mentioned state detection device 1 can be applied to various products.
  • it can be mounted on any kind of moving body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot.
  • FIG. 7 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of the moving body control system according to the first embodiment.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via the communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside information detection unit 12030, an in-vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are shown.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 12020 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 12020 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle equipped with the vehicle control system 12000.
  • an imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle outside information detection unit 12030 causes the imaging unit 12031 to acquire information outside the vehicle and receives the acquired data.
  • the vehicle outside information detection unit 12030 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on the road surface based on the received data.
  • the image pickup unit 12031 may be an image sensor that outputs an electric signal as an image, or may be a distance measurement sensor that outputs distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared light.
  • the in-vehicle information detection unit 12040 detects the in-vehicle information.
  • a driver state detection unit 12041 that detects the driver's state is connected to the in-vehicle information detection unit 12040.
  • the above-mentioned DVS200 (or DVS200 and image sensor 14) is used as the driver state detection unit 12041.
  • the in-vehicle information detection unit 12040 connected to the driver state detection unit 12041 and / or the microcomputer 12051 connected to the vehicle information detection unit 12041 via the communication network 12001 are the motion detection unit 12 and the object detection unit in the state detection device 1. 15.
  • the motion vector estimation unit 16 and the behavior pattern determination unit 17 are configured.
  • a motion detection unit 12 an object detection unit 15, and a motion vector estimation unit 16 in the state detection device 1 are provided separately from the in-vehicle information detection unit 12040 and the microcomputer 12051. It is also possible to configure the action pattern determination unit 17 to be realized by the in-vehicle information detection unit 12040 and / or the microcomputer 12051.
  • the motion detection unit 12, the object detection unit 15, the motion vector estimation unit 16, and the behavior pattern determination unit 17 may have different configurations from the in-vehicle information detection unit 12040 and / or the microcomputer 12051.
  • the in-vehicle information detection unit 12040 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041, and may determine whether the driver is dozing or not. You may.
  • the microcomputer 12051 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit.
  • a control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. It is possible to perform cooperative control for the purpose of.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform coordinated control for the purpose of automatic driving that runs autonomously without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the vehicle exterior information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or the oncoming vehicle detected by the external information detection unit 12030, and performs cooperative control for the purpose of antiglare such as switching the high beam to the low beam. It can be carried out.
  • the audio image output unit 12052 transmits the output signal of at least one of the audio and the image to the output device capable of visually or audibly notifying the passenger of the vehicle or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are exemplified as output devices.
  • the display unit 12062 may include, for example, at least one of an onboard display and a heads-up display.
  • FIG. 9 is a diagram showing an example of the installation position of the imaging unit with respect to the vehicle according to the first embodiment.
  • the image pickup unit 12031 a total of five image pickup units 12101, 12102, 12103, 12104, and 12105 are provided for the vehicle 12100.
  • the imaging units 12101, 12102, 12103, 12104 and 12105 are provided at positions such as the front nose, side mirrors, rear bumpers, back door and the upper part of the windshield in the vehicle interior of the vehicle 12100, for example.
  • the imaging unit 12101 provided on the front nose and the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirrors mainly acquire images of the side of the vehicle 12100.
  • the imaging unit 12104 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic signal, a traffic sign, a lane, or the like.
  • FIG. 9 shows an example of the photographing range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • the imaging range 12114 indicates the imaging range of the imaging units 12102 and 12103.
  • the imaging range of the imaging unit 12104 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, a bird's-eye view image of the vehicle 12100 as viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the image pickup units 12101 to 12104 may be a stereo camera composed of a plurality of image pickup elements, or an image pickup element having pixels for phase difference detection.
  • the microcomputer 12051 uses the distance information obtained from the imaging units 12101 to 12104 to obtain the distance to each three-dimensional object within the imaging range 12111 to 12114 and the temporal change of this distance (vehicle).
  • the three-dimensional object that is the closest three-dimensional object on the traveling path of the vehicle 12100 and travels in a predetermined speed (for example, 0 km / h or more) in substantially the same direction as the vehicle 12100 is the preceding vehicle. Can be extracted as.
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in front of the preceding vehicle in advance, and can perform automatic braking control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, it is possible to perform coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without depending on the operation of the driver.
  • the microcomputer 12051 converts three-dimensional object data related to a three-dimensional object into two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, and other three-dimensional objects based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles. For example, the microcomputer 12051 distinguishes obstacles around the vehicle 12100 into obstacles that can be seen by the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether or not a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such recognition of a pedestrian is, for example, whether or not the pedestrian is a pedestrian by performing a procedure for extracting feature points in the captured image of the imaging units 12101 to 12104 as an infrared camera and a pattern matching process on a series of feature points indicating the outline of the object. It is done by the procedure to determine.
  • the audio image output unit 12052 When the microcomputer 12051 determines that a pedestrian is present in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 outputs a square contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to superimpose and display. Further, the audio image output unit 12052 may control the display unit 12062 so as to display an icon or the like indicating a pedestrian at a desired position.
  • FIG. 10 is a diagram showing an example of the installation position of the driver condition detection unit with respect to the vehicle according to the first embodiment.
  • FIG. 11 is a diagram for explaining the angle of view of the driver state detection unit according to the first embodiment.
  • the driver state detection unit 12041 is provided at a position facing the driver seat 12110 inside the vehicle 12100 and at a position where at least the face of the driver D fits within the angle of view 12106. Be done.
  • the upper edge of the room mirror 12122 provided inside the central upper vehicle of the windshield 12121 is provided at a position where the room mirror 12122 is not hidden from the driver D. ..
  • the position is not limited to this, for example, the position where the room mirror 12122 is not hidden from the driver D at the lower edge or the side edge of the room mirror 12122, or the vehicle on the windshield 12121 above the front of the driver seat 12110.
  • Various changes may be made, such as a position on the inside that does not obstruct the driver D's view of the outside of the vehicle.
  • FIG. 12 is a flowchart showing an example of a state detection operation executed by the state detection device according to the first embodiment.
  • event detection data is input from the DVS 200 to the motion detection unit 12 (and the object detection unit 15) (step S101).
  • image data may also be input from the image sensor 14 to the motion detection unit 12 (and the object detection unit 15).
  • the DVS 200 and the image sensor 14 are installed so that, for example, the face of the driver D seated on the driver seat 12110 is within the angle of view.
  • the motion detection unit 12, the object detection unit 15, and the motion vector estimation unit 16 detect and detect the eyeball and eyelid of the driver D as an object from the input event detection data (and image data).
  • the movement of the eyeball or eyelid is detected (step S102).
  • Information on the detected movements of the eyeballs and eyelids is input to the behavior pattern determination unit 17.
  • the behavior pattern determination unit 17 detects the state of the driver D from the input movements of the eyeballs and eyelids, and determines whether or not the driver D is at risk of falling asleep from the detection result (step S103). .. For example, the behavior pattern determination unit 17 estimates the degree of arousal of the driver D (hereinafter referred to as the arousal degree) from the opening amount of the eyelids and the opening / closing speed of the eyelids, and based on the estimated arousal degree, the driver D Determine if there is a risk of falling asleep.
  • the arousal degree the degree of arousal of the driver D
  • FIG. 13 is a diagram showing the movement of the eyelids during blinking
  • FIG. 14 is a diagram showing the relationship between the arousal level and the state (opening amount) of the eyelids.
  • a schematic diagram of the actually photographed eye is shown in the upper row
  • a frame image based on the event detection data obtained by observing the actual eye with the DVS200 is shown in the lower row.
  • the amount of eye opening in the non-blinking state changes according to the arousal level of the person (for example, driver D).
  • the normal eye opening amount H0 when the arousal level is high is large, and the normal eye opening amount is small as the arousal level is low (H0 ⁇ H1 ⁇ H2 ⁇ H3).
  • step S103 the action pattern determination unit 17 obtains an eyelid movement vector, an average value of the eye opening amount, and the like within a predetermined time (for example, 0.5 seconds), and based on these values, It may be determined whether or not the driver D is at risk of falling asleep by estimating whether the driver D blinks or has a low alertness (strong drowsiness).
  • a predetermined time for example, 0.5 seconds
  • the action pattern determination unit 17 proceeds to step S105.
  • the action pattern determination unit 17 operates from the audio speaker 12061 by, for example, driving the audio image output unit 12052 in FIG. An alert for awakening the person D is issued (step S104), and the process proceeds to step S105.
  • the action pattern determination unit 17 may display an alert including an image, a color, or the like for awakening the driver D on the display unit 12062.
  • step S105 the action pattern determination unit 17 determines whether or not to end the main operation, and if it ends (YES in step S105), ends the main operation. On the other hand, when continuing (NO in step S105), the action pattern determination unit 17 returns to step S101 and executes the subsequent operations.
  • the DVS200 is used as the sensor for detecting the driver's condition, it is possible to detect the driver's condition more quickly. Become. Further, in the present embodiment, the driver's state is detected by using the event detection data having a smaller amount of data instead of the image data acquired by the normal image sensor, so that the power consumption at the time of state detection is reduced. It is also possible to do.
  • an image sensor that images the rear of the vehicle is installed at the tail of the vehicle, and a room mirror type monitor (hereinafter referred to as an electronic mirror or display unit) is installed instead of the room mirror to image with the image sensor at the tail.
  • a room mirror type monitor hereinafter referred to as an electronic mirror or display unit
  • the image sensor that images the rear of the vehicle at the tail of the vehicle may be, for example, the imaging unit 12104 described with reference to FIG. 9 in the first embodiment.
  • the configuration example of the state detection device (or system) according to the present embodiment may be the same as the state detection device 1 exemplified in the first embodiment, for example.
  • FIG. 17 is a flowchart showing an example of a state detection operation executed by the state detection device according to the second embodiment.
  • the face of the driver D seated on the driver seat 12110 is performed by the same operation as the operation described with reference to steps S101 to S102 of FIG. 12 in the first embodiment.
  • the position and the direction of the line of sight are detected (steps S201 to S202).
  • Information on the detected face position and line-of-sight direction is input to the behavior pattern determination unit 17.
  • the action pattern determination unit 17 determines whether or not the electronic mirror 22122 corresponding to the rearview mirror 12122 exists in front of the driver D's line of sight from the input face position and the direction of the line of sight, that is, the driver D is electronic. It is determined whether or not the mirror 22122 is being viewed or is about to be viewed (step S203).
  • step S203 If the driver D has not seen or is not looking at the electronic mirror 22122 (NO in step S203), the action pattern determination unit 17 proceeds to step S209. On the other hand, when the driver D is looking at or is about to see the electronic mirror 22122 (YES in step S203), the action pattern determination unit 17 turns on the display of the electronic mirror 22122 (step S204). As a result, the electronic mirror 22122 displays the image of the rear of the vehicle captured by the imaging unit 12104 installed at the tail of the vehicle 12100.
  • the driver D seated on the driver seat 12110 is then subjected to the same operation as that described with reference to steps S101 to S102 of FIG. 12 in the first embodiment.
  • the position of the face and the direction of the line of sight are detected (steps S205 to S206).
  • the action pattern determination unit 17 determines whether or not the driver D has taken his / her eyes off the electronic mirror 22122 (step S207). Information regarding the position of the face and the direction of the line of sight detected in step S206 is input to the action pattern determination unit 17.
  • step S207 If the driver D has not taken his eyes off the electronic mirror 22122 (NO in step S207), this operation returns to step S205 and continues to display the image behind the vehicle on the electronic mirror 22122. On the other hand, when the driver D looks away from the electronic mirror 22122 (YES in step S207), the action pattern determination unit 17 turns off the display of the electronic mirror 22122 (step S208), and proceeds to step S209. As a result, the power consumption of the electronic mirror 22122 when not in use is reduced.
  • step S209 the action pattern determination unit 17 determines whether or not to end the main operation, and if it ends (YES in step S209), ends the main operation. On the other hand, when continuing (NO in step S209), the action pattern determination unit 17 returns to step S201 and executes the subsequent operations.
  • the automatic switching of the display of the electronic mirror 22122 on / off is not limited to the case where the driver D actively looks at the electronic mirror 22122.
  • the driver D pays attention to the electronic mirror 22122.
  • This may also be executed when urging the driver D to pay attention to the rear of the vehicle.
  • the display of the electronic mirror 22122 is turned from off to on. By switching, it is possible to call the driver D to pay attention to the electronic mirror 22122.
  • FIG. 18 is a flowchart showing an example of a state detection operation executed by the state detection device according to this modification.
  • the action pattern determination unit 17 or the microcomputer 12051 follows, for example, based on the image data and the distance measurement result acquired by the image pickup unit 12104 arranged at the tail of the vehicle 12100. The distance to the vehicle, the relative speed, and the like are detected (step S221). Then, the behavior pattern determination unit 17 or the microcomputer 12051 determines whether or not there is a possibility of collision with the following vehicle from the detected inter-vehicle distance to the following vehicle, relative speed, and the like (step S222).
  • the driver D is the vehicle 12100. It may be determined whether or not it is necessary to pay attention to the rear of the.
  • step S222 If there is no possibility of collision with the following vehicle (NO in step S222), this operation proceeds to step S227.
  • the driver seats 12110 are seated in the same operation as the operation described with reference to steps S101 to S102 in FIG. 12 in the first embodiment.
  • the position of the face and the direction of the line of sight of the driver D are detected (steps S223 to S224).
  • the action pattern determining unit 17 determines whether or not the driver D is looking at the electronic mirror 22122, that is, whether or not he / she is aware of the possibility of colliding with the following vehicle (step S225).
  • step S225 When the driver D is looking at the electronic mirror 22122 (YES in step S225), this operation proceeds to step S227.
  • the action pattern determination unit 17 turns on the display of the electronic mirror 22122 (step S226).
  • the electronic mirror 22122 displays the image of the rear of the vehicle captured by the imaging unit 12104 installed at the tail of the vehicle 12100.
  • the display of the electronic mirror 22122 is automatically turned on, so that the driver D is alerted to the electronic mirror 22122.
  • the action pattern determination unit 17 may, for example, drive the audio image output unit 12052 in FIG. 7 to notify the electronic mirror 22122 or an alert to call attention to the following vehicle from the audio speaker 12061.
  • the display unit 12062 may display an alert that calls attention to the electronic mirror 22122 or the following vehicle.
  • step S227 the action pattern determination unit 17 determines whether or not to end the main operation, and if it ends (YES in step S227), ends the main operation. On the other hand, when continuing (NO in step S227), the action pattern determination unit 17 returns to step S221 and executes the subsequent operations.
  • the present technology can also have the following configurations.
  • a first solid-state image sensor that includes a plurality of pixels arranged in a matrix and detects the occurrence of an event for each pixel according to the amount of light incident on each of the pixels.
  • a state detection unit that detects the driver's state based on the occurrence of the event detected by the first solid-state image sensor, and a state detection unit.
  • a state detection device comprising.
  • the state detection device further comprising an action pattern determining unit that determines an action pattern based on the driver's state detected by the state detecting unit.
  • the state detection unit detects at least one of the driver's eye movements and eyelid movements.
  • the behavior pattern determining unit estimates the degree of arousal of the driver based on at least one of the movement of the eyeball and the movement of the eyelid, and the behavior pattern is determined based on the estimated degree of arousal.
  • the state detection device according to (3) above.
  • (5) The state detection device wherein the behavior pattern determining unit determines the behavior pattern that outputs an alert for awakening the driver when the estimated degree of arousal is low.
  • An imaging unit that captures the rear of the vehicle and A display unit that displays the image captured by the imaging unit, and With more The state detection unit detects at least one of the driver's face direction and the line-of-sight direction.
  • the action pattern determining unit determines whether or not the driver is looking at or is about to see the display unit based on at least one of the face direction and the line-of-sight direction, and the determination result.
  • the state detection device according to (3) above, which determines the behavior pattern based on the above.
  • the behavior pattern determination unit determines an action pattern for displaying the image on the display unit, and the driver is not looking at the display unit.
  • the state detection device determines an action pattern for turning off the display of the display unit when not trying to see it.
  • An imaging unit that captures the rear of the vehicle and A sensor that detects at least one of the inter-vehicle distance and relative speed with the following vehicle, A display unit that displays the image captured by the imaging unit, and With more
  • the state detection unit detects at least one of the driver's face direction and the line-of-sight direction.
  • the behavior pattern determining unit determines the behavior pattern based on at least one of the inter-vehicle distance and the relative speed and at least one of the face direction and the line-of-sight direction. State detector.
  • the behavior pattern determining unit determines whether or not there is a risk of collision with the following vehicle based on at least one of the inter-vehicle distance and the relative speed, and if there is a risk of collision with the following vehicle, Further, it is determined whether or not the driver is looking at or intending to see the display unit based on at least one of the direction of the face and the direction of the line of sight, and the driver looks at the display unit.
  • the state detection device according to (8) above, which determines an action pattern for displaying the image on the display unit when the user is not or is not trying to see the image.
  • the state detection unit detects the state of the driver based on the occurrence of the event detected by the first solid-state image sensor and the image data acquired by the second solid-state image sensor (1).
  • the state detection device according to any one of (9).
  • (11) A first solid-state image sensor that includes a plurality of pixels arranged in a matrix and detects the occurrence of an event for each pixel according to the amount of light incident on each of the pixels.
  • a state detection unit that detects the driver's state based on the occurrence of the event detected by the first solid-state image sensor, and a state detection unit.
  • the state of the driver is determined based on the occurrence of the event detected by the solid-state image sensor which has a plurality of pixels arranged in a matrix and detects the occurrence of an event for each pixel according to the amount of light incident on each of the pixels.
  • a state detection method that includes detection.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

より迅速に運転者の状態を検出する。実施形態に係る状態検出装置は、行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する第１固体撮像装置（２００）と、前記第１固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する状態検出部（１２、１５、１６）とを備える。

Description

状態検出装置、状態検出システム及び状態検出方法
　本開示は、状態検出装置、状態検出システム及び状態検出方法に関する。
　従来、運転者を撮像した画像から運転者が居眠りをしているか否かを判定し、居眠りしている場合には、運転者へ警報を発して居眠り運転を防止する居眠り運転防止装置が開発されている。
特開平１０－８６６９６号公報
　一般的な居眠り運転防止装置では、カメラから所定のフレームレートで読み出された画像データを解析することで、運転者が居眠りをしているか否かが判定される。そのため、運転者の状態を検出するために必要となるデータ処理量が多く、運転者が居眠りをしているか否かを迅速に判断することが困難であった。
　そこで本開示では、より迅速に運転者の状態を検出することが可能な状態検出装置、状態検出システム及び状態検出方法を提案する。
　上記の課題を解決するために、本開示に係る一形態の状態検出装置は、行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する第１固体撮像装置と、前記第１固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する状態検出部とを備える。
第１の実施形態に係る状態検出装置（システム）の概略構成例を示すブロック図である。 第１の実施形態に係るＤＶＳの機能構成例を示すブロック図である。 第１の実施形態に係る単位画素の概略構成例を示す回路図である。 第１の実施形態に係るアドレスイベント検出部の概略構成例を示すブロック図である。 第１の実施形態に係る電流電圧変換部の他の一例を示す回路図である。 第１の実施形態に係る減算器及び量子化器の概略構成例を示す回路図である。 第１の実施形態に係る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 第１の実施形態に係る状態検出装置（システム）の他の概略構成例を示すブロック図である。 第１の実施形態に係る撮像部の車両に対する設置位置の例を示す図である。 、第１の実施形態に係る運転者状態検出部の車両に対する設置位置の例を示す図である。 第１の実施形態に係る運転者状態検出部の画角を説明するための図である。 第１の実施形態に係る状態検出装置が実行する状態検出動作の一例を示すフローチャートである。 まばたき時のまぶたの動きを示す図である。 覚醒度とまぶたの状態（開き量）との関係を示す図である。 運転者の目線が電子ミラーに向いている場合を示す図である。 運転者の目線が電子ミラーに向いていない場合を示す図である。 第２の実施形態に係る状態検出装置が実行する状態検出動作の一例を示すフローチャートである。 第２の実施形態の変形例に係る状態検出装置が実行する状態検出動作の一例を示すフローチャートである。
　以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１．１　状態検出装置（又はシステム）の構成例
　　　１．２　ＤＶＳの構成例
　　　１．３　単位画素の構成例
　　　１．４　アドレスイベント検出部の構成例
　　　　１．４．１　電流電圧変換部の構成例
　　　　１．４．２　減算器及び量子化器の構成例
　　　１．５　移動体への応用例
　　　１．６　撮像部の配置例
　　　１．７　運転者状態検出部（ＤＶＳ）の配置例
　　　１．８　状態検出動作例
　　　１．９　作用・効果
　　２．第２の実施形態
　　　２．１　状態検出動作例
　　　２．２　作用・効果
　　　２．３　変形例
　１．第１の実施形態
　まず、第１の実施形態について、図面を参照して詳細に説明する。
　１．１　状態検出装置（又はシステム）の構成例
　図１は、第１の実施形態に係る状態検出装置（又は状態検出システム。以下、状態検出装置という）の概略構成例を示すブロック図である。図１に示すように、状態検出装置１は、例えば、撮像レンズ１１と、ＤＶＳ（Dynamic　Vision　Sensor）（第１固体撮像装置）２００と、動き検出部１２と、撮像レンズ１３と、イメージセンサ（第２固体撮像装置）１４と、物体検出部１５と、動きベクトル推定部１６と、行動パターン決定部１７と、記憶部１８と、インタフェース（Ｉ／Ｆ）部１９とを備える。
　ＤＶＳ２００は、運転者の状態を検出するためのセンサであって、受光量が閾値を超えたことをアドレスイベントとしてリアルタイムに検出する検出回路を画素毎に設けた非同期型のイメージセンサである。
　一般的なＤＶＳには、単位画素ごとにアドレスイベントの発生の有無を検出し、アドレスイベントの発生が検出された場合、このアドレスイベントが発生した単位画素から画素信号を読み出すという、いわゆるイベントドリブン型の駆動方式が採用されている。
　また、一般的なＤＶＳでは、アドレスイベントの発生が検出された単位画素に対して読出し動作が実行されるため、全ての単位画素に対して読出し動作が実行される同期型のイメージセンサよりも非常に高速な読出しが可能であり、且つ、１フレーム分として読み出されるデータ量も小さいという特徴を備える。
　そのため、運転者の状態を検出するためのセンサにＤＶＳ２００を用いることで、より迅速に運転者の状態を検出することが可能となる。状態検出時のデータ量を削減することで、消費電力を低減することも可能となる。
　なお、本説明における単位画素とは、１つの光電変換素子（受光素子ともいう）を含んで構成された画素の最小単位であり、例えば、イメージセンサから読み出した画像データにおける各ドットに対応するものである。また、アドレスイベントとは、二次元格子状に配列する複数の単位画素それぞれに割り当てられたアドレスごとに発生するイベントであり、例えば、光電変換素子で発生した電荷に基づく電流（以下、光電流という）の電流値又はその変化量がある一定の閾値を超えたことなどである。
　本実施形態において、ＤＶＳ２００は、入射光量に基づいてアドレスイベントの発生を検出し、アドレスイベントの発生が検出された単位画素を特定するためのアドレス情報をイベント検出データとして生成する。このイベント検出データには、アドレスイベントの発生が検出されたタイミングを示すタイムスタンプなどの時間情報が含まれていてもよい。また、生成されたイベント検出データは、動き検出部１２及び物体検出部１５にそれぞれ入力される。
　一方、イメージセンサ１４は、例えば、ＣＣＤ（Charge　Coupled　Device）型のイメージセンサやＣＭＯＳ（Complementary　Metal-Oxide-Semiconductor）型のイメージセンサなど、画像データを取得することが可能な種々のイメージセンサであってよい。イメージセンサ１４で取得された画像データは、動き検出部１２及び物体検出部１５にそれぞれ入力される。
　なお、ＤＶＳ２００とイメージセンサ１４とは、例えば、実質的に同じ画角を撮像するように、同一方向に向けて近接して配置されてもよい。
　撮像レンズ１１は、入射光を集光してその像をＤＶＳ２００の受光面に結像する光学系の一例である。受光面とは、ＤＶＳ２００における光電変換素子が配列する面であってよい。
　撮像レンズ１３は、撮像レンズ１１と同様に、入射光を集光してその像をイメージセンサ１４の受光面に結像する光学系の一例である。受光面とは、イメージセンサ１４における光電変換素子が配列する面であってよい。
　動き検出部１２は、例えば、ＤＶＳ２００から入力されたイベント検出データに基づいて、ＤＶＳ２００の画角内に存在する物体の動きを検出する。例えば、動き検出部１２は、所定の期間内に入力されたイベント検出データに基づいて１つのフレームデータを作成し、作成したフレームデータから、フレーム内の領域の動きを検出する。その際、動き検出部１２は、イメージセンサ１４から入力された画像データを用いて、検出された動きが物体の動きであるか又は誤検出であるか等を確認してもよい。動き検出の結果は、例えば、物体検出部１５及び動きベクトル推定部１６にそれぞれ入力される。なお、動き検出部１２がイベント検出データからフレームデータを生成する周期は、イメージセンサ１４が画像データを取得する周期（フレームレート）と同じか又はそれよりも短い周期であってよい。
　物体検出部１５は、例えば、ＤＶＳ２００から入力されたイベント検出データに基づいて、動き検出部１２で動きが検出された物体を検出する。例えば、物体検出部１５は、所定の期間内に入力されたイベント検出データに基づいて１つのフレームデータを作成し、作成したフレームデータから、フレーム内の物体を検出する。その際、物体検出部１５は、ＤＶＳ２００から入力されたイベント検出データと、イメージセンサ１４から入力された画像データとを組み合わせて、物体を検出してもよい。物体検出の結果は、例えば、動きベクトル推定部１６及び行動パターン決定部１７にそれぞれ入力される。なお、物体検出部１５がイベント検出データからフレームデータを生成する周期は、例えば、動き検出部１２がイベント検出データからフレームデータを生成する周期と同じであってもよいし、異なっていてもよい。例えば、物体検出部１５は、イメージセンサ１４が画像データを取得するフレームレートと同じ周期でフレームデータを生成してもよい。
　動きベクトル推定部１６は、例えば、物体検出部１５で検出された物体の、動き検出部１２で検出された動きに基づいて、当該物体の動きベクトルを推定する。物体の動きベクトルの推定には、フレーム間の領域の移動量から移動ベクトルを推定する一般的な手法が用いられてもよい。以下では、説明の簡略化のため、「物体の動きベクトルを推定する」ことを、「物体の動きを検出する」という。推定された動きベクトルは、例えば、行動パターン決定部１７に入力される。
　行動パターン決定部１７は、例えば、動きベクトル推定部１６で推定された物体の動きに基づいて、当該状態検出システム１を搭載する車両等の装置の行動パターンを決定する。
　記憶部１８は、行動パターン決定部１７が行動パターンを決定する上で必要となる各種プログラムやデータを記憶する。
　Ｉ／Ｆ部１９は、例えば、バス等を介して外部との間でデータの送受信を行なうためのインタフェースである。
　以上の構成において、動き検出部１２、物体検出部１５及び動きベクトル推定部１６は、運転者等、人や物体の状態を検出する状態検出部として機能する。
　動き検出部１２による動き検出、物体検出部１５による物体検出、動きベクトル推定部１６による動きベクトルの推定、及び、行動パターン決定部１７による行動パターンの決定には、予めメモリ等に保存されている学習済みモデルを使用する機械学習が用いられてもよい。ただし、これに限定されず、例えば、物体検出部１５による物体検出は、イベント検出データや画像データから抽出された特徴点と予めメモリ等に保存された特徴点とのマッチングから物体を特定するパターンマッチング等の技術が用いられてもよい。
　１．２　ＤＶＳの構成例
　つづいて、ＤＶＳ２００の構成例について、図面を参照して詳細に説明する。図２は、第１の実施形態に係るＤＶＳの機能構成例を示すブロック図である。図２に示すように、ＤＶＳ２００は、駆動回路２１１と、信号処理部２１２と、アービタ２１３と、画素アレイ部３００とを備える。
　画素アレイ部３００には、複数の単位画素が二次元格子状に配列される。単位画素とは、後述において詳細に説明するが、例えば、フォトダイオードなどの光電変換素子と、この光電変換素子で発生した電荷による光電流の電流値又はその変化量が所定の閾値を超えたか否かに基づき、アドレスイベントの発生の有無を検出する画素回路（本実施形態では、後述するアドレスイベント検出部４００に相当）とから構成される。ここで、画素回路は、複数の光電変換素子で共有され得る。その場合、各単位画素は、１つの光電変換素子と、共有される画素回路とを含んで構成される。
　画素アレイ部３００の複数の単位画素は、それぞれが所定数の単位画素からなる複数の画素ブロックにグループ化されていてもよい。以下、水平方向に配列する単位画素又は画素ブロックの集合を「行」と称し、行に垂直な方向に配列された単位画素又は画素ブロックの集合を「列」と称する。
　各単位画素は、画素回路においてアドレスイベントの発生が検出されると、当該単位画素から信号を読み出すことのリクエストを、アービタ２１３に出力する。
　アービタ２１３は、１つ以上の単位画素からのリクエストを調停し、この調停結果に基づいて、リクエストを発行した単位画素に所定の応答を送信する。この応答を受け取った単位画素は、アドレスイベントの発生を示す検出信号を駆動回路２１１及び信号処理部２１２に出力する。
　駆動回路２１１は、検出信号を出力した単位画素を順に駆動することで、アドレスイベントの発生が検出された単位画素から信号処理部２１２へ、例えば、受光量に応じた信号を出力させる。なお、ＤＶＳ２００には、後述する光電変換素子３３３から読み出された信号をその電荷量に応じたデジタル値の信号に変換するためのアナログ・デジタル変換器が、例えば、１つ又は複数の単位画素ごと若しくは列ごとに設けられていてもよい。
　信号処理部２１２は、単位画素から入力された信号に対して所定の信号処理を実行し、この信号処理の結果を、イベント検出データとして、信号線２０９を介してデータ処理部１２０に供給する。なお、イベント検出データには、上述したように、アドレスイベントの発生が検出された単位画素のアドレス情報と、アドレスイベントが発生したタイミングを示すタイムスタンプ等の時間情報とが含まれ得る。
　１．３　単位画素の構成例
　つづいて、単位画素３１０の構成例について説明する。図３は、第１の実施形態に係る単位画素の概略構成例を示す回路図である。図３に示すように、単位画素３１０は、例えば、受光部３３０と、アドレスイベント検出部４００とを備える。なお、図３におけるロジック回路２１０は、例えば、図２における駆動回路２１１と、信号処理部２１２と、アービタ２１３とからなるロジック回路であってよい。
　受光部３３０は、例えば、フォトダイオードなどの光電変換素子３３３を備え、その出力は、アドレスイベント検出部４００に接続される。
　アドレスイベント検出部４００は、例えば、電流電圧変換部４１０と、減算器４３０とを備える。ただし、アドレスイベント検出部４００は、その他にも、バッファや量子化器や転送部を備える。アドレスイベント検出部４００の詳細については、後述において図５等を用いて説明する。
　このような構成において、受光部３３０の光電変換素子３３３は、入射光を光電変換して電荷を発生させる。光電変換素子３３３で発生した電荷は、その電荷量に応じた電流値の光電流として、アドレスイベント検出部４００に入力される。
　１．４　アドレスイベント検出部の構成例
　図４は、第１の実施形態に係るアドレスイベント検出部の概略構成例を示すブロック図である。図４に示すように、アドレスイベント検出部４００は、図３にも示した電流電圧変換部４１０、減算器４３０と及び量子化器４４０に加え、バッファ４２０と、転送部４５０とを備える。
　電流電圧変換部４１０は、受光部３３０からの光電流を、その対数の電圧信号に変換し、これにより生成された電圧信号をバッファ４２０に出力する。
　バッファ４２０は、電流電圧変換部４１０からの電圧信号を補正し、補正後の電圧信号を減算器４３０に出力する。
　減算器４３０は、駆動回路２１１からの行駆動信号に従ってバッファ４２０からの電圧信号の電圧レベルを低下させ、低下後の電圧信号を量子化器４４０に出力する。
　量子化器４４０は、減算器４３０からの電圧信号をデジタル信号に量子化し、これにより生成されたデジタル信号を検出信号として転送部４５０に出力する。
　転送部４５０は、量子化器４４０からの検出信号を信号処理部２１２等に転送する。この転送部４５０は、例えば、アドレスイベントの発生が検出された際に、転送部４５０から駆動回路２１１及び信号処理部２１２へのアドレスイベントの検出信号の送信を要求するリクエストをアービタ２１３に出力する。そして、転送部４５０は、リクエストに対する応答をアービタ２１３から受け取ると、検出信号を駆動回路２１１及び信号処理部２１２に出力する。
　１．４．１　電流電圧変換部の構成例
　図４に示す構成における電流電圧変換部４１０は、例えば、図３に示すように、ＬＧトランジスタ４１１と、増幅トランジスタ４１２と、定電流回路４１５とを備えた、所謂ソースフォロア型の電流電圧変換部であってよい。ただし、これに限定されず、例えば、図５に例示するような、２つのＬＧトランジスタ４１１及び４１３と、２つの増幅トランジスタ４１２及び４１４と、定電流回路４１５とを備えた、所謂ゲインブースト型の電流電圧変換器であってもよい。
　図３に示すように、ＬＧトランジスタ４１１のソース及び増幅トランジスタ４１２のゲートは、例えば、受光部３３０の光電変換素子３３３におけるカソードに接続される。ＬＧトランジスタ４１１のドレインは、例えば、電源端子ＶＤＤに接続される。
　また、例えば、増幅トランジスタ４１２のソースは接地され、ドレインは定電流回路４１５を介して電源端子ＶＤＤに接続される。定電流回路４１５は、例えば、Ｐ型のＭＯＳ（Metal-Oxide-Semiconductor）トランジスタなどの負荷ＭＯＳトランジスタで構成されてもよい。
　一方、ゲインブースト型の場合、図５に示すように、ＬＧトランジスタ４１１のソース及び増幅トランジスタ４１２のゲートは、例えば、受光部３３０の光電変換素子３３３におけるカソードに接続される。また、ＬＧトランジスタ４１１のドレインは、例えば、ＬＧトランジスタ４１３のソース及び増幅トランジスタ４１２のゲートに接続される。ＬＧトランジスタ４１３のドレインは、例えば、電源端子ＶＤＤに接続される。
　また、例えば、増幅トランジスタ４１４のソースはＬＧトランジスタ４１１のゲート及び増幅トランジスタ４１２のドレインに接続される。増幅トランジスタ４１４のドレインは、例えば、定電流回路４１５を介して電源端子ＶＤＤに接続される。
　図３又は図５に示すような接続関係とすることで、ループ状のソースフォロア回路が構成される。これにより、受光部３３０からの光電流が、その電荷量に応じた対数値の電圧信号に変換される。なお、ＬＧトランジスタ４１１及び４１３と、増幅トランジスタ４１２及び４１４とは、それぞれ例えばＮＭＯＳトランジスタで構成されてよい。
　１．４．２　減算器及び量子化器の構成例
　図６は、第１の実施形態に係る減算器及び量子化器の概略構成例を示す回路図である。図６に示すように、減算器４３０は、コンデンサ４３１及び４３３と、インバータ４３２と、スイッチ４３４とを備える。また、量子化器４４０は、コンパレータ４４１を備える。
　コンデンサ４３１の一端は、バッファ４２０の出力端子に接続され、他端は、インバータ４３２の入力端子に接続される。コンデンサ４３３は、インバータ４３２に並列に接続される。スイッチ４３４は、コンデンサ４３３の両端を接続する経路を行駆動信号に従って開閉する。
　インバータ４３２は、コンデンサ４３１を介して入力された電圧信号を反転する。このインバータ４３２は反転した信号をコンパレータ４４１の非反転入力端子（＋）に出力する。
　スイッチ４３４をオンした際、コンデンサ４３１のバッファ４２０側には、電圧信号Ｖｉｎｉｔが入力される。また、その逆側は仮想接地端子となる。この仮想接地端子の電位を便宜上、ゼロとする。このとき、コンデンサ４３１に蓄積されている電位Ｑｉｎｉｔは、コンデンサ４３１の容量をＣ１とすると、次の式（１）により表される。一方、コンデンサ４３３の両端は、短絡されているため、その蓄積電荷はゼロとなる。
Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ　　（１）
　次に、スイッチ４３４がオフされて、コンデンサ４３１のバッファ４２０側の電圧が変化してＶａｆｔｅｒになった場合を考えると、コンデンサ４３１に蓄積される電荷Ｑａｆｔｅｒは、次の式（２）により表される。
Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ　　（２）
　一方、コンデンサ４３３に蓄積される電荷Ｑ２は、出力電圧をＶｏｕｔとすると、次の式（３）により表される。
Ｑ２＝－Ｃ２×Ｖｏｕｔ　　（３）
　このとき、コンデンサ４３１及び４３３の総電荷量は変化しないため、次の式（４）が成立する。
Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２　　（４）
　式（４）に式（１）乃至式（３）を代入して変形すると、次の式（５）が得られる。
Ｖｏｕｔ＝－（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）　　（５）
　式（５）は、電圧信号の減算動作を表し、減算結果の利得はＣ１／Ｃ２となる。通常、利得を最大化することが望まれるため、Ｃ１を大きく、Ｃ２を小さく設計することが好ましい。一方、Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃ２の容量削減は、ノイズを許容することができる範囲に制限される。また、単位画素ごとに減算器４３０を含むアドレスイベント検出部４００が搭載されるため、容量Ｃ１やＣ２には、面積上の制約がある。これらを考慮して、容量Ｃ１及びＣ２の値が決定される。
　コンパレータ４４１は、減算器４３０からの電圧信号と、反転入力端子（－）に印加された所定の閾値電圧Ｖｔｈとを比較する。コンパレータ４４１は、比較結果を示す信号を検出信号として転送部４５０に出力する。
　また、上述のアドレスイベント検出部４００全体のゲインＡは、電流電圧変換部４１０の変換ゲインをＣＧｌｏｇとし、バッファ４２０のゲインを‘１’とすると、次の式（６）により表される。
Figure JPOXMLDOC01-appb-M000001
　式（６）において、ｉｐｈｏｔｏ＿ｎは、ｎ番目の単位画素の光電流であり、その単位は、例えばアンペア（Ａ）である。Ｎは、画素ブロック内の単位画素３１０の数であり、本実施形態では‘１’である。
　１．５　移動体への応用例
　上述した状態検出装置１は、様々な製品へ応用することができる。例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載することが可能である。
　図７は、第１の実施形態に係る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。図７に示すように、車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウインカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の情報を取得させるとともに、取得されたデータを受信する。車外情報検出ユニット１２０３０は、受信したデータに基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、電気信号を画像として出力するイメージセンサであってもよいし、測距の情報として出力する測距センサであってもよい。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。本実施形態において、運転者状態検出部１２０４１には、上述したＤＶＳ２００（又は、ＤＶＳ２００及びイメージセンサ１４）が用いられる。その場合、運転者状態検出部１２０４１に接続された車内情報検出ユニット１２０４０及び／又はこれに通信ネットワーク１２００１を介して接続されたマイクロコンピュータ１２０５１は、状態検出装置１における動き検出部１２、物体検出部１５、動きベクトル推定部１６及び行動パターン決定部１７を構成する。
　例えば、図８に例示する状態検出装置２のように、車内情報検出ユニット１２０４０及びマイクロコンピュータ１２０５１とは別に状態検出装置１における動き検出部１２、物体検出部１５及び動きベクトル推定部１６を設け、行動パターン決定部１７を車内情報検出ユニット１２０４０及び／又はマイクロコンピュータ１２０５１で実現するように構成することも可能である。
　若しくは、動き検出部１２、物体検出部１５、動きベクトル推定部１６及び行動パターン決定部１７は、車内情報検出ユニット１２０４０及び／又はマイクロコンピュータ１２０５１とは異なる構成であってもよい。
　車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　１．６　撮像部の配置例
　図９は、第１の実施形態に係る撮像部の車両に対する設置位置の例を示す図である。図９では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４及び１２１０５の計５つの撮像部が、車両１２１００に対して設けられている。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４及び１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２及び１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、交通信号機、交通標識又は車線等の検出に用いられる。
　また、図９には、撮像部１２１０１乃至１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２及び１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２及び１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１乃至１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１乃至１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１乃至１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１（図７参照）は、撮像部１２１０１乃至１２１０４から得られた距離情報を基に、撮像範囲１２１１１乃至１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１乃至１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１乃至１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１乃至１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１乃至１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１乃至１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　１．７　運転者状態検出部（ＤＶＳ）の配置例
　図１０は、第１の実施形態に係る運転者状態検出部の車両に対する設置位置の例を示す図である。図１１は、第１の実施形態に係る運転者状態検出部の画角を説明するための図である。
　図１０及び図１１に示すように、運転者状態検出部１２０４１は、車両１２１００の内部におけるドライバシート１２１１０と対向する位置であって、運転者Ｄの少なくとも顔が画角１２１０６内に収まる位置に設けられる。図１０及び図１１に示す例では、フロントガラス１２１２１の中央上部車内側に設けられたルームミラー１２１２２の上縁であって、運転者Ｄに対してルームミラー１２１２２が隠れない位置に設けられている。ただし、この位置に限定されず、例えば、ルームミラー１２１２２の下縁又は側縁であって運転者Ｄに対してルームミラー１２１２２が隠れない位置や、ドライバシート１２１１０の前方上方のフロントガラス１２１２１の車内側であって、運転者Ｄの車外に対する視界の妨げとならない位置など、種々変更されてよい。
　１．８　状態検出動作例
　次に、第１の実施形態に係る状態検出装置の動作例を説明する。図１２は、第１の実施形態に係る状態検出装置が実行する状態検出動作の一例を示すフローチャートである。
　図１２に示すように、本動作では、まず、ＤＶＳ２００から動き検出部１２（及び物体検出部１５）へイベント検出データが入力される（ステップＳ１０１）。その際、イメージセンサ１４から動き検出部１２（及び物体検出部１５）へ画像データも入力されてもよい。なお、ＤＶＳ２００及びイメージセンサ１４それぞれは、例えば、その画角内にドライバシート１２１１０に着座した運転者Ｄの顔が入るように設置される。
　これに対し、動き検出部１２、物体検出部１５及び動きベクトル推定部１６は、入力されたイベント検出データ（及び画像データ）から運転者Ｄの眼球やまぶたを物体として検出し、そして、検出された眼球やまぶたの動きを検出する（ステップＳ１０２）。検出された眼球やまぶたの動きに関する情報は、行動パターン決定部１７に入力される。
　行動パターン決定部１７は、入力された眼球やまぶたの動きから、運転者Ｄの状態を検出し、この検出結果から、運転者Ｄに居眠りの危険があるか否かを判定する（ステップＳ１０３）。例えば、行動パターン決定部１７は、まぶたの開き量やまぶたの開閉速度から、運転者Ｄの覚醒の程度（以下、覚醒度という）を推定し、推定された覚醒度に基づいて、運転者Ｄに居眠りの危険があるか否かを判定する。
　ここで、覚醒度が低い、すなわち眠気が強いときのまぶたの動きと、まばたき時のまぶたの動きとの違いについて説明する。図１３は、まばたき時のまぶたの動きを示す図であり、図１４は、覚醒度とまぶたの状態（開き量）との関係を示す図である。なお、図１３では、実際に撮影された目を模式化した図を上段に示し、その実際の目をＤＶＳ２００で観測することで得られたイベント検出データによるフレーム画像を下段に示している。
　図１３に示すように、通常のまばたきでは、上まぶた６１と下まぶた６２とが素早く開閉する。したがって、このまばたきをＤＶＳ２００で観測した場合には、上まぶた６１と下まぶた６２とを含む目全体のフレーム画像が取得される。
　これに対し、図１４に示すように、まばたきをしていない状態（通常時という）での目の開き量は、その人（例えば、運転者Ｄ）の覚醒度に応じて変化する。例えば、覚醒度が高いときの通常時の目の開き量Ｈ０は大きく、覚醒度が低くなるにつれて、通常時の目の開き量は小さくなる（Ｈ０→Ｈ１→Ｈ２→Ｈ３）。
　そこで、ステップＳ１０３では、例えば、行動パターン決定部１７は、所定時間（例えば、０．５秒）内のまぶたの動きベクトルや目の開き量の平均値等を求め、これらの値に基づいて、運転者Ｄがまばたきをしたのか覚醒度が低い（眠気が強い）のかを推定して、運転者Ｄに居眠りの危険があるか否かを判定してもよい。
　運転者Ｄに居眠りの危険がないと判断した場合（ステップＳ１０３のＮＯ）、行動パターン決定部１７は、ステップＳ１０５へ進む。一方、運転者Ｄに居眠りの危険があると判断した場合（ステップＳ１０３のＹＥＳ）、行動パターン決定部１７は、例えば、図７における音声画像出力部１２０５２を駆動することで、オーディオスピーカ１２０６１から運転者Ｄを覚醒させるためのアラートを発し（ステップＳ１０４）、ステップＳ１０５へ進む。その際、行動パターン決定部１７は、表示部１２０６２に運転者Ｄを覚醒させるための映像や色等よりなるアラートを表示してもよい。
　ステップＳ１０５では、行動パターン決定部１７は、本動作を終了するか否かを判定し、終了する場合（ステップＳ１０５のＹＥＳ）、本動作を終了する。一方、継続する場合（ステップＳ１０５のＮＯ）、行動パターン決定部１７は、ステップＳ１０１へリターンし、以降の動作を実行する。
　１．９　作用・効果
　以上のように、本実施形態によれば、運転者の状態を検出するためのセンサにＤＶＳ２００を用いているため、より迅速に運転者の状態を検出することが可能となる。また、本実施形態では、通常のイメージセンサで取得された画像データではなく、よりデータ量の少ないイベント検出データを用いて運転者の状態を検出しているため、状態検出時の消費電力を低減することも可能となる。
　２．第２の実施形態
　次に、第２の実施形態について、図面を参照して詳細に説明する。なお、以下の説明において、第１の実施形態と同様の構成及び動作については、それを引用することで、その重複する説明を省略する。
　近年では、車両の後尾に車両の後方を撮像するイメージセンサを搭載するとともに、ルームミラーの代わりにルームミラー型のモニタ（以下、電子ミラー又は表示部という）を設置し、後尾のイメージセンサで撮像された映像を車内の電子ミラーにリアルタイムに再生する技術が存在する。
　ただし、運転者が電子ミラーを見ていないときに電子ミラーに車両後方の映像を再生することは、消費電力の増大を招きかねない。そこで、本実施形態では、図１５に例示するように、運転者Ｄの目線の方向Ａ１が電子ミラー２２１２２を見ている場合には電子ミラー２２１２２をオンし、図１６に例示するように、運転者Ｄの目線の方向Ａ２が電子ミラーを見ていない場合、例えば、運転者Ｄがフロントガラス１２１２１越しに車両前方を見ている場合には、電子ミラーをオフすることで、消費電力の増大を抑制する。
　なお、車両の後尾に車両の後方を撮像するイメージセンサは、例えば、第１の実施形態において図９を用いて説明した撮像部１２１０４であってもよい。
　また、本実施形態に係る状態検出装置（又はシステム）の構成例は、例えば、第１の実施形態で例示した状態検出装置１と同様であってよい。
　２．１　状態検出動作例
　図１７は、第２の実施形態に係る状態検出装置が実行する状態検出動作の一例を示すフローチャートである。
　図１７に示すように、本動作では、まず、第１の実施形態において図１２のステップＳ１０１～Ｓ１０２を用いて説明した動作と同様の動作により、ドライバシート１２１１０に着座した運転者Ｄの顔の位置や視線の方向を検出する（ステップＳ２０１～Ｓ２０２）。検出された顔の位置や視線の方向に関する情報は、行動パターン決定部１７に入力される。
　行動パターン決定部１７は、入力された顔の位置や視線の方向から、運転者Ｄの視線の先にルームミラー１２１２２に相当する電子ミラー２２１２２が存在するか否か、すなわち、運転者Ｄが電子ミラー２２１２２を見ているか又は見ようとしているか否かを判定する（ステップＳ２０３）。
　運転者Ｄが電子ミラー２２１２２を見ていない又は見ようともしていない場合（ステップＳ２０３のＮＯ）には、行動パターン決定部１７は、ステップＳ２０９へ進む。一方、運転者Ｄが電子ミラー２２１２２を見ている又は見ようとしている場合（ステップＳ２０３のＹＥＳ）、行動パターン決定部１７は、電子ミラー２２１２２の表示をオンする（ステップＳ２０４）。これにより、電子ミラー２２１２２には、車両１２１００の後尾に設置された撮像部１２１０４で撮像された車両後方の映像が表示される。
　このように電子ミラー２２１２２の表示をオンすると、次に、第１の実施形態において図１２のステップＳ１０１～Ｓ１０２を用いて説明した動作と同様の動作により、ドライバシート１２１１０に着座した運転者Ｄの顔の位置や視線の方向を検出する（ステップＳ２０５～Ｓ２０６）。そして、今度は、行動パターン決定部１７は、運転者Ｄが電子ミラー２２１２２から目線を外したか否かを判定する（ステップＳ２０７）。なお、ステップＳ２０６において検出された顔の位置や視線の方向に関する情報は、行動パターン決定部１７に入力される。
　運転者Ｄが電子ミラー２２１２２から目線を外していない場合（ステップＳ２０７のＮＯ）、本動作は、ステップＳ２０５へリターンして、電子ミラー２２１２２への車両後方の映像の表示を継続する。一方、運転者Ｄが電子ミラー２２１２２から目線を外した場合（ステップＳ２０７のＹＥＳ）、行動パターン決定部１７は、電子ミラー２２１２２の表示をオフし（ステップＳ２０８）、ステップＳ２０９へ進む。これにより、未使用時の電子ミラー２２１２２による消費電力が低減される。
　ステップＳ２０９では、行動パターン決定部１７は、本動作を終了するか否かを判定し、終了する場合（ステップＳ２０９のＹＥＳ）、本動作を終了する。一方、継続する場合（ステップＳ２０９のＮＯ）、行動パターン決定部１７は、ステップＳ２０１へリターンし、以降の動作を実行する。
　以上のような動作により、本実施形態では、運転者Ｄが電子ミラー２２１２２を見ていない期間の電子ミラー２２１２２による消費電力を低減することが可能となる。
　２．２　作用・効果
　その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
　２．３　変形例
　また、電子ミラー２２１２２の表示のオン／オフの自動切替えは、運転者Ｄが積極的に電子ミラー２２１２２を見る場合に限らず、例えば、運転者Ｄに電子ミラー２２１２２への注意を促す場合、すなわち、運転者Ｄに車両後方への注意を促す場合にも、実行されてよい。例えば、後続車との車間距離が短く、衝突の危険が存在するような場合であって、運転者Ｄがその危険に気付いていないような場合には、電子ミラー２２１２２の表示をオフからオンに切り替えることで、運転者Ｄに電子ミラー２２１２２への注意を促すことが可能である。
　図１８は、本変形例に係る状態検出装置が実行する状態検出動作の一例を示すフローチャートである。
　図１８に示すように、本動作では、行動パターン決定部１７又はマイクロコンピュータ１２０５１は、例えば、車両１２１００の後尾に配置された撮像部１２１０４で取得された画像データや測距結果に基づいて、後続車との車間距離や相対速度等を検出する（ステップＳ２２１）。そして、行動パターン決定部１７又はマイクロコンピュータ１２０５１は、検出した後続車との車間距離や相対速度等から、後続車と衝突する可能性があるか否かを判定する（ステップＳ２２２）。なお、後続車と衝突する可能性があるか否かに限られず、後続車との車間距離がある閾値よりも短い又は短くなる可能性が高いか否かや、その他、運転者Ｄが車両１２１００の後方へ注意する必要があるか否か等を判定してもよい。
　後続車と衝突する可能性等がない場合（ステップＳ２２２のＮＯ）、本動作は、ステップＳ２２７へ進む。一方、後続車と衝突する可能性等がある場合（ステップＳ２２２のＹＥＳ）、第１の実施形態において図１２のステップＳ１０１～Ｓ１０２を用いて説明した動作と同様の動作により、ドライバシート１２１１０に着座した運転者Ｄの顔の位置や視線の方向を検出する（ステップＳ２２３～Ｓ２２４）。そして、行動パターン決定部１７は、運転者Ｄが電子ミラー２２１２２を見ているか否か、すなわち、後続車と衝突する可能性等に気付いているか否かを判定する（ステップＳ２２５）。
　運転者Ｄが電子ミラー２２１２２を見ている場合（ステップＳ２２５のＹＥＳ）、本動作は、ステップＳ２２７へ進む。一方、運転者Ｄが電子ミラー２２１２２を見ていない場合（ステップＳ２２５のＮＯ）、行動パターン決定部１７は、電子ミラー２２１２２の表示をオンする（ステップＳ２２６）。これにより、電子ミラー２２１２２には、車両１２１００の後尾に設置された撮像部１２１０４で撮像された車両後方の映像が表示される。
　このように、電子ミラー２２１２２の表示が自動的にオンされることで、運転者Ｄに対して、電子ミラー２２１２２への注意が促される。その際、行動パターン決定部１７は、例えば、図７における音声画像出力部１２０５２を駆動することで、オーディオスピーカ１２０６１から電子ミラー２２１２２又は後続車への注意を促すアラートを報知してもよいし、表示部１２０６２に電子ミラー２２１２２又は後続車への注意を促すアラートを表示してもよい。
　ステップＳ２２７では、行動パターン決定部１７は、本動作を終了するか否かを判定し、終了する場合（ステップＳ２２７のＹＥＳ）、本動作を終了する。一方、継続する場合（ステップＳ２２７のＮＯ）、行動パターン決定部１７は、ステップＳ２２１へリターンし、以降の動作を実行する。
　以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素ごとのイベントの発生を検出する第１固体撮像装置と、
　前記第１固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する状態検出部と、
　を備える状態検出装置。
（２）
　前記状態検出部は、前記運転者の眼球の動き、まぶたの動き、顔の向き、視線の方向のうち、少なくとも１つを前記運転者の状態として検出する前記（１）に記載の状態検出装置。
（３）
　前記状態検出部で検出された前記運転者の状態に基づいて行動パターンを決定する行動パターン決定部をさらに備える前記（１）又は（２）に記載の状態検出装置。
（４）
　前記状態検出部は、前記運転者の眼球の動き及びまぶたの動きのうちの少なくとも一方を検出し、
　前記行動パターン決定部は、前記眼球の動き及びまぶたの動きのうちの少なくとも一方に基づいて、前記運転者の覚醒の程度を推定し、当該推定された覚醒の程度に基づいて、前記行動パターンを決定する
　前記（３）に記載の状態検出装置。
（５）
　前記行動パターン決定部は、前記推定された覚醒の程度が低い場合、前記運転者を覚醒させるためのアラートを出力する前記行動パターンを決定する前記（４）に記載の状態検出装置。
（６）
　車両の後方を撮像する撮像部と、
　前記撮像部で撮像された映像を表示する表示部と、
　をさらに備え、
　前記状態検出部は、前記運転者の顔の向き及び視線の方向のうちの少なくとも一方を検出し、
　前記行動パターン決定部は、前記顔の向き及び視線の方向のうちの少なくとも一方に基づいて、前記運転者が前記表示部を見ているか否か又は見ようとしているか否かを判定し、当該判定結果に基づいて、前記行動パターンを決定する
　前記（３）に記載の状態検出装置。
（７）
　前記行動パターン決定部は、前記運転者が前記表示部を見ている又は見ようとしている場合、前記表示部に前記映像を表示させる行動パターンを決定し、前記運転者が前記表示部を見ていない又は見ようとしていない場合、前記表示部の表示をオフする行動パターンを決定する前記（６）に記載の状態検出装置。
（８）
　車両の後方を撮像する撮像部と、
　後続車との車間距離及び相対速度のうちの少なくとも一方を検出するセンサと、
　前記撮像部で撮像された映像を表示する表示部と、
　をさらに備え、
　前記状態検出部は、前記運転者の顔の向き及び視線の方向のうちの少なくとも一方を検出し、
　前記行動パターン決定部は、前記車間距離及び相対速度のうちの少なくとも一方と、前記顔の向き及び視線の方向のうちの少なくとも一方に基づいて、前記行動パターンを決定する
　前記（３）に記載の状態検出装置。
（９）
　前記行動パターン決定部は、前記車間距離及び相対速度のうちの少なくとも一方に基づいて前記後続車との衝突の危険があるか否かを判定し、前記後続車との衝突の危険がある場合、さらに、前記顔の向き及び視線の方向のうちの少なくとも一方に基づいて前記運転者が前記表示部を見ているか否か又は見ようとしているか否かを判定し、前記運転者が前記表示部を見ていない又は見ようとしていない場合、前記表示部に前記映像を表示させる行動パターンを決定する前記（８）に記載の状態検出装置。
（１０）
　前記運転者の顔を撮像する第２固体撮像装置をさらに備え、
　前記状態検出部は、前記第１固体撮像装置で検出された前記イベントの発生と、前記第２固体撮像装置で取得された画像データとに基づいて前記運転者の状態を検出する
　前記（１）～（９）の何れか１項に記載の状態検出装置。
（１１）
　行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素ごとのイベントの発生を検出する第１固体撮像装置と、
　前記第１固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する状態検出部と、
　を備える状態検出システム。
（１２）
　行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素ごとのイベントの発生を検出する固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する
　ことを含む状態検出方法。
　１、２　状態検出装置（システム）
　１１、１３　撮像レンズ
　１２　動き検出部
　１４　イメージセンサ
　１５　物体検出部
　１６　動きベクトル推定部
　１７　行動パターン決定部
　１８　記憶部
　１９　Ｉ／Ｆ部
　２００　ＤＶＳ
　２１０　ロジック回路
　２１１　駆動回路
　２１２　信号処理部
　２１３　アービタ
　３００　画素アレイ部
　３３０　受光部
　３３３　光電変換素子
　４００　アドレスイベント検出部
　４１０　電流電圧変換部
　４１１、４１３　ＬＧトランジスタ
　４１２、４１４　増幅トランジスタ
　４１５　定電流回路
　４２０　バッファ
　４３０　減算器
　４３１、４３３　コンデンサ
　４３２　インバータ
　４３４　スイッチ
　４４０　量子化器
　４４１　コンパレータ
　４５０　転送部
　１２０００　車両制御システム
　１２００１　通信ネットワーク
　１２０１０　駆動系制御ユニット
　１２０２０　ボディ系制御ユニット
　１２０３０　車外情報検出ユニット
　１２０３１、１２１０１～１２１０５　撮像部
　１２０４０　車内情報検出ユニット
　１２０４１　運転者状態検出部
　１２０５０　統合制御ユニット
　１２０５１　マイクロコンピュータ
　１２０５２　音声画像出力部
　１２０５３　車載ネットワークＩ／Ｆ
　１２０６１　オーディオスピーカ
　１２０６２　表示部
　１２０６３　インストルメントパネル
　１２１００　車両
　１２１０６　画角
　１２１１０　ドライバシート
　１２１１１～１２１１４　撮像範囲
　１２１２１　フロントガラス
　１２１２２　ルームミラー
　２２１２２　電子ミラー
　Ａ１、Ａ２　目線の方向
　Ｄ　運転者

Claims (12)

  1. 　行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する第１固体撮像装置と、
    　前記第１固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する状態検出部と、
    　を備える状態検出装置。
  2. 　前記状態検出部は、前記運転者の眼球の動き、まぶたの動き、顔の向き、視線の方向のうち、少なくとも１つを前記運転者の状態として検出する請求項１に記載の状態検出装置。
  3. 　前記状態検出部で検出された前記運転者の状態に基づいて行動パターンを決定する行動パターン決定部をさらに備える請求項１に記載の状態検出装置。
  4. 　前記状態検出部は、前記運転者の眼球の動き及びまぶたの動きのうちの少なくとも一方を検出し、
    　前記行動パターン決定部は、前記眼球の動き及びまぶたの動きのうちの少なくとも一方に基づいて、前記運転者の覚醒の程度を推定し、当該推定された覚醒の程度に基づいて、前記行動パターンを決定する
    　請求項３に記載の状態検出装置。
  5. 　前記行動パターン決定部は、前記推定された覚醒の程度が低い場合、前記運転者を覚醒させるためのアラートを出力する前記行動パターンを決定する請求項４に記載の状態検出装置。
  6. 　車両の後方を撮像する撮像部と、
    　前記撮像部で撮像された映像を表示する表示部と、
    　をさらに備え、
    　前記状態検出部は、前記運転者の顔の向き及び視線の方向のうちの少なくとも一方を検出し、
    　前記行動パターン決定部は、前記顔の向き及び視線の方向のうちの少なくとも一方に基づいて、前記運転者が前記表示部を見ているか否か又は見ようとしているか否かを判定し、当該判定結果に基づいて、前記行動パターンを決定する
    　請求項３に記載の状態検出装置。
  7. 　前記行動パターン決定部は、前記運転者が前記表示部を見ている又は見ようとしている場合、前記表示部に前記映像を表示させる行動パターンを決定し、前記運転者が前記表示部を見ていない又は見ようとしていない場合、前記表示部の表示をオフする行動パターンを決定する請求項６に記載の状態検出装置。
  8. 　車両の後方を撮像する撮像部と、
    　後続車との車間距離及び相対速度のうちの少なくとも一方を検出するセンサと、
    　前記撮像部で撮像された映像を表示する表示部と、
    　をさらに備え、
    　前記状態検出部は、前記運転者の顔の向き及び視線の方向のうちの少なくとも一方を検出し、
    　前記行動パターン決定部は、前記車間距離及び相対速度のうちの少なくとも一方と、前記顔の向き及び視線の方向のうちの少なくとも一方に基づいて、前記行動パターンを決定する
    　請求項３に記載の状態検出装置。
  9. 　前記行動パターン決定部は、前記車間距離及び相対速度のうちの少なくとも一方に基づいて前記後続車との衝突の危険があるか否かを判定し、前記後続車との衝突の危険がある場合、さらに、前記顔の向き及び視線の方向のうちの少なくとも一方に基づいて前記運転者が前記表示部を見ているか否か又は見ようとしているか否かを判定し、前記運転者が前記表示部を見ていない又は見ようとしていない場合、前記表示部に前記映像を表示させる行動パターンを決定する請求項８に記載の状態検出装置。
  10. 　前記運転者の顔を撮像する第２固体撮像装置をさらに備え、
    　前記状態検出部は、前記第１固体撮像装置で検出された前記イベントの発生と、前記第２固体撮像装置で取得された画像データとに基づいて前記運転者の状態を検出する
    　請求項１に記載の状態検出装置。
  11. 　行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する第１固体撮像装置と、
    　前記第１固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する状態検出部と、
    　を備える状態検出システム。
  12. 　行列状に配列する複数の画素を備え、前記画素それぞれに入射した光量に応じて前記画素のイベントの発生を検出する固体撮像装置で検出された前記イベントの発生に基づいて運転者の状態を検出する
    　ことを含む状態検出方法。
PCT/JP2020/010190 2019-03-27 2020-03-10 状態検出装置、状態検出システム及び状態検出方法 WO2020195770A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/593,376 US20220161654A1 (en) 2019-03-27 2020-03-10 State detection device, state detection system, and state detection method
CN202080021923.9A CN113647087B (zh) 2019-03-27 2020-03-10 状态检测装置、状态检测系统及状态检测方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019060217A JP2020162016A (ja) 2019-03-27 2019-03-27 状態検出装置、状態検出システム及び状態検出方法
JP2019-060217 2019-03-27

Publications (1)

Publication Number Publication Date
WO2020195770A1 true WO2020195770A1 (ja) 2020-10-01

Family

ID=72611401

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/010190 WO2020195770A1 (ja) 2019-03-27 2020-03-10 状態検出装置、状態検出システム及び状態検出方法

Country Status (4)

Country Link
US (1) US20220161654A1 (ja)
JP (1) JP2020162016A (ja)
CN (1) CN113647087B (ja)
WO (1) WO2020195770A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181098A1 (ja) * 2021-02-26 2022-09-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
US11651579B2 (en) 2021-08-05 2023-05-16 Omnivision Technologies, Inc. Imaging system for detecting human-object interaction and a method for detecting human-object interaction

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022108329A (ja) * 2021-01-13 2022-07-26 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN113746079B (zh) * 2021-11-04 2022-06-14 深圳市爱图仕影像器材有限公司 热插拔电路、控制装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011159214A (ja) * 2010-02-03 2011-08-18 Fuji Heavy Ind Ltd 行動検出装置
JP2018501531A (ja) * 2014-09-30 2018-01-18 クアルコム，インコーポレイテッド イベントベースのビジョンセンサを使用した低電力で常時オンの顔の検出、追跡、認識および／または分析
WO2018198691A1 (ja) * 2017-04-25 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2019103744A (ja) * 2017-12-14 2019-06-27 オムロン株式会社 瞳孔検出装置および検出システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6624849B1 (en) * 1997-12-08 2003-09-23 Nikon Corporation Solid-state imaging apparatus for motion detection
US6575902B1 (en) * 1999-01-27 2003-06-10 Compumedics Limited Vigilance monitoring system
IL183385A0 (en) * 2007-05-24 2007-09-20 Yosef Cohen Security systems and methods
KR102191139B1 (ko) * 2013-08-19 2020-12-15 바스프 에스이 광학 검출기
KR101659027B1 (ko) * 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
JPWO2017013806A1 (ja) * 2015-07-23 2018-05-10 オリンパス株式会社 固体撮像装置
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
US20190056498A1 (en) * 2016-03-01 2019-02-21 Brightway Vision Ltd. Gated imaging apparatus, system and method
JP6543419B2 (ja) * 2016-05-31 2019-07-10 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法、カメラモジュール、並びに電子機器
JP6697680B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
KR20180124381A (ko) * 2017-05-11 2018-11-21 현대자동차주식회사 운전자의 상태 판단 시스템 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011159214A (ja) * 2010-02-03 2011-08-18 Fuji Heavy Ind Ltd 行動検出装置
JP2018501531A (ja) * 2014-09-30 2018-01-18 クアルコム，インコーポレイテッド イベントベースのビジョンセンサを使用した低電力で常時オンの顔の検出、追跡、認識および／または分析
WO2018198691A1 (ja) * 2017-04-25 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2019103744A (ja) * 2017-12-14 2019-06-27 オムロン株式会社 瞳孔検出装置および検出システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022181098A1 (ja) * 2021-02-26 2022-09-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
US11651579B2 (en) 2021-08-05 2023-05-16 Omnivision Technologies, Inc. Imaging system for detecting human-object interaction and a method for detecting human-object interaction

Also Published As

Publication number Publication date
CN113647087B (zh) 2024-04-02
CN113647087A (zh) 2021-11-12
JP2020162016A (ja) 2020-10-01
US20220161654A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
WO2020195770A1 (ja) 状態検出装置、状態検出システム及び状態検出方法
CN113396579B (zh) 事件信号检测传感器和控制方法
WO2019150786A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
CN112640428B (zh) 固态成像装置、信号处理芯片和电子设备
US11297268B2 (en) Solid-state imaging element, imaging apparatus, and method of controlling solid-state imaging element
WO2020195769A1 (ja) 物体検出装置、物体検出システム及び物体検出方法
JP7148269B2 (ja) 固体撮像素子および撮像装置
US20220201204A1 (en) Data processing device, data processing method, and program
US11805330B2 (en) Image recognition device, solid-state imaging device, and image recognition method
WO2020129657A1 (ja) センサ及び制御方法
US11375136B2 (en) Imaging device for high-speed read out, method of driving the same, and electronic instrument
JP2019176335A (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2021131831A1 (ja) 固体撮像素子、および、撮像装置
US20220224830A1 (en) Imaging device and imaging method
US11711634B2 (en) Electronic circuit, solid-state image sensor, and method of controlling electronic circuit
JP2022017124A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20779695

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20779695

Country of ref document: EP

Kind code of ref document: A1