WO2019098091A1 - 車載警報装置 - Google Patents
車載警報装置 Download PDFInfo
- Publication number
- WO2019098091A1 WO2019098091A1 PCT/JP2018/041168 JP2018041168W WO2019098091A1 WO 2019098091 A1 WO2019098091 A1 WO 2019098091A1 JP 2018041168 W JP2018041168 W JP 2018041168W WO 2019098091 A1 WO2019098091 A1 WO 2019098091A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- face detection
- state
- processing
- vehicle
- driver
- Prior art date
Links
- 0 CCC(*)=C[N+](C)[O-] Chemical compound CCC(*)=C[N+](C)[O-] 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- An embodiment of the present invention relates to an in-vehicle alarm device.
- processing resources CPU (Central Processing Unit) that can be allocated to image processing from the viewpoint of installation space, power consumption, etc. while real-time response to the alarm is required from the viewpoint of safety, such as an on-vehicle alarm device.
- CPU Central Processing Unit
- false detection of a state such as driver's looking aside, doze (closed eyes) or absence of driver (hereinafter collectively referred to as carelessness) occurs with a certain probability or more, and as a result, There is a possibility that the driver or a passenger may become an annoying alarm device that frequently generates false alarms.
- the on-vehicle alarm device includes, as an example, a first processing unit that executes a first face detection process on each of image data input at a predetermined frame rate; A second processing unit that executes a second face detection process different from the first face detection process, an alarm output unit that issues an alarm, and a face detection process for input image data when a predetermined condition is satisfied From the first face detection processing by the first processing unit to the second face detection processing by the second processing unit, and detection from the input image data as a result of the second face detection processing And a state determination unit that controls the alarm output unit to emit the alarm when the state of the person being checked is the careless state.
- the predetermined condition is that the inattentive state of the person detected by the first face detection processing from each of the image data input at the predetermined frame rate continues for a predetermined time or more.
- the second face detection process with high detection accuracy can be configured to be performed.
- the predetermined condition is that, in automatic control of a vehicle, a schedule of control for changing a vehicle passing zone in which the vehicle travels has occurred, or a schedule of control for turning the vehicle to the right or left has occurred.
- a schedule of control for changing a vehicle passing zone in which the vehicle travels has occurred, or a schedule of control for turning the vehicle to the right or left has occurred.
- the face detection accuracy of the second face detection process is higher than the face detection accuracy of the first face detection process. According to such a configuration, for example, since an alarm can be issued based on the result of the second face detection process with high detection accuracy, it is possible to realize an on-vehicle alarm device with few false alarms. .
- the state determination unit performs the face detection processing on the newly input image data
- the second face detection process by the second processing unit is switched again to the first face detection process by the first processing unit, and as a result of the first face detection process, the image data newly input
- the alarm output unit is controlled to emit the alarm when the state of the person detected from is the careless state.
- FIG. 1 is a perspective view showing an example of a schematic configuration of a vehicle equipped with the alarm device according to the first embodiment.
- FIG. 2 is a view showing an example of a schematic configuration of a dashboard of the vehicle according to the first embodiment.
- FIG. 3 is a view showing an example of the attachment position of the imaging device according to the first embodiment.
- FIG. 4 is a block diagram showing an example of the configuration of the control system according to the first embodiment.
- FIG. 5 is a functional block diagram showing a schematic configuration example of the on-vehicle alarm device according to the first embodiment.
- FIG. 6 is a diagram for explaining an outline of the alarm operation according to the first embodiment.
- FIG. 7 is a flowchart showing a schematic example of the main flow of the alarm operation according to the first embodiment.
- FIG. 1 is a perspective view showing an example of a schematic configuration of a vehicle equipped with the alarm device according to the first embodiment.
- FIG. 2 is a view showing an example of a schematic configuration of a dashboard of
- FIG. 8 is a flowchart illustrating an example of a first process performed in the alarm operation according to the first embodiment.
- FIG. 9 is a flowchart illustrating an example of a second process performed in the alarm operation according to the first embodiment.
- FIG. 10 is a flowchart illustrating an example of a flow of issuing a second process execution request according to the second embodiment.
- FIG. 11 is a flowchart showing a schematic example of a main flow of alarm operation according to the second embodiment.
- FIG. 1 is a perspective view showing an example of a schematic configuration of a vehicle equipped with the alarm device according to the first embodiment.
- FIG. 2 is a view showing an example of a schematic configuration of a dashboard of the vehicle according to the first embodiment.
- the vehicle 1 may be, for example, an automobile (internal combustion engine automobile) whose drive source is an internal combustion engine such as a gasoline engine, or an automobile whose drive source is an electric motor (also referred to as an electric motor). It may be (electric car, fuel cell car, etc.), or it may be a car (hybrid car) that uses both of them as a driving source.
- the vehicle 1 can be equipped with various transmissions, and can further be equipped with various devices (systems, parts, etc.) necessary to drive an internal combustion engine or a motor. Furthermore, the system, number, layout, etc. of devices involved in driving the wheels in the vehicle 1 (hereinafter, the symbol of the front wheel is 3F, the symbol of the rear wheel is 3R, and the case of not distinguishing them is the wheel 3) And can be changed as appropriate.
- a vehicle body 2 of the vehicle 1 forms a compartment 2a in which an occupant including a driver gets on.
- a steering unit 4, an acceleration operation unit 5, a braking operation unit 6, a shift operation unit 7 and the like are provided in the vehicle compartment 2a in a state of facing the driver's seat 2b.
- the steering unit 4 is a steering wheel that protrudes from a dashboard (instrument panel) 12.
- the acceleration operation unit 5 is, for example, an accelerator pedal positioned under the driver's foot.
- the braking operation unit 6 is, for example, a brake pedal positioned under the driver's foot.
- the shift operation unit 7 is, for example, a shift lever that protrudes from the center console.
- the configurations of the steering unit 4, the acceleration operation unit 5, the braking operation unit 6, the shift operation unit 7 and the like can be variously modified.
- a monitoring device 11 is provided in the vehicle width direction of the dashboard 12 in the passenger compartment 2a, that is, in the central portion in the left-right direction as viewed from the driver.
- the monitor device 11 is provided with a display device 8 and an audio output device 9 (see FIG. 4).
- the display device 8 is, for example, an LCD (Liquid Crystal Display), an OELD (Organic Electroluminescent Display), or the like.
- the audio output device 9 is, for example, a speaker.
- the display device 8 may be covered by a transparent operation input unit 10 (see FIG. 4) such as a touch panel. The occupant can visually recognize the image displayed on the display screen of the display device 8 through the transparent operation input unit 10. In addition, the occupant can execute the operation input to the operation input unit 10 by operating by touching, pressing or moving the position corresponding to the image displayed on the display screen of the display device 8 with a finger or the like. .
- a dashboard portion 25 is provided at a portion of the dashboard 12 facing the seat 2 b.
- the instrument panel unit 25 is provided with a speed display unit 25a for displaying the moving speed of the vehicle 1, and a rotation speed display unit 25b for displaying the rotation speed of an output shaft of an internal combustion engine or motor as a power source. .
- An imaging device 201 is provided.
- the angle of view and the posture of the imaging device 201 are adjusted such that the face of the driver 302 sitting on the seat 2 b in a normal state is positioned at the center of the shooting angle of view.
- the imaging device 201 is provided on the ceiling 2 c of the vehicle body 2.
- the installation position of the imaging device 201 is not limited to the ceiling portion 2c, and at least both eyes of the face of the driver 302 seated in a normal state such as the upper portion of the windshield 2d of the vehicle body 2 and the handle column 202 are seated. It is possible to change variously as long as it can be positioned.
- the imaging device 201 is, for example, a CCD (Charge Coupled Device) camera or the like. For example, while the vehicle 1 is traveling, the imaging device 201 captures an image of the face of the driver 302 at a predetermined frame rate, and sequentially outputs image data obtained by capturing to the ECU 14.
- CCD Charge Coupled Device
- FIG. 4 is a block diagram showing an example of the configuration of the control system according to the present embodiment.
- the control system 100 includes an ECU (Engine Control Unit) 14, a monitor 11, a steering system 13, distance measuring units 16 and 17, a brake system 18, a steering angle sensor 19, and an accelerator sensor. 20, a shift sensor 21 and a wheel speed sensor 22 are provided.
- the ECU 14, the monitor 11, the steering system 13, the distance measuring units 16 and 17, the brake system 18, the steering angle sensor 19, the accelerator sensor 20, the shift sensor 21 and the wheel speed sensor 22 are connected via an in-vehicle network 23 as a telecommunication line. Are electrically connected to each other.
- the in-vehicle network 23 is configured as, for example, a CAN (Controller Area Network).
- the ECU 14 can control the steering system 13, the brake system 18 and the like by transmitting control signals through the in-vehicle network 23.
- the steering system 13 controls the traveling direction of the vehicle 1 by, for example, driving the actuator 13a based on a control signal received from the ECU 14 to give a steering angle to the front wheels 3F.
- the steering system 13 may be, for example, an electric power steering system, a steer by wire (SBW) system, or the like.
- the brake system 18 executes, for example, deceleration or stop of the vehicle 1 by driving the actuator 18a based on a control signal received from the ECU 14 to operate a braking device (not shown).
- the ECU 14 detects the torque sensor 13b, the brake sensor 18b, the steering angle sensor 19, the distance measuring unit 16, the distance measuring unit 17, the accelerator sensor 20, the shift sensor 21, the wheel speed sensor 22 and the like via the in-vehicle network 23. A result, an operation signal of the operation input unit 10 and the like can be received.
- the ECU 14 includes, for example, a central processing unit (CPU) 14a, a read only memory (ROM) 14b, a random access memory (RAM) 14c, a display control unit 14d, an audio control unit 14e, and a solid state drive (SSD) 14f. Etc.
- the CPU 14a performs, for example, image processing related to the image displayed on the display device 8, determination of the movement target position (parking target position, target position) of the vehicle 1, guidance route of the vehicle 1 (parking route and parking guidance route Various calculation processes and control such as the calculation of (including) the determination of the presence or absence of the interference with the object, the automatic control of the vehicle 1, and the release of the automatic control can be executed.
- the CPU 14a can read a program installed and stored in a non-volatile storage device such as the ROM 14b and execute arithmetic processing according to the program.
- the RAM 14c temporarily stores various data used in the calculation in the CPU 14a.
- the display control unit 14 d mainly performs image processing using image data obtained by the imaging unit 15, synthesis of image data displayed by the display device 8, and the like among the calculation processing in the ECU 14.
- the voice control unit 14 e mainly performs processing of voice data output from the voice output device 9 among the calculation processing in the ECU 14.
- the SSD 14 f is a rewritable non-volatile storage unit, and can store data even when the power supply of the ECU 14 is turned off.
- the CPU 14a, the ROM 14b, the RAM 14c, and the like may be configured by a single chip such as a SoC (System-on-Chip) or the like.
- the ECU 14 may be configured to use another logical operation processor such as a DSP (Digital Signal Processor) or a logic circuit instead of the CPU 14a.
- the ECU 14 may be configured to use an HDD (Hard Disk Drive) instead of the SSD 14 f.
- the SSD 14 f or the HDD may be externally attached to the ECU 14.
- the imaging unit 15 and the distance measuring units 16 and 17 are configured to acquire data necessary for the ECU 14 to execute the automatic control of the vehicle 1.
- the imaging unit 15 sequentially captures the external environment around the vehicle body 2 including the road surface on which the vehicle 1 can move and the area in which the vehicle 1 can park, and outputs the image data obtained by this imaging to the ECU 14 .
- the distance measuring units 16 and 17 are, for example, sonars that emit ultrasonic waves and capture the reflected waves, measure the distance between the vehicle 1 and an object present around the vehicle 1, and the distance obtained by this measurement The information is output to the ECU 14.
- the brake system 18 increases, for example, an anti-lock brake system (ABS) that suppresses the lock of the brake, an anti-slip device (ESC: Electronic Stability Control) that suppresses the side-slip of the vehicle 1 at cornering, They are an electric brake system which performs a brake assist, BBW (Brake By Wire), etc.
- the brake system 18 applies a braking force to the wheel 3 and thus to the vehicle 1 via the actuator 18a.
- the brake system 18 can execute various controls by detecting the lock of the brake, the idle rotation of the wheel 3, the sign of a side slip, and the like from the difference in rotation of the left and right wheels 3.
- the brake sensor 18 b is, for example, a sensor that detects the position of the movable portion of the braking operation unit 6.
- the brake sensor 18b can detect the position of the brake pedal as the movable portion.
- the brake sensor 18b includes a displacement sensor.
- the steering angle sensor 19 is a sensor that detects the steering amount of the steering unit 4 such as a steering wheel, for example.
- the steering angle sensor 19 is configured using, for example, a hall element or the like.
- the ECU 14 acquires the steering amount of the steering unit 4 by the driver, the steering amount of each wheel 3 at the time of automatic steering, and the like from the steering angle sensor 19 and executes various controls.
- the steering angle sensor 19 detects the rotation angle of the rotating portion included in the steering unit 4.
- the steering angle sensor 19 is an example of an angle sensor.
- the accelerator sensor 20 is, for example, a sensor that detects the position of the movable portion of the acceleration operation unit 5.
- the accelerator sensor 20 can detect the position of the accelerator pedal as the movable part.
- the accelerator sensor 20 includes a displacement sensor.
- the shift sensor 21 is, for example, a sensor that detects the position of the movable portion of the shift operation unit 7.
- the shift sensor 21 can detect the position of a lever, an arm, a button or the like as a movable portion.
- the shift sensor 21 may include a displacement sensor or may be configured as a switch.
- a drive range for moving the vehicle 1 forward a reverse range for moving the vehicle 1 backward, a neutral range that does not give the wheels 3 forward or reverse power, and the vehicle 1 is stopped. Parking range etc. shall be included.
- the wheel speed sensor 22 is a sensor that detects the amount of rotation of the wheel 3 and the number of rotations per unit time.
- the wheel speed sensor 22 outputs a wheel speed pulse number indicating the detected rotation speed as a sensor value.
- the wheel speed sensor 22 can be configured using, for example, a Hall element or the like.
- the ECU 14 calculates the amount of movement of the vehicle 1 and the like based on the sensor value acquired from the wheel speed sensor 22 and executes various controls.
- the wheel speed sensor 22 may be provided in the brake system 18 in some cases. In that case, the ECU 14 obtains the detection result of the wheel speed sensor 22 via the brake system 18.
- the imaging device 201, the ECU 14, and the monitor device 11 constitute the on-vehicle alarm device according to the present embodiment.
- the configuration and operation of the on-vehicle alarm device according to the present embodiment will be described in detail with reference to the drawings.
- a specific method for reducing the occurrence of false alarm in the on-vehicle alarm device for example, it is possible to detect the driver's carelessness (wandering, doze (closed eyes), absence, etc.) with higher accuracy.
- a method of adopting face detection processing, a method of raising the accuracy of face detection, or the like by comprehensively judging by taking the logical product of the results of different types of face detection processing may be considered. Therefore, in the present embodiment, a case where a face detection process (hereinafter, referred to as a high accuracy face detection process) capable of detecting the driver's carelessness with higher accuracy will be described as an example.
- the high accuracy face detection process there is, for example, a face detection process using machine learning such as deep learning.
- the processing resources are, for example, values obtained by multiplying the processing time of the computer by the processing time. Therefore, when face detection processing with a long processing time such as high-accuracy face detection processing is adopted, there is a possibility that the real-time nature of the face detection and the alarm based on the result may be impaired.
- high accuracy face detection processing is performed when a certain predetermined condition is satisfied.
- face detection processing with a short processing time, for example, in a normal period such as a period in which the driver's carelessness state is not detected.
- face detection processing at a high frame rate (short processing time), so it is possible to accelerate the timing of the reaction start to the driver's carelessness.
- processing that requires relatively large processing resources for execution and a relatively long processing time is also referred to as “heavy processing”.
- processing that requires relatively short processing resources for execution and relatively short processing time is also referred to as “light processing”.
- light processing has a short processing time, but face detection accuracy is low, but “heavy processing” has a long processing time, but face detection accuracy is high. It is not limited.
- pattern matching also referred to as template matching
- face detection processing is performed by matching feature points extracted from image data with an existing template (face model) (face model fitting)
- face detection processing or the like that uses relatively shallow deep learning in which the number of hidden layers between the input layer and the output layer is about several layers.
- face detection processing using machine learning such as relatively deep deep learning in which the number of hidden layers is ten or more can be applied.
- face detection processing using deep learning can be adopted as “heavy processing”.
- face detection processing using deep learning in which the number of hidden layers is relatively shallow is adopted for “light processing”
- the number of hidden layers is more than ten for “heavy processing”.
- the face detection processing using the above relatively deep deep learning can be adopted.
- FIG. 5 is a functional block diagram showing a schematic configuration example of the on-vehicle alarm device 110 configured by the imaging device 201, the ECU 14 and the monitor device 11 as the on-vehicle alarm device according to the present embodiment.
- the on-vehicle alarm device 110 includes a state determination unit 111, a first processing unit 112, a second processing unit 113, a timer 114, a state flag memory 115, and an alarm output unit 116. .
- the first processing unit 112 is configured to execute a first face detection process (hereinafter, referred to as a first process), and performs the first process on image data input from the imaging device 201 via the state determination unit 111. Are executed, and the result is input to the state determination unit 111.
- a first face detection process hereinafter, referred to as a first process
- the first process is, for example, a so-called "light process” having a relatively short process time of several tens of milliseconds (milliseconds) or less.
- face detection processing is performed at the predetermined frame rate on image data input from the imaging device 201 at a predetermined frame rate via the state determination unit 111.
- the first process may be, for example, a loop process in which a process requiring a predetermined time for one execution is repeatedly executed, or a periodic task scheduled to be repeatedly executed in a predetermined execution cycle.
- the first processing unit 112 specifies, as a result of the first processing, whether the driver is in the normal state or in the state of looking aside, in the state of closed eyes, or in the absence / abnormal posture state, and information about the specified state is Input to the determination unit 111.
- the second processing unit 113 is configured to execute a second face detection process (hereinafter, referred to as a second process), and performs a second process on image data input from the imaging device 201 via the state determination unit 111. Are executed, and the result is input to the state determination unit 111.
- the second process is a so-called “heavy process” in which the processing time is relatively long, for example, about 100 ms or more, and is a high-accuracy face detection process with higher detection accuracy than the first process.
- the second processing unit 113 also specifies, as a result of the second processing, whether the driver is in the normal state or in the state of looking aside, in the state of closed eyes or in the absence / abnormal posture Then, information on the identified state is input to the state determination unit 111.
- the state determination unit 111 controls each unit in the on-vehicle alarm device 110.
- the state determination unit 111 is triggered by the satisfaction of a predetermined condition, such as when the result of the first processing input from the first processing unit 112 indicates the driver's inattentive state.
- the execution of the second process by the processing unit 113 is started.
- the state determination unit 111 determines the necessity of warning for the driver based on the result of the second process input from the second processing unit 113, and when it is determined that the warning is necessary, the warning output unit 116. Drive a warning to the driver.
- the state determination unit 111, the first processing unit 112, and the second processing unit 113 are software configurations implemented in the ECU 14 by, for example, the CPU 14a of the ECU 14 reading and executing a predetermined program from the ROM 14b or the like. It may be a hardware configuration realized by a dedicated chip other than the CPU 14a.
- the timer 114 may be, for example, a timer provided in the ECU 14, and executes measurement of elapsed time, output of the measured elapsed time, and reset operation based on an instruction from the state determination unit 111.
- the state flag memory 115 is, for example, a storage area secured in the RAM 14c, and holds whether the driver is in the normal state or the careless state based on the result of the face detection process by the first processing unit 112.
- the state flag memory 115 holds whether the driver is in a normal state or in an inattentive state such as a look-ahead state, a closed eye state or an absent / abnormal posture state by a 1-bit or multi-bit flag Do.
- the state flag distinguishes and holds the awakening state, the closed eye state, and the absent / abnormal posture state.
- a 2-bit flag that can distinguish and hold the four statuses of the normal status, the looking-ahead status, the closed eye status, and the absent / abnormal attitude status can be used.
- various state flags such as a 1-bit flag which can distinguish and hold two states of a normal state and a careless state It can be deformed.
- the alarm output unit 116 includes, for example, the display control unit 14 d and the voice control unit 14 e in the ECU 14, the voice output device 9 and the display device 8 in the monitor device 11, and is input from the CPU 14 a configuring the state determination unit 111. Issue an alert to the driver according to the instructions.
- the on-vehicle alarm device 110 for example, when the control system 100 starts up, image data acquired by the imaging device 201 is input to the state determination unit 111 at a predetermined frame rate.
- the state determination unit 111 sequentially inputs the input image data to the first processing unit 112 at normal times.
- the first processing unit 112 repeatedly executes the first process on image data input at a predetermined frame rate.
- the processing time t1 required for one first process is, for example, 33 ms.
- the state determination unit 111 detects the detected inattentive state in the state flag memory 115. While setting the flag (inside-viewing state), measurement of the elapsed time t by the timer 114 is started.
- the state determination unit 111 activates the second processing unit 113 to execute the second process.
- the processing time t3 required for one second processing is, for example, 500 ms longer than the processing time t1 (for example, 33 ms) required for one first processing.
- the predetermined time t2 is, for example, 1500 ms.
- the image data input to the second processing unit 113 may be image data input from the imaging device 201 to the state determination unit 111, for example, near timing T2.
- the state determination unit 111 activates the first processing unit 112 again, for example, to process the processing time
- the state determination unit 111 drives the alarm output unit 116 to the driver. In response to this, an alarm is issued by audio or video effects.
- the on-vehicle alarm device when the processing time t1 of the first process is 33 ms, the predetermined time t2 is 1500 ms, and the processing time t3 of the second process is 500 ms as described above.
- a warning is issued to the driver about 2.033 seconds after the first processing unit 112 first detects the driver's carelessness.
- the state determination unit 111 drives the alarm output unit 116 at time T3 to issue an alarm, such as an audio or video effect, to the driver. Therefore, if the predetermined time t2 is 1500 ms and the processing time t3 of the second process is 500 ms, the on-vehicle alarm device 110 is about 2 after the first processing unit 112 detects the driver's carelessness first. After a second, the driver will be warned.
- processing time t1 (33 ms) of the first process and the processing time t3 (500 ms) of the second process described above are merely examples, and in accordance with the face detection process adopted as the first process and the second process. It is a changing value. Further, the predetermined time t2 (1500 ms) is a value that can be arbitrarily set.
- FIG. 7 is a flowchart showing a schematic example of a main flow of the alarm operation according to the present embodiment.
- FIG. 8 is a flowchart showing an example of the first process performed in the alarm operation according to the present embodiment.
- FIG. 9 is a flowchart showing an example of a second process performed in the alarm operation according to the present embodiment.
- image data is input from the imaging device 201 at a predetermined frame rate to the ECU 14 after the control system 100 is powered on.
- the state determination unit 111 resets the state flag and the timer 114 regarding each state in the state flag memory 115 (step S101).
- the state flag in the state flag memory 115 indicates that the driver is in the normal state.
- the state determination unit 111 determines whether the movable portion is set to the drive range based on the position information (hereinafter referred to as shift position information) of the movable portion of the shift operation portion 7 input from the shift sensor 21. Is determined (step S102).
- the drive range is not set (NO in step S102)
- the state determination unit 111 determines whether to end this operation. If it is determined that the process is ended (YES in step S103), this operation is ended. On the other hand, when this operation is not completed (NO in step S103), the process returns to step S102.
- the state determination unit 111 activates the first processing unit 112 and at the predetermined frame rate from the imaging device 201.
- the input image data is sequentially input to the first processing unit 112, and execution of the first processing, which is repetitive processing, is started (step S104).
- the activation of the first processing unit 112 includes, for example, allocation of processing resources such as a CPU resource (CPU 14a) to the first processing unit 112. Further, the result of each of the first processes to be repeatedly executed is input from the first processing unit 112 to the state determination unit 111 as needed.
- the state determination unit 111 determines whether or not the driver's inattentive state (one of the looking-ahead state, the closed eye state, and the absence / abnormal posture state) is detected by the first process (step S105). When the carelessness state is not detected (NO in step S105), the state determination unit 111 returns to step S101, resets the state flag in the state flag memory 115 and the timer 114 (step S101), and thereafter. Execute the action.
- step S105 when the carelessness state is detected by the first process (YES in step S105), the state determination unit 111 sets the state of the driver detected in the first process in the state flag in the state flag memory 115 If it is not set (NO in step S106), the state flag in the state flag memory 115 is set to the state of the driver detected in the first process (step S106). In step S107, measurement of the elapsed time t by the timer 114 is started (step S108), and the process returns to step S102.
- the state determination unit 111 sets the elapsed time t measured by the timer 114 in advance. It is determined whether or not the predetermined time t2 or more has been reached, that is, whether any of the state of looking aside, the state of closed eyes and the absence / abnormal posture state continues for a predetermined time t2 or more (step S109). If it has not reached (NO in step S109), the process returns to step S102.
- the state determination unit 111 activates the second processing unit 113 and performs second processing on the image data input from the imaging device 201.
- the data is input to the unit 113 to execute the second process (step S110). Note that when the second processing unit 113 is activated, for example, the processing resource allocated to the first processing unit 112 is released and allocated to the second processing unit 113.
- the state determination unit 111 determines whether or not the driver's inattentive state has been detected by the second process (step S111), and when the inattentive state is not detected (NO in step S111), Returning to S101, the state flag in the state flag memory 115 and the timer 114 are reset (step S101), and the subsequent operations are performed.
- step S111 when the driver's inattentive state is detected by the second process (YES in step S111), the state determination unit 111 activates the first processing unit 112 again to execute the first process for confirmation. (Step S112). Subsequently, the state determination unit 111 determines whether or not the careless state is continuously detected by the first process executed in step S112 (step S113), and when the careless state is detected (step S113). YES), the alarm output unit 116 is driven to issue a warning to the driver (step S114). Thereafter, the state determination unit 111 returns to step S110, and repeats execution of the second process and the first process (steps S110 and S112) until the driver's inattentive state is not detected (NO in step S113).
- step S113 when the driver's inattentive state is not detected by the first process of step S112 (NO in step S113), the state determination unit 111 returns to step S101, and the state flag in the state flag memory 115 and the timer After resetting 114 (step S101), the subsequent operations are performed.
- steps S111 to S112 in FIG. 7 are omitted.
- the state determination unit 111 drives the alarm output unit 116 to issue a warning to the driver ( Step S114) If the driver's inattentive state is not detected (NO in step S113), the process returns to step S101.
- the first processing unit 112 inputs, via the state determination unit 111, image data acquired by the imaging device 201 at a predetermined frame rate (see FIG. 8). Step S121). Subsequently, the first processing unit 112 extracts a feature point of the driver's face from the input image data, and executes a template matching process of matching a template against the extracted feature point (step S122). As a result, it is detected whether the state of the driver at the time of imaging is the normal state or any one of the awake state, the closed eye state, and the absent / abnormal posture state.
- the first processing unit 112 can detect only one side of the driver from the image data, or the line of sight of the driver specified from the image data is largely different from the traveling direction of the vehicle 1 For example, it is determined that the driver is looking aside. In addition, the first processing unit 112 may, for example, close the driver's eye (or when the driver's both eyes identified from the image data (one eye if only one eye is detected) is closed). It is judged that he is in a nap state). Furthermore, for example, when the first processing unit 112 can not detect the driver's face from the image data, or the detected driver's face position is largely out of the vicinity of the center of the image which is a normal position. In some cases, it is determined that the driver is absent / abnormal.
- step S122 when the driver's state detected by the template matching process in step S122 is the aside-viewing state (YES in step S123), the first processing unit 112 causes the state determining unit 111 to set the driver in the aside-looking state An output is output (step S124), and this operation is ended.
- step S122 when the driver's state detected by the template matching process in step S122 is a closed eye state (NO in step S123, YES in S125), the first processing unit 112 instructs the state determination unit 111 to use the driver. The fact that the eye is in the closed state is output (step S126), and this operation ends.
- the first processing unit 112 determines the state determination unit. The fact that the driver is absent / abnormal posture is output to 111 (step S128), and this operation ends.
- step S122 when the driver's state detected by the template matching process in step S122 is normal (NO in step S123, NO in S125, NO in S127), the first processing unit 112 sends a signal to the state determination unit 111. The fact that the driver is in a normal state is output (step S129), and this operation is ended.
- the operation illustrated in FIG. 8 may be a flow of returning to step S121 after execution of steps S124, S126, S128, or S129.
- the first processing unit 112 ends the operation illustrated in FIG. 8 by, for example, an external interrupt process.
- the second processing unit 113 causes one of the image data acquired by the imaging device 201 at a predetermined frame rate to be transmitted via the state determination unit 111. It inputs (step S141). Subsequently, the second processing unit 113 executes high-accuracy face detection processing using machine learning such as deep learning (step S142).
- the high-accuracy face detection process may be, for example, a face detection process using machine learning such as relatively deep deep learning in which the number of hidden layers is ten or more.
- machine learning such as relatively deep deep learning in which the number of hidden layers is ten or more.
- the criterion for determining whether the driver is in the normal state, the looking-ahead state, the closed eye state, or the absent / abnormal posture state is the same as the determination standard used in the first process described above. It may be.
- the second process which is the high accuracy face detection process, be able to detect attachment / detachment of a sunglasses or a mask by the driver.
- the driver when sunglasses are worn, in the second process, the driver is in a normal state or any failure, based on the orientation and inclination of the face, and the positional relationship and shape of the nose and the mouth. It can be determined if it is in the attention state. Also, for example, when the mask is worn, in the second process, whether the driver is in the normal state or in any of the careless states based on the positional relationship and the shape of both eyes, etc. Can be determined.
- step S143 if the driver's state detected by the high-accuracy face detection processing in step S142 is the looking-aside state (YES in step S143), the second processing unit 113
- the state determination unit 111 outputs that the driver is looking aside (step S144), and when in the closed state (NO in step S143, YES in S145), outputs that in the closed state (step S146). ), In the absence or abnormal posture state (NO in step S143, NO in S145, YES in S147), the absence / abnormal posture state is output (step S148). After that, the second processing unit 113 ends this operation.
- step S143 if the driver's state is normal (NO in step S143, NO in S145, NO in S147), the second processing unit 113 instructs the state determination unit 111 that the driver is in the normal state.
- the output is performed (step S149), and the operation ends.
- the timing of the reaction start to the driver's carelessness state is advanced, and the driver's carelessness is caused by the first process.
- the second process which is a heavy process, it is possible to detect the driver's carelessness with high accuracy, so the on-vehicle alarm device with less false alarm is realized. It is possible to
- the present invention is not limited to this.
- different predetermined times t2 may be set for each of the looking-ahead state, the closed eye state, and the absence / abnormal posture state.
- the predetermined time t2 for the absent / abnormal posture state may be 0 second. In that case, when the absence / abnormal posture state is detected by the first processing, the second processing is immediately executed, and a warning is issued to the driver according to the result.
- a second process is a face detection process different from the first process, triggered by the detection of an inadvertent state continuously for a predetermined time or more by the first process repeatedly executed in a short cycle. Illustrated the case where However, the trigger for executing the second process is not limited to the driver being in an inattentive state as exemplified in the first embodiment. So, in the second embodiment, even when the condition other than the driver's carelessness is satisfied, the second process is triggered by the condition and the second process is executed. Do.
- the driver changes control of the vehicle passage, control to turn right or left, etc. It can be exemplified that a control event that needs to ensure that the user is seated in a normal state occurs. Therefore, in the second embodiment, in the automatic control of the vehicle 1, the control for changing the vehicle passing zone and the case where the second process is performed triggered by the occurrence of the control for turning right or left are exemplified. To explain.
- the vehicle and the control system mounted on the vehicle according to the present embodiment may be the same as the vehicle 1 and the control system 100 exemplified in the first embodiment, and therefore, overlapping descriptions will be made by citing them. Omit.
- FIG. 10 is a flowchart showing an example of the flow when the CPU 14a of the ECU 14 issues a second process execution request as a trigger for executing the second process in the automatic control executed by the control system 100.
- the CPU 14a stands by until automatic control of the vehicle 1 is started (NO in step S201). Thereafter, for example, when the driver operates the switches provided in the operation input unit 10, the gear shift operation unit 7, the steering unit 4, etc., when the automatic control of the vehicle 1 by the ECU 14 is started (YES in step S201)
- the CPU 14a determines whether or not a control schedule for changing a vehicle passing zone has occurred in the automatic control (step S202).
- the CPU 14a determines whether a schedule for control of right turn or left turn has occurred in the automatic control (step S203). When neither control plan change control of vehicle traffic zone nor control plan of right turn or left turn has occurred (NO in step S202, NO in S203), CPU 14a determines whether or not automatic control is ended ( Step S206), if it is ended (YES in step S206), this operation is ended. On the other hand, if the automatic control has not ended (NO in step S206), the CPU 14a returns to step S202, and continues the subsequent operation.
- step S202 when the change control schedule of the vehicle passing zone occurs (YES in step S202), or when the control schedule of right turn or left turn occurs (YES in step S203), the CPU 14a determines the scheduled vehicle It waits until a predetermined time before the scheduled time to start steering of the vehicle 1 in the control to change the traffic zone or the scheduled right or left control (NO in step S204), and the scheduled time to start the steering At a timing when a predetermined time has passed (YES in step S204), an execution request for the second process is issued (step S205). Thereafter, the CPU 14a proceeds to step S206.
- FIG. 11 shows an example of the alarm operation according to the present embodiment.
- step S211 is performed before execution of step S104. Is configured.
- step S211 the state determination unit 111 determines whether or not the second process execution request has been input. If the second process execution request has not been input (NO in step S211), the process proceeds to step S104 to execute the first process. On the other hand, if the second process execution request has been input (YES in step S211), the state determination unit 111 proceeds to step S110 and executes the second process.
- the second process can be configured to be triggered by the occurrence of a control event that needs to be performed.
- a control event such as control to change a vehicle traffic zone or control to turn right or left needs to be ensured that the driver is seated in a normal state occurs, face detection with high accuracy Since it is possible to issue a warning to the driver based on the result of the processing, it is possible to realize an on-vehicle warning device with few false alarms.
- the first process is “light process” and the second process is “heavy process”.
- the present invention is not limited to such a configuration.
- face detection processing using so-called RNN (Recurrent Neural Network) is performed, which executes face detection processing using image data of several frames as time-series information
- CNN Convolution Neural Network
- the second process for example, face detection process using CNN
- the first process for example, face detection process using RNN
- face detection processing using RNN uses several frames of image data as time-series information, errors in face detection results obtained from each frame are accumulated when RNN is adopted for the first processing, As a result, there is a possibility that false face detection results are continuously output. Therefore, by performing face detection processing using CNN using image data for a single frame as the second processing before warning to the driver, the driver's state is not affected by the accumulated error. Can be determined. As a result, it is possible to realize an on-vehicle alarm system with few false alarms.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Child & Adolescent Psychology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
Abstract
実施形態に係る車載警報装置は、所定のフレームレートで入力される画像データそれぞれに対して第1の顔検出処理を実行する第1処理部と、画像データに対して第1の顔検出処理とは異なる第2の顔検出処理を実行する第2処理部と、警報を発する警報出力部と、所定の条件が満たされた場合、入力された画像データに対する顔検出処理を、第1処理部による第1の顔検出処理から第2処理部による第2の顔検出処理に切り替え、第2の顔検出処理の結果、入力された画像データから検出された人物の状態が不注意状態である場合、警報出力部を制御して警報を発する状態判定部とを備える。
Description
本発明の実施形態は、車載警報装置に関する。
近年、撮像された静止画像または動画像に含まれる顔の位置および向き、並びに目および口等の顔部品の状態を検出する顔検出技術の開発が進められている。例えば、特許文献1には、運転者を撮像対象として随時取得される画像データに顔検出処理を実行することで、運転者が脇見状態や居眠り状態等にあるかを検出し、その状態が所定時間以上継続された場合には、運転者に対して警告を発する車載警報装置が開示されている。
しかしながら、車載された警報装置のような、安全性の観点から警報に対するリアルタイム性が求められつつも、設置スペースや消費電力等の観点から画像処理に割り当てることができる処理資源(CPU(Central Processing Unit)リソース等)が制限される条件下では、十分な顔検出精度を得ることができない場合が存在する。そのような場合、一定以上の確率で、運転者の脇見や居眠り(閉眼)若しくは運転者の不在などの状態(以下、これらをまとめて不注意状態という)の誤検出が発生し、その結果、運転者や同乗者にとって誤警報が頻発する煩わしい警報装置となってしまう可能性が存在する。
そこで以下の実施形態では、誤警報の発生を低減することが可能な車載警報装置を提供することを目的とする。
本発明の実施形態に係る車載警報装置は、一例として、所定のフレームレートで入力される画像データそれぞれに対して第1の顔検出処理を実行する第1処理部と、画像データに対して前記第1の顔検出処理とは異なる第2の顔検出処理を実行する第2処理部と、警報を発する警報出力部と、所定の条件が満たされた場合、入力された画像データに対する顔検出処理を、前記第1処理部による前記第1の顔検出処理から前記第2処理部による前記第2の顔検出処理に切り替え、前記第2の顔検出処理の結果、前記入力された画像データから検出された人物の状態が不注意状態である場合、前記警報出力部を制御して前記警報を発する状態判定部とを備える。このような構成によれば、例えば、異なる顔検出処理の結果を総合的に判断したり、第2の顔検出処理に検出精度の高い顔検出処理を採用したりすることが可能となり、それにより、誤検出の発生を低減することが可能となる。その結果、誤警報の少ない車載警報装置を実現することが可能となる。
上記所定の条件は、前記所定のフレームレートで入力される画像データそれぞれから前記第1の顔検出処理によって検出された前記人物の不注意状態が所定時間以上継続していることである。このような構成によれば、例えば、平常時に実行される第1の顔検出処理を処理時間の短い処理としつつ、第1の顔検出処理によって運転者の不注意状態が検出された場合には、検出精度の高い第2の顔検出処理を実行するように構成することが可能となる。その結果、運転者の不注意状態に対する反応開始のタイミングを早めてリアルタイム性を維持しつつ、誤警報の少ない車載警報装置を実現することが可能となる。
上記所定の条件は、車両の自動制御において、前記車両が走行する車両通行帯を変更する制御の予定が発生したこと、若しくは、前記車両を右折又は左折する制御の予定が発生したことである。このような構成によれば、例えば、運転者の正常状態を確保する必要がある時に適宜、検出精度の高い第2の顔検出処理の結果に基づいて警報を発することが可能となるため、誤警報の少ない車載警報装置を実現することが可能となる。
上記第2の顔検出処理の顔検出精度は、前記第1の顔検出処理の顔検出精度よりも高い。このような構成によれば、例えば、検出精度の高い第2の顔検出処理の結果に基づいて警報を発することが可能となるため、誤警報の少ない車載警報装置を実現することが可能となる。
上記状態判定部は、前記第2の顔検出処理の結果、前記入力された画像データから検出された人物の状態が不注意状態である場合、新たに入力された画像データに対する顔検出処理を、前記第2処理部による前記第2の顔検出処理から再度、前記第1処理部による前記第1の顔検出処理に切り替え、前記第1の顔検出処理の結果、前記新たに入力された画像データから検出された前記人物の状態が前記不注意状態である場合、前記警報出力部を制御して前記警報を発する。このような構成によれば、例えば、第1の顔検出処理として処理時間の短い顔検出処理を採用することで、第2の顔検出処理の処理時間が長い場合であっても、直近の運転者の状態に基づいて警報を発することが可能となるため、誤警報の少ない車載警報装置を実現することが可能となる。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、並びに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
(第1の実施形態)
まず、第1の実施形態に係る車載警報装置について、図面を参照して詳細に説明する。図1は、第1の実施形態に係る警報装置が搭載される車両の概略構成例を示す斜視図である。図2は、第1の実施形態に係る車両のダッシュボードの概略構成例を示す図である。なお、本実施形態において、車両1は、例えば、ガソリンエンジン等の内燃機関を駆動源とする自動車(内燃機関自動車)であってもよいし、電動機(電気モータともいう)を駆動源とする自動車(電気自動車、燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。また、車両1は、種々の変速装置を搭載することができ、さらに、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。さらにまた、車両1における車輪(以下、前輪の符号を3Fとし、後輪の符号を3Rとし、それらを区別しない場合を車輪3とする)の駆動に関わる装置の方式や、数、レイアウト等は、適宜変更することが可能である。
まず、第1の実施形態に係る車載警報装置について、図面を参照して詳細に説明する。図1は、第1の実施形態に係る警報装置が搭載される車両の概略構成例を示す斜視図である。図2は、第1の実施形態に係る車両のダッシュボードの概略構成例を示す図である。なお、本実施形態において、車両1は、例えば、ガソリンエンジン等の内燃機関を駆動源とする自動車(内燃機関自動車)であってもよいし、電動機(電気モータともいう)を駆動源とする自動車(電気自動車、燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。また、車両1は、種々の変速装置を搭載することができ、さらに、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。さらにまた、車両1における車輪(以下、前輪の符号を3Fとし、後輪の符号を3Rとし、それらを区別しない場合を車輪3とする)の駆動に関わる装置の方式や、数、レイアウト等は、適宜変更することが可能である。
図1及び図2に示されるように、車両1の車体2は、内部に運転者を含む乗員が乗車する車室2aを形成している。この車室2a内には、運転者の座席2bと向かい合う状態で、操舵部4、加速操作部5、制動操作部6、変速操作部7等が設けられている。本実施形態では、一例として、操舵部4は、ダッシュボード(インストルメントパネル)12から突出したステアリングホイールである。加速操作部5は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部6は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部4や、加速操作部5、制動操作部6、変速操作部7等の構成は、種々変形することができる。
車室2a内のダッシュボード12の車幅方向、即ち運転者から見て左右方向の中央部には、モニタ装置11が設けられている。モニタ装置11には、表示装置8や音声出力装置9(図4参照)が設けられている。表示装置8は、例えば、LCD(Liquid Crystal Display)やOELD(Organic Electroluminescent Display)等である。音声出力装置9は、例えば、スピーカである。また、表示装置8は、タッチパネル等、透明な操作入力部10(図4参照)で覆われていてもよい。乗員は、透明な操作入力部10を介して表示装置8の表示画面に表示される画像を視認することができる。また、乗員は、表示装置8の表示画面に表示される画像に対応した位置を手指等で触れたり押したり動かしたりして操作することで、操作入力部10に対する操作入力を実行することができる。
ダッシュボード12における座席2bと向かい合う部分には、計器盤部25が設けられている。計器盤部25には、車両1の移動速度を表示する速度表示部25aと、動力源である内燃機関や電動機等の出力軸の回転数を表示する回転数表示部25bとが設けられている。
車室2a内における座席2bと向かい合う位置には、車両1の前進方向を向いた状態で且つ座席2bに正しい姿勢(以下、正常状態という)で着座する運転者の顔を撮像することが可能な撮像装置201が設けられている。撮像装置201は、座席2bに正常状態で着座する運転者302の顔が撮影画角の中心に位置するように、その画角及び姿勢が調整されている。例えば、図3に示すように、撮像装置201は、車体2の天井部2cに設けられる。ただし、撮像装置201の設置位置は、天井部2cに限定されず、車体2のフロントガラス2d上部やハンドルコラム202など、座席2bに正常状態で着座した運転者302の顔の少なくとも両目を撮像することができる位置であれば、種々変更することが可能である。
この撮像装置201は、例えば、CCD(Charge Coupled Device)カメラ等である。撮像装置201は、例えば、車両1の走行中に、所定のフレームレートで運転者302の顔を撮影し、撮影により得た画像データを順次、ECU14へ出力する。
次に、本実施形態に係る車載警報装置を備えた車両1の制御システムについて説明する。図4は、本実施形態に係る制御システムの構成の一例を示すブロック図である。図4に例示されるように、制御システム100は、ECU(Engine Control Unit)14、モニタ装置11、操舵システム13、測距部16及び17の他、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21及び車輪速センサ22を備えている。ECU14、モニタ装置11、操舵システム13、測距部16及び17、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21及び車輪速センサ22は、電気通信回線としての車内ネットワーク23を介して相互に電気的に接続されている。車内ネットワーク23は、例えば、CAN(Controller Area Network)として構築されている。
ECU14は、車内ネットワーク23を通じて制御信号を送ることで、操舵システム13、ブレーキシステム18等を制御することができる。操舵システム13は、例えば、ECU14から受信した制御信号に基づいてアクチュエータ13aを駆動して前輪3Fに舵角を与えることで、車両1の進行方向を制御する。この操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(Steer By Wire)システム等であってよい。ブレーキシステム18は、例えば、ECU14から受信した制御信号に基づいてアクチュエータ18aを駆動して不図示の制動装置を動作させることで、車両1の減速や停止等を実行する。また、ECU14は、車内ネットワーク23を介して、トルクセンサ13b、ブレーキセンサ18b、舵角センサ19、測距部16、測距部17、アクセルセンサ20、シフトセンサ21、車輪速センサ22等の検出結果や、操作入力部10等の操作信号等を、受け取ることができる。
このECU14は、例えば、CPU(Central Processing Unit)14a、ROM(Read Only Memory)14b、RAM(Random Access Memory)14c、表示制御部14d、音声制御部14e、SSD(Solid State Drive、フラッシュメモリ)14f等を有している。CPU14aは、例えば、表示装置8で表示される画像に関連した画像処理や、車両1の移動目標位置(駐車目標位置、目標位置)の決定、車両1の誘導経路(駐車経路及び駐車誘導経路を含む)の演算、物体との干渉の有無の判断、車両1の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。CPU14aは、ROM14b等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、ECU14での演算処理のうち、主として、撮像部15で得られた画像データを用いた画像処理や、表示装置8で表示される画像データの合成等を実行する。また、音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶部であって、ECU14の電源がオフされた場合にあってもデータを記憶することができる。
なお、上記構成において、CPU14a、ROM14b、RAM14c等は、SoC(System-on-Chip)などのような単一チップで構成されてもよい。また、ECU14は、CPU14aに替えて、DSP(Digital Signal Processor)等の他の論理演算プロセッサや論理回路等を用いた構成であってもよい。さらに、ECU14は、SSD14fに替えてHDD(Hard Disk Drive)が用いられた構成であってもよい。さらにまた、SSD14fやHDDは、ECU14に対して外付けされる構成であってもよい。
また、撮像部15並びに測距部16及び17は、ECU14が車両1の自動制御を実行するにあたって必要となるデータを取得するための構成である。例えば、撮像部15は、車両1が移動可能な路面や車両1が駐車可能な領域を含む車体2の周辺の外部の環境を逐次撮影し、この撮像により得られた画像データをECU14へ出力する。測距部16及び17は、例えば、超音波を発射してその反射波を捉えるソナーであり、車両1と車両1の周囲に存在する物体との距離を測定し、この測定により得られた距離情報をECU14へ出力する。
ブレーキシステム18は、例えば、ブレーキのロックを抑制するABS(Anti-lock Brake System)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:Electronic Stability Control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(Brake By Wire)等である。ブレーキシステム18は、アクチュエータ18aを介して、車輪3ひいては車両1に制動力を与える。また、ブレーキシステム18は、左右の車輪3の回転差などからブレーキのロックや、車輪3の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ18bは、例えば、制動操作部6の可動部の位置を検出するセンサである。ブレーキセンサ18bは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ18bは、変位センサを含む。
舵角センサ19は、例えば、ステアリングホイール等の操舵部4の操舵量を検出するセンサである。舵角センサ19は、例えば、ホール素子などを用いて構成される。ECU14は、運転者による操舵部4の操舵量や、自動操舵時の各車輪3の操舵量等を、舵角センサ19から取得して各種制御を実行する。なお、舵角センサ19は、操舵部4に含まれる回転部分の回転角度を検出する。舵角センサ19は、角度センサの一例である。
アクセルセンサ20は、例えば、加速操作部5の可動部の位置を検出するセンサである。アクセルセンサ20は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ20は、変位センサを含む。
シフトセンサ21は、例えば、変速操作部7の可動部の位置を検出するセンサである。シフトセンサ21は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ21は、変位センサを含んでもよいし、スイッチとして構成されてもよい。また、変速操作部7の可動部の位置には、例えば、車両1を前進させるドライブレンジ、車両1を後進させるリバースレンジ、車輪3に前進又は後進の動力を与えないニュートラルレンジ、車両1を停止させるパーキングレンジ等が含まれるものとする。
車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ22は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ22は、例えば、ホール素子などを用いて構成されうる。ECU14は、車輪速センサ22から取得したセンサ値に基づいて車両1の移動量などを演算し、各種制御を実行する。なお、車輪速センサ22は、ブレーキシステム18に設けられている場合もある。その場合、ECU14は、車輪速センサ22の検出結果をブレーキシステム18を介して取得する。
なお、上述した各種センサやアクチュエータ等の構成、配置、電気的な接続形態等は単なる一例であって、必要に応じて種々変更することが可能である。
また、上記構成おいて、撮像装置201、ECU14及びモニタ装置11は、本実施形態に係る車載警報装置を構成する。以下に、本実施形態に係る車載警報装置の構成及び動作を、図面を参照して詳細に説明する。
車載警報装置における誤警報の発生を低減するための具体的な手法としては、例えば、運転者の不注意状態(脇見、居眠り(閉眼)、不在等)をより高精度に検出することが可能な顔検出処理を採用する手法や、異なる種類の顔検出処理の結果の論理積を取るなどして総合的に判断することで顔検出の精度を高める手法等が考えられる。そこで、本実施形態では、運転者の不注意状態をより高精度に検出することが可能な顔検出処理(以下、高精度顔検出処理という)が採用された場合を例に挙げて説明する。
高精度顔検出処理としては、例えば、ディープラーニングなどの機械学習を利用した顔検出処理が存在する。ただし、このような高精度顔検出処理は、一般的にはより多くの処理資源を必要とする。処理資源とは、例えば、処理時間に計算器の処理能力を乗算した値である。そのため、高精度顔検出処理のような処理時間の長い顔検出処理を採用した場合には、顔検出及びその結果に基づく警報のリアルタイム性を損なう可能性が存在する。
このように、顔検出処理の精度と顔検出処理のフレームレートとには、トレードオフの関係が存在する。そのため、車載される制御システム100のような、処理資源が限られた状況下では、高い顔検出精度と高いフレームレートとの両方を達成することが難しい場合が存在する。
そこで本実施形態では、ある所定の条件が満たされた場合に高精度顔検出処理が実行される構成とする。このような構成とした場合、例えば、運転者の不注意状態が検出されていない期間などの平常時には、処理時間の短い顔検出処理を実行しておくことが可能となる。それにより、高いフレームレート(短い処理時間)で顔検出処理を実行することが可能となるため、運転者の不注意状態に対する反応開始のタイミングを早めることが可能となる。その結果、リアルタイム性を損なうことなく、高精度の顔検出処理の結果に基づいた、誤警報の少ない車載警報装置を実現することが可能となる。
また、平常時にフレームレートの高い顔検出処理を実行できる構成とすることで、運転者の瞬きや視線移動や口動作などを高いフレームレートで検出することが可能となる。それにより、平常時の顔検出処理の結果を、眠気推定や注視点推定や読唇術など、高いフレームレートでの顔検出処理が要求される他のアプリケーションに応用することが可能になるというメリットも得られる。
なお、以下の説明において、実行に必要な処理資源が比較的大きく処理時間が比較的長い処理を「重い処理」とも称する。これに対し、実行に必要な処理資源が比較的小さく処理時間が比較的短い処理を「軽い処理」とも称する。また、「軽い処理」は処理時間が短い反面、顔検出精度が低いのに対し、「重い処理」は処理時間が長いものの、顔検出精度が高いという場合を想定するが、このような関係に限定されるものではない。
本実施形態における「軽い処理」には、例えば、画像データより抽出した特徴点を既存のテンプレート(顔モデル)と照合(顔モデルフィッティング)して顔検出を実行するパターンマッチング(テンプレートマッチングともいう)や、入力層と出力層との間の隠れ層の層数が数層程度の比較的浅いディープラーニングを利用した顔検出処理などを適用することが可能である。一方、本実施形態における「重い処理」には、隠れ層の層数が十数層以上の比較的深いディープラーニングなどの機械学習を利用した顔検出処理などを適用することができる。
例えば、「軽い処理」にパターンマッチングによる顔検出処理を採用した場合、「重い処理」にはディープラーニングを利用した顔検出処理を採用することができる。また、例えば、「軽い処理」に隠れ層の層数が数層程度の比較的浅いディープラーニングを利用した顔検出処理を採用した場合、「重い処理」には隠れ層の層数が十数層以上の比較的深いディープラーニングを利用した顔検出処理を採用することができる。
さらに、上述のような組合せの他にも、画像データに対する顔検出処理における演算の桁数を変更することで、「軽い処理」と「重い処理」との違いを持たせることも可能である。その場合、例えば、「軽い処理」では少数点以下の桁を捨てて演算に使用する桁数を削減することで処理時間を短縮し、「重い処理」では小数点以下の数桁まで演算の対象とすることで顔検出精度を向上するように構成されてもよい。
つづいて、本実施形態に係る車載警報装置の概略構成例について説明する。図5は、本実施形態に係る車載警報装置であって、撮像装置201、ECU14及びモニタ装置11によって構成される車載警報装置110の概略構成例を示す機能ブロック図である。図5に示すように、車載警報装置110は、状態判定部111と、第1処理部112と、第2処理部113と、タイマ114と、状態フラグメモリ115と、警報出力部116とを備える。
第1処理部112は、第1の顔検出処理(以下、第1処理という)を実行する構成であり、撮像装置201から状態判定部111を介して入力された画像データに対して第1処理を実行し、その結果を状態判定部111へ入力する。
ここで、第1処理は、例えば、処理時間が数10ms(ミリ秒)程度以下と比較的短い、いわゆる「軽い処理」である。また、第1処理は、例えば、撮像装置201から状態判定部111を介して所定のフレームレートで入力された画像データに対して、当該所定のフレームレートで顔検出処理を実行する。この第1処理は、例えば、1回の実行に所定の時間を要する処理が繰り返し実行されるループ処理や、所定の実行周期で繰り返し実行されるようにスケジューリングされた周期タスクなどであってよい。
第1処理部112は、第1処理の結果として、運転者が正常状態であるか、若しくは、脇見状態、閉眼状態又は不在/異常姿勢状態であるかを特定し、特定した状態に関する情報を状態判定部111に入力する。
第2処理部113は、第2の顔検出処理(以下、第2処理という)を実行する構成であり、撮像装置201から状態判定部111を介して入力された画像データに対して第2処理を実行し、その結果を状態判定部111へ入力する。本実施形態において、第2処理は、例えば、処理時間が100ms程度以上と比較的長い、いわゆる「重い処理」であり、第1処理よりも検出精度が高い高精度顔検出処理である。
第2処理部113も、第1処理部112と同様に、第2処理の結果として、運転者が正常状態であるか、若しくは、脇見状態、閉眼状態又は不在/異常姿勢状態であるかを特定し、特定した状態に関する情報を状態判定部111に入力する。
状態判定部111は、車載警報装置110内の各部を制御する。また、状態判定部111は、第1処理部112から入力された第1処理の結果が運転者の不注意状態を示していた場合など、所定の条件が満たされたことをトリガとして、第2処理部113による第2処理の実行を開始する。また、状態判定部111は、第2処理部113から入力された第2処理の結果に基づいて、運転者に対する警報の要否を判断し、要警報と判断した場合には、警報出力部116を駆動して運転者へ警報を発する。
なお、状態判定部111、第1処理部112及び第2処理部113は、例えばECU14のCPU14aがROM14b等から所定のプログラムを読み出して実行することでECU14内に実現されるソフトウエア構成であってもよいし、CPU14aとは別の専用のチップで実現されるハードウエア構成であってもよい。
タイマ114は、例えばECU14内に設けられたタイマであってよく、状態判定部111からの指示に基づいて、経過時間の計測、計測された経過時間の出力、及びリセットの動作を実行する。
状態フラグメモリ115は、例えばRAM14c内に確保された記憶領域であり、第1処理部112による顔検出処理の結果に基づいて運転者が正常状態であるか不注意状態であるかを保持する。例えば、状態フラグメモリ115は、運転者が、正常状態であるか、若しくは、脇見状態、閉眼状態又は不在/異常姿勢状態などの不注意状態であるかを、1ビット又は多ビットのフラグによって保持する。本実施形態では、状態フラグが脇見状態と閉眼状態と不在/異常姿勢状態とを区別して保持する場合を例示する。その場合、状態フラグには、正常状態と脇見状態と閉眼状態と不在/異常姿勢状態との4つの状態を区別して保持し得る2ビットフラグを用いることができる。ただし、脇見状態と閉眼状態と不在/異常姿勢状態とを区別しない場合には、状態フラグとして、正常状態と不注意状態との2つの状態を区別して保持し得る1ビットフラグを用いるなど、種々変形することができる。
警報出力部116は、例えば、ECU14内の表示制御部14d及び音声制御部14e並びにモニタ装置11内の音声出力装置9や表示装置8で構成され、状態判定部111を構成するCPU14aから入力された指示に従って、運転者に対する警報を発する。
次に、本実施形態において車載警報装置110が実行する警報動作の概要について、図6を用いて説明する。図6に示すように、車載警報装置110では、例えば制御システム100が立ち上がると、撮像装置201で取得された画像データが所定のフレームレートで状態判定部111に入力される。状態判定部111は、平常時には、入力された画像データを順次、第1処理部112に入力する。第1処理部112は、所定のフレームレートで入力された画像データに対し、第1処理を繰り返し実行する。1回の第1処理に要する処理時間t1は、例えば33msである。そして、第1処理の結果として、運転者の不注意状態(本例では脇見状態)が検出されると(タイミングT1)、状態判定部111は、状態フラグメモリ115における、検出された不注意状態(脇見状態)のフラグをセットするとともに、タイマ114による経過時間tの計測を開始する。
その後、状態フラグメモリ115にセットされたフラグに対応する不注意状態が繰り返される第1処理によって継続して検出される時間(継続時間)tが予め設定しておいた所定時間t2に達すると(タイミングT2)、状態判定部111は、第2処理部113を起動して第2処理を実行する。1回の第2処理に要する処理時間t3は、1回の第1処理に要する処理時間t1(例えば33ms)よりも長い、例えば500msである。また、所定時間t2は、例えば1500msである。なお、第2処理部113に入力される画像データは、例えばタイミングT2付近で撮像装置201から状態判定部111に入力された画像データであってよい。
そして、第2処理の結果として、運転者の不注意状態(脇見状態)が検出されると(タイミングT3)、状態判定部111は、例えば、再度、第1処理部112を起動して処理時間の短い第1処理を実行することで、運転者が直近まで継続して不注意状態(脇見状態)であるか否かを確認する。その後、状態判定部111は、運転者が直近まで継続して不注意状態(脇見状態)であると確認された場合には(タイミングT4)、警報出力部116を駆動することで、運転者に対して、音声や映像効果等による警報を発する。
以上のような構成によれば、上述の例のように、第1処理の処理時間t1を33msとし、所定時間t2を1500msとし、第2処理の処理時間t3を500msとした場合、車載警報装置110は、第1処理部112によって最初に運転者の不注意状態が検出されてから約2.033秒後に、運転者に対して警告を発することとなる。
ただし、第2処理の後に実行される第1処理、すなわち、タイミングT3で実行される第1処理は、省略することが可能である。その場合、状態判定部111は、タイミングT3の時点で警報出力部116を駆動することで、運転者に対して、音声や映像効果等による警報を発する。したがって、所定時間t2が1500msであって第2処理の処理時間t3が500msであれば、車載警報装置110は、第1処理部112によって最初に運転者の不注意状態が検出されてから約2秒後に、運転者に対して警告を発することとなる。
なお、上述した第1処理の処理時間t1(33ms)、及び、第2処理の処理時間t3(500ms)は単なる例にすぎず、第1処理及び第2処理として採用する顔検出処理に応じて変化する値である。また、所定時間t2(1500ms)は、任意に設定可能な値である。
つづいて、本実施形態に係る警報動作の流れについて、図面を参照して詳細に説明する。図7は、本実施形態に係る警報動作のメインフローの概略例を示すフローチャートである。図8は、本実施形態に係る警報動作において実行される第1処理の例を示すフローチャートである。図9は、本実施形態に係る警報動作において実行される第2処理の例を示すフローチャートである。なお、本動作の説明にあたって、ECU14には、制御システム100の電源投入後、撮像装置201から所定のフレームレートで画像データが入力されるものとする。
図7に示すように、本警報動作では、まず、状態判定部111は、状態フラグメモリ115内のそれぞれの状態に関する状態フラグ及びタイマ114をリセットする(ステップS101)。なお、リセットされた状態では、状態フラグメモリ115内の状態フラグは、運転者が正常状態であることを示している。
次に、状態判定部111は、シフトセンサ21から入力された変速操作部7の可動部の位置情報(以下、シフト位置情報という)に基づいて、可動部がドライブレンジに設定されているか否かを判定する(ステップS102)。ドライブレンジに設定されていない場合(ステップS102のNO)、例えば、変速操作部7がリバースレンジやニュートラルレンジやパーキングレンジに設定されている場合、状態判定部111は、本動作を終了するか否かを判定し(ステップS103)、終了する場合(ステップS103のYES)、本動作を終了する。一方、本動作を終了しない場合(ステップS103のNO)、ステップS102へリターンする。
一方、変速操作部7の可動部がドライブレンジに設定されている場合(ステップS102のYES)、状態判定部111は、第1処理部112を起動するとともに、撮像装置201から所定のフレームレートで入力された画像データを第1処理部112に順次入力するとともに、繰返し処理である第1処理の実行を開始する(ステップS104)。なお、第1処理部112の起動には、例えば第1処理部112に対するCPUリソース(CPU14a)などの処理資源の割当てが含まれているものとする。また、繰り返し実行される第1処理それぞれの結果は、随時、第1処理部112から状態判定部111に入力される。
次に、状態判定部111は、第1処理によって運転者の不注意状態(脇見状態、閉眼状態及び不在/異常姿勢状態のいずれか)が検出されたか否かを判定する(ステップS105)。不注意状態が検出されていない場合(ステップS105のNO)、状態判定部111は、ステップS101へリターンし、状態フラグメモリ115内の状態フラグ及びタイマ114をリセットして(ステップS101)、以降の動作を実行する。
一方、第1処理によって不注意状態が検出された場合(ステップS105のYES)、状態判定部111は、第1処理で検出された運転者の状態を状態フラグメモリ115内の状態フラグにセット済みであるか否かを判定し(ステップS106)、セット済みでない場合(ステップS106のNO)、状態フラグメモリ115内の状態フラグに第1処理で検出された運転者の状態をセットするとともに(ステップS107)、タイマ114による経過時間tの計測を開始し(ステップS108)、ステップS102へリターンする。
また、第1処理で検出された運転者の状態を状態フラグにセット済みである場合(ステップS106のYES)、状態判定部111は、タイマ114により計測されている経過時間tが予め設定しておいた所定時間t2以上となったか否か、すなわち、脇見状態、閉眼状態及び不在/異常姿勢状態のいずれかが所定時間t2以上継続しているか否かを判定し(ステップS109)、所定時間t2に達していなかった場合(ステップS109のNO)、ステップS102へリターンする。
また、経過時間tが所定時間t2以上となっていた場合(ステップS109のYES)、状態判定部111は、第2処理部113を起動するとともに撮像装置201から入力された画像データを第2処理部113に入力して、第2処理を実行する(ステップS110)。なお、第2処理部113の起動では、例えば、第1処理部112に割り当てられていた処理資源が開放されて第2処理部113へ割り当てられる。
次に、状態判定部111は、第2処理によって運転者の不注意状態が検出されたか否かを判定し(ステップS111)、不注意状態が検出されなかった場合(ステップS111のNO)、ステップS101へリターンし、状態フラグメモリ115内の状態フラグ及びタイマ114をリセットして(ステップS101)、以降の動作を実行する。
一方、第2処理によって運転者の不注意状態が検出された場合(ステップS111のYES)、状態判定部111は、確認のため、再度、第1処理部112を起動して第1処理を実行する(ステップS112)。つづいて、状態判定部111は、ステップS112で実行した第1処理によって継続して不注意状態が検出されたか否かを判定し(ステップS113)、不注意状態が検出された場合(ステップS113のYES)、警報出力部116を駆動して運転者へ警告を発する(ステップS114)。その後、状態判定部111は、ステップS110へリターンし、運転者の不注意状態が検出されなくなるまで(ステップS113のNO)、第2処理及び第1処理の実行(ステップS110、S112)を繰り返す。
一方、ステップS112の第1処理によって運転者の不注意状態が検出されなかった場合(ステップS113のNO)、状態判定部111は、ステップS101へリターンし、状態フラグメモリ115内の状態フラグ及びタイマ114をリセットして(ステップS101)、以降の動作を実行する。
なお、第2処理の実行後に確認のための第1処理を実行しない場合には、図7におけるステップS111~S112が省略される。その場合、状態判定部111は、ステップS113において、第2処理によって運転者の不注意状態が検出された場合(ステップS113のYES)、警報出力部116を駆動して運転者へ警告を発し(ステップS114)、運転者の不注意状態が検出されなかった場合(ステップS113のNO)、ステップS101へリターンする。
つづいて、本実施形態に係る第1処理の流れの一例について説明する。図8に示すように、本実施形態に係る第1処理では、まず、第1処理部112は、撮像装置201が所定のフレームレートで取得した画像データを状態判定部111を介して入力する(ステップS121)。つづいて、第1処理部112は、入力された画像データから運転者の顔の特徴点を抽出し、抽出した特徴点に対してテンプレートを照合するテンプレートマッチング処理を実行する(ステップS122)。その結果、撮像された時点での運転者の状態が、正常状態であるか、若しくは、脇見状態、閉眼状態及び不在/異常姿勢状態のうちのいずれかであるかが検出される。
なお、第1処理部112は、例えば、画像データから運転者の片眼しか検出できなかった場合や、画像データから特定された運転者の目線が車両1の進行方向とは大きく異なっている場合などに、運転者が脇見状態にあると判断する。また、第1処理部112は、例えば、画像データから特定される運転者の両眼(片眼しか検出されなかった場合は片眼)が閉じている場合などに、運転者が閉眼状態(又は居眠り状態)にあると判断する。さらに、第1処理部112は、例えば、画像データから運転者の顔を検出できなかった場合や、検出された運転者の顔の位置が正常の位置である画像の中央付近から大きく外れている場合などに、運転者が不在/異常姿勢状態にあると判断する。
次に、第1処理部112は、ステップS122のテンプレートマッチング処理により検出された運転者の状態が脇見状態である場合(ステップS123のYES)、状態判定部111に対して運転者が脇見状態にあることを出力し(ステップS124)、本動作を終了する。
また、第1処理部112は、ステップS122のテンプレートマッチング処理により検出された運転者の状態が閉眼状態である場合(ステップS123のNO,S125のYES)、状態判定部111に対して運転者が閉眼状態にあることを出力し(ステップS126)、本動作を終了する。
さらに、第1処理部112は、ステップS122のテンプレートマッチング処理により検出された運転者の状態が不在又は異常姿勢状態である場合(ステップS123のNO,S125のNO,S127のYES)、状態判定部111に対して運転者が不在/異常姿勢状態にあることを出力し(ステップS128)、本動作を終了する。
一方、第1処理部112は、ステップS122のテンプレートマッチング処理により検出された運転者の状態が正常状態である場合(ステップS123のNO,S125のNO,S127のNO)、状態判定部111に対して運転者が正常状態にあることを出力し(ステップS129)、本動作を終了する。
なお、図8に示す動作は、ステップS124、S126、S128又はS129の実行後にステップS121へリターンする流れであってもよい。その場合、第1処理部112は、例えば、外部からの割込み処理によって図8に示す動作を終了する。
つづいて、本実施形態に係る第2処理の流れの一例について説明する。図9に示すように、本実施形態に係る第2処理では、まず、第2処理部113は、撮像装置201が所定のフレームレートで取得した画像データの1つを状態判定部111を介して入力する(ステップS141)。つづいて、第2処理部113は、例えばディープラーニングなどの機械学習を用いた高精度顔検出処理を実行する(ステップS142)。
なお、高精度顔検出処理とは、上述したように、例えば、隠れ層の数が十数層以上の比較的深いディープラーニングなどの機械学習を利用した顔検出処理などであってよい。その結果、撮像された時点での運転者の状態が、正常状態であるか、若しくは、脇見状態、閉眼状態及び不在/異常姿勢状態のうちのいずれかであるかが検出される。なお、第2処理において、運転者が正常状態、脇見状態、閉眼状態及び不在/異常姿勢状態のうちのいずれの状態であるかの判断基準は、上述の第1処理で用いた判断基準と同様であってよい。
また、高精度顔検出処理である第2処理は、運転者によるサングラスやマスクの着脱についても検出することができるとよい。例えばサングラスの着用がされた場合には、第2処理では、顔の向き及び傾きや鼻及び口の位置関係及び形状等に基づいて、運転者が正常状態であるか、又は、いずれかの不注意状態であるかが判定され得る。また、例えばマスクの着用がされた場合には、第2処理では、両眼の位置関係及び形状等に基づいて、運転者が正常状態であるか、又は、いずれかの不注意状態であるかが判定され得る。さらに、サングラスとマスクの両方が着用された場合には、第2処理では、顔の向き等に基づいて、運転者が正常状態であるか、又は、いずれかの不注意状態であるかが判定され得る。これにより、顔検出におけるロバスト性を高めることが可能となり、誤警報の発生をより抑制することが可能となる。
次に、第2処理部113は、図8のステップS123~S129と同様に、ステップS142の高精度顔検出処理により検出された運転者の状態が脇見状態である場合(ステップS143のYES)、状態判定部111に対して運転者が脇見状態にあることを出力し(ステップS144)、閉眼状態である場合(ステップS143のNO,S145のYES)、閉眼状態にあることを出力し(ステップS146)、不在又は異常姿勢状態である場合(ステップS143のNO,S145のNO,S147のYES)、不在/異常姿勢状態にあることを出力する(ステップS148)。その後、第2処理部113は、本動作を終了する。一方、運転者の状態が正常状態である場合(ステップS143のNO,S145のNO,S147のNO)、第2処理部113は、状態判定部111に対して運転者が正常状態にあることを出力し(ステップS149)、本動作を終了する。
以上のように、本実施形態によれば、平常時には軽い処理である第1処理を実行することで、運転者の不注意状態に対する反応開始のタイミングを早め、第1処理によって運転者の不注意状態が検出された場合には、重い処理である第2処理を実行することで、高精度に運転者の不注意状態を検出することが可能となるため、誤警報の少ない車載警報装置を実現することが可能となる。
なお、上述した説明では、同一の不注意状態が継続して検出された経過時間tが所定時間t2以上となった場合に第2処理を実行する場合を例示したが、本実施形態は、このような構成に限定されるものではない。例えば、同一の不注意状態が連続して所定回数検出された場合に、第2処理を実行するように構成するなど、種々変形することが可能である。
また、上述した説明では、脇見状態、閉眼状態及び不在/異常姿勢状態それぞれの不注意状態の経過時間tを共通の所定時間t2と比較し、経過時間tが所定時間t2以上となった場合に第2処理を実行する場合を例示したが、これに限定されない。例えば、脇見状態、閉眼状態及び不在/異常姿勢状態それぞれに対し、異なる所定時間t2を設定してもよい。その際、不在/異常姿勢状態に対する所定時間t2を0秒としてもよい。その場合、第1処理により不在/異常姿勢状態が検出された場合には、即座に第2処理が実行され、その結果に応じて運転者へ警報が発せられる。
(第2の実施形態)
次に、第2の実施形態に係る車載警報装置について、図面を参照して詳細に説明する。第1の実施形態では、短い周期で繰り返し実行される第1処理によって所定時間以上継続して不注意状態が検出されたことをトリガとして、第1処理とは異なる顔検出処理である第2処理が実行される場合を例示した。しかしながら、第2処理を実行するためのトリガは、第1の実施形態で例示したような、運転者が不注意状態であることに限定されない。そこで第2の実施形態では、運転者が不注意状態であることとは別の条件が満足された場合にも、そのことをトリガとして第2処理が実行される場合について、例を挙げて説明する。
次に、第2の実施形態に係る車載警報装置について、図面を参照して詳細に説明する。第1の実施形態では、短い周期で繰り返し実行される第1処理によって所定時間以上継続して不注意状態が検出されたことをトリガとして、第1処理とは異なる顔検出処理である第2処理が実行される場合を例示した。しかしながら、第2処理を実行するためのトリガは、第1の実施形態で例示したような、運転者が不注意状態であることに限定されない。そこで第2の実施形態では、運転者が不注意状態であることとは別の条件が満足された場合にも、そのことをトリガとして第2処理が実行される場合について、例を挙げて説明する。
運転者が所定時間以上継続して不注意状態であることとは別の条件としては、例えば車両1の自動制御において、車両通行帯を変更する制御や、右折又は左折をする制御など、運転者が正常状態で着座していることを確保する必要がある制御イベントが発生することなどを例示することができる。そこで、第2の実施形態では、車両1の自動制御において、車両通行帯を変更する制御、及び、右折又は左折をする制御が発生することをトリガとして、第2処理を実行する場合について、例を挙げて説明する。
本実施形態に係る車両及び車両に搭載される制御システムは、第1の実施形態において例示した車両1及び制御システム100と同様であってよいため、ここではそれらを引用することで、重複する説明を省略する。
図10は、制御システム100が実行する自動制御において、ECU14のCPU14aが第2処理を実行するトリガとしての第2処理実行要求を発行する際の流れの一例を示すフローチャートである。図10に示すように、本動作では、まず、CPU14aは、車両1の自動制御が開始されるまで待機する(ステップS201のNO)。その後、例えば、運転者が操作入力部10や変速操作部7や操舵部4に設けられたスイッチ等を操作することで、ECU14による車両1の自動制御が開始されると(ステップS201のYES)、CPU14aは、自動制御において、車両通行帯を変更する制御の予定が発生したか否かを判定する(ステップS202)。また、CPU14aは、自動制御において、右折又は左折の制御の予定が発生したか否かを判定する(ステップS203)。車両通行帯変更の制御予定、及び、右折又は左折の制御予定のいずれも発生していない場合(ステップS202のNO、S203のNO)、CPU14aは、自動制御が終了されたか否かを判定し(ステップS206)、終了されていた場合(ステップS206のYES)、本動作を終了する。一方、自動制御が終了されていない場合(ステップS206のNO)、CPU14aは、ステップS202へリターンし、以降の動作を継続する。
一方、自動制御において、車両通行帯の変更制御予定が発生した場合(ステップS202のYES)、又は、右折又は左折の制御予定が発生した場合(ステップS203のYES)、CPU14aは、予定された車両通行帯を変更する制御若しくは予定された右折又は左折の制御において車両1の操舵を開始する予定時刻よりも所定時間前となるまで待機し(ステップS204のNO)、当該操舵開始の予定時刻よりも所定時間前となったタイミングで(ステップS204のYES)、第2処理の実行要求を発行する(ステップS205)。その後、CPU14aは、ステップS206へ進む。
以上のようにして発行された第2処理実行要求は、状態判定部111に入力される。状態判定部111は、警報動作の実行中に第2処理実行要求が入力されると、この第2処理実行要求の入力をトリガとして第2処理を実行する。ここで、図11に、本実施形態に係る警報動作の一例を示す。図11に示すように、本実施形態に係る警報動作は、第1の実施形態において図7を用いて説明した警報動作と同様の動作において、例えばステップS104の実行前にステップS211を実行するように構成されている。
ステップS211では、状態判定部111は、第2処理実行要求が入力されたか否かを判定し、入力されていない場合(ステップS211のNO)、ステップS104へ進んで第1処理を実行する。一方、第2処理実行要求が入力されていた場合(ステップS211のYES)、状態判定部111は、ステップS110へ進んで第2処理を実行する。
以上のように構成及び動作することで、第2の実施形態では、運転者が不注意状態であることに限らず、車両1の自動制御において運転者が正常状態で着座していることを確保する必要がある制御イベントが発生することをトリガとして、第2処理を実行するように構成することが可能となる。その結果、車両通行帯を変更する制御や、右折又は左折をする制御など、運転者が正常状態で着座していることを確保する必要がある制御イベントが発生した場合でも、高精度の顔検出処理の結果に基づいて運転者に警報を発することが可能となるため、誤警報の少ない車載警報装置を実現することが可能となる。
なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
また、上述した実施形態では、第1処理を「軽い処理」とし、第2処理を「重い処理」とした場合を例示したが、このような構成に限定されない。例えば、異なる種類の顔検出処理の結果に基づくことで顔検出の精度を高める手法を用いることも可能である。その場合、例えば、第1処理として、数フレーム分の画像データを時系列情報として用いて顔検出処理を実行する、いわゆるRNN(Recurrent Neural Network)を利用した顔検出処理を採用し、第2処理として、1フレーム分の画像データを用いて顔検出処理を実行する、いわゆるCNN(Convolution Neural Network)を利用した顔検出処理を採用することができる。このような構成でも、上述した実施形態と同様に、平常時に実行された第1処理(例えばRNNを利用した顔検出処理)の結果に基づいて第2処理(例えばCNNを利用した顔検出処理)が実行される。RNNを利用した顔検出処理は数フレーム分の画像データを時系列情報として用いることから、RNNを第1処理に採用した場合には、各フレームから得られた顔検出結果の誤差が累積し、それにより、誤った顔検出結果が継続的に出力される可能性が存在する。そこで、運転者に対する警告の前に、単一フレーム分の画像データを用いるCNNを利用した顔検出処理を第2処理として実行することで、累積した誤差の影響を受けずに、運転者の状態を確定することができる。その結果、誤警報の少ない車載警報装置を実現することが可能となる。
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
Claims (5)
- 所定のフレームレートで入力される画像データそれぞれに対して第1の顔検出処理を実行する第1処理部と、
画像データに対して前記第1の顔検出処理とは異なる第2の顔検出処理を実行する第2処理部と、
警報を発する警報出力部と、
所定の条件が満たされた場合、入力された画像データに対する顔検出処理を、前記第1処理部による前記第1の顔検出処理から前記第2処理部による前記第2の顔検出処理に切り替え、前記第2の顔検出処理の結果、前記入力された画像データから検出された人物の状態が不注意状態である場合、前記警報出力部を制御して前記警報を発する状態判定部と、
を備える車載警報装置。 - 前記所定の条件は、前記所定のフレームレートで入力される画像データそれぞれから前記第1の顔検出処理によって検出された前記人物の不注意状態が所定時間以上継続していることである請求項1に記載の車載警報装置。
- 前記所定の条件は、車両の自動制御において、前記車両が走行する車両通行帯を変更する制御の予定が発生したこと、若しくは、前記車両を右折又は左折する制御の予定が発生したことである請求項1又は2に記載の車載警報装置。
- 前記第2の顔検出処理の顔検出精度は、前記第1の顔検出処理の顔検出精度よりも高い請求項1に記載の車載警報装置。
- 前記状態判定部は、前記第2の顔検出処理の結果、前記入力された画像データから検出された人物の状態が不注意状態である場合、新たに入力された画像データに対する顔検出処理を、前記第2処理部による前記第2の顔検出処理から再度、前記第1処理部による前記第1の顔検出処理に切り替え、前記第1の顔検出処理の結果、前記新たに入力された画像データから検出された前記人物の状態が前記不注意状態である場合、前記警報出力部を制御して前記警報を発する請求項1に記載の車載警報装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017219063A JP7073682B2 (ja) | 2017-11-14 | 2017-11-14 | 車載警報装置 |
JP2017-219063 | 2017-11-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019098091A1 true WO2019098091A1 (ja) | 2019-05-23 |
Family
ID=66539739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/041168 WO2019098091A1 (ja) | 2017-11-14 | 2018-11-06 | 車載警報装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7073682B2 (ja) |
WO (1) | WO2019098091A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112020006551T5 (de) * | 2020-01-17 | 2022-11-17 | Sony Semiconductor Solutions Corporation | Datenverarbeitungsvorrichtung, datenverarbeitungssystem, datenverarbeitungsverfahren und datenverarbeitungsprogramm |
JP7392536B2 (ja) * | 2020-03-19 | 2023-12-06 | いすゞ自動車株式会社 | 画像記憶制御装置及び画像記憶制御方法 |
WO2024100814A1 (ja) * | 2022-11-10 | 2024-05-16 | 三菱電機株式会社 | 異常姿勢検知装置、異常姿勢検知方法、および、車両制御システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03260900A (ja) * | 1990-03-12 | 1991-11-20 | Nissan Motor Co Ltd | 先行車両接近警報装置 |
JP2005062911A (ja) * | 2003-06-16 | 2005-03-10 | Fujitsu Ten Ltd | 車両制御装置 |
JP2009251647A (ja) * | 2008-04-01 | 2009-10-29 | Toyota Motor Corp | 運転者覚醒装置 |
JP2010097379A (ja) * | 2008-10-16 | 2010-04-30 | Denso Corp | ドライバモニタリング装置およびドライバモニタリング装置用のプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4297155B2 (ja) | 2006-10-13 | 2009-07-15 | トヨタ自動車株式会社 | 車載警告装置 |
-
2017
- 2017-11-14 JP JP2017219063A patent/JP7073682B2/ja active Active
-
2018
- 2018-11-06 WO PCT/JP2018/041168 patent/WO2019098091A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03260900A (ja) * | 1990-03-12 | 1991-11-20 | Nissan Motor Co Ltd | 先行車両接近警報装置 |
JP2005062911A (ja) * | 2003-06-16 | 2005-03-10 | Fujitsu Ten Ltd | 車両制御装置 |
JP2009251647A (ja) * | 2008-04-01 | 2009-10-29 | Toyota Motor Corp | 運転者覚醒装置 |
JP2010097379A (ja) * | 2008-10-16 | 2010-04-30 | Denso Corp | ドライバモニタリング装置およびドライバモニタリング装置用のプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019091205A (ja) | 2019-06-13 |
JP7073682B2 (ja) | 2022-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107798895B (zh) | 停止的车辆交通恢复警报 | |
CN108068621B (zh) | 停车控制装置、车辆及使车辆自动停车的方法 | |
US9751562B2 (en) | Park exit assist system | |
JP6341055B2 (ja) | 車載制御装置 | |
US20160075377A1 (en) | Parking assist system, parking assist method and parking assist control program | |
JP5794381B2 (ja) | 走行制御装置及び走行制御方法 | |
JP6400215B2 (ja) | 車両制御装置及び車両制御方法 | |
JP5256911B2 (ja) | 車両制御装置 | |
WO2019098091A1 (ja) | 車載警報装置 | |
US20080174415A1 (en) | Vehicle state information transmission apparatus using tactile device | |
JP2006256494A (ja) | 車両用走行支援装置 | |
US20200189653A1 (en) | Parking support apparatus | |
JP2021017112A (ja) | 運転支援装置 | |
JP2017218043A (ja) | 駐車評価装置 | |
JP2018122647A (ja) | 車両用警報装置 | |
WO2016002203A1 (ja) | 電子ミラー装置、電子ミラー装置の制御プログラム | |
JP2007038911A (ja) | 車両用警報装置 | |
JP2008149844A (ja) | 車両の警報装置 | |
JP6128026B2 (ja) | 自動ブレーキシステム | |
JP2010033443A (ja) | 車両制御装置 | |
JP2020117046A (ja) | 車載用報知装置 | |
JP2016061744A (ja) | 車両用の情報出力制御装置 | |
CN114026001B (zh) | 用于在单辙机动车辆中执行自主制动的方法和装置 | |
US10733438B2 (en) | Eyeball information detection device, eyeball information detection method, and occupant monitoring device | |
JP6965563B2 (ja) | 周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18877948 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18877948 Country of ref document: EP Kind code of ref document: A1 |