WO2019188926A1 - 余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体 - Google Patents

余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体 Download PDF

Info

Publication number
WO2019188926A1
WO2019188926A1 PCT/JP2019/012400 JP2019012400W WO2019188926A1 WO 2019188926 A1 WO2019188926 A1 WO 2019188926A1 JP 2019012400 W JP2019012400 W JP 2019012400W WO 2019188926 A1 WO2019188926 A1 WO 2019188926A1
Authority
WO
WIPO (PCT)
Prior art keywords
accuracy
face
driver
determination
threshold
Prior art date
Application number
PCT/JP2019/012400
Other languages
English (en)
French (fr)
Inventor
奈々 佐久間
和樹 稲垣
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/040,682 priority Critical patent/US11482020B2/en
Publication of WO2019188926A1 publication Critical patent/WO2019188926A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling

Definitions

  • the present invention relates to a side effect determination device, a side effect determination system, a side effect determination method, and a storage medium.
  • Patent Document 1 discloses a technique for detecting a driver's observation of a moving body such as a car.
  • a surplus is detected based on the line of sight of the face shown in the photographed image. However, if no face appears in the photographed image, no judgment is made in the first place. Even when the face is not shown, it is required to appropriately determine the appearance according to the driving situation.
  • An example of the object of the present invention is to provide a side effect determination device, a side effect determination system, a side effect determination method, and a storage medium that solve the above-described problems.
  • the look-off determination device is an image of an image in which a face whose accuracy as a face-likeness index is not less than a threshold for a plurality of images obtained by photographing the driver is not reflected.
  • the ratio is equal to or higher than a predetermined value, the accuracy of the face appearing in the image obtained by photographing the driver, and the threshold determination unit that determines that the driver is in a state of watching And an updating unit for updating based on.
  • the extraneous eye determination system includes an imaging device and an extraneous eye determination device.
  • the ratio of the images in which the accuracy that is an index of facialness is equal to or greater than a threshold and the number of images that do not show a face is greater than or equal to a predetermined value with respect to a plurality of images obtained by photographing the driver with the photographing device.
  • an extraneous determination determination unit that determines that the driver is in an extraneous state, and an update that updates the threshold based on the accuracy of a face shown in an image obtained by photographing the driver.
  • the third aspect of the present invention in the method of determining a look finding, an image in which a face whose accuracy as an index of facialness is not less than a threshold for a plurality of images obtained by photographing a driver is not reflected.
  • the ratio is equal to or greater than a predetermined value, it is determined that the driver is in an overlooked state, and the threshold is updated based on the accuracy of the face shown in the image obtained by photographing the driver.
  • the storage medium has a ratio of an image in which a face whose accuracy as an index of facialness is equal to or greater than a threshold is not reflected to a plurality of images obtained by photographing the driver. Is greater than or equal to a predetermined value, it is determined that the driver is in an overlooked state, and the threshold value is updated based on the accuracy of the face shown in the image obtained by photographing the driver. , Let the computer do that.
  • the embodiment of the present invention when it is determined that the face is not reflected based on the photographed image, it is possible to determine whether or not it is an extraordinary finding according to the driving situation.
  • FIG. 1 is a diagram showing an operating state monitoring system (remaining place determination system) 100 according to an embodiment of the present invention.
  • the driving situation monitoring system 100 includes a redundant look determination device 1 and a drive recorder 2 that is an aspect of the driving situation sensing device.
  • the look determination device 1 and the drive recorder 2 are connected via a wireless communication network or a wired communication network.
  • the drive recorder 2 is provided in a vehicle as an example.
  • the side finding determination device 1 is connected to a drive recorder 2 installed in each of a plurality of vehicles running in the city.
  • FIG. 2 is a hardware configuration diagram of the look finding determination apparatus 1.
  • the look determination device 1 is a computer having a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a database 104, a communication module 105, and the like. It is.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • FIG. 3 is a functional block diagram of the look finding determination apparatus 1.
  • the surplus finding determination device 1 is activated when the power is turned on, and executes a pre-stored finding determination program.
  • the aftersight determination device 1 exhibits at least the functions of the control unit 11, the information acquisition unit 12, the oversight start determination unit 13, the oversight determination unit 14, the determination result output unit 15, the accuracy determination unit 16, and the accuracy threshold update unit 17. To do.
  • the control unit 11 controls other functional units.
  • the information acquisition unit 12 acquires information transmitted from the drive recorder 2 such as a captured image, vehicle information, weather information, and acceleration information.
  • the extrasight start determination unit 13 determines whether to start the extratermination determination.
  • the remaining appearance determination unit 14 determines that the remaining appearance state is present. Further, when the time during which the face direction is not within the predetermined condition range is equal to or greater than a predetermined ratio per unit time, the residual finding determination unit 14 determines that it is in the residual state.
  • the residual finding determination unit 14 determines that it is in the residual state. Further, when the time when the accuracy of the face shown in the photographed image is not equal to or greater than the accuracy threshold is equal to or greater than a predetermined ratio per unit time, the surplus finding determination unit 14 determines that the state is a residual appearance state.
  • the determination result output unit 15 outputs the result of determination of the look-off.
  • the accuracy determination unit 16 determines whether or not the accuracy serving as an index of the facial appearance of the face shown in the acquired captured image is equal to or greater than the accuracy threshold.
  • the accuracy threshold update unit 17 updates the accuracy threshold based on the accuracy of the face shown in the captured image.
  • the accuracy threshold update unit 17 also calculates the statistical value of the accuracy of the face reflected in the captured image acquired in the time between the current time and the past time up to a predetermined time before the newly acquired image.
  • the accuracy threshold value is updated based on the deviation from the accuracy of the face of the image.
  • the accuracy threshold update unit 17 is capable of calculating the accuracy of the face appearing in the captured image is less than the accuracy threshold and greater than or equal to the accuracy threshold of each face appearing in the series of captured images received from the imaging device that transmitted the captured image.
  • the statistical value of the accuracy of the face shown in the captured image acquired in the time between the current time and the past time up to a predetermined time before the current time is the accuracy threshold value. If it is greater than or equal to the lower limit value, the accuracy threshold value is decreased.
  • the accuracy threshold update unit 17 is capable of calculating the accuracy of the face appearing in the captured image is less than the accuracy threshold and greater than or equal to the accuracy threshold of each face appearing in the series of captured images received from the imaging device that transmitted the captured image.
  • the statistical value of the accuracy of the face shown in the captured image acquired in the time between the current time and the past time up to a predetermined time before the current time is the lower limit of the accuracy threshold If it is less than the value, the accuracy threshold value is updated to the lower limit value.
  • the accuracy threshold update unit 17 adds the accuracy of the face shown in the captured image to the captured image acquired at a time between the current time and a past time up to a predetermined time before the current time, with the accuracy threshold or more. When the statistical value of the accuracy of the reflected face is higher than the current accuracy threshold value, the current accuracy threshold value is increased.
  • the accuracy threshold update unit 17 adds the accuracy of the face shown in the captured image to the captured image acquired at a time between the current time and a past time up to a predetermined time before the current time, with the accuracy threshold or more.
  • the accuracy threshold or more.
  • FIG. 4 is a diagram showing a hardware configuration of the drive recorder 2.
  • the drive recorder 2 includes an acceleration sensor 21, a communication device 22, a camera 23, a control device 24, and a storage device 25.
  • the acceleration sensor 21 detects the acceleration of the vehicle.
  • the communication device 22 is connected to the look determination device 1 for communication.
  • the camera 23 captures the outside and inside of the vehicle and generates a moving image and a still image.
  • the control device 24 controls each function of the drive recorder 2.
  • the storage device 25 stores moving images, still images, accelerations detected by the acceleration sensor 21, other information acquired from the outside of the drive recorder 2, and the like.
  • the drive recorder 2 is communicatively connected to the redundant finding determination apparatus 1 via a base station or the like.
  • the control device 24 of the drive recorder 2 is a computer having a CPU, ROM, RAM, and the like.
  • FIG. 5 is a functional block diagram of the control device 24 provided in the drive recorder 2.
  • the control device 24 executes a control program when the drive recorder is activated.
  • the control device 24 can function as a vehicle information acquisition unit 241, a weather information acquisition unit 242, an acceleration information acquisition unit 243, a captured image acquisition unit 244, a driving situation data transmission unit 245, and a captured image transmission unit 246. Become.
  • FIG. 6 is a diagram showing a processing flow of the drive recorder 2. Next, the processing flow of the driving situation monitoring system 100 will be described in order. First, operation state information transmission processing in the drive recorder 2 will be described.
  • the drive recorder 2 starts its operation (step S101).
  • the acceleration sensor 21 of the drive recorder 2 starts sensing the acceleration of the vehicle after the start of the drive recorder 2 (step S102).
  • the camera 23 starts photographing inside the vehicle and outside the vehicle (step S103).
  • the camera 23 includes an in-vehicle lens and an in-vehicle lens.
  • the camera 23 captures an object (a scene behind the forward direction (including the driver's face)) heading toward the driver's face in the vehicle using the inner lens.
  • the camera 23 photographs an object in the traveling direction outside the vehicle using the outside lens.
  • the vehicle information acquisition unit 241 of the control device 24 acquires vehicle information (step S104).
  • the vehicle information acquired by the vehicle information acquisition unit 241 may be a vehicle speed, a steering wheel angle, a blinker instruction direction, and the like detected by each sensor provided in the vehicle.
  • the weather information acquisition unit 242 acquires weather information (step S105).
  • the weather information may be information obtained from a sensor (wiper motion detector or raindrop detector) provided in the vehicle.
  • the control device 24 may determine that the weather is rainy when the wiper is operating or when the raindrop detector detects a raindrop.
  • the weather information acquisition unit 242 may acquire weather information from a server device provided in the Japan Meteorological Agency or a weather information providing company.
  • the weather information acquisition unit 242 may acquire information about the weather provided by the Japan Meteorological Agency or a weather information provider from the server device as the weather information.
  • the weather information acquisition unit 242 may acquire information obtained from a sensor or the like provided in the vehicle as weather information from the server device.
  • the drive recorder 2 may supply shooting data to the server device, the server device may extract weather information by image analysis using the shooting data, and the weather information acquisition unit 242 may acquire the weather information from the server device.
  • the acceleration information acquisition unit 243 acquires acceleration from the acceleration sensor 21 at predetermined time intervals (step S106).
  • the control device 24 acquires vehicle information, weather information, and acceleration at predetermined intervals.
  • the driving situation data transmission unit 245 instructs the communication device 22 to transmit vehicle information, weather information, and acceleration information to the look-ahead determination device 1 at predetermined intervals.
  • the communication device 22 transmits the vehicle information, weather information, and acceleration information to the remaining eye determination device 1 (step S107).
  • the captured image transmission unit 246 instructs the communication device 22 to transmit the captured image to the look-behind determination device 1.
  • the communication device 22 transmits the captured image to the look determination device 1 (step S108).
  • the control device 24 determines whether the process is finished (step S109), and repeats the process from step S102 until the process is finished.
  • the vehicle information, the weather information, the acceleration information, and the captured image may be given the ID of the drive recorder 2, the driver ID, and the sensing time (the time when the drive recorder 2 took an image).
  • acceleration and weather information are transmitted.
  • the look-off determination is performed using only the vehicle information, the information need not be transmitted.
  • FIG. 7 is a first diagram illustrating a processing flow of the look finding determination apparatus 1.
  • the information acquisition unit 12 sequentially associates a set of corresponding vehicle information, weather information, acceleration information, and captured images with each ID based on the ID of the drive recorder 2 and the ID of the driver, and sequentially stores the database 104.
  • indicates the extraordinary finding start determination part 13 and the extraordinary finding determination part 14 to perform an extraneous finding determination process.
  • the redundant observation start determination unit 13 identifies a certain drive recorder 2 and acquires sensing time, vehicle information, weather information, acceleration information, and a captured image recorded in association with the ID.
  • the redundant finding determination unit 14 determines whether the vehicle speed included in the vehicle information indicates a forward speed (forward), the blinker instruction direction does not specify a direction instruction, and the vehicle speed is equal to or higher than a predetermined speed (step S1). S202).
  • the predetermined speed may be a value such as 20 km / h as an example.
  • the remaining appearance determination unit 14 determines to start the remaining appearance determination when the vehicle speed indicates a forward direction, the blinker instruction is not specified, and the vehicle is at a predetermined speed or higher.
  • the surplus finding start determination unit 13 may determine to start the surplus finding determination using other information or additionally using other information.
  • the residual finding determination unit 14 may determine whether the acceleration is zero (0) or more, and may determine to start the residual finding determination when the acceleration is zero (0) or more.
  • the extraneous finding determination unit 14 may determine to start the extraordinary finding determination depending on whether or not the handle angle is within a predetermined range.
  • the predetermined range of the handle angle may be, for example, 10 degrees left and right with respect to the straight direction.
  • the extrasight determination unit 14 may determine to start the extrasight determination when the weather information indicates rain.
  • the surplus finding determination unit 14 may determine to start the surplus finding determination based on a photographed image outside the vehicle.
  • the surplus finding determination unit 14 determines to start the surplus finding determination, the surplus finding determination unit 14 instructs the start.
  • the remainder finding determination unit 14 repeats the determination process for determining whether or not to start the finding of the finding at predetermined intervals.
  • the surplus finding determination unit 14 receives, from the information acquisition unit 12, a captured image that the information acquisition unit 12 has already acquired based on the ID of the current processing target drive recorder 2. When it is determined that the extraneous judgment determination unit 14 starts the extraneous judgment determination, the captured images received from the drive recorder 2 are sequentially read at predetermined intervals.
  • the remainder finding determination unit 14 After reading the photographed image, the remainder finding determination unit 14 performs a face detection process for judging whether or not the face is reflected in the photographed image to such an extent that the judgment can be continued.
  • the redundant finding determination unit 14 determines whether a face can be detected in the newly acquired captured image (step S203).
  • the redundant finding determination unit 14 can detect a face in the captured image when the accuracy of the face captured in the captured image is equal to or greater than the accuracy threshold.
  • the look finding determination unit 14 cannot detect a face in the captured image when the accuracy of the face in the captured image is smaller than the accuracy threshold. In other words, the redundant finding determination unit 14 determines that a face has been detected when the accuracy of the face in the captured image is greater than or equal to the accuracy threshold.
  • the redundant finding determination unit 14 determines that no face has been detected when the accuracy of the face in the captured image is smaller than the accuracy threshold.
  • the face finding determination unit 14 detects a face in the newly acquired photographed image, it performs the next face direction detection process. If the face determination unit 14 cannot detect a face in the newly acquired captured image, the captured image at the sensing time up to a predetermined period in the past with reference to the sensing time of the newly acquired captured image is a predetermined ratio or more. It is determined whether or not a face is reflected in the photographed image (whether the accuracy of the face reflected in the photographed image is not more than the accuracy threshold) (step S204).
  • the look finding determination unit 14 determines whether or not the ratio of images in which a face having an accuracy greater than or equal to a threshold is reflected is greater than or equal to a predetermined value for captured images at a sensing time during a past predetermined period. If the face is not reflected in a predetermined ratio (for example, 50%) or more of the captured images acquired during a predetermined period (for example, 1 second), the redundant appearance determination unit 14 makes a redundant appearance. (Step S205). When the ratio of images that do not show a face is less than a predetermined value in the captured images acquired during a predetermined period, the surplus finding determination unit 14 starts the surplus finding determination without determining that the driver is looking around.
  • the extraneous finding determination unit 14 may determine that the accuracy of the face shown in the captured image is less than the accuracy threshold.
  • the look-off determination unit 14 may determine that the face is not reflected in the photographed image to the extent that the look-ahead determination can be continued. In this case, the look finding determination unit 14 may determine to end the process.
  • the remainder finding determination unit 14 determines whether the face direction in the newly acquired captured image is within a predetermined range (face direction condition range) based on the straight direction (step S206).
  • the predetermined range may be a range of 10 degrees on the left and right with respect to the straight direction.
  • the redundant look determination unit 14 may change the width of the predetermined range based on the current vehicle speed. For example, when the speed is low, the driver is more likely to view a wide range. For this reason, the look finding determination unit 14 may widen the predetermined range (width) to 20 degrees on the left and right with respect to the straight direction.
  • the redundant look determination unit 14 performs a gaze direction detection process.
  • the extraneousness determination unit 14 captures images up to a predetermined time period (for example, 1 second) based on the sensing time of the newly acquired captured image. Acquire the image look-out determination result.
  • the remainder finding determination unit 14 determines whether or not the ratio of the photographed images in which the face direction is within a predetermined range with reference to the straight traveling direction is equal to or greater than a predetermined value (for example, 50%) based on the determination results (step S207).
  • the redundant finding determination unit 14 may change the predetermined value in the process of determining whether the ratio of the captured image in which the face direction is within a predetermined range with the straight direction as a reference is greater than or equal to the predetermined value. For example, the redundant finding determination unit 14 decreases the predetermined value as the vehicle speed decreases.
  • the redundant finding determination unit 14 decreases the predetermined value as the vehicle speed decreases.
  • the remainder finding determination unit 14 determines whether the gaze direction in the newly acquired captured image is within a predetermined range (gaze direction condition range) based on the straight direction (step S209).
  • the predetermined range may be a range of 10 degrees to the left or right with respect to the straight direction.
  • the predetermined range width
  • the surplus finding determination unit 14 determines whether to start the surrogate judgment without determining that the driver is looking around. Return.
  • the extraneousness determination unit 14 determines a period up to a predetermined period (for example, 1 second) based on the sensing time of the newly acquired captured image. The result of determining the appearance of the captured image is acquired.
  • the redundant observation determination unit 14 determines whether or not the ratio of the photographed images in which the driver's line of sight is within a predetermined range based on the straight direction is equal to or greater than a predetermined value (for example, 50%) based on the determination results (step S210).
  • the redundant finding determination unit 14 may change the predetermined value in the process of determining whether the ratio of the captured image in which the driver's line of sight is within a predetermined range based on the straight direction is greater than or equal to the predetermined value. For example, the redundant finding determination unit 14 decreases the predetermined value as the vehicle speed decreases.
  • the redundant finding determination unit 14 decreases the predetermined value as the vehicle speed decreases.
  • the extra finding determination unit 14 instructs the determination result output unit 15 to output the extra finding determination result.
  • the determination result output unit 15 obtains the ID of the drive recorder 2 associated with the data used when it is determined that an extra observation is performed. Based on the ID of the drive recorder 2, the determination result output unit 15 acquires the network address as the transmission destination from the database 104. The destination network address is recorded in the database 104 in advance.
  • the determination result output unit 15 transmits information indicating the detection of the presence finding to the transmission destination (step S212).
  • the determination result output unit 15 may record information indicating the detection of redundant observations in the database 104 in association with the ID of the drive recorder 2 or the driver's ID.
  • the redundant finding determination unit 14 determines whether to end the process (step S213). If the process is not terminated, the look determination device 1 then repeats the same process at predetermined intervals using the process received from the drive recorder 2.
  • the drive recorder 2 receives information indicating that it is detected that the driver is looking around.
  • the drive recorder 2 performs a process of notifying the driver of the detection of the extraordinary finding such as sending an alarm sound. As a result, the driver can recognize the unnecessary driving.
  • FIG. 8 is a second diagram showing a processing flow of the look finding determination apparatus 1.
  • the accuracy determination unit 16 calculates the accuracy of the face shown in the captured image in the face detection process in step S203 described above, and determines whether the calculated accuracy is equal to or greater than the accuracy threshold. Thereby, the accuracy determination unit 16 determines whether or not a face can be detected in the captured image (step S301). That is, the accuracy determination unit 16 determines whether a face is detected in the captured image.
  • the accuracy is a value (for example, the unit is a percentage) that is an index of facialness. If the value of accuracy is high, the accuracy of face detection is high. If the accuracy value is low, the accuracy of face detection is low.
  • the accuracy determination unit 16 detects that there is a face in the captured image when the accuracy of the face captured in the captured image is equal to or greater than the accuracy threshold. On the other hand, the accuracy determination unit 16 does not detect that there is a face in the captured image when the accuracy of the face in the captured image is smaller than the accuracy threshold.
  • the accuracy threshold update unit 17 executes an accuracy threshold update process in which the accuracy threshold is updated based on the accuracy of the face shown in the captured image in parallel with the above-described finding determination process.
  • the accuracy threshold update unit 17 performs an accuracy threshold increase update process when a face is detected in the accuracy threshold update process.
  • the accuracy threshold update unit 17 performs a process of reducing and updating the next accuracy threshold.
  • the accuracy threshold update unit 17 determines whether the accuracy of each face shown in the series of captured images received from the drive recorder 2 is not greater than or equal to the accuracy threshold in the process of updating by reducing the accuracy threshold (step S302). For example, the accuracy threshold value update unit 17 starts a residual finding determination process and continues to be in a state where the accuracy is less than or equal to the accuracy threshold value for a predetermined time or until a predetermined period in the past based on the sensing time of a newly acquired captured image. If the accuracy during the period is not more than the accuracy threshold, it is determined that the accuracy of the face shown in the series of captured images is not more than the accuracy threshold. The accuracy threshold update unit 17 ends the process when the accuracy of the face shown in the series of captured images is equal to or greater than the accuracy threshold.
  • the accuracy threshold update unit 17 is a predetermined time before the sensing time (current time) of the newly acquired captured image and the sensing time as a reference. It is determined whether or not the average value (statistical value) of the accuracy of the face shown in the captured image acquired in the time period until the past time is equal to or higher than the lower limit value of the accuracy threshold value (step S303).
  • the accuracy threshold update unit 17 reduces the current accuracy threshold value when the average accuracy value is equal to or greater than the lower limit value of the accuracy threshold value (step S304). For example, the accuracy threshold update unit 17 reduces the accuracy threshold value to the average value of the calculated accuracy. Alternatively, when the calculated average value of the accuracy does not become a value less than the lower limit value of the new accuracy threshold, the accuracy threshold update unit 17 obtains a value obtained by subtracting a predetermined value or a predetermined ratio from the current accuracy threshold value. May be used as a new threshold. When the average value of the accuracy is less than the lower limit value of the accuracy threshold value, the threshold update unit 17 updates the accuracy threshold value to the lower limit value (step S305).
  • the accuracy threshold update unit 17 When a face is detected in step S301, the accuracy threshold update unit 17 performs an update process by increasing the accuracy threshold. In this process, the accuracy threshold update unit 17 applies the captured image acquired at a time between the sensing time (current time) of the newly acquired captured image and a past time up to a predetermined time before the sensing time as a reference. It is determined whether the average value of the accuracy of the reflected face is higher than a current accuracy threshold value by a predetermined value or more (step S306).
  • the predetermined time for calculating the average value of accuracy may be different from the predetermined time for calculating the average value of accuracy in step S303, or may be the same time.
  • the accuracy threshold update unit 17 increases the current accuracy threshold value when the average accuracy value is higher than the current accuracy threshold value by a predetermined value or more (step S307). For example, the accuracy threshold update unit 17 updates the accuracy threshold value to the average value of the calculated accuracy. Alternatively, if the new accuracy threshold is larger than the current accuracy threshold, the accuracy threshold update unit 17 may use a value obtained by subtracting a predetermined value from the calculated average value of the accuracy as the accuracy threshold value.
  • the accuracy threshold update unit 17 stops changing the current accuracy threshold value when the average accuracy value is lower than the current accuracy threshold value (step S308). That is, the accuracy threshold update unit 17 does not change the accuracy threshold value when the average accuracy value is lower than the current accuracy threshold value.
  • the extraneous finding determination apparatus 1 connected to the communication network as a cloud server performs the extraordinary finding determination.
  • the above-described extraneous judgment determination process may be performed by the drive recorder 2 alone. That is, the drive recorder 2 may operate as the look-ahead determination device 1. In this case, even if the drive recorder 2 exhibits the same functions as the information acquisition unit 12, the surplus finding start determination unit 13, the surplus finding determination unit 14, the determination result output unit 15, the accuracy determination unit 16, and the accuracy threshold update unit 17. Good.
  • the vehicle-mounted device mounted in the vehicle connected to the drive recorder 2 is an information acquisition unit 12, an extrasight start determination unit 13, an extrasight determination unit 14, a determination result output unit 15, an accuracy determination unit 16, and an accuracy threshold update. A function similar to that of the unit 17 may be exhibited. In this case, the vehicle-mounted device operates as the after-effect determination device 1.
  • the remainder determination apparatus 1 performs the process which expands the range on the basis of the straight-ahead direction in the case of determining that there is a possibility of the presence determination according to the decrease in the vehicle speed. For this reason, it is possible to perform a finding determination based on an appropriate face direction and line-of-sight range according to the speed.
  • the remainder determination apparatus 1 decreases the predetermined value as the speed decreases in the process of determining whether the ratio of the image in which the line of sight is within the predetermined range based on the straight direction is equal to or greater than the predetermined value. As a result, it is possible to perform a finding determination based on an appropriate face direction and line-of-sight range according to the speed.
  • the look-ahead determination apparatus 1 can automatically adjust the accuracy threshold value (threshold value) which is a condition for detecting a face according to the driver's state.
  • the face detection device 1 detects the face by reducing the accuracy threshold when the face cannot be detected once after the start of the look detection process or when the face cannot be detected for a predetermined time or longer. Can be easier.
  • the extraneousness determination device 1 can prevent an unnecessary decrease in the accuracy of the extraordinary finding determination by automatically increasing the accuracy threshold.
  • FIG. 9 is a diagram showing a configuration of a look finding determination apparatus according to another embodiment of the present invention.
  • the residual finding determination device 1 may include at least the redundant finding determination unit 14, the accuracy determination unit 16, and the accuracy threshold update unit 17.
  • the accuracy determination unit 16 determines whether or not the accuracy serving as an index of the facial appearance of the face shown in the acquired captured image is equal to or greater than the accuracy threshold.
  • the surplus finding determination unit 14 determines that the state is a residual finding state.
  • the accuracy threshold update unit 17 updates the accuracy threshold based on the accuracy of the face shown in the captured image.
  • the above-mentioned extraneousness determination device 1 and drive recorder 2 have a computer system inside.
  • Each process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing the program.
  • the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
  • the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
  • the program may be for realizing a part of the functions described above. Further, the program may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.
  • difference file difference program
  • the present invention may be applied to an aftersight determination device, an aftersight determination system, an aftersight determination method, and a storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

余所見判定装置は、運転者を撮影することにより得られた複数の画像に対する、顔らしさの指標となる確度が閾値以上である顔が映っていない画像の割合が所定値以上である場合に、前記運転者が余所見している状態であると判定する余所見判定部と、前記閾値を、前記運転者を撮影することにより得られた画像に映る顔の確度に基づいて更新する更新部と、を備える。

Description

余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体
　本発明は、余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体に関する。
　車等の移動体を操作する運転者の余所見を検知する技術が特許文献１に開示されている。
国際公開第２０１６／０５２５０７号
　上述のような運転時の余所見を判定する技術では撮影画像に映る顔の視線に基づいて余所見の検知を行う。しかしながら撮影画像に顔が映っていない場合にはそもそも余所見判定を行っていない。顔が映っていない場合でも運転状況に応じて適切に余所見判定を行うことが求められている。
　この発明の目的の一例は、上述の課題を解決する余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体を提供することである。
　本発明の第１の態様によれば、余所見判定装置は、運転者を撮影することにより得られた複数の画像に対する、顔らしさの指標となる確度が閾値以上である顔が映っていない画像の割合が所定値以上である場合に、前記運転者が余所見している状態であると判定する余所見判定部と、前記閾値を、前記運転者を撮影することにより得られた画像に映る顔の確度に基づいて更新する更新部と、を備える。
　本発明の第２の態様によれば、余所見判定システムは、撮影装置と余所見判定装置とを備える。前記余所見判定装置が、前記撮影装置によって運転者を撮影することにより得られた複数の画像に対する、顔らしさの指標となる確度が閾値以上である顔が映っていない画像の割合が所定値以上である場合に、前記運転者が余所見している状態であると判定する余所見判定部と、前記閾値を、前記運転者を撮影することにより得られた画像に映る顔の確度に基づいて更新する更新部と、を備える。
　本発明の第３の態様によれば、余所見判定方法は、運転者を撮影することにより得られた複数の画像に対する、顔らしさの指標となる確度が閾値以上である顔が映っていない画像の割合が所定値以上である場合に、前記運転者が余所見している状態であると判定し、前記閾値を、前記運転者を撮影することにより得られた画像に映る顔の確度に基づいて更新する、ことを含む。
　本発明の第４の態様によれば、記憶媒体は、運転者を撮影することにより得られた複数の画像に対する、顔らしさの指標となる確度が閾値以上である顔が映っていない画像の割合が所定値以上である場合に、前記運転者が余所見している状態であると判定し、前記閾値を、前記運転者を撮影することにより得られた画像に映る顔の確度に基づいて更新する、ことをコンピュータに実行させる。
　本発明の実施形態によれば、撮影画像に基づいて顔が映っていないと判定された場合に運転状況に応じて余所見であるか否かを判定することができる。
本発明の実施形態による運転状況監視システムを示す図である。 本発明の実施形態による余所見判定装置のハードウェア構成図である。 本発明の実施形態による余所見判定装置の機能ブロック図である。 本発明の実施形態によるドライブレコーダのハードウェア構成を示す図である。 本発明の実施形態によるドライブレコーダの制御装置の機能ブロック図である。 本発明の実施形態によるドライブレコーダの処理フローを示す図である。 本発明の実施形態による余所見判定装置の処理フローを示す第一の図である。 本発明の実施形態による余所見判定装置の処理フローを示す第二の図である。 本発明の別の実施形態による余所見判定装置の構成を示す図である。
　以下、本発明の実施形態による余所見判定装置を図面を参照して説明する。
　図１は本発明の実施形態による運転状況監視システム（余所見判定システム）１００を示す図である。
　図１で示すように運転状況監視システム１００は余所見判定装置１と、運転状況センシング装置の一態様であるドライブレコーダ２とを含む。余所見判定装置１とドライブレコーダ２とは無線通信ネットワークや有線通信ネットワークを介して接続される。ドライブレコーダ２は一例としては車両に設けられている。余所見判定装置１は市中を走る複数の車両にそれぞれ設置されたドライブレコーダ２と通信接続する。
　図２は余所見判定装置１のハードウェア構成図である。
　図２が示すように余所見判定装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。
　図３は余所見判定装置１の機能ブロック図である。
　余所見判定装置１は電源が投入されると起動し、予め記憶する余所見判定プログラムを実行する。これにより余所見判定装置１は、制御部１１、情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５、確度判定部１６、確度閾値更新部１７としての機能を少なくとも発揮する。
　制御部１１は他の機能部を制御する。
　情報取得部１２は撮影画像、車両情報、天候情報、加速度情報などのドライブレコーダ２から送信された情報を取得する。
　余所見開始判定部１３は余所見判定を開始するかを判定する。
　余所見判定部１４は顔が検出できない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は顔方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は顔方向が所定の条件範囲内でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。また余所見判定部１４は撮影画像に映る顔の確度が確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。
　判定結果出力部１５は余所見判定結果を出力する。
　確度判定部１６は取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する。
　確度閾値更新部１７は確度閾値を撮影画像に映る顔の確度に基づいて更新する。また確度閾値更新部１７は現在時刻とその現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値と、新たに取得した撮影画像の顔の確度との乖離に基づいて確度閾値を更新する。また確度閾値更新部１７は、撮影画像に映る顔の確度が確度閾値未満で、撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の確度閾値以上の確度の算出ができていない状況である場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値が、確度閾値の下限値以上である場合には確度閾値の値を減じる。また確度閾値更新部１７は、撮影画像に映る顔の確度が確度閾値未満で、撮影画像を送信した撮影装置から受信した一連の撮影画像に映る各顔の確度閾値以上の確度の算出ができていない状況でない場合であって、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値が、確度閾値の下限値未満である場合には確度閾値を下限値に更新する。また確度閾値更新部１７は、撮影画像に映る顔の確度が確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値が、現在の確度閾値の値よりも高い場合には、現在の確度閾値の値を増加させる。また確度閾値更新部１７は、撮影画像に映る顔の確度が確度閾値以上で、現在時刻と当該現在時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の統計値が、現在の確度閾値の値よりも低い場合には、現在の確度閾値の値の変更を停止する。
　図４はドライブレコーダ２のハードウェア構成を示す図である。
　ドライブレコーダ２は、加速度センサ２１、通信装置２２、カメラ２３、制御装置２４、記憶装置２５を含む。加速度センサ２１は車両の加速度を検知する。通信装置２２は余所見判定装置１と通信接続する。カメラ２３は車両の外部や内部を撮影して動画像、静止画像を生成する。
　制御装置２４はドライブレコーダ２の各機能を制御する。記憶装置２５は動画像、静止画像、加速度センサ２１で検知した加速度やその他のドライブレコーダ２の外部から取得した情報等を記憶する。ドライブレコーダ２は基地局等を介して余所見判定装置１と通信接続する。ドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。
　図５はドライブレコーダ２に備わる制御装置２４の機能ブロック図である。
　制御装置２４はドライブレコーダが起動すると制御プログラムを実行する。これにより制御装置２４は、車両情報取得部２４１、天候情報取得部２４２、加速度情報取得部２４３、撮影画像取得部２４４、運転状況データ送信部２４５、撮影画像送信部２４６としての機能が発揮可能になる。
　図６はドライブレコーダ２の処理フローを示す図である。
　次に運転状況監視システム１００の処理フローについて順を追って説明する。
　まずドライブレコーダ２における運転状況情報の送信処理について説明する。
　車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２の加速度センサ２１はドライブレコーダ２の始動後に車両の加速度のセンシングを開始する（ステップＳ１０２）。またカメラ２３は車両の内部および車両の外部の撮影を開始する（ステップＳ１０３）。なおカメラ２３は車内側レンズと車外側レンズを備える。カメラ２３は車内側レンズを用いて車内の運転者の顔の方向に向かう対象物（前進方向の後方の光景（運転者の顔を含む））を撮影する。カメラ２３は車外側レンズを用いて車外の進行方向の対象物を撮影する。
　そしてドライブレコーダ２の動作中、制御装置２４の車両情報取得部２４１は車両情報を取得する（ステップＳ１０４）。車両情報取得部２４１が取得する車両情報は車両に備わる各センサによって検出された車速、ハンドル角度、ウィンカー指示方向などであってよい。天候情報取得部２４２は天候情報を取得する（ステップＳ１０５）。天候情報は車両に備わるセンサ（ワイパー動作検出器や雨滴検出器）などから得られる情報であってよい。制御装置２４は、ワイパーが動作している場合や、雨滴検出器が雨滴を検出している場合には天候が雨天であると判定してよい。天候情報取得部２４２は、天候情報を気象庁や天候情報提供企業に備わるサーバ装置から取得してもよい。この場合、天候情報取得部２４２は、サーバ装置から、天候情報として、気象庁や天候情報提供企業から提供された天候に関する情報を取得してもよい。天候情報取得部２４２は、サーバ装置から、天候情報として、車両に備わるセンサなどから得られた情報を取得してもよい。ドライブレコーダ２がサーバ装置に撮影データを供給し、サーバ装置がその撮影データを用いて画像解析により天候情報を抽出し、天候情報取得部２４２がその天候情報をサーバ装置から取得してもよい。加速度情報取得部２４３は、加速度センサ２１から所定の時間間隔毎に加速度を取得する（ステップＳ１０６）。制御装置２４は車両情報、天候情報、加速度を所定の間隔毎に取得する。
　運転状況データ送信部２４５は所定の間隔毎に車両情報、天候情報、加速度情報を余所見判定装置１へ送信するよう通信装置２２に指示する。通信装置２２は車両情報、天候情報、加速度情報を余所見判定装置１へ送信する（ステップＳ１０７）。撮影画像送信部２４６は撮影画像を余所見判定装置１へ送信するよう通信装置２２に指示する。通信装置２２は撮影画像を余所見判定装置１へ送信する（ステップＳ１０８）。制御装置２４は処理終了かを判定し（ステップＳ１０９）、処理終了までステップＳ１０２からの処理を繰り返す。車両情報、天候情報、加速度情報、撮影画像には、ドライブレコーダ２のＩＤ、運転者のＩＤ、センシング時刻（ドライブレコーダ２が撮像を行った時刻）が付与されてよい。なお上述の処理においては、加速度や、天候情報を送信している。しかしながら、車両情報のみで余所見判定を行う場合には、それらの情報を送信しなくてもよい。
　図７は余所見判定装置１の処理フローを示す第一の図である。
　余所見判定装置１において情報取得部１２はドライブレコーダ２のＩＤ、運転者のＩＤに基づいて、対応する車両情報、天候情報、加速度情報、撮影画像の組を、各ＩＤに紐づけて順次データベース１０４へ記録する（ステップＳ２０１）。そして制御部１１は余所見判定処理を行うよう余所見開始判定部１３、余所見判定部１４に指示する。
　余所見開始判定部１３はある一つのドライブレコーダ２を特定し、そのＩＤに紐づいて記録されているセンシング時刻、車両情報、天候情報、加速度情報、撮影画像を取得する。余所見判定部１４は車両情報に含まれる車速が前方方向の速度（前進）を示し、かつウィンカー指示方向が方向指示を指定しておらず、車速が所定の速度以上であるかを判定する（ステップＳ２０２）。所定の速度は一例としては２０ｋｍ／ｈなど値であってもよい。余所見判定部１４は車速が前進を示し、ウィンカー指示を指定しておらず、車両が所定の速度以上である場合に余所見判定を開始すると決定する。
　余所見開始判定部１３は他の情報を利用して、または他の情報を追加で利用して余所見判定を開始すると決定してもよい。例えば、余所見判定部１４は加速度が零（０）以上かを判定して、加速度が零（０）以上である場合に余所見判定を開始すると決定してもよい。また余所見判定部１４はハンドル角度が所定の範囲内か否かによって余所見判定を開始すると決定してもよい。ハンドル角度の所定の範囲は例えば直進方向を基準とする左右１０度などであってよい。また余所見判定部１４は天候情報が雨を示す場合に余所見判定を開始すると決定してもよい。余所見判定部１４は車外の撮影画像に基づいて余所見判定を開始すると決定してもよい。例えば、撮影画像の直進方向に対象物が映る場合、撮影画像に車線のカーブが映る場合、余所見判定を開始すると決定してよい。余所見判定部１４は余所見判定を開始すると決定すると、余所見判定部１４は開始を指示する。余所見判定部１４は余所見判定を開始するかどうかの判定処理を所定の間隔毎に繰り返す。
　余所見判定部１４は現在の処理対象のドライブレコーダ２のＩＤに基づいて情報取得部１２が既に取得している撮影画像をその情報取得部１２から受信する。余所見判定部１４は余所見判定を開始すると決定した場合、所定の間隔毎にドライブレコーダ２から受信する撮影画像を順次読み取る。
　余所見判定部１４は撮影画像を読み取ると、余所見判定を続けることが出来る程度に撮影画像に顔が映っているかを判定する顔検出処理を行う。余所見判定部１４は新たに取得した撮影画像内に顔を検出できるかを判定する（ステップＳ２０３）。余所見判定部１４は撮影画像に写る顔の確度が確度閾値以上である場合に撮影画像内に顔を検出できる。余所見判定部１４は撮影画像に写る顔の確度が確度閾値より小さい場合に撮影画像内に顔を検出できない。すなわち、余所見判定部１４は撮影画像に写る顔の確度が確度閾値以上である場合に顔が検出されたと判定する。余所見判定部１４は撮影画像に写る顔の確度が確度閾値より小さい場合に顔が検出されなかったと判定する。余所見判定部１４は新たに取得した撮影画像内に顔を検出した場合、次の顔方向検出処理を行う。余所見判定部１４は新たに取得した撮影画像内に顔を検出できない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間のセンシング時刻の撮影画像について、所定割合以上の撮影画像に顔が映っていないか（撮影画像に映る顔の確度が確度閾値以上でないか）を判定する（ステップＳ２０４）。すなわち、余所見判定部１４は、過去の所定期間の間のセンシング時刻の撮影画像について、閾値以上の確度の顔が映っている画像の割合が、所定値以上であるかを判定する。余所見判定部１４は、所定期間（例えば、１秒）の間に取得した撮影画像について、所定割合（例えば、５割）以上の画像で顔が映っていない場合、運転者が余所見をしていると判定する（ステップＳ２０５）。余所見判定部１４は、所定期間の間に取得した撮影画像について、顔が映っていない画像の割合が所定値未満の場合、運転者が余所見していると判定せずに、余所見判定を開始するかを判定する処理に戻る。例えば、余所見判定部１４は、撮影画像から目が検出できない場合に、撮影画像に写る顔の確度が確度閾値未満であると判定してもよい。
　上述の顔検出処理において余所見判定部１４は、運転者が眼鏡やマスクをかけている場合、余所見判定を続けることが出来る程度に撮影画像に顔が映っていないと判定されてもよい。この場合、余所見判定部１４は処理を終了すると判定してもよい。
　余所見判定部１４は顔方向検出処理において、新たに取得した撮影画像内の顔方向が直進方向を基準とする所定の範囲（顔方向条件範囲）内かを判定する（ステップＳ２０６）。所定範囲は直進方向を基準として左右１０度などの範囲であってもよい。余所見判定部１４は現在の車速に基づいて所定範囲の広さを変更してもよい。例えば速度が低い場合には、運転者が広い範囲を目視する可能性が高くなる。このため、余所見判定部１４は、所定範囲（幅）を直進方向を基準とする左右２０度などと広げるようにしてもよい。余所見判定部１４は新たに取得した撮影画像内の顔方向が所定の範囲内である場合、視線方向検出処理を行う。余所見判定部１４は新たに取得した撮影画像内の顔方向が所定の範囲内でない場合、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間（例えば、１秒）までの間の撮影画像の余所見判定結果を取得する。余所見判定部１４はそれら判定結果について、顔の方向が直進方向を基準とする所定範囲内となる撮影画像の割合が所定値（例えば、５割）以上かを判定する（ステップＳ２０７）。余所見判定部１４は、所定期間の間に取得した撮影画像について、顔の方向が直進方向を基準とする所定範囲内となる撮影画像の割合が所定値以上でない場合、運転者が余所見をしていると判定する（ステップＳ２０８）。余所見判定部１４は、顔の方向が直進方向を基準とする所定範囲内となる撮影画像の割合が所定値以上かを判定する処理において所定値を変動させてもよい。例えば余所見判定部１４は、所定値を車両の速度が低下するほど減少させる。ここで、車両の速度が低い場合には、運転者が広範囲を目視する可能性が高い。このような場合に、所定値を下げることで、運転者が広範囲を目視したとしても運転者が余所見していると判定とされない。このため、運転者に対する必要以上の余所見アラートの出力を削減することができる。
　余所見判定部１４は視線方向検出処理において、新たに取得した撮影画像内の視線方向が直進方向を基準とする所定の範囲（視線方向条件範囲）内かを判定する（ステップＳ２０９）。所定範囲は直進方向を基準として左右１０度などの範囲であってよい。余所見判定部１４は車両の速度が低い場合には、運転者が広い範囲を目視する可能性が高くなる。このため、このような場合、所定範囲（幅）を直進方向を基準とする左右２０度などと広げるようにしてもよい。余所見判定部１４は新たに取得した撮影画像に映る顔の視線方向が所定の範囲内である場合、運転者が余所見していると判定せずに、余所見判定を開始するかを判定する処理に戻る。余所見判定部１４は新たに取得した撮影画像に映る顔の視線方向が所定の範囲内でない場合、その新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間（例えば、１秒）までの間の撮影画像の余所見判定結果を取得する。余所見判定部１４はそれら判定結果について、運転者の視線が直進方向を基準とする所定範囲内となる撮影画像の割合が所定値（例えば、５割）以上かを判定する（ステップＳ２１０）。余所見判定部１４は、所定期間の間に取得した撮影画像について、運転者の視線が直進方向を基準とする所定範囲内となる撮影画像の割合が所定値以上でない場合、運転者が余所見をしていると判定する（ステップＳ２１１）。余所見判定部１４は、運転者の視線が直進方向を基準とする所定範囲内となる撮影画像の割合が所定値以上かを判定する処理において、その所定値を変動させてもよい。例えば余所見判定部１４は、所定値を車両の速度が低下するほど減少させる。ここで、上述のように、車両の速度が低い場合には、運転者が広範囲を目視する可能性が高い。このような場合に、運転者が広範囲を目視したとしても運転者が余所見していると判定とされない。その結果、運転者に対する必要以上の余所見アラートの出力を削減することができる。
　余所見判定部１４は余所見が行われていると判定した場合には、判定結果出力部１５へ余所見判定結果を出力するよう指示する。判定結果出力部１５は余所見が行われていると判定した際に利用されたデータに関連付けられているドライブレコーダ２のＩＤを取得する。判定結果出力部１５はドライブレコーダ２のＩＤに基づいてその送信先となるネットワークアドレスをデータベース１０４から取得する。送信先のネットワークアドレスは予めデータベース１０４に記録しておく。判定結果出力部１５はその送信先に余所見検知を示す情報を送信する（ステップＳ２１２）。判定結果出力部１５は余所見検知を示す情報を、ドライブレコーダ２のＩＤや運転者のＩＤに紐づけてデータベース１０４に記録してもよい。余所見判定部１４は処理を終了するかを判定する（ステップＳ２１３）。処理を終了しない場合、余所見判定装置１は次にドライブレコーダ２から受信した処理を用いて同様の処理を所定間隔毎に繰り返す。
　ドライブレコーダ２は運転者が余所見していることが検知されたことを示す情報を受信する。ドライブレコーダ２は余所見検知の情報を受信すると、アラーム音を発信するなど、余所見検知を運転者に知らせる処理を行う。これにより運転者は余所見運転を認識することができる。
　図８は余所見判定装置１の処理フローを示す第二の図である。
　余所見判定検出装置１において確度判定部１６は上述したステップＳ２０３の顔検出処理で撮像画像に映る顔の確度を算出し、算出した確度が確度閾値以上であるかを判定する。これにより確度判定部１６は撮影画像内に顔を検出できるかを判定する（ステップＳ３０１）。すなわち、確度判定部１６は撮影画像内に顔を検出されたかを判定する。確度は顔らしさの指標となる値（例えば単位はパーセント）である。確度の値が高ければ顔検出の精度が高い。確度の値が低ければ顔検出の精度が低い。よって確度判定部１６は撮影画像に写る顔の確度が確度閾値以上である場合に撮影画像内に顔があると検出する。一方で、確度判定部１６は撮影画像に写る顔の確度が確度閾値より小さい場合に撮影画像内に顔があると検出しない。
　確度閾値更新部１７が確度閾値を撮影画像に映る顔の確度に基づいて更新する確度閾値更新処理を上述した余所見判定処理と並行して実行する。確度閾値更新部１７は確度閾値更新処理において、顔を検出した場合、確度閾値増加更新処理を行う。一方で、確度閾値更新部１７は確度閾値更新処理において、顔を検出できない場合、次の確度閾値を低下させて更新する処理を行う。
　確度閾値更新部１７は確度閾値を低下させて更新する処理において、ドライブレコーダ２から受信した一連の撮影画像に映る各顔の確度が確度閾値以上でない状況であるかを判定する（ステップＳ３０２）。例えば確度閾値更新部１７は余所見判定処理を開始してから所定時間以上確度が確度閾値以下の状態が継続している場合や、新たに取得した撮影画像のセンシング時刻を基準として過去の所定期間までの間の確度が確度閾値以下の状態が継続している場合に、一連の撮影画像に映る顔の確度が確度閾値以上でない状況であると判定する。確度閾値更新部１７は一連の撮影画像に映る顔の確度が確度閾値以上である状況の場合、処理を終了する。
　確度閾値更新部１７は一連の撮影画像に映る各顔の確度が確度閾値以上でない状況である場合、新たに取得した撮影画像のセンシング時刻（現在時刻）とそのセンシング時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の平均値（統計値）が、確度閾値の下限値以上であるかを判定する（ステップＳ３０３）。
　確度閾値更新部１７は確度の平均値が確度閾値の下限値以上である場合には現在の確度閾値の値を減じる（ステップＳ３０４）。例えば確度閾値更新部１７は算出した確度の平均値まで確度閾値の値を減じる。或いは、算出した確度の平均値が新たな確度閾値の下限値未満の値とならない場合には、確度閾値更新部１７は現在の確度閾値の値から所定値或いは所定割合減じることにより得られた値を新たな閾値として用いてもよい。閾値更新部１７は確度の平均値が確度閾値の下限値未満である場合には確度閾値の値を下限値に更新する（ステップＳ３０５）。
　ステップＳ３０１において顔を検出した場合、確度閾値更新部１７は確度閾値増加させて更新する処理を行う。確度閾値更新部１７はこの処理において、新たに取得した撮影画像のセンシング時刻（現在時刻）とそのセンシング時刻を基準とした所定時間前までの過去の時刻との間の時間において取得した撮影画像に映る顔の確度の平均値が、現在の確度閾値の値よりも所定値以上高いかを判定する（ステップＳ３０６）。ここで確度の平均値を算出する所定時間はステップＳ３０３において確度の平均値を算出する所定時間と異なる時間であってもよいし、同じ時間であってもよい。
　確度閾値更新部１７は確度の平均値が現在の確度閾値の値より所定値以上高い場合には、現在の確度閾値の値を増加させる（ステップＳ３０７）。例えば確度閾値更新部１７は算出した確度の平均値に確度閾値の値を更新する。或いは新たな確度閾値が現在の確度閾値よりも大きくなるのであれば、確度閾値更新部１７は算出した確度の平均値から所定値を減じた値を確度閾値の値としてもよい。
　確度閾値更新部１７は確度の平均値が現在の確度閾値の値よりも低い場合には、現在の確度閾値の値の変更を停止する（ステップＳ３０８）。すなわち確度閾値更新部１７は確度の平均値が現在の確度閾値の値よりも低い場合には、確度閾値の値を変更しない。
　上述の処理においてはクラウドサーバとして通信ネットワークに接続された余所見判定装置１が余所見判定を行っている。しかしながら上述の余所見判定の処理はドライブレコーダ２が単独で行うようにしてもよい。つまりドライブレコーダ２が余所見判定装置１として動作してもよい。この場合、ドライブレコーダ２が上述の情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５、確度判定部１６、確度閾値更新部１７と同様の機能を発揮してもよい。別法として、ドライブレコーダ２と接続された車内に搭載されている車載器が情報取得部１２、余所見開始判定部１３、余所見判定部１４、判定結果出力部１５、確度判定部１６、確度閾値更新部１７と同様の機能を発揮してもよい。この場合、車載器が余所見判定装置１として動作する。
　上述の処理によれば顔の方向や視線の方向が検知できない場合でも顔が検出できたかどうかで運転者の余所見を検知することができる。
　また上述の処理によれば顔方向や視線方向が少しずれただけで余所見が検知されたことを示すアラートをすることはなく、所定期間内において所定割合で顔方向や視線方向がずれた場合にアラートを出力する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
　また上述の余所見判定装置１によれば、低速での運転などの所定の速度以下での運転の場合に、視線方向が前方から離れるような状況で運転者が余所見していると判定することを回避する。これにより運転者に対する不要な余所見検知アラートの出力を削減することができる。
　また上述の処理によれば余所見判定装置１は車両の速度が低下したことに応じて余所見判定の可能性があると判定する場合の直進方向を基準とする範囲を広げる処理を行う。このため、速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
　また上述の処理によれば余所見判定装置１は視線が直進方向を基準とする所定範囲内となる画像の割合が所定値以上かを判定する処理において速度が低下するほど当該所定値を減少させる。これにより速度に応じた適切な顔方向、視線方向の範囲に基づく余所見判定を行うことができる。
　また上述の処理によれば余所見判定装置１は運転者の状態に合わせて顔検出するための条件となる確度閾値（閾値）を自動で調整することができる。例えば余所見判定装置１は余所見判定処理を開始してから一度も顔を検出できていない場合や、所定時間以上顔を検出できていない状態が続いた場合等に、確度閾値を減じて顔が検出しやすくすることができる。これにより運転者が眼鏡やマスクをかけている場合等の顔検出に悪条件なときであっても精度良く余所見判定を行うことができる。また余所見判定装置１は運転者の顔検出率が高い場合や改善した場合に確度閾値を自動で増加させることで、余所見判定の精度の不必要な低下を防ぐことができる。
　図９は本発明の他の実施形態に係る余所見判定装置の構成を示す図である。
　余所見判定装置１は少なくとも余所見判定部１４、確度判定部１６、確度閾値更新部１７を備えればよい。確度判定部１６は取得した撮影画像に映る顔の顔らしさの指標となる確度が確度閾値以上であるかを判定する。余所見判定部１４は撮影画像に映る顔の確度が確度閾値以上でない時間が単位時間当たりに所定割合以上である場合には余所見状態と判定する。確度閾値更新部１７は確度閾値を撮影画像に映る顔の確度に基づいて更新する。
　上述の余所見判定装置１およびドライブレコーダ２は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
　また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
　この出願は、２０１８年３月２７日に出願された日本国特願２０１８－５９１６２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、余所見判定装置、余所見判定システム、余所見判定方法、および記憶媒体に適用してもよい。
１・・・余所見判定装置
２・・・ドライブレコーダ
１１・・・制御部
１２・・・情報取得部
１３・・・余所見開始判定部
１４・・・余所見判定部
１５・・・判定結果出力部
１６・・・確度判定部
１７・・・確度閾値更新部
２１・・・加速度センサ
２３・・・カメラ
２４・・・制御装置
２４１・・・車両情報取得部
２４２・・・天候情報取得部
２２３・・・加速度情報取得部
２４４・・・撮影画像取得部
２４５・・・運転状況データ送信部
２４６・・・撮影画像送信部

Claims (10)

  1. 　運転者を撮影することにより得られた複数の画像に対する、顔らしさの指標となる確度が閾値以上である顔が映っていない画像の割合が所定値以上である場合に、前記運転者が余所見している状態であると判定する余所見判定部と、
    　前記閾値を、前記運転者を撮影することにより得られた画像に映る顔の確度に基づいて更新する更新部と、
    　を備える余所見判定装置。
  2. 　前記運転者を撮影することにより得られた画像に、前記確度が前記閾値以上である顔が映っているかを判定する確度判定部
    　をさらに備える請求項１に記載の余所見判定装置。
  3. 　前記更新部は、現在時刻よりも所定時間前から前記現在時刻までの間の期間において撮影された複数の画像に映る顔の確度の統計値に基づいて前記閾値を更新する
    　請求項１または２に記載の余所見判定装置。
  4. 　前記更新部は、前記統計値が前記閾値の下限値以上である場合には、前記閾値を減じる
    　請求項３に記載の余所見判定装置。
  5. 　前記更新部は、前記統計値が前記閾値の下限値未満である場合には、前記閾値を前記下限値に更新する
    　請求項３または４に記載の余所見判定装置。
  6. 　前記更新部は、前記統計値が前記閾値よりも高い場合には、前記閾値を増加させる
    　請求項３から５のいずれか一項に記載の余所見判定装置。
  7. 　前記更新部は、前記統計値が前記閾値よりも低い場合には、前記閾値を変更しない
    　請求項３から６のいずれか一項に記載の余所見判定装置。
  8. 　撮影装置と余所見判定装置とを備えた余所見判定システムであって、
    　前記余所見判定装置が、
    　前記撮影装置によって運転者を撮影することにより得られた複数の画像に対する、顔らしさの指標となる確度が閾値以上である顔が映っていない画像の割合が所定値以上である場合に、前記運転者が余所見している状態であると判定する余所見判定部と、
    　前記閾値を、前記運転者を撮影することにより得られた画像に映る顔の確度に基づいて更新する更新部と、
    　を備える余所見判定システム。
  9. 　運転者を撮影することにより得られた複数の画像に対する、顔らしさの指標となる確度が閾値以上である顔が映っていない画像の割合が所定値以上である場合に、前記運転者が余所見している状態であると判定し、
    　前記閾値を、前記運転者を撮影することにより得られた画像に映る顔の確度に基づいて更新する、
    　ことを含む余所見判定方法。
  10. 　運転者を撮影することにより得られた複数の画像に対する、顔らしさの指標となる確度が閾値以上である顔が映っていない画像の割合が所定値以上である場合に、前記運転者が余所見している状態であると判定し、
    　前記閾値を、前記運転者を撮影することにより得られた画像に映る顔の確度に基づいて更新する、
    　ことをコンピュータに実行させるためのプログラムを記憶した記憶媒体。
PCT/JP2019/012400 2018-03-27 2019-03-25 余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体 WO2019188926A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/040,682 US11482020B2 (en) 2018-03-27 2019-03-25 Looking away determination device, looking away determination system, looking away determination method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-059162 2018-03-27
JP2018059162A JP6947099B2 (ja) 2018-03-27 2018-03-27 余所見判定装置、余所見判定システム、余所見判定方法、プログラム

Publications (1)

Publication Number Publication Date
WO2019188926A1 true WO2019188926A1 (ja) 2019-10-03

Family

ID=68058166

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/012400 WO2019188926A1 (ja) 2018-03-27 2019-03-25 余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体

Country Status (3)

Country Link
US (1) US11482020B2 (ja)
JP (1) JP6947099B2 (ja)
WO (1) WO2019188926A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6947099B2 (ja) * 2018-03-27 2021-10-13 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
KR20210009596A (ko) * 2019-07-17 2021-01-27 엘지전자 주식회사 지능적 음성 인식 방법, 음성 인식 장치 및 지능형 컴퓨팅 디바이스
JP7081844B2 (ja) * 2020-11-11 2022-06-07 株式会社コムテック 検出システム
US20220180109A1 (en) * 2020-12-04 2022-06-09 Nauto, Inc. Devices and methods for monitoring drivers of vehicles

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002008020A (ja) * 2000-06-26 2002-01-11 Nissan Motor Co Ltd 眼の状態検出装置
JP2007018249A (ja) * 2005-07-07 2007-01-25 Toyota Motor Corp 顔向き検出装置及び顔向き検出方法
JP2008187532A (ja) * 2007-01-30 2008-08-14 Omron Corp 監視装置および方法、並びにプログラム
JP3166475U (ja) * 2010-09-07 2011-03-10 研治 片山 追突防止警告装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6772057B2 (en) * 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US7287689B2 (en) * 2003-12-09 2007-10-30 First Data Corporation Systems and methods for assessing the risk of a financial transaction using authenticating marks
JP5505434B2 (ja) * 2012-02-09 2014-05-28 株式会社デンソー 脇見判定装置
JP6292054B2 (ja) * 2013-11-29 2018-03-14 富士通株式会社 運転支援装置、方法、及びプログラム
JP6432948B2 (ja) 2014-09-30 2018-12-05 エイディシーテクノロジー株式会社 自動運転制御装置
US10114935B2 (en) * 2014-12-23 2018-10-30 Intel Corporation Technologies for login pattern based multi-factor authentication
JP6573193B2 (ja) * 2015-07-03 2019-09-11 パナソニックＩｐマネジメント株式会社 判定装置、判定方法、および判定プログラム
US10496874B2 (en) * 2015-10-14 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Facial detection device, facial detection system provided with same, and facial detection method
JP6844568B2 (ja) * 2018-03-27 2021-03-17 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP6947099B2 (ja) * 2018-03-27 2021-10-13 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
US11163981B2 (en) * 2018-09-11 2021-11-02 Apple Inc. Periocular facial recognition switching
JP7198023B2 (ja) * 2018-09-27 2022-12-28 株式会社アイシン 眼球情報推定装置、眼球情報推定方法および眼球情報推定プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002008020A (ja) * 2000-06-26 2002-01-11 Nissan Motor Co Ltd 眼の状態検出装置
JP2007018249A (ja) * 2005-07-07 2007-01-25 Toyota Motor Corp 顔向き検出装置及び顔向き検出方法
JP2008187532A (ja) * 2007-01-30 2008-08-14 Omron Corp 監視装置および方法、並びにプログラム
JP3166475U (ja) * 2010-09-07 2011-03-10 研治 片山 追突防止警告装置

Also Published As

Publication number Publication date
JP2019171903A (ja) 2019-10-10
US20210056331A1 (en) 2021-02-25
US11482020B2 (en) 2022-10-25
JP6947099B2 (ja) 2021-10-13

Similar Documents

Publication Publication Date Title
WO2019188926A1 (ja) 余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体
US9352689B2 (en) Driver assistance apparatus capable of diagnosing vehicle parts and vehicle including the same
US9736364B2 (en) Camera capable of reducing motion blur in a low luminance environment and vehicle including the same
WO2019187979A1 (ja) 余所見判定装置、余所見判定システム、余所見判定方法、記憶媒体
CN111699680B (zh) 行车记录仪、显示控制方法以及存储介质
JP2003168197A (ja) 走行環境認識方法および装置
US20170151945A1 (en) Information processing device, information processing method, control device for vehicle, and control method for vehicle
CN111052174A (zh) 图像处理设备、图像处理方法和程序
JP7124935B2 (ja) 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
CN113103957B (zh) 一种盲区监测方法、装置、电子设备及存储介质
JP6367531B2 (ja) 車載器
JP7451423B2 (ja) 画像処理装置、画像処理方法および画像処理システム
WO2020138088A1 (ja) 余所見判定装置、余所見判定システム、余所見判定方法、プログラムを記憶する記憶媒体
CN113424243B (zh) 信息处理装置、信息处理方法和信息处理程序
JP2020067818A (ja) 画像選択装置及び画像選択方法
JP7259957B2 (ja) 判定システム、処理方法、プログラム
WO2019146435A1 (ja) 運転状況監視装置、運転状況監視システム、運転状況監視方法、記憶媒体
JP6740644B2 (ja) 報知装置
JP2023167274A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP2023125183A (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
JP2023125182A (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
JP2024029977A (ja) 表示制御装置
KR20220028939A (ko) 사운드 검출 기반의 영상녹화방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19775697

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19775697

Country of ref document: EP

Kind code of ref document: A1