WO2022044372A1 - 車両用記録制御装置、記録制御方法およびプログラム - Google Patents

車両用記録制御装置、記録制御方法およびプログラム Download PDF

Info

Publication number
WO2022044372A1
WO2022044372A1 PCT/JP2021/005254 JP2021005254W WO2022044372A1 WO 2022044372 A1 WO2022044372 A1 WO 2022044372A1 JP 2021005254 W JP2021005254 W JP 2021005254W WO 2022044372 A1 WO2022044372 A1 WO 2022044372A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
recording
event
unit
mental state
Prior art date
Application number
PCT/JP2021/005254
Other languages
English (en)
French (fr)
Inventor
亮行 永井
貴之 荒瀬
章典 菅田
Original Assignee
株式会社Jvcケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Jvcケンウッド filed Critical 株式会社Jvcケンウッド
Publication of WO2022044372A1 publication Critical patent/WO2022044372A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a vehicle record control device, a record control method and a program.
  • Patent Document 1 A technique for changing the length of video data to be recorded when an event is detected according to the inter-vehicle distance is disclosed (see, for example, Patent Document 1).
  • the first period which is a period retroactive to the time when the event is detected, is set longer, and the first period is set back from the time when the event is detected.
  • the video data is recorded from the time when the event is detected until the time when the second period elapses from the time when the event is detected.
  • the present disclosure has been made in view of the above, and an object thereof is to appropriately record the period of mental illness of the occupants of the vehicle, which may cause an accident.
  • the vehicle record control device has at least one of driving operation information indicating a driving operation for a vehicle and state information indicating the state of the vehicle.
  • a vehicle information acquisition unit that acquires vehicle information indicating the behavior of the vehicle, peripheral image data that is an image of the periphery of the vehicle, in-vehicle image data that is an image of the inside of the vehicle, and occupants of the vehicle.
  • the shooting data acquisition unit that acquires at least one of the audio data from the sound collection unit that collects the voice as shooting data, the shooting data acquired by the shooting data acquisition unit, and the vehicle information acquisition unit.
  • the mental state determination unit that determines the quality of the mental state of the occupant and the acceleration information acquisition that acquires the acceleration information indicating the acceleration applied to the vehicle.
  • the record control method includes at least one of driving operation information indicating a driving operation for a vehicle and state information indicating the state of the vehicle, and acquires vehicle information indicating the behavior of the vehicle. At least one of the step, peripheral image data which is an image of the periphery of the vehicle, in-vehicle image data which is an image of the inside of the vehicle, and audio data from a sound collecting unit which collects the voice of the occupant of the vehicle.
  • the shooting data acquisition step of acquiring the image as shooting data the shooting data acquired by the shooting data acquisition step, and the vehicle information acquired by the vehicle information acquisition step.
  • a mental state determination step for determining the quality of the occupant's mental state based on the behavior, an acceleration information acquisition step for acquiring acceleration information indicating the acceleration applied to the vehicle, and an acceleration information acquired by the acceleration information acquisition step.
  • An event detection step for detecting that an event has occurred when is equal to or greater than a threshold value, and a recording control step for storing the shooting data corresponding to the detection of the event when the occurrence of an event is detected by the event detection step.
  • the recording setting step of changing the recording period of the shooting data to be saved corresponding to the detection of the event is included.
  • the program according to the present disclosure includes at least one of driving operation information indicating a driving operation for a vehicle and state information indicating the state of the vehicle, and a vehicle information acquisition step for acquiring vehicle information indicating the behavior of the vehicle.
  • driving operation information indicating a driving operation for a vehicle and state information indicating the state of the vehicle
  • vehicle information acquisition step for acquiring vehicle information indicating the behavior of the vehicle.
  • peripheral image data which is an image of the periphery of the vehicle
  • in-vehicle image data which is an image of the inside of the vehicle
  • audio data from a sound collecting unit which collects the voice of an occupant of the vehicle.
  • the behavior of the vehicle recognized from at least one of the shooting data acquisition step acquired as data, the shooting data acquired by the shooting data acquisition step, and the vehicle information acquired by the vehicle information acquisition step.
  • the mental state determination step for determining the quality of the occupant's mental state the acceleration information acquisition step for acquiring acceleration information indicating the acceleration applied to the vehicle, and the acceleration information acquired by the acceleration information acquisition step are threshold values.
  • an event detection step for detecting the occurrence of an event a recording control step for storing the shooting data corresponding to the detection of the event when the occurrence of the event is detected by the event detection step, and the spirit.
  • the recording setting step of changing the recording period of the shooting data to be saved corresponding to the detection of the event is executed.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle recording device having a control device according to the first embodiment.
  • FIG. 2 is a diagram showing an example of a recording period of normal event recording data.
  • FIG. 3 is a diagram showing an example of a recording period of event recording data.
  • FIG. 4 is a diagram showing another example of the recording period of the event recording data.
  • FIG. 5 is a diagram showing an example of a recording period of event recording data and a recording period of event recording data.
  • FIG. 6 is a diagram showing an example of a recording period of event recording data and a recording period of event recording data.
  • FIG. 7 is a diagram showing an example of a recording period of event recording data outside the vehicle.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle recording device having a control device according to the first embodiment.
  • FIG. 2 is a diagram showing an example of a recording period of normal event recording data.
  • FIG. 3 is a diagram showing an example of a
  • FIG. 8 is a diagram showing an example of the recording period of the event recording data in the vehicle.
  • FIG. 9 is a flowchart showing an example of the processing flow in the control device according to the first embodiment.
  • FIG. 10 is a flowchart showing an example of the flow of event detection processing in the control device according to the first embodiment.
  • FIG. 11 is a block diagram showing a configuration example of a vehicle recording device having the control device according to the second embodiment.
  • FIG. 12 is a flowchart showing an example of the processing flow in the control device according to the second embodiment.
  • FIG. 13 is a diagram showing another example of the recording period of the event recording data.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle recording device 10 having a vehicle recording control device (hereinafter, referred to as “control device”) 100 according to the first embodiment.
  • the vehicle recording device 10 is a so-called drive recorder that records an event that occurs in a vehicle.
  • the vehicle recording device 10 changes the recording period of the event recording data based on the mental state of the driver or passenger of the vehicle.
  • the vehicle recording device 10 may be a portable device that can be used in the vehicle, in addition to the device mounted on the vehicle. Further, the vehicle recording device 10 may be realized by including a function or a configuration of a device, a navigation device, or the like installed in advance in the vehicle.
  • the vehicle recording device 10 includes a first camera (peripheral photographing unit) 211, a second camera (in-vehicle photographing unit) 212, a microphone (sound collecting unit) 213, a recording unit 214, an operation unit 215, and a display unit.
  • GPS Global Positioning System
  • GNSS Global Navigation Satellite System
  • CAN Control Navigation interface unit
  • the first camera 211 is a camera that captures the front of the vehicle.
  • the first camera 211 will be described using a single camera facing in one direction in front of the vehicle, but may be a plurality of camera groups.
  • the first camera 211 is arranged at a position where the front of the vehicle can be photographed, for example, in front of the vehicle interior of the vehicle.
  • the first camera 211 constantly captures an image while the accessory power of the vehicle is on.
  • the first camera 211 outputs the captured video data to the imaging data acquisition unit 120 of the control device 100.
  • the video data is, for example, a moving image composed of an image of 30 frames per second.
  • the second camera 212 is placed in the passenger compartment of the vehicle facing backward and photographs the passenger compartment.
  • the second camera 212 captures a wide-angle lens, for example, a shooting range of about 180 ° in the horizontal direction.
  • the second camera 212 will be described using a single camera facing one direction behind the vehicle, but may be a plurality of camera groups.
  • the second camera 212 outputs the photographed in-vehicle video data to the photographed data acquisition unit 120 of the control device 100.
  • the peripheral image is acquired by the first camera 211 and the in-vehicle image is acquired by the second camera 212, but the peripheral image is acquired by one camera, for example, a camera capable of photographing all directions (360 °) of the surroundings. You may acquire the image inside the car.
  • the microphone 213 collects voice data of the voice in the passenger compartment of the vehicle.
  • the microphone 213 is arranged in a housing constituting the vehicle recording device 10.
  • the vehicle recording device 10 arranges a plurality of microphones 213 for each occupant, and each microphone 213 acquires the voice of each occupant.
  • the microphone 213 may be arranged in the vicinity of a display unit (not shown) of another in-vehicle navigation system.
  • the microphone 213 may be arranged outside the housing constituting the vehicle recording device 10.
  • the microphone 213 may be arranged for each seat of the occupant, for example, in the headrest of the seat or in the structure around the seat.
  • the microphone 213 outputs the collected voice data in the vehicle interior to the photographing data acquisition unit 120 of the control device 100.
  • the recording unit 214 is used for temporary storage of data in the vehicle recording device 10.
  • the recording unit 214 is, for example, a RAM (Random Access Memory), a semiconductor memory element such as a flash memory, or a recording unit such as a memory card. Alternatively, it may be an external recording unit wirelessly connected via a communication device (not shown).
  • the recording unit 214 records loop recorded video data or event recording data based on the control signal output from the recording control unit 123 of the control device 100.
  • the event recording data includes at least one of event recording data and event voice data.
  • event recording data when it is not necessary to distinguish between the event recording data and the event voice data, it will be described as event recording data.
  • the operation unit 215 can accept various operations on the vehicle recording device 10.
  • the operation unit 215 can accept an operation of manually saving the captured video data in the recording unit 214 as event recording data.
  • the operation unit 215 can accept an operation of reproducing the loop recorded video data or the event recording data recorded in the recording unit 214.
  • the operation unit 215 can accept an operation of erasing the event record data recorded in the recording unit 214.
  • the operation unit 215 can accept an operation to end the loop recording.
  • the operation unit 215 outputs the operation information to the operation control unit 125 of the control device 100.
  • the display unit 216 is, for example, a display device unique to the vehicle recording device 10 or a display device shared with other systems including a navigation system.
  • the display unit 216 may be integrally formed with the first camera 211 or the second camera 212.
  • the display unit 216 is a display including, for example, a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Organic Electro-Luminence) display.
  • the display unit 216 is arranged in front of the driver of the vehicle, such as a dashboard, an instrument panel, and a center console.
  • the display unit 216 displays an image based on the image signal output from the display control unit 133 of the control device 100.
  • the display unit 216 displays the image captured by the first camera 211 or the second camera 212, or the image recorded on the recording unit 214.
  • the speaker 217 is a voice output device unique to the vehicle recording device 10, or a voice output device shared with other systems including a navigation system.
  • the speaker 217 outputs voice based on the voice signal output from the voice output control unit 134 of the control device 100.
  • the acceleration sensor 218 is a sensor that detects the acceleration generated for the vehicle.
  • the acceleration sensor 218 outputs the detection result to the acceleration information acquisition unit 126 of the control device 100.
  • the acceleration sensor 218 is, for example, a sensor that detects acceleration in three axial directions.
  • the three-axis directions are the front-rear direction, the left-right direction, and the up-down direction of the vehicle.
  • the GPS receiving unit 219 receives radio waves from GPS satellites (not shown). The GPS receiving unit 219 outputs the received radio wave signal to the position information acquisition unit 128 of the control device 100.
  • the IF unit 220 is an interface for acquiring various vehicle information via CAN.
  • the vehicle information includes at least one of driving operation information indicating the driving operation of the vehicle and state information indicating the state of the vehicle.
  • the vehicle information includes information capable of determining the mental state of the occupant leading to dangerous driving, such as sudden steering, sudden braking, sudden start, meandering driving, fanning driving, or intentional interruption.
  • Crew includes the driver and passengers.
  • the driving operation information includes, for example, operation information such as a headlight lighting operation, a horn ringing operation, a steering operation, a brake operation, and an accelerator operation.
  • the state information includes, for example, state information such as the vehicle speed of the vehicle and the acceleration of the vehicle. Further, the state information may include information on the distance between the vehicle and another vehicle measured by a sensor (not shown) or the like.
  • the control device 100 is, for example, an arithmetic processing unit (control device) configured by a CPU (Central Processing Unit) or the like.
  • the control device 100 loads the stored program into the memory and executes the instruction included in the program.
  • the control device 100 includes an internal memory (not shown), and the internal memory is used for temporary storage of data in the control device 100 and the like.
  • the control device 100 includes a shooting data acquisition unit 120, a buffer memory 121, a video data processing unit 122, a recording control unit 123, a reproduction control unit 124, an operation control unit 125, and an acceleration connected to the bus 110.
  • the shooting data acquisition unit 120 collects peripheral video data from the first camera 211 that shoots the periphery of the vehicle, vehicle interior video data from the second camera 212 that shoots the inside of the vehicle, and voices of vehicle occupants. At least one of the audio data from the microphone 213 is acquired as shooting data. The shooting data acquisition unit 120 outputs the acquired shooting data to the buffer memory 121.
  • the buffer memory 121 is an internal memory included in the control device 100, and is a memory for temporarily recording video data for a certain period of time acquired by the shooting data acquisition unit 120 while updating it.
  • the video data processing unit 122 temporarily stores the video data stored in the buffer memory 121, for example, H. It is converted into an arbitrary file format encoded by an arbitrary method codec such as 264 or MPEG-4 (Moving Picture Experts Group), for example, MP4 format.
  • the video data processing unit 122 generates video data as a file for a certain period of time from the video data temporarily stored in the buffer memory 121.
  • the video data processing unit 122 generates video data temporarily stored in the buffer memory 121 as a file for 60 seconds in the recording order.
  • the video data processing unit 122 outputs the generated video data to the recording control unit 123.
  • the video data processing unit 122 outputs the generated video data to the display control unit 133 after decoding the image through the reproduction control unit 124.
  • the period of the video data generated as a file is set to 60 seconds as an example, but the period is not limited to this.
  • the video data referred to here may be data including audio in addition to the video captured by the first camera 211.
  • the recording control unit 123 controls the recording unit 214 to record the video data filed by the video data processing unit 122.
  • the recording control unit 123 records the video data filed by the video data processing unit 122 in the recording unit 214 as overwriteable video data during the period in which the loop recording process is executed, such as when the accessory power supply of the vehicle is ON. do. More specifically, the recording control unit 123 continues to record the video data generated by the video data processing unit 122 in the recording unit 214 during the period in which the loop recording process is executed, and when the capacity of the recording unit 214 becomes full. The oldest video data is overwritten with the new video data and recorded.
  • the recording control unit 123 saves the shooting data corresponding to the detection of the event.
  • the shooting data corresponding to the detection of the event is the video data for a predetermined period in the video data generated by the video data processing unit 122.
  • the recording control unit 123 stores the video data corresponding to the detection of the event in the recording unit 214 as the event recording data for which overwriting is prohibited.
  • event recording data stored in the recording unit 214 by the recording control unit 123 for example, video data for a predetermined period of about 10 seconds before and after the event is detected is copied from the buffer memory 121 and stored as event recording data. ..
  • the event recording data sets the recording period set by the recording setting unit 132.
  • the reproduction control unit 124 controls to reproduce the loop recorded video data or the event recording data recorded in the recording unit 214 based on the control signal of the reproduction operation output from the operation control unit 125.
  • the reproduction control unit 124 includes a decoder (not shown) and reproduces various data by decoding the supplied compressed data.
  • the operation control unit 125 acquires the operation information of the operation received by the operation unit 215. For example, the operation control unit 125 acquires the save operation information indicating the manual save operation of the video data, the reproduction operation information indicating the reproduction operation, or the erasure operation information indicating the erasure operation of the video data, and outputs the control signal. For example, the operation control unit 125 acquires end operation information indicating an operation for ending loop recording and outputs a control signal.
  • the acceleration information acquisition unit 126 acquires acceleration information indicating the acceleration applied to the vehicle from the detection result of the acceleration sensor 218.
  • the event detection unit 127 detects an event based on the detection result of the acceleration sensor 218 acquired by the acceleration information acquisition unit 126. More specifically, the event detection unit 127 detects that an event has occurred when the acceleration information acquired by the acceleration information acquisition unit 126 is equal to or greater than the threshold value.
  • the position information acquisition unit 128 acquires position information indicating the current position of the vehicle.
  • the position information acquisition unit 128 calculates the position information of the current position of the vehicle by a known method based on the radio wave received by the GPS receiving unit 219.
  • the position information acquisition unit 128 may calculate the position information of the current position of the vehicle by using another positioning system including the quasi-zenith satellite.
  • the vehicle information acquisition unit 130 acquires the vehicle information acquired by the IF unit 220. More specifically, the vehicle information acquisition unit 130 acquires vehicle information indicating the behavior of the vehicle, including at least one of the driving operation information indicating the driving operation for the vehicle and the state information indicating the state of the vehicle.
  • the mental state determination unit 131 determines the mental state of the occupant based on the behavior of the vehicle recognized from at least one of the shooting data acquired by the shooting data acquisition unit 120 and the vehicle information acquired by the vehicle information acquisition unit 130. Judge good or bad. When the behavior of the vehicle as shown below is recognized more than a predetermined number of times within a predetermined time, the mental state determination unit 131 may determine that the mental state of the occupant is bad or the mental state is good. The mental state determination unit 131 may determine the quality of the occupant's mental state by combining a plurality of vehicle behaviors as shown below.
  • the mental state determination unit 131 recognizes the voice of the occupant from the voice data included in the shooting data and determines whether the occupant's mental state is good or bad. More specifically, the mental state determination unit 131 determines that the mental state of the occupant is bad, for example, when the loudness of the voice of the occupant recognized from the voice data is larger than the loudness of the voice in the calm mental state. do. For example, when the pitch of the voice of the occupant recognized from the voice data is higher or lower than the pitch of the voice in the calm mental state, the mental state determination unit 131 determines that the mental state of the occupant is bad.
  • the mental state determination unit 131 determines that the mental state of the occupant is bad.
  • the prescribed wording is a wording issued when the mental state is bad.
  • the predetermined wording is, for example, a wording indicating an angry feeling, a wording issued in a state of excitement, a dirty wording, or a wording to curse.
  • the mental state determination unit 131 determines that the mental state is good, for example, when the wording issued by the occupant recognized from the voice data corresponds to the exclusion wording stored in the storage unit in advance.
  • Exclusion words are words that are issued when the mental state is not bad, in other words, when the mental state is calm.
  • the excluded wording is, for example, a thank-you wording or a wording issued when giving way.
  • the mental state determination unit 131 recognizes the occupant from the in-vehicle video data included in the shooting data, and determines whether the occupant's mental state is good or bad. More specifically, the mental state determination unit 131 is, for example, a facial expression indicating an angry emotion, an excited state, or a yelling facial expression of the occupant recognized from the in-vehicle video data. If so, it is determined that the occupant's mental condition is poor. The mental state determination unit 131 determines that the mental state is good, for example, when the facial expression of the occupant recognized from the in-vehicle video data is a smile or does not express emotions.
  • the mental state determination unit 131 indicates that the shape of the occupant's finger recognized from the in-vehicle video data is that only a specific finger is raised, that only the specific finger is pointed downward, or that the finger is pointed at. If so, it is determined that the occupant's mental condition is poor. For example, when the shape of the occupant's finger recognized from the in-vehicle video data is raising the hand for gratitude, or when the mental state determination unit 131 is moving to convey the intention to give way, the mental state determination unit 131 is mental. Judge that the condition is good. The mental state determination unit 131 determines that the mental state is good, for example, when the inclination of the occupant's head or upper body recognized from the in-vehicle video data is performing a bowing motion.
  • the mental state determination unit 131 When the operation information of the lighting operation of the headlight included in the driving operation information indicates that the high beam is lit for more than the lighting time threshold value in the presence of other vehicles in the vicinity, the mental state determination unit 131 indicates that the high beam is lit. Judge that the occupant's mental condition is bad. When the operation information of the lighting operation of the headlight included in the driving operation information indicates that the passing is performed in the state where another vehicle is present in the vicinity of the driving operation information, the mental state determination unit 131 indicates that the passing is performed by the lighting time threshold value or more. Judge that the mental state of is bad. Whether or not there is another vehicle in the vicinity can be determined by any known method, and the method is not limited.
  • the other vehicle may be determined that the other vehicle exists in the vicinity. For example, it may be determined that another vehicle exists in the vicinity based on the detection information from the sensor that detects an obstacle in the vicinity of the vehicle (not shown). For example, when traveling in an urban area, it may be determined that another vehicle exists in the vicinity from the map information (not shown) and the position information of the current position of the vehicle.
  • the mental state determination unit 131 determines that the mental state of the occupant is bad. judge.
  • the mental state determination unit 131 determines the mental state of the occupant. Judge as bad. More specifically, the mental state determination unit 131 determines, for example, that the steering wheel is steep when the steering operation amount included in the driving operation information is equal to or greater than the steering threshold value. For example, when the brake depression amount included in the driving operation information is equal to or larger than the brake depression amount threshold value, the mental state determination unit 131 determines that the brake is suddenly braked.
  • the mental state determination unit 131 determines that the vehicle has started suddenly. For example, when the speed information included in the state information is equal to or higher than the speed threshold value, or when the acceleration information included in the state information is equal to or higher than the acceleration threshold value, the mental state determination unit 131 determines that the vehicle has started suddenly. For example, when the amount of change in the azimuth angle of the vehicle included in the driving operation information is equal to or greater than the azimuth angle threshold value, the mental state determination unit 131 determines that the vehicle is meandering.
  • the mental state determination unit 131 determines that the mental state of the occupant is bad when the state in which the inter-vehicle distance included in the state information is equal to or less than the distance threshold value continues for the time threshold value or more. Further, the mental state determination unit 131 may execute determination as to whether or not the inter-vehicle distance is equal to or less than the distance threshold value when the speed is constant or higher. As a result, it is possible to determine the state during traveling, and it is possible to prevent the determination that the mental state is bad, for example, when the distance between vehicles is narrow due to traffic congestion.
  • the recording setting unit 132 changes the setting of the recording time of the event recording data, which is the shooting data to be saved in response to the detection of the event, when the mental state determination unit 131 determines that the mental state of the occupant is bad.
  • the recording setting unit 132 may set a time point when the mental state determination unit 131 determines that the mental state of the occupant is bad as the start time point of the recording period.
  • the recording setting unit 132 may set the time point when the mental state determination unit 131 determines that the mental state of the occupant is good as the end time point of the recording period.
  • the recording setting unit 132 restores the setting of the recording time of the event recording data when the mental state determination unit 131 determines that the mental state of the occupant is bad and then determines that the mental state is good.
  • FIG. 2 is a diagram showing an example of a recording period of normal event recording data.
  • the recording period of the normal event recording data is from the time point T3 before the event occurrence time point T1 to the event recording end time point T2.
  • the time point T3 is, for example, a time point before the predetermined period ⁇ t1 from the time point T1 at which the event occurs.
  • the event recording end time point T2 is, for example, a time point after a predetermined period ⁇ t2 has elapsed from the event occurrence time point T1.
  • the event recording data shown in FIG. 2 cannot record the entire period of mental illness of the occupant that caused the accident, in other words, the event occurrence.
  • FIG. 3 is a diagram showing an example of the recording period of the event recording data.
  • the recording setting unit 132 may set, for example, a period in which the mental state of the occupant is abnormal as the recording period of the event recording.
  • the event recording data is recorded retroactively from the event occurrence time point T1 to the mental state failure time point T4 in which the mental state of the occupant is determined to be poor.
  • the event recording data is recorded up to the mental good time point T5 when the mental state of the occupant is judged to be good.
  • the recording setting unit 132 sets, for example, from the mentally poor time point T4 to the mentally good time point T5 as the recording period. This records the entire period of mental illness of the vehicle occupants that can cause the event. If it is determined that the occupant's mental state is poor and then the occupant's mental state is not determined to be good even after a lapse of a predetermined period, the recording period may be terminated.
  • the recording setting unit 132 may set the recording period until the occupant becomes mentally good.
  • FIG. 4 is a diagram showing another example of the recording period of the event recording data.
  • the recording setting unit 132 may set the recording period from the mentally defective time point T4 to the event recording end time point T2. As a result, it is recorded retroactively to the mentally ill time point T4 before the event occurrence time point T1.
  • FIG. 5 is a diagram showing an example of the recording period of the event recording data and the recording period of the event recording data.
  • FIG. 5 describes a case where event recording is performed in addition to event recording.
  • event recording is a concept including recording and recording.
  • FIGS. 5 to 8 event recording and event recording are described separately.
  • the recording setting unit 132 may change the recording period as shown in FIG. More specifically, when the recording setting unit 132 determines that the mental state of the occupant is bad from the voice data included in the shooting data, the recording setting unit 132 sets the recording period of the event recording to the time point T3 in the same manner as the normal event recording.
  • the event recording recording period may be set from the mentally ill time point T4 to the event recording end time point T2.
  • the voice is recorded retroactively to the mentally ill time point T4 before the event occurrence time point T1.
  • the recording period and the recording period may be up to T5 at the time of good mental illness.
  • FIG. 6 is a diagram showing an example of the recording period of the event recording data and the recording period of the event recording data.
  • FIG. 6 describes a case where event recording is performed in addition to event recording.
  • the recording setting unit 132 may change the recording period as shown in FIG. More specifically, when the recording setting unit 132 determines that the mental state of the occupant is bad from the video data included in the shooting data, the recording setting unit 132 sets the recording period of the event recording from the mental defect time point T4 to the event recording end time point.
  • the recording period of the event recording may be set from the time point T3 to the end time point T2 of the event recording in the same manner as the normal event recording.
  • the image is recorded retroactively to the mentally ill time point T4 before the event occurrence time point T1.
  • the recording period and the recording period may be up to T5 at the time of good mental illness.
  • FIG. 7 is a diagram showing an example of the recording period of the event recording data outside the vehicle.
  • FIG. 7 describes a case where recording and recording outside the vehicle are performed as event recording and event recording. For example, if the occupant's mental condition is good, it is unlikely that an accident caused by the occupant will occur. For this reason, recording and recording inside the vehicle shall not be performed.
  • the recording setting unit 132 may set the recording period and the recording period of the event recording outside the vehicle from the time point T3 to the event recording end time point T2.
  • FIG. 8 is a diagram showing an example of the recording period of the event recording data in the vehicle.
  • FIG. 8 describes a case where recording in a vehicle is performed as event recording and event recording. For example, if the occupant's mental condition is good, it is unlikely that an accident caused by the occupant will occur. Therefore, the inside of the vehicle is recorded and recorded to record that there is no problem in the mental state of the occupant.
  • the recording setting unit 132 may set the recording period and the recording period of the event recording in the vehicle from the time point T3 to the event recording end time point T2.
  • the recording setting unit 132 can record and record including the mentally ill period of the occupant that caused the event by changing the recording period and the recording period.
  • the recording setting unit 132 may change the setting of the recording period and the recording period by changing the setting file in which various settings related to recording including the recording period and the recording period are stored.
  • the display control unit 133 controls the display of video data on the display unit 216.
  • the display control unit 133 outputs a video signal for outputting the video data to the display unit 216. More specifically, the display control unit 133 displays a video signal captured by the first camera 211 or the second camera 212, or a video signal displayed by playing back loop recorded video data or event recording data recorded in the recording unit 214. Is output.
  • the display control unit 133 may display character information or an icon indicating that the recording setting is changed on the display unit 216 when the mental state determination unit 131 determines that the mental state of the occupant is bad.
  • the display control unit 133 may display a message for suppressing dangerous driving on the display unit 216.
  • the audio output control unit 134 outputs an audio signal for outputting audio data corresponding to the video data displayed on the display unit 216 from the speaker 217.
  • the audio output control unit 134 transmits audio data corresponding to the event recording data or the loop recording data recorded in the recording unit 214 from the speaker 217 based on the control signals of the selection operation and the reproduction operation output from the operation control unit 125. Output the audio signal to be output.
  • the voice output control unit 134 may output voice information or a notification sound indicating that the recording setting is changed from the speaker 217 when the mental state determination unit 131 determines that the mental state of the occupant is bad.
  • the voice output control unit 134 outputs voice information or notification sound for suppressing dangerous driving from the speaker 217 when the mental state determination unit 131 determines that the mental state of the occupant is bad and an event is detected. May be good.
  • FIG. 9 is a flowchart showing an example of a processing flow in the control device 100 according to the first embodiment. While the vehicle recording device 10 is activated, the mental state of the occupant is constantly determined by the processing of the flowchart shown in FIG.
  • the control device 100 determines whether or not the occupant's mental state is bad by the mental state determination unit 131 (step S101). More specifically, the occupant is based on the behavior of the vehicle recognized by at least one of the shooting data acquired by the shooting data acquisition unit 120 and the vehicle information acquired by the vehicle information acquisition unit 130 by the mental state determination unit 131. Judge the quality of the mental state of.
  • the mental state determination unit 131 determines that the mental state of the occupant is bad (Yes in step S101)
  • the process proceeds to step S102. If the mental state determination unit 131 does not determine that the mental state of the occupant is bad (No in step S101), the process proceeds to step S104.
  • step S101 When it is determined that the mental state of the occupant is bad (Yes in step S101), the control device 100 changes the recording period of the event recording data by the recording setting unit 132 (step S102). The control device 100 proceeds to step S103.
  • the recording period will be changed to include the mentally ill period of the occupants before the event occurs. As a result, if an event is detected during the period when the occupant is mentally ill, a recording period including a period that may have caused the event is set.
  • the control device 100 notifies the occupant that the recording period has been changed (step S103). More specifically, the display control unit 133 causes the display unit 216 to display character information or an icon indicating that the recording setting has been changed. The voice output control unit 134 outputs voice information or a notification sound indicating that the recording setting has been changed from the speaker 217. The control device 100 ends the process.
  • the display control unit 133 may display a message for suppressing dangerous driving on the display unit 216.
  • the voice output control unit 134 may output voice information or a notification sound for suppressing dangerous driving from the speaker 217.
  • control device 100 restores the recording period of the event recording data by the recording setting unit 132 (step S104). It is saved during the recording period of normal event recording. The control device 100 ends the process.
  • the recording period of event recording is changed according to the mental state of the occupants of the vehicle.
  • FIG. 10 is a flowchart showing an example of the flow of the event detection process in the control device 100 according to the first embodiment.
  • the control device 100 starts loop recording and event detection (step S201). More specifically, the video data processing unit 122 starts loop recording. Further, the detection of the acceleration by the acceleration sensor 218 at the set threshold value of the acceleration is started. The event detection unit 127 starts event detection based on the detected acceleration. The control device 100 proceeds to step S202.
  • the control device 100 determines whether or not an event has been detected based on the detection result by the event detection unit 127 (step S202). If the detected acceleration is equal to or greater than the threshold value by the event detection unit 127, it is determined that the event has been detected (Yes in step S202), and the process proceeds to step S203. Alternatively, if the event detection unit 127 determines that the detected acceleration is not equal to or greater than the threshold value, it is determined that no event is detected (No in step S202), and the process proceeds to step S204.
  • the recording control unit 123 prohibits the recording unit 214 from overwriting the captured video data as event recording data (step S203), and causes step S204 to save the captured video data. move on.
  • the event record data is video data including the time before and after the event detection time.
  • the recording period is changed by the recording setting unit 132, the event recording data stores the period including the period of poor mental condition of the occupant.
  • the control device 100 determines whether or not to end loop recording and event detection (step S204). For example, it is determined that the loop recording and the event detection are terminated when the power or power of the vehicle is turned off or the operation unit 215 is operated. When it is determined that the loop recording and event detection are terminated (Yes in step S204), the control device 100 terminates this process. If it is not determined that the loop recording and event detection are completed (No in step S204), the control device 100 re-executes the process of step S202.
  • the recording period of the event recording can be changed.
  • a time point when it is determined that the mental state of the occupant is bad can be set as a start time point of the recording period.
  • the time point when the mental state of the occupant is judged to be good can be set as the end time point of the recording period.
  • the present embodiment can save the event record data before the event occurrence time when the occupant's mental state is bad.
  • the recording period of the event recording data can be lengthened. In the present embodiment, it is possible to appropriately record the period of mental illness of the occupants of the vehicle, which may cause an event.
  • the recording period of the event recording is set from the time point T3 to the event recording end time point T2 in the same manner as the normal event recording, and the recording period of the event recording is set. Is set from T4 at the time of mental illness to T2 at the end of event recording. According to the present embodiment, it is possible to record the voice from the mentally ill time T4 before the event occurrence time T1 to the event recording end time T2 during the mental illness period of the vehicle occupant.
  • the recording period of the event recording is set from the mental failure time point T4 to the event recording end time point T2, and the event recording recording period is set from the time point T3 to the event. Set by T2 at the end of recording. According to the present embodiment, it is possible to record images from the mentally ill time T4 before the event occurrence time T1 to the event recording end time T2 during the mental illness period of the vehicle occupant.
  • the recording period and the recording period of the event recording outside or inside the vehicle are set from the time point T3 to the event recording end time point T2. According to the present embodiment, the recording period and the recording period of the event recording outside the vehicle and inside the vehicle can be appropriately changed.
  • the mental state determination unit 131 determines that the mental state of the occupant is bad and an event is detected, a message for suppressing dangerous driving is displayed or the occupant is notified by voice. According to this embodiment, dangerous driving can be suppressed.
  • the event recording data is saved in the normal recording period. According to this embodiment, it is possible to prevent the recording setting from being inadvertently changed.
  • FIG. 11 is a block diagram showing a configuration example of a vehicle recording device 10A having the control device 100A according to the second embodiment.
  • FIG. 12 is a flowchart showing an example of the processing flow in the control device 100A according to the second embodiment.
  • the basic configuration of the vehicle recording device 10A is the same as that of the vehicle recording device 10 of the first embodiment.
  • the same components as those of the vehicle recording device 10 are designated by the same reference numerals or the corresponding reference numerals, and detailed description thereof will be omitted.
  • the point that the control device 100A has the occupant determination unit 135A and the processing in the control device 100A are different from those in the first embodiment.
  • the occupant determination unit 135A determines whether or not the occupant of the vehicle is only the driver. More specifically, the occupant determination unit 135A performs image processing on the in-vehicle video data acquired by the shooting data acquisition unit 120 to determine whether or not there is a passenger other than the driver. When the occupant determination unit 135A does not recognize an occupant sitting in a seat other than the driver's seat in the in-vehicle video data, the occupant determination unit 135A determines that the occupant of the vehicle is only the driver.
  • the occupant determination unit 135A may determine whether or not there is a passenger other than the driver from the voice data in the vehicle acquired by the shooting data acquisition unit 120. By comparing the voice included in the voice data with the voice of the driver stored in the storage unit, it may be determined whether or not there is a passenger other than the driver.
  • the occupant determination unit 135A may determine whether or not there is a passenger other than the driver from the sensor data detected by the seating sensor arranged in each seat.
  • the recording control unit 123A saves the shooting data in the recording unit 214. More specifically, when the recording control unit 123A determines that the occupant determination unit 135A determines that the occupant is only the driver, and the mental state determination unit 131A determines that the driver's mental state is bad, the shooting data. Is stored in the recording unit 214. If the driver's mental condition is poor, there is no passenger who can suppress dangerous driving, so there is a risk of driving dangerously immediately. In addition, if the passenger's mental condition is bad, he / she cannot be directly involved in driving even if he / she is in a bad mental condition. May become. Therefore, the shooting data is saved regardless of the presence or absence of event detection.
  • the control device 100A determines whether or not the occupant is only the driver by the occupant determination unit 135A (step S111). When the occupant determination unit 135A determines that the occupant is only the driver (Yes in step S111), the process proceeds to step S112. If the occupant determination unit 135A does not determine that the occupant is only the driver (No in step S111), the process proceeds to step S116.
  • step S111 the control device 100A determines whether or not the driver's mental state is bad (step S112).
  • step S112 determines whether or not the driver's mental state is bad (Yes in step S112)
  • step S113 determines whether or not the driver's mental state is bad (No in step S112)
  • step S115 the process proceeds to step S115.
  • step S113 the control device 100A starts event recording (step S113). More specifically, the recording control unit 123A saves the shooting data in the recording unit 214 regardless of the presence or absence of event detection. The reason why the event recording is started regardless of the presence or absence of the event detection is that if the driver's mental condition is bad, the driving may be dangerous immediately.
  • the control device 100A proceeds to step S114.
  • the control device 100A notifies the driver that recording has started (step S114). More specifically, the display control unit 133 causes the display unit 216 to display character information or an icon indicating that recording has started. The voice output control unit 134 outputs voice information or a notification sound indicating that recording has started from the speaker 217. The control device 100A ends the process.
  • control device 100A cancels the event recording (step S115). The control device 100A ends the process.
  • the shooting data is stored in the recording unit 214 regardless of the presence or absence of event detection. According to the present embodiment, it is possible to appropriately record a provocation act by the driver. This embodiment can suppress dangerous driving.
  • the vehicle recording device 10 may be implemented in various different forms other than the above-described embodiment.
  • Each component of the illustrated vehicle recording device 10 is a functional concept and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically dispersed or integrated in an arbitrary unit according to the processing load and usage status of each device. You may.
  • the configuration of the vehicle recording device 10 is realized, for example, by a program loaded in a memory as software.
  • a program loaded in a memory as software.
  • it has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the recording setting unit 136B may change the storage area of the shooting data.
  • the event detection data can be stored in different storage areas depending on whether the event detection threshold is changed or the normal threshold. Event record data can be easily confirmed when the occupant's mental condition is poor.
  • the indicator provided around the display unit 216 or on the dashboard, instrument panel, center console, etc. is turned on to indicate that the recording setting is changed. May be indicated by.
  • the mental state determination unit 131 may detect that the occupant feels fear and determine that the occupant's mental state is bad. Thereby, for example, when there is another vehicle driving dangerously in the vicinity, it is possible to determine that the occupant's mental state is bad when the occupant's feeling of fear is detected.
  • the predetermined wording in the first embodiment includes, for example, a wording indicating a feeling of fear, a wording emitted in an anxiety state, and the like.
  • the mental state determination unit 131 determines that the occupant's mental state is bad, for example, when the facial expression of the occupant recognized from the in-vehicle video data is a facial expression showing a feeling of fear or a facial expression showing an anxiety state. You may. Further, the mental state determination unit 131 may determine that the mental state of the occupant is bad when the occupant feels fear in a state where another vehicle is present in the vicinity.
  • FIG. 13 is a diagram showing another example of the recording period of the event recording data.
  • the recording period when the mental state is bad due to the occupant feeling fear will be described.
  • the recording setting unit 132 sets, for example, from the time point T6 before the mentally bad time point T4 to the mentally good time point T5 as the recording period.
  • the time point T6 is a time point before the time ⁇ t3 from the mental illness time point T4. For example, if the occupant feels fear due to other vehicles in the vicinity, such as when driving in a hurry, there is a possibility that the occupant may be photographed by another vehicle before the time of mental illness T4 when the occupant feels fear.
  • the recording period may be set as described above.
  • the shooting data may be stored in the recording unit 214.
  • the vehicle record control device, record control method and program of the present disclosure can be used, for example, in a drive recorder.
  • Vehicle recording device 100
  • Control device (Vehicle recording control device) 110
  • Bus 120
  • Shooting data acquisition unit 121
  • Buffer memory 122
  • Video data processing unit 123
  • Recording control unit 124
  • Operation control unit 126
  • Acceleration information acquisition unit 127
  • Event detection unit 128
  • Position information acquisition unit 130
  • Vehicle information acquisition unit 131
  • Mental state determination Unit 132
  • Recording setting unit 133
  • Display control unit 134 Audio output control unit 211 First camera (peripheral shooting unit) 212
  • Second camera in-car photography section
  • Microphone Sound collecting part
  • Recording unit 215
  • Operation unit 216
  • Display unit 217 Speaker 218
  • Accelerometer 219
  • GPS receiving unit 220
  • IF unit CAN interface unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

事故を誘発する原因となり得る、車両の乗員の精神不良期間を適切に記録すること。車両用記録制御装置である制御装置100は、車両の挙動を示す車両情報を取得する車両情報取得部130と、周辺映像データ、車内映像データ、および、音声データの少なくともいずれかを撮影データとして取得する撮影データ取得部120と、車両の挙動に基づいて、乗員の精神状態の良否を判定する精神状態判定部131と、加速度情報取得部126と、加速度情報が閾値以上である場合にイベントが発生したことを検出するイベント検出部127と、イベントの発生を検出した場合、イベントの検出に対応する撮影データを保存する記録制御部123と、乗員の精神状態を悪いと判定した場合、イベントの検出に対応して保存する撮影データの録画期間を変更する録画設定部132と、を備える。

Description

車両用記録制御装置、記録制御方法およびプログラム
 本発明は、車両用記録制御装置、記録制御方法およびプログラムに関する。
 車間距離に応じてイベントの検出時に記録させる映像データの長さを変える技術が開示されている(例えば、特許文献1参照)。特許文献1に記載の技術は、車間距離が予め設定された距離未満の場合は、イベントの検出時より遡る期間である第1期間を長く設定し、イベントの検出時よりも第1期間を遡った時点から、イベントの検出時よりも第2期間を経過した時点までの映像データを記録させる。
特開2019-110604号公報
 例えば、車両の乗員がイライラするなど精神状態が悪くなると、煽り運転または意図的な割り込みなどのいわゆる危険運転をするおそれがある。危険運転は、自車両または他車両の事故を誘発するおそれがある。そこで、事故を誘発する原因となり得る、車両の乗員の精神不良期間を適切に記録することが望まれる。
 本開示は、上記に鑑みてなされたものであって、事故を誘発する原因となり得る、車両の乗員の精神不良期間を適切に記録することを目的とする。
 上述した課題を解決し、目的を達成するために、本開示に係る車両用記録制御装置は、車両に対する運転操作を示す運転操作情報と、前記車両の状態を示す状態情報との少なくともどちらかを含み、前記車両の挙動を示す車両情報を取得する車両情報取得部と、前記車両の周辺の映像である周辺映像データ、前記車両の車内の映像である車内映像データ、および、前記車両の乗員の音声を収音する収音部からの音声データの少なくともいずれかを撮影データとして取得する撮影データ取得部と、前記撮影データ取得部が取得した前記撮影データと、前記車両情報取得部が取得した前記車両情報との少なくともどちらかから認識された前記車両の挙動に基づいて、前記乗員の精神状態の良否を判定する精神状態判定部と、前記車両に加わる加速度を示す加速度情報を取得する加速度情報取得部と、前記加速度情報取得部が取得した加速度情報が閾値以上である場合にイベントが発生したことを検出するイベント検出部と、前記イベント検出部がイベントの発生を検出した場合、イベントの検出に対応する前記撮影データを保存する記録制御部と、前記精神状態判定部が前記乗員の精神状態を悪いと判定した場合、前記イベントの検出に対応して保存する前記撮影データの録画期間を変更する録画設定部と、を備える。
 本開示に係る記録制御方法は、車両に対する運転操作を示す運転操作情報と、前記車両の状態を示す状態情報との少なくともどちらかを含み、前記車両の挙動を示す車両情報を取得する車両情報取得ステップと、前記車両の周辺の映像である周辺映像データ、前記車両の車内の映像である車内映像データ、および、前記車両の乗員の音声を収音する収音部からの音声データの少なくともいずれかを撮影データとして取得する撮影データ取得ステップと、前記撮影データ取得ステップによって取得された前記撮影データと、前記車両情報取得ステップによって取得された前記車両情報との少なくともどちらかから認識された前記車両の挙動に基づいて、前記乗員の精神状態の良否を判定する精神状態判定ステップと、前記車両に加わる加速度を示す加速度情報を取得する加速度情報取得ステップと、前記加速度情報取得ステップによって取得された加速度情報が閾値以上である場合にイベントが発生したことを検出するイベント検出ステップと、前記イベント検出ステップによってイベントの発生を検出した場合、イベントの検出に対応する前記撮影データを保存する記録制御ステップと、前記精神状態判定ステップによって前記乗員の精神状態が悪いと判定された場合、前記イベントの検出に対応して保存する前記撮影データの録画期間を変更する録画設定ステップと、を含む。
 本開示に係るプログラムは、車両に対する運転操作を示す運転操作情報と、前記車両の状態を示す状態情報との少なくともどちらかを含み、前記車両の挙動を示す車両情報を取得する車両情報取得ステップと、前記車両の周辺の映像である周辺映像データ、前記車両の車内の映像である車内映像データ、および、前記車両の乗員の音声を収音する収音部からの音声データの少なくともいずれかを撮影データとして取得する撮影データ取得ステップと、前記撮影データ取得ステップによって取得された前記撮影データと、前記車両情報取得ステップによって取得された前記車両情報との少なくともどちらかから認識された前記車両の挙動に基づいて、前記乗員の精神状態の良否を判定する精神状態判定ステップと、前記車両に加わる加速度を示す加速度情報を取得する加速度情報取得ステップと、前記加速度情報取得ステップによって取得された加速度情報が閾値以上である場合にイベントが発生したことを検出するイベント検出ステップと、前記イベント検出ステップによってイベントの発生を検出した場合、イベントの検出に対応する前記撮影データを保存する記録制御ステップと、前記精神状態判定ステップによって前記乗員の精神状態が悪いと判定された場合、前記イベントの検出に対応して保存する前記撮影データの録画期間を変更する録画設定ステップと、を実行させる。
 本開示によれば、事故を誘発する原因となり得る、車両の乗員の精神不良期間を適切に記録することができるという効果を奏する。
図1は、第一実施形態に係る制御装置を有する車両用記録装置の構成例を示すブロック図である。 図2は、通常のイベント録画データの録画期間の一例を示す図である。 図3は、イベント録画データの録画期間の一例を示す図である。 図4は、イベント録画データの録画期間の他の例を示す図である。 図5は、イベント録画データの録画期間およびイベント録音データの録音期間の一例を示す図である。 図6は、イベント録画データの録画期間およびイベント録音データの録音期間の一例を示す図である。 図7は、車外のイベント録画データの録画期間の一例を示す図である。 図8は、車内のイベント録画データの録画期間の一例を示す図である。 図9は、第一実施形態に係る制御装置における処理の流れの一例を示すフローチャートである。 図10は、第一実施形態に係る制御装置におけるイベント検出処理の流れの一例を示すフローチャートである。 図11は、第二実施形態に係る制御装置を有する車両用記録装置の構成例を示すブロック図である。 図12は、第二実施形態に係る制御装置における処理の流れの一例を示すフローチャートである。 図13は、イベント録画データの録画期間の他の例を示す図である。
 以下に添付図面を参照して、本開示に係る車両用記録制御装置、記録制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
[第一実施形態]
<車両用記録装置>
 図1は、第一実施形態に係る車両用記録制御装置(以下、「制御装置」という。)100を有する車両用記録装置10の構成例を示すブロック図である。車両用記録装置10は、車両に発生したイベントを記録する、いわゆるドライブレコーダである。車両用記録装置10は、車両の運転者または同乗者の精神状態に基づいて、イベント録画データの録画期間を変更する。
 車両用記録装置10は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。また、車両用記録装置10は、車両にあらかじめ設置されている装置やナビゲーション装置等の機能または構成を含んで実現されてもよい。車両用記録装置10は、第一カメラ(周辺撮影部)211と、第二カメラ(車内撮影部)212と、マイクロフォン(収音部)213と、記録部214と、操作部215と、表示部216と、スピーカ217と、加速度センサ218と、GNSS(Global Navigation Satellite System)の一例であるGPS(Global Positioning System)受信部219と、CAN(Controller Area Network)インターフェース部(以下、「IF部」という。)220と、制御装置100とを有する。
 第一カメラ211は、車両の前方を撮影するカメラである。本実施形態では、第一カメラ211は、車両の前方の一方向を向いた単数のカメラを用いて説明するが、複数のカメラ群であってもよい。第一カメラ211は、例えば、車両の車室内前方における車両の前方を撮影可能な位置に配置されている。本実施形態では、第一カメラ211は、車両のアクセサリ電源がONである間、映像を常時撮影する。後述する第二カメラ210についても同様に動作する。第一カメラ211は、撮影した映像データを制御装置100の撮影データ取得部120に出力する。映像データは、例えば毎秒30フレームの画像から構成される動画像である。
 第二カメラ212は、車両の車室内に後方を向いて配置され、車室内を撮影する。第二カメラ212は、広角、例えば、水平方向に180°程度の撮影範囲を撮影する。本実施形態では、第二カメラ212は、車両の後方の一方向を向いた単数のカメラを用いて説明するが、複数のカメラ群であってもよい。第二カメラ212は、撮影した車内映像データを制御装置100の撮影データ取得部120へ出力する。
 周辺映像データと車内映像データとの区別を特に要しない場合、映像データとして説明する。また、本実施形態では、第一カメラ211で周辺映像を取得し、第二カメラ212で車内映像を取得したが、1つのカメラ、例えば周囲の全方位(360°)を撮影できるカメラで周辺映像と車内映像を取得してもよい。
 マイクロフォン213は、車両の車室内の音声の音声データを収音する。例えば、マイクロフォン213は、車両用記録装置10を構成する筐体内に配置される。車両用記録装置10は、複数のマイクロフォン213をそれぞれの乗員に対して配置し、それぞれのマイクロフォン213で、それぞれの乗員の音声を取得する。また、マイクロフォン213は、他の車載ナビゲーションシステムの図示しない表示部の近傍に配置されていてもよい。また、マイクロフォン213は、車両用記録装置10を構成する筐体の外に配置してもよい。具体的には、マイクロフォン213は、乗員の座席毎、例えば座席のヘッドレストや、座席の周囲の構造物に配置してもよい。マイクロフォン213は、収音した車室内の音声データを制御装置100の撮影データ取得部120に出力する。
 記録部214は、車両用記録装置10におけるデータの一時記憶などに用いられる。記録部214は、例えば、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、または、メモリカードなどの記録部である。または、図示しない通信装置を介して無線接続される外部記録部であってもよい。記録部214は、制御装置100の記録制御部123から出力された制御信号に基づいて、ループ記録映像データまたはイベント記録データを記録する。
 イベント記録データは、イベント録画データとイベント音声データとの少なくともいずれかを含む。以下においては、イベント録画データとイベント音声データとを区別する必要がない場合、イベント記録データとして説明する。
 操作部215は、車両用記録装置10に対する各種操作を受付可能である。例えば、操作部215は、撮影した映像データを記録部214にイベント記録データとして手動で保存する操作を受付可能である。例えば、操作部215は、記録部214に記録したループ記録映像データまたはイベント記録データを再生する操作を受付可能である。例えば、操作部215は、記録部214に記録したイベント記録データを消去する操作を受付可能である。例えば、操作部215は、ループ記録を終了する操作を受付可能である。操作部215は、操作情報を制御装置100の操作制御部125に出力する。
 表示部216は、一例としては、車両用記録装置10に固有の表示装置、または、ナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示部216は、第一カメラ211または第二カメラ212と一体に形成されていてもよい。表示部216は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro-Luminescence)ディスプレイなどを含むディスプレイである。本実施形態では、表示部216は、車両の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示部216は、制御装置100の表示制御部133から出力された映像信号に基づいて、映像を表示する。表示部216は、第一カメラ211または第二カメラ212が撮影している映像、または、記録部214に記録された映像を表示する。
 スピーカ217は、一例としては、車両用記録装置10に固有の音声出力装置、又は、ナビゲーションシステムを含む他のシステムと共用した音声出力装置などである。スピーカ217は、制御装置100の音声出力制御部134から出力された音声信号に基づいて、音声を出力する。
 加速度センサ218は、車両に対して生じる加速度を検出するセンサである。加速度センサ218は、検出結果を制御装置100の加速度情報取得部126に出力する。加速度センサ218は、例えば3軸方向の加速度を検出するセンサである。3軸方向とは、車両の前後方向、左右方向、および上下方向である。
 GPS受信部219は、図示しないGPS衛星から電波を受信する。GPS受信部219は、受信した電波の信号を制御装置100の位置情報取得部128へ出力する。
 IF部220は、CANを介して各種車両情報を取得するためのインターフェースである。車両情報には、車両の運転操作を示す運転操作情報と、車両の状態を示す状態情報との少なくともどちらかが含まれている。車両情報は、例えば、急ハンドル、急ブレーキ、急発進、蛇行運転、煽り運転、または意図的な割り込みなど、危険運転につながる乗員の精神状態を判定可能な情報を含む。乗員は、運転者と同乗者とを含む。運転操作情報は、例えば、前照灯の点灯操作、クラクションの鳴動操作、ステアリング操作、ブレーキ操作、アクセル操作などの操作情報を含む。状態情報は、例えば、車両の車速、車両の加速度などの状態情報を含む。さらに状態情報には、図示しないセンサなどによって計測した、他車両との車間距離の情報を含んでもよい。
<車両用記録制御装置>
 制御装置100は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置(制御装置)である。制御装置100は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御装置100には図示しない内部メモリが含まれ、内部メモリは制御装置100におけるデータの一時記憶などに用いられる。制御装置100は、バス110に接続された、撮影データ取得部120と、バッファメモリ121と、映像データ処理部122と、記録制御部123と、再生制御部124と、操作制御部125と、加速度情報取得部126と、イベント検出部127と、位置情報取得部128と、車両情報取得部130と、精神状態判定部131と、録画設定部132と、表示制御部133と、音声出力制御部134と、を有する。
 撮影データ取得部120は、車両の周辺を撮影する第一カメラ211からの周辺映像データ、車両の車内を撮影する第二カメラ212からの車内映像データ、および、車両の乗員の音声を収音するマイクロフォン213からの音声データとの少なくともいずれかを撮影データとして取得する。撮影データ取得部120は、取得した撮影データをバッファメモリ121に出力する。
 バッファメモリ121は、制御装置100が備える内部メモリであり、撮影データ取得部120が取得した一定時間分の映像データを、更新しながら一時的に記録するメモリである。
 映像データ処理部122は、バッファメモリ121が一時的に記憶している映像データを、例えばH.264やMPEG-4(Moving Picture Experts Group)などの任意の方式のコーデックで符号化された、例えばMP4形式などの任意のファイル形式に変換する。映像データ処理部122は、バッファメモリ121が一時的に記憶している映像データから、一定時間分のファイルとした映像データを生成する。具体例として、映像データ処理部122は、バッファメモリ121が一時的に記憶している映像データを、記録順に60秒間の映像データをファイルとして生成する。映像データ処理部122は、生成した映像データを記録制御部123へ出力する。また、映像データ処理部122は生成した映像データを、再生制御部124を通して画像をデコード後、表示制御部133へ出力する。ファイルとして生成される映像データの期間は、一例として60秒としたが、これには限定されない。ここで言う映像データとは、第一カメラ211が撮影した映像に加えて音声が含まれたデータであってもよい。
 記録制御部123は、映像データ処理部122でファイル化された映像データを、記録部214に記録させる制御を行う。記録制御部123は、車両のアクセサリ電源がONであるときなど、ループ記録処理を実行する期間は、映像データ処理部122でファイル化された映像データを上書き可能な映像データとして記録部214に記録する。より詳しくは、記録制御部123は、ループ記録処理を実行する期間は、映像データ処理部122が生成した映像データを記録部214に記録し続け、記録部214の容量が一杯になった場合、最も古い映像データに新しい映像データを上書きして記録する。
 さらに、記録制御部123は、イベント検出部127がイベントの発生を検出した場合、イベントの検出に対応する撮影データを保存する。イベントの検出に対応する撮影データとは、映像データ処理部122が生成した映像データにおける所定の期間の映像データである。記録制御部123は、イベントの検出に対応する映像データを、上書きが禁止されたイベント記録データとして記録部214に保存する。
 記録制御部123が記録部214に保存するイベント記録データは、例えば、イベントが検出された時点の前後10秒程度の所定の期間の映像データをバッファメモリ121からコピーし、イベント記録データとして保存する。イベント記録データは、録画設定部132によって設定された録画期間を設定する。
 再生制御部124は、操作制御部125から出力された再生操作の制御信号に基づいて、記録部214に記録されたループ記録映像データまたはイベント記録データを再生するよう制御する。再生制御部124は、図示しないデコーダを含み、供給された圧縮データをデコードすることで、各種データを再生する。
 操作制御部125は、操作部215が受け付けた操作の操作情報を取得する。例えば、操作制御部125は、映像データの手動保存操作を示す保存操作情報、再生操作を示す再生操作情報、または、映像データの消去操作を示す消去操作情報を取得して制御信号を出力する。例えば、操作制御部125は、ループ記録を終了する操作を示す終了操作情報を取得して制御信号を出力する。
 加速度情報取得部126は、加速度センサ218の検出結果から、車両に加わる加速度を示す加速度情報を取得する。
 イベント検出部127は、加速度情報取得部126が取得した加速度センサ218の検出結果に基づいて、イベントを検出する。より詳しくは、イベント検出部127は、加速度情報取得部126が取得した加速度情報が閾値以上である場合、イベントが発生したことを検出する。
 位置情報取得部128は、車両の現在位置を示す位置情報を取得する。位置情報取得部128は、GPS受信部219が受信した電波に基づいて、車両の現在位置の位置情報を公知の方法によって算出する。位置情報取得部128は、準天頂衛星を含む他の測位システムを使用して、車両の現在位置の位置情報を算出してもよい。
 車両情報取得部130は、IF部220が取得した車両情報を取得する。より詳しくは、車両情報取得部130は、車両に対する運転操作を示す運転操作情報と、車両の状態を示す状態情報との少なくともどちらかを含み、車両の挙動を示す車両情報を取得する。
 精神状態判定部131は、撮影データ取得部120が取得した撮影データと、車両情報取得部130が取得した車両情報との少なくともどちらかから認識された車両の挙動に基づいて、乗員の精神状態の良否を判定する。精神状態判定部131は、以下に示すような車両の挙動が、所定時間内に所定回数以上、認識された場合、乗員の精神状態が悪い、または、精神状態がよいと判定してもよい。精神状態判定部131は、以下に示すような車両の挙動を複数組み合わせて、乗員の精神状態の良否を判定してもよい。
 精神状態判定部131は、撮影データに含まれる音声データから乗員の音声を認識して、乗員の精神状態の良否を判定する。より詳しくは、精神状態判定部131は、例えば、音声データから認識された乗員の音声の大きさが、落ち着いた精神状態における音声の大きさに比べて大きい場合、乗員の精神状態が悪いと判定する。精神状態判定部131は、例えば、音声データから認識された乗員の声の高さが、落ち着いた精神状態における声の高さに比べて高いまたは低い場合、乗員の精神状態が悪いと判定する。精神状態判定部131は、例えば、音声データから認識された乗員が発した文言が、あらかじめ記憶部に記憶した所定の文言に該当する場合、乗員の精神状態が悪いと判定する。所定の文言は、精神状態が悪い場合に発せられる文言である。所定の文言は、例えば、怒りの感情を示す文言、興奮状態で発せられる文言、汚い文言、または、罵倒する文言などである。精神状態判定部131は、例えば、音声データから認識された乗員が発した文言が、あらかじめ記憶部に記憶した除外文言に該当する場合、精神状態がよいと判定する。除外文言は、精神状態が悪くない場合、言い換えると、精神状態が落ち着いている場合に発せられる文言である。除外文言は、例えば、お礼の文言、または、道を譲る場合に発する文言などである。
 精神状態判定部131は、例えば、撮影データに含まれる車内映像データから乗員を認識して、乗員の精神状態の良否を判定する。より詳しくは、精神状態判定部131は、例えば、車内映像データから認識された乗員の表情が、怒りの感情を示す表情、興奮状態であることを示す表情、または、怒鳴っている表情などである場合、乗員の精神状態が悪いと判定する。精神状態判定部131は、例えば、車内映像データから認識された乗員の表情が、笑顔である場合、または、感情をあらわにしていない場合、精神状態がよいと判定する。精神状態判定部131は、例えば、車内映像データから認識された乗員の手指の形が、特定の指のみを立てている場合、特定の指のみを下に向けている場合、または、指差している場合、乗員の精神状態が悪いと判定する。精神状態判定部131は、例えば、車内映像データから認識された乗員の手指の形が、お礼のために手をあげている場合、または、道を譲る意思を伝える動きをしている場合、精神状態がよいと判定する。精神状態判定部131は、例えば、車内映像データから認識された乗員の頭部または上半身の傾きが、会釈の動作をしている場合、精神状態がよいと判定する。
 精神状態判定部131は、運転操作情報に含まれる前照灯の点灯操作の操作情報が、周辺に他車両が存在している状態でハイビームを点灯時間閾値以上点灯していることを示す場合、乗員の精神状態が悪いと判定する。精神状態判定部131は、運転操作情報に含まれる前照灯の点灯操作の操作情報が、周辺に他車両が存在している状態でパッシングを点灯時間閾値以上行っていることを示す場合、乗員の精神状態が悪いと判定する。周辺に他車両が存在するか否かは、公知のいずれかの方法によって判定可能であり、その方法は限定されない。例えば、撮影データ取得部120が取得した周辺映像データに画像処理を行って、他車両が認識された場合、周辺に他車両が存在すると判定してもよい。例えば、図示しない車両の周辺の障害物を検出するセンサからの検出情報に基づいて、周辺に他車両が存在すると判定してもよい。例えば、図示しない地図情報と、車両の現在位置の位置情報とから、市街地を走行している場合、周辺に他車両が存在すると判定してもよい。
 精神状態判定部131は、運転操作情報に含まれるクラクションの鳴動操作の操作情報が、クラクションを鳴動時間閾値以上、または、鳴動回数閾値以上鳴らしていることを示す場合、乗員の精神状態が悪いと判定する。
 精神状態判定部131は、運転操作情報に含まれるステアリング操作、ブレーキ操作、またはアクセル操作の操作情報が、例えば、急ハンドル、急ブレーキ、急発進、蛇行運転などを示す場合、乗員の精神状態が悪いと判定する。より詳しくは、精神状態判定部131は、例えば、運転操作情報に含まれるステアリング操作量がステアリング閾値以上である場合、急ハンドルと判定する。精神状態判定部131は、例えば、運転操作情報に含まれるブレーキ踏込量がブレーキ踏込量閾値以上である場合、急ブレーキと判定する。
 精神状態判定部131は、例えば、状態情報に含まれる速度情報が速度閾値以上である場合、急発進と判定する。精神状態判定部131は、例えば、状態情報に含まれる速度情報が速度閾値以上である場合、または、状態情報に含まれる加速度情報が加速度閾値以上である場合、急発進と判定する。精神状態判定部131は、例えば、運転操作情報に含まれる車両の方位角の変化量が方位角閾値以上である場合、蛇行運転と判定する。
 精神状態判定部131は、状態情報に含まれる車間距離が距離閾値以下である状態が、時間閾値以上継続している場合、乗員の精神状態が悪いと判定する。また、精神状態判定部131は、速度が一定以上の場合に、車間距離が距離閾値以下であるかの判定を実行してもよい。これにより、走行時での状態を判定することができ、例えば、渋滞で車間距離が狭い場合に、精神状態が悪いと判定することを防ぐことができる。
 録画設定部132は、精神状態判定部131が乗員の精神状態が悪いと判定した場合、イベントの検出に対応して保存する撮影データであるイベント記録データの録画時間の設定を変更する。録画設定部132は、精神状態判定部131が乗員の精神状態を悪いと判定した時点を録画期間の開始時点として設定してもよい。録画設定部132は、精神状態判定部131が乗員の精神状態をよいと判定した時点を録画期間の終了時点として設定してもよい。録画設定部132は、精神状態判定部131が乗員の精神状態が悪いと判定した後、精神状態がよいと判定した場合、イベント記録データの録画時間の設定を元に戻す。
 図2は、通常のイベント録画データの録画期間の一例を示す図である。通常のイベント録画データの録画期間は、イベント発生時点T1より前の時点T3からイベント録画終了時点T2までである。時点T3は、例えば、イベント発生時点T1から所定期間Δt1前の時点である。イベント録画終了時点T2は、例えば、イベント発生時点T1から所定期間Δt2経過後の時点である。図2に示すイベント録画データは、乗員の精神状態が悪いと判定された精神不良時点T4から時点T3までの期間と、イベント録画終了時点T2から乗員の精神状態がよいと判定された精神良好時点T5までの期間を含まない。これにより、図2に示すイベント録画データは、事故を誘発する原因、言い換えると、イベント発生原因となった乗員の精神不良期間をすべて録画することができない。
 図3は、イベント録画データの録画期間の一例を示す図である。録画設定部132は、精神状態判定部131が乗員の精神状態が悪いと判定した場合、例えば、乗員の精神状態が異常である期間をイベント録画の録画期間に設定してもよい。この場合、イベント録画データは、イベント発生時点T1から乗員の精神状態が不良と判定された精神不良時点T4まで遡って記録される。イベント録画データは、乗員の精神状態が良好と判定された精神良好時点T5まで記録される。録画設定部132は、精神状態判定部131が乗員の精神状態が悪いと判定した場合、例えば、精神不良時点T4から精神良好時点T5までを録画期間に設定する。これにより、イベント発生原因となり得る、車両の乗員の精神不良期間の全期間が記録される。なお、乗員の精神状態が悪いと判定された後、所定期間を経過しても乗員の精神状態が良好であると判定されない場合、録画期間を終了してもよい。
 録画設定部132は、イベント発生後に乗員の精神不良が判定された場合、乗員が精神良好になるまでを録画期間に設定してもよい。
 図4は、イベント録画データの録画期間の他の例を示す図である。録画設定部132は、精神状態判定部131が乗員の精神状態が悪いと判定した場合、精神不良時点T4からイベント録画終了時点T2までを録画期間に設定してもよい。これにより、イベント発生時点T1より前の精神不良時点T4まで遡って記録される。
 図5は、イベント録画データの録画期間およびイベント録音データの録音期間の一例を示す図である。図5では、イベント録画に加えてイベント録音を行う場合について説明する。なお、イベント録画とは、録画及び録音を含む概念である。説明のために、図5ないし図8においては、イベント録画とイベント録音とを区別して記載している。例えば、精神状態判定部131が、撮影データに含まれる音声データから乗員の精神不良を判定した場合、録画設定部132は、図5のように録音期間を変更してもよい。より詳しくは、録画設定部132は、精神状態判定部131が撮影データに含まれる音声データから乗員の精神状態が悪いと判定した場合、イベント録画の録画期間を通常のイベント録画と同様に時点T3からイベント録画終了時点T2までに設定し、イベント録音の録音期間を精神不良時点T4からイベント録画終了時点T2までに設定してもよい。これにより、イベント発生時点T1より前の精神不良時点T4まで遡って音声が記録される。なお、録画期間および録音期間は、精神良好時点T5までとしてもよい。
 図6は、イベント録画データの録画期間およびイベント録音データの録音期間の一例を示す図である。図6では、イベント録画に加えてイベント録音を行う場合について説明する。例えば、精神状態判定部131が、撮影データに含まれる映像データから乗員の精神不良を判定した場合、録画設定部132は、図6のように録画期間を変更してもよい。より詳しくは、録画設定部132は、精神状態判定部131が撮影データに含まれる映像データから乗員の精神状態が悪いと判定した場合、イベント録画の録画期間を精神不良時点T4からイベント録画終了時点T2までに設定し、通常のイベント録音と同様にイベント録音の録音期間を時点T3からイベント録画終了時点T2までに設定してもよい。これにより、イベント発生時点T1より前の精神不良時点T4まで遡って映像が記録される。なお、録画期間および録音期間は、精神良好時点T5までとしてもよい。
 図7は、車外のイベント録画データの録画期間の一例を示す図である。図7は、イベント録画及びイベント録音として、車外の録画及び録音を行う場合について説明する。例えば、乗員の精神状態が良好である場合、乗員に起因した事故が発生する可能性は低い。このため、車内の録画及び録音は行わないものとする。録画設定部132は、精神状態判定部131が乗員の精神状態が良好と判定した場合、車外のイベント録画の録画期間及び録音期間を時点T3からイベント録画終了時点T2までに設定してもよい。
 図8は、車内のイベント録画データの録画期間の一例を示す図である。図8は、イベント録画及びイベント録音として、車内の録画及び録音を行う場合について説明する。例えば、乗員の精神状態が良好である場合、乗員に起因した事故が発生する可能性は低い。このため、車内の録画及び録音を行って、乗員の精神状態が問題ないことを記録する。録画設定部132は、精神状態判定部131が乗員の精神状態が良好と判定した場合、車内のイベント録画の録画期間及び録音期間を時点T3からイベント録画終了時点T2までに設定してもよい。
 乗員の精神状態を悪いと判定した場合、録画設定部132が、録画期間及び録音期間を変更することにより、イベント発生原因となった乗員の精神不良期間を含んで録画及び録音可能である。
 録画設定部132は、録画期間及び録音期間を含む録画に関する各種設定が記憶された設定ファイルを変更して、録画期間及び録音期間の設定を変更してもよい。
 表示制御部133は、表示部216における映像データの表示を制御する。表示制御部133は、映像データを表示部216に出力させる映像信号を出力する。より詳しくは、表示制御部133は、第一カメラ211または第二カメラ212が撮影している映像、または、記録部214に記録されたループ記録映像データまたはイベント記録データの再生によって表示する映像信号を出力する。
 表示制御部133は、精神状態判定部131が乗員の精神状態を悪いと判定した場合、録画設定が変更されることを示す文字情報またはアイコンなどを表示部216に表示させてもよい。表示制御部133は、精神状態判定部131が乗員の精神状態を悪いと判定されて、かつ、イベントが検出された場合、危険運転を抑止するメッセージを表示部216に表示させてもよい。
 音声出力制御部134は、表示部216に表示される映像データに対応する音声データをスピーカ217から出力させる音声信号を出力する。音声出力制御部134は、操作制御部125から出力された選択操作及び再生操作の制御信号に基づいて、記録部214に記録されたイベント記録データまたはループ記録データに対応する音声データをスピーカ217から出力させる音声信号を出力する。
 音声出力制御部134は、精神状態判定部131が乗員の精神状態を悪いと判定した場合、録画設定が変更されることを示す音声情報または通知音をスピーカ217から出力させてもよい。音声出力制御部134は、精神状態判定部131が乗員の精神状態を悪いと判定されて、かつ、イベントが検出された場合、危険運転を抑止する音声情報または通知音をスピーカ217から出力させてもよい。
<車両用記録制御装置における情報処理>
 次に、図9、図10を用いて、制御装置100における処理の流れについて説明する。本実施形態では、車両の乗員の精神状態が悪いと判定される場合、イベント録画データの録画期間を変更する。車両用記録装置10が起動している間、図9に示すフローチャートの処理と、図10に示すフローチャートの処理とが実行される。
 まず、図9は、第一実施形態に係る制御装置100における処理の流れの一例を示すフローチャートである。車両用記録装置10が起動している間、図9に示すフローチャートの処理によって、乗員の精神状態が常時判定される。
 制御装置100は、精神状態判定部131によって、乗員の精神状態が悪いか否かを判定する(ステップS101)。より詳しくは、精神状態判定部131によって、撮影データ取得部120が取得した撮影データと、車両情報取得部130が取得した車両情報との少なくともどちらかから認識された車両の挙動に基づいて、乗員の精神状態の良否を判定する。精神状態判定部131によって、乗員の精神状態が悪いと判定した場合(ステップS101でYes)、ステップS102へ進む。精神状態判定部131によって、乗員の精神状態が悪いと判定しない場合(ステップS101でNo)、ステップS104へ進む。
 乗員の精神状態が悪いと判定した場合(ステップS101でYes)、制御装置100は、録画設定部132によって、イベント録画データの録画期間を変更する(ステップS102)。制御装置100は、ステップS103へ進む。録画期間は、イベント発生時点より前の乗員の精神不良期間を含むように変更する。これにより、乗員が精神不良である期間にイベントが検出された場合、イベント発生原因となった可能性がある期間を含む録画期間が設定される。
 制御装置100は、録画期間が変更されたことを乗員に通知する(ステップS103)。より詳しくは、表示制御部133によって、録画設定が変更されたことを示す文字情報またはアイコンなどを表示部216に表示させる。音声出力制御部134によって、録画設定が変更されたことを示す音声情報または通知音をスピーカ217から出力させる。制御装置100は、処理を終了する。表示制御部133は、危険運転を抑止するメッセージを表示部216に表示させてもよい。音声出力制御部134は、危険運転を抑止する音声情報または通知音をスピーカ217から出力させてもよい。
 乗員の精神状態が悪いと判定しない場合(ステップS101でNo)、制御装置100は、録画設定部132によって、イベント録画データの録画期間を元に戻す(ステップS104)。通常のイベント録画の録画期間で保存される。制御装置100は、処理を終了する。
 このように、車両の乗員の精神状態に応じて、イベント録画の録画期間が変更される。
 つづいて、図10は、第一実施形態に係る制御装置100におけるイベント検出処理の流れの一例を示すフローチャートである。
 制御装置100は、ループ記録、イベント検出を開始する(ステップS201)。より詳しくは、映像データ処理部122によって、ループ記録を開始する。また、設定された加速度の閾値での加速度センサ218による加速度の検出が開始される。イベント検出部127によって、検出された加速度に基づいて、イベント検出を開始する。制御装置100は、ステップS202へ進む。
 制御装置100は、イベント検出部127による検出結果に基づいて、イベントを検出したか否かを判定する(ステップS202)。イベント検出部127によって、検出された加速度が閾値以上である場合、イベントを検出したと判定して(ステップS202でYes)、ステップS203に進む。または、イベント検出部127によって、検出された加速度が閾値以上ではないと判定する場合、イベントを検出しないと判定して(ステップS202でNo)、ステップS204に進む。
 イベントを検出したと判定した場合(ステップS202でYes)、記録制御部123によって、撮影された映像データをイベント記録データとして記録部214に上書きを禁止して保存させ(ステップS203)、ステップS204に進む。イベント記録データは、イベント検出時点の前後の時間を含む映像データである。イベント記録データは、録画設定部132によって録画期間が変更されている場合、乗員の精神状態不良期間を含む期間が保存される。
 制御装置100は、ループ記録、イベント検出を終了するか否かを判定する(ステップS204)。例えば、車両の電源や動力がOFFにされたことや、操作部215の操作がされたことなどで、ループ記録、イベント検出を終了することが判定される。制御装置100は、ループ記録、イベント検出を終了すると判定された場合(ステップS204でYes)、本処理を終了する。制御装置100は、ループ記録、イベント検出を終了すると判定されない場合(ステップS204でNo)、ステップS202の処理を再度実行する。
<効果>
 上述したように、本実施形態では、乗員の精神状態を悪いと判定した場合、イベント録画の録画期間を変更することができる。本実施形態は、乗員の精神状態を悪いと判定した時点を録画期間の開始時点として設定することができる。本実施形態は、乗員の精神状態をよいと判定した時点を録画期間の終了時点として設定することができる。これらにより、本実施形態は、乗員の精神状態が悪い場合、イベント発生時点より前からイベント記録データを保存できる。本実施形態は、イベント録画データの録画期間を長くすることができる。本実施形態において、イベント発生原因となり得る、車両の乗員の精神不良期間を適切に記録することができる。
 本実施形態では、音声データから乗員の精神状態が悪いと判定した場合、イベント録画の録画期間を通常のイベント録画と同様に時点T3からイベント録画終了時点T2までに設定し、イベント録音の録音期間を精神不良時点T4からイベント録画終了時点T2までに設定する。本実施形態によれば、車両の乗員の精神不良期間のうち、イベント発生時点T1より前の精神不良時点T4からイベント録画終了時点T2までの音声を記録することができる。
 本実施形態では、映像データから乗員の精神状態が悪いと判定した場合、イベント録画の録画期間を精神不良時点T4からイベント録画終了時点T2までに設定し、イベント録音の録音期間を時点T3からイベント録画終了時点T2までに設定する。本実施形態によれば、車両の乗員の精神不良期間のうち、イベント発生時点T1より前の精神不良時点T4からイベント録画終了時点T2までの映像を記録することができる。
 本実施形態では、乗員の精神状態が悪いと判定した場合、車外または車内のイベント録画の録画期間及び録音期間を時点T3からイベント録画終了時点T2までに設定する。本実施形態によれば、車外および車内のイベント録画の録画期間及び録音期間をそれぞれ適切に変更できる。
 本実施形態は、乗員の精神状態を悪いと判定した場合、録画期間が変更されることを表示または音声によって乗員に報知する。本実施形態によれば、乗員に報知することによって、危険運転を抑止することができる。
 本実施形態は、精神状態判定部131が乗員の精神状態を悪いと判定されて、かつ、イベントが検出された場合、危険運転を抑止するメッセージを表示または音声によって乗員に報知する。本実施形態によれば、危険運転を抑止することができる。
 本実施形態は、乗員の精神状態が悪いと判定されない場合、通常の録画期間でイベント録画データを保存する。本実施形態によれば、不用意に録画設定が変更されることを抑制できる。
[第二実施形態]
 図11、図12を参照しながら、本実施形態に係る車両用記録装置10Aについて説明する。図11は、第二実施形態に係る制御装置100Aを有する車両用記録装置10Aの構成例を示すブロック図である。図12は、第二実施形態に係る制御装置100Aにおける処理の流れの一例を示すフローチャートである。車両用記録装置10Aは、基本的な構成は第一実施形態の車両用記録装置10と同様である。以下の説明においては、車両用記録装置10と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態では、制御装置100Aが乗員判定部135Aを有する点と、制御装置100Aにおける処理とが第一実施形態と異なる。
 乗員判定部135Aは、車両の乗員が運転者のみであるか否かを判定する。より詳しくは、乗員判定部135Aは、撮影データ取得部120が取得した車内映像データに画像処理を行って、運転者以外の同乗者が存在するか否かを判定する。乗員判定部135Aは、車内映像データにおいて、運転席以外の座席に座っている乗員を認識しない場合、車両の乗員は運転者のみであると判定する。
 乗員判定部135Aは、撮影データ取得部120が取得した車内の音声データから、運転者以外の同乗者が存在するか否かを判定してもよい。音声データに含まれる音声と、記憶部に記憶しておいた運転者の音声とを比較することによって、運転者以外の同乗者が存在するか否かを判定してもよい。
 乗員判定部135Aは、各座席に配置した、着座センサが検出したセンサデータから、運転者以外の同乗者が存在するか否かを判定してもよい。
 記録制御部123Aは、精神状態判定部131Aが乗員のうち運転者の精神状態を悪いと判定した場合、撮影データを記録部214に保存する。より詳しくは、記録制御部123Aは、乗員判定部135Aが乗員は運転者のみであると判定した場合であって、精神状態判定部131Aが運転者の精神状態を悪いと判定した場合、撮影データを記録部214に保存する。運転者の精神状態が悪い場合、危険運転を抑制する同乗者がいないので、すぐに危険運転をするおそれがある。また、同乗者の精神状態が悪い場合は、精神状態が悪くても直接運転には関与できないが、運転者の場合は、運転の主導権があり、運転に直接関与できるため、すぐに危険運転になるおそれがある。そこで、イベント検出の有無にかかわらず撮影データを保存する。
 次に、図12を用いて、制御装置100Aにおける処理の流れについて説明する。車両用記録装置10Aが起動している間、図12に示すフローチャートの処理によって、乗員の精神状態が常時判定される。ステップS117ないしステップS119の処理は、図9に示すフローチャートのステップS102ないしステップS104と同様の処理を行う。
 制御装置100Aは、乗員判定部135Aによって、乗員は運転者のみであるか否かを判定する(ステップS111)。乗員判定部135Aによって、乗員は運転者のみであると判定した場合(ステップS111でYes)、ステップS112へ進む。乗員判定部135Aによって、乗員は運転者のみであると判定しない場合(ステップS111でNo)、ステップS116へ進む。
 乗員は運転者のみであると判定した場合(ステップS111でYes)、制御装置100Aは、運転者の精神状態が悪いか否かを判定する(ステップS112)。精神状態判定部131Aによって、運転者の精神状態が悪いと判定した場合(ステップS112でYes)、ステップS113へ進む。精神状態判定部131Aによって、運転者の精神状態が悪いと判定しない場合(ステップS112でNo)、ステップS115へ進む。
 運転者の精神状態が悪いと判定した場合(ステップS112でYes)、制御装置100Aは、イベント録画を開始する(ステップS113)。より詳しくは、記録制御部123Aによって、イベント検出の有無にかかわらず、撮影データを記録部214に保存する。イベント検出の有無にかかわらず、イベント録画を開始するのは、運転者の精神状態が悪い場合、すぐに危険運転になるおそれがあるためである。制御装置100Aは、ステップS114へ進む。
 制御装置100Aは、録画を開始したことを運転者に通知する(ステップS114)。より詳しくは、表示制御部133によって、録画を開始したことを示す文字情報またはアイコンなどを表示部216に表示させる。音声出力制御部134によって、録画を開始したことを示す音声情報または通知音をスピーカ217から出力させる。制御装置100Aは、処理を終了する。
 運転者の精神状態が悪いと判定しない場合(ステップS112でNo)、制御装置100Aは、イベント録画を解除する(ステップS115)。制御装置100Aは、処理を終了する。
 上述したように、本実施形態では、運転者の精神状態を悪いと判定した場合、イベント検出の有無にかかわらず、撮影データを記録部214に保存する。本実施形態によれば、運転者による挑発行為などを適切に録画することができる。本実施形態は、危険運転を抑止することができる。
 本開示に係る車両用記録装置10は、上述した実施形態以外にも種々の異なる形態にて実施されてもよい。
 図示した車両用記録装置10の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
 車両用記録装置10の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
 上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
 上記において、精神状態判定部131が乗員の精神状態を悪いと判定した場合、録画設定部136Bによって、撮影データの保存領域を変更してもよい。これにより、イベント検出の閾値が変更された場合と通常の閾値の場合とで、イベント検出データを異なる保存領域に保存することができる。乗員の精神状態が悪い場合のイベント記録データを容易に確認することができる。
 精神状態判定部131が乗員の精神状態を悪いと判定した場合、録画設定が変更されることを表示部216の周辺またはダッシュボード、インストルメントパネル、センターコンソールなどに設けられたインジケータを点灯することによって示してよい。
 上記では、精神状態判定部131は、乗員が恐怖を感じていることを検出して、乗員の精神状態が悪いと判定してもよい。これにより、例えば、周辺に危険運転を行っている他車両がいる場合などにおいて、乗員の恐怖の感情を検出した場合を乗員の精神状態が悪いと判定可能である。この場合、第一実施形態における所定の文言として、例えば、恐怖の感情を示す文言、または、不安状態で発せられる文言などを含むものとする。また、精神状態判定部131は、例えば、車内映像データから認識された乗員の表情が、恐怖の感情を示す表情、または、不安状態を示す表情などである場合、乗員の精神状態が悪いと判定してもよい。さらに、精神状態判定部131は、周辺に他車両が存在している状態で、乗員が恐怖を感じている場合、乗員の精神状態が悪いと判定してもよい。
 図13は、イベント録画データの録画期間の他の例を示す図である。図13を用いて、乗員が恐怖を感じていることにより精神状態が悪い場合の録画期間について説明する。この場合、録画設定部132は、精神状態判定部131が乗員の精神状態が悪いと判定した場合、例えば、精神不良時点T4より前の時点T6から精神良好時点T5までを録画期間に設定する。時点T6は、精神不良時点T4より時間Δt3前の時点である。例えば、煽り運転などのように周辺の他車両によって、乗員が恐怖を感じている場合、乗員が恐怖を感じた精神不良時点T4より前に他車両による煽り運転などが撮影される可能性がある。そこで、イベント記録データを、乗員が恐怖を感じた精神不良時点T4より前から保存することにより、イベント発生原因となり得る、イベント原因の発生期間を適切に記録することができる。乗員が恐怖を感じていることにより精神状態が悪く、かつ、車両の周辺の他車両との車間距離が閾値以下になった場合、録画期間を上記のように設定するようにしてもよい。
 第二実施形態において、乗員の精神状態が悪い場合(ステップS116でYes)であって、かつ、運転者の精神状態が悪い場合、ステップS113と同様に、記録制御部123Aによって、イベント検出の有無にかかわらず、撮影データを記録部214に保存してもよい。
 本開示の車両用記録制御装置、記録制御方法およびプログラムは、例えば、ドライブレコーダに使用することができる。
 10   車両用記録装置
 100  制御装置(車両用記録制御装置)
 110  バス
 120  撮影データ取得部
 121  バッファメモリ
 122  映像データ処理部
 123  記録制御部
 124  再生制御部
 125  操作制御部
 126  加速度情報取得部
 127  イベント検出部
 128  位置情報取得部
 130  車両情報取得部
 131  精神状態判定部
 132  録画設定部
 133  表示制御部
 134  音声出力制御部
 211  第一カメラ(周辺撮影部)
 212  第二カメラ(車内撮影部)
 213  マイクロフォン(収音部)
 214  記録部
 215  操作部
 216  表示部
 217  スピーカ
 218  加速度センサ
 219  GPS受信部
 220  IF部(CANインターフェース部)

Claims (5)

  1.  車両に対する運転操作を示す運転操作情報と、前記車両の状態を示す状態情報との少なくともどちらかを含み、前記車両の挙動を示す車両情報を取得する車両情報取得部と、
     前記車両の周辺の映像である周辺映像データ、前記車両の車内の映像である車内映像データ、および、前記車両の乗員の音声を収音する収音部からの音声データの少なくともいずれかを撮影データとして取得する撮影データ取得部と、
     前記撮影データ取得部が取得した前記撮影データと、前記車両情報取得部が取得した前記車両情報との少なくともどちらかから認識された前記車両の挙動に基づいて、前記乗員の精神状態の良否を判定する精神状態判定部と、
     前記車両に加わる加速度を示す加速度情報を取得する加速度情報取得部と、
     前記加速度情報取得部が取得した加速度情報が閾値以上である場合にイベントが発生したことを検出するイベント検出部と、
     前記イベント検出部がイベントの発生を検出した場合、イベントの検出に対応する前記撮影データを保存する記録制御部と、
     前記精神状態判定部が前記乗員の精神状態を悪いと判定した場合、前記イベントの検出に対応して保存する前記撮影データの録画期間を変更する録画設定部と、
     を備える、車両用記録制御装置。
  2.  前記録画設定部は、前記精神状態判定部が前記乗員の精神状態を悪いと判定した時点を録画期間の開始時点として設定する、
     請求項1に記載の車両用記録制御装置。
  3.  前記録画設定部は、前記精神状態判定部が前記乗員の精神状態をよいと判定した時点を録画期間の終了時点として設定する、
     請求項2に記載の車両用記録制御装置。
  4.  車両に対する運転操作を示す運転操作情報と、前記車両の状態を示す状態情報との少なくともどちらかを含み、前記車両の挙動を示す車両情報を取得する車両情報取得ステップと、
     前記車両の周辺の映像である周辺映像データ、前記車両の車内の映像である車内映像データ、および、前記車両の乗員の音声を収音する収音部からの音声データの少なくともいずれかを撮影データとして取得する撮影データ取得ステップと、
     前記撮影データ取得ステップによって取得された前記撮影データと、前記車両情報取得ステップによって取得された前記車両情報との少なくともどちらかから認識された前記車両の挙動に基づいて、前記乗員の精神状態の良否を判定する精神状態判定ステップと、
     前記車両に加わる加速度を示す加速度情報を取得する加速度情報取得ステップと、
     前記加速度情報取得ステップによって取得された加速度情報が閾値以上である場合にイベントが発生したことを検出するイベント検出ステップと、
     前記イベント検出ステップによってイベントの発生を検出した場合、イベントの検出に対応する前記撮影データを保存する記録制御ステップと、
     前記精神状態判定ステップによって前記乗員の精神状態が悪いと判定された場合、前記イベントの検出に対応して保存する前記撮影データの録画期間を変更する録画設定ステップと、
     を含む、車両用記録制御が実行する記録制御方法。
  5.  車両に対する運転操作を示す運転操作情報と、前記車両の状態を示す状態情報との少なくともどちらかを含み、前記車両の挙動を示す車両情報を取得する車両情報取得ステップと、
     前記車両の周辺の映像である周辺映像データ、前記車両の車内の映像である車内映像データ、および、前記車両の乗員の音声を収音する収音部からの音声データの少なくともいずれかを撮影データとして取得する撮影データ取得ステップと、
     前記撮影データ取得ステップによって取得された前記撮影データと、前記車両情報取得ステップによって取得された前記車両情報との少なくともどちらかから認識された前記車両の挙動に基づいて、前記乗員の精神状態の良否を判定する精神状態判定ステップと、
     前記車両に加わる加速度を示す加速度情報を取得する加速度情報取得ステップと、
     前記加速度情報取得ステップによって取得された加速度情報が閾値以上である場合にイベントが発生したことを検出するイベント検出ステップと、
     前記イベント検出ステップによってイベントの発生を検出した場合、イベントの検出に対応する前記撮影データを保存する記録制御ステップと、
     前記精神状態判定ステップによって前記乗員の精神状態が悪いと判定された場合、前記イベントの検出に対応して保存する前記撮影データの録画期間を変更する録画設定ステップと、
     を実行させるプログラム。
PCT/JP2021/005254 2020-08-31 2021-02-12 車両用記録制御装置、記録制御方法およびプログラム WO2022044372A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020146359A JP2022041259A (ja) 2020-08-31 2020-08-31 車両用記録制御装置、記録制御方法およびプログラム
JP2020-146359 2020-08-31

Publications (1)

Publication Number Publication Date
WO2022044372A1 true WO2022044372A1 (ja) 2022-03-03

Family

ID=80355057

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/005254 WO2022044372A1 (ja) 2020-08-31 2021-02-12 車両用記録制御装置、記録制御方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2022041259A (ja)
WO (1) WO2022044372A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013438A (ja) * 2018-07-20 2020-01-23 株式会社Jvcケンウッド 記録制御装置、記録制御方法および記録制御プログラム
JP2020102092A (ja) * 2018-12-25 2020-07-02 株式会社ユピテル システムおよびプログラム等

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013438A (ja) * 2018-07-20 2020-01-23 株式会社Jvcケンウッド 記録制御装置、記録制御方法および記録制御プログラム
JP2020102092A (ja) * 2018-12-25 2020-07-02 株式会社ユピテル システムおよびプログラム等

Also Published As

Publication number Publication date
JP2022041259A (ja) 2022-03-11

Similar Documents

Publication Publication Date Title
US10958866B2 (en) Recording apparatus, recording method, and a non-transitory computer readable medium
JP2008299657A (ja) 車両の走行状態表示方法
JP2007141223A (ja) 情報処理装置および方法、記録媒体、並びに、プログラム
US11917326B2 (en) Recording reproduction apparatus, recording reproduction method, and non-transitory computer readable medium
JP2008299656A (ja) ドライブレコーダにおける画像記録条件設定方法
JP2010175516A (ja) 省エネ評価装置、省エネ評価方法
US11995927B2 (en) On-vehicle recording control apparatus, on-vehicle recording apparatus, on-vehicle recording control method, and non-transitory computer-readable recording medium
JP5106756B2 (ja) 記録装置および車両事故記録方法
US20090265060A1 (en) Information recording apparatus, information recording method, information recording program, and recording medium
JP2021189778A (ja) 車両用記録制御装置、記録制御方法およびプログラム
WO2022044372A1 (ja) 車両用記録制御装置、記録制御方法およびプログラム
JP4561627B2 (ja) 車両周辺監視装置
JP2023107812A (ja) 記録再生制御装置、および記録再生制御方法
JP2014044523A (ja) ドライブレコーダ
CN115336248B (zh) 车辆用记录控制装置以及记录控制方法
JP2021189784A (ja) 車両用記録制御装置、記録制御方法およびプログラム
JP7006815B2 (ja) 記録再生装置、記録再生方法、およびプログラム
JP5435113B2 (ja) 省エネ評価装置、省エネ評価方法
JP2022056922A (ja) 車両用記録制御装置、記録制御方法およびプログラム
JP2019129441A (ja) 楽曲提供システム及び楽曲提供方法
JP7218787B2 (ja) 記録再生装置
JP2013152571A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2022190481A1 (ja) 車両用記録装置および記録方法
JP2005348329A (ja) 自動車用監視システム
JP2022135889A (ja) 車両用記録制御装置および記録制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21860804

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21860804

Country of ref document: EP

Kind code of ref document: A1