WO2020195706A1 - 記録システム、及び、記録方法 - Google Patents

記録システム、及び、記録方法 Download PDF

Info

Publication number
WO2020195706A1
WO2020195706A1 PCT/JP2020/009658 JP2020009658W WO2020195706A1 WO 2020195706 A1 WO2020195706 A1 WO 2020195706A1 JP 2020009658 W JP2020009658 W JP 2020009658W WO 2020195706 A1 WO2020195706 A1 WO 2020195706A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
unit
recording
data
recorded data
Prior art date
Application number
PCT/JP2020/009658
Other languages
English (en)
French (fr)
Inventor
富澤　克美
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to JP2021508939A priority Critical patent/JP7459866B2/ja
Publication of WO2020195706A1 publication Critical patent/WO2020195706A1/ja
Priority to US17/468,728 priority patent/US11558586B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G08G1/13—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a recording system and a recording method.
  • the technology for recording event recording data by detecting the impact generated on the vehicle by acceleration is known. Further, there is known a technique of detecting motion by detecting a change in brightness value or an increase in volume from video data during shooting, and recording when the motion is detected (see, for example, Patent Document 1). ).
  • event record data may not be saved. Further, if the threshold value of acceleration is lowered, event record data may be inadvertently recorded even when, for example, a vehicle rides on a step or when a door is opened or closed.
  • the present disclosure has been made in view of the above, and an object of the present disclosure is to appropriately record an event.
  • the recording system includes a recording data acquisition unit that acquires recorded data that records the situation around the vehicle, and the recording data acquisition unit that acquires the recording data.
  • a recording data acquisition unit that acquires recorded data that records the situation around the vehicle
  • the recording data acquisition unit that acquires the recording data.
  • a learning unit that generates a trained model of the above, and a determination unit that determines the occurrence of an event based on the recorded data acquired by the recorded data acquisition unit using the trained model learned by the learning unit.
  • the determination unit includes an event recording control unit that causes the recording unit to record recorded data including the time when the event occurs as event recording data.
  • the recording method is a predetermined recording data acquisition step for acquiring recorded data recording the surrounding situation of the vehicle and a predetermined recording data included in the recorded data by analyzing the recorded data acquired by the recorded data acquisition step.
  • An analysis step for analyzing the transition of components a learning step for learning the transition of the predetermined component analyzed by the analysis step by artificial intelligence to generate a trained model for determining the occurrence of an event, and the learning step.
  • the occurrence of an event is determined by the determination step and the determination step of determining the occurrence of an event based on the recorded data acquired by the recording data acquisition step using the trained model learned in Includes an event recording control step in which the recording unit records the recorded data including the time of occurrence of the event recording data.
  • FIG. 1 is a schematic view showing an example of a configuration example of a recording system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of video data when the inter-vehicle distance to the vehicle in front is stopped at an appropriate position.
  • FIG. 3 is a diagram illustrating an example of line graph information of a black component of the video data shown in FIG.
  • FIG. 4 is a diagram illustrating an example of video data when an event occurs.
  • FIG. 5 is a diagram illustrating an example of line graph information of a black component of the video data shown in FIG.
  • FIG. 6 is a diagram illustrating an example of a line graph of a predetermined frequency in the voice data when the inter-vehicle distance to the vehicle in front is stopped at an appropriate position.
  • FIG. 1 is a schematic view showing an example of a configuration example of a recording system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of video data when the inter-vehicle distance to the vehicle in front is
  • FIG. 7 is a diagram illustrating an example of a line graph having a predetermined frequency in the voice data when an event occurs.
  • FIG. 8 is a schematic view showing a configuration example of the recording device according to the first embodiment.
  • FIG. 9 is a flowchart showing a flow of learning processing in the server device according to the first embodiment.
  • FIG. 10 is a flowchart showing a flow of determination processing in the server device according to the first embodiment.
  • FIG. 11 is a flowchart showing a processing flow in the recording device according to the first embodiment.
  • FIG. 12 is a flowchart showing a processing flow in the recording device according to the first embodiment.
  • FIG. 13 is a schematic view showing an example of a configuration example of the recording system according to the second embodiment.
  • FIG. 14 is a schematic view showing a configuration example of the recording device according to the second embodiment.
  • FIG. 15 is a flowchart showing a processing flow in the recording device according to the second embodiment.
  • FIG. 1 is a schematic view showing an example of a configuration example of a recording system according to the first embodiment.
  • the recording system 1 uses a learning model generated by machine learning of artificial intelligence (AI), and when the time change of the line graph of a predetermined component included in the recorded data recording the surrounding situation is large. , Record the event.
  • AI artificial intelligence
  • it is trained by supervised learning that uses recorded data as teacher data, or deep learning of unsupervised learning that does not use recorded data as teacher data, and a multi-layer neural network as a trained model (hereinafter, "DNN”) is generated.
  • DNN multi-layer neural network as a trained model
  • Deep learning is a type of machine learning that repeatedly updates the weights of DNNs so that the accuracy of judgments using DNNs is improved, and derives the weights of DNNs so that the judgment result using DNNs is good. It is a method. Machine learning methods are not limited.
  • the server device 10 uses recorded data including at least one of video data and audio data at the time of event occurrence, and depending on the magnitude of time change of a line graph of a predetermined component included in the recorded data at the time of event occurrence. , Generate DNN as a trained model for determining the occurrence of an event.
  • the recorded data may be acquired from a plurality of recording devices 30 as recorded data when an event occurs.
  • the recorded data may be acquired as recorded data when an event occurs from an external device such as an insurance company.
  • the recorded data is not limited to the time when the event occurs, and the recorded data may be acquired when the event does not occur (hereinafter, referred to as “normal time”).
  • the recorded data may include type information indicating the type of the event together with the recorded data when the event occurs. The method of acquiring the recorded data is not limited to these.
  • the types of events are, for example, "high impact events” in which the acceleration is equal to or higher than the first threshold value, “minor events” in which the acceleration is lower than the first threshold value and greater than or equal to the second threshold value.
  • the type of event may include, in more detail, “a vehicle collides at a low speed”, “another vehicle or a person contacts at a low speed when the vehicle is stopped", and the like.
  • the first threshold value is the value of acceleration that can be detected when an event for the vehicle occurs.
  • the first threshold is, for example, about 1G.
  • the second threshold is smaller than the first threshold and is the value of acceleration that can be detected when a minor event such as a rear-end collision of a vehicle at a low speed or a contact with another vehicle or a person at a low speed occurs when the vehicle is stopped. Is.
  • the second threshold value is a value of acceleration that can be detected even when the vehicle gets on a step, opens or closes a door, or the like.
  • the second threshold is, for example, about 0.5 G.
  • An event with a large impact is, for example, a collision at a vehicle speed equal to or higher than the threshold value, or a collision with another vehicle at a vehicle speed higher than the threshold value.
  • a minor event is a collision below the threshold, or a contact by another vehicle or person at a speed below the threshold when stopped.
  • the server device 10 acquires the recording data for determination from the recording device 30, it determines the occurrence of the event by using the DNN.
  • the server device 10 includes a communication unit 11, a recording unit 12, and a control unit 20.
  • the communication unit 11 is a communication unit.
  • the communication unit 11 enables communication with the recording device 30.
  • the communication unit 11 can always communicate with the recording device 30 when the recording system 1 is operating normally.
  • the recording unit 12 stores the recorded data used for generating the DNN in the recording system 1.
  • the recording unit 12 records the line graph information that is analyzed and created by the analysis unit 23 based on the recorded data.
  • the recording unit 12 records the DNN generated by the learning unit 24 of the control unit 20.
  • the control unit 20 is, for example, an arithmetic processing unit (control device) composed of a CPU (Central Processing Unit) or the like.
  • the control unit 20 loads the recorded program into the memory and executes the instructions included in the program.
  • the control unit 20 includes an internal memory (not shown), and the internal memory is used for temporary recording of data in the control unit 20 and the like.
  • the control unit 20 includes a communication control unit 21, a data acquisition unit 22, an analysis unit 23, a learning unit 24, a determination unit 25, and a recording control unit 26.
  • the communication control unit 21 controls communication with a plurality of recording devices 30 via the communication unit 11.
  • the communication control unit 21 may control communication with an external device via the communication unit 11.
  • the data acquisition unit 22 acquires recorded data from a plurality of recording devices 30 or an external device.
  • the data acquisition unit 22 outputs the acquired recorded data to the recording control unit 26.
  • the analysis unit 23 creates, for example, by converting the transition of a predetermined component included in the recorded data into line graph information based on the recorded data.
  • the line graph information shows the time change of a predetermined component of the recorded data.
  • the analysis unit 23 creates line graph information of a predetermined component for at least one of the recorded data, the video data and the audio data.
  • the analysis unit 23 creates line graph information of a predetermined component for at least one of the recorded data at the time of normal operation and the time of event occurrence.
  • the analysis unit 23 records the line graph information of the created recorded data in the recording unit 12.
  • the analysis unit 23 performs image processing on the video data to analyze it, creates a line graph for each color component, and generates line graph information indicating a time change of the line graph of the color component. More specifically, first, the analysis unit 23 creates a line graph showing the area ratio of each color component contained in the video data to the video data at each frame of the video data, in other words, at each time of the video data. Then, the analysis unit 23 generates line graph information showing the time change of the line graph of the area ratio of each color component.
  • a line graph may be created for all colors contained in the video data, or objects included in the video data that may collide, such as vehicles, two-wheeled vehicles, people, and obstacles. May be recognized by the image recognition process and the color of the recognized object may be created.
  • the analysis unit 23 may create line graph information of a predetermined component based on the recorded data at the time of past event occurrence.
  • FIG. 2 is a diagram illustrating an example of video data when the inter-vehicle distance to the vehicle in front is stopped at an appropriate position.
  • FIG. 3 is a diagram illustrating an example of line graph information of a black component of the video data shown in FIG.
  • FIG. 2A is video data before the vehicle stops and the vehicle is running
  • FIG. 2B is video data at the time when the vehicle stops.
  • the black front vehicle V is shown in the video data.
  • FIG. 2 as a result of performing image processing on the video data, the area recognized as the vehicle V in front is shown by a rectangular thick line frame.
  • the analysis unit 23 creates a line graph showing the area ratio of the black component contained in the video data to the video data at each time of the video data. Then, the analysis unit 23 generates line graph information indicating the time change of the line graph of the area ratio of the black component.
  • the line graph information obtained in this way is shown in FIG.
  • FIG. 3 is line graph information of a black component, which is the color of the vehicle V in front, generated from the video data shown in FIG. Assuming that the time when the vehicle stops, in other words, the time when the signal waiting is started is T11, the black component has been around 40% since the time T11. The average of the black components after the time point T11 is shown by a broken line. Further, it can be seen that the black component has increased from before T11 when the vehicle stopped. The slope indicating the time change of the area ratio of the black component from the time point T10 to the time point T11 when the black component starts to increase is indicated by ⁇ 1.
  • FIG. 4 is a diagram illustrating an example of video data when an event occurs.
  • FIG. 5 is a diagram illustrating an example of line graph information of a black component of the video data shown in FIG. FIG. 4A is video data before the event occurs and the vehicle is running, and FIG. 4B is video data at the time of the event occurrence.
  • the black front vehicle V is shown in the video data.
  • the analysis unit 23 generates the line graph information shown in FIG. 5 from the video data shown in FIG. FIG.
  • FIG. 5 is line graph information of the black component, which is the color of the vehicle V in front, generated from the video data shown in FIG. Assuming that the time when the event occurs is T21, the black component has been around 85% since the time T21. The average of the black components after the time point T21 is shown by a broken line. Further, it can be seen that the black component is rapidly increasing from before the time point T21. For example, the slope indicating the time change of the area ratio of the black component from the time point T20 to the time point T21 when the black component starts to increase rapidly is indicated by ⁇ 2 (> ⁇ 1). In FIG. 5, the period of the accident is an example of the period included in the event record data.
  • the inclination indicating the time change of the area ratio of the black component of the rear-end vehicle V that collided with the vehicle is significantly different between the normal time and the event occurrence.
  • the analysis of the analysis unit 23 it can be seen that when the event occurs, the inclination is clearly larger than that at the normal time.
  • the analysis unit 23 creates the line graph information of the voice data included in the recorded data.
  • the analysis unit 23 performs signal processing on the voice data, analyzes it, converts the transition of the loudness of each frequency component into polygonal line Gouf information, and generates it. More specifically, first, the analysis unit 23 creates a line graph showing the loudness of each frequency component included in the voice data at each time of the voice data. Then, the analysis unit 23 generates line graph information indicating the time change of the line graph of each frequency component.
  • a line graph may be created for all frequency components included in the voice data, or for frequencies included in the voice data that are unique to the frequency components that occur when an event occurs, excluding road noise. May be good.
  • FIG. 6 is a diagram illustrating an example of a line graph of a predetermined frequency in the voice data when the inter-vehicle distance to the vehicle in front is stopped at an appropriate position.
  • the diamonds indicate the unique frequency components that occur when an event occurs, and the squares indicate the frequency components that are caused by the music being played on the car audio.
  • the frequency component indicated by the square changes around 18 dB. Assuming that the time when the vehicle stops, in other words, the time when the signal waiting is started is T11, the frequency component indicated by the diamond has been around 0 dB since the time T11. The frequency component indicated by the diamond changes between after T11 when the vehicle stops and before that.
  • the average of the frequency components shown by diamonds in the entire voice data is shown by the broken line.
  • FIG. 7 is a diagram illustrating an example of a line graph having a predetermined frequency in the voice data when an event occurs. Assuming that the time when the event occurs is T21, the frequency component indicated by the diamond has been around 112 dB since the time T21. The average of the frequency components shown by the diamonds after the time point T21 is shown by the broken line. Further, it can be seen that the frequency component indicated by the diamond is rapidly increasing immediately before the time point T21.
  • the slope showing the time change of the line graph of the frequency component indicated by the diamond from the time point T20 to the time point T21 when the frequency component indicated by the diamond starts to increase rapidly is indicated by ⁇ 3.
  • the period of the accident is an example of the period included in the event record data.
  • the average of the frequency components shown by diamonds in the entire voice data is shown by a solid line.
  • the learning unit 24 reads the transition of a predetermined component from the line graph information created by the analysis unit 23, learns it by artificial intelligence, and generates a DNN as a learned model for determining the occurrence of an event. For example, the learning unit 24 learns the weight of DNN as a learned model for determining the occurrence of an event by using the line graph information which is the teacher data. The structure and weight of the DNN are called the DNN model.
  • the learning in the learning unit 24 may be performed in the same manner as the learning in the known deep learning.
  • the learning unit 24 learns by artificial intelligence and acquires data of a predetermined component having a large slope indicating a time change of the line graph before and after the event occurrence time from the line graph information. Further, the learning unit 24 learns by artificial intelligence and acquires a time point in which the time change of the line graph is abrupt from the data of a predetermined component having a large slope indicating the time change of the line graph. When the time point in which the temporal change of the line graph is abrupt is acquired, the learning unit 24 can learn as the time point when the event occurs.
  • the learning unit 24 learns by artificial intelligence, and from the line graph information, an event occurs based on the pattern of change of the line graph, the tendency of change of the line graph, the speed of change of the line graph, and the like. Generate a DNN to determine.
  • the learning unit 24 inputs the line graph information of the recorded data in the case of "event occurrence" to the DNN and executes deep learning. Then, the weight during learning is updated based on whether the correct determination result is output as "event occurrence” or the incorrect determination result is output as "not event occurrence”. Further, the learning unit 24 inputs the recorded data in the case of "not an event occurrence” to the DNN and executes deep learning. Then, the weight during learning is updated based on whether the correct determination result is output as "not an event occurrence” or the incorrect determination result is output as "event occurrence”. By repeating such processing, the learned weight is obtained as a result of learning. The learning unit 24 outputs a DNN model including the weight of the DNN to the recording unit 12.
  • the learning unit 24 may learn the type of the event as the event occurs. More specifically, the learning unit 24 learns by artificial intelligence based on the line graph information created from the recorded data at the time of the occurrence of a large impact event and the occurrence of a minor event, specifies the type of event, and events. You may generate a DNN for determining the occurrence of.
  • the learning unit 24 may generate a DNN for determining the occurrence of an event by learning by artificial intelligence based on at least one of the line graph information of the video data and the line graph information of the audio data. It is preferable that the learning unit 24 generates a DNN based on at least the line graph information of the video data among the line graph information of the video data and the line graph information of the audio data.
  • the learning unit 24 updates the DNN model and records it in the recording unit 12 every time data is acquired from the data acquisition unit 22, at a predetermined period, or at a desired timing.
  • the learning unit 24 may learn the tendency of change of each component included in the recorded data at the time of event occurrence by artificial intelligence based on the recorded data at the time of past event occurrence.
  • the determination unit 25 acquires the recording data for determination from the recording device 30, it determines the occurrence of the event by using the DNN. More specifically, the determination unit 25 reads the DNN model learned from the recording unit 12 to reproduce the DNN, and determines the occurrence of the event from the recording data for determination. The determination in the determination unit 25 may be executed in the same manner as the determination in the known deep learning.
  • the determination unit 25 may use DNN to determine the type of the event as the event occurs.
  • the recording control unit 26 causes the recording unit 12 to record the recorded data acquired by the data acquisition unit 22.
  • the recording control unit 26 causes the recording unit 12 to record the line graph information generated by the analysis unit 23 as teacher data used in the recording system 1.
  • the recording control unit 26 updates the teacher data recorded in the recording unit 12.
  • the recording control unit 26 causes the recording unit 12 to record the DNN generated by the learning unit 24.
  • the recording control unit 26 updates the DNN model recorded by the recording unit 12 every time the learning unit 24 learns the DNN model.
  • FIG. 8 is a schematic view showing a configuration example of the recording device according to the first embodiment.
  • the recording device 30 is arranged in the vehicle, for example.
  • the recording device 30 is a so-called vehicle drive recorder.
  • the recording device 30 has a function as a photographing device.
  • the recording device 30 includes a communication unit 31, a camera 32, a microphone 33, an acceleration sensor 34, an operation unit 35, a recording unit 39, and a control unit 40.
  • the recording device 30 photographs and records the surroundings of the vehicle.
  • the recording device 30 causes the server device 10 to determine whether or not an event has occurred in the vehicle based on the video data obtained by photographing the surroundings of the vehicle. When it is determined that an event has occurred, the recording device 30 records the event recording data.
  • the communication unit 31 is a communication unit.
  • the communication unit 31 enables communication with the server device 10.
  • the communication unit 31 can always communicate with the server device 10 when the recording system 1 is operating normally.
  • the camera 32 is a camera that captures video data around the vehicle.
  • the number of cameras 32 may be one or a plurality.
  • the camera 32 constantly takes a picture while the engine of the vehicle is turned on.
  • the camera 32 outputs the captured video data to the video data acquisition unit 43 of the control unit 40.
  • the video data is, for example, a moving image composed of an image of 30 frames per second.
  • the microphone 33 is a microphone that acquires voice data around the vehicle.
  • the number of microphones 33 may be one or a plurality.
  • the microphone 33 outputs the acquired voice data to the voice data acquisition unit 44 of the control unit 40.
  • the acceleration sensor 34 is a sensor that detects the acceleration generated on the vehicle.
  • the acceleration sensor 34 outputs the sensor data, which is the detection result, to the sensor data acquisition unit 45 of the control unit 40.
  • the acceleration sensor 34 is, for example, a sensor that detects acceleration in three axial directions.
  • the three-axis directions are the front-rear direction, the left-right direction, and the up-down direction of the vehicle.
  • the operation unit 35 can accept various operations on the recording device 30. For example, the operation unit 35 accepts a power on / off operation, a captured video data saving operation, an erasing operation, and the like. The operation unit 35 outputs the operation information to the operation control unit 51 of the control unit 40.
  • the recording unit 39 is used for recording data in the recording device 30 and the like.
  • the recording unit 39 is, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a recording unit such as a memory card. Alternatively, it may be an external recording unit that is wirelessly connected via the communication unit 31.
  • the recording unit 39 records video data based on the control signal output from the video recording control unit (event recording control unit) 49 of the control unit 40.
  • the control unit 40 is, for example, an arithmetic processing unit (control device) composed of a CPU or the like.
  • the control unit 40 loads the recorded program into the memory and executes the instructions included in the program.
  • the control unit 40 includes an internal memory (not shown), and the internal memory is used for temporary recording of data in the control unit 40 and the like.
  • the control unit 40 includes a communication control unit 41, a recording data acquisition unit 42 including a video data acquisition unit 43 and an audio data acquisition unit 44, a sensor data acquisition unit 45, an acceleration determination unit 46, and a determination result acquisition unit 47. It has a video data processing unit 48, a video recording control unit 49, and an operation control unit 51.
  • the communication control unit 41 controls communication with the server device 10 via the communication unit 31.
  • the communication control unit 41 controls to transmit the video data acquired by the video data acquisition unit 43 and the audio data acquired by the audio data acquisition unit 44 to the server device 10.
  • the record data acquisition unit 42 acquires record data indicating the state around the vehicle.
  • the recording data acquisition unit 42 includes a video data acquisition unit 43 and an audio data acquisition unit 44.
  • the video data acquisition unit 43 acquires video data obtained by photographing the periphery of the vehicle. More specifically, the video data acquisition unit 43 acquires the video data around the vehicle output by the camera 32 arranged in the vehicle and outputs it to the video data processing unit 48. The video data is included in the recorded data.
  • the voice data acquisition unit 44 acquires voice data obtained by recording the voice around the vehicle. More specifically, the voice data acquisition unit 44 acquires voice data around the vehicle output by the microphone 33 arranged in the vehicle. Audio data is included in the recorded data.
  • the sensor data acquisition unit 45 acquires the sensor data of the acceleration sensor 34.
  • the sensor data acquisition unit 45 outputs the acquired sensor data to the acceleration determination unit 46.
  • the acceleration determination unit 46 detects whether or not an acceleration equal to or higher than the first threshold value is detected based on the sensor data of the acceleration sensor 34. When the acceleration determination unit 46 determines that an acceleration equal to or higher than the first threshold value has been detected, it determines that an event has occurred. When it is not determined that the acceleration equal to or higher than the first threshold value is detected, the acceleration determination unit 46 detects whether or not the acceleration equal to or higher than the second threshold value is detected. When the acceleration determination unit 46 determines that an acceleration equal to or higher than the second threshold value has been detected, the acceleration determination unit 46 executes a determination result acquisition process to determine whether or not an event has occurred in the server device 10. If the acceleration determination unit 46 does not determine that an acceleration equal to or higher than the second threshold value has been detected, it determines that no event has occurred.
  • the determination result acquisition unit 47 acquires the determination result of whether or not an event has occurred by the server device 10.
  • the video data processing unit 48 uses, for example, H.A. It is converted to an arbitrary file format such as MP4 format encoded by an arbitrary codec such as 264 or MPEG-4 (Moving Picture Experts Group).
  • the period of the video data generated as a file is, for example, 60 seconds, but is not limited to this. Further, the video data may be data including audio in addition to the video captured by the camera 32.
  • the video data processing unit 48 generates loop recorded video data for each video in a predetermined period such as 60 seconds from the video data recorded in a buffer memory (not shown).
  • Video data including the time when the event occurs is generated as event recording data.
  • the video data processing unit 48 preferably generates video data including a predetermined period before and after the event occurrence time as event recording data.
  • the video data processing unit 48 generates video data obtained by cutting out a predetermined period before and after the event occurrence time as event recording data.
  • the video data processing unit 48 may generate video data in loop-recorded video data units including a predetermined time before and after the event occurrence time as event recording data.
  • the video recording control unit 49 controls the recording unit 39 to record the video data filed by the video data processing unit 48.
  • the video recording control unit 49 causes the recording unit 39 to record the generated loop recording video data. When the capacity of the recording unit 39 is full, the video recording control unit 49 overwrites the oldest loop recorded video data and records new loop recorded video data.
  • the video recording control unit 49 when the video recording control unit 49 detects an event, the video recording control unit 49 records and saves video data including at least the time when the event occurs in the recording unit 39 as event recording data. More specifically, when the video recording control unit 49 detects an event, the video recording control unit 49 records and saves the event recording data generated by the video data processing unit 48 including the time when the event occurs in the recording unit 39.
  • the operation control unit 51 acquires the operation information of the operation received by the operation unit 35.
  • the operation control unit 51 acquires operation information such as a power on / off operation, a captured video data saving operation, and an erasing operation.
  • FIG. 9 is a flowchart showing a flow of learning processing in the server device according to the first embodiment.
  • FIG. 10 is a flowchart showing a flow of determination processing in the server device according to the first embodiment.
  • FIG. 11 is a flowchart showing a processing flow in the recording device according to the first embodiment.
  • FIG. 12 is a flowchart showing a processing flow in the recording device according to the first embodiment.
  • control unit 20 acquires the recorded data by the data acquisition unit 22 (step S101).
  • the control unit 20 causes the recording control unit 26 to record the acquired recording data in the recording unit 12.
  • the control unit 20 proceeds to step S102.
  • the control unit 20 analyzes the recorded data recorded in the recording unit 12 by the analysis unit 23, and generates line graph information, that is, a transition of a predetermined component included in the recorded data (step S102). The control unit 20 proceeds to step S103.
  • the control unit 20 saves the line graph information generated by the recording control unit 26 as teacher data in the recording unit 12 (step S103). The control unit 20 proceeds to step S104.
  • the control unit 20 learns the weight of the DNN by artificial intelligence as a learned model for determining the occurrence of an event by using the line graph information which is the teacher data recorded in the recording unit 12 by the learning unit 24 (step). S104). The control unit 20 proceeds to step S105.
  • the control unit 20 stores the DNN generated by the recording control unit 26 in the recording unit 12 (step S105). The control unit 20 ends the process.
  • the DNN is generated in advance in the server device 10 before the processing in the recording device 30 of the recording system 1 is executed.
  • the server device 10 updates the DNN model every time data is acquired from the data acquisition unit 22, at a predetermined period, or at a desired timing.
  • control unit 20 acquires the recording data for determination from the recording device 30 by the data acquisition unit 22 (step S111). The control unit 20 proceeds to step S112.
  • the control unit 20 analyzes the acquired record data for determination by the analysis unit 23 and generates line graph information (step S112). The control unit 20 proceeds to step S113.
  • the control unit 20 determines the occurrence of an event by the determination unit 25 using the DNN based on the line graph information generated from the recording data for determination (step S113). The control unit 20 proceeds to step S114.
  • the control unit 20 transmits the determination result to the recording device 30 by the communication control unit 21 (step S114).
  • the control unit 20 ends the process.
  • the control unit 40 starts loop recording and detection by the acceleration sensor 34 (step S201). More specifically, the control unit 40 starts loop recording by the video data processing unit 48. The control unit 40 starts detecting the acceleration by the acceleration sensor 34. The control unit 40 proceeds to step S202.
  • the control unit 40 determines whether or not an event has been detected by the acceleration determination unit 46 (step S202). More specifically, the acceleration determination unit 46 determines whether or not an event has been detected depending on whether or not the acceleration, which is the sensor data, is equal to or greater than the first threshold value. When the acceleration determination unit 46 determines that the acceleration is equal to or higher than the first threshold value (Yes in step S202), the process proceeds to step S203. When it is determined that the acceleration is equal to or higher than the first threshold value (Yes in step S202), an event having a large impact has occurred. If the acceleration determination unit 46 does not determine that the acceleration is equal to or greater than the first threshold value (No in step S202), the control unit 40 proceeds to step S204.
  • the control unit 40 saves the event recording data which is the video data before and after the event detection (step S203). More specifically, the control unit 40 generates video data including at least the time of occurrence of the event as event recording data from the loop recording video data recorded in the buffer memory by the video data processing unit 48. The control unit 40 stores the event recording data generated by the video recording control unit 49 in the recording unit 39. The control unit 40 proceeds to step S206.
  • the control unit 40 determines whether or not the acceleration, which is the sensor data, is equal to or higher than the second threshold value by the acceleration determination unit 46 (step). S204). When the acceleration determination unit 46 determines that the acceleration is equal to or higher than the second threshold value (Yes in step S204), the process proceeds to step S205. If the acceleration determination unit 46 does not determine that the acceleration is equal to or greater than the second threshold value (No in step S204), the control unit 40 proceeds to step S206.
  • step S204 When it is determined that the acceleration is equal to or higher than the second threshold value (Yes in step S204), the control unit 40 executes the determination result acquisition process (step S205). The control unit 40 proceeds to step S206.
  • the control unit 40 determines whether or not to end the event detection and loop recording (step S206). More specifically, the control unit 40 determines that the event detection and the loop recording are terminated under arbitrary conditions such as when the operation control unit 51 outputs the end operation information or the operation of the vehicle is terminated (). Yes) in step S206, the process ends. The control unit 40 determines that the event detection and loop recording will not be completed unless the end operation information is output by the operation control unit 51 (No in step S206), and executes the process of step S202 again.
  • the determination result acquisition process in step S205 of the flowchart shown in FIG. 11 will be described with reference to FIG.
  • the control unit 40 uses the video data that started shooting in step S201 in a state where the determination result acquisition unit 47 determines that the acceleration determination unit 46 has detected an acceleration equal to or higher than the second threshold value as the determination data, and the server device 10 (Step S211). The control unit 40 proceeds to step S212.
  • the control unit 40 determines whether or not the determination result has been acquired from the server device 10 by the determination result acquisition unit 47 (step S212). When the control unit 40 determines that the determination result has been acquired (Yes in step S212), the control unit 40 proceeds to step S213. If the control unit 40 does not determine that the determination result has been acquired (No in step S212), the control unit 40 re-executes the process of step S212.
  • step S212 the control unit 40 determines whether or not the determination result indicates that a minor event has occurred (step S213).
  • the control unit 40 proceeds to step S214. If the control unit 40 does not determine that the determination result indicates that a minor event has occurred (No in step S213), the control unit 40 ends the process.
  • control unit 40 determines that the determination result is the occurrence of a minor event (Yes in step S213), the control unit 40 saves the event record data (step S214). The control unit 40 ends the process.
  • the server device 10 analyzes the recorded data to generate line graph information, and uses the line graph information to generate DNN as a learned model for determining the occurrence of an event by machine learning by artificial intelligence. ..
  • the server device 10 acquires the recording data for determination from the recording device 30, it analyzes and generates line graph information, and determines the occurrence of an event using DNN.
  • the server device 10 determines whether or not an event has occurred by using the DNN based on the video data obtained by the camera 32 capturing the surroundings. Let me.
  • the server device 10 analyzes the recorded data to generate line graph information, and uses the line graph information to perform machine learning by artificial intelligence to determine the occurrence of an event.
  • DNN can be generated as.
  • the server device 10 acquires the recording data for determination from the recording device 30, it can be analyzed to generate line graph information, and the occurrence of the event can be determined using DNN.
  • the acceleration when the acceleration is less than the first threshold value and more than or equal to the second threshold value, it is possible to appropriately determine whether or not a minor event has occurred by generating a DNN.
  • an event is generated by the server device 10 using the DNN based on the video data obtained by the camera 32 capturing the surroundings. It is possible to determine whether or not.
  • acceleration above the first threshold value is not detected, such that a vehicle collides at a low speed or another vehicle or a person contacts at a low speed when the vehicle is stopped.
  • Event recording data can be recorded when a minor event occurs in the vehicle.
  • event recording data when an acceleration equal to or higher than the second threshold value is detected, event recording data is recorded only when a minor event of the vehicle occurs.
  • an acceleration equal to or higher than the second threshold value when the vehicle gets on a step or the like, it is possible to suppress the recording of event recording data. According to this embodiment, event recording data can be appropriately recorded.
  • FIG. 13 is a schematic view showing an example of a configuration example of the recording system according to the second embodiment.
  • FIG. 14 is a schematic view showing a configuration example of the recording device according to the second embodiment.
  • FIG. 15 is a flowchart showing a processing flow in the recording device according to the second embodiment.
  • the configuration of the server device 10A and the recording device 30A is different from that of the first embodiment.
  • the control unit 20A of the server device 10A includes a communication control unit 21, a data acquisition unit 22, an analysis unit 23, a learning unit 24, a first determination unit 25A, a recording control unit 26, and a second.
  • the control unit 40A of the recording device 30A includes a communication control unit 41, a recording data acquisition unit 42 including a video data acquisition unit 43 and an audio data acquisition unit 44, a sensor data acquisition unit 45, an acceleration determination unit 46, and a third. It differs from the first embodiment in that it includes a determination result acquisition unit 47A, a video data processing unit 48, a video recording control unit 49A, an operation control unit 51, and a second determination result acquisition unit 52A.
  • the same components as those of the server device 10A and the recording device 30A are designated by the same reference numerals or corresponding reference numerals, and detailed description thereof will be omitted.
  • the recording device 30A records the recorded data or the event recording data as the recording data for determining whether or not the deletion is possible, every predetermined period, every time the recording data or the event recording data is recorded in the storage unit 39, or at a desired timing. It is transmitted to the server device 10A via the communication unit 31.
  • the first determination unit 25A has the same function as the determination unit 25.
  • the second determination unit 27A uses the DNN to determine the occurrence of the event. More specifically, the second determination unit 27A reads the DNN model learned from the recording unit 12 to reproduce the DNN, and determines the occurrence of the event from the recorded data for determining whether or not the deletion is possible.
  • the determination in the second determination unit 27A may be executed by the same method as the determination in the known deep learning.
  • the recorded data acquired by the second determination unit 27A is, for example, event recording data recorded in the recording unit 39 of the recording device 30A.
  • the first determination result acquisition unit 47A has the same function as the determination result acquisition unit 47.
  • the second determination result acquisition unit 52A acquires the determination result of whether or not an event has occurred in the recorded data for determining whether or not the deletion is possible by the server device 10A.
  • the video recording control unit 49A adds a non-erasable flag (save flag) or an erasable flag (erasure flag) as attribute information according to the determination result of the event recording data, and controls the recording unit 39 to record the data. Do. More specifically, when the second determination unit 27A acquired by the second determination result acquisition unit 52A determines the occurrence of an event, the video recording control unit 49A adds the attribute information of the non-erasable flag that regulates erasure to the event recording data. Is added, and when the second determination unit 27A does not determine the occurrence of the event, an erasable flag that allows erasure is added to the event record data.
  • the event recording data to which the non-erasable flag is added is, for example, recorded in a storage area where the erasing operation is restricted for a predetermined period, the erasing operation by the user operation is restricted, or transferred to an external device.
  • the event record data to which the erasable flag is added can be erased by a user operation.
  • the determination result acquisition process will be described with reference to FIG.
  • the control unit 40A transmits the event record data to the server device 10A as the data for the second determination by the second determination result acquisition unit 52A (step S221).
  • the control unit 40A proceeds to step S222.
  • the control unit 40A determines whether or not the determination result has been acquired from the server device 10A by the second determination result acquisition unit 52A (step S222). When the control unit 40A determines that the determination result has been acquired (Yes in step S222), the control unit 40A proceeds to step S223. If the control unit 40A does not determine that the determination result has been acquired (No in step S222), the control unit 40A re-executes the process of step S222.
  • step S222 the control unit 40A determines whether or not the determination result indicates that a minor event has occurred (step S223). When the control unit 40A determines that the determination result indicates that a minor event has occurred (Yes in step S223), the control unit 40A proceeds to step S224. If the control unit 40A does not determine that the determination result indicates that a minor event has occurred (No in step S223), the control unit 40A proceeds to step S225.
  • control unit 40A When determining that the determination result indicates that a minor event has occurred (Yes in step S223), the control unit 40A adds an erasable flag as attribute information to the event record data transmitted as the second determination data. (Step S224). The control unit 40A ends the process.
  • control unit 40A When the determination result is not determined to indicate that a minor event has occurred (No in step S223), the control unit 40A adds an erasable flag as attribute information to the event record data transmitted as the second determination data. (Step S225). The control unit 40A ends the process.
  • the server device 10A analyzes and generates the line graph information, and uses the DNN to generate an event. judge.
  • the server device 10A is used to determine whether or not an event has occurred in the event recording data by using the DNN.
  • the recording device 30A adds an erasable flag or an erasable flag as attribute information according to the determination result of the event recording data, and causes the recording unit 39 to record the data.
  • the server device 10A even when the recording data for determining whether or not the deletion is possible is acquired from the recording device 30A, the server device 10A analyzes the data to generate the line graph information and uses the DNN. It is possible to determine the occurrence of an event.
  • the server device 10A can make the event recording data determine whether or not an event has occurred by using the DNN.
  • an erasable flag or an erasable flag can be added as attribute information and recorded by the recording unit 39 according to the determination result of the event recording data. In this way, the present embodiment can appropriately determine whether or not the event record data can be deleted. In this embodiment, it is possible to prevent accidental deletion of event record data captured when an event occurs. In the present embodiment, it is said that an event has occurred, but it is possible to erase unnecessary event record data such as that taken when overcoming a step.
  • Each component of the illustrated recording system 1 is a functional concept and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of each device is not limited to the one shown in the figure, and all or part of each device is functionally or physically dispersed or integrated in an arbitrary unit according to the processing load and usage status of each device. You may.
  • the configuration of the recording system 1 is realized, for example, by a program loaded in a memory as software.
  • a program loaded in a memory as software.
  • it has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the recording system and recording method of the present disclosure can be used, for example, in a so-called drive recorder.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

適切にイベント記録を行うこと。記録システム１は、車両の周囲の状況を記録した記録データを取得する記録データ取得と、記録データ取得部が取得した記録データを解析して、記録データに含まれる所定成分の遷移を解析する解析部２３と、解析部２３が解析した所定成分の遷移を人工知能によって学習して、イベントの発生を判定するための学習済みモデルを生成する学習部２４と、学習部２４が学習した学習済みモデルを使用して、記録データ取得部が取得した記録データに基づいて、イベントの発生を判定する判定部２５と、判定部２５がイベントの発生を判定した場合、イベントの発生時点を含む記録データをイベント記録データとして記録部に記録させる映像記録制御部（イベント記録制御部）４９とを備える。

Description

記録システム、及び、記録方法
　本発明は、記録システム、及び、記録方法に関する。
　車両に対して生じる衝撃を加速度で検出して、イベント記録データを記録する技術が知られている。また、撮影中の映像データから輝度値の変化や音量の増加を検知することによって動きを検出して、動きが検出された場合に記録を行う技術が知られている（例えば、特許文献１参照）。
特開２００８－１５５８６２号公報
　車両が低速で追突、または、車両の停止時に他車両または人物が低速で接触するような場合、加速度から衝撃を検出できず、イベント記録データが保存されない場合がある。また、加速度の閾値を低くすると、例えば、車両が段差に乗り上げたとき、または、ドアの開閉時などにも不用意にイベント記録データが記録されるおそれがある。
　本開示は、上記に鑑みてなされたものであって、適切にイベント記録を行うことを目的とする。
　上述した課題を解決し、目的を達成するために、本開示に係る記録システムは、車両の周囲の状況を記録した記録データを取得する記録データ取得部と、前記記録データ取得部が取得した前記記録データを解析して、前記記録データに含まれる所定成分の遷移を解析する解析部と、前記解析部が解析した前記所定成分の遷移を人工知能によって学習して、イベントの発生を判定するための学習済みモデルを生成する学習部と、前記学習部が学習した前記学習済みモデルを使用して、前記記録データ取得部が取得した前記記録データに基づいて、イベントの発生を判定する判定部と、前記判定部がイベントの発生を判定した場合、イベントの発生時点を含む記録データをイベント記録データとして記録部に記録させるイベント記録制御部とを備えることを特徴とする。
　本開示に係る記録方法は、車両の周囲の状況を記録した記録データを取得する記録データ取得ステップと、前記記録データ取得ステップによって取得した前記記録データを解析して、前記記録データに含まれる所定成分の遷移を解析する解析ステップと、前記解析ステップによって解析した前記所定成分の遷移を人工知能によって学習して、イベントの発生を判定するための学習済みモデルを生成する学習ステップと、前記学習ステップによって学習した前記学習済みモデルを使用して、前記記録データ取得ステップによって取得した前記記録データに基づいて、イベントの発生を判定する判定ステップと、前記判定ステップによってイベントの発生を判定した場合、イベントの発生時点を含む記録データをイベント記録データとして記録部に記録させるイベント記録制御ステップとを含む。
　本開示によれば、適切にイベント記録を行うことができるという効果を奏する。
図１は、第一実施形態に係る記録システムの構成例の一例を示す概略図である。 図２は、前方車両までの車間距離が適切な位置で停止した時の映像データの一例を説明する図である。 図３は、図２に示す映像データの黒色成分の折れ線グラフ情報の一例を説明する図である。 図４は、イベント発生時の映像データの一例を説明する図である。 図５は、図４に示す映像データの黒色成分の折れ線グラフ情報の一例を説明する図である。 図６は、前方車両までの車間距離が適切な位置で停止した時の音声データのうち所定周波数の折れ線グラフの一例を説明する図である。 図７は、イベント発生時の音声データのうち所定周波数の折れ線グラフの一例を説明する図である。 図８は、第一実施形態に係る記録装置の構成例を示す概略図である。 図９は、第一実施形態に係るサーバ装置における学習処理の流れを示すフローチャートである。 図１０は、第一実施形態に係るサーバ装置における判定処理の流れを示すフローチャートである。 図１１は、第一実施形態に係る記録装置における処理の流れを示すフローチャートである。 図１２は、第一実施形態に係る記録装置における処理の流れを示すフローチャートである。 図１３は、第二実施形態に係る記録システムの構成例の一例を示す概略図である。 図１４は、第二実施形態に係る記録装置の構成例を示す概略図である。 図１５は、第二実施形態に係る記録装置における処理の流れを示すフローチャートである。
　以下に添付図面を参照して、本開示に係る記録システム、及び、記録方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
［第一実施形態］
　図１は、第一実施形態に係る記録システムの構成例の一例を示す概略図である。記録システム１は、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）の機械学習によって生成した学習モデルを使用して、周囲の状況を記録した記録データに含まれる所定成分の折れ線グラフの時間変化が大きいような場合、イベント記録を行う。機械学習の一例としては、記録データを教師データとして使用する教師あり学習、または、記録データを教師データとして使用しない教師なし学習のディープラーニングによって学習させて、学習済みモデルとして多層ニューラルネットワーク（以下、「ＤＮＮ」という。）を生成する。ディープラーニングは、ＤＮＮを使用した判定の精度が向上するように、ＤＮＮの重みの更新を繰り返し実行して、ＤＮＮを使用した判定結果が良好になるようにＤＮＮの重みを導出する機械学習の一手法である。機械学習の手法は限定されない。
　サーバ装置１０は、イベント発生時の映像データと音声データとの少なくともどちらかを含む記録データを用いて、イベント発生時の記録データに含まれる所定成分の折れ線グラフの時間変化の大きさに応じて、イベントの発生を判定する学習済みモデルとしてＤＮＮを生成する。
　記録データは、複数の記録装置３０からイベント発生時の記録データとして取得してもよい。または、記録データは、保険会社などの外部の装置からイベント発生時の記録データとして取得してもよい。記録データは、イベント発生時に限定されず、イベントが発生していない時（以下、「通常時」という。）の記録データを取得してもよい。記録データは、イベント発生時の記録データとともに、イベントの種別を示す種別情報を含んでもよい。なお、記録データの取得方法は、これらに限定されない。
　イベントの種別とは、例えば、加速度が第一閾値以上である「衝撃の大きいイベント」、加速度が第一閾値未満かつ第二閾値以上である「軽微なイベント」などである。イベントの種別は、さらに詳しく「車両が低速で追突」、「車両の停止時に他車両または人物が低速で接触」などを含んでもよい。
　第一閾値は、車両に対するイベントが発生した場合に、検出され得る加速度の値である。第一閾値は、例えば、１Ｇ程度である。第二閾値は、第一閾値より小さく、車両が低速で追突、または、車両の停止時に他車両または人物が低速で接触のような、軽微なイベントが発生した場合に、検出され得る加速度の値である。第二閾値は、例えば、車両が段差に乗り上げたとき、または、ドアの開閉時などにも、検出され得る加速度の値である。第二閾値は、例えば、０．５Ｇ程度である。
　衝撃の大きいイベントは、例えば、閾値以上の車速で衝突した場合、他車両が閾値以上の車速で衝突した場合などである。軽微なイベントは、閾値未満で衝突、または、停止時に他車両または人物が閾値未満の速度で接触した場合などである。
　また、サーバ装置１０は、記録装置３０から判定用の記録データを取得した場合、ＤＮＮを使用してイベントの発生を判定する。サーバ装置１０は、通信部１１と、記録部１２と、制御部２０とを含む。
　通信部１１は、通信ユニットである。通信部１１は、記録装置３０との通信を可能にする。本実施形態では、通信部１１は、記録システム１が正常に動作している場合、常時、記録装置３０と通信可能である。
　記録部１２は、記録システム１においてＤＮＮの生成に使用する記録データを記憶する。記録部１２は、解析部２３によって、記録データに基づいて解析されて作成された折れ線グラフ情報を記録する。記録部１２は、制御部２０の学習部２４によって生成されたＤＮＮを記録する。
　制御部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。制御部２０は、記録されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部２０には図示しない内部メモリが含まれ、内部メモリは制御部２０におけるデータの一時記録などに用いられる。制御部２０は、通信制御部２１と、データ取得部２２と、解析部２３と、学習部２４と、判定部２５と、記録制御部２６とを有する。
　通信制御部２１は、通信部１１を介して、複数の記録装置３０との通信を制御する。通信制御部２１は、通信部１１を介して、外部の装置との通信を制御してもよい。
　データ取得部２２は、複数の記録装置３０または外部の装置から記録データを取得する。データ取得部２２は、取得した記録データを記録制御部２６に出力する。
　解析部２３は、記録データに基づいて、記録データに含まれている所定成分の遷移を、例えば、折れ線グラフ情報に変換して作成する。折れ線グラフ情報は、記録データの所定成分の時間変化を示す。解析部２３は、記録データである、映像データと音声データとの少なくともどちらかについて所定成分の折れ線グラフ情報を作成する。解析部２３は、通常時とイベント発生時との少なくともどちらかの記録データについて、所定成分の折れ線グラフ情報を作成する。解析部２３は、作成した記録データの折れ線グラフ情報を記録部１２に記録する。
　解析部２３が記録データに含まれる映像データの折れ線グラフ情報を作成する場合について詳しく説明する。解析部２３は、映像データに画像処理を行って解析して、色成分ごとの折れ線グラフを作成して、色成分の折れ線グラフの時間変化を示す折れ線グラフ情報を生成する。より詳しくは、まず、解析部２３は、映像データの各フレームにおいて、言い換えると、映像データの各時間において、映像データに含まれる各色成分が映像データに占める面積比率を示す折れ線グラフを作成する。そして、解析部２３は、各色成分の面積比率の折れ線グラフの時間変化を示す折れ線グラフ情報を生成する。折れ線グラフは、映像データに含まれるすべての色について作成してもよいし、映像データに含まれる被撮影物のうち衝突の可能性がある物体、例えば、車両、二輪車、人物、及び、障害物を画像認識処理によって認識して、認識した物体の色について作成してもよい。
　解析部２３は、過去のイベント発生時の記録データに基づいて、所定成分の折れ線グラフ情報を作成してもよい。
　まず、図２、図３を用いて、通常時に、映像データから生成される折れ線グラフ情報について説明する。図２は、前方車両までの車間距離が適切な位置で停止した時の映像データの一例を説明する図である。図３は、図２に示す映像データの黒色成分の折れ線グラフ情報の一例を説明する図である。図２（ａ）は、車両が停止する前であって走行中の映像データであり、図２（ｂ）は、車両が停止した時点の映像データである。映像データには黒色の前方車両Ｖが写っている。図２において、映像データに画像処理を行った結果、前方車両Ｖとして認識された領域を矩形の太線の枠で示している。まず、解析部２３は、映像データの各時間において、映像データに含まれる黒色成分が映像データに占める面積比率を示す折れ線グラフを作成する。そして、解析部２３は、黒色成分の面積比率の折れ線グラフの時間変化を示す折れ線グラフ情報を生成する。このようにして得られた折れ線グラフ情報が、図３である。図３は、図２に示す映像データから生成した、前方車両Ｖの色である黒色成分の折れ線グラフ情報である。車両が停止した時点、言い換えると、信号待ちを開始した時点をＴ１１とすると、時点Ｔ１１以降、黒色成分は４０％前後で推移している。時点Ｔ１１以降の黒色成分の平均を破線で示している。また、車両が停止した時点Ｔ１１より前から、黒色成分が増加していることがわかる。黒色成分が増加を始めた時点Ｔ１０から時点Ｔ１１までの黒色成分の面積比率の時間変化を示す傾きをα１で示している。
　つづいて、図４、図５を用いて、停止している前方車両に低速で追突したイベント発生時に、映像データから生成される折れ線グラフ情報について説明する。図４は、イベント発生時の映像データの一例を説明する図である。図５は、図４に示す映像データの黒色成分の折れ線グラフ情報の一例を説明する図である。図４（ａ）は、イベント発生前であって、車両が走行中の映像データであり、図４（ｂ）は、イベント発生時点の映像データである。映像データには黒色の前方車両Ｖが写っている。解析部２３は、上述したように、図４に示す映像データから、図５に示す折れ線グラフ情報を生成する。図５は、図４に示す映像データから生成した、前方車両Ｖの色である黒色成分の折れ線グラフ情報である。イベント発生時点をＴ２１とすると、時点Ｔ２１以降、黒色成分は８５％前後で推移している。時点Ｔ２１以降の黒色成分の平均を破線で示している。また、時点Ｔ２１の前から、黒色成分が急激に増加していることがわかる。例えば、黒色成分が急激に増加を始めた時点Ｔ２０から時点Ｔ２１までの黒色成分の面積比率の時間変化を示す傾きをα２（＞α１）で示している。なお、図５において、事故としている期間は、イベント記録データに含まれる期間の一例である。
　このような解析部２３の解析によれば、通常時とイベント発生時とでは、追突した前方車両Ｖの黒色成分の面積比率の時間変化を示す傾きが大きく異なることがわかる。解析部２３の解析によれば、イベント発生時は、通常時より、明らかに大きい傾きとなっていることがわかる。
　解析部２３が記録データに含まれる音声データの折れ線グラフ情報を作成する場合について詳しく説明する。解析部２３は、音声データに信号処理を行って解析して、周波数成分ごとの音の大きさの遷移を折れ線グフ情報に変換して生成する。より詳しくは、まず、解析部２３は、音声データの各時間において、音声データに含まれる各周波数成分の音の大きさを示す折れ線グラフを作成する。そして、解析部２３は、各周波数成分の折れ線グラフの時間変化を示す折れ線グラフ情報を生成する。折れ線グラフは、音声データに含まれるすべての周波数成分について作成してもよいし、音声データに含まれる周波数のうち、道路のノイズなどを除いたイベント発生時に発生する特有の周波数成分について作成してもよい。
　まず、図６を用いて、通常時に、音声データから生成される折れ線グラフ情報について説明する。図６は、前方車両までの車間距離が適切な位置で停止した時の音声データのうち所定周波数の折れ線グラフの一例を説明する図である。ひし形はイベント発生時に発生する特有の周波数成分を示し、正方形はカーオーディオで再生している音楽に起因する周波数成分を示す。音声データ全体において、正方形で示す周波数成分は１８ｄＢ前後で推移している。車両が停止した時点、言い換えると、信号待ちを開始した時点をＴ１１とすると、時点Ｔ１１以降、ひし形で示す周波数成分は０ｄＢ前後で推移している。ひし形で示す周波数成分は、車両が停止した時点Ｔ１１以降と、それより前とで変化している。音声データ全体におけるひし形で示す周波数成分の平均を破線で示している。
　図７を用いて、停止している前方車両に低速で追突したイベント発生時に、音声データから生成される折れ線グラフ情報について説明する。図７は、イベント発生時の音声データのうち所定周波数の折れ線グラフの一例を説明する図である。イベント発生時点をＴ２１とすると、時点Ｔ２１以降、ひし形で示す周波数成分は１１２ｄＢ前後で推移している。時点Ｔ２１以降のひし形で示す周波数成分の平均を破線で示している。また、時点Ｔ２１の直前において、ひし形で示す周波数成分が急激に増加していることがわかる。ひし形で示す周波数成分が急激に増加を始めた時点Ｔ２０から時点Ｔ２１までのひし形で示す周波数成分の折れ線グラフの時間変化を示す傾きをα３で示している。なお、図７において、事故としている期間は、イベント記録データに含まれる期間の一例である。音声データ全体におけるひし形で示す周波数成分の平均を実線で示している。
　このような解析部２３の解析によれば、イベント発生時にのみ、イベント発生時に発生する特有の周波数成分が明らかに大きく表れることがわかる。
　学習部２４は、解析部２３が作成した折れ線グラフ情報から所定成分の遷移を読み取り、それを人工知能によって学習して、イベントの発生を判定するための学習済みモデルとしてのＤＮＮを生成する。例えば、学習部２４は、教師データである折れ線グラフ情報を用いて、イベントの発生を判定する学習済みモデルとしてＤＮＮの重みを学習する。ＤＮＮの構成と重みとをＤＮＮモデルと呼ぶ。学習部２４における学習は、公知のディープラーニングにおける学習と同様の方法で実行すればよい。
　例えば、学習部２４は、人工知能によって学習して、折れ線グラフ情報から、イベント発生時点の前後において折れ線グラフの時間変化を示す傾きが大きい所定成分のデータを取得する。さらに、学習部２４は、人工知能によって学習して、折れ線グラフの時間変化を示す傾きが大きい所定成分のデータの中から、折れ線グラフの時間的変化が急激である時点を取得する。学習部２４は、折れ線グラフの時間的変化が急激である時点が取得された場合、イベントが発生したイベント発生時点として学習可能である。このようにして、学習部２４は、人工知能によって学習して、折れ線グラフ情報から、折れ線グラフの変化のパターン、折れ線グラフの変化の傾向、折れ線グラフの変化の速度などに基づいて、イベントの発生を判定するためのＤＮＮを生成する。
　例えば、学習部２４は、「イベント発生である」場合の記録データの折れ線グラフ情報をＤＮＮに入力してディープラーニングを実行する。そして、「イベント発生である」と正しい判定結果が出力されるか、「イベント発生ではない」と誤った判定結果が出力されるかに基づいて、学習中の重みを更新する。また、学習部２４は、「イベント発生ではない」場合の記録データをＤＮＮに入力してディープラーニングを実行する。そして、「イベント発生ではない」と正しい判定結果が出力されるか、「イベント発生である」と誤った判定結果が出力されるかに基づいて、学習中の重みを更新する。このような処理を繰り返し行うことによって、学習の結果として学習済みの重みを求める。学習部２４は、ＤＮＮの重みを含むＤＮＮモデルを記録部１２へ出力する。
　また、学習部２４は、イベントの発生とともにイベントの種別を学習してもよい。より詳しくは、学習部２４は、衝撃の大きいイベント発生時、及び軽微なイベント発生時の記録データから作成された折れ線グラフ情報に基づいて人工知能によって学習して、イベントの種別を特定してイベントの発生を判定するためのＤＮＮを生成してもよい。
　学習部２４は、映像データの折れ線グラフ情報と音声データの折れ線グラフ情報との少なくともどちらかに基づいて人工知能によって学習して、イベントの発生を判定するためのＤＮＮを生成すればよい。学習部２４は、映像データの折れ線グラフ情報と音声データの折れ線グラフ情報とのうち、少なくとも映像データの折れ線グラフ情報に基づいてＤＮＮを生成することが好ましい。
　学習部２４は、データ取得部２２からデータを取得するごとに、所定の期間ごとに、または、所望のタイミングで、ＤＮＮモデルを更新して記録部１２へ記録する。
　学習部２４は、過去のイベント発生時の記録データに基づいて、イベント発生時の記録データに含まれる各成分の変化の傾向を人工知能によって学習してもよい。
　判定部２５は、記録装置３０から判定用の記録データを取得した場合、ＤＮＮを使用してイベントの発生を判定する。より詳しくは、判定部２５は、記録部１２から学習されたＤＮＮモデルを読み出してＤＮＮを再現し、判定用の記録データから、イベントの発生を判定する。判定部２５における判定は、公知のディープラーニングにおける判定と同様の方法で実行すればよい。
　判定部２５は、記録装置３０から判定用の記録データを取得した場合、ＤＮＮを使用してイベントの発生とともにイベントの種別を判定してもよい。
　記録制御部２６は、データ取得部２２が取得した記録データを、記録部１２に記録させる。記録制御部２６は、解析部２３が生成した折れ線グラフ情報を、記録部１２に記録システム１で使用する教師データとして記録させる。記録制御部２６は、解析部２３が折れ線グラフ情報を生成すると、記録部１２に記録させた教師データを更新する。記録制御部２６は、学習部２４が生成したＤＮＮを、記録部１２に記録させる。記録制御部２６は、学習部２４がＤＮＮモデルを学習するごとに、記録部１２に記録させたＤＮＮモデルを更新する。
　図８を用いて、記録装置３０について説明する。図８は、第一実施形態に係る記録装置の構成例を示す概略図である。記録装置３０は、例えば、車両に配置されている。本実施形態では、記録装置３０は、いわゆる車両用のドライブレコーダである。記録装置３０は、撮影装置としての機能を有する。記録装置３０は、通信部３１と、カメラ３２と、マイクロフォン３３と、加速度センサ３４と、操作部３５と、記録部３９と、制御部４０とを含む。
　記録装置３０は、車両の周囲を撮影して記録する。記録装置３０は、車両の周囲を撮影した映像データに基づいて、サーバ装置１０によって、車両に対してイベントが発生したか否かを判定させる。記録装置３０は、イベントが発生したと判定された場合、イベント記録データを記録する。
　通信部３１は、通信ユニットである。通信部３１は、サーバ装置１０との通信を可能にする。本実施形態では、通信部３１は、記録システム１が正常に動作している場合、常時、サーバ装置１０と通信可能である。
　カメラ３２は、車両の周辺の映像データを撮影するカメラである。カメラ３２は、１台であってもよいし、複数台であってもよい。カメラ３２は、車両のエンジンがＯＮされている間は、常時撮影する。カメラ３２は、撮影した映像データを制御部４０の映像データ取得部４３へ出力する。映像データは、例えば毎秒３０フレームの画像から構成される動画像である。
　マイクロフォン３３は、車両の周辺の音声データを取得するマイクロフォンである。マイクロフォン３３は、１台であってもよいし、複数台であってもよい。マイクロフォン３３は、取得した音声データを制御部４０の音声データ取得部４４へ出力する。
　加速度センサ３４は、車両に対して生じる加速度を検出するセンサである。加速度センサ３４は、検出結果であるセンサデータを制御部４０のセンサデータ取得部４５に出力する。加速度センサ３４は、例えば３軸方向の加速度を検出するセンサである。３軸方向とは、車両の前後方向、左右方向、及び上下方向である。
　操作部３５は、記録装置３０に対する各種操作を受付可能である。例えば、操作部３５は、電源の入り切り操作、撮影した映像データの保存操作、消去操作などを受け付ける。操作部３５は、操作情報を制御部４０の操作制御部５１に出力する。
　記録部３９は、記録装置３０におけるデータの記録などに用いられる。記録部３９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ　Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、メモリカードなどの記録部である。または、通信部３１を介して無線接続される外部記録部であってもよい。記録部３９は、制御部４０の映像記録制御部（イベント記録制御部）４９とから出力された制御信号に基づいて、映像データを記録する。
　制御部４０は、例えば、ＣＰＵなどで構成された演算処理装置（制御装置）である。制御部４０は、記録されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４０には図示しない内部メモリが含まれ、内部メモリは制御部４０におけるデータの一時記録などに用いられる。制御部４０は、通信制御部４１と、映像データ取得部４３と音声データ取得部４４とを含む記録データ取得部４２と、センサデータ取得部４５と、加速度判定部４６と、判定結果取得部４７と、映像データ処理部４８と、映像記録制御部４９と、操作制御部５１とを有する。
　通信制御部４１は、通信部３１を介して、サーバ装置１０との通信を制御する。本実施形態では、通信制御部４１は、映像データ取得部４３が取得した映像データと、音声データ取得部４４が取得した音声データとをサーバ装置１０へ送信するよう制御する。
　記録データ取得部４２は、車両の周辺の状態を示す記録データを取得する。記録データ取得部４２は、映像データ取得部４３と音声データ取得部４４とを含む。
　映像データ取得部４３は、車両の周辺を撮影した映像データを取得する。より詳しくは、映像データ取得部４３は、車両に配置されたカメラ３２が出力した、車両の周辺の映像データを取得して、映像データ処理部４８に出力する。映像データは、記録データに含まれる。
　音声データ取得部４４は、車両の周辺の音声を録音した音声データを取得する。より詳しくは、音声データ取得部４４は、車両に配置されたマイクロフォン３３が出力した、車両の周辺の音声データを取得する。音声データは、記録データに含まれる。
　センサデータ取得部４５は、加速度センサ３４のセンサデータを取得する。センサデータ取得部４５は、取得したセンサデータを加速度判定部４６へ出力する。
　加速度判定部４６は、加速度センサ３４のセンサデータに基づいて、第一閾値以上の加速度が検出されたか否かを検出する。加速度判定部４６は、第一閾値以上の加速度を検出したと判定する場合、イベントが発生したと判定する。加速度判定部４６は、第一閾値以上の加速度を検出したと判定しない場合、第二閾値以上の加速度が検出されたか否かを検出する。加速度判定部４６は、第二閾値以上の加速度を検出したと判定する場合、判定結果取得処理を実行して、サーバ装置１０においてイベントが発生したか否かを判定させる。加速度判定部４６は、第二閾値以上の加速度を検出したと判定しない場合、イベントは発生していないと判定する。
　判定結果取得部４７は、サーバ装置１０による、イベントが発生したか否かの判定結果を取得する。
　映像データ処理部４８とは、撮影した映像データを、例えばＨ．２６４やＭＰＥＧ－４（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）などの任意の方式のコーデックで符号化された、例えばＭＰ４形式などの任意のファイル形式に変換する。ファイルとして生成される映像データの期間は、一例として６０秒であるが、これには限定されない。また、映像データは、カメラ３２が撮影した映像に加えて音声が含まれたデータであってもよい。
　映像データ処理部４８は、図示しないバッファメモリに記録された映像データから、例えば、６０秒のような所定期間の映像ごとにループ記録映像データを生成する。
　また、映像データ処理部４８は、加速度判定部４６がイベントを検出したと判定した場合、または、判定結果取得部４７が取得した判定結果がイベントの発生を示す場合、ループ記録映像データから、少なくともイベントの発生時点を含む映像データをイベント記録データとして生成する。映像データ処理部４８は、イベントの発生時点の前後の所定期間を含む映像データをイベント記録データとして生成することが好ましい。例えば、映像データ処理部４８は、イベントの発生時点の前後の所定期間を切り出した映像データをイベント記録データとして生成する。または、例えば、映像データ処理部４８は、イベント発生時点を含む前後の所定時間を含むループ記録映像データ単位の映像データをイベント記録データとして生成してもよい。
　映像記録制御部４９は、映像データ処理部４８によってファイル化された映像データを、記録部３９に記録させる制御を行う。
　映像記録制御部４９は、生成したループ記録映像データを記録部３９に記録させる。映像記録制御部４９は、記録部３９の容量が一杯になった場合、最も古いループ記録映像データに上書きして新しいループ記録映像データを記録する。
　また、映像記録制御部４９は、イベントを検出した場合、少なくともイベントの発生時点を含む映像データをイベント記録データとして記録部３９に記録して保存する。より詳しくは、映像記録制御部４９は、イベントを検出した場合、映像データ処理部４８が生成した、イベントの発生時点を含むイベント記録データを記録部３９に記録して保存する。
　操作制御部５１は、操作部３５が受け付けた操作の操作情報を取得する。例えば、操作制御部５１は、電源の入り切り操作、撮影した映像データの保存操作、消去操作などの操作情報を取得する。
　次に、図９ないし図１２を用いて、記録システム１のイベント記録方法及び作用について説明する。図９は、第一実施形態に係るサーバ装置における学習処理の流れを示すフローチャートである。図１０は、第一実施形態に係るサーバ装置における判定処理の流れを示すフローチャートである。図１１は、第一実施形態に係る記録装置における処理の流れを示すフローチャートである。図１２は、第一実施形態に係る記録装置における処理の流れを示すフローチャートである。
　図９を用いて、サーバ装置１０における学習処理について説明する。サーバ装置１０において、制御部２０は、データ取得部２２によって、記録データを取得する（ステップＳ１０１）。制御部２０は、記録制御部２６によって、取得した記録データを記録部１２に記録させる。制御部２０は、ステップＳ１０２へ進む。
　制御部２０は、解析部２３によって、記録部１２に記録された記録データを解析して、折れ線グラフ情報すなわち記録データに含まれている所定成分の遷移を生成する（ステップＳ１０２）。制御部２０は、ステップＳ１０３へ進む。
　制御部２０は、記録制御部２６によって、生成した折れ線グラフ情報を教師データとして記録部１２に保存する（ステップＳ１０３）。制御部２０は、ステップＳ１０４へ進む。
　制御部２０は、学習部２４によって、記録部１２に記録された、教師データである折れ線グラフ情報を用いて、イベントの発生を判定する学習済みモデルとしてＤＮＮの重みを人工知能によって学習する（ステップＳ１０４）。制御部２０は、ステップＳ１０５へ進む。
　制御部２０は、記録制御部２６によって、生成したＤＮＮを記録部１２に保存する（ステップＳ１０５）。制御部２０は、処理を終了する。
　このようにして、記録システム１の記録装置３０における処理が実行される前に、サーバ装置１０において、あらかじめＤＮＮが生成される。サーバ装置１０は、データ取得部２２からデータを取得するごとに、所定の期間ごとに、または、所望のタイミングで、ＤＮＮモデルを更新する。
　図１０を用いて、サーバ装置１０における判定処理について説明する。サーバ装置１０において、制御部２０は、データ取得部２２によって、記録装置３０から判定用の記録データを取得する（ステップＳ１１１）。制御部２０は、ステップＳ１１２へ進む。
　制御部２０は、解析部２３によって、取得した判定用の記録データを解析して、折れ線グラフ情報を生成する（ステップＳ１１２）。制御部２０は、ステップＳ１１３へ進む。
　制御部２０は、判定部２５によって、ＤＮＮを使用して、判定用の記録データから生成した折れ線グラフ情報に基づいて、イベントの発生を判定する（ステップＳ１１３）。制御部２０は、ステップＳ１１４へ進む。
　制御部２０は、通信制御部２１によって、記録装置３０へ判定結果を送信する（ステップＳ１１４）。制御部２０は、処理を終了する。
　図１１を用いて、記録装置３０における記録処理について説明する。制御部４０は、ループ記録、加速度センサ３４による検出を開始する（ステップＳ２０１）。より詳しくは、制御部４０は、映像データ処理部４８によって、ループ記録を開始する。制御部４０は、加速度センサ３４による加速度の検出を開始する。制御部４０は、ステップＳ２０２へ進む。
　制御部４０は、加速度判定部４６によって、イベントを検出したか否かを判定する（ステップＳ２０２）。より詳しくは、加速度判定部４６によって、センサデータである加速度が第一閾値以上であるか否かによって、イベントを検出したか否かを判定する。加速度判定部４６によって、加速度が第一閾値以上であると判定する場合（ステップＳ２０２でＹｅｓ）、ステップＳ２０３へ進む。加速度が第一閾値以上であると判定する場合（ステップＳ２０２でＹｅｓ）、衝撃の大きいイベントが発生している。制御部４０は、加速度判定部４６によって、加速度が第一閾値以上であると判定しない場合（ステップＳ２０２でＮｏ）、ステップＳ２０４へ進む。
　加速度が第一閾値以上であると判定する場合（ステップＳ２０２でＹｅｓ）、制御部４０は、イベント検出前後の映像データであるイベント記録データを保存する（ステップＳ２０３）。より詳しくは、制御部４０は、映像データ処理部４８によって、バッファメモリに記録されたループ記録映像データから、少なくともイベントの発生時点を含む映像データをイベント記録データとして生成する。制御部４０は、映像記録制御部４９によって、生成したイベント記録データを記録部３９に保存する。制御部４０は、ステップＳ２０６へ進む。
　加速度が第一閾値以上であると判定しない場合（ステップＳ２０２でＮｏ）、制御部４０は、加速度判定部４６によって、センサデータである加速度が第二閾値以上であるか否かを判定する（ステップＳ２０４）。加速度判定部４６によって、加速度が第二閾値以上であると判定する場合（ステップＳ２０４でＹｅｓ）、ステップＳ２０５へ進む。制御部４０は、加速度判定部４６によって、加速度が第二閾値以上であると判定しない場合（ステップＳ２０４でＮｏ）、ステップＳ２０６へ進む。
　加速度が第二閾値以上であると判定する場合（ステップＳ２０４でＹｅｓ）、制御部４０は、判定結果取得処理を実行する（ステップＳ２０５）。制御部４０は、ステップＳ２０６へ進む。
　制御部４０は、イベント検出及びループ記録を終了するか否かを判定する（ステップＳ２０６）。より詳しくは、制御部４０は、操作制御部５１によって、終了操作情報が出力された場合や、車両の動作が終了するなど、任意の条件で、イベント検出及びループ記録を終了すると判定して（ステップＳ２０６でＹｅｓ）、処理を終了する。制御部４０は、操作制御部５１によって、終了操作情報が出力されていないと、イベント検出及びループ記録を終了しないと判定して（ステップＳ２０６でＮｏ）、ステップＳ２０２の処理を再度実行する。
　図１２を用いて、図１１に示すフローチャートのステップＳ２０５の判定結果取得処理について説明する。制御部４０は、判定結果取得部４７によって、加速度判定部４６が第二閾値以上の加速度を検出したと判定した状態における、ステップＳ２０１で撮影を開始した映像データを判定用のデータとしてサーバ装置１０へ送信する（ステップＳ２１１）。制御部４０は、ステップＳ２１２へ進む。
　制御部４０は、判定結果取得部４７によって、サーバ装置１０から判定結果を取得したか否かを判定する（ステップＳ２１２）。制御部４０は、判定結果を取得したと判定する場合（ステップＳ２１２でＹｅｓ）、ステップＳ２１３へ進む。制御部４０は、判定結果を取得したと判定しない場合（ステップＳ２１２でＮｏ）、ステップＳ２１２の処理を再度実行する。
　判定結果を取得したと判定する場合（ステップＳ２１２でＹｅｓ）、制御部４０は、判定結果が軽微なイベントの発生であることを示すか否かを判定する（ステップＳ２１３）。制御部４０は、判定結果が軽微なイベントの発生であることを示すと判定する場合（ステップＳ２１３でＹｅｓ）、ステップＳ２１４へ進む。制御部４０は、判定結果が軽微なイベントの発生であることを示すと判定しない場合（ステップＳ２１３でＮｏ）、処理を終了する。
　制御部４０は、判定結果が軽微なイベントの発生であると判定する場合（ステップＳ２１３でＹｅｓ）、イベント記録データを保存する（ステップＳ２１４）。制御部４０は、処理を終了する。
　このようにして、サーバ装置１０では、記録データを解析して折れ線グラフ情報を生成し、折れ線グラフ情報を用いて人工知能による機械学習によって、イベントの発生を判定する学習済みモデルとしてＤＮＮを生成する。サーバ装置１０は、記録装置３０から判定用の記録データを取得した場合、解析して折れ線グラフ情報を生成して、ＤＮＮを使用してイベントの発生を判定する。
　記録装置３０では、速度が第一閾値未満かつ第二閾値以上である場合、カメラ３２が周辺を撮影した映像データに基づいて、サーバ装置１０によって、ＤＮＮを使用してイベント発生か否かを判定させる。
　上述したように、本実施形態では、サーバ装置１０において、記録データを解析して折れ線グラフ情報を生成し、折れ線グラフ情報を用いて人工知能による機械学習によって、イベントの発生を判定する学習済みモデルとしてＤＮＮを生成することができる。本実施形態では、サーバ装置１０において、記録装置３０から判定用の記録データを取得した場合、解析して折れ線グラフ情報を生成して、ＤＮＮを使用してイベントの発生を判定することができる。
　本実施形態によれば、加速度が第一閾値未満かつ第二閾値以上である場合、軽微なイベントが発生したか否かを、ＤＮＮを生成して、適切に判定することができる。
　本実施形態では、記録装置３０において、加速度が第一閾値未満かつ第二閾値以上である場合、カメラ３２が周辺を撮影した映像データに基づいて、サーバ装置１０によって、ＤＮＮを使用してイベント発生か否かを判定させることができる。
　このようにして、本実施形態によれば、例えば、車両が低速で追突、または、車両の停止時に他車両または人物が低速で接触するような、第一閾値以上の加速度が検出されないような、車両の軽微なイベントの発生時に、イベント記録データを記録することができる。
　本実施形態は、第二閾値以上の加速度を検出した場合、車両の軽微なイベントの発生時に限って、イベント記録データを記録する。本実施形態は、車両が段差に乗り上げたなどの際に第二閾値以上の加速度を検出した場合には、イベント記録データが記録されることを抑制することができる。本実施形態によれば、適切にイベント記録データを記録することができる。
［第二実施形態］
　図１３ないし図１５を参照しながら、本実施形態に係る記録システム１Ａについて説明する。図１３は、第二実施形態に係る記録システムの構成例の一例を示す概略図である。図１４は、第二実施形態に係る記録装置の構成例を示す概略図である。図１５は、第二実施形態に係る記録装置における処理の流れを示すフローチャートである。本実施形態は、サーバ装置１０Ａと記録装置３０Ａとの構成が第一実施形態と異なる。より詳しくは、サーバ装置１０Ａの制御部２０Ａが、通信制御部２１と、データ取得部２２と、解析部２３と、学習部２４と、第一判定部２５Ａと、記録制御部２６と、第二判定部２７Ａとを有する点で第一実施形態と異なる。記録装置３０Ａの制御部４０Ａが、通信制御部４１と、映像データ取得部４３と音声データ取得部４４とを含む記録データ取得部４２と、センサデータ取得部４５と、加速度判定部４６と、第一判定結果取得部４７Ａと、映像データ処理部４８と、映像記録制御部４９Ａと、操作制御部５１と、第二判定結果取得部５２Ａとを備える点が第一実施形態と異なる。以下の説明においては、サーバ装置１０Ａと記録装置３０Ａと同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。
　記録装置３０Ａは、所定期間ごと、記憶部３９に記録データやイベント記録データを記録するごとに、または、所望のタイミングで、記録データまたはイベント記録データを、削除可否の判定用の記録データとして、サーバ装置１０Ａへ通信部３１を介して送信する。
　第一判定部２５Ａは、判定部２５と同様の機能を有する。
　第二判定部２７Ａは、記録装置３０Ａから、削除可否の判定用の記録データを取得した場合、ＤＮＮを使用してイベントの発生を判定する。より詳しくは、第二判定部２７Ａは、記録部１２から学習されたＤＮＮモデルを読み出してＤＮＮを再現し、削除可否の判定用の記録データから、イベントの発生を判定する。第二判定部２７Ａにおける判定は、公知のディープラーニングにおける判定と同様の方法で実行すればよい。第二判定部２７Ａが取得する記録データは、例えば、記録装置３０Ａの記録部３９に記録されたイベント記録データである。
　第一判定結果取得部４７Ａは、判定結果取得部４７と同様の機能を有する。
　第二判定結果取得部５２Ａは、サーバ装置１０Ａによる、削除可否の判定用の記録データについての、イベントが発生したか否かの判定結果を取得する。
　映像記録制御部４９Ａは、イベント記録データの判定結果に応じて、消去不可フラグ（保存フラグ）、または、消去可能フラグ（消去フラグ）を属性情報として付加して、記録部３９に記録させる制御を行う。より詳しくは、映像記録制御部４９Ａは、第二判定結果取得部５２Ａが取得した第二判定部２７Ａがイベントの発生を判定した場合、イベント記録データに、消去を規制する消去不可フラグの属性情報を付加し、第二判定部２７Ａがイベントの発生を判定しない場合、イベント記録データに消去を許可する消去可能フラグを付加する。消去不可フラグが付加されたイベント記録データは、例えば、所定期間は消去操作が規制されたり、ユーザ操作による消去操作が規制された保存領域に記録したり、外部装置へ転送したりする。消去可能フラグが付加されたイベント記録データは、ユーザ操作による消去操作が可能になる。
　図１５を用いて、判定結果取得処理について説明する。制御部４０Ａは、第二判定結果取得部５２Ａよって、イベント記録データを第二判定用のデータとしてサーバ装置１０Ａへ送信する（ステップＳ２２１）。制御部４０Ａは、ステップＳ２２２へ進む。
　制御部４０Ａは、第二判定結果取得部５２Ａによって、サーバ装置１０Ａから判定結果を取得したか否かを判定する（ステップＳ２２２）。制御部４０Ａは、判定結果を取得したと判定する場合（ステップＳ２２２でＹｅｓ）、ステップＳ２２３へ進む。制御部４０Ａは、判定結果を取得したと判定しない場合（ステップＳ２２２でＮｏ）、ステップＳ２２２の処理を再度実行する。
　判定結果を取得したと判定する場合（ステップＳ２２２でＹｅｓ）、制御部４０Ａは、判定結果が軽微なイベントの発生であることを示すか否かを判定する（ステップＳ２２３）。制御部４０Ａは、判定結果が軽微なイベントの発生であることを示すと判定する場合（ステップＳ２２３でＹｅｓ）、ステップＳ２２４へ進む。制御部４０Ａは、判定結果が軽微なイベントの発生であることを示すと判定しない場合（ステップＳ２２３でＮｏ）、ステップＳ２２５へ進む。
　制御部４０Ａは、判定結果が軽微なイベントの発生であることを示す判定する場合（ステップＳ２２３でＹｅｓ）、第二判定用のデータとして送信したイベント記録データに消去不可フラグを属性情報として付加する（ステップＳ２２４）。制御部４０Ａは、処理を終了する。
　制御部４０Ａは、判定結果が軽微なイベントの発生であることを示すと判定されない場合（ステップＳ２２３でＮｏ）、第二判定用のデータとして送信したイベント記録データに消去可能フラグを属性情報として付加する（ステップＳ２２５）。制御部４０Ａは、処理を終了する。
　このようにして、サーバ装置１０Ａでは、記録装置３０Ａから、削除可否の判定用の記録データを取得した場合にも、解析して折れ線グラフ情報を生成して、ＤＮＮを使用してイベントの発生を判定する。
　記録装置３０Ａでは、イベント記録データについて、サーバ装置１０Ａによって、ＤＮＮを使用してイベント発生か否かを判定させる。記録装置３０Ａは、イベント記録データの判定結果に応じて、消去不可フラグ、または、消去可能フラグを属性情報として付加して、記録部３９に記録させる。
　上述したように、本実施形態は、サーバ装置１０Ａでは、記録装置３０Ａから、削除可否の判定用の記録データを取得した場合にも、解析して折れ線グラフ情報を生成して、ＤＮＮを使用してイベントの発生を判定することができる。
　本実施形態は、記録装置３０Ａでは、イベント記録データについて、サーバ装置１０Ａによって、ＤＮＮを使用してイベント発生か否かを判定させることができる。本実施形態は、記録装置３０Ａでは、イベント記録データの判定結果に応じて、消去不可フラグ、または、消去可能フラグを属性情報として付加して、記録部３９に記録させることができる。このようにして、本実施形態は、イベント記録データの削除の可否を適切に判定することができる。本実施形態は、イベント発生時に撮影されたイベント記録データを誤って削除してしまうことを抑制することができる。本実施形態は、イベント発生であるとされたが、段差の乗り越え時に撮影されたような不必要なイベント記録データを消去可能にすることができる。
　さて、これまで本開示に係る記録システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。
　図示した記録システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況等に応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
　記録システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラム等によって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
　上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
　本開示の記録システム、及び、記録方法は、例えばいわゆるドライブレコーダに使用することができる。
　１　　　　記録システム
　１０　　　サーバ装置
　２０　　　制御部
　２２　　　データ取得部
　２３　　　解析部
　２４　　　学習部
　２５　　　判定部
　３０　　　記録装置
　３２　　　カメラ
　３３　　　マイクロフォン
　３４　　　加速度センサ
　３５　　　操作部
　３９　　　記録部
　４０　　　制御部
　４２　　　記録データ取得部
　４３　　　映像データ取得部
　４４　　　音声データ取得部
　４５　　　センサデータ取得部
　４６　　　加速度判定部
　４７　　　判定結果取得部
　４８　　　映像データ処理部
　４９　　　映像記録制御部（イベント記録制御部）

Claims (7)

  1. 　車両の周囲の状況を記録した記録データを取得する記録データ取得部と、
    　前記記録データ取得部が取得した前記記録データを解析して、前記記録データに含まれる所定成分の遷移を解析する解析部と、
    　前記解析部が解析した前記所定成分の遷移を人工知能によって学習して、イベントの発生を判定するための学習済みモデルを生成する学習部と、
    　前記学習部が学習した前記学習済みモデルを使用して、前記記録データ取得部が取得した前記記録データに基づいて、イベントの発生を判定する判定部と、
    　前記判定部がイベントの発生を判定した場合、イベントの発生時点を含む記録データをイベント記録データとして記録部に記録させるイベント記録制御部と、
    　を備えることを特徴とする記録システム。
  2. 　前記学習部は、過去のイベント発生時の前記記録データに基づいて、イベント発生時の前記記録データに含まれる各成分の変化の傾向を人工知能によって学習する、
    　請求項１に記載の記録システム。
  3. 　前記記録データは、前記車両の周囲を撮影した映像データを含み、
    　前記解析部は、前記映像データに画像解析処理を行って、前記映像データに含まれる色成分の遷移の情報を作成する、
    　請求項１または２に記載の記録システム。
  4. 　前記記録データは、前記車両の周囲の音声を取得した音声データを含み、
    　前記解析部は、前記音声データに信号処理を行って、前記音声データに含まれる周波数成分の遷移の情報を作成する、
    　請求項１または２に記載の記録システム。
  5. 　前記イベント記録制御部は、前記判定部がイベントの発生を判定した場合、イベントの発生時点を含む記録データに消去を規制する属性情報を付加し、前記判定部がイベントの発生を判定しない場合、イベントの発生時点を含む記録データに消去を許可する属性情報を付加する、
    　請求項１から４のいずれか一項に記載の記録システム。
  6. 　前記所定成分の遷移の情報は、前記所定成分の折れ線グラフの時間変化を示す折れ線グラフ情報である、
    　請求項１から５のいずれか一項に記載の記録システム。
  7. 　車両の周囲の状況を記録した記録データを取得する記録データ取得ステップと、
    　前記記録データ取得ステップによって取得した前記記録データを解析して、前記記録データに含まれる所定成分の遷移を解析する解析ステップと、
    　前記解析ステップによって解析した前記所定成分の遷移を人工知能によって学習して、イベントの発生を判定するための学習済みモデルを生成する学習ステップと、
    　前記学習ステップによって学習した前記学習済みモデルを使用して、前記記録データ取得ステップによって取得した前記記録データに基づいて、イベントの発生を判定する判定ステップと、
    　前記判定ステップによってイベントの発生を判定した場合、イベントの発生時点を含む記録データをイベント記録データとして記録部に記録させるイベント記録制御ステップと、
    　を含む記録方法。
PCT/JP2020/009658 2019-03-25 2020-03-06 記録システム、及び、記録方法 WO2020195706A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021508939A JP7459866B2 (ja) 2019-03-25 2020-03-06 記録システム、及び、記録方法
US17/468,728 US11558586B2 (en) 2019-03-25 2021-09-08 Recording system and recording method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019057485 2019-03-25
JP2019-057485 2019-03-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/468,728 Continuation US11558586B2 (en) 2019-03-25 2021-09-08 Recording system and recording method

Publications (1)

Publication Number Publication Date
WO2020195706A1 true WO2020195706A1 (ja) 2020-10-01

Family

ID=72610096

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/009658 WO2020195706A1 (ja) 2019-03-25 2020-03-06 記録システム、及び、記録方法

Country Status (3)

Country Link
US (1) US11558586B2 (ja)
JP (1) JP7459866B2 (ja)
WO (1) WO2020195706A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628362A (zh) * 2021-08-04 2021-11-09 天津森普捷电子有限公司 一种汽车事件数据记录系统实现方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220151987A (ko) * 2021-05-07 2022-11-15 현대자동차주식회사 주행영상기록장치 및 그의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163687A (ja) * 1998-11-25 2000-06-16 Sumitomo Electric Ind Ltd 事故検出装置および事故検出システム
JP2016224677A (ja) * 2015-05-29 2016-12-28 富士通テン株式会社 ドライブレコーダ、データ記録システム、データ記録方法、及び、プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008155862A (ja) 2006-12-26 2008-07-10 Rohm Co Ltd カーセキュリティ装置
JP5267330B2 (ja) * 2009-05-27 2013-08-21 コニカミノルタ株式会社 画像処理装置および方法
KR101829006B1 (ko) * 2011-09-09 2018-02-14 현대모비스 주식회사 차량 충돌 경보 제어 장치 및 방법
WO2019175796A1 (en) * 2018-03-15 2019-09-19 More Vinit Shamkant A smart barrier
JP6627995B2 (ja) * 2018-05-10 2020-01-08 株式会社Ｊｖｃケンウッド 記録装置、記録方法、およびプログラム
US11474125B2 (en) * 2018-11-16 2022-10-18 Pony Ai Inc. Measurements incorporating brake light detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163687A (ja) * 1998-11-25 2000-06-16 Sumitomo Electric Ind Ltd 事故検出装置および事故検出システム
JP2016224677A (ja) * 2015-05-29 2016-12-28 富士通テン株式会社 ドライブレコーダ、データ記録システム、データ記録方法、及び、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628362A (zh) * 2021-08-04 2021-11-09 天津森普捷电子有限公司 一种汽车事件数据记录系统实现方法

Also Published As

Publication number Publication date
US11558586B2 (en) 2023-01-17
US20210409657A1 (en) 2021-12-30
JPWO2020195706A1 (ja) 2020-10-01
JP7459866B2 (ja) 2024-04-02

Similar Documents

Publication Publication Date Title
CN109427114B (zh) 信息处理方法、信息处理装置和记录介质
WO2020195706A1 (ja) 記録システム、及び、記録方法
US11050980B2 (en) Recording device, recording method, reproduction method, and program
CN108985530A (zh) 车辆危险行为管理方法及装置
TW200518959A (en) Driving state recorder
JP7370446B2 (ja) 車載映像記録装置及びその制御方法
CN107730902A (zh) 车辆录像的录制方法、摄像设备及存储介质
JP2024055911A (ja) システム、プログラム、学習済みモデル、学習モデルの生成方法および生成装置等
JP2020197815A (ja) 警告システム、及び、警告方法
JP6451721B2 (ja) 記録装置、再生方法、及びプログラム
CN113544750B (zh) 车辆用记录控制装置、车辆用记录装置、车辆用记录控制方法和存储介质
CN114084146A (zh) 用于车辆的基于情绪识别的服务提供装置及其控制方法
CN112908324B (zh) 数据处理方法、装置、设备及系统
JP2020140401A (ja) 異常監視システム、及び、異常監視方法
CN116670738A (zh) 检测功能控制装置、检测功能控制方法以及程序
JP7532963B2 (ja) 画像処理装置および画像処理方法
JP6590063B2 (ja) 記録装置、再生方法、及びプログラム
CN115716458B (zh) 一种车辆沉水应急方法、装置及车辆
US20220345661A1 (en) Recording control apparatus, recording control method, and program
JP7494474B2 (ja) 記録制御装置、記録制御方法、及びプログラム
JP2007200237A (ja) 異常走行車両撮像システム、異常走行車両撮像方法及び撮像制御装置
JP7310196B2 (ja) 記録装置、記録方法およびプログラム
WO2022209347A1 (ja) 情報処理装置、情報処理方法、コンピュータ可読媒体、及び情報処理システム
JP2009272738A (ja) 監視システム
JP2020190976A (ja) 記録装置、記録方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20780060

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508939

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20780060

Country of ref document: EP

Kind code of ref document: A1