WO2019138994A1 - 情報記録装置、情報記録方法、及び情報記録用プログラム - Google Patents

情報記録装置、情報記録方法、及び情報記録用プログラム Download PDF

Info

Publication number
WO2019138994A1
WO2019138994A1 PCT/JP2019/000191 JP2019000191W WO2019138994A1 WO 2019138994 A1 WO2019138994 A1 WO 2019138994A1 JP 2019000191 W JP2019000191 W JP 2019000191W WO 2019138994 A1 WO2019138994 A1 WO 2019138994A1
Authority
WO
WIPO (PCT)
Prior art keywords
automatic driving
information
state
image
driving control
Prior art date
Application number
PCT/JP2019/000191
Other languages
English (en)
French (fr)
Inventor
守道 野澤
好祥 小林
昌夫 中根
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to US16/961,220 priority Critical patent/US11302123B2/en
Priority to EP19738893.7A priority patent/EP3739550A4/en
Priority to JP2019564689A priority patent/JPWO2019138994A1/ja
Publication of WO2019138994A1 publication Critical patent/WO2019138994A1/ja
Priority to JP2021193427A priority patent/JP2022031301A/ja
Priority to US17/689,756 priority patent/US20220189221A1/en
Priority to US18/120,727 priority patent/US11881065B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825—Indicating performance data, e.g. occurrence of a malfunction using optical means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • B60K2360/167—
    • B60K2360/172—
    • B60K2360/175—
    • B60K2360/176—
    • B60K35/213—
    • B60K35/23—
    • B60K35/28—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Definitions

  • the present application belongs to the technical field of an information recording apparatus for recording information indicating a situation in which a movable body capable of automatic driving is placed, for example, an image obtained by photographing the outside of the movable body on a recording medium.
  • a so-called drive recorder for capturing and recording for example, the front of a moving vehicle is provided for the purpose of later verifying the situation etc. when an accident or the like occurs while moving the vehicle, for example. It is generalized.
  • FIG. 1 when the acceleration of the vehicle exceeds a threshold at which it is determined whether an accident has occurred, the same time as the imaging time with respect to the image for a predetermined time taken before the accident occurs.
  • the altitude data and the gradient data acquired in the above are superimposed and recorded in the image memory.
  • the video recorded by the technique disclosed in Patent Document 1 is useful for determining the fault liability sharing of the accident vehicle or its driver.
  • an accident may occur during autonomous driving.
  • driving operation by automatic driving may cause an accident, which may affect the rate of driver's fault.
  • it is not possible to determine from the recorded video whether there is an accident cause in the driving operation by the driver or whether there is an accident cause in the driving operation by the automatic driving.
  • Patent Document 2 when an accident or a failure occurs in a vehicle, it is necessary to grasp after that what automatic driving function or automatic driving level was selected at that time it can. However, this is possible because the vehicle itself is already equipped with a system capable of storing the selected automatic driving function or the automatic driving level. When the information recording apparatus is retrofitted to the vehicle, it may be difficult for the information recording apparatus to directly acquire the selected automatic driving function or automatic driving level from the vehicle.
  • the present application has been made in view of the above points, and one example of the problem is the situation of the automatic operation control of the moving body, as well as the state of the moving body in the case of confirming the external situation of the moving body etc. afterward. It is an object of the present invention to provide an information recording apparatus and an information recording method capable of recording an image or the like so that an image etc. can be confirmed, and a program for the information recording apparatus.
  • the invention according to claim 1 is an image information acquisition means for acquiring external image information corresponding to an external image obtained by imaging the outside of a mobile object from the mobile object, and automatic processing of the mobile object
  • Automatic driving information acquiring means for acquiring automatic driving information indicating a state of driving control; and at least a part of the external image and the automatic at the photographing time of the external image based on the external image information and the automatic driving information
  • An information recording apparatus comprising: display information acquisition means for acquiring display information for simultaneously displaying an automatic operation state image showing a state of operation control; and recording control means for recording the display information on a recording medium It is characterized by being.
  • the information recording apparatus S includes an image information acquisition unit 1, an automatic driving information acquisition unit 2, a display information acquisition unit 3, and a recording unit 4 connected to the recording medium SD. And are configured.
  • the automatic driving information acquisition means 2 acquires automatic driving information indicating the state of automatic driving control of the mobile unit.
  • the display information acquisition unit 3 captures at least a part of the external image and the external image based on the external image information acquired by the image information acquisition unit 1 and the automatic driving information acquired by the automatic driving information acquisition unit 2. Display information for simultaneously displaying an automatic driving state image indicating a state of automatic driving control of the moving object at time is acquired.
  • the recording unit 4 records the display information acquired by the display information acquisition unit 3 on a recording medium.
  • the external image information corresponding to the external image obtained by imaging the outside from the moving object and the automatic driving information indicating the state of the automatic driving control.
  • the display information is acquired
  • the recording is performed on the recording medium SD. Therefore, when confirming the external condition of the moving object, etc., it is possible to record an image or the like so that the condition can be confirmed along with the state of automatic operation control of the moving object.
  • FIG. 2 is a block diagram showing an example of a schematic configuration of the drive recorder according to the embodiment.
  • FIG. 3 is a flowchart showing an example of recording processing of display image data in the drive recorder according to the embodiment.
  • FIG. 4 is a view exemplifying an image recorded by the recording process by the drive recorder according to the embodiment.
  • the drive recorder according to the embodiment is installed in the interior of the vehicle so as to be able to capture the front view of the vehicle on which the drive recorder is mounted.
  • a vehicle in which the drive recorder according to the embodiment is used is simply referred to as "own vehicle”.
  • the host vehicle is a vehicle compatible with automatic driving. At least one automatic operation of acceleration, steering, and braking of the vehicle is performed by the automatic driving control system mounted on the vehicle.
  • the host vehicle is compatible with a plurality of automatic driving levels.
  • the plurality of automatic driving levels are defined, for example, as follows.
  • Level 0 The driver performs all operations of acceleration, steering and braking.
  • Level 1 In this state, the automatic driving control system performs any one operation of acceleration, steering and braking.
  • Level 3 The automatic operation control system performs all operations of acceleration, steering and braking, and the driver performs the operation when the automatic operation control system requests it.
  • the definition of the automatic driving level is not limited to the levels 0 to 4 described above. Also, the number of automatic driving levels is not limited to five.
  • the drive recorder DR includes an operation unit 11 including operation buttons and a touch panel, a display 18 for outputting various information, and a speaker 19 for emitting necessary operation guidance sound and the like. ing.
  • the drive recorder DR according to the embodiment includes a CPU, a read only memory (ROM), a random access memory (RAM), and the like, and controls the entire drive recorder DR to exhibit its function.
  • a storage unit 10 formed of a solid state drive (SSD) or the like, a camera 12 formed of a complementary metal-oxide-semiconductor (CMOS) imaging device or the like, a map data recording unit 13 formed of an SSD or the like, and a GPS (global positioning sensor)
  • a sensor 14 an acceleration sensor 15, a microphone 16, a vehicle interface 17, a vibration sensor 20, a memory SD such as a removable SD (Secure Digital) card, a camera 12, a map data recording unit 13, a GPS Sensor 14, acceleration sensor 15, microphone 16, vehicle interface 17, vibration sensor 20 and processing unit
  • the processing unit 9 is configured of an image processing unit 22 and a recording unit 23.
  • the image processing unit 22 and the recording unit 23 may be realized by a hardware logic circuit including the CPU and the like constituting the processing unit 9, and a program corresponding to a recording process of display image data according to an embodiment described later. May be realized as software by reading and executing the CPU.
  • the interface 21 corresponds to an example of the image information acquisition unit 1 according to the embodiment and an example of the automatic driving information acquisition unit 2
  • the image processing unit 22 corresponds to an example of the display information acquisition unit 3 according to the embodiment.
  • the recording unit 23 corresponds to an example of the recording unit 4 of the information recording apparatus S according to the embodiment
  • the memory SD corresponds to an example of the recording medium SD according to the embodiment.
  • the interface 21, the image processing unit 22, and the recording unit 23 constitute an example of the information recording apparatus S according to the embodiment.
  • the operation unit 11 is configured with an operation button, a touch panel, and the like in a part of the drive recorder DR, receives an operation by the user, and outputs an operation signal corresponding to the operation to the processing unit 9.
  • the display 18 displays information to be presented to the user as a function of the drive recorder DR under the control of the processing unit 9 using, for example, an image or an icon.
  • the speaker 19 emits operation guidance sound and the like necessary for performing the function of the drive recorder DR.
  • the camera 12 captures an image of the outside of the host vehicle.
  • the camera 12 uses the surroundings including the moving direction ahead of the host vehicle as its imaging range.
  • the camera 12 generates imaging data corresponding to an external image obtained by imaging the inside of the imaging range, and outputs the imaging data to the image processing unit 22 of the processing unit 9 via the interface 21.
  • the external image is a moving image, but the external image may be a still image.
  • the map data recording unit 13 records general road data and intersection data as map data.
  • the map data recording unit 13 outputs map data such as road data to the image processing unit 22 via the interface 21 in response to a request from the image processing unit 22.
  • the GPS sensor 14 outputs position data indicating the current position of the drive recorder DR to the image processing unit 22 via the interface 21 based on the result of receiving navigation radio waves from a navigation satellite not shown.
  • the current position of the drive recorder DR is, in other words, the current position of the vehicle.
  • the acceleration sensor 15 detects the acceleration applied to the vehicle, for example, in the traveling direction, the left and right direction, and the vertical direction of the vehicle, and detects the acceleration data as the detection result through the interface 21.
  • the image processing unit 22 may generate a map image around the vehicle or a navigation image for guiding the vehicle to a destination based on the current position of the vehicle, road data, etc. .
  • the microphone 16 collects, for example, sound or voice of the own vehicle, for example, in the car, and outputs sound data as a result of the sound collection to the image processing unit 22 through the interface 21. At this time, the microphone 16 may be able to collect sounds or sounds outside the vehicle.
  • the vibration sensor 20 detects the vibration of a seat such as the driver's seat of the host vehicle.
  • the vehicle interface 17 acquires automatic driving data indicating the state of automatic driving control via an in-vehicle network such as CAN (Controller Area Network), for example, and outputs the automatic driving data to the image processing unit 22 via the interface 21.
  • the state of the automatic driving control is, for example, which of the acceleration, steering, and braking targets is under automatic driving control, or at which self-driven driving level automatic driving control is performed.
  • the image processing unit 22 performs automatic driving control indicating at least a part of the external image and the state of automatic driving control at the photographing time of the external image based on the imaging data and the automatic driving data and the like acquired respectively through the interface 21.
  • Display image data for simultaneously displaying the control state image is acquired.
  • the recording unit 23 records the display image data acquired by the image processing unit 22 in the memory SD.
  • the recording unit 23 records the display image data in the memory SD in a general-purpose format.
  • the general-purpose format is, for example, an MP4 (Moving Picture 4) format, an AVI (Audio video Interleave) format, an MOV format, or the like.
  • the image processing unit 22 and the recording unit 23 record audio data in the memory SD in synchronization with the corresponding display image data in parallel with the recording of the display image data in the memory SD.
  • the display image data and the audio data and the like recorded in the memory SD are displayed or reproduced by an external reproduction device (not shown) or the like, for example, at the time of post-testing of an accident or the like.
  • the recording process of display image data is started, for example, at the timing when the power of the drive recorder DR is turned on.
  • the image processing unit 22 first acquires imaging data via the interface 21.
  • the interface 21 functions as the image information acquisition unit 1 of the information recording apparatus S. That is, the interface 21 acquires imaging data of an external image captured by the camera 12 and outputs the imaging data to the image processing unit 22 (step S10).
  • the image processing unit 22 acquires automatic driving data and the like through the interface 21.
  • the autonomous driving data may be data indicating whether each operation of acceleration, steering and braking is automatic or manual, or may be data indicating an autonomous driving level.
  • the interface 21 functions as the automatic driving information acquisition unit 2 of the information recording device S. That is, the interface 21 acquires information on automatic driving data, current date and time, traveling speed, and current position of the vehicle via the vehicle interface 17 and outputs the information to the image processing unit 22 (step S20).
  • the image processing unit 22 performs processing such as generation of display image data to be recorded in the memory SD, based on the information acquired in steps S10 and S20.
  • the image processing unit 22 generates an automatic driving control state image indicating the current state of the automatic driving control based on the automatic driving data and the like. That is, the image processing unit 22 functions as the display information acquisition unit 3 of the information recording device S.
  • the image processing unit 22 indicates at least one of information indicating the situation in which the vehicle is placed, such as the current date and time, the traveling speed, and the current position of the vehicle.
  • the automatic driving control image may be generated.
  • the image processing unit 22 may generate display image data by embedding an automatic driving control state image indicating a state of automatic driving control at the shooting time of the external image in the external image by image combination, for example.
  • the image processing unit 22 may generate display image data including, as separate layers, an external image and an automatic driving control state image indicating a state of automatic driving control at the shooting time of the external image.
  • the image processing unit 22 temporarily stores the generated display image data in the RAM or the like of the processing unit 9 (step S30).
  • the recording unit 23 acquires a display image which is acquired for a predetermined time before and after the timing at which such an acceleration is detected and temporarily stored in the RAM or the like.
  • the data is recorded on the recording medium SD as recording information. That is, the recording unit 23 functions as the recording unit 4 of the information recording apparatus S.
  • the recording unit 23 may record the display image data in the memory SD when the automatic driving level changes.
  • step S50 determines whether or not the recording process of display image data according to the embodiment is ended by turning off the power of the drive recorder DR or the like.
  • step S50: YES the image processing unit 22 ends the process as it is.
  • step S50: NO the image processing unit 22 returns to step S10 and repeats each process described above.
  • the image 100 displayed by the reproduction apparatus described above using display image data includes an external image 110 and an automatic driving control state image 120.
  • the image 100 is generated by embedding the automatic driving control state image 120 in the external image 110.
  • the automatic driving control state image 120 shows whether each operation of acceleration, steering and braking is automatic or manual.
  • the autonomous driving control state image 120 may indicate an autonomous driving level.
  • the automatic driving control state image 120 may indicate a control target of which operation is automatic among acceleration, steering, and braking.
  • the automatic driving control state image 120 may indicate at least one of the current date and time, the traveling speed, and the latitude and longitude of the current position, in addition to indicating the state of the automatic driving control.
  • display and non-operation of automatic driving control state image 120 is performed based on the user's operation on the playback device. Switching of display may be possible.
  • the automatic driving control state image 120 is not displayed, the entire external image 110 is displayed. Thereby, it is possible to confirm a portion hidden by the automatic driving control state image 120 in the external image 110. Alternatively, the external image 110 and the automatic driving control state image 120 may be displayed separately.
  • the user can When the display operation is performed, the automatic driving control image 120 indicating the state of the automatic driving control at the photographing time of the external image 110 is displayed in an area different from the area of the external image 110.
  • At least a part of the external image based on the external image obtained by imaging the outside of the own vehicle from the own vehicle and the state of the automatic driving control of the own vehicle Display image data for simultaneously displaying the automatic driving control image showing the state of the automatic driving control at the imaging time of the external image is stored in the memory SD.
  • the display image data to be displayed on can be recorded in the memory SD.
  • the automatic driving state image indicates an object under automatic driving control among at least acceleration, steering, and braking of the host vehicle, it is easily confirmed which operation of acceleration, steering, or braking is automatic. can do.
  • the automatic driving state image indicates the automatic driving level
  • the recording medium on which the display data is recorded is not limited to the memory SD provided in the drive recorder DR or directly accessible by the drive recorder DR.
  • the recording medium may be a storage unit such as a hard disk provided in a server device (not shown) outside the host vehicle.
  • the drive recorder DR has a communication unit for performing wireless communication with the server device.
  • Drive recorder DR may be made to memorize in a storage part of a server apparatus by transmitting display image data to a server apparatus through a communication part triggered by having detected sudden braking of a self-vehicle, or an impact.
  • the communication unit of the drive recorder DR corresponds to the recording unit 4 of the information recording apparatus S. In such a mode, for example, by transmitting the display image data to the server device of the automobile insurance company, the automobile insurance company can more quickly determine the negligence rate when the accident occurs.
  • the automatic driving data indicating the state of the automatic driving control of the own vehicle is acquired through the vehicle interface 17.
  • information indicating the state of automatic driving control may be acquired by the methods described below. According to the modification described below, for example, information indicating the state of automatic driving control of the own vehicle can not be obtained directly from the own vehicle via the vehicle interface 17 by retrofitting the drive recorder DR to the own vehicle or the like. Even in this case, information indicating the state of automatic operation control can be acquired.
  • the interface 21 may acquire information indicating the state of automatic driving control based on the relationship between the driving operation performed by the driver of the host vehicle and the behavior of the host vehicle at the time of the driving operation.
  • the camera 12 includes an external camera that captures the outside of the host vehicle, and one or more indoor cameras that capture the interior of the host vehicle.
  • the indoor camera is installed indoors so as to provide an imaging range for steering and its surroundings, and an accelerator pedal and a brake pedal and their surroundings.
  • the image processing unit 22 analyzes the image captured by the indoor camera, and recognizes the driver's hands and feet from the image using pattern recognition. Then, the image processing unit 22 specifies the driving operation by the driver based on the movement of the recognized limb.
  • the image processing unit 22 compares, for example, the operation of depressing the accelerator pedal by the driver with the change in the longitudinal acceleration of the host vehicle detected by the acceleration sensor 15, and the operation of stepping on the accelerator pedal and the host vehicle It is determined whether or not there is a relationship between the change of the acceleration in the front-rear direction and the change of the acceleration in the front-rear direction. For example, when a positive acceleration occurs in the traveling direction of the host vehicle when the accelerator is depressed, it is determined that there is a relationship between the two. On the other hand, when no positive acceleration occurs in the traveling direction of the host vehicle when the accelerator is depressed, it is determined that there is no relationship between the two.
  • the image processing unit 22 determines that the control of acceleration is manually performed when the relationship is recognized, and determines that the control of acceleration is automatically performed when the relationship is not recognized. .
  • the image processing unit 22 detects the acceleration of the vehicle based on the change in the moving speed of an external feature (for example, a building, a telephone pole, a road surface, a traffic sign, a plant, etc.) captured by an external camera. You may calculate Alternatively, instead of the acceleration, the image processing unit 22 may compare the change in the speed of the host vehicle with the operation of depressing the accelerator pedal.
  • an external feature for example, a building, a telephone pole, a road surface, a traffic sign, a plant, etc.
  • the image processing unit 22 compares the steering operation by the driver with the change in the traveling direction of the host vehicle, is there any relation between the operation of the steering and the change in the traveling direction of the host vehicle? It is determined whether or not. For example, when the traveling direction of the host vehicle changes to the right when the steering is turned to the right by the driver, it is determined that there is a relationship between the two. Further, when the traveling direction of the vehicle changes to the left when the steering is turned left by the driver, it is determined that there is a relation between the two. On the other hand, when the traveling direction of the host vehicle changes even though the driver does not operate the steering, it is determined that there is no relationship between the two. The image processing unit 22 determines that steering control is manually performed when the relationship is recognized, and determines that steering control is automatically performed when the relationship is not recognized. .
  • the image processing unit 22 may specify a change in the traveling direction of the vehicle based on, for example, the acceleration in the left-right direction of the host vehicle detected by the acceleration sensor 15. For example, the image processing unit 22 determines that the traveling direction of the host vehicle has changed to the right when the acceleration in the right direction is generated, and the host vehicle proceeds in the left direction when the acceleration in the left direction is generated. Determine that it has changed. Alternatively, the image processing unit 22 may specify a change in the traveling direction of the vehicle based on the movement direction of the external feature captured by the external camera in the external image of the external feature. Alternatively, the drive recorder DR may be provided with an angular velocity sensor for detecting the rate of change of the traveling direction of the host vehicle. The change in the traveling direction of the host vehicle may be specified based on the angular velocity detected by the angular velocity sensor.
  • the image processing unit 22 compares, for example, the operation of depressing the brake pedal by the driver with the change in the longitudinal acceleration of the host vehicle detected by the acceleration sensor 15, and the operation of stepping on the brake pedal and the host vehicle It is determined whether or not there is a relationship between the change of the acceleration in the front-rear direction and the change of the acceleration in the front-rear direction. For example, when a negative acceleration occurs in the traveling direction of the host vehicle when the brake is depressed, it is determined that there is a relationship between the two. On the other hand, if no negative acceleration occurs in the traveling direction of the host vehicle when the accelerator is depressed, it is determined that there is no relationship between the two.
  • the image processing unit 22 determines that the control of braking is manually performed when the relationship is recognized, and determines that the control of braking is automatically performed when the relationship is not recognized. .
  • the image processing unit 22 may calculate the acceleration of the host vehicle from the change in the moving speed in the external image of the external feature captured by the external camera. Alternatively, the image processing unit 22 may compare the change in the speed of the host vehicle with the operation of depressing the brake pedal, instead of the acceleration.
  • the driver's driving operation is specified by analyzing the image captured by the indoor camera.
  • sensors may be installed on the steering and operation pedals.
  • the image processing unit 22 may specify the driving operation by the driver based on the output from the sensor.
  • an angular velocity sensor and a contact sensor are installed in the steering.
  • the image processing unit 22 causes the driver to operate the steering. It is determined that there is.
  • the image processing unit 22 determines the rotation direction of the steering based on the positive or negative of the angular velocity.
  • a load sensor is installed on the operation pedal. The image processing unit 22 determines that the driver depresses the operation pedal when the load detected by the load sensor increases.
  • At least one of the indoor camera of the camera 12, the microphone 16, and the vibration sensor 20 is a notification of a state of automatic driving control of the own vehicle, and a notice perceptible to a person in the room of the own vehicle can be It may be detected.
  • the state of automatic driving control is notified by the automatic driving control system.
  • This notification is perceptible to a person such as a driver in the room of the host vehicle (recognizable through stimulation to a sense).
  • Examples of the notification method include a display on an instrument panel provided in the room of the host vehicle, an output of notification sound from a speaker provided in the host vehicle, and vibration of a seat such as a steering wheel or a driver's seat.
  • the image processing unit 22 may determine the state of the automatic driving control based on the notification detected by the indoor camera of the camera 12, the microphone 16, or the vibration sensor 20.
  • the storage unit 10 may store, as an example of the type of mobile object, a notification mode corresponding to the vehicle type of the host vehicle for each state of the automatic driving control. Then, the image processing unit 22 may determine the state of the automatic driving control based on the comparison between the detected notification mode and the notification mode stored in the storage unit 10.
  • the instrument panel is provided with a display for displaying, for example, the state of automatic operation control.
  • An automatic driving level may be displayed on this display.
  • information may be displayed indicating whether each operation of acceleration, steering and braking is automatic or manual.
  • a control target whose operation is automatic may be displayed.
  • the indoor camera is installed indoors to set the display as an imaging range.
  • the indoor camera detects the display of the state of automatic driving control on the instrument panel as the above notification.
  • the image processing unit 22 acquires information indicating the state of the automatic driving control based on the imaging result by the indoor camera.
  • the image processing unit 22 analyzes the image captured by the indoor camera to acquire information indicating the state of the automatic driving control of the host vehicle displayed on the display.
  • the image processing unit 22 recognizes the state of the automatic driving control of the own vehicle displayed on the display from the image.
  • a feature amount of an image showing a display of an instrument panel corresponding to a vehicle type of the host vehicle may be stored in advance as a notification mode for each state of automatic driving control.
  • the image processing unit 22 compares the feature amount extracted from the captured image of the display of the instrument panel with the feature amount stored in the storage unit 10, so that the captured image is automatically detected. It may be determined whether it corresponds to the operation control state.
  • the display of the automatic control state on the instrument panel is always performed, this display may be performed discontinuously.
  • the display of the automatic control state is performed at least at the start of driving of the host vehicle and when the state of the automatic driving control changes.
  • the image processing unit 22 may determine that the state of the automatic driving control determined last time by the image processing unit 22 continues.
  • the automatic driving control system of the own vehicle causes the speaker provided on the instrument panel or the like of the own vehicle to intermittently output the notification sound indicating the automatic driving control state.
  • the notification sound is output at least at the start of driving of the host vehicle and at the time of change of the state of automatic driving control.
  • the notification sound may be, for example, a voice indicating an automatic driving level such as "the automatic driving level 2" or the like, or may be a buzzer sound corresponding to the automatic driving level such as "piping".
  • the microphone 16 detects an alarm sound indicating the state of the automatic driving control as the above-mentioned alarm by collecting the room sound of the host vehicle.
  • the image processing unit 22 acquires information indicating the state of automatic driving control based on the sound collection result of the notification sound by the microphone 16. Specifically, the image processing unit 22 determines the state of the automatic driving control based on the room sound collected by the microphone 16. For example, in the storage unit 10, a feature amount or the like of a notification sound corresponding to the vehicle type of the host vehicle may be stored in advance as a notification mode for each state of automatic driving control.
  • the image processing unit 22 compares, for example, the feature amount extracted from the collected alarm sound with the feature amount stored in the storage unit 10, so that any automatic driving control state of the collected alarm sound is detected. It may be determined whether it corresponds to
  • the image processing unit 22 may determine that the state of the automatic driving control determined last time by the image processing unit 22 continues.
  • a vibrator is provided to the seat such as the steering or driver's seat.
  • the autonomous driving control system of the host vehicle causes the steering or the seat to intermittently generate vibrations indicating the state of the autonomous driving control by driving the vibrator.
  • the steering or the seat vibrates at least at the start of driving of the host vehicle and when the state of automatic driving control changes.
  • the steering or seat vibrates in a manner corresponding to the automatic driving control state. For example, the length of time for which the vibration continues, the strength of the vibration, the pattern of the vibration, etc. correspond to the automatic driving control state.
  • the vibration sensor 20 detects a vibration indicating a state of steering or automatic operation control of a seat as the above notification.
  • the image processing unit 22 acquires information indicating the state of the automatic driving control based on the detection result of the vibration by the vibration sensor 20. Specifically, the image processing unit 22 determines the state of the automatic driving control based on the vibration detected by the vibration sensor 20. For example, in the storage unit 10, information indicating the mode of vibration of the steering or the seat corresponding to the vehicle type of the host vehicle may be stored in advance as the notification mode for each state of automatic driving control.
  • the image processing unit 22 compares the mode of the detected vibration with the mode of the vibration indicated by the information stored in the storage unit 10, for example, to which automatic driving control state the detected vibration corresponds May be determined.
  • the image processing unit 22 may determine that the state of the automatic driving control determined last time by the image processing unit 22 continues.
  • the image processing unit 22 determines whether the state of the automatic driving control has been detected (step S110). For example, the image processing unit 22 may use the feature amount of the image of the instrument panel captured by the indoor camera and the feature amount of the image of the state of automatic driving control by the instrument panel stored in the storage unit 10. If it is determined that the state of automatic operation control is displayed on the instrument panel based on the comparison with the above, it is determined that the state of automatic operation control is detected. Alternatively, the image processing unit 22 may notify the user of the room sound collected based on the comparison between the feature amount of the room sound collected by the microphone 16 and the feature amount of the notification sound stored in the storage unit 10. If it is determined that the state of the automatic driving control is detected.
  • the image processing unit 22 determines that the state of the automatic driving control is detected. If the state of the automatic driving control is detected, the image processing unit 22 advances the process to step S120. In addition, when the display of the state of the automatic driving
  • step S120 the image processing unit 22 determines the state of the automatic driving control based on the detected notification. For example, in the case of the display by the instrument panel, the image processing unit 22 determines the state of the automatic driving control based on the comparison of the feature amounts of the image executed in step S110. In the case of the notification sound, the image processing unit 22 determines the state of the automatic driving control based on the comparison of the feature amounts of the sound performed in step S110. In the case of vibration, the image processing unit 22 determines the state of automatic driving control based on the comparison between the mode of vibration detected by the vibration sensor and the information indicating the mode of vibration stored in the storage unit 10. The image processing unit 22 acquires information indicating the determined state of automatic driving control as information for generating display image data to be recorded in the memory SD. Further, the image processing unit 22 temporarily stores information indicating the determined state of automatic driving control in the RAM or the like.
  • step S130 the image processing unit 22 determines that the state of the automatic driving control determined previously is continuing. Then, the image processing unit 22 acquires information indicating the state of automatic driving control temporarily stored in the RAM as information for generating display image data.
  • step S120 or S130 the image processing unit 22 ends the process of acquiring information indicating the state of automatic driving control, and advances the process to step S30 shown in FIG.
  • steps S30 and S40 shown in FIG. 3 the display image data is generated and recorded, whereby the state of the automatic driving control determined by the image processing unit 22, the current date and time, the position of the own vehicle, and the external image data Is recorded as recording information.
  • the interface 21 may obtain status information on at least one of the current date, the position of the vehicle, and the external image data. Then, the interface 21 acquires the state of the automatic driving control determined by the image processing unit 22 when the state information is acquired, and the recording unit 23 acquires the acquired state information and the acquired state of the automatic driving control. And recording information including the information may be recorded in the memory SD.
  • the notification of the state of the automatic driving control of the own vehicle is detected and detected in the room that can be perceived by the person in the room of the own vehicle. Since the state of the automatic driving control is determined based on the notification, it is possible to determine the state of the automatic driving control without directly acquiring information indicating the automatic driving state from the host vehicle.
  • operation control can be determined based on an alerting
  • the state of automatic driving control can be determined based on a vibration.
  • the notification of the state of the automatic driving control is not detected and the notification of the state of the automatic driving control determined last time is determined to be continuing, the notification is not detected. Even when the operation is continuously performed, the state of the automatic driving control can be appropriately determined.
  • the state of the automatic driving control may be easily determined. it can.
  • the situation in which the host vehicle is placed may be checked after the state of automatic driving control of the host vehicle. it can.

Abstract

移動体の外部の状況等を事後的に確認する場合等において、移動体の自動運転制御の状態と共に当該状況等を確認等することができるように画像等を記録する。　移動体の外部を移動体から撮像した外部画像に相当する外部画像情報を取得し、移動体の自動運転制御の状態を示す自動運転情報を取得し、外部画像情報及び自動運転情報に基づいて、外部画像の少なくとも一部と、外部画像の撮影時刻における移動体の自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得し、表示用情報を記録媒体に記録させる。

Description

情報記録装置、情報記録方法、及び情報記録用プログラム
　本願は、自動運転が可能な移動体が置かれていた状況を示す情報、例えば移動体の外部を撮影した画像等を記録媒体に記録させる情報記録装置の技術分野に属する。
　近年、例えば車両による移動中に事故等が発生した際の状況等を後から検証する等の目的に供させるべく、移動中の例えば車両の前方を撮像して記録するための、いわゆるドライブレコーダが一般化している。
　当該検証に用いられる画像を撮像するドライブレコーダに関する先行技術としては、例えば下記特許文献１に記載されている先行技術がある。この先行技術においては、事故が発生したか否かを判断する際の閾値を車両の加速度が越えた場合、事故発生前に撮像された所定時間分の映像に対して、当該撮像時刻と同じ時刻に取得された高度データ及び勾配データを重畳して画像メモリに記録する構成とされている。
　一方、特許文献２には、車両の各自動運転機能又は各自動運転レベルから車両の周囲の状況及び車両の運転状況の少なくとも一方に応じた自動運転機能又は自動運転レベルを自動的に選択し、車両の運転操作の一部又は全部を自動的に実施し、自動運転中の時刻とその時刻において選択された自動運転機能又は自動運転レベルとを記憶する自動運転システムが開示されている。
特開２０１３－２０６４１７号公報 国際公開第２０１６／０８００７０号パンフレット
　特許文献１に開示された技術により記録された映像は、事故車又はその運転者の過失責任分担の判定には有益である。その一方で、自動運転が可能な車両においては、自動運転中に事故が発生する場合がある。このような場合には、自動運転による運転操作が事故の原因となる場合があり、このことが運転者の過失の割合に影響を与えることがあり得る。しかしながら、特許文献１に開示された技術では、記録された映像からは、ドライバによる運転操作に事故原因があるのか、又は自動運転による運転操作に事故原因があるのかを判断することができない。
　一方、特許文献２に開示された技術によれば、車両に事故や故障等が発生した場合に、その時点で如何なる自動運転機能又は自動運転レベルが選択されていたかを事後的に把握することはできる。しかしながら、このようなことが可能となるのは、車両自体に、選択された自動運転機能又は自動運転レベルを記憶することが可能なシステムが予め組み込まれているからである。車両に情報記録装置を後付けするような場合には、選択された自動運転機能又は自動運転レベルを車両から情報記録装置が直接取得することが困難な場合がある。
　本願は、以上の点に鑑みてなされたものであり、その課題の一例は、移動体の外部の状況等を事後的に確認する場合等において、移動体の自動運転制御の状態と共に当該状況等を確認等することができるように画像等を記録することが可能な情報記録装置及び情報記録方法並びに当該情報記録装置用のプログラムを提供することにある。
　上記課題を解決するために、請求項１に記載の発明は、移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する画像情報取得手段と、前記移動体の自動運転制御の状態を示す自動運転情報を取得する自動運転情報取得手段と、前記外部画像情報及び前記自動運転情報に基づいて、前記外部画像の少なくとも一部と、前記外部画像の撮影時刻における前記自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得する表示用情報取得手段と、前記表示用情報を記録媒体に記録させる記録制御手段と、を備える情報記録装置であることを特徴とする。
　請求項１０に記載の発明は、コンピュータにより実行される情報記録方法において、移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する外部画像情報取得工程と、前記移動体の自動運転制御の状態を示す自動運転情報を取得する自動運転情報取得工程と、前記外部画像情報及び前記自動運転情報に基づいて、前記外部画像の少なくとも一部と、前記外部画像の撮影時刻における前記自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得する表示用情報取得工程と、を含むことを特徴とする。
　請求項１１に記載の発明は、コンピュータを、前記情報記録装置として機能させる情報記録装置用のプログラムであることを特徴とする。
実施形態に係る情報記録装置の概要構成の一例を示すブロック図である。 実施例に係るドライブレコーダの概要構成の一例を示すブロック図である。 実施例に係るドライブレコーダにおける表示画像データの記録処理の一例を示すフローチャートである。 実施例に係るドライブレコーダによる記録処理により記録される画像を例示する図である。 変形例に係るドライブレコーダにおける自動運転制御の状態の取得処理の一例を示すフローチャートである。
　先ず、本願を実施するための形態について、図１を用いて説明する。図１は、実施形態に係る情報記録装置の概要構成の一例を示すブロック図である。
　図１に示すように、実施形態に係る情報記録装置Ｓは、画像情報取得手段１と、自動運転情報取得手段２と、表示用情報取得手段３と、記録媒体ＳＤに接続される記録手段４と、を備えて構成されている。
　この構成において画像情報取得手段１は、移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する。移動体の例として、車両、自動二輪車、自転車、航空機、及び船舶等が挙げられる。
　自動運転情報取得手段２は、上記移動体の自動運転制御の状態を示す自動運転情報を取得する。
　表示用情報取得手段３は、画像情報取得手段１により取得された外部画像情報及び自動運転情報取得手段２により取得された自動運転情報に基づいて、外部画像の少なくとも一部と、外部画像の撮影時刻における移動体の自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得する。
　記録手段４は、表示用情報取得手段３により取得された表示用情報を記録媒体に記録させる。
　以上説明したように、実施形態に係る情報記録装置Ｓの動作によれば、移動体から外部を撮像した外部画像に相当する外部画像情報と、自動運転制御の状態を示す自動運転情報と、に基づいて、外部画像の少なくとも一部と、外部画像の撮影時刻における移動体の自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得し、該表示用情報を記録媒体ＳＤに記録させる。よって、移動体の外部の状況等を事後的に確認する場合等において、移動体の自動運転制御の状態と共に当該状況等を確認等することができるように画像等を記録することができる。
　次に、上述した実施形態に対応する具体的な実施例について、図２乃至図４を用いて説明する。なお以下に説明する実施例は、車両に搭載されたドライブレコーダにおける画像データ等の記録処理に対して実施形態を適用した場合の実施例である。図２は、実施例に係るドライブレコーダの概要構成の一例を示すブロック図である。図３は、実施例に係るドライブレコーダにおける表示画像データの記録処理の一例を示すフローチャートである。図４は、実施例に係るドライブレコーダによる記録処理により記録される画像を例示する図である。
　実施例に係るドライブレコーダは、当該ドライブレコーダが搭載されている車両の前方風景を撮影可能に、当該車両の室内に設置される。なお以下の説明において、実施例に係るドライブレコーダが用いられる車両を、単に「自車両」と称する。自車両は、自動運転対応した車両である。自車両に搭載された自動運転制御システムにより、自車両の加速、操舵及び制動の少なくとも何れか１つの自動操作が行われる。自車両は、複数の自動運転レベルに対応している。複数の自動運転レベルは、例えば以下の通りに定義される。
　レベル０：加速、操舵及び制動の全ての操作をドライバが行う状態である。
　レベル１：加速、操舵及び制動の何れか１つの操作を自動運転制御システムが行う状態である。
　レベル２：加速、操舵及び制動のうち何れか２つの操作を自動運転制御システムが行う状態である。
　レベル３：加速、操舵及び制動の全ての操作を自動運転制御システムが行い、自動運転制御システムが要請した場合にドライバが操作を行う状態である。
　レベル４：加速、操舵及び制動の全ての操作を自動運転制御システムが行い、ドライバは運転には全く関与しない状態である。
　なお、自動運転レベルの定義は、上述したレベル０～４に限定されるものではない。また、自動運転レベルの数は５段階に限定されるものではない。
　実施例に係るドライブレコーダＤＲは、図２に示すように、操作ボタンやタッチパネル等からなる操作部１１、種々の情報を出力するディスプレイ１８及び必要な操作案内音声等を放音するスピーカ１９を備えている。これらに加えて実施例に係るドライブレコーダＤＲは、ＣＰＵ、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等からなり且つドライブレコーダＤＲ全体を制御してその機能を発揮させる処理部９と、ＳＳＤ（Solid State Drive）等からなる記憶部１０と、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）撮像素子等からなるカメラ１２と、ＳＳＤ等からなる地図データ記録部１３と、ＧＰＳ（Global Positioning Sensor）センサ１４と、加速度センサ１５と、マイク１６と、車両インターフェース１７と、振動センサ２０と、例えば着脱式のＳＤ（Secure Digital）カード等であるメモリＳＤと、カメラ１２、地図データ記録部１３、ＧＰＳセンサ１４、加速度センサ１５、マイク１６、車両インターフェース１７及び振動センサ２０と処理部９とを接続するインターフェース２１と、により構成されている。また処理部９は、画像処理部２２と、記録部２３と、により構成されている。これら画像処理部２２及び記録部２３は、処理部９を構成する上記ＣＰＵ等を含むハードウェアロジック回路により実現されてもよいし、後述する実施例に係る表示画像データの記録処理に相当するプログラムを当該ＣＰＵが読み出して実行することにより、ソフトウェア的に実現されるものであってもよい。
　このとき、インターフェース２１が実施形態に係る画像情報取得手段１の一例及び自動運転情報取得手段２の一例にそれぞれ相当し、画像処理部２２が実施形態に係る表示用情報取得手段３の一例に相当する。また、記録部２３が実施形態に係る情報記録装置Ｓの記録手段４の一例に相当し、メモリＳＤが実施形態に係る記録媒体ＳＤの一例に相当する。そして、インターフェース２１、画像処理部２２及び記録部２３により、実施形態に係る情報記録装置Ｓの一例を構成している。
　以上の構成において操作部１１は、ドライブレコーダＤＲの一部に操作ボタンやタッチパネル等により構成されており、使用者による操作を受け付けて当該操作に対応する操作信号を処理部９に出力する。またディスプレイ１８は、処理部９の制御の下、ドライブレコーダＤＲの機能として使用者に提示すべき情報を、例えば画像又はアイコン等を用いて表示する。更にスピーカ１９は、処理部９の制御の下、ドライブレコーダＤＲの機能発揮のために必要な操作案内音声等を放音する。
　次にカメラ１２は自車両の外部を撮像する。例えばカメラ１２は、自車両の移動方向前方を含む周囲をその撮像範囲としている。そしてカメラ１２は、当該撮像範囲内を撮像した外部画像に相当する撮像データを生成し、インターフェース２１を介して処理部９の画像処理部２２に出力する。実施例においてこの外部画像は動画像であるが、外部画像は静止画であってもよい。一方地図データ記録部１３は、地図データとして、一般的な道路データや交差点データを記録している。地図データ記録部１３は、画像処理部２２からの要求に応じて、インターフェース２１を介して道路データ等の地図データを画像処理部２２に出力する。
　一方ＧＰＳセンサ１４は、図示しない航法衛星からの航法電波を受信した結果に基づいて、ドライブレコーダＤＲの現在位置を示す位置データを、インターフェース２１を介して画像処理部２２に出力する。ここで当該ドライブレコーダＤＲの現在位置は、換言すれば自車両の現在位置でもある。次に加速度センサ１５は、自車両に印加される加速度を、例えば自車両の進行方向、左右方向及び鉛直方向についてそれぞれ検出し、その検出結果としての加速度データを、インターフェース２１を介して画像処理部２２に出力する。画像処理部２２は、自車両の現在位置と道路データ等に基づいて、自車両周辺の地図画像や自車両を目的地に誘導するためのナビゲーション画像を生成してディスプレイ１８に出力してもよい。
　他方マイク１６は、自車両の例えば車内の音又は音声を集音し、その集音結果としての音声データを、インターフェース２１を介して画像処理部２２に出力する。このとき、マイク１６が自車両の車外の音又は音声を集音できるものであってもよい。振動センサ２０は、自車両の運転席等の座席の振動を検出する。そして車両インターフェース１７は、例えばＣＡＮ（Controller Area Network）等の車内ネットワークを介して、自動運転制御の状態を示す自動運転データを取得し、インターフェース２１を介して画像処理部２２に出力する。自動運転制御の状態とは、例えば加速、操舵及び制動のうち何れの制御対象が自動運転制御下にあるか、或いは何れの自度運転レベルにて自動運転制御が行われているかである。
　画像処理部２２は、インターフェース２１を介してそれぞれ取得された撮像データ及び自動運転データ等に基づいて、外部画像の少なくとも一部と、この外部画像の撮影時刻における自動運転制御の状態を示す自動運転制御状態画像とを同時に表示するための表示画像データを取得する。記録部２３は、画像処理部２２により取得された表示画像データをメモリＳＤに記録させる。この場合に記録部２３は、当該表示画像データを汎用のフォーマットによりメモリＳＤに記録する。なお汎用のフォーマットとは、例えば、ＭＰ４（Moving Picture 4）フォーマット、ＡＶＩ（Audio video Interleave）フォーマット又はＭＯＶフォーマット等である。また画像処理部２２及び記録部２３は、表示画像データのメモリＳＤへの記録と並行して、対応する表示画像データに同期させて音声データをメモリＳＤに記録する。そしてメモリＳＤに記録された表示画像データ及び音声データ等は、例えば事故等の事後検証等時に、外部の図示しない再生装置等により表示又は再生される。
　次に、上述した構成を備える実施例に係るドライブレコーダＤＲにおいて画像処理部２２を中心として実行される、実施例に係る表示画像データの記録処理について、図３を用いて説明する。
　表示画像データの記録処理は、例えば、ドライブレコーダＤＲの電源がオンされたタイミングで開始される。
　画像処理部２２は、初めに、インターフェース２１を介して撮像データを取得する。このとき、インターフェース２１は、情報記録装置Ｓの画像情報取得手段１として機能する。すなわち、インターフェース２１は、カメラ１２により撮影された外部画像の撮像データを取得して画像処理部２２へ出力する（ステップＳ１０）。
　次いで、画像処理部２２は、インターフェース２１を介して自動運転データ等を取得する。自動運転データは、加速、操舵及び制動のそれぞれの操作が自動及び手動の何れであるかを示すデータであってもよいし、自動運転レベルを示すデータであってもよい。このとき、インターフェース２１は、情報記録装置Ｓの自動運転情報取得手段２として機能する。すなわち、インターフェース２１は、車両インターフェース１７を介して自動運転データ、現在日時、走行速度、及び自車両の現在位置の情報を取得して画像処理部２２へ出力する（ステップＳ２０）。
　次いで、画像処理部２２は、ステップＳ１０及びＳ２０で取得された情報に基づいて、メモリＳＤに記録する表示画像データの生成処理等を行う。例えば、画像処理部２２は、自動運転データ等に基づいて、現在の自動運転制御の状態を示す自動運転制御状態画像を生成する。すなわち、画像処理部２２は、情報記録装置Ｓの表示用情報取得手段３として機能する。画像処理部２２は、自動運転制御の状態に加えて、現在日時、走行速度、及び自車両の現在位置等の、自車両が置かれている状況を示す情報の少なくとも何れか１つを示すように、自動運転制御画像を生成してもよい。画像処理部２２は、例えば画像合成により外部画像内に、この外部画像の撮影時刻における自動運転制御の状態を示す自動運転制御状態画像を埋め込むことで表示画像データを生成してもよい。或いは、画像処理部２２は、外部画像と、この外部画像の撮影時刻における自動運転制御の状態を示す自動運転制御状態画像とを別々のレイヤとして含む表示画像データを生成してもよい。画像処理部２２は、生成した表示画像データを一時的に処理部９のＲＡＭ等に記憶する（ステップＳ３０）。
　そして、記録部２３は、加速度センサ１５が所定値より大きい加速度を検出した場合、このような加速度が検出されたタイミングの前後所定時間に取得されて一時的にＲＡＭ等に記憶されていた表示画像データを、記録情報として記録媒体ＳＤに記録させる。すなわち、記録部２３は、情報記録装置Ｓの記録手段４として機能する。所定値より大きい加速度を検出した場合、自車両の急制動が行われたり自車両に衝撃が加わったりした蓋然性がある。所定値より大きい加速度が検出されていない場合は、記録媒体ＳＤへの記録は行われない（ステップＳ４０）。なお、記録部２３は、所定値より大きい加速度が検出された場合に加えて、自動運転レベルが変化した場合に表示画像データをメモリＳＤに記録させてもよい。
　その後画像処理部２２は、ドライブレコーダＤＲの上記電源がオフとされる等により実施例に係る表示画像データの記録処理を終了するか否かを判定する（ステップＳ５０）。ステップＳ５０の判定において当該記録処理を終了する場合（ステップＳ５０：ＹＥＳ）、画像処理部２２は、そのまま当該処理を終了する。一方ステップＳ５０の判定において、当該記録処理を継続する場合（ステップＳ５０：ＮＯ）、画像処理部２２は上記ステップＳ１０に戻って、上述してきた各処理を繰り返す。
　次に、図３を用いて説明した実施例に係る表示画像データの記録処理の結果としてメモリＳＤに記録される表示画像データを用いて表示される画像について、図４を用いて説明する。図４に示すように、表示画像データを用いて上述した再生装置により表示される画像１００は、外部画像１１０及び自動運転制御状態画像１２０を含む。例えば画像１００は、自動運転制御状態画像１２０が外部画像１１０内に埋め込まれて生成される。図４において、自動運転制御状態画像１２０は、加速、操舵及び制動のそれぞれの操作が自動及び手動の何れであるかを示す。しかしながら、自動運転制御状態画像１２０は、自動運転レベルを示してもよい。或いは、自動運転制御状態画像１２０は、加速、操舵及び制動のうち操作が自動である制御対象を示してもよい。自動運転制御状態画像１２０は、自動運転制御の状態を示すことに加えて、現在日時、走行速度、及び現在位置の経緯度等の少なくとも何れか１つを示してもよい。また、外部画像と自動運転制御状態画像とを別々のレイヤとして含む表示画像データを用いて画像１００を表示する場合、再生装置に対するユーザの操作に基づいて、自動運転制御状態画像１２０の表示及び非表示の切り替えが可能であってもよい。自動運転制御状態画像１２０が非表示であるとき、外部画像１１０全体が表示される。これによって、外部画像１１０内において自動運転制御状態画像１２０によって隠れていた部分の確認が可能である。或いは、外部画像１１０と自動運転制御状態画像１２０とが別々に表示されてもよい。例えば、再生装置の画面に外部画像１１０を表示するための領域と自動運転制御状態画像１２０を表示するための領域がそれぞれ設定されており、外部画像１１０が表示されているとき、ユーザが所定の表示操作を行うと、この外部画像１１０の撮影時刻における自動運転制御の状態を示す自動運転制御画像１２０が、外部画像１１０の領域とは別の領域に表示される。
　以上説明したように、実施例に係る動作によれば、自車両の外部を自車両から撮像した外部画像と、自車両の自動運転制御の状態と、に基づき、外部画像の少なくとも一部と、外部画像の撮像時刻における自動運転制御の状態を示す自動運転制御画像とを同時に表示するための表示画像データをメモリＳＤに記録するので、自車両の外部の状況等を事後的に確認する場合等において、自車両の自動運転制御の状態と共に当該状況等を確認等することができるように画像等を記録することができる。
　また、自動運転状態画像を外部画像内に埋め込むことにより生成される画像に相当する表示画像データを取得する場合には、自動運転制御の状態と外部の状況等とを容易に対応付けて確認可能に表示するための表示画像データをメモリＳＤに記録することができる。
　また、自動運転状態画像が、少なくとも自車両の加速、操舵及び制動のうち自動運転制御下にある対象を示す場合には、加速、操舵及び制動の何れの操作が自動であるかを容易に確認することができる。
　また、自動運転状態画像が自動運転レベルを示す場合には、如何なる自動運転レベルで自動運転制御が行われていたかを容易に確認することができる。
　また、メモリＳＤへの表示画像データの記録が汎用のフォーマットを用いて行われる場合には、表示画像データ自体の再生又は表示における汎用性を高めることができる。
　なお、表示データが記録される記録媒体は、ドライブレコーダＤＲに備えられ又はドライブレコーダＤＲが直接アクセス可能なメモリＳＤに限定されるものではない。例えば、記録媒体は、自車両の外部にある図示せぬサーバ装置が備えるハードディスク等の記憶部であってもよい。例えば、ドライブレコーダＤＲは、サーバ装置と無線通信を行うための通信部を有する。ドライブレコーダＤＲは、自車両の急制動や衝撃を検出したこと等を契機として、通信部を通じて表示画像データをサーバ装置に送信することにより、サーバ装置の記憶部に記憶させてもよい。この場合、ドライブレコーダＤＲの通信部が情報記録装置Ｓの記録手段４に相当する。このような形態では、例えば表示画像データを自動車保険会社のサーバ装置に送信することで、自動車保険会社は、事故発生時に過失割合をより迅速に決定することができる。
　［変形例］
　上記実施例では、車両インターフェース１７を介して自車両の自動運転制御の状態を示す自動運転データを取得していた。しかしながら、以下にそれぞれ説明する方法で自動運転制御の状態を示す情報が取得されてもよい。以下に説明する変形例によれば、例えばドライブレコーダＤＲを自車両に後付けすること等により自車両の自動運転制御の状態を示す情報を自車両から車両インターフェース１７を介して直接取得することができない場合であっても、自動運転制御の状態を示す情報を取得することができる。
　［変形例１］
　インターフェース２１は、自車両のドライバにより行われた運転操作とこの運転操作時の自車両の挙動との関係性に基づいて、自動運転制御の状態を示す情報を取得してもよい。
　例えば、カメラ１２は、自車両の外部を撮像する外部用カメラと、自車両の室内を撮像する１又は複数の室内カメラを含む。室内カメラは、ステアリングとその周辺、並びにアクセルペダル及びブレーキペダルとそれらの周辺を撮像範囲となるように室内に設置される。画像処理部２２は、室内カメラにより撮影された画像を解析して、パターン認識を用いて画像からドライバの手足を認識する。そして、画像処理部２２は、認識された手足の移動に基づいてドライバによる運転操作を特定する。
　（１）加速
　画像処理部２２は、例えばドライバによるアクセルペダルを踏み込む操作と、加速度センサ１５により検出された自車両の前後方向の加速度の変化とを比較して、アクセルペダルを踏み込む操作と自車両の前後方向の加速度の変化とに関係性が認められるか否かを判定する。例えば、アクセルが踏み込まれたときに自車両の進行方向に正の加速度が生じた場合、両者に関係性があると判定される。一方、アクセルが踏み込まれたときに自車両の進行方向に正の加速度が生じなかった場合、両者に関係性がないと判定される。或いは、アクセルが踏み込まれていないのにもかかわらず、自車両の進行方向に正の加速度が生じた場合、両者に関係性がないと判定される。画像処理部２２は、関係性が認められる場合には加速の制御が手動で行われていると判定し、関係性が認められない場合には加速の制御が自動で行われていると判定する。
　画像処理部２２は、外部用カメラにより撮像された外部の地物（例えば建造物、電柱、路面の塗装、交通標識、植物等）の外部画像内での移動速度の変化から、自車両の加速度を計算してもよい。或いは、画像処理部２２は、加速度に代えて、自車両の速度の変化を、アクセルペダルを踏み込む操作と比較してもよい。
　（２）操舵
　画像処理部２２は、例えばドライバによるステアリングの操作と、自車両の進行方向の変化とを比較して、ステアリングの操作と自車両の進行方向の変化とに関係性が認められるか否かを判定する。例えば、ステアリングがドライバにより右回転させられたときに自車両の進行方向が右方向に変化した場合、両者に関係性があると判定される。また、ステアリングがドライバにより左回転させられたときに自車両の進行方向が左方向に変化した場合、両者に関係性があると判定される。一方、ドライバがステアリングを操作していないのにもかかわらず、自車両の進行方向が変化した場合、両者に関係性がないと判定される。画像処理部２２は、関係性が認められる場合には操舵の制御が手動で行われていると判定し、関係性が認められない場合には操舵の制御が自動で行われていると判定する。
　画像処理部２２は、例えば加速度センサ１５により検出される自車両の左右方向の加速度に基づいて、車両の進行方向の変化を特定してもよい。例えば、画像処理部２２は、右方向の加速度が生じた場合は自車両の進行方向が右方向に変化したと判定し、左方向の加速度が生じた場合は自車両の進行方向が左方向に変化したと判定する。或いは、画像処理部２２は、外部用カメラにより撮像された外部の地物の外部画像内での移動方向に基づいて、自車両の進行方向の変化を特定してもよい。或いは、自車両の進行方向の変化速度を検出するための角速度センサがドライブレコーダＤＲに備えられてもよい。角速度センサにより検出される角速度に基づいて、自車両の進行方向の変化を特定してもよい。
　（３）制動
　画像処理部２２は、例えばドライバによるブレーキペダルを踏み込む操作と、加速度センサ１５により検出された自車両の前後方向の加速度の変化とを比較して、ブレーキペダルを踏み込む操作と自車両の前後方向の加速度の変化とに関係性が認められるか否かを判定する。例えば、ブレーキが踏み込まれたときに自車両の進行方向に負の加速度が生じた場合、両者に関係性があると判定される。一方、アクセルが踏み込まれたときに自車両の進行方向に負の加速度が生じなかった場合、両者に関係性がないと判定される。或いは、ブレーキが踏み込まれていないのにもかかわらず、自車両の進行方向に負の加速度が生じた場合、両者に関係性がないと判定される。画像処理部２２は、関係性が認められる場合には制動の制御が手動で行われていると判定し、関係性が認められない場合には制動の制御が自動で行われていると判定する。
　画像処理部２２は、外部用カメラにより撮像された外部の地物の外部画像内での移動速度の変化から、自車両の加速度を計算してもよい。或いは、画像処理部２２は、加速度に代えて、自車両の速度の変化を、ブレーキペダルを踏み込む操作と比較してもよい。
　本実施例においては、室内カメラにより撮像された画像を解析することによって、ドライバによる運転操作が特定されていた。しかしながら、室内カメラに代えて、ステアリング及び操作ペダルにセンサが設置されてもよい。そして、画像処理部２２は、センサからの出力に基づいて、ドライバによる運転操作を特定してもよい。例えば、ステアリングに角速度センサ及び接触センサが設置される。接触センサによりドライバがステアリングに接触していることが検出されている状態で、角速度センサによりステアリングに角速度が生じていることが検出されたとき、画像処理部２２は、ドライバがステアリングを操作していると判定する。このとき、画像処理部２２は、角速度の正負に基づいてステアリングの回転方向を判定する。また、操作ペダルには荷重センサが設置される。画像処理部２２は、荷重センサにより検出される荷重が増大した場合には、ドライバが操作ペダルを踏み込んだと判定する。
　［変形例２］
　カメラ１２の室内カメラ、マイク１６及び振動センサ２０の少なくとも何れか１つは、自車両の自動運転制御の状態の報知であって、自車両の室内にいる人が知覚可能な報知をその室内で検出してもよい。自車両の室内において、自動運転制御システムにより自動運転制御の状態が報知される。この報知は、自車両の室内にいるドライバ等の人が知覚可能（感覚器への刺激を通じて認識可能）なものである。報知の方法の例として、自車両の室内に備えられるインスツルメントパネルにおける表示、自車両に備えられるスピーカからの報知音の出力、及びステアリング又は運転席等の座席の振動が挙げられる。
　画像処理部２２は、カメラ１２の室内カメラ、マイク１６又は振動センサ２０により検出された報知に基づいて、自動運転制御の状態を判定してもよい。
　ここで、記憶部１０に、自動運転制御の状態ごとに、移動体の種類の例として自車両の車種に対応した報知の態様が記憶されもよい。そして、画像処理部２２は、検出された報知の態様と、記憶部１０に記憶された報知の態様との比較に基づいて、自動運転制御の状態を判定してもよい。
　（１）インスツルメントパネルの表示
　インスツルメントパネルに、例えば自動運転制御の状態を表示するためのディスプレイが備えられる。このディスプレイに、自動運転レベルが表示されてもよい。或いは、加速、操舵及び制動のそれぞれの操作が自動であるか手動であるかを示す情報が表示されてもよい。或いは、加速、操舵及び制動のうち操作が自動である制御対象が表示されてもよい。
　室内カメラは、上記ディスプレイを撮像範囲とするように室内に設置される。室内カメラは、インスツルメントパネルにおける自動運転制御の状態の表示を、上記報知として検出する。画像処理部２２は、室内カメラによる撮像結果に基づいて、自動運転制御の状態を示す情報を取得する。具体的に、画像処理部２２は、室内カメラにより撮像された画像を解析することにより、ディスプレイに表示されている自車両の自動運転制御の状態を示す情報を取得する。具体的に、画像処理部２２は、画像中から、ディスプレイに表示されている自車両の自動運転制御の状態を認識する。例えば、記憶部１０には、報知の態様として、自動運転制御の状態ごとに、自車両の車種に対応したインスツルメントパネルの表示を示す画像の特徴量等が予め記憶されてもよい。画像処理部２２は、例えば撮像されたインスツルメントパネルの表示の画像から抽出された特徴量と、記憶部１０に記憶された特徴量とを比較することにより、撮像された画像が何れの自動運転制御状態に対応するかを判定してもよい。
　インスツルメントパネルにおける自動制御状態の表示は常時行われるが、この表示が非継続的に行われてもよい。例えば、少なくとも自車両の運転開始時及び自動運転制御の状態の変化時に、自動制御状態の表示が行われる。自動制御状態の表示が行われていないときに自動運転制御の状態を判定する必要がある。例えば、画像処理部２２は、室内カメラにより自動制御状態の表示が検出されていないとき、画像処理部２２により前回判定された自動運転制御の状態が継続していると判定してもよい。
　（２）報知音
　自車両の自動運転制御システムは、自車両のインスツルメントパネル等に備えられたスピーカにより、自動運転御状態を示す報知音を非継続的に出力させる。例えば、少なくとも自車両の運転開始時及び自動運転制御の状態の変化時に報知音が出力される。報知音は、例えば「自動運転レベル２です。」等といった自動運転レベルを示す音声であってもよいし、例えば「ピッピッ」等といった自動運転レベルに対応したブザー音等であってもよい。
　マイク１６は、自車両の室内音を集音することにより、自動運転制御の状態を示す報知音を、上記報知として検出する。画像処理部２２は、マイク１６による報知音の集音結果に基づいて、自動運転制御の状態を示す情報を取得する。具体的に、画像処理部２２は、マイク１６により集音された室内音に基づいて、自動運転制御の状態を判定する。例えば、記憶部１０には、報知の態様として、自動運転制御の状態ごとに、自車両の車種に対応した報知音の特徴量等が予め記憶されてもよい。画像処理部２２は、例えば集音された報知音から抽出された特徴量と、記憶部１０に記憶された特徴量とを比較することにより、集音された報知音が何れの自動運転制御状態に対応するかを判定してもよい。
　報知音は非継続的に出力されることから、報知音が出力されていないときにも自動運転制御の状態を判定する必要がある。例えば、画像処理部２２は、マイク１６により報知音が検出されていないとき、画像処理部２２により前回判定された自動運転制御の状態が継続していると判定してもよい。
　（３）ステアリング又は座席の振動
　ステアリング又は運転席等の座席にバイブレータが備えられる。自車両の自動運転制御システムは、バイブレータを駆動することにより、ステアリング又は座席に、自動運転制御の状態を示す振動を非継続的に生じさせる。例えば、少なくとも自車両の運転開始時及び自動運転制御の状態の変化時にステアリング又は座席が振動する。自動運転御状態に対応した態様でステアリング又は座席が振動する。例えば、振動が継続する時間長、振動の強さ、振動のパターン等が自動運転御状態に対応する。
　振動センサ２０は、ステアリング又は座席の自動運転制御の状態を示す振動を、上記報知として検出する。画像処理部２２は、振動センサ２０による振動の検出結果に基づいて、自動運転制御の状態を示す情報を取得する。具体的に、画像処理部２２は、振動センサ２０により検出された振動に基づいて、自動運転制御の状態を判定する。例えば、記憶部１０には、報知の態様として、自動運転制御の状態ごとに、自車両の車種に対応した、ステアリング又は座席の振動の態様を示す情報が予め記憶されてもよい。画像処理部２２は、例えば検出された振動の態様と、記憶部１０に記憶された情報が示す振動の態様とを比較することにより、検出された振動が何れの自動運転制御状態に対応するかを判定してもよい。
　振動による報知は非継続的に行われることから、ステアリング又は座席が振動していないときにも自動運転制御の状態を判定する必要がある。例えば、画像処理部２２は、振動センサ２０により振動が検出されていないとき、画像処理部２２により前回判定された自動運転制御の状態が継続していると判定してもよい。
　次に、本変形例に係るドライブレコーダＤＲにおいて画像処理部２２を中心として実行される、自車両の自動運転制御の状態を示す情報の取得処理について、図５を用いて説明する。自動運転制御の状態を示す情報の取得処理は、図３に示す記録処理のステップＳ２０で実行される。
　図５に示すように、画像処理部２２は、自動運転制御の状態が検出されたか否かを判定する（ステップＳ１１０）。例えば、画像処理部２２は、室内カメラにより撮像されたインスツルメントパネルの画像の特徴量と、記憶部１０に記憶された、インスツルメントパネルによる自動運転制御の状態の表示の画像の特徴量との比較に基づいて、インスツルメントパネルに自動運転制御の状態が表示されていると判定される場合、自動運転制御の状態が検出されたと判定する。或いは、画像処理部２２は、マイク１６により集音された室内音の特徴量と、記憶部１０に記憶された報知音の特徴量との比較に基づいて、集音された室内音が報知音であると判定される場合、自動運転制御の状態が検出されたと判定する。或いは、画像処理部２２は、振動センサ２０によりステアリング又は座席の振動が検出された場合、自動運転制御の状態が検出されたと判定する。自動運転制御の状態が検出された場合、画像処理部２２は処理をステップＳ１２０に進める。なお、インスツルメントパネルによる自動運転制御の状態の表示が常時行われる場合、画像処理部２２は、ステップＳ１１０の判定を行わずに、ステップＳ１２０を実行すればよい。一方、自動運転制御の状態が検出されなかった場合、画像処理部２２は処理をステップＳ１３０に進める。
　ステップＳ１２０において、画像処理部２２は、検出された報知に基づいて、自動運転制御の状態を判定する。例えば、インスツルメントパネルによる表示の場合、画像処理部２２は、ステップＳ１１０で実行された画像の特徴量の比較に基づいて、自動運転制御の状態を判定する。報知音の場合、画像処理部２２は、ステップＳ１１０で実行された音の特徴量の比較に基づいて、自動運転制御の状態を判定する。振動の場合、画像処理部２２は、振動センサにより検出された振動の態様と、記憶部１０に記憶された振動の態様を示す情報との比較に基づいて、自動運転制御の状態を判定する。画像処理部２２は、判定した自動運転制御の状態を示す情報を、メモリＳＤに記録させる表示画像データを生成するための情報として取得する。また、画像処理部２２は、判定した自動運転制御の状態を示す情報を、一時的にＲＡＭ等に記憶させる。
　ステップＳ１３０において、画像処理部２２は、前回判定された自動運転制御の状態が継続していると判定する。そして、画像処理部２２は、ＲＡＭに一時的に記憶されている自動運転制御の状態を示す情報を、表示画像データを生成するための情報として取得する。
　ステップＳ１２０又はＳ１３０を実行すると、画像処理部２２は、自動運転制御の状態を示す情報の取得処理を終了させて、図３に示すステップＳ３０に処理を進める。図３に示すステップＳ３０及びＳ４０において、表示画像データの生成及び記録が行われることにより、画像処理部２２により判定された自動運転制御の状態と、現在日時、自車両の位置及び外部画像データとが記録情報として記録される。なお、本変形例においては、インターフェース２１は、現在日時、自車両の位置及び外部画像データの少なくとも１つを状況情報を取得すればよい。そして、インターフェース２１は、状況情報が取得されたときに画像処理部２２により判定された自動運転制御の状態を取得し、記録部２３は、取得された状況情報と取得された自動運転制御の状態とを含む記録情報をメモリＳＤに記録すればよい。
　以上説明したように、変形例２に係る動作によれば、自車両の自動運転制御の状態の報知であって、自車両の室内にいる人が知覚可能な報知をその室内で検出し、検出された報知に基づいて、自動運転制御の状態を判定するので、自車両から直接自動運転状態を示す情報を取得しなくても、自動運転制御の状態を判定することができる。
　また、インスツルメントパネルにおける自動運転制御の状態の表示を、上記報知として検出する場合、インスツルメントパネルにおける表示に基づいて、自動運転制御の状態を判定することができる。
　また、自動運転制御の状態を示す報知音を、上記報知として検出する場合、報知音に基づいて、自動運転制御の状態を判定することができる。
　また、自車両の操作ハンドル又は座席の、自動運転制御の状態を示す振動を、上記報知として検出する場合、振動に基づいて、自動運転制御の状態を判定することができる。
　また、非継続的に行われる上記報知を検出し、自動運転制御の状態の報知が検出されていないとき、前回判定された自動運転制御の状態が継続していると判定する場合、報知が非継続に行われる場合であっても、自動運転制御の状態を適切に判定することができる。
　また、検出された報知の態様と、記憶部１０に記憶された報知の態様との比較に基づいて、自動運転制御の状態の判定を行う場合、自動運転制御の状態を容易に判定することができる。
　また、現在日時、自車両の位置及び外部画像の少なくとも１つである状況情報を取得し、判定された自動運転制御の状態であって、状況情報が取得されたときの自動運転制御の状態を取得し、状況情報と自動運転制御の状態とを含む記録情報をメモリＳＤに記録させる場合、自車両が置かれていた状況を、自車両の自動運転制御の状態と共に事後的に確認することができる。
１　画像情報取得手段
２　自動運転情報取得手段
３　表示用情報取得手段
４　記録手段
９　処理部
１０　記憶部
１２　カメラ
１４　ＧＰＳセンサ
１５　加速度センサ
１６　マイク
１７　車両インターフェース
２０　振動センサ
２１　インターフェース
２２　画像処理部
２３　記録部
ＳＤ　記録媒体、メモリ
Ｓ　　情報記録装置
ＤＲ　ドライブレコーダ

Claims (11)

  1. 　移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する画像情報取得手段と、
    　前記移動体の自動運転制御の状態を示す自動運転情報を取得する自動運転情報取得手段と、
    　前記外部画像情報及び前記自動運転情報に基づいて、前記外部画像の少なくとも一部と、前記外部画像の撮影時刻における前記自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得する表示用情報取得手段と、
    　前記表示用情報を記録媒体に記録させる記録制御手段と、
    　を備える情報記録装置。
  2. 　前記表示用情報取得手段は、前記自動運転状態画像を前記外部画像内に埋め込むことにより生成される画像に相当する前記表示用情報を取得することを特徴とする請求項１に記載の情報記録装置。
  3. 　前記自動運転状態画像は、少なくとも前記移動体の加速、操舵及び制動のうち前記自動運転制御下にある対象を示すことを特徴とする請求項１又は２に記載の情報記録装置。
  4. 　前記自動運転状態画像は、自動運転のレベルを示すことを特徴とする請求項１又は２に記載の情報記録装置。
  5. 　前記自動運転情報取得手段は、前記移動体の運転者により行われた運転操作と該運転操作時の前記移動体の挙動との関係性に基づいて、前記自動運転情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の情報記録装置。
  6. 　前記自動運転情報取得手段は、前記移動体のインスツルメントパネルにおける前記自動運転制御の状態の表示の撮像結果に基づいて、前記自動運転情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の情報記録装置。
  7. 　前記自動運転情報取得手段は、前記移動体の室内に出力される、前記自動運転制御の状態を示す音の集音結果に基づいて、前記自動運転情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の情報記録装置。
  8. 　前記自動運転情報取得手段は、前記移動体のステアリング又は座席の、前記自動運転制御の状態を示す振動の検出結果に基づいて、前記自動運転情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の情報記録装置。
  9. 　前記外部画像は動画像であることを特徴とする請求項１乃至８の何れか１項に記載の情報記録装置。
  10. 　コンピュータにより実行される情報記録方法において、
    　移動体の外部を該移動体から撮像した外部画像に相当する外部画像情報を取得する外部画像情報取得工程と、
    　前記移動体の自動運転制御の状態を示す自動運転情報を取得する自動運転情報取得工程と、
    　前記外部画像情報及び前記自動運転情報に基づいて、前記外部画像の少なくとも一部と、前記外部画像の撮影時刻における前記自動運転制御の状態を示す自動運転状態画像とを同時に表示するための表示用情報を取得する表示用情報取得工程と、
    　を含むことを特徴とする情報記録方法。
  11. 　コンピュータを、請求項１乃至９の何れか１項に記載の情報記録装置として機能させることを特徴とする情報記録用プログラム。
PCT/JP2019/000191 2018-01-11 2019-01-08 情報記録装置、情報記録方法、及び情報記録用プログラム WO2019138994A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US16/961,220 US11302123B2 (en) 2018-01-11 2019-01-08 Information recording device, information recording method, and program for recording information
EP19738893.7A EP3739550A4 (en) 2018-01-11 2019-01-08 INFORMATION RECORDING DEVICE, INFORMATION RECORDING METHOD, AND INFORMATION RECORDING PROGRAM
JP2019564689A JPWO2019138994A1 (ja) 2018-01-11 2019-01-08 情報記録装置、情報記録方法、及び情報記録用プログラム
JP2021193427A JP2022031301A (ja) 2018-01-11 2021-11-29 情報記録装置
US17/689,756 US20220189221A1 (en) 2018-01-11 2022-03-08 Information recording device, information recording method, and program for recording information
US18/120,727 US11881065B2 (en) 2018-01-11 2023-03-13 Information recording device, information recording method, and program for recording information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018002644 2018-01-11
JP2018-002644 2018-01-11

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/961,220 A-371-Of-International US11302123B2 (en) 2018-01-11 2019-01-08 Information recording device, information recording method, and program for recording information
US17/689,756 Continuation US20220189221A1 (en) 2018-01-11 2022-03-08 Information recording device, information recording method, and program for recording information

Publications (1)

Publication Number Publication Date
WO2019138994A1 true WO2019138994A1 (ja) 2019-07-18

Family

ID=67218629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000191 WO2019138994A1 (ja) 2018-01-11 2019-01-08 情報記録装置、情報記録方法、及び情報記録用プログラム

Country Status (4)

Country Link
US (3) US11302123B2 (ja)
EP (1) EP3739550A4 (ja)
JP (3) JPWO2019138994A1 (ja)
WO (1) WO2019138994A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206417A (ja) 2012-03-29 2013-10-07 Yazaki Energy System Corp 車載記録装置
JP2015182624A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 情報表示装置
WO2016080070A1 (ja) 2014-11-17 2016-05-26 日立オートモティブシステムズ株式会社 自動運転システム
JP2017026417A (ja) * 2015-07-21 2017-02-02 トヨタ自動車株式会社 情報提示システム
JP2017097709A (ja) * 2015-11-26 2017-06-01 トヨタ自動車株式会社 画像表示装置
JP2018124823A (ja) * 2017-02-01 2018-08-09 株式会社デンソーテン 運転情報記録装置、運転情報表示処理システム、運転情報記録方法、表示処理方法、及び、プログラム
JP2018156537A (ja) * 2017-03-21 2018-10-04 日本精機株式会社 ドライブレコーダ

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042288A (ja) * 2000-07-26 2002-02-08 Yazaki Corp 運行状態記録装置及びそれを利用した運行管理システム
JP2003263695A (ja) * 2002-03-11 2003-09-19 Hidenori Takahashi 交差点内の事故録画方法
JP4726586B2 (ja) * 2005-09-20 2011-07-20 鈴木 旭 自動車用ドライブレコーダ
JP4439550B2 (ja) * 2007-09-28 2010-03-24 富士通テン株式会社 ドライブレコーダ
JP4793479B2 (ja) * 2009-07-09 2011-10-12 カシオ計算機株式会社 測位装置、測位方法およびプログラム
KR101735116B1 (ko) * 2011-01-24 2017-05-15 두산인프라코어 주식회사 건설중장비의 운행정보 기록장치
JP5786901B2 (ja) * 2013-06-20 2015-09-30 株式会社デンソー 事故通報システム
GB2523359B (en) 2014-02-21 2016-01-06 Risk Telematics Uk Ltd Determining the status of a vehicle
EP3845426A1 (en) * 2015-02-10 2021-07-07 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP2017119505A (ja) * 2015-12-25 2017-07-06 株式会社デンソー 車両制御装置
KR101806892B1 (ko) * 2016-05-09 2018-01-10 엘지전자 주식회사 차량용 제어장치
JP6769107B2 (ja) 2016-05-19 2020-10-14 三菱ケミカル株式会社 Ａｅｉ型ゼオライトの製造方法
DE102016219252A1 (de) * 2016-10-05 2018-04-05 Bayerische Motoren Werke Aktiengesellschaft Ermittlung von Identifizierungsmerkmalen eines Unfallteilnehmers bei einem Unfall des Unfallteilnehmers mit einem Kraftfahrzeug
JP6912324B2 (ja) * 2017-08-30 2021-08-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置及び情報処理プログラム
JP6915512B2 (ja) * 2017-11-28 2021-08-04 トヨタ自動車株式会社 サーバ装置、故障車両推定方法および故障車両推定プログラム
JP6954850B2 (ja) * 2018-02-09 2021-10-27 トヨタ自動車株式会社 表示装置
US10846955B2 (en) * 2018-03-16 2020-11-24 Micron Technology, Inc. Black box data recorder for autonomous driving vehicle
US20190302766A1 (en) * 2018-03-28 2019-10-03 Micron Technology, Inc. Black Box Data Recorder with Artificial Intelligence Processor in Autonomous Driving Vehicle
TWI660873B (zh) * 2018-07-11 2019-06-01 創意門有限公司 載具行駛資訊記錄裝置
WO2020189831A1 (ko) * 2019-03-21 2020-09-24 엘지전자 주식회사 자율주행 차량의 모니터링 및 제어 방법
DE112020006541T5 (de) * 2020-01-17 2022-12-01 Denso Corporation Fahrsteuervorrichtung und HMI-Steuervorrichtung

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206417A (ja) 2012-03-29 2013-10-07 Yazaki Energy System Corp 車載記録装置
JP2015182624A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 情報表示装置
WO2016080070A1 (ja) 2014-11-17 2016-05-26 日立オートモティブシステムズ株式会社 自動運転システム
JP2017026417A (ja) * 2015-07-21 2017-02-02 トヨタ自動車株式会社 情報提示システム
JP2017097709A (ja) * 2015-11-26 2017-06-01 トヨタ自動車株式会社 画像表示装置
JP2018124823A (ja) * 2017-02-01 2018-08-09 株式会社デンソーテン 運転情報記録装置、運転情報表示処理システム、運転情報記録方法、表示処理方法、及び、プログラム
JP2018156537A (ja) * 2017-03-21 2018-10-04 日本精機株式会社 ドライブレコーダ

Also Published As

Publication number Publication date
JP2022031301A (ja) 2022-02-18
JP2023111990A (ja) 2023-08-10
US11302123B2 (en) 2022-04-12
JPWO2019138994A1 (ja) 2021-01-14
US20230215228A1 (en) 2023-07-06
EP3739550A4 (en) 2021-09-29
US20210056784A1 (en) 2021-02-25
US11881065B2 (en) 2024-01-23
EP3739550A1 (en) 2020-11-18
US20220189221A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
JP5499277B2 (ja) 危険運転予防意識判定システムおよび危険運転予防意識判定方法
JP2011128005A (ja) ナビゲーション装置、車載表示システム及び地図表示方法
CN104581355A (zh) 用于自主车辆媒体控制的系统和方法
JP2007088541A (ja) 自動車用ドライブレコーダ
JP2022140530A (ja) 情報記録装置、情報記録方法及び情報記録用プログラム
JP2001304876A (ja) 車載カメラによる画像記録・再生方式
US20100049438A1 (en) Gps device with video security function and method thereof
JP4421668B2 (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および記録媒体
JP4445493B2 (ja) 運転支援装置
JP6001792B2 (ja) 運転支援装置および運転支援方法
JP2010003086A (ja) ドライブレコーダー
JP5424861B2 (ja) ドライブレコーダ、記録方法及びプログラム
JP2004302902A (ja) 運転支援システム
US20230351823A1 (en) Information processing device, information processing method and program
JP2019121314A (ja) 判定装置、情報記録装置、判定方法、及び判定用プログラム
WO2019138994A1 (ja) 情報記録装置、情報記録方法、及び情報記録用プログラム
CN107878325A (zh) 确定泊车系统重新标定时机的方法、装置及自动标定系统
JP2021176107A (ja) ドライブレコーダ、接近検知方法、及び接近検知プログラム
KR20130140438A (ko) 브레이크 또는 악세레이터 신호 검출 기능을 제공하는 차량용 블랙박스
JP6974024B2 (ja) ハザードマップ作成システム、ハザードマップ作成装置及びハザードマップ作成方法
JP7194251B2 (ja) 情報記録装置、情報記録方法及び情報記録用プログラム並びに記録媒体
JP5691065B2 (ja) 危険運転予防意識判定システムおよび危険運転予防意識判定方法
JP6568406B2 (ja) ドライブレコーダ
JP2024025513A (ja) 運転教育システム、サーバ及び管理端末用のプログラム
JP2020013320A (ja) 運転支援装置及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19738893

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019564689

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019738893

Country of ref document: EP

Effective date: 20200811