WO2018150888A1 - 情報記録装置、情報記録方法及び情報記録用プログラム - Google Patents

情報記録装置、情報記録方法及び情報記録用プログラム Download PDF

Info

Publication number
WO2018150888A1
WO2018150888A1 PCT/JP2018/003359 JP2018003359W WO2018150888A1 WO 2018150888 A1 WO2018150888 A1 WO 2018150888A1 JP 2018003359 W JP2018003359 W JP 2018003359W WO 2018150888 A1 WO2018150888 A1 WO 2018150888A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
display
state
recording
Prior art date
Application number
PCT/JP2018/003359
Other languages
English (en)
French (fr)
Inventor
好祥 小林
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to JP2018568100A priority Critical patent/JP6767518B2/ja
Publication of WO2018150888A1 publication Critical patent/WO2018150888A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D41/00—Fittings for identifying vehicles in case of collision; Fittings for marking or recording collision areas
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles

Definitions

  • This application belongs to the technical field of information recording apparatuses, information recording methods, and information recording programs. More specifically, the present invention belongs to the technical field of an information recording apparatus and information recording method for recording display image information corresponding to a surrounding image captured from a moving body such as a vehicle and a program for the information recording apparatus. .
  • an image of the front of a moving vehicle can be used to verify the situation when an accident, sudden acceleration, sudden deceleration, or sudden steering occurs during the movement of the vehicle.
  • So-called drive recorders for recording have become common.
  • Patent Document 1 As a prior art relating to a drive recorder that captures an image used for the verification, for example, there is a prior art described in Patent Document 1 below.
  • the acceleration of the vehicle exceeds the threshold for determining whether or not an accident has occurred, the same time as the image capturing time for the image for a predetermined time captured before the accident occurs
  • the obtained altitude data and gradient data are superimposed and recorded in the image memory.
  • the equipment of the car that caused the accident for example, a headlight, a wiper
  • the accident image (moving image) captured by the prior art or the like described in Patent Document 1 is useful for the determination of the responsibility sharing of the accident vehicle or its driver, as described above.
  • the operation status of the equipment of the vehicle (for example, whether the headlight was turned on at the time of the accident, etc.) also affects the responsibility for negligence.
  • the prior art described in Patent Document 1 there is no mention of recording the operation status of the equipment of the vehicle that caused the accident. Accordingly, there is a demand for a drive recorder that can check the operation status of the equipment and the surroundings afterwards.
  • An object of the present invention is to provide an information recording apparatus and an information recording method capable of recording an image or the like so that confirmation can be performed, and a program for the information recording apparatus.
  • the invention according to claim 1 is an image information acquisition unit that acquires surrounding image information corresponding to a surrounding image obtained by imaging the surroundings of the moving body from the moving body; State information acquisition means for acquiring state information indicating the operation state of the equipment, and the operation state image indicating the operation state at the imaging time of the surrounding image based on the surrounding image information and the state information together with the surrounding image Display information acquiring means for acquiring display information for display, and recording means for recording the surrounding image information and display image information corresponding to the display information on a recording medium.
  • an information recording apparatus including image information acquisition means, state information acquisition means, display information acquisition means, and recording means.
  • An information recording method wherein the image information acquisition unit acquires ambient image information corresponding to an ambient image obtained by imaging the periphery of the mobile body from the mobile body, and the operating state of the equipment of the mobile body
  • the state information acquisition step of acquiring state information indicating the state information indicating the operation state image indicating the operation state at the imaging time of the surrounding image based on the surrounding image information and the state information.
  • An image information including a recording step of recording on a recording medium by the recording means.
  • an invention according to claim 11 is an image which obtains ambient image information corresponding to an ambient image obtained by capturing an image of the periphery of a mobile body from the mobile body using a computer included in the information recording apparatus.
  • Information acquisition means state information acquisition means for acquiring state information indicating the operation state of the equipment of the mobile object, operation indicating the operation state at the time of capturing the surrounding image based on the surrounding image information and the state information
  • Display information acquisition means for acquiring display information for displaying a state image together with the surrounding image, and recording means for recording display image information corresponding to the surrounding image information and the display information on a recording medium Make it work.
  • FIG. 1 is a block diagram showing a schematic configuration of an information recording apparatus according to an embodiment. It is a block diagram which shows the schematic structure of the drive recorder which concerns on an Example. It is a flowchart which shows the recording process of the display image data in the drive recorder which concerns on an Example, (a) is a flowchart which shows the whole said recording process, (b) is the detail of detection processes, such as the condition in the said recording process, (C) is a flowchart showing details of display image data generation processing in the recording processing. It is a figure which illustrates the image recorded by the recording process by the drive recorder which concerns on an Example, (a) is a figure which shows a 1st example, (b) is a figure which shows a 2nd example.
  • FIG. 1 is a block diagram illustrating a schematic configuration of the information recording apparatus according to the embodiment.
  • the information recording apparatus S includes an image information acquisition unit 1, a state information acquisition unit 2, a display information acquisition unit 3, and a recording unit 4 connected to a recording medium SD. , And is configured.
  • the image information acquisition unit 1 acquires surrounding image information corresponding to a surrounding image obtained by imaging the surroundings of the moving body from the moving body.
  • the state information acquisition means 2 acquires state information indicating the operation state of the moving body equipment.
  • the display information acquisition unit 3 indicates the operation state of the equipment at the imaging time of the surrounding image based on the surrounding image information acquired by the image information acquisition unit 1 and the state information acquired by the state information acquisition unit 2. Display information for displaying the operation state image together with the surrounding image is acquired.
  • the recording unit 4 records the surrounding image information acquired by the image information acquiring unit 1 and the display image information corresponding to the display information acquired by the display information acquiring unit 3 on the recording medium SD.
  • the information recording apparatus S based on the surrounding image information corresponding to the surrounding image obtained by imaging the surroundings from the moving body, and the state information indicating the operating state of the equipment.
  • the display information for displaying the operation state image indicating the operation state of the equipment at the time of capturing the surrounding image together with the surrounding image is acquired, and the display information and the display image information corresponding to the surrounding image information are recorded on the recording medium. Record in SD. Therefore, when confirming the situation etc. of the surroundings of the mobile object later, display image information capable of confirming the situation etc. together with the operating state of the equipment can be recorded.
  • Example demonstrated below is an Example at the time of applying embodiment with respect to the recording process of the image data etc. in the drive recorder mounted in the vehicle corresponded to an example of a moving body.
  • FIG. 2 is a block diagram showing a schematic configuration of the drive recorder according to the embodiment
  • FIG. 3 is a flowchart showing a recording process of display image data in the drive recorder
  • FIG. 4 shows a recording process by the drive recorder. It is a figure which illustrates the image recorded.
  • FIG. 2 the same member numbers as those of the constituent members in the information recording apparatus S are used for the constituent members of the examples corresponding to the constituent members in the information recording apparatus S according to the embodiment shown in FIG. ing.
  • the drive recorder according to the embodiment is installed in a room of the vehicle so that a front landscape of the vehicle on which the drive recorder is mounted can be photographed.
  • a vehicle in which the drive recorder according to the embodiment is used is simply referred to as “own vehicle”.
  • the drive recorder DR according to the embodiment includes an operation unit 11 including operation buttons and a touch panel, a display 18 that outputs various information, and a speaker 19 that emits necessary operation guidance sound. I have.
  • the drive recorder DR according to the embodiment includes a processing unit 9 that includes a CPU, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and controls the entire drive recorder DR to exert its function.
  • An image data recording unit 10 composed of SSD (Solid-State-Drive) or the like, a camera 12 composed of, for example, a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor, a map data recording unit 13 composed of an SSD, etc., and a GPS (Global Positioning) Sensor) sensor 14, acceleration sensor 15, microphone 16, vehicle interface 17, memory SD such as a removable SD (Secure Digital) card, camera 12, map data recording unit 13, GPS sensor 14 , An acceleration sensor 15, a microphone 16, and an interface for connecting the vehicle interface 17 and the processing unit 9.
  • the processing unit 9 includes an image processing unit 3 and a recording unit 4.
  • the image processing unit 3 and the recording unit 4 may be realized by a hardware logic circuit including the CPU and the like constituting the processing unit 9, or a program corresponding to a recording process of display image data according to an embodiment described later. May be realized by software by the CPU reading and executing.
  • the interface 1 corresponds to an example of the image information acquisition unit 1 and the example of the state information acquisition unit 2 according to the embodiment, respectively, and the image processing unit 3 corresponds to an example of the display information acquisition unit 3 according to the embodiment.
  • the recording unit 4 corresponds to an example of the recording unit 4 according to the embodiment
  • the memory SD corresponds to an example of the recording unit SD according to the embodiment.
  • the interface 1, the image processing unit 3, and the recording unit 4 constitute an example of the information recording apparatus S according to the embodiment.
  • the interface 1 corresponds to an example of “rule information acquisition unit” according to the present application
  • the image processing unit 3 corresponds to an example of “state detection unit” and an example of “determination unit” according to the present application.
  • the operation unit 11 is configured by an operation button, a touch panel, or the like as part of the drive recorder DR.
  • the operation unit 11 receives an operation by the user and outputs an operation signal corresponding to the operation to the processing unit 9.
  • the display 18 displays information to be presented to the user as a function of the drive recorder DR under the control of the processing unit 9 using, for example, an image or an icon.
  • the speaker 19 emits the operation guidance voice and the like necessary for exhibiting the function of the drive recorder DR under the control of the processing unit 9.
  • the camera 12 uses the periphery including the front in the moving direction of the host vehicle as its imaging range.
  • the camera 12 generates imaging data corresponding to the surrounding image obtained by imaging the imaging range, and outputs the imaging data to the image processing unit 3 of the processing unit 9 via the interface 1.
  • the map data recording unit 13 records, as map data, in addition to general road data and intersection data, rule data indicating traffic rules or traffic regulation contents on each road or intersection. In the following description, the traffic rules or the traffic rules are simply referred to as “traffic rules and the like”.
  • the map data recording unit 13 outputs the rule data and the like to the image processing unit 3 through the interface 1 in response to a request from the image processing unit 3.
  • the GPS sensor 14 outputs position data indicating the current position of the drive recorder DR to the image processing unit 3 via the interface 1 based on the result of receiving navigation radio waves from a navigation satellite (not shown).
  • the current position of the drive recorder DR is also the current position of the host vehicle.
  • the acceleration sensor 15 detects the acceleration applied to the host vehicle, for example, in the traveling direction, the left-right direction, and the vertical direction of the host vehicle, and the acceleration data as the detection result is sent via the interface 1 to the image processing unit. 3 is output.
  • the microphone 16 collects, for example, in-car sound or sound of the own vehicle, and outputs sound data as a sound collection result to the image processing unit 3 via the interface 1.
  • the microphone 16 may collect sound or sound outside the vehicle of the host vehicle.
  • the vehicle interface 17 acquires state data indicating the operation state of the equipment (particularly electrical equipment) provided in the host vehicle via an in-vehicle network such as CAN (Controller Area Network), for example.
  • the electrical component includes, for example, a horn, turn signal, wiper, brake, and the like of the host vehicle.
  • the status data which shows the operation state of each of the right winker and the left winker is acquired separately.
  • the image data recording unit 10 sign image data for displaying traffic signs corresponding to the traffic rules and the like, state image data indicating the operation states of the respective equipments, and the like are recorded in advance.
  • the image data recording unit 10 outputs the marker image data and the state image data in response to a request from the image processing unit 3.
  • the image processing unit 3 and the recording unit 4 respectively acquire the imaging data and the state data acquired through the interface 1, the marker image data and the state image data recorded in the image data recording unit 10, and
  • the display image data recording process according to the embodiment is performed based on the content of the operation in the operation unit 11.
  • the recording unit 4 records the display image data output from the image processing unit 3 in the memory SD.
  • the recording unit 4 records the display image data in the memory SD in a general-purpose format.
  • the general-purpose format is, for example, an MP4 (Moving Picture 4) format, an AVI (Audio video Interleave) format, or an MOV format.
  • the image processing unit 3 and the recording unit 4 record the audio data in the memory SD in synchronization with the corresponding display image data in parallel with the recording of the display image data in the memory SD.
  • the display image data, audio data, and the like recorded in the memory SD are displayed or reproduced by an external reproduction device (not shown) or the like at the time of post-verification such as an accident.
  • the display image data recording process according to the embodiment is started when the power switch of the drive recorder DR is turned on. Then, as shown in FIG. 3A as a whole, in the display image data recording process according to the embodiment, the image processing unit 3 first acquires the imaging data, the state data, and the like via the interface 1. Then, based on them, the situation in front of the host vehicle, the current position of the host vehicle, and the like are detected (step S10). Then, the image processing unit 3 performs processing for generating display image data to be recorded in the memory SD based on the state detected in step S10 (step S20).
  • the image processing unit 3 uses the recording unit 4 to record the display image data generated in step S20 in the memory SD in the general-purpose format (step S30).
  • the recording unit 4 may be configured to record the imaging data, the state data, and the marker image data as separate layers as display image data, or the state data and You may comprise so that the display image data which embedded the said marker image data in the said imaging data may be recorded.
  • the image processing unit 3 determines whether or not to complete the display image data recording process according to the embodiment by turning off the power switch of the drive recorder DR (step S40). When the recording process ends in the determination in step S40 (step S40: YES), the image processing unit 3 ends the process as it is.
  • step S40 determines whether the recording process is continued in the determination in step S40 (step S40: NO). If the recording process is continued in the determination in step S40 (step S40: NO), the image processing unit 3 returns to step S1 and repeats the processes described above. Note that the image processing unit 3 performs the processing in steps S10 to S30 on a cyclic (cyclic) basis while erasing previous display image data and the like every preset time (for example, 1 minute to several minutes). (Click).
  • step S10 details of the state detection processing in step S10 will be specifically described with reference to FIG.
  • the image processing unit 3 first uses the imaging data corresponding to the imaging result within the imaging range using the camera 12 and the microphone 16. The voice data corresponding to the collected sound result is acquired via the interface 1 (step S11). Next, the image processing unit 3 detects, for example, a predetermined image analysis method based on the imaging data acquired in step S11, whether or not another vehicle exists in front of the host vehicle. In the following description, the other vehicle shown in the imaging data is simply referred to as “other vehicle”. In addition, the image processing unit 3 detects the lighting state of the headlight (headlight) in the other vehicle and the speed of the other vehicle based on the imaging data (step S12).
  • headlight headlight
  • the image processing unit 3 determines traffic rules and the like for roads and intersections for which corresponding road data and intersection data are recorded in the map data recording unit 13. Detect (step S13). At this time, the image processing unit 3 may detect a traffic rule or the like for a road or intersection ahead of the host vehicle using the position data from the GPS sensor 14, or a traffic rule applied at the current time. Etc. may be detected. Further, the image processing unit 3 determines that the other vehicle has a traffic rule on the road on which it is moving based on the state of the other vehicle (eg, its speed) detected in step S12 and the traffic rule detected in step S13. It is detected whether or not there is a violation (step S14).
  • the state of the other vehicle eg, its speed
  • the image processing unit 3 uses another vehicle that moves on a road that intersects in front of the host vehicle when the speed at which the vehicle enters the intersection designated to be temporarily stopped is a significant value greater than zero kilometers per hour. Is moving at a speed faster than the maximum speed for the road, it detects that the other vehicle is in violation of traffic rules.
  • the image processing unit 3 detects the current position and speed of the host vehicle using the position data, and based on the acceleration data from the acceleration sensor 15, sudden acceleration, sudden deceleration, and sudden handle in the host vehicle are performed. Is detected (step S15). Next, the image processing unit 3 detects the operation state of the electrical component of the host vehicle for each electrical component based on the state data acquired via the vehicle interface 17 (step S16). Thereafter, the image processing unit 3 proceeds to step S20 shown in FIG.
  • the image processing unit 3 firstly has traffic on a road or intersection reflected in the imaging range corresponding to the imaging data acquired in step S11.
  • the sign image data for displaying the sign and the state image data indicating the operation state detected in step S16 are acquired from the image data recording unit 10 (step S21).
  • the image processing unit 3 deforms the shape of the display of the sign image data acquired in step S21 based on the state of the road or the like shown in the imaging data acquired in step S11 (step S22). More specifically, the image processing unit 3 determines, for example, the maximum speed of the road on which the host vehicle is moving (the road is usually shown to extend from the front to the back in the imaging range of the camera 12).
  • the traffic sign shown is displayed in a state viewed from the front of the host vehicle.
  • the highest road that intersects the road on which the vehicle travels at a forward intersection usually, the intersection road appears to extend from the left or right to the center in the imaging range of the camera 12.
  • a traffic sign indicating a speed, a temporary stop sign, or the like is deformed so as to be displayed in a perspective view from the own vehicle according to the position of the intersection road and the relationship with the road on which the own vehicle moves.
  • the image processing unit 3 adjusts the display position in the display image for each traffic sign whose shape on the display has been deformed in step S22, and acquires a symbol image corresponding to the traffic sign or the like (step S23). ). More specifically, for example, when another vehicle is shown in the imaging range, the image processing unit 3 sets the display position of the traffic sign or the like so that the display position in the display image of the other vehicle is removed and displayed. Adjust and obtain a symbol image corresponding to the traffic sign or the like. Thereafter, the image processing unit 3 generates display image data including the traffic sign whose display position is adjusted in step S23 based on the state of the traffic rule detected in step S14, and the generated display image. Data is output to the recording unit 4 (step S24). Thereafter, the image processing unit 3 proceeds to step S30.
  • a display image G corresponding to the case where the host vehicle is moving on a road with a cross intersection in front is superimposed on the front image captured by the camera 12, A lane display L and a lane display R corresponding to the moving road are displayed. Further, when another vehicle C approaching from the right is shown at the intersection ahead (see step S12 in FIG. 3 (b)), a vehicle display 23 indicating the presence and position of the other vehicle C is displayed. In addition, for roads on which the vehicle travels and roads that intersect at the above intersections, the traffic sign display 20 and traffic sign display 21 corresponding to the traffic signs indicating the respective maximum speeds, and traffic rules for the intersecting roads are shown. A traffic sign display 22 (in the case illustrated in FIG.
  • a display of a stop sign is displayed at a position in the display image G corresponding to the position of each road.
  • the traffic sign display 21 and the traffic sign display 22 corresponding to the intersecting road are displayed in a perspective view from the host vehicle (see step S13, step S22 and step S23 in FIG. 3).
  • a speed display 30 indicating the speed of the host vehicle is displayed. At this time, if the speed is equal to or lower than the maximum speed on the road on which the vehicle travels (see step S13 and step S14 in FIG. 3), the frame 30A and the leader line 30B of the speed display 30 are not in violation of the traffic rules.
  • the displayed color for example, green
  • Each image data for displaying the speed display 30, the frame 30A, and the leader line 30B is recorded in the image data recording unit 10 in advance.
  • a speed display 31 indicating the speed of the other vehicle C is displayed.
  • the speed is higher than the maximum speed (30 km / h in the case of FIG. 4) on the road on which the other vehicle moves (that is, when the other vehicle is overspeed.
  • FIG. 3 step S13 and step S13).
  • the frame 31A and the leader line 31B of the speed display 31 are displayed in a color (for example, red) indicating that the traffic rule is violated.
  • Each image data for displaying the speed display 31, the frame 31A, and the leader line 31B is also recorded in the image data recording unit 10 in advance.
  • the other vehicle C does not stop temporarily.
  • the display image G when entering the intersection will be described with reference to FIG. That is, in this case, as illustrated in FIG. 4B, the lane display L and the lane display R, the traffic sign display 20, the traffic sign display 21 and the traffic sign display 22 shown in FIG. It is displayed at a position in the display image G corresponding to the position of each road (see step S13, step S22 and step S23 in FIG. 3).
  • the traffic sign display 21 (displayed on the right side of the display image G) and the traffic sign display 22 for the road on which the other vehicle C enters are not overlapped with the image of the other vehicle C.
  • the display position is adjusted and displayed (see step S23 in FIG. 3).
  • a warning display 32 indicating that is displayed as traffic.
  • a color (for example, red) frame 32A and a leader line 32B indicating that the rule is violated are displayed.
  • the image data for displaying the warning display 32, the frame 32A, and the leader line 32B are also recorded in the image data recording unit 10 in advance.
  • the horn when it is detected that the horn of the own vehicle is sounded as the other vehicle C enters the intersection (see step S16 in FIG. 3), the horn indicating that fact.
  • the display K is displayed, for example, at the position of the lower side in the display image G at the timing when the horn is sounded.
  • the turn signal display WL and the turn signal display WR which show that to it However, they are displayed separately on the left and right, for example, at the position of the lower side in the display image G at the timing when the blinker is operated.
  • the headlight display LT indicating that is displayed while the headlight is turned on. It is continuously displayed in the position of the lower side in the display image G, for example.
  • the horn display K, the turn signal display WL, the turn signal display WR, and the headlight display LT do not interfere with the recognition of the situation ahead of the host vehicle, and other traffic sign displays 20 and the like and warning displays It is displayed at a position in the display screen G that does not overlap 32 (step S23 in FIG. 3). Further, image data for displaying the horn display K, the winker display WL, the winker display WR, and the headlight display LT are also recorded in the image data recording unit 10 in advance.
  • the surrounding image is captured at the time of imaging. Since the display image data for displaying the horn display K indicating the operation state of the equipment together with the surrounding image is recorded in the memory SD, the equipment status can be checked in the case where the surrounding situation of the own vehicle is confirmed later. Display image data capable of confirming the situation and the like together with the operating state can be recorded in the memory SD.
  • Display image data can be recorded in the memory SD.
  • the display image data for displaying the traffic sign display 20 or the like indicating the content of the traffic rules related to the surrounding of the own vehicle or its movement at the corresponding position in the surrounding image is recorded, It is possible to record display image data in the memory SD for easily confirming the surrounding situation including the contents of the relevant traffic rules in association with each other.
  • the traffic sign display 20 when displaying the traffic sign display 20 indicating the contents of the traffic rules related to the road on which the own vehicle moves, the traffic sign display 20 is displayed in a front view from the own vehicle and related to the intersecting road.
  • the traffic sign display 21 and the traffic sign display 22 are displayed in a perspective view from the own vehicle (see FIG. 4). Therefore, it is possible to record display image data for distinguishing between the traffic rules related to the road on which the host vehicle travels and the traffic rules related to the intersecting road in a state that is easily visible.
  • display image data for displaying the vehicle display 23 and the warning display 32 showing the state of the other vehicle C reflected in the surrounding image at corresponding positions is recorded (see FIG. 4)
  • the display image data for displaying the surrounding situation including the state of the other vehicle C and the like so as to be easily associated with each other can be recorded in the memory SD.
  • a speed display 31 (frame 31A and leader line) showing the state determined to violate the traffic rules.
  • 31B) and the warning display 32 can be distinguished from the display (for example, the speed display 30 including the frame 30A and the leader line 30B) that is determined not to violate the traffic rules.
  • Display image data for displaying the operation state of the equipment and the surrounding situation including whether or not the state of the other vehicle C violates the traffic rules so that they can be easily confirmed and displayed. Can be recorded in the memory SD.
  • a moving image obtained by capturing the surroundings of the own vehicle from the own vehicle is acquired as a surrounding image, as a moving image together with the operation state of the equipment, for example, when checking the surrounding situation of the own vehicle afterwards.
  • Display image data capable of confirming the situation and the like can be recorded in the memory SD.
  • the equipment of the own vehicle whose operation state is detected is the electrical equipment that is at least one of horn, light, turn signal or wiper, the situation of the surroundings of the own vehicle is checked afterwards, etc.
  • the display image data can be recorded in the memory SD so that it is possible to confirm the situation and the like together with the operation state of the electrical components such as the horn.
  • display image data is recorded in the memory SD using a general-purpose format, versatility in reproducing or displaying the display image data itself can be enhanced.
  • a wiper display indicating the operation state of the wiper may be displayed in the display screen G.
  • a display indicating the lighting state of the headlight in the other vehicle which is detected based on the imaging data (see step S12 in FIG. 3), may be displayed in the display screen G.
  • the lighting state of the headlight of the other vehicle can also be recorded in the memory SD so as to be usable for the post-verification.
  • the timing of starting the recording of the display image data in the memory SD is, for example, from the timing at which it is determined that the state of any other vehicle shown in the surrounding image violates the traffic rules (step 14 in FIG. 3). (See), and recording of display image data corresponding to the display image G previously captured and temporarily recorded in the ROM or the like in the image processing unit 3 to the memory SD may be started. .
  • the necessary display image data can be recorded while saving the memory SD by recording the minimum display image data necessary for the subsequent confirmation.
  • the ROM in the image processing unit 3 is detected from the timing at which sudden deceleration, sudden acceleration, or sudden steering of the host vehicle is detected by the acceleration data from the acceleration sensor 15. For example, recording of display image data corresponding to the display image G recorded in the memory SD may be started.
  • the sign image data and the like are recorded in the image data recording unit 10 in advance, and the case where these are acquired and the display image data is generated has been described.
  • the traffic sign display 20 or the like may be generated and superimposed on the surrounding image.
  • the embodiment is applied to the drive recorder DR mounted on the vehicle.
  • the embodiment is applied to a drive recorder mounted on a motorcycle or a bicycle. It is also possible to do.
  • a program corresponding to the flowchart shown in FIG. 3 is recorded on a recording medium such as an optical disk or a hard disk, or obtained via a network such as the Internet, and read out to a general-purpose microcomputer or the like. It is possible to cause the microcomputer or the like to function as the image processing unit 3 according to the embodiment.
  • Image information acquisition means (interface) 2 Status information acquisition means 3 Display information acquisition means (image processing unit) 4 Recording means (recording unit) 12 Cameras 13 Map data recording unit 14 GPS sensor 15 Acceleration sensor 16 Microphone 17 Vehicle interface 20, 21, 22 Traffic sign display 23 Vehicle display 30, 31 Speed display 30A, 31A, 32A Frame 31B, 31B, 32B Lead line 32 Warning display S information recording device G display image L, R lane display C other vehicle K horn display DR drive recorder SD recording medium (recording means) WL, WR Blinker display LT Headlight display

Abstract

周囲の状況等を事後的に確認する場合等において、車両の装備品の動作状態と共に当該状況等の確認等ができるように画像等を記録することが可能な情報記録装置を提供する。　車両の周囲を撮像した周囲画像を取得すると共に、車両の装備品の動作状態を示す状態情報を取得するインターフェース１と、周囲画像及び状態情報に基づいて、周囲画像の撮像時刻における動作状態を示すクラクション表示等を周囲画像と共に表示するための表示画像データを生成し、これをメモリＳＤに記録する画像処理部３を備える。

Description

情報記録装置、情報記録方法及び情報記録用プログラム
　本願は、情報記録装置、情報記録方法及び情報記録用プログラムの技術分野に属する。より詳細には、車両等の移動体の周囲を当該移動体から撮像した周囲画像に対応する表示画像情報を記録する情報記録装置及び情報記録方法並びに当該情報記録装置用のプログラムの技術分野に属する。
　近年、例えば車両による移動中に事故、急加速又は急減速或いは急ハンドル等が発生した際の状況等を後から検証する等の目的に供させるべく、移動中の例えば車両の前方を撮像して記録するための、いわゆるドライブレコーダが一般化している。
　このとき、当該検証に用いられる画像を撮像するドライブレコーダに関する先行技術としては、例えば下記特許文献１に記載されている先行技術がある。この先行技術においては、事故が発生したか否かを判断する際の閾値を車両の加速度が越えた場合、事故発生前に撮像された所定時間分の映像に対して、当該撮像時刻と同じ時刻に取得された高度データ及び勾配データを重畳して画像メモリに記録する構成とされている。
　一方、上記のような検証の結果に基づいて、例えば事故について過失責任の分担を判定する場合には、撮像された画像に加えて、事故を起こした車の装備品（例えば、ヘッドライト、ワイパ又はウインカ等の電装品）の動作状態や相手車両の挙動までを検証する必要がある。
特開２０１３－２０６４１７号公報
　このとき、上記特許文献１に記載されている先行技術等により撮像された事故の画像（動画像）は、事故車又はその運転者の過失責任分担の判定には有益であるが、上述したように、事故車両の走行状態以外に、その車両の装備品の動作状況（例えば事故時においてヘッドライトを点灯していたか等）も、過失責任の分担に影響を与える。しかしながら上記特許文献１に記載されている先行技術では、事故を起こした車両の装備品の動作状況を記録することについては、何ら触れられていない。従って、当該装備品の動作状態と共に周囲の状況等を事後的に確認等することが可能なドライブレコーダが望まれている。
　そこで本願は、上記の要請に鑑みて為されたもので、その課題の一例は、車両等の周囲の状況等を事後的に確認する場合等において、その装備品の動作状態と共に当該状況等の確認等ができるように画像等を記録することが可能な情報記録装置及び情報記録方法並びに当該情報記録装置用のプログラムを提供することにある。
　上記の課題を解決するために、請求項１に記載の発明は、移動体の周囲を当該移動体から撮像した周囲画像に相当する周囲画像情報を取得する画像情報取得手段と、前記移動体の装備品の動作状態を示す状態情報を取得する状態情報取得手段と、前記周囲画像情報及び前記状態情報に基づいて、前記周囲画像の撮像時刻における前記動作状態を示す動作状態画像を前記周囲画像と共に表示するための表示用情報を取得する表示用情報取得手段と、前記周囲画像情報及び前記表示用情報に対応する表示画像情報を記録媒体に記録する記録手段と、を備える。
　上記の課題を解決するために、請求項１０に記載の発明は、画像情報取得手段と、状態情報取得手段と、表示用情報取得手段と、記録手段と、を備える情報記録装置において実行される情報記録方法であって、移動体の周囲を当該移動体から撮像した周囲画像に相当する周囲画像情報を前記画像情報取得手段により取得する画像情報取得工程と、前記移動体の装備品の動作状態を示す状態情報を前記状態情報取得手段により取得する状態情報取得工程と、前記周囲画像情報及び前記状態情報に基づいて、前記周囲画像の撮像時刻における前記動作状態を示す動作状態画像を前記周囲画像と共に表示するための表示用情報を前記表示用情報取得手段により取得する表示用情報取得工程と、前記周囲画像情報及び前記表示用情報に対応する表示画像情報を前記記録手段により記録媒体に記録する記録工程と、を含む。
　上記の課題を解決するために、請求項１１に記載の発明は、情報記録装置に含まれるコンピュータを、移動体の周囲を当該移動体から撮像した周囲画像に相当する周囲画像情報を取得する画像情報取得手段、前記移動体の装備品の動作状態を示す状態情報を取得する状態情報取得手段、前記周囲画像情報及び前記状態情報に基づいて、前記周囲画像の撮像時刻における前記動作状態を示す動作状態画像を前記周囲画像と共に表示するための表示用情報を取得する表示用情報取得手段、及び、前記周囲画像情報及び前記表示用情報に対応する表示画像情報を記録媒体に記録する記録手段、として機能させる。
実施形態に係る情報記録装置の概要構成を示すブロック図である。 実施例に係るドライブレコーダの概要構成を示すブロック図である。 実施例に係るドライブレコーダにおける表示画像データの記録処理を示すフローチャートであり、（ａ）は当該記録処理の全体を示すフローチャートであり、（ｂ）は当該記録処理内の状況等検出処理の詳細を示すフローチャートであり、（ｃ）は当該記録処理内の表示画像データ生成処理の詳細を示すフローチャートである。 実施例に係るドライブレコーダによる記録処理により記録される画像を例示する図であり、（ａ）は第１例を示す図であり、（ｂ）は第２例を示す図である。
　次に、本願を実施するための形態について、図１を用いて説明する。なお図１は、実施形態に係る情報記録装置の概要構成を示すブロック図である。
　図１に示すように、実施形態に係る情報記録装置Ｓは、画像情報取得手段１と、状態情報取得手段２と、表示用情報取得手段３と、記録媒体ＳＤに接続される記録手段４と、を備えて構成されている。
　この構成において画像情報取得手段１は、移動体の周囲を当該移動体から撮像した周囲画像に相当する周囲画像情報を取得する。
　一方状態情報取得手段２は、上記移動体の装備品の動作状態を示す状態情報を取得する。
　そして表示用情報取得手段３は、画像情報取得手段１により取得された周囲画像情報及び状態情報取得手段２により取得された状態情報に基づいて、周囲画像の撮像時刻における装備品の動作状態を示す動作状態画像を周囲画像と共に表示するための表示用情報を取得する。
　これらにより記録手段４は、画像情報取得手段１により取得された周囲画像情報及び表示用情報取得手段３により取得された表示用情報に対応する表示画像情報を記録媒体ＳＤに記録する。
　以上説明したように、実施形態に係る情報記録装置Ｓの動作によれば、移動体から周囲を撮像した周囲画像に相当する周囲画像情報と、装備品の動作状態を示す状態情報と、に基づいて、周囲画像の撮像時刻における装備品の動作状態を示す動作状態画像を周囲画像と共に表示するための表示用情報を取得し、当該表示用情報及び周囲画像情報に対応する表示画像情報を記録媒体ＳＤに記録する。よって、移動体の周囲の状況等を事後的に確認する場合等において、装備品の動作状態と共に当該状況等を確認等することが可能な表示画像情報を記録することができる。
　次に、上述した実施形態に対応する具体的な実施例について、図２乃至図４を用いて説明する。なお以下に説明する実施例は、移動体の一例に相当する車両に搭載されたドライブレコーダにおける画像データ等の記録処理に対して実施形態を適用した場合の実施例である。
　また、図２は実施例に係るドライブレコーダの概要構成を示すブロック図であり、図３は当該ドライブレコーダにおける表示画像データの記録処理を示すフローチャートであり、図４は当該ドライブレコーダによる記録処理により記録される画像を例示する図である。このとき図２では、図１に示した実施形態に係る情報記録装置Ｓにおける各構成部材に対応する実施例の構成部材それぞれについて、当該情報記録装置Ｓにおける各構成部材と同一の部材番号を用いている。
　実施例に係るドライブレコーダは、当該ドライブレコーダが搭載されている車両の前方風景を撮影可能に、当該車両の室内に設置される。なお以下の説明において、実施例に係るドライブレコーダが用いられる車両を、単に「自車両」と称する。そして実施例に係るドライブレコーダＤＲは、図２に示すように、操作ボタンやタッチパネル等からなる操作部１１、種々の情報を出力するディスプレイ１８及び必要な操作案内音声等を放音するスピーカ１９を備えている。これらに加えて実施例に係るドライブレコーダＤＲは、ＣＰＵ、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等からなり且つドライブレコーダＤＲ全体を制御してその機能を発揮させる処理部９と、ＳＳＤ（Solid State Drive）等からなる画像データ記録部１０と、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）撮像素子等からなるカメラ１２と、ＳＳＤ等からなる地図データ記録部１３と、ＧＰＳ（Global Positioning Sensor）センサ１４と、加速度センサ１５と、マイク１６と、車両インターフェース１７と、例えば着脱式のＳＤ（Secure Digital）カード等であるメモリＳＤと、上記カメラ１２、地図データ記録部１３、ＧＰＳセンサ１４、加速度センサ１５、マイク１６及び車両インターフェース１７と処理部９とを接続するインターフェース１と、により構成されている。また処理部９は、画像処理部３と、記録部４と、により構成されている。これら画像処理部３及び記録部４は、処理部９を構成する上記ＣＰＵ等を含むハードウェアロジック回路により実現されてもよいし、後述する実施例に係る表示画像データの記録処理に相当するプログラムを当該ＣＰＵが読み出して実行することにより、ソフトウェア的に実現されるものであってもよい。
　このとき、インターフェース１が実施形態に係る画像情報取得手段１の一例及び状態情報取得手段２の一例にそれぞれ相当し、画像処理部３が実施形態に係る表示用情報取得手段３の一例に相当する。また、記録部４が実施形態に係る記録手段４の一例に相当し、メモリＳＤが実施形態に係る記録手段ＳＤの一例に相当する。そして図２に破線で示すように、インターフェース１、画像処理部３及び記録部４により、実施形態に係る情報記録装置Ｓの一例を構成している。また、インターフェース１が本願に係る「規則情報取得手段」の一例に相当し、画像処理部３が本願に係る「状態検出手段」の一例及び「判定手段」の一例にそれぞれ相当する。
　以上の構成において操作部１１は、ドライブレコーダＤＲの一部に操作ボタンやタッチパネル等により構成されており、使用者による操作を受け付けて当該操作に対応する操作信号を処理部９に出力する。またディスプレイ１８は、処理部９の制御の下、ドライブレコーダＤＲの機能として使用者に提示すべき情報を、例えば画像又はアイコン等を用いて表示する。更にスピーカ１９は、処理部９の制御の下、ドライブレコーダＤＲの機能発揮のために必要な上記操作案内音声等を放音する。
　次にカメラ１２は、自車両の移動方向前方を含む周囲をその撮像範囲としている。そしてカメラ１２は、当該撮像範囲内を撮像した周囲画像に相当する撮像データを生成し、インターフェース１を介して処理部９の画像処理部３に出力する。一方地図データ記録部１３は、地図データとして、一般的な道路データや交差点データに加えて、各道路又は交差点等における交通規則又は交通規制の内容を示す規則データを記録している。なお以下の説明において、上記交通規則又は上記交通規制を、単に「交通規則等」と称する。そして地図データ記録部１３は、画像処理部３からの要求に応じて、インターフェース１を介して当該規則データ等を当該画像処理部３に出力する。
　一方ＧＰＳセンサ１４は、図示しない航法衛星からの航法電波を受信した結果に基づいて、ドライブレコーダＤＲの現在位置を示す位置データを、インターフェース１を介して画像処理部３に出力する。ここで当該ドライブレコーダＤＲの現在位置は、換言すれば自車両の現在位置でもある。次に加速度センサ１５は、自車両に印加される加速度を、例えば自車両の進行方向、左右方向及び鉛直方向についてそれぞれ検出し、その検出結果としての加速度データを、インターフェース１を介して画像処理部３に出力する。
　他方マイク１６は、自車両の例えば車内の音又は音声を集音し、その集音結果としての音声データを、インターフェース１を介して画像処理部３に出力する。このとき、マイク１６が自車両の車外の音又は音声を集音できるものであってもよい。そして車両インターフェース１７は、例えばＣＡＮ（Controller Area Network）等の車内ネットワークを介して、自車両に備えられている装備品（特に電装品）の動作状態を示す状態データを取得し、インターフェース１を介して画像処理部３に出力する。このとき当該電装品には、例えば、自車両のクラクション、ウインカ、ワイパ、ブレーキ等が含まれる。なおウインカについては、右ウインカ及び左ウインカそれぞれの動作状態を示す状態データが、別個に取得される。次に画像データ記録部１０には、上記交通規則等に対応する交通標識を表示するための標識画像データや、上記装備品それぞれの動作状態を示す状態画像データ等が予め記録されている。そして画像データ記録部１０は、画像処理部３からの要求に応じて、当該標識画像データ及び当該状態画像データを出力する。
　これらにより画像処理部３及び記録部４は、インターフェース１を介してそれぞれ取得された上記撮像データ及び上記状態データ等と、画像データ記録部１０に記録されている標識画像データ及び状態画像データと、を用い、操作部１１における操作の内容に基づいて、実施例に係る表示画像データの記録処理を行う。このとき記録部４は、画像処理部３から出力された表示画像データをメモリＳＤに記録する。この場合に記録部４は、当該表示画像データを汎用のフォーマットによりメモリＳＤに記録する。なお上記汎用のフォーマットとは、例えば、ＭＰ４（Moving Picture 4）フォーマット、ＡＶＩ（Audio video Interleave）フォーマット又はＭＯＶフォーマット等である。また画像処理部３及び記録部４は、上記表示画像データのメモリＳＤへの記録と並行して、対応する表示画像データに同期させて上記音声データをメモリＳＤに記録する。そしてメモリＳＤに記録された表示画像データ及び音声データ等は、例えば事故等の事後検証等時に、外部の図示しない再生装置等により表示又は再生される。
　次に、上述した構成を備える実施例に係るドライブレコーダＤＲにおいて画像処理部３を中心として実行される、実施例に係る表示画像データの記録処理について、図２乃至図４を用いて説明する。
　実施例に係る表示画像データの記録処理は、例えば、ドライブレコーダＤＲの電源スイッチがオンとされたタイミングで開始される。そして図３（ａ）にその全体を示すように、実施例に係る表示画像データの記録処理において画像処理部３は、初めに、インターフェース１を介して上記撮像データ及び上記状態データ等をそれぞれ取得し、それらに基づいて、自車両前方の状況や自車両の現在位置等の状態等を検出する（ステップＳ１０）。そして画像処理部３は、ステップＳ１０で検出された状態等に基づいて、メモリＳＤに記録する表示画像データの生成処理等を行う（ステップＳ２０）。そして画像処理部３は、記録部４を用いて、ステップＳ２０で生成された表示画像データを、上記汎用のフォーマットによりメモリＳＤに記録する（ステップＳ３０）。この場合に記録部４は、上記撮像データと、上記状態データ及び上記標識画像データと、を、表示画像データとして別個のレイヤとして記録するように構成してもよいし、又は、上記状態データ及び上記標識画像データを上記撮像データに埋め込んだ表示画像データを記録するように構成してもよい。その後画像処理部３は、ドライブレコーダＤＲの上記電源スイッチがオフとされる等により実施例に係る表示画像データの記録処理を修了するか否かを判定する（ステップＳ４０）。ステップＳ４０の判定において当該記録処理を終了する場合（ステップＳ４０：ＹＥＳ）、画像処理部３は、そのまま当該処理を終了する。一方ステップＳ４０の判定において、当該記録処理を継続する場合（ステップＳ４０：ＮＯ）、画像処理部３は上記ステップＳ１に戻って、上述してきた各処理を繰り返す。なお画像処理部３は、上記ステップＳ１０乃至ステップＳ３０の処理を、予め設定された時間（例えば、１分乃至数分）ごとに、それ以前の表示画像データ等を消去しつつ、巡回的（サイクリック）に実行するように構成してもよい。
　次に、上記ステップＳ１０の状態等検出処理の詳細について、具体的に図３（ｂ）を用いて説明する。
　図３（ｂ）に示すように、ステップＳ１０の状態等検出処理として画像処理部３は、初めに、カメラ１２を用いたその撮像範囲内の撮像結果に対応する撮像データと、マイク１６を用いた集音結果に対応する音声データと、を、インターフェース１を介してそれぞれ取得する（ステップＳ１１）。次に画像処理部３は、ステップＳ１１で取得した撮像データに基づいて、自車両の前方に他の車両が存在しているか否かを、例えば既定の画像解析法により検出する。なお以下の説明において、撮像データに映っている上記他の車両を、単に「他車両」と称する。これに加えて画像処理部３は、上記他車両におけるヘッドライト（前照灯）の点灯状況及び当該他車両の速度を、上記撮像データに基づいて検出する（ステップＳ１２）。
　次に画像処理部３は、地図データ記録部１３からの上記規則データに基づいて、対応する道路データや交差点データが当該地図データ記録部１３に記録されている道路や交差点についての交通規則等を検出する（ステップＳ１３）。このとき画像処理部３は、ＧＰＳセンサ１４からの上記位置データを用いて、自車両の前方にある道路や交差点についての交通規則等を検出してもよいし、現在時刻に適用される交通規則等を検出するようにしてもよい。更に画像処理部３は、ステップＳ１２で検出した他車両の状態（例えばその速度等）と、ステップＳ１３で検出した交通規則等と、に基づいて、それが移動中の道路について他車両が交通規則違反をしているか否かを検出する（ステップＳ１４）。このステップＳ１４として例えば画像処理部３は、一時停止が指定されている交差点に進入する速度が時速ゼロキロメートルより大きい有意の値である場合や、自車両の前方で交差する道路を移動する他車両がその道路についての最高速度より速い速度で移動している場合に、当該他車両が交通規則違反をしていると検出する。
　次に画像処理部３は、上記位置データを用いて自車両の現在位置及び速度を検出すると共に、加速度センサ１５からの上記加速度データに基づいて、自車両における急加速、急減速、及び急ハンドルの状態を検出する（ステップＳ１５）。次に画像処理部３は、車両インターフェース１７を介して取得した上記状態データに基づいて、自車両の上記電装品の動作状態を、当該電装品ごとに検出する（ステップＳ１６）。その後画像処理部３は、図３（ａ）に示すステップＳ２０に移行する。
　次に、上記ステップＳ２０の表示画像データ生成処理の詳細について、具体的に図３（ｃ）を用いて説明する。
　図３（ｃ）に示すように、ステップＳ２０の表示画像データ生成処理として画像処理部３は、初めに、ステップＳ１１で取得した撮像データに対応する撮像範囲に映っている道路又は交差点についての交通標識を表示するための上記標識画像データと、ステップＳ１６で検出された動作状態を示す上記状態画像データと、を画像データ記録部１０から取得する（ステップＳ２１）。次に画像処理部３は、ステップＳ２１で取得した標識画像データについて、ステップＳ１１で取得した撮像データに映っている道路等の状態に基づいて、表示上のその形状を変形させる（ステップＳ２２）。より具体的に画像処理部３は、例えば自車両が移動中の道路（当該道路は、通常、カメラ１２の撮像範囲内を手前から奥側に向かって延びるように映っている）の最高速度を示す交通標識を、自車両から正面視した状態で表示するようにする。また例えば、自車両が移動する道路に対して前方の交差点で交差する道路（通常当該交差道路は、カメラ１２の撮像範囲内を左又は右から中央に向かって延びるように映っている）の最高速度を示す交通標識や一旦停止標識等は、その交差道路の位置及び自車両が移動する道路との関係に応じて、自車両から斜視した状態で表示するように変形する。
　次に画像処理部３は、ステップＳ２２で表示上の形状を変形させた各交通標識について、表示画像内の表示位置を調整した上で当該交通標識等に対応するシンボル画像を取得する（ステップＳ２３）。より具体的に画像処理部３は、例えば、撮像範囲内に他車両が映っている場合は、当該他車両の表示画像内の表示位置を外して表示するように当該交通標識等の表示位置を調整し、当該交通標識等に対応するシンボル画像を取得する。その後画像処理部３は、ステップＳ２３で表示位置が調整された交通標識等を含む表示画像データを、上記ステップＳ１４で検出された交通規則の状態等に基づいて生成し、当該生成された表示画像データを記録部４に出力する（ステップＳ２４）。その後画像処理部３は上記ステップＳ３０に移行する。
　次に、図３を用いて説明した実施例に係る表示画像データの記録処理の結果としてメモリＳＤに記録される画像について、図４を用いて説明する。
　先ず図４（ａ）に示すように、前方に十字交差点がある道路を自車両が移動している場合に対応する表示画像Ｇとしては、カメラ１２で撮像された前方の画像に重畳して、移動中の道路に対応する車線表示Ｌ及び車線表示Ｒが表示される。また、前方の交差点に右から近付いて来る他車両Ｃが映っている場合（図３（ｂ）ステップＳ１２参照）、当該他車両Ｃの存在及びその位置を示す車両表示２３が表示される。また、自車両が移動する道路及び上記交差点で交差する道路について、それぞれの最高速度を示す交通標識に相当する交通標識表示２０及び交通標識表示２１と、当該交差する道路についての交通規則等を示す交通標識表示２２（図４（ａ）に例示する場合は、一旦停止標識の表示）が、それぞれの道路の位置に対応する表示画像Ｇ内の位置に表示される。またこのとき、交差する道路に対応する交通標識表示２１及び交通標識表示２２については、自車両から斜視した態様で表示される（図３ステップＳ１３、ステップＳ２２及びステップＳ２３参照）。
　これらに加えて、自車両の速度を示す速度表示３０が表示される。このとき、当該速度が、自車両が移動する道路における最高速度以下である場合は（図３ステップＳ１３及びステップＳ１４参照）、速度表示３０の枠３０Ａ及び引出線３０Ｂが交通規則違反ではないことを示す色（例えば緑色）とされて表示される。なお、上記速度表示３０並びに枠３０Ａ及び引出線３０Ｂをそれぞれ表示するための各画像データは、画像データ記録部１０に予め記録されている。
　これに対し、他車両Ｃが撮像範囲内に存在する場合においては、当該他車両Ｃの速度を示す速度表示３１が表示される。このとき、当該速度が、他車両が移動する道路における最高速度（図４に例示する場合は時速３０キロメートル）より速い場合（即ち、当該他車両が速度超過である場合。図３ステップＳ１３及びステップＳ１４参照。）、速度表示３１の枠３１Ａ及び引出線３１Ｂが交通規則違反である旨を示す色（例えば赤色）とされて表示される。なお、上記速度表示３１並びに枠３１Ａ及び引出線３１Ｂをそれぞれ表示するための各画像データも、画像データ記録部１０に予め記録されている。
　次に、図４（ａ）に例示する状態から自車両が更に移動して、他車両Ｃが右から進入しようとする上記交差点に接近した場合であって、当該他車両Ｃが一旦停止せずに当該交差点に進入している場合における表示画像Ｇについて、図４（ｂ）を用いて説明する。即ち当該場合には図４（ｂ）に例示するように、図４（ａ）で示した車線表示Ｌ及び車線表示Ｒ並びに交通標識表示２０、交通標識表示２１及び交通標識表示２２が、引き続き、それぞれの道路の位置に対応する表示画像Ｇ内の位置に表示される（図３ステップＳ１３、ステップＳ２２及びステップＳ２３参照）。このとき、他車両Ｃが進入してくる道路についての交通標識表示２１（表示画像Ｇの右側に表示されている）及び交通標識表示２２については、他車両Ｃの画像に重ならないように、その表示位置が調整されて表示される（図３ステップＳ２３参照）。
　これらに加えて、他車両Ｃが一旦停止を怠って進入して来ていることが検出された場合（図３ステップＳ１２、ステップＳ１３及びステップＳ１４参照）、その旨を示す警告表示３２が、交通規則違反である旨を示す色（例えば赤色）の枠３２Ａ及び引出線３２Ｂと共に表示される。なお、上記警告表示３２並びに枠３２Ａ及び引出線３２Ｂをそれぞれ表示するための各画像データも、画像データ記録部１０に予め記録されている。更に図４（ｂ）に示す場合は、他車両Ｃの交差点への進入に伴って自車両のクラクションが鳴動されたことが検出されている場合（図３ステップＳ１６参照）、その旨を示すクラクション表示Ｋが、当該クラクションが鳴動されたタイミングの表示画像Ｇ内の例えば下辺の位置に表示される。
　なお、図４（ｂ）に例示する場合に限らず、自車両のウインカが動作していることが検出されている場合（図３ステップＳ１６参照）、その旨を示すウインカ表示ＷＬ及びウインカ表示ＷＲが、当該ウインカが動作したタイミングの表示画像Ｇ内の例えば下辺の位置に、左右別に表示される。また同様に、自車両のヘッドライトが点灯されていることが検出されている場合（図３ステップＳ１６参照）、その旨を示すヘッドライト表示ＬＴが、当該ヘッドライトが点灯されている間に、継続して表示画像Ｇ内の例えば下辺の位置に表示される。
　また、上記クラクション表示Ｋ、上記ウインカ表示ＷＬ及び上記ウインカ表示ＷＲ並びに上記ヘッドライト表示ＬＴについては、自車両の前方の状況の認識の妨げとならず、且つ他の交通標識表示２０等や警告表示３２と重ならない表示画面Ｇ内の位置に表示される（図３ステップＳ２３）。更に、上記クラクション表示Ｋ、上記ウインカ表示ＷＬ及び上記ウインカ表示ＷＲ並びに上記ヘッドライト表示ＬＴをそれぞれ表示するための各画像データも、画像データ記録部１０に予め記録されている。
　以上それぞれ説明したように、実施例に係る動作によれば、自車両からその前方を含む周囲を撮像した周囲画像と、自車両の装備品の動作状態と、に基づき、周囲画像の撮像時刻における装備品の動作状態を示すクラクション表示Ｋ等を周囲画像と共に表示するための表示画像データをメモリＳＤに記録するので、自車両の周囲の状況等を事後的に確認する場合等において、装備品の動作状態と共に当該状況等を確認等することが可能な表示画像データをメモリＳＤに記録することができる。
　また、対応する周囲画像内の位置にクラクション表示Ｋ等を埋め込んで表示画像データを生成する場合は、装備品の動作状態と周囲の状況等とを容易に対応付けて確認可能に表示するための表示画像データをメモリＳＤに記録することができる。
　更に、自車両の周囲又はその移動に関連する交通規則の内容を示す交通標識表示２０等を周囲画像内の対応する位置に表示するための表示画像データを記録するので、装備品の動作状態と、関連する交通規則の内容を含む周囲の状況等と、を容易に対応付けて確認可能に表示するための表示画像データをメモリＳＤに記録することができる。
　更にまた、自車両が移動する道路に関連する交通規則の内容を示す交通標識表示２０を表示する場合には当該交通標識表示２０を自車両から正面視した態様で表示し、交差する道路に関連する交通規則の内容を示す交通標識表示２１及び交通標識表示２２を表示する場合には当該交通標識表示２１及び交通標識表示２２を自車両から斜視した態様で表示する（図４参照）。よって、自車両が移動する道路に関連する交通規則と、交差する道路に関連する交通規則と、を区別して視認し易い状態で表示するための表示画像データをメモリＳＤに記録することができる。
　また、周囲画像に映った他車両Ｃの状態を示す車両表示２３及び警告表示３２等を対応する位置に表示するための表示画像データを記録するので（図４参照）、装備品の動作状態と、他車両Ｃの状態を含む周囲の状況等と、を容易に対応付けて確認可能に表示するための表示画像データをメモリＳＤに記録することができる。
　更に、他車両Ｃの状態が交通規則に違反する状態であるか否かを判定し（図３ステップＳ１４参照）、交通規則に違反すると判定された状態を示す速度表示３１（枠３１Ａ及び引出線３１Ｂ）並びに警告表示３２（枠３２Ａ及び引出線３２Ｂ）を、交通規則に違反しないと判定された状態を示す表示（例えば、枠３０Ａ及び引出線３０Ｂを含む速度表示３０）に対して識別可能にそれぞれ表示するので、装備品の動作状態と、他車両Ｃの状態が交通規則に違反するか否かを含む周囲の状況等と、を容易に対応付けて確認可能に表示するための表示画像データをメモリＳＤに記録することができる。
　更にまた、自車両の周囲を自車両から撮像した動画像を周囲画像として取得する場合は、自車両の周囲の状況等を事後的に確認する場合等において、装備品の動作状態と共に動画像として当該状況等を確認等することが可能な表示画像データをメモリＳＤに記録することができる。
　また、動作状態が検出される自車両の装備品が、クラクション、ライト、ウインカ又はワイパの少なくともいずれかであるその電装品であるので、自車両の周囲の状況等を事後的に確認する場合等において、クラクション等の電装品の動作状態と共に当該状況等を確認等することが可能となるように表示画像データをメモリＳＤに記録することができる。
　更に、メモリＳＤへの表示画像データの記録が汎用のフォーマットを用いて行われるので、表示画像データ自体の再生又は表示における汎用性を高めることができる。
　なお上述した実施例におけるクラクション表示Ｋ等に加えて、ワイパの動作状態を示すワイパ表示を表示画面Ｇ内に表示させてもよい。この場合は、雨天時に発生した事故等の事後検証に有益な表示画像データをメモリＳＤに記録することができる。更に上記撮像データに基づいて検出された（図３ステップＳ１２参照）、上記他車両におけるヘッドライトの点灯状況を示す表示を表示画面Ｇ内に表示させてもよい。この場合は、当該他車両のヘッドライトの点灯状態をも、上記事後検証に使用可能にメモリＳＤに記録することができる。
　また、表示画像データのメモリＳＤへの記録を開始するタイミングについては、例えば、周囲画像内に映っているいずれかの他車両の状態が交通規則に違反すると判定されたタイミングから（図３ステップ１４参照）、それまでに撮像されて一時的に画像処理部３内のＲＯＭ等に記録されていた表示画像Ｇに相当する表示画像データのメモリＳＤへの記録を開始するように構成してもよい。この場合には、事後的な確認等のために最小限必要な表示画像データを記録することで、メモリＳＤを節約しつつ、必要な表示画像データを記録することができる。更に、当該記録開始タイミングの他の例としては、加速度センサ１５からの上記加速度データにより、自車両の急減速、急加速、または急ハンドルが検出されたタイミングから、画像処理部３内の上記ＲＯＭ等に記録されていた表示画像Ｇに相当する表示画像データのメモリＳＤへの記録を開始するように構成してもよい。
　更にまた上述した実施例では、標識画像データ等が予め画像データ記録部１０に記録されており、これらを取得して表示画像データを生成する場合に対説明したが、これ以外に、必要の都度交通標識表示２０等を生成して周囲画像に重畳するように構成してもよい。
　また上述した実施例では、車両に搭載されたドライブレコーダＤＲに対して実施形態を適用した場合について説明したが、これ以外に、自動二輪車や自転車に搭載されたドライブレコーダに対して実施形態を適用することも可能である。
　更に、図３にそれぞれ示したフローチャートに相当するプログラムを、光ディスク又はハードディスク等の記録媒体に記録しておき、或いはインターネット等のネットワークを介して取得しておき、これを汎用のマイクロコンピュータ等に読み出して実行することにより、当該マイクロコンピュータ等を実施例に係る画像処理部３として機能させることも可能である。
　１　　画像情報取得手段（インターフェース）
　２　　状態情報取得手段
　３　　表示用情報取得手段（画像処理部）
　４　　記録手段（記録部）
　１２　　カメラ
　１３　　地図データ記録部
　１４　　ＧＰＳセンサ
　１５　　加速度センサ
　１６　　マイク
　１７　　車両インターフェース
　２０、２１、２２　　交通標識表示
　２３　　車両表示
　３０、３１　　速度表示
　３０Ａ、３１Ａ、３２Ａ　　枠
　３１Ｂ、３１Ｂ、３２Ｂ　　引出線
　３２　　警告表示
　Ｓ　　情報記録装置
　Ｇ　　表示画像
　Ｌ、Ｒ　　車線表示
　Ｃ　　他車両
　Ｋ　　クラクション表示
　ＤＲ　　ドライブレコーダ
　ＳＤ　　記録媒体（記録手段）
　ＷＬ、ＷＲ　　ウインカ表示
　ＬＴ　　ヘッドライト表示

Claims (11)

  1. 　移動体の周囲を当該移動体から撮像した周囲画像に相当する周囲画像情報を取得する画像情報取得手段と、
    　前記移動体の装備品の動作状態を示す状態情報を取得する状態情報取得手段と、
    　前記周囲画像情報及び前記状態情報に基づいて、前記周囲画像の撮像時刻における前記動作状態を示す動作状態画像を前記周囲画像と共に表示するための表示用情報を取得する表示用情報取得手段と、
    　前記周囲画像情報及び前記表示用情報に対応する表示画像情報を記録媒体に記録する記録手段と、
    　を備えることを特徴とする情報記録装置。
  2. 　請求項１に記載の情報記録装置において、
    　前記表示用情報取得手段は、対応する前記周囲画像内の位置に前記動作状態画像を埋め込んで表示するための前記表示用情報を取得することを特徴とする情報記録装置。
  3. 　請求項１又は請求項２に記載の情報記録装置において、
    　前記周囲又は前記移動体の移動に関連する交通規則を示す規則情報を取得する規則情報取得手段を更に備え、
    　前記表示用情報取得手段は、前記取得された規則情報により示される前記交通規則の内容を示すシンボル画像を前記周囲画像内の対応する位置に表示するための前記表示用情報を取得することを特徴とする情報記録装置。
  4. 　請求項３に記載の情報記録装置において、
    　前記表示用情報取得手段は、
    　前記移動体が移動する移動路に関連する前記交通規則の内容を示す前記シンボル画像を表示する場合には、当該シンボル画像を前記移動体から正面視した態様で表示するための前記表示用情報を取得し、
    　前記移動路に交差する交差路に関連する前記交通規則の内容を示す前記シンボル画像を表示する場合には、当該シンボル画像を前記移動体から斜視した態様で表示するための前記表示用情報を取得することを特徴とする情報記録装置。
  5. 　請求項１から請求項４のいずれか一項に記載の情報記録装置において、
    　前記周囲画像に映った他の移動体の状態を検出する状態検出手段を更に備え、
    　前記表示用情報取得手段は、前記検出された状態を示す検出状態画像を前記周囲画像内の対応する位置に表示するための前記表示用情報を取得することを特徴とする情報記録装置。
  6. 　請求項５に記載の情報記録装置において、
    　前記検出された状態が交通規則に違反する状態であるか否かを判定する判定手段を更に備え、
    　前記表示用情報取得手段は、前記交通規則に違反すると判定された前記状態を示す前記検出状態画像と、前記交通規則に違反しないと判定された前記状態を示す前記検出状態画像と、を識別可能な態様でそれぞれ表示するための前記表示用情報を取得することを特徴とする情報記録装置。
  7. 　請求項６に記載の情報記録装置において、
    　前記表示用情報取得手段は、いずれかの前記他の移動体の前記状態が前記交通規則に違反すると判定された場合に、前記表示用情報の取得を開始することを特徴とする情報記録装置。
  8. 　請求項１から請求項７のいずれか一項に記載の情報記録装置において、
    　前記画像情報取得手段は、前記周囲を前記移動体から撮像した動画像に相当する動画像情報を前記周囲画像情報として取得することを特徴とする情報記録装置。
  9. 　請求項１から請求項８のいずれか一項に記載の情報記録装置において、
    　前記状態情報取得手段は、前記装備品として、クラクション、ライト、方向指示器又はワイパの少なくともいずれかである前記移動体の電装品の前記動作状態を示す前記状態情報を取得することを特徴とする情報記録装置。
  10. 　画像情報取得手段と、状態情報取得手段と、表示用情報取得手段と、記録手段と、を備える情報記録装置において実行される情報記録方法であって、
    　移動体の周囲を当該移動体から撮像した周囲画像に相当する周囲画像情報を前記画像情報取得手段により取得する画像情報取得工程と、
    　前記移動体の装備品の動作状態を示す状態情報を前記状態情報取得手段により取得する状態情報取得工程と、
    　前記周囲画像情報及び前記状態情報に基づいて、前記周囲画像の撮像時刻における前記動作状態を示す動作状態画像を前記周囲画像と共に表示するための表示用情報を前記表示用情報取得手段により取得する表示用情報取得工程と、
    　前記周囲画像情報及び前記表示用情報に対応する表示画像情報を前記記録手段により記録媒体に記録する記録工程と、
    　を含むことを特徴とする情報記録方法。
  11. 　情報記録装置に含まれるコンピュータを、
    　移動体の周囲を当該移動体から撮像した周囲画像に相当する周囲画像情報を取得する画像情報取得手段、
    　前記移動体の装備品の動作状態を示す状態情報を取得する状態情報取得手段、
    　前記周囲画像情報及び前記状態情報に基づいて、前記周囲画像の撮像時刻における前記動作状態を示す動作状態画像を前記周囲画像と共に表示するための表示用情報を取得する表示用情報取得手段、及び、
    　前記周囲画像情報及び前記表示用情報に対応する表示画像情報を記録媒体に記録する記録手段、
    　として機能させることを特徴とする情報記録用プログラム。
PCT/JP2018/003359 2017-02-14 2018-02-01 情報記録装置、情報記録方法及び情報記録用プログラム WO2018150888A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018568100A JP6767518B2 (ja) 2017-02-14 2018-02-01 情報記録装置、情報記録方法及び情報記録用プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-025265 2017-02-14
JP2017025265 2017-02-14

Publications (1)

Publication Number Publication Date
WO2018150888A1 true WO2018150888A1 (ja) 2018-08-23

Family

ID=63170606

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/003359 WO2018150888A1 (ja) 2017-02-14 2018-02-01 情報記録装置、情報記録方法及び情報記録用プログラム

Country Status (2)

Country Link
JP (4) JP6767518B2 (ja)
WO (1) WO2018150888A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020061079A (ja) * 2018-10-12 2020-04-16 トヨタ自動車株式会社 交通違反車両識別システム、サーバ、及び車両制御プログラム
JP2022506565A (ja) * 2018-11-12 2022-01-17 フン キム，ヨン 実時間で相対車両の速度及び距離を分析及び保存するイベント検知システム
JP7243478B2 (ja) 2019-06-24 2023-03-22 トヨタ自動車株式会社 車両用情報記録装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4322133A1 (en) * 2021-05-17 2024-02-14 Nippon Telegraph And Telephone Corporation Determination device, determination method, and determination program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000128030A (ja) * 1998-10-19 2000-05-09 Niles Parts Co Ltd 車両情報データの記憶装置
JP2002127948A (ja) * 1998-11-30 2002-05-09 Tuner Kk 車載用画像記録システム
JP2004352116A (ja) * 2003-05-29 2004-12-16 Mitsubishi Electric Corp 車両及び運転者の挙動解析システム
JP2009020089A (ja) * 2007-06-12 2009-01-29 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP2012238147A (ja) * 2011-05-11 2012-12-06 Suzuki Motor Corp 運転支援装置
JP2015104930A (ja) * 2013-11-28 2015-06-08 株式会社デンソー ヘッドアップディスプレイ装置
US20160153801A1 (en) * 2014-12-01 2016-06-02 Thinkware Corporation Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
JP2016210212A (ja) * 2015-04-30 2016-12-15 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003002256A (ja) * 2001-06-22 2003-01-08 Matsushita Electric Ind Co Ltd 車両用ドライブレコーダ
JP6741582B2 (ja) * 2014-03-19 2020-08-19 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 車両の事故データメモリーへのカメラの画像データを保存するための方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000128030A (ja) * 1998-10-19 2000-05-09 Niles Parts Co Ltd 車両情報データの記憶装置
JP2002127948A (ja) * 1998-11-30 2002-05-09 Tuner Kk 車載用画像記録システム
JP2004352116A (ja) * 2003-05-29 2004-12-16 Mitsubishi Electric Corp 車両及び運転者の挙動解析システム
JP2009020089A (ja) * 2007-06-12 2009-01-29 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP2012238147A (ja) * 2011-05-11 2012-12-06 Suzuki Motor Corp 運転支援装置
JP2015104930A (ja) * 2013-11-28 2015-06-08 株式会社デンソー ヘッドアップディスプレイ装置
US20160153801A1 (en) * 2014-12-01 2016-06-02 Thinkware Corporation Electronic apparatus, control method thereof, computer program, and computer-readable recording medium
JP2016210212A (ja) * 2015-04-30 2016-12-15 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020061079A (ja) * 2018-10-12 2020-04-16 トヨタ自動車株式会社 交通違反車両識別システム、サーバ、及び車両制御プログラム
JP7218535B2 (ja) 2018-10-12 2023-02-07 トヨタ自動車株式会社 交通違反車両識別システム及びサーバ
JP2022506565A (ja) * 2018-11-12 2022-01-17 フン キム，ヨン 実時間で相対車両の速度及び距離を分析及び保存するイベント検知システム
JP7187080B2 (ja) 2018-11-12 2022-12-12 フン キム，ヨン 実時間で相対車両の速度及び距離を分析及び保存するイベント検知システム
JP7243478B2 (ja) 2019-06-24 2023-03-22 トヨタ自動車株式会社 車両用情報記録装置

Also Published As

Publication number Publication date
JP2024036362A (ja) 2024-03-15
JP6767518B2 (ja) 2020-10-14
JP2022140530A (ja) 2022-09-26
JPWO2018150888A1 (ja) 2019-11-21
JP2020205108A (ja) 2020-12-24

Similar Documents

Publication Publication Date Title
WO2018150888A1 (ja) 情報記録装置、情報記録方法及び情報記録用プログラム
JP5499277B2 (ja) 危険運転予防意識判定システムおよび危険運転予防意識判定方法
JP6534103B2 (ja) 記録装置および画像再生方法
JP2017517041A (ja) 車両の事故データメモリーへのカメラの画像データを保存するための方法
JP2012155516A (ja) 車両挙動記録システム
CN110998409A (zh) 增强现实眼镜、确定增强现实眼镜的姿态的方法、适于使用该增强现实眼镜或方法的机动车
JP2016139233A (ja) 運行記録装置、運行記録システム、及び運行管理システム
WO2020054114A1 (ja) 映像記録制御装置、映像記録システム、映像記録方法、および映像記録制御プログラム
JP5090891B2 (ja) 安全運転教示システム
JP2008002910A (ja) ドライブ記録装置およびドライブ記録方法
JP2021176107A (ja) ドライブレコーダ、接近検知方法、及び接近検知プログラム
JP2019074862A (ja) 推奨運転出力装置、推奨運転出力システム、及び推奨運転出力方法
US11302123B2 (en) Information recording device, information recording method, and program for recording information
JP2019121314A (ja) 判定装置、情報記録装置、判定方法、及び判定用プログラム
JP2020031311A (ja) 車載カメラ設定方法および車載システム
JP7255257B2 (ja) 記録再生制御装置、記録再生制御方法、およびプログラム
CN217238939U (zh) 一种支持交通信号灯识别和行车记录的车载ar导航系统
CN112669612B (zh) 图像录制、回放方法、装置及计算机系统
Li et al. Rear-end collision prevention using mobile devices
US20220398788A1 (en) Vehicle Surroundings Information Displaying System and Vehicle Surroundings Information Displaying Method
JP2024025513A (ja) 運転教育システム、サーバ及び管理端末用のプログラム
JP6568406B2 (ja) ドライブレコーダ
JP2023019827A (ja) システム、情報処理方法及びプログラム等
Slavík Automated Analysis of Advanced Driver Assistance Systems (ADAS) Behavior
KR20200041404A (ko) 교차로 분석 시스템 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18754687

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018568100

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18754687

Country of ref document: EP

Kind code of ref document: A1