WO2021140720A1 - 映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム - Google Patents

映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム Download PDF

Info

Publication number
WO2021140720A1
WO2021140720A1 PCT/JP2020/039379 JP2020039379W WO2021140720A1 WO 2021140720 A1 WO2021140720 A1 WO 2021140720A1 JP 2020039379 W JP2020039379 W JP 2020039379W WO 2021140720 A1 WO2021140720 A1 WO 2021140720A1
Authority
WO
WIPO (PCT)
Prior art keywords
bird
eye view
unit
view image
vehicle
Prior art date
Application number
PCT/JP2020/039379
Other languages
English (en)
French (fr)
Inventor
康利 酒井
啓太 林
紘史 谷山
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2021140720A1 publication Critical patent/WO2021140720A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to a video playback device, a recording / playback device, a video playback method, and a video playback program.
  • Patent Document 1 Conventionally, there is known a device that displays or records an image taken by a camera for a bird's-eye view image of a vehicle as an image for a drive recorder (see, for example, Patent Document 1).
  • the bird's-eye view image as described in Patent Document 1 is generated by synthesizing a plurality of images that have undergone viewpoint conversion processing.
  • the images may be distorted at the boundary of the composition and may not be displayed properly.
  • an image showing the event may be displayed on or near the boundary as described above, and the event status may not be confirmed properly. ..
  • the present disclosure has been made in view of the above, and provides a video playback device, a recording / playback device, a video playback method, and a video playback program capable of appropriately confirming the status of an event using a bird's-eye view video.
  • the purpose is to be described in detail below.
  • the video reproduction device acquires a plurality of shooting data taken by a plurality of cameras that shoot the surroundings of the vehicle based on an event generated for the vehicle, and information indicating an event detection direction for the vehicle.
  • the information acquisition unit and the plurality of shooting data acquired by the information acquisition unit are subjected to viewpoint conversion processing as seen from above the vehicle, and the boundary at which the plurality of images are combined is set according to the event detection direction.
  • It includes a bird's-eye view image generation unit that generates a bird's-eye view image that has been changed and synthesized, and a playback control unit that displays the bird's-eye view image generated by the bird's-eye view image generation unit on the display unit.
  • the recording / playback device includes an event detection unit that detects an event for the vehicle based on the acceleration applied to the vehicle, and a plurality of cameras that photograph the surroundings of the vehicle based on the event detected by the event detection unit. A plurality of shooting data taken, an information acquisition unit that acquires information indicating an event detection direction for the vehicle, and a plurality of shootings for a predetermined period regarding the detected event when the event detection unit detects an event for the vehicle.
  • the recording control unit that records the data and the plurality of shooting data recorded by the recording control unit are subjected to viewpoint conversion processing as seen from above the vehicle, and the boundary at which the plurality of images are combined is detected as an event.
  • It includes a bird's-eye view image generation unit that generates a bird's-eye view image that is changed according to the direction and synthesized, and a playback control unit that displays the bird's-eye view image generated by the bird's-eye view image generation unit on the display unit.
  • the video reproduction method acquires a plurality of shooting data taken by a plurality of cameras that shoot the surroundings of the vehicle based on an event generated for the vehicle, and information indicating an event detection direction for the vehicle.
  • the information acquisition step to be performed and the plurality of shooting data acquired in the information acquisition step are subjected to viewpoint conversion processing as seen from above the vehicle, and the boundary for synthesizing the plurality of images is determined according to the event detection direction. It includes a bird's-eye view image generation step of generating a bird's-eye view image that has been changed and synthesized, and a playback control step of displaying the bird's-eye view image generated in the bird's-eye view image generation step on the display unit.
  • the video reproduction program acquires a plurality of shooting data taken by a plurality of cameras that shoot the surroundings of the vehicle based on an event generated for the vehicle, and information indicating an event detection direction for the vehicle.
  • the information acquisition step to be performed and the plurality of shooting data acquired in the information acquisition step are subjected to viewpoint conversion processing as seen from above the vehicle, and the boundary for synthesizing the plurality of images is determined according to the event detection direction.
  • the computer is made to execute a bird's-eye view image generation step of generating a bird's-eye view image that has been changed and synthesized, and a playback control step of displaying the bird's-eye view image generated in the bird's-eye view image generation step on the display unit.
  • the situation of the event can be appropriately confirmed using the bird's-eye view video.
  • FIG. 1 is a block diagram showing an example of a recording / reproducing device according to the first embodiment of the present disclosure.
  • FIG. 2 is an explanatory diagram showing an example of a bird's-eye view image.
  • FIG. 3 is a diagram showing an example of a bird's-eye view image in which a part of the composite boundary is changed.
  • FIG. 4 is a diagram showing another example of a bird's-eye view image in which a part of the composite boundary is changed.
  • FIG. 5 is a diagram showing another example of a bird's-eye view image in which a part of the composite boundary is changed.
  • FIG. 6 is a diagram showing another example of a bird's-eye view image in which a part of the composite boundary is changed.
  • FIG. 1 is a block diagram showing an example of a recording / reproducing device according to the first embodiment of the present disclosure.
  • FIG. 2 is an explanatory diagram showing an example of a bird's-eye view image.
  • FIG. 3 is
  • FIG. 7 is a flowchart showing a flow of recording processing in the recording / playback apparatus according to the first embodiment.
  • FIG. 8 is a flowchart showing a flow of reproduction processing in the recording / reproduction apparatus according to the first embodiment.
  • FIG. 9 is a block diagram showing an example of the video reproduction device according to the second embodiment.
  • FIG. 1 is a block diagram showing an example of a configuration of a recording / reproducing device according to each embodiment of the present disclosure.
  • the recording / reproducing device 100 shown in FIG. 1 is a so-called drive recorder, and may be a portable device that can be used in the vehicle in addition to the device installed in the vehicle. Further, the recording / reproducing device 100 may be realized by sharing the configuration with, for example, a navigation device, an infotainment system, or the like provided in the vehicle.
  • the recording / reproducing device 100 includes a photographing unit 10, a recording unit 20, an operation unit 30, a display unit 40, an acceleration sensor 50, a GPS (Global Positioning System) receiving unit 60, and a control unit 70.
  • a photographing unit 10 includes a photographing unit 10, a recording unit 20, an operation unit 30, a display unit 40, an acceleration sensor 50, a GPS (Global Positioning System) receiving unit 60, and a control unit 70.
  • GPS Global Positioning System
  • the photographing unit 10 has a front camera 11, a rear camera 12, a right side camera 13, and a left side camera 14.
  • the front camera 11 is arranged at the front of the vehicle and photographs the surroundings centered on the front of the vehicle.
  • the rear camera 12 is arranged at the rear of the vehicle and photographs the surroundings centered on the rear of the vehicle.
  • the right-side camera 13 is arranged on the right side of the vehicle and photographs the surroundings centered on the right side of the vehicle.
  • the left-side camera 14 is arranged on the left side of the vehicle and photographs the surroundings centered on the left side of the vehicle.
  • the front camera 11, the rear camera 12, the right side camera 13, and the left side camera 14 output the captured image as shooting data to the shooting data acquisition unit 71 of the control unit 70.
  • the photographing unit 10 photographs all directions of the vehicle by the front camera 11, the rear camera 12, the right side camera 13, and the left side camera 14.
  • the recording unit 20 stores various data such as event data recorded when an event is detected.
  • the recording unit 20 stores, for example, shooting data for a predetermined period based on the detection of an event as event data.
  • the recording unit 20 can be realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or a solid state drive.
  • the recording unit 20 may be composed of a plurality of different memories or the like.
  • the operation unit 30 receives various operations on the control unit 70. Various operations include operations such as starting playback of event data and starting saving of event data.
  • the operation unit 30 outputs an operation signal corresponding to the received operation to the operation control unit 77.
  • the operation unit 30 can be realized by, for example, a physical switch or a touch panel provided on the display unit 40.
  • the display unit 40 displays various images.
  • the display unit 40 displays, for example, an image in which the event data recorded by the recording unit 20 is reproduced.
  • the display unit 40 is, for example, a display including a liquid crystal display (LCD: Liquid Crystal Display) or an organic EL (Organic Electro-Luminescence) display.
  • LCD Liquid Crystal Display
  • organic EL Organic Electro-Luminescence
  • the acceleration sensor 50 detects the acceleration applied to the vehicle.
  • the acceleration sensor 50 detects, for example, the acceleration applied to the vehicle while parking.
  • the acceleration sensor 50 can be realized by, for example, a three-axis acceleration sensor.
  • the acceleration sensor 50 outputs acceleration information regarding the detected acceleration to the acceleration information acquisition unit 79.
  • the GPS receiving unit 60 is composed of a GPS receiving circuit, a GPS receiving antenna, and the like, and receives GPS signals.
  • the GPS receiving unit 60 outputs the received GPS signal to the position information acquisition unit 82.
  • control unit 70 for example, a program (for example, a program according to the present disclosure) stored in a storage unit (not shown) is executed by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like with the RAM or the like as a work area. It is realized by. Further, the control unit 70 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 70 includes a shooting data acquisition unit (information acquisition unit) 71, a buffer memory 72, a shooting data processing unit 73, a recording control unit 74, a playback control unit 75, a bird's-eye view image generation unit 76, and operation control. It has a unit 77, a display control unit 78, an acceleration information acquisition unit 79, an event detection unit 80, an event detection direction acquisition unit (information acquisition unit) 81, and a position information acquisition unit 82. In FIG. 1, each unit realized by the control unit 70 is described as being connected to each other via a bus 83 for easy understanding.
  • the shooting data acquisition unit 71 acquires various shooting data from the outside.
  • the shooting data acquisition unit 71 acquires shooting data from, for example, the shooting unit 10.
  • the shooting data acquisition unit 71 acquires, for example, shooting data obtained by shooting the periphery of a vehicle that is running, stopped, or parked by the shooting unit 10.
  • the shooting data acquisition unit 71 outputs, for example, the shooting data acquired from the shooting unit 10 to the buffer memory 72 and the display control unit 78.
  • the shooting data acquisition unit 71 may acquire shooting data including audio data acquired by the shooting unit 10 or a microphone (not shown) arranged at another position in addition to the shooting data shot by the shooting unit 10.
  • the shooting data acquisition unit 71 outputs a plurality of acquired shooting data to the buffer memory 72.
  • the buffer memory 72 is an internal memory of the control unit 70 that temporarily stores the shooting data acquired by the shooting data acquisition unit 71. Specifically, the buffer memory 72 temporarily stores the shooting data for a certain period of time acquired by the shooting data acquisition unit 71 while updating it.
  • the shooting data processing unit 73 executes various processes on the shooting data temporarily stored in the buffer memory 72.
  • the shooting data acquisition unit 71 converts, for example, the shooting data temporarily stored in the buffer memory 72 into an arbitrary file format such as the MP4 format.
  • the shooting data processing unit 73 generates, for example, shooting data as a data file for a certain period of time from the shooting data temporarily stored in the buffer memory 72. Specifically, the shooting data processing unit 73 generates shooting data for 60 seconds as a data file from the shooting data temporarily stored in the buffer memory 72.
  • the shooting data processing unit 73 outputs the generated shooting data to the recording control unit 74. Further, the shooting data processing unit 73 outputs the generated shooting data to the display control unit 78.
  • the period of the shooting data generated as a data file is set to 60 seconds as an example, but the period is not limited to this.
  • the recording control unit 74 stores various data in the recording unit 20.
  • the recording control unit 74 controls, for example, to have the recording unit 20 record the shooting data filed by the shooting data processing unit 73.
  • the recording control unit 74 stores the shooting data related to the video including the event in the recording unit 20 as event data.
  • the reproduction control unit 75 reproduces various data recorded in the recording unit 20.
  • the reproduction control unit 75 reproduces, for example, the shooting data recorded as a data file in the recording unit 20.
  • the reproduction control unit 75 reproduces, for example, the event data stored in the recording unit 20.
  • the reproduction control unit 75 reproduces arbitrary shooting data and event data according to the control signal corresponding to the operation of the operation unit 30 output from the operation control unit 77.
  • the reproduction control unit 75 causes the display unit 40 to display the bird's-eye view image generated by the bird's-eye view image generation unit 76.
  • the bird's-eye view image generation unit 76 performs viewpoint conversion processing on a plurality of shooting data recorded in the recording unit 20 as seen from above the vehicle, and synthesizes the plurality of shooting data subjected to the viewpoint conversion processing. Generate a bird's-eye view image with.
  • the bird's-eye view image generation unit 76 can generate a bird's-eye view image with the upper part of the vehicle as a virtual viewpoint.
  • the operation control unit 77 receives an operation signal related to the operation received from the user or the like from the operation unit 30.
  • the operation control unit 77 receives operation signals related to operations such as the start of reproduction of shooting data and the start of recording of shooting data.
  • the operation control unit 77 outputs a control signal corresponding to the received operation signal to the recording control unit 74 or the reproduction control unit 75. In this case, the recording control unit 74 and the reproduction control unit 75 execute the operation according to the control signal.
  • the display control unit 78 displays various images on the display unit 40.
  • the display control unit 78 displays, for example, the shooting data and event data reproduced by the reproduction control unit 75 on the display unit 40.
  • the display control unit 78 outputs a video signal to the display unit 40 to display the video on the display unit 40.
  • the display control unit 78 displays the shooting data on the display unit 40 by outputting the video signal related to the shooting data and the event data recorded in the recording unit 20 to the display unit 40, for example.
  • the acceleration information acquisition unit 79 acquires acceleration information related to the acceleration applied to the vehicle from the acceleration sensor 50. Specifically, the acceleration information acquisition unit 79 acquires acceleration information regarding the acceleration applied to the vehicle while parking. The acceleration information acquisition unit 79 outputs the acquired acceleration information to the event detection unit 80.
  • the event detection unit 80 detects an event for the vehicle.
  • the method by which the event detection unit 80 detects an event for the vehicle is arbitrary, but as an example, the event detection unit 80 detects an event based on the detection result of the acceleration sensor 50. In this case, the event detection unit 80 detects an acceleration equal to or greater than a threshold value in the acceleration detected by the acceleration sensor 50 as an event.
  • the acceleration detected by the event detection unit 80 as an event is set to a threshold value at which an impact corresponding to an accident such as an object colliding with a vehicle is detected.
  • the event detection direction acquisition unit 81 acquires the event detection direction for the vehicle when the event detection unit 80 detects an event.
  • the event detection direction acquisition unit 81 detects the direction in which another object that has generated the acceleration detected as an event collides with the vehicle based on the acceleration information for each axis in the acceleration sensor 50 when the event is detected. To do.
  • the information indicating the event detection direction acquired by the event detection direction acquisition unit 81 is recorded in association with the event data.
  • the event detection direction is the direction in which the event occurs when viewed from the vehicle.
  • the event detection direction acquisition unit 81 may acquire the event detection direction not only by the acceleration information from the acceleration sensor 50 but also by voice, video, or a combination thereof.
  • the position information acquisition unit 82 receives a GPS signal from the GPS reception unit 60.
  • the position information acquisition unit 82 calculates the current position information based on the GPS signal.
  • the position information acquisition unit 82 and the GPS reception unit 60 are not limited to GPS, and may be compatible with other types of positioning satellite systems.
  • FIG. 2 is an explanatory diagram showing an example of the bird's-eye view image P.
  • the bird's-eye view image P includes a front image P1, a rear image P2, a right side image P3, and a left side image P4. Further, the bird's-eye view image P includes the composite boundaries B1, B2, B3, and B4.
  • the own vehicle icon M is displayed in the center of the bird's-eye view image P.
  • the own vehicle icon M indicates a form in which the vehicle is viewed from above.
  • the bird's-eye view image generation unit 76 basically generates a bird's-eye view image P in which the display direction is headed up, that is, the front side of the vehicle is set upward in the screen.
  • the bird's-eye view image generation unit 76 may generate a bird's-eye view image P in which the display direction is set to a direction other than the heading-up, that is, the front side of the vehicle is set to a direction other than the upper side in the screen, depending on various conditions.
  • the bird's-eye view image generation unit 76 starts displaying the bird's-eye view image
  • the bird's-eye view image is synthesized by performing viewpoint conversion processing so that the peripheral image acquired by the shooting data acquisition unit 42 can be seen from the virtual viewpoint located directly above the vehicle. To generate.
  • the bird's-eye view image generation unit 76 acquires the shooting data acquisition unit 71 and performs viewpoint conversion processing on the plurality of shooting data recorded in the recording unit 20 as if the vehicle was viewed from above. More specifically, the bird's-eye view image generation unit 76 generates an image that has undergone viewpoint conversion processing based on a plurality of shooting data captured by the front camera 11, the rear camera 12, the right side camera 13, and the left side camera 14.
  • the method of the viewpoint conversion process may be any known method and is not limited.
  • the bird's-eye view image generation unit 76 performs a cutting process for cutting out an image in a predetermined range from a plurality of shooting data subjected to the viewpoint conversion processing.
  • the bird's-eye view image generation unit 76 cuts out the front cutout range from the shooting data of the front camera 11 that has undergone the viewpoint conversion process.
  • the bird's-eye view image generation unit 76 cuts out the rear cutout range from the shooting data of the rear camera 12 that has undergone the viewpoint conversion process.
  • the bird's-eye view image generation unit 76 cuts out the right side cutout range from the shooting data of the right side camera 13 that has undergone the viewpoint conversion process.
  • the bird's-eye view image generation unit 76 cuts out the left side cutout range from the shooting data of the left side camera 14 that has undergone the viewpoint conversion process.
  • the front cutout range is the range in which the front image P1 is cut out.
  • the front cut-out range is the range from the front end of the vehicle to the front.
  • the rear cutout range is a range in which the rear image P2 is cut out from a plurality of captured data subjected to the viewpoint conversion process.
  • the rear cutting range is the range from the rear end of the vehicle to the rear.
  • the right side cutout range is a range in which the right side image P3 is cut out from a plurality of shooting data subjected to the viewpoint conversion process.
  • the right side cutout range is the range from the right side to the right side of the vehicle.
  • the left side cutout range is a range in which the left side image P4 is cut out from a plurality of shooting data subjected to the viewpoint conversion process.
  • the left side cutout range is the range from the left side to the left side of the vehicle.
  • the bird's-eye view image generation unit 76 performs a compositing process for synthesizing a plurality of images cut out by the bird's-eye view image generation unit 76.
  • the boundary between the front cutout range (front image P1) and the right side cutout range (right side image P3) is the composite boundary B1.
  • the boundary between the front cutout range (front image P1) and the left side cutout range (left side image P4) is the composite boundary B2.
  • the boundary between the rear cutout range (rear image P2) and the right side cutout range (right side image P3) is the composite boundary B3.
  • the boundary between the rear cutout range (rear image P2) and the left side cutout range (left side image P4) is the composite boundary B4.
  • the composite boundary B1 is set from the right front corner of the own vehicle icon M to the front side of the right side of the bird's-eye view image P.
  • the composite boundary B2 is set from the left front corner of the own vehicle icon M to the front side of the left side of the bird's-eye view image P.
  • the composite boundary B3 is set from the right rear corner of the own vehicle icon M to the rear side of the right side of the bird's-eye view image P.
  • the composite boundary B4 is set from the left rear corner of the own vehicle icon M to the rear side of the left side of the bird's-eye view image P.
  • the bird's-eye view image generation unit 76 When the shooting data other than the event data is reproduced, or when the event data having no event detection direction is reproduced, the bird's-eye view image generation unit 76 has the front image P1 and the rear image P2 as shown in FIG. Is cut out so that the right side image P3 and the left side image P4 have the same shape and the same area symmetrically in the vertical direction, and the composite boundaries B1, B2, B3, B4 is set to generate a standard bird's-eye view image P. In other words, the bird's-eye view image generation unit 76 performs the cutting process with a preset initial value.
  • the bird's-eye view image generation unit 76 changes the composite boundaries B1, B2, B3, and B4 according to the event detection direction. Specifically, the bird's-eye view image generation unit 76 can change the composite boundaries B1, B2, B3, and B4 so as not to overlap with the acquired event detection direction. Further, the bird's-eye view image generation unit 76 can change the composite boundaries B1, B2, B3, and B4 so that the display area of the image corresponding to the acquired event detection direction becomes large. Further, the bird's-eye view image generation unit 76 can move the composite boundary between the image corresponding to the acquired event detection direction and the adjacent image in the direction opposite to the event detection direction.
  • the "direction opposite to the event detection direction” may include the opposite direction for one of the front-back direction and the left-right direction when the event detection direction is decomposed.
  • the opposite direction of the event detection direction may include each of the left rear direction, the left direction, and the rear direction.
  • FIG. 3 is a diagram showing an example of a bird's-eye view image in which a part of the composite boundary is changed.
  • the case where the acquired event detection direction D1 is in front of the vehicle is taken as an example.
  • the bird's-eye view image generation unit 76 identifies the image corresponding to the detected event detection direction D1.
  • the bird's-eye view image generation unit 76 can specify the front image P1 that reflects the front in the event detection direction D1.
  • the bird's-eye view image generation unit 76 can change the composite boundaries B1 and B2 so that the display area of the front image P1 corresponding to the event detection direction D1 becomes large.
  • the bird's-eye view image generation unit 76 may change only one of the composite boundaries B1 and B2.
  • the bird's-eye view image generation unit 76 can move the composite boundaries B1 and B2 of the right side image P3 and the left side image P4 adjacent to the front image P1 in the direction opposite to the event detection direction D1. Specifically, the bird's-eye view image generation unit 76 can move so as to incline the outer peripheral sides of the composite boundaries B1 and B2 to the rear, respectively.
  • the arrows on the bird's-eye view image P in FIGS. 3 to 6 indicate the moving direction of the composite boundary.
  • FIG. 4 is a diagram showing another example of a bird's-eye view image in which a part of the composite boundary is changed.
  • the bird's-eye view image generation unit 76 can specify the front image P1 among the front image P1 and the right side image P3 showing the right front direction, which is the event detection direction D2.
  • the bird's-eye view image generation unit 76 can change the composite boundary B1 so that the display area of the front image P1 corresponding to the event detection direction D2 becomes large.
  • the bird's-eye view image generation unit 76 can move the outer peripheral side of the composite boundary B1 so as to tilt backward as shown in FIG. 4 as the direction opposite to the event detection direction D2.
  • the composite boundary B1 is arranged from the right front corner of the own vehicle icon M toward the right.
  • FIG. 5 is a diagram showing another example of a bird's-eye view image in which a part of the composite boundary is changed.
  • the bird's-eye view image generation unit 76 may specify the right side image P3 among the front image P1 and the right side image P3 as an image showing the right front direction. In this case, the bird's-eye view image generation unit 76 can change the composite boundary B1 so that the display area of the right side image P3 becomes large.
  • FIG. 5 is a diagram showing another example of a bird's-eye view image in which a part of the composite boundary is changed.
  • the bird's-eye view image generation unit 76 moves so as to tilt the outer peripheral side of the composite boundary B1 to the left as the direction opposite to the event detection direction D2.
  • the composite boundary B1 is arranged from the right front corner of the own vehicle icon M toward the front.
  • FIG. 6 is a diagram showing another example of a bird's-eye view image in which a part of the composite boundary is changed.
  • the case where the acquired event detection direction D2 is on the front right side with respect to the vehicle is taken as an example.
  • the bird's-eye view image generation unit 76 changes the composite boundaries B1 and B3 so that the display area of the front image P3 becomes large. Can be done.
  • the bird's-eye view image generation unit 76 moves so as to tilt the outer peripheral side of the composite boundary B1 to the left as the direction opposite to the event detection direction D2.
  • the bird's-eye view image generation unit 76 moves so as to tilt the outer peripheral sides of the composite boundaries B1 and B3 to the left as opposite directions to the event detection direction D2.
  • the composite boundary B1 is arranged from the right front corner of the own vehicle icon M toward the front.
  • the composite boundary B3 is arranged from the right front corner of the own vehicle icon M toward the rear.
  • the right side image P3 of the bird's-eye view image P is displayed in the entire area in the front-rear direction.
  • the bird's-eye view image generation unit 76 After the composite boundaries B1, B2, B3, and B4 of the bird's-eye view image P are changed, for example, when an operation to reset the change is performed to the operation control unit 77, the bird's-eye view image generation unit 76 operates. Based on the signal from the control unit 77, the composite boundaries B1, B2, B3, and B4 can be returned to the standard state shown in FIG. Further, when an operation is performed to individually change the positions of the synthesis boundaries B1, B2, B3, and B4 of the bird's-eye view image P, the bird's-eye view image generation unit 76 synthesizes based on the signal from the operation control unit 77. The positions of the boundaries B1, B2, B3, and B4 can be changed individually.
  • FIG. 7 is a flowchart showing a flow of recording processing in the recording / reproducing device 100 according to the first embodiment. Here, a case where loop recording processing is performed will be described.
  • the recording / playback device 100 starts event detection and loop recording (step S101). More specifically, the recording / playback device 100 detects an event by the event detection unit 80 based on the detection result of the acceleration sensor 50. The recording / playback device 100 generates loop recording / photographing data for each image for a predetermined period from the photographing data recorded in the buffer memory 72 by the photographing data processing unit 73. The recording / playback device 100 causes the recording control unit 74 to record the loop recording / photographing data in the recording unit 20. The recording / playback device 100 proceeds to step S102.
  • the recording / playback device 100 determines whether or not an event has been detected by the event detection unit 80 (step S102). More specifically, when the event is detected by the event detection unit 80 (Yes in step S102), the recording / playback device 100 proceeds to step S103. If the event detection unit 80 does not detect an event (No in step S102), the recording / playback device 100 proceeds to step S105.
  • step S102 When an event is detected (Yes in step S102), the recording / playback device 100 acquires the event detection direction by the event detection direction acquisition unit 81 (step S103). The recording / playback device 100 proceeds to step S104.
  • the recording / playback device 100 saves event data, which is shooting data before and after event detection, and an event detection direction (step S104). More specifically, the recording / playback device 100 generates shooting data including at least the time when an event occurs from the loop recording shooting data recorded in the recording unit 20 by the shooting data processing unit 73 as event data.
  • the recording / playback device 100 stores event data in the recording unit 20 by the recording control unit 74.
  • the recording / playback device 100 stores information indicating the event detection direction together with the event data.
  • the recording / playback device 100 stores the event data in an overwrite-protected state.
  • the recording / playback device 100 proceeds to step S105. If the event detection direction cannot be acquired even though the event is detected in step S103, the event data is saved without acquiring the event detection direction in step S104.
  • the recording / playback device 100 determines whether or not to end the event detection and loop recording (step S105). More specifically, the recording / reproducing device 100 determines that the event detection and loop recording are terminated under arbitrary conditions such as when the operation control unit 77 outputs the termination operation information or the operation of the vehicle is terminated. (Yes in step S105), the process ends. If the operation control unit 77 does not output the end operation information, the recording / reproducing device 100 determines that the event detection and the loop recording are not ended (No in step S105), and executes the process of step S102 again.
  • FIG. 8 is a flowchart showing a flow of reproduction processing in the recording / reproducing device 100 according to the first embodiment.
  • the recording / playback device 100 determines whether or not there is a playback instruction for event data (step S201).
  • the operation control unit 77 acquires the operation information indicating the event data reproduction instruction
  • the recording / reproduction device 100 determines that the event data reproduction instruction is given (Yes in step S201), and proceeds to step S202.
  • the operation control unit 77 does not acquire the operation information indicating the playback instruction of the event data
  • the recording / playback device 100 determines that there is no playback instruction of the event data (No in step S201), and ends this process or ends the process.
  • the process of step S201 may be executed again.
  • the recording / reproduction device 100 determines whether or not there is an event detection direction associated with the event data for which reproduction is instructed (step S202). ). More specifically, when the recording / reproducing device 100 stores information indicating the event detection direction together with the event data to be reproduced, it determines that there is an event detection direction (Yes in step S202), and proceeds to step S203. If the information indicating the event detection direction is not stored together with the event data to be reproduced, the recording / reproduction device 100 determines that there is no event detection direction (No in step S202), and proceeds to step S205.
  • step S202 When it is determined that there is an event detection direction (Yes in step S202), the recording / playback device 100 generates a bird's-eye view image P (see FIGS. 3 to 6) corresponding to the event detection direction, and displays the generated bird's-eye view image P. It is displayed on the unit 40 (step S203), and the process proceeds to step S204.
  • the recording / reproducing device 100 determines whether or not to end the reproduction of the event data (step S204). When the event data is reproduced to the end, or when the operation of stopping the reproduction is performed, the recording / reproducing device 100 determines that the reproduction of the event data is finished (Yes in step S204), and ends the process. If the above does not apply, the recording / playback device 100 determines that the reproduction of the event data is not completed (No in step S204), and executes the process of step S204 again.
  • step S202 When it is determined in step S202 that there is no event detection direction (No in step S202), the recording / playback device 100 generates a standard bird's-eye view image P (see FIG. 2), and the generated bird's-eye view image P is displayed on the display unit 40. Display (step S205) and proceed to step S206.
  • the recording / reproducing device 100 determines whether or not to end the reproduction of the event data (step S206). When the event data is reproduced to the end, or when the operation of stopping the reproduction is performed, the recording / reproducing device 100 determines that the reproduction of the event data is finished (Yes in step S206), and ends the process. If the above does not apply, the recording / playback device 100 determines that the reproduction of the event data is not completed (No in step S206), and executes the process of step S206 again.
  • the viewpoint conversion process is performed on the acquired plurality of shooting data as if viewed from above the vehicle, and the composite boundary for synthesizing the plurality of images is changed according to the event detection direction.
  • the synthesized bird's-eye view image P and displaying the generated bird's-eye view image P on the display unit it is possible to suppress the arrangement of the composite boundary in the direction corresponding to the event detection direction. This makes it possible to appropriately confirm the status of the event using the bird's-eye view video.
  • the composite boundary is changed so as not to overlap with the acquired event detection direction, when the event status is confirmed using the bird's-eye view video P, the event status can be appropriately confirmed by the overlap of the composite boundaries. It can be suppressed from disappearing.
  • the composite boundary is changed so that the display area of the video showing the direction corresponding to the acquired event detection direction becomes large, so that the event status is confirmed more appropriately. be able to.
  • the composite boundary between the video corresponding to the acquired event detection direction and the adjacent video is changed so as to move in the direction opposite to the event detection direction. Therefore, in the situation where the event occurs, the display unit 40 While making effective use of the display space of, it is possible to emphasize and display the image showing the event.
  • FIG. 9 is a block diagram showing an example of the video reproduction device 200 according to the second embodiment.
  • the video playback device 200 reproduces, for example, the shooting data stored in the recording / playback device 100 described in the first embodiment.
  • the video reproduction device 200 includes a recording unit 110, an operation unit 120, a display unit 130, and a control unit 140.
  • the video reproduction device 200 is an electronic device including, for example, a personal computer, a smartphone, a tablet terminal, a navigation device, and the like.
  • the recording unit 110 stores event data, information indicating the event detection direction, loop recording data, etc. recorded by the recording / playback device 100 or the like.
  • the recording unit 110 is, for example, a semiconductor memory element such as a flash memory or a recording unit such as a memory card. Alternatively, it may be an external recording unit wirelessly connected via a communication device (not shown).
  • the operation unit 120 can accept various operations on the video playback device 200.
  • the operation unit 120 can accept an operation of reproducing the event data or the loop recording data recorded in the recording unit 110.
  • the operation unit 120 can accept an operation of erasing the event data recorded in the recording unit 110.
  • the operation unit 120 outputs the operation information to the operation control unit 144 of the control unit 140.
  • the operation unit 120 is a touch panel or the like provided on the display unit 130, and an operation of reproducing event data stored in the recording unit 110 is performed by touching a thumbnail image displayed on the display unit 130 to perform an event. Select data and give playback instructions.
  • the display unit 130 is a display including, for example, a liquid crystal display or an organic EL display.
  • the display unit 130 displays an image based on the image signal output from the display control unit 145 of the control unit 140.
  • the display unit 130 displays the image recorded on the recording unit 110.
  • the control unit 140 is, for example, an arithmetic processing unit (control device) composed of a CPU or the like.
  • the control unit 140 loads the stored program into the memory and executes the instructions included in the program.
  • the control unit 140 includes an internal memory (not shown), and the internal memory is used for temporary storage of data in the control unit 140 and the like.
  • the control unit 140 includes an information acquisition unit 141, a reproduction control unit 142, a bird's-eye view image generation unit 143, an operation control unit 144, and a display control unit 145, which are connected to the bus 146.
  • the information acquisition unit 141 acquires a plurality of shooting data taken by a plurality of cameras that shoot the surroundings of the vehicle based on the event that occurred for the vehicle, and information indicating the detection direction of the event for the vehicle.
  • the reproduction control unit 142 acquires the selected event data or loop recording data from the recording unit 110 and reproduces it.
  • the reproduction control unit 142 controls to reproduce the event data or the loop recording data recorded in the recording unit 110 based on the control signals of the selection operation and the reproduction operation output from the operation control unit 144. More specifically, the reproduction control unit 142 causes the display unit 130 to display the bird's-eye view image generated by the bird's-eye view image generation unit 143 when reproducing the shooting data.
  • the bird's-eye view image generation unit 143 performs viewpoint conversion processing on a plurality of shooting data acquired by the information acquisition unit 141 as seen from above the vehicle, and changes the boundary for synthesizing the plurality of images according to the event detection direction. And generate a composite bird's-eye view image.
  • the bird's-eye view image generation unit 143 changes the boundary for synthesizing a plurality of images so as not to overlap with the event detection direction acquired by the information acquisition unit 141.
  • the bird's-eye view image generation unit 143 changes the boundary for synthesizing a plurality of images so that the display area of the image corresponding to the event detection direction acquired by the information acquisition unit 141 is large among the plurality of images.
  • the bird's-eye view image generation unit 143 changes the boundary between the image corresponding to the event detection direction acquired by the information acquisition unit 141 and the adjacent image among the plurality of images so as to move in the direction opposite to the event detection direction. ..
  • the operation control unit 144 acquires the operation information of the operation received by the operation unit 120. For example, the operation control unit 144 acquires the selection operation information indicating the video data selection operation, the playback operation information indicating the video data reproduction operation, or the erasing operation information indicating the video data erasing operation, and outputs the control signal. To do.
  • the display control unit 145 controls the display of video data on the display unit 130 based on the control signal from the reproduction control unit 142.
  • the display control unit 145 outputs a video signal for outputting the video data to the display unit 130.
  • the flow of the reproduction process in the video reproduction device 200 is the same as the flow of the reproduction process in the recording / reproduction device 100 shown in FIG.
  • the video playback device 200 that reproduces the shooting data stored in the recording / playback device 100 also performs viewpoint conversion processing on the acquired plurality of shooting data as seen from above the vehicle, and performs a plurality of viewpoint conversion processes.
  • the composite boundary for synthesizing the images is changed according to the event detection direction to generate the composite bird's-eye view image P, and the generated bird's-eye view image P is displayed on the display unit. Therefore, it is possible to suppress the arrangement of the composite boundary in the direction corresponding to the event detection direction. This makes it possible to appropriately confirm the status of the event using the bird's-eye view video.
  • Each component of the illustrated recording / reproducing device 100 and the video reproducing device 200 is a functional concept and does not necessarily have to be physically configured as shown in the drawing. That is, the specific form of each device is not limited to the one shown in the figure, and all or part of each device is functionally or physically dispersed or integrated in an arbitrary unit according to the processing load and usage status of each device. You may.
  • the configuration of the recording / playback device 100 and the video playback device 200 is realized, for example, by a program loaded in a memory as software.
  • a program loaded in a memory as software.
  • it has been described as a functional block realized by linking these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the video playback device, recording / playback device, video playback method, and video playback program of the present disclosure can be used for, for example, a drive recorder or the like.

Abstract

映像再生装置２００は、車両に対して発生したイベントに基づいて車両の周囲を撮影する複数のカメラが撮影した複数の撮影データ、および車両に対するイベントの検出方向を示す情報を取得する情報取得部１４１と、情報取得部１４１が取得した複数の撮影データに対して車両の上方から見たように視点変換処理を行い、複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する俯瞰映像生成部１４３と、俯瞰映像生成部１４３が生成した俯瞰映像を表示部１３０に表示させる再生制御部１４２と、を備える。

Description

映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム
　本開示は、映像再生装置、記録再生装置、映像再生方法及び映像再生プログラムに関する。
　従来、車両の俯瞰映像用カメラが撮影した映像を、ドライブレコーダ用の映像として表示又は記録する装置が知られている（例えば、特許文献１参照）。
特開２０１４－１３４９１２号公報
　特許文献１に記載のような俯瞰映像は、視点変換処理を行った複数の映像を合成して生成される。複数の映像を合成する場合、合成する境界では映像の歪み等が発生して適切に表示できない場合がある。車両にイベントが発生した場合、イベントの発生方向によっては、イベントを映した映像が上記のような境界上又は境界の近傍に表示されることがあり、イベントの状況を適切に確認できない場合がある。
　本開示は、上記に鑑みてなされたものであり、俯瞰映像を用いてイベントの状況を適切に確認することができる映像再生装置、記録再生装置、映像再生方法及び映像再生プログラムを提供することを目的とする。
　本開示に係る映像再生装置は、車両に対して発生したイベントに基づいて前記車両の周囲を撮影する複数のカメラが撮影した複数の撮影データ、および前記車両に対するイベントの検出方向を示す情報を取得する情報取得部と、前記情報取得部が取得した複数の撮影データに対して前記車両の上方から見たように視点変換処理を行い、前記複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する俯瞰映像生成部と、前記俯瞰映像生成部が生成した俯瞰映像を表示部に表示させる再生制御部と、を備える。
　本開示に係る記録再生装置は、車両に加わる加速度に基づいて前記車両に対するイベントを検出するイベント検出部と、前記イベント検出部が検出したイベントに基づいて前記車両の周囲を撮影する複数のカメラが撮影した複数の撮影データ、および前記車両に対するイベントの検出方向を示す情報を取得する情報取得部と、前記イベント検出部が前記車両に対するイベントを検出した場合、検出したイベントに関する所定期間の複数の撮影データを記録する記録制御部と、前記記録制御部によって記録された複数の撮影データに対して前記車両の上方から見たように視点変換処理を行い、前記複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する俯瞰映像生成部と前記俯瞰映像生成部が生成した俯瞰映像を表示部に表示させる再生制御部と、を備える。
　本開示に係る映像再生方法は、車両に対して発生したイベントに基づいて前記車両の周囲を撮影する複数のカメラが撮影した複数の撮影データ、および前記車両に対するイベントの検出方向を示す情報を取得する情報取得ステップと、前記情報取得ステップにおいて取得された複数の撮影データに対して前記車両の上方から見たように視点変換処理を行い、前記複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する俯瞰映像生成ステップと、前記俯瞰映像生成ステップにおいて生成された俯瞰映像を表示部に表示させる再生制御ステップと、を含む。
　本開示に係る映像再生プログラムは、車両に対して発生したイベントに基づいて前記車両の周囲を撮影する複数のカメラが撮影した複数の撮影データ、および前記車両に対するイベントの検出方向を示す情報を取得する情報取得ステップと、前記情報取得ステップにおいて取得された複数の撮影データに対して前記車両の上方から見たように視点変換処理を行い、前記複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する俯瞰映像生成ステップと、前記俯瞰映像生成ステップにおいて生成された俯瞰映像を表示部に表示させる再生制御ステップと、をコンピュータに実行させる。
　本開示によれば、俯瞰映像を用いてイベントの状況を適切に確認することができる。
図１は、本開示の第１実施形態に係る記録再生装置の一例を示すブロック図である。 図２は、俯瞰映像の一例を示す説明図である。 図３は、合成境界の一部を変更した俯瞰映像の一例を示す図である。 図４は、合成境界の一部を変更した俯瞰映像の他の例を示す図である。 図５は、合成境界の一部を変更した俯瞰映像の他の例を示す図である。 図６は、合成境界の一部を変更した俯瞰映像の他の例を示す図である。 図７は、第１実施形態に係る記録再生装置における記録処理の流れを示すフローチャートである。 図８は、第１実施形態に係る記録再生装置における再生処理の流れを示すフローチャートである。 図９は、第２実施形態に係る映像再生装置の一例を示すブロック図である。
　以下、本開示に係る映像再生装置、記録再生装置、映像再生方法及び映像再生プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
　［第１実施形態］
　図１を用いて、本開示の第１実施形態に係る記録再生装置の構成について説明する。図１は、本開示の各実施形態に係る記録再生装置の構成の一例を示すブロック図である。図１に示す記録再生装置１００は、いわゆるドライブレコーダであり、車両に設置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。また、記録再生装置１００は、車両に備えられる、例えばナビゲーション装置やインフォテイメントシステム等と構成を共有して実現されてもよい。
　記録再生装置１００は、撮影部１０と、記録部２０と、操作部３０と、表示部４０と、加速度センサ５０と、ＧＰＳ（Global　Positioning　System）受信部６０と、制御部７０とを備える。
　撮影部１０は、前方カメラ１１と、後方カメラ１２と、右側方カメラ１３と、左側方カメラ１４とを有する。前方カメラ１１は、車両の前部に配置され、車両の前方を中心とした周辺を撮影する。後方カメラ１２は、車両の後部に配置され、車両の後方を中心とした周辺を撮影する。右側方カメラ１３は、車両の右側部に配置され、車両の右側方を中心とした周辺を撮影する。左側方カメラ１４は、車両の左側部に配置され、車両の左側方を中心とした周辺を撮影する。
　前方カメラ１１、後方カメラ１２、右側方カメラ１３及び左側方カメラ１４は、撮影した映像を、撮影データとして制御部７０の撮影データ取得部７１へ出力する。撮影部１０は、前方カメラ１１、後方カメラ１２、右側方カメラ１３及び左側方カメラ１４により車両の全方位を撮影する。
　記録部２０は、イベントが検出されたときに記録されるイベントデータなど種々のデータを保存する。記録部２０は、例えば、イベントの検出に基づく所定期間の撮影データをイベントデータとして保存する。記録部２０は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）などの半導体メモリ素子、またはハードディスク、ソリッドステートドライブなどの記憶装置で実現することができる。記録部２０は、複数の異なるメモリなどで構成されてもよい。
　操作部３０は、制御部７０に対する種々の操作を受け付ける。種々の操作には、イベントデータの再生の開始、イベントデータの保存の開始などの操作が含まれる。操作部３０は、受け付けた操作に応じた操作信号を操作制御部７７に出力する。操作部３０は、例えば、物理的なスイッチや、表示部４０に設けられたタッチパネルで実現することができる。
　表示部４０は、種々の映像を表示する。表示部４０は、例えば、記録部２０が記録しているイベントデータが再生された映像を表示する。表示部４０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）または有機ＥＬ（Organic　Electro-Luminescence）ディスプレイなどを含むディスプレイである。
　加速度センサ５０は、車両に加わった加速度を検出する。加速度センサ５０は、例えば、駐車中に車両に加わった加速度を検出する。加速度センサ５０は、例えば、３軸加速度センサで実現することができる。加速度センサ５０は、検出した加速度に関する加速度情報を加速度情報取得部７９に出力する。
　ＧＰＳ受信部６０は、ＧＰＳ受信回路、ＧＰＳ受信アンテナなどから構成されており、ＧＰＳ信号を受信する。ＧＰＳ受信部６０は、受信したＧＰＳ信号を位置情報取得部８２に出力する。
　制御部７０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、図示しない記憶部に記憶されたプログラム（例えば、本開示に係るプログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部７０は、コントローラ（Controller）であり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。
　制御部７０は、撮影データ取得部（情報取得部）７１と、バッファメモリ７２と、撮影データ処理部７３と、記録制御部７４と、再生制御部７５と、俯瞰映像生成部７６と、操作制御部７７と、表示制御部７８と、加速度情報取得部７９と、イベント検出部８０と、イベント検出方向取得部（情報取得部）８１と、位置情報取得部８２とを有する。図１においては、制御部７０で実現される各部は、理解を容易にするために、バス８３を介して互いに接続されているように記載する。
　撮影データ取得部７１は、外部から各種の撮影データを取得する。撮影データ取得部７１は、例えば、撮影部１０から撮影データを取得する。撮影データ取得部７１は、例えば、走行中、停車中又は駐車中の車両の周辺を撮影部１０で撮影した撮影データを取得する。撮影データ取得部７１は、例えば、撮影部１０から取得した撮影データをバッファメモリ７２および表示制御部７８に出力する。撮影データ取得部７１は、撮影部１０が撮影した撮影データに加えて、撮影部１０または他の位置に配置された図示しないマイクロフォンが取得した音声データを含んだ撮影データを取得してもよい。撮影データ取得部７１は、取得した複数の撮影データをバッファメモリ７２に出力する。
　バッファメモリ７２は、撮影データ取得部７１が取得した撮影データを一時的に記憶する制御部７０の内部メモリである。具体的には、バッファメモリ７２は、撮影データ取得部７１が取得した一定時間分の撮影データを、更新しながら一時的に記憶する。
　撮影データ処理部７３は、バッファメモリ７２が一時的に記憶している撮影データに対して種々の処理を実行する。撮影データ取得部７１は、例えば、バッファメモリ７２が一時的に記憶している撮影データを、例えば、ＭＰ４形式などの任意のファイル形式に変換する。撮影データ処理部７３は、例えば、バッファメモリ７２が一時的に記憶している撮影データから、一定時間分のデータファイルとした撮影データを生成する。具体的には、撮影データ処理部７３は、バッファメモリ７２が一時的に記憶している撮影データから、６０秒間の撮影データをデータファイルとして生成する。撮影データ処理部７３は、生成した撮影データを記録制御部７４へ出力する。また、撮影データ処理部７３は、生成した撮影データを表示制御部７８へ出力する。データファイルとして生成される撮影データの期間は、一例として６０秒としたが、これには限定されない。
　記録制御部７４は、種々のデータを記録部２０に保存する。記録制御部７４は、例えば、撮影データ処理部７３でファイル化された撮影データを、記録部２０に記録させる制御を行う。記録制御部７４は、例えば、イベント検出部８０がイベントを検出した場合、そのイベントを含む映像に関する撮影データをイベントデータとして記録部２０に保存する。
　再生制御部７５は、記録部２０に記録されている種々のデータを再生する。再生制御部７５は、例えば、記録部２０にデータファイルとして記録されている撮影データを再生する。再生制御部７５は、例えば、記録部２０に保存されているイベントデータを再生する。再生制御部７５は、操作制御部７７から出力された操作部３０の操作に応じた制御信号に従って、任意の撮影データ及びイベントデータを再生する。再生制御部７５は、撮影データ及びイベントデータを再生するとき、俯瞰映像生成部７６が生成する俯瞰映像を表示部４０に表示させる。
　俯瞰映像生成部７６は、記録部２０に記録されている複数の撮影データに対して車両の上方から見たように視点変換処理を行い、視点変換処理を行った複数の撮影データを合成することで俯瞰映像を生成する。本実施形態において、俯瞰映像生成部７６は、車両の上方を仮想視点とした俯瞰映像を生成することができる。
　操作制御部７７は、操作部３０からユーザなどから受け付けた操作に関する操作信号を受け付ける。操作制御部７７は、例えば、撮影データの再生の開始、撮影データの記録の開始などの操作に関する操作信号を受け付ける。操作制御部７７は、受け付けた操作信号に応じた制御信号を記録制御部７４又は再生制御部７５に出力する。この場合、記録制御部７４及び再生制御部７５は、制御信号に従って、動作を実行する。
　表示制御部７８は、種々の映像を表示部４０に表示する。表示制御部７８は、例えば、再生制御部７５によって再生された撮影データおよびイベントデータを表示部４０に表示する。具体的には、表示制御部７８は、表示部４０に映像信号を出力することで、表示部４０に映像を表示する。表示制御部７８は、例えば、記録部２０に記録されている撮影データ及びイベントデータに関する映像信号を表示部４０に出力することで、表示部４０に撮影データを表示する。
　加速度情報取得部７９は、加速度センサ５０から車両に加わった加速度に関する加速度情報を取得する。具体的には、加速度情報取得部７９は、駐車中に車両に加わった加速度に関する加速度情報を取得する。加速度情報取得部７９は、取得した加速度情報をイベント検出部８０に出力する。
　イベント検出部８０は、車両に対するイベントを検出する。イベント検出部８０が車両に対するイベントを検出する方法は任意であるが、一例として、イベント検出部８０は、加速度センサ５０の検出結果に基づいて、イベントを検出する。この場合、イベント検出部８０は、加速度センサ５０が検出した加速度における閾値以上の加速度が検出されると、イベントとして検出する。イベント検出部８０がイベントとして検出する加速度は、車両に対して物体が衝突するような事故に相当する衝撃が検出されるような閾値が設定される。
　イベント検出方向取得部８１は、イベント検出部８０がイベントを検出した場合、車両に対するイベント検出方向を取得する。イベント検出方向取得部８１は、イベントが検出されたときの加速度センサ５０における軸毎の加速度情報に基づき、イベントとして検出された加速度を生じさせた他の物体が車両に対して衝突した方向を検出する。イベント検出方向取得部８１が取得したイベント検出方向を示す情報は、イベントデータに対応つけられて記録される。イベント検出方向とは、車両から見てイベントが発生した方向である。イベント検出方向取得部８１は、加速度センサ５０からの加速度情報に限らず、音声や映像、またはこれらの組み合わせで、イベント検出方向を取得してもよい。
　位置情報取得部８２は、ＧＰＳ受信部６０からＧＰＳ信号を受け付ける。位置情報取得部８２は、ＧＰＳ信号に基づいて、現在位置情報を算出する。位置情報取得部８２およびＧＰＳ受信部６０は、ＧＰＳに限らず、他の方式の測位衛星システムに対応していてもよい。
　図２を用いて、俯瞰映像生成部７６により生成される俯瞰映像について説明する。図２は、俯瞰映像Ｐの一例を示す説明図である。俯瞰映像Ｐは、前方映像Ｐ１、後方映像Ｐ２、右側方映像Ｐ３及び左側方映像Ｐ４を含む。また、俯瞰映像Ｐは、合成境界Ｂ１、Ｂ２、Ｂ３、Ｂ４を含む。俯瞰映像Ｐの中央部には、自車両アイコンＭが表示される。自車両アイコンＭは、車両を上方から見下ろした形態を示す。
　俯瞰映像生成部７６は、基本的に、表示向きがヘッディングアップ、すなわち車両の前側が画面内の上方に設定された俯瞰映像Ｐを生成する。俯瞰映像生成部７６は、種々の条件に応じて、表示向きがヘッディングアップ以外、すなわち車両の前側が画面内の上方以外の方向に設定された俯瞰映像Ｐを生成してもよい。
　俯瞰映像生成部７６は、俯瞰映像表示を開始するとき、撮影データ取得部４２が取得した周辺映像を、車両の真上に位置する仮想視点から見えるように視点変換処理を行って合成した俯瞰映像を生成する。
　俯瞰映像生成部７６は、撮影データ取得部７１で取得し、記録部２０に記録された複数の撮影データに対して、車両を上方から見たように視点変換処理を行う。より詳しくは、俯瞰映像生成部７６は、前方カメラ１１、後方カメラ１２、右側方カメラ１３及び左側方カメラ１４で撮影した複数の撮影データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。
　俯瞰映像生成部７６は、視点変換処理を行った複数の撮影データから所定の範囲の映像を切り出す切り出し処理を行う。俯瞰映像生成部７６は、視点変換処理を行った前方カメラ１１の撮影データから、前方切り出し範囲を切り出す。俯瞰映像生成部７６は、視点変換処理を行った後方カメラ１２の撮影データから、後方切り出し範囲を切り出す。俯瞰映像生成部７６は、視点変換処理を行った右側方カメラ１３の撮影データから、右側方切り出し範囲を切り出す。俯瞰映像生成部７６は、視点変換処理を行った左側方カメラ１４の撮影データから、左側方切り出し範囲を切り出す。
　前方切り出し範囲は、前方映像Ｐ１を切り出す範囲である。前方切り出し範囲は、車両の前端部から前方の範囲である。後方切り出し範囲は、視点変換処理を行った複数の撮影データから後方映像Ｐ２を切り出す範囲である。後方切り出し範囲は、車両の後端部から後方の範囲である。右側方切り出し範囲は、視点変換処理を行った複数の撮影データから右側方映像Ｐ３を切り出す範囲である。右側方切り出し範囲は、車両の右側部から右方の範囲である。左側方切り出し範囲は、視点変換処理を行った複数の撮影データから左側方映像Ｐ４を切り出す範囲である。左側方切り出し範囲は、車両の左側部から左方の範囲である。
　俯瞰映像生成部７６は、俯瞰映像生成部７６で切り出した複数の映像を合成する合成処理を行う。前方切り出し範囲（前方映像Ｐ１）と右側方切り出し範囲（右側方映像Ｐ３）との境界が、合成境界Ｂ１となる。前方切り出し範囲（前方映像Ｐ１）と左側方切り出し範囲（左側方映像Ｐ４）との境界が、合成境界Ｂ２となる。後方切り出し範囲（後方映像Ｐ２）と右側方切り出し範囲（右側方映像Ｐ３）との境界が、合成境界Ｂ３となる。後方切り出し範囲（後方映像Ｐ２）と左側方切り出し範囲（左側方映像Ｐ４）との境界が、合成境界Ｂ４となる。
　例えば、合成境界Ｂ１は、自車両アイコンＭの右前角部から俯瞰映像Ｐの右辺の前部側にかけて設定される。合成境界Ｂ２は、自車両アイコンＭの左前角部から俯瞰映像Ｐの左辺の前部側にかけて設定される。合成境界Ｂ３は、自車両アイコンＭの右後角部から俯瞰映像Ｐの右辺の後部側にかけて設定される。合成境界Ｂ４は、自車両アイコンＭの左後角部から俯瞰映像Ｐの左辺の後部側にかけて設定される。
　俯瞰映像生成部７６は、イベントデータ以外の撮影データが再生された場合、または、イベント検出方向を備えていないイベントデータを再生する場合は、図２に示すように、前方映像Ｐ１と後方映像Ｐ２とが上下対称の同一形状で同一の面積となり、右側方映像Ｐ３と左側方映像Ｐ４とが左右対称の同一形状で同一の面積となるように切り出し処理を行い、合成境界Ｂ１、Ｂ２、Ｂ３、Ｂ４を設定して、標準の俯瞰映像Ｐを生成する。言い換えると、俯瞰映像生成部７６は、予め設定された初期値で切り出し処理を行う。
　俯瞰映像生成部７６は、イベント検出方向を備えたイベントデータが再生された場合、合成境界Ｂ１、Ｂ２、Ｂ３、Ｂ４をイベント検出方向に応じて変更する。具体的には、俯瞰映像生成部７６は、取得されたイベント検出方向に重ならないように合成境界Ｂ１、Ｂ２、Ｂ３、Ｂ４を変更することができる。また、俯瞰映像生成部７６は、取得されたイベント検出方向に対応する映像の表示面積が大きくなるように合成境界Ｂ１、Ｂ２、Ｂ３、Ｂ４を変更することができる。また、俯瞰映像生成部７６は、取得されたイベント検出方向に対応する映像と隣接する映像との合成境界を、イベント検出方向とは反対方向に移動することができる。「イベント検出方向とは反対方向」としては、イベント検出方向を前後方向及び左右方向に分解した場合に、その一方についての反対方向を含めてもよい。例えば、イベント検出方向が右前方向である場合、イベント検出方向の反対方向は、左後方向、左方向、後方向の各方向を含めてもよい。
　図３は、合成境界の一部を変更した俯瞰映像の一例を示す図である。図３では、取得されたイベント検出方向Ｄ１が車両に対して前方である場合を例としている。イベント検出方向Ｄ１が検出された場合、俯瞰映像生成部７６は、検出されたイベント検出方向Ｄ１に対応する映像を特定する。図３の例において、俯瞰映像生成部７６は、イベント検出方向Ｄ１である前方を映した前方映像Ｐ１を特定することができる。俯瞰映像生成部７６は、イベント検出方向Ｄ１に対応する前方映像Ｐ１の表示面積が大きくなるように、合成境界Ｂ１、Ｂ２を変更することができる。なお、俯瞰映像生成部７６は、合成境界Ｂ１、Ｂ２のうち一方のみを変更してもよい。俯瞰映像生成部７６は、前方映像Ｐ１と隣接する右側方映像Ｐ３、左側方映像Ｐ４との合成境界Ｂ１、Ｂ２を、イベント検出方向Ｄ１とは反対方向に移動することができる。具体的には、俯瞰映像生成部７６は、合成境界Ｂ１、Ｂ２の外周側をそれぞれ後方に傾けるように移動することができる。なお、図３から図６における俯瞰映像Ｐ上の矢印は、合成境界の移動方向を示す。
　図４は、合成境界の一部を変更した俯瞰映像の他の例を示す図である。図４では、取得されたイベント検出方向Ｄ２が車両に対して右前方向である場合を例としている。この場合、俯瞰映像生成部７６は、イベント検出方向Ｄ２である右前方向を映した前方映像Ｐ１及び右側方映像Ｐ３のうち、前方映像Ｐ１を特定することができる。俯瞰映像生成部７６は、イベント検出方向Ｄ２に対応する前方映像Ｐ１の表示面積が大きくなるように合成境界Ｂ１を変更することができる。例えば、俯瞰映像生成部７６は、合成境界Ｂ１の外周側を、イベント検出方向Ｄ２の反対方向として、図４に示すように後方に傾けるように移動することができる。この場合、合成境界Ｂ１は、自車両アイコンＭの右前角部から右方に向けて配置される。
　図５は、合成境界の一部を変更した俯瞰映像の他の例を示す図である。図５では、図４と同様、取得されたイベント検出方向Ｄ２が車両に対して右前方向である場合を例としている。俯瞰映像生成部７６は、右前方向を映した映像として、前方映像Ｐ１及び右側方映像Ｐ３のうち、右側方映像Ｐ３を特定してもよい。この場合、俯瞰映像生成部７６は、右側方映像Ｐ３の表示面積が大きくなるように合成境界Ｂ１を変更することができる。図５に示す例において、俯瞰映像生成部７６は、合成境界Ｂ１の外周側を、イベント検出方向Ｄ２の反対方向として、左方に傾けるように移動する。この場合、合成境界Ｂ１は、自車両アイコンＭの右前角部から前方に向けて配置される。
　図６は、合成境界の一部を変更した俯瞰映像の他の例を示す図である。図６では、取得されたイベント検出方向Ｄ２が車両に対して前方右側である場合を例としている。図６に示すように、俯瞰映像生成部７６は、右前方向を映した映像として右側方映像Ｐ３を特定した場合、前方映像Ｐ３の表示面積が大きくなるように合成境界Ｂ１、Ｂ３を変更することができる。図６に示す例において、俯瞰映像生成部７６は、合成境界Ｂ１の外周側を、イベント検出方向Ｄ２の反対方向として、左方に傾けるように移動する。また、俯瞰映像生成部７６は、合成境界Ｂ１およびＢ３の外周側を、イベント検出方向Ｄ２の反対方向として、それぞれ左方に傾けるように移動する。この場合、合成境界Ｂ１は、自車両アイコンＭの右前角部から前方に向けて配置される。また、合成境界Ｂ３は、自車両アイコンＭの右前角部から後方に向けて配置される。図６に示す場合、俯瞰映像Ｐのうち右側方映像Ｐ３が前後方向の全領域に表示される。この結果、例えば右前方向から対象物Ｒが自車両に衝突し、右後方向に移動した場合等、対象物Ｒが自車両の右側方に前後に亘って移動する場合に、対象物Ｒの挙動を適切に確認することができる。図６における一点鎖線は、対象物Ｒの移動経過を示す。
　なお、俯瞰映像Ｐの合成境界Ｂ１、Ｂ２、Ｂ３、Ｂ４が変更された後、例えば操作制御部７７に対して変更をリセットする旨の操作が行われた場合、俯瞰映像生成部７６は、操作制御部７７からの信号に基づいて、合成境界Ｂ１、Ｂ２、Ｂ３、Ｂ４を図２に示す標準の状態に戻すことができる。また、俯瞰映像Ｐの合成境界Ｂ１、Ｂ２、Ｂ３、Ｂ４の位置を個別に変更する旨の操作が行われた場合、俯瞰映像生成部７６は、操作制御部７７からの信号に基づいて、合成境界Ｂ１、Ｂ２、Ｂ３、Ｂ４の位置を個別に変更することができる。
　次に、図７を用いて、記録再生装置１００における記録処理の流れについて説明する。図７は、第１実施形態に係る記録再生装置１００における記録処理の流れを示すフローチャートである。ここでは、ループ記録処理を行う場合について説明する。
　記録再生装置１００は、イベント検出およびループ記録を開始する（ステップＳ１０１）。より詳しくは、記録再生装置１００は、イベント検出部８０によって、加速度センサ５０の検出結果に基づいて、イベントを検出する。記録再生装置１００は、撮影データ処理部７３によって、バッファメモリ７２に記録された撮影データから、所定期間の映像ごとのループ記録撮影データを生成する。記録再生装置１００は、記録制御部７４によって、ループ記録撮影データを記録部２０に記録させる。記録再生装置１００は、ステップＳ１０２に進む。
　記録再生装置１００は、イベント検出部８０によって、イベントを検出したか否かを判定する（ステップＳ１０２）。より詳しくは、記録再生装置１００は、イベント検出部８０によって、イベントが検出された場合（ステップＳ１０２でＹｅｓ）、ステップＳ１０３に進む。記録再生装置１００は、イベント検出部８０によって、イベントが検出されなかった場合（ステップＳ１０２でＮｏ）、ステップＳ１０５に進む。
　イベントが検出された場合（ステップＳ１０２でＹｅｓ）、記録再生装置１００は、イベント検出方向取得部８１によって、イベント検出方向を取得する（ステップＳ１０３）。記録再生装置１００は、ステップＳ１０４に進む。
　記録再生装置１００は、イベント検出前後の撮影データであるイベントデータと、イベント検出方向を保存する（ステップＳ１０４）。より詳しくは、記録再生装置１００は、撮影データ処理部７３によって、記録部２０に記録されたループ記録撮影データから、少なくともイベントの発生時点を含む撮影データをイベントデータとして生成する。記録再生装置１００は、記録制御部７４によって、イベントデータを記録部２０に保存する。記録再生装置１００は、イベントデータとともに、イベント検出方向を示す情報を保存する。記録再生装置１００は、イベントデータを上書き禁止の状態として保存する。記録再生装置１００は、ステップＳ１０５に進む。ステップＳ１０３において、イベントが検出されたにもかかわらずイベント検出方向が取得できない場合は、ステップＳ１０４においては、イベント検出方向を取得せずにイベントデータを保存する。
　記録再生装置１００は、イベント検出およびループ記録を終了するか否かを判定する（ステップＳ１０５）。より詳しくは、記録再生装置１００は、操作制御部７７によって、終了操作情報が出力された場合や、車両の動作が終了するなど、任意の条件で、イベント検出およびループ記録を終了すると判定して（ステップＳ１０５でＹｅｓ）、処理を終了する。記録再生装置１００は、操作制御部７７によって、終了操作情報が出力されていないと、イベント検出およびループ記録を終了しないと判定して（ステップＳ１０５でＮｏ）、ステップＳ１０２の処理を再度実行する。
　次に、図８を用いて、記録再生装置１００における再生処理の流れについて説明する。図８は、第１実施形態に係る記録再生装置１００における再生処理の流れを示すフローチャートである。
　記録再生装置１００は、イベントデータの再生指示があるか否かを判定する（ステップＳ２０１）。記録再生装置１００は、操作制御部７７がイベントデータの再生指示を示す操作情報を取得した場合、イベントデータの再生指示があると判定して（ステップＳ２０１でＹｅｓ）、ステップＳ２０２に進む。記録再生装置１００は、操作制御部７７がイベントデータの再生指示を示す操作情報を取得しない場合、イベントデータの再生指示がないと判定して（ステップＳ２０１でＮｏ）、本処理を終了する、又はステップＳ２０１の処理を再度実行してもよい。
　イベントデータの再生指示があると判定した場合（ステップＳ２０１でＹｅｓ）、記録再生装置１００は、再生が指示されたイベントデータに対応つけられたイベント検出方向があるか否かを判定する（ステップＳ２０２）。より詳しくは、記録再生装置１００は、再生対象のイベントデータとともにイベント検出方向を示す情報が保存されている場合、イベント検出方向があると判定して（ステップＳ２０２でＹｅｓ）、ステップＳ２０３に進む。記録再生装置１００は、再生対象のイベントデータとともにイベント検出方向を示す情報が保存されていない場合、イベント検出方向がないと判定して（ステップＳ２０２でＮｏ）、ステップＳ２０５に進む。
　イベント検出方向があると判定した場合（ステップＳ２０２でＹｅｓ）、記録再生装置１００は、イベント検出方向に対応した俯瞰映像Ｐ（図３～図６参照）を生成し、生成した俯瞰映像Ｐを表示部４０に表示して（ステップＳ２０３）、ステップＳ２０４に進む。
　記録再生装置１００は、イベントデータの再生を終了するか否かを判定する（ステップＳ２０４）。イベントデータを最後まで再生した場合、または、再生を停止する操作が行われた場合、記録再生装置１００は、イベントデータの再生を終了すると判定して（ステップＳ２０４でＹｅｓ）、処理を終了する。上記に該当しない場合、記録再生装置１００は、イベントデータの再生を終了しないと判定して（ステップＳ２０４でＮｏ）、ステップＳ２０４の処理を再度実行する。
　ステップＳ２０２において、イベント検出方向が無いと判定した場合（ステップＳ２０２でＮｏ）、記録再生装置１００は、標準の俯瞰映像Ｐ（図２参照）を生成し、生成した俯瞰映像Ｐを表示部４０に表示して（ステップＳ２０５）、ステップＳ２０６に進む。
　記録再生装置１００は、イベントデータの再生を終了するか否かを判定する（ステップＳ２０６）。イベントデータを最後まで再生した場合、または、再生を停止する操作が行われた場合、記録再生装置１００は、イベントデータの再生を終了すると判定して（ステップＳ２０６でＹｅｓ）、処理を終了する。上記に該当しない場合、記録再生装置１００は、イベントデータの再生を終了しないと判定して（ステップＳ２０６でＮｏ）、ステップＳ２０６の処理を再度実行する。
　以上のように、本実施形態では、取得された複数の撮影データに対して車両の上方から見たように視点変換処理を行い、複数の映像を合成する合成境界をイベント検出方向に応じて変更して合成した俯瞰映像Ｐを生成し、生成された俯瞰映像Ｐを表示部に表示させることにより、イベント検出方向に対応した方向に合成境界が配置されることを抑制できる。これにより、俯瞰映像を用いてイベントの状況を適切に確認することができる。
　本実施形態では、取得されたイベント検出方向に重ならないように合成境界を変更するため、俯瞰映像Ｐを用いてイベントの状態を確認する際、合成境界の重なりによってイベントの状態が適切に確認できなくなることを抑制できる。
　本実施形態では、俯瞰映像Ｐを生成する際、取得されたイベント検出方向に対応する方向を映す映像の表示面積が大きくなるように合成境界を変更するため、イベントの状況をより適切に確認することができる。
　本実施形態では、取得されたイベント検出方向に対応する映像と隣接する映像との合成境界をイベント検出方向とは反対方向に移動するように変更するため、イベントが発生した状況において、表示部４０の表示スペースを有効活用しつつ、イベントを映す映像を強調して表示することができる。
　［第２実施形態］
　図９を参照しながら、本実施形態に係る映像再生装置２００について説明する。図９は、第２実施形態に係る映像再生装置２００の一例を示すブロック図である。
　映像再生装置２００は、例えば第１実施形態に記載の記録再生装置１００で保存された撮影データを再生する。映像再生装置２００は、記録部１１０と、操作部１２０と、表示部１３０と、制御部１４０とを有する。映像再生装置２００は、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、ナビゲーション装置などを含む電子機器である。
　記録部１１０は、記録再生装置１００などによって記録された、イベントデータ、イベント検出方向を示す情報、ループ記録データなどが格納されている。記録部１１０は、例えば、フラッシュメモリなどの半導体メモリ素子、または、メモリカードなどの記録部である。または、図示しない通信装置を介して無線接続される外部記録部であってもよい。
　操作部１２０は、映像再生装置２００に対する各種操作を受付可能である。例えば、操作部１２０は、記録部１１０に記録したイベントデータまたはループ記録データを再生する操作を受付可能である。例えば、操作部１２０は、記録部１１０に記録したイベントデータを消去する操作を受付可能である。操作部１２０は、操作情報を制御部１４０の操作制御部１４４に出力する。
　操作部１２０は、表示部１３０に備えられているタッチパネルなどであり、記録部１１０に保存されているイベントデータを再生する操作を、表示部１３０に表示されたサムネイル画像をタッチすることで、イベントデータの選択、再生指示を行う。
　表示部１３０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。表示部１３０は、制御部１４０の表示制御部１４５から出力された映像信号に基づいて、映像を表示する。表示部１３０は、記録部１１０に記録された映像を表示する。
　制御部１４０は、例えば、ＣＰＵなどで構成された演算処理装置（制御装置）である。制御部１４０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部１４０には図示しない内部メモリが含まれ、内部メモリは制御部１４０におけるデータの一時記憶などに用いられる。制御部１４０は、バス１４６に接続された、情報取得部１４１と、再生制御部１４２と、俯瞰映像生成部１４３と、操作制御部１４４と、表示制御部１４５とを有する。
　情報取得部１４１は、車両に対して発生したイベントに基づいて車両の周囲を撮影する複数のカメラが撮影した複数の撮影データ、および車両に対するイベントの検出方向を示す情報を取得する。
　再生制御部１４２は、選択されたイベントデータまたはループ記録データを記録部１１０から取得して再生する。再生制御部１４２は、操作制御部１４４から出力された選択操作および再生操作の制御信号に基づいて、記録部１１０に記録されたイベントデータまたはループ記録データを再生するよう制御する。より詳しくは、再生制御部１４２は、撮影データを再生するとき、俯瞰映像生成部１４３が生成した俯瞰映像を表示部１３０に表示させる。
　俯瞰映像生成部１４３は、情報取得部１４１が取得した複数の撮影データに対して車両の上方から見たように視点変換処理を行い、複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する。俯瞰映像生成部１４３は、情報取得部１４１が取得したイベント検出方向に重ならないように複数の映像を合成する境界を変更する。俯瞰映像生成部１４３は、複数の映像のうち、情報取得部１４１が取得したイベント検出方向に対応する映像の表示面積が大きくなるように複数の映像を合成する境界を変更する。俯瞰映像生成部１４３は、複数の映像のうち、情報取得部１４１が取得したイベント検出方向に対応する映像と隣接する映像との境界を、イベント検出方向とは反対方向に移動するように変更する。
　操作制御部１４４は、操作部１２０が受け付けた操作の操作情報を取得する。例えば、操作制御部１４４は、映像データの選択操作を示す選択操作情報、映像データの再生操作を示す再生操作情報、または、映像データの消去操作を示す消去操作情報を取得して制御信号を出力する。
　表示制御部１４５は、再生制御部１４２からの制御信号に基づいて、表示部１３０における映像データの表示を制御する。表示制御部１４５は、映像データを表示部１３０に出力させる映像信号を出力する。
　映像再生装置２００における再生処理の流れは、図８に示す記録再生装置１００における再生処理の流れと同一である。
　このように、記録再生装置１００で保存された撮影データを再生する映像再生装置２００においても、取得された複数の撮影データに対して車両の上方から見たように視点変換処理を行い、複数の映像を合成する合成境界をイベント検出方向に応じて変更して合成した俯瞰映像Ｐを生成し、生成された俯瞰映像Ｐを表示部に表示させる。このため、イベント検出方向に対応した方向に合成境界が配置されることを抑制できる。これにより、俯瞰映像を用いてイベントの状況を適切に確認することができる。
　これまで本開示に係る記録再生装置１００および映像再生装置２００について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。
　図示した記録再生装置１００および映像再生装置２００の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
　記録再生装置１００および映像再生装置２００の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
　上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本開示の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
　上記では、ループ記録処理を行う場合について説明したが、イベントが検出されてから撮影を開始する場合についても同様である。
　本開示の映像再生装置、記録再生装置、映像再生方法及び映像再生プログラムは、例えばドライブレコーダ等に利用することができる。
　Ｂ１，Ｂ２，Ｂ３，Ｂ４…合成境界、Ｄ１，Ｄ２…イベント検出方向、Ｍ…自車両アイコン、Ｐ…俯瞰映像、Ｐ１…前方映像、Ｐ２…後方映像、Ｐ３…右側方映像、Ｐ４…左側方映像、Ｒ…対象物、１０…撮影部、１１…前方カメラ、１２…後方カメラ、１３…右側方カメラ、１４…左側方カメラ、２０，１１０…記録部、２３…設定操作部、３０，１２０…操作部、４０，１３０…表示部、４２，７１…撮影データ取得部、５０…加速度センサ、６０…ＧＰＳ受信部、７０，１４０…制御部、７２…バッファメモリ、７３…撮影データ処理部、７４…記録制御部、７５，１４２…再生制御部、７６，１４３…俯瞰映像生成部、７７，１４４…操作制御部、７８，１４５…表示制御部、７９…加速度情報取得部、８０…イベント検出部、８１…イベント検出方向取得部、８２…位置情報取得部、８３，１４６…バス、１００…記録再生装置、１４１…情報取得部、２００…映像再生装置

Claims (7)

  1. 　車両に対して発生したイベントに基づいて前記車両の周囲を撮影する複数のカメラが撮影した複数の撮影データ、および前記車両に対するイベントの検出方向を示す情報を取得する情報取得部と、
    　前記情報取得部が取得した複数の撮影データに対して前記車両の上方から見たように視点変換処理を行い、前記複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する俯瞰映像生成部と、
    　前記俯瞰映像生成部が生成した俯瞰映像を表示部に表示させる再生制御部と、
    　を備える映像再生装置。
  2. 　前記俯瞰映像生成部は、前記情報取得部が取得したイベント検出方向に重ならないように前記複数の映像を合成する境界を変更する、
    　請求項１に記載の映像再生装置。
  3. 　前記俯瞰映像生成部は、前記複数の映像のうち、前記情報取得部が取得したイベント検出方向に対応する映像の表示面積が大きくなるように前記複数の映像を合成する境界を変更する、
    　請求項１または２に記載の映像再生装置。
  4. 　前記俯瞰映像生成部は、前記複数の映像のうち、前記情報取得部が取得したイベント検出方向に対応する映像と隣接する映像との境界を、イベント検出方向とは反対方向に移動するように変更する、
    　請求項１から３のいずれか１項に記載の映像再生装置。
  5. 　車両に加わる加速度に基づいて前記車両に対するイベントを検出するイベント検出部と、
    　前記イベント検出部が検出したイベントに基づいて前記車両の周囲を撮影する複数のカメラが撮影した複数の撮影データ、および前記車両に対するイベントの検出方向を示す情報を取得する情報取得部と、
    　前記イベント検出部が前記車両に対するイベントを検出した場合、検出したイベントに関する所定期間の複数の撮影データを記録する記録制御部と、
    　前記記録制御部によって記録された複数の撮影データに対して前記車両の上方から見たように視点変換処理を行い、前記複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する俯瞰映像生成部と
    　前記俯瞰映像生成部が生成した俯瞰映像を表示部に表示させる再生制御部と、
    　を備える記録再生装置。
  6. 　車両に対して発生したイベントに基づいて前記車両の周囲を撮影する複数のカメラが撮影した複数の撮影データ、および前記車両に対するイベントの検出方向を示す情報を取得する情報取得ステップと、
    　前記情報取得ステップにおいて取得された複数の撮影データに対して前記車両の上方から見たように視点変換処理を行い、前記複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する俯瞰映像生成ステップと、
    　前記俯瞰映像生成ステップにおいて生成された俯瞰映像を表示部に表示させる再生制御ステップと、
    　を含む映像再生方法。
  7. 　車両に対して発生したイベントに基づいて前記車両の周囲を撮影する複数のカメラが撮影した複数の撮影データ、および前記車両に対するイベントの検出方向を示す情報を取得する情報取得ステップと、
    　前記情報取得ステップにおいて取得された複数の撮影データに対して前記車両の上方から見たように視点変換処理を行い、前記複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する俯瞰映像生成ステップと、
    　前記俯瞰映像生成ステップにおいて生成された俯瞰映像を表示部に表示させる再生制御ステップと、
    　をコンピュータに実行させる映像再生プログラム。
PCT/JP2020/039379 2020-01-08 2020-10-20 映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム WO2021140720A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020001381A JP2021111843A (ja) 2020-01-08 2020-01-08 映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム
JP2020-001381 2020-01-08

Publications (1)

Publication Number Publication Date
WO2021140720A1 true WO2021140720A1 (ja) 2021-07-15

Family

ID=76788683

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039379 WO2021140720A1 (ja) 2020-01-08 2020-10-20 映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム

Country Status (2)

Country Link
JP (1) JP2021111843A (ja)
WO (1) WO2021140720A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121587A (ja) * 2004-10-25 2006-05-11 Nissan Motor Co Ltd 運転支援装置及び俯瞰画像作成方法
JP2007104373A (ja) * 2005-10-05 2007-04-19 Alpine Electronics Inc 車両用画像表示装置
JP2008221906A (ja) * 2007-03-09 2008-09-25 Alpine Electronics Inc 車両損傷箇所報知システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121587A (ja) * 2004-10-25 2006-05-11 Nissan Motor Co Ltd 運転支援装置及び俯瞰画像作成方法
JP2007104373A (ja) * 2005-10-05 2007-04-19 Alpine Electronics Inc 車両用画像表示装置
JP2008221906A (ja) * 2007-03-09 2008-09-25 Alpine Electronics Inc 車両損傷箇所報知システム

Also Published As

Publication number Publication date
JP2021111843A (ja) 2021-08-02

Similar Documents

Publication Publication Date Title
WO2021140720A1 (ja) 映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム
JP2021111848A (ja) 映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム
US20210337160A1 (en) Recording control device, recording control system, recording control method, and computer program
WO2018096792A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6973590B2 (ja) 車両用映像制御装置、及び映像制御方法
JP7351111B2 (ja) 車両用記録制御装置、記録制御方法およびプログラム
JP2021034975A (ja) 記録制御装置、記録制御方法、およびプログラム
WO2020166144A1 (ja) 車両用映像制御装置、車両用映像システム、映像制御方法、及びプログラム
JP7283124B2 (ja) 記録再生制御装置、再生制御装置、記録再生制御方法およびプログラム
JP2020184768A (ja) 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
JP7452169B2 (ja) 車両用記録制御装置、車両用記録装置、車両用記録制御方法及びプログラム
JP6512243B2 (ja) 記録制御装置、記録装置、記録制御方法及び記録制御プログラム
WO2021149316A1 (ja) 記録再生制御装置、再生制御装置、表示制御方法およびプログラム
JP7208493B2 (ja) 記録制御装置、記録制御システム、記録制御方法、およびプログラム
JP6787423B2 (ja) 記録再生制御装置、再生制御装置、記録再生方法およびプログラム
JP7434919B2 (ja) 記録制御装置、記録制御方法、およびプログラム
JP6766909B2 (ja) 記録再生制御装置、再生制御装置、記録再生制御方法およびプログラム
JP7367556B2 (ja) 記録制御装置、記録制御方法、およびプログラム
JP6787422B2 (ja) 記録再生制御装置、再生制御装置、記録再生制御方法およびプログラム
CN112262414B (zh) 记录再现控制装置、再现控制装置、记录再现控制方法及存储介质
JP2024017152A (ja) 車両用記録制御装置および記録制御方法
JP2020113029A (ja) 記録制御装置、記録制御システム、記録制御方法、およびプログラム
JP2021040302A (ja) 記録制御装置、記録制御方法、およびプログラム
JP2022053315A (ja) 車両用記録制御装置、車両用記録装置及び車両用記録制御方法
JP2023155621A (ja) 映像記録装置および映像記録方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20911318

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20911318

Country of ref document: EP

Kind code of ref document: A1