WO2018123185A1 - 映像生成装置、映像生成システム、映像生成方法およびプログラム - Google Patents

映像生成装置、映像生成システム、映像生成方法およびプログラム Download PDF

Info

Publication number
WO2018123185A1
WO2018123185A1 PCT/JP2017/035987 JP2017035987W WO2018123185A1 WO 2018123185 A1 WO2018123185 A1 WO 2018123185A1 JP 2017035987 W JP2017035987 W JP 2017035987W WO 2018123185 A1 WO2018123185 A1 WO 2018123185A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
image
door
unit
vehicle
Prior art date
Application number
PCT/JP2017/035987
Other languages
English (en)
French (fr)
Inventor
山田　康夫
聡隆 村田
啓太 林
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP17886319.7A priority Critical patent/EP3487173B1/en
Publication of WO2018123185A1 publication Critical patent/WO2018123185A1/ja
Priority to US16/195,887 priority patent/US20190084495A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0019—Side or rear panels
    • B60R2011/0021—Doors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to a video generation device, a video generation system, a video generation method, and a program.
  • a technique related to a vehicle periphery display device that displays a bird's-eye view image of a vehicle for improving visibility around the vehicle is known (for example, see Patent Document 1).
  • Such a technique for displaying a bird's-eye view image is adjusted so that the bird's-eye view image is correctly generated on the basis of a state in which the shooting direction of the imaging device for shooting the periphery of the vehicle is in a predetermined direction. For this reason, when the positional relationship of the imaging devices changes, the overhead view video is not generated correctly, and inconsistency occurs at the joint between the videos. In such a bird's-eye view image that has caused inconsistencies, it may be difficult for the driver to properly check the periphery of the vehicle.
  • the present invention has been made in view of the above, and an object of the present invention is to provide a video generation device, a video generation system, a video generation method, and a program capable of appropriately confirming obstacles around the vehicle. To do.
  • an image generation device is arranged in a vehicle, and at least one of the imaging devices is installed in a movable part movable with respect to the vehicle body of the vehicle.
  • a video acquisition unit that acquires the video imaged in the step, an information acquisition unit that acquires detection information indicating that the operation of the movable unit has been detected, and the plurality of imaging devices acquired by the video acquisition unit.
  • a video generation unit that synthesizes the video and generates a composite video; and a display control unit that displays the composite video generated by the video generation unit on a display unit, wherein the information acquisition unit includes the information acquisition unit.
  • a video generation system includes the above-described video generation device, an imaging device that captures the periphery of the vehicle and supplies the peripheral image to the video acquisition unit, and detects the movable operation and detects the information in the information acquisition unit And a detector for supplying information.
  • An image generation method includes an image acquisition step of acquiring images captured by a plurality of imaging devices disposed in a vehicle and at least one of which is installed in a movable part movable with respect to a vehicle body of the vehicle; An information acquisition step of acquiring detection information indicating that the operation of the movable part has been detected, and a video generation step of generating a composite video by synthesizing videos captured by the plurality of imaging devices acquired in the video acquisition step And a display control step for displaying the composite video generated in the video generation step on a display unit, and the video generation step includes detection information indicating that the operation of the movable unit is detected in the information acquisition step. If acquired, a composite image in which the orientation of the image taken by the imaging device installed in the movable part where the motion is detected is changed in accordance with the detected motion Generated.
  • a program includes a video acquisition step of acquiring video captured by a plurality of imaging devices disposed in a vehicle, at least one of which is installed in a movable unit movable with respect to a vehicle body of the vehicle, and the movable unit
  • An information acquisition step for acquiring detection information indicating that the operation of the image is detected
  • a video generation step for generating a composite video by synthesizing videos captured by the plurality of imaging devices acquired in the video acquisition step
  • a display control step of displaying the composite video generated in the video generation step on a display unit, wherein the video generation step has acquired detection information indicating that the operation of the movable unit has been detected in the information acquisition step
  • the direction of the video imaged by the imaging device installed in the movable part in which the motion is detected is changed to a composite video in which the direction is changed in accordance with the detected motion. It is executed by a computer that operates to formed as video generation device.
  • FIG. 1 is a schematic diagram showing a vehicle on which a video generation system according to the first embodiment is mounted.
  • FIG. 2 is a block diagram showing the video generation system according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a bird's-eye view image generated by the image generation system according to the first embodiment.
  • FIG. 4 is a diagram illustrating another example of the overhead view video generated by the video generation system according to the first embodiment.
  • FIG. 5 is a flowchart showing the flow of processing in the overhead view video generation device of the video generation system according to the first embodiment.
  • FIG. 6 is a block diagram showing a video generation system according to the second embodiment.
  • FIG. 7 is a diagram illustrating an example of an overhead video generated by the video generation system according to the second embodiment.
  • FIG. 1 is a schematic diagram showing a vehicle on which a video generation system according to the first embodiment is mounted.
  • FIG. 2 is a block diagram showing the video generation system according to the first embodiment.
  • FIG. 3 is
  • FIG. 8 is a flowchart showing the flow of processing in the overhead view video generation device of the video generation system according to the second embodiment.
  • FIG. 9 is a diagram illustrating an example of an overhead video generated by the video generation system according to the third embodiment.
  • FIG. 10 is a diagram illustrating another example of the overhead view video generated by the video generation system according to the third embodiment.
  • FIG. 11 is a diagram illustrating another example of the overhead view video generated by the video generation system according to the third embodiment.
  • FIG. 12 is a diagram illustrating another example of the overhead view video generated by the video generation system according to the third embodiment.
  • FIG. 13 is a diagram illustrating another example of the overhead view image generated by the image generation system according to the third embodiment.
  • FIG. 14 is a diagram illustrating an example of an overhead video generated by the video generation system according to the fourth embodiment.
  • FIG. 15 is a diagram illustrating an example of an overhead video generated by the video generation system according to the fifth embodiment.
  • FIG. 16 is a diagram illustrating an example of an overhead video generated by the video generation system according to the sixth embodiment.
  • FIG. 17 is a schematic diagram illustrating a vehicle on which the video generation system according to the seventh embodiment is mounted.
  • FIG. 18 is a flowchart showing the flow of processing in the overhead view video generation device of the video generation system according to the seventh embodiment.
  • FIG. 1 is a schematic diagram showing a vehicle on which a video generation system according to the first embodiment is mounted.
  • the vehicle V has, as the movable part A, a left movable part AL including a left door DL and a left side mirror ML, and a right movable part AR including a right door DR and a right side mirror MR.
  • the left movable portion AL and the right movable portion AR are not distinguished, the movable portion A will be described. In the following description, it is assumed that the left door DL of the left movable part AL has been opened.
  • a left side mirror ML for visually recognizing the left side of the vehicle V is disposed on the left door DL.
  • the left door DL is disposed on the left vehicle body toward the front in the traveling direction of the vehicle V.
  • the left door DL can be opened and closed with respect to the vehicle body of the vehicle V.
  • the left side mirror ML can be opened and closed with respect to the left door DL.
  • the left side mirror ML moves relative to the vehicle body of the vehicle V as the left door DL opens and closes. Further, the left side mirror ML itself opens and closes with respect to the left door DL. For this reason, even when the left door DL does not open and close, the left side mirror ML moves relative to the vehicle body of the vehicle V and the left door DL.
  • the left door DL and the left side mirror ML move relative to the vehicle body of the vehicle V as the left movable portion AL.
  • a right side mirror MR for visually recognizing the right side of the vehicle V is disposed on the right door DR.
  • the right door DR is disposed on the right side toward the front in the traveling direction of the vehicle V.
  • the right door DR can be opened and closed with respect to the vehicle body of the vehicle V.
  • the right side mirror MR can be opened and closed with respect to the right door DR.
  • the right side mirror MR moves with respect to the vehicle body of the vehicle V as the right door DR opens and closes. Further, the right side mirror MR itself opens and closes with respect to the right door DR. For this reason, even when the right door DR does not open and close, the right side mirror MR moves relative to the vehicle body of the vehicle V and the right door DR.
  • the right door DR and the right side mirror MR move relative to the vehicle body of the vehicle V as the right movable portion AR.
  • FIG. 2 is a block diagram showing the video generation system according to the first embodiment.
  • the video generation system 1 generates an overhead video 100 (see FIG. 3) of the vehicle V.
  • the overhead view video generation device 40 and the video generation system 1 are mounted on the vehicle V.
  • the overhead image generation device 40 and the video generation system 1 may be a portable device that can be used in the vehicle V.
  • the video generation system 1 includes a front camera (imaging device) 11, a rear camera (imaging device) 12, a left side camera (imaging device) 13, a right side camera (imaging device) 14, and a display panel (display unit). 31 and a bird's-eye view video generation device 40.
  • the front camera 11 is arranged in front of the vehicle V and photographs the periphery around the front of the vehicle V.
  • the front camera 11 outputs video data of the captured peripheral video (hereinafter referred to as “peripheral video data”) to the video acquisition unit 42 of the overhead view video generation device 40.
  • the rear camera 12 is arranged behind the vehicle V and photographs the periphery around the rear of the vehicle V.
  • the rear camera 12 outputs the captured peripheral video data to the video acquisition unit 42 of the overhead view video generation device 40.
  • the left side camera 13 is arranged on the left side of the vehicle V and photographs the periphery around the left side of the vehicle V.
  • the left side camera 13 is disposed in the left movable part AL.
  • the left side camera 13 is attached and fixed to the left side mirror ML.
  • the left side camera 13 may be attached to the left door DL.
  • the left side camera 13 is movable relative to the vehicle body of the vehicle V by the operation of the left movable portion AL.
  • the shooting direction of the left side camera 13 is changed by the operation of the left movable part AL.
  • the left side camera 13 outputs the captured peripheral video data to the video acquisition unit 42 of the overhead view video generation device 40.
  • the right-side camera 14 is arranged on the right side of the vehicle V and photographs the periphery around the right side of the vehicle V.
  • the right side camera 14 is disposed in the right movable part AR.
  • the right side camera 14 is attached and fixed to the right side mirror MR.
  • the right side camera 14 may be attached to the right door DR.
  • the right side camera 14 is movable relative to the vehicle body of the vehicle V by the operation of the right movable portion AR.
  • the shooting direction of the right camera 14 changes according to the operation of the right movable part AR.
  • the right side camera 14 outputs the captured peripheral video data to the video acquisition unit 42 of the overhead view video generation device 40.
  • the imaging unit 10 including the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14 shoots all directions of the vehicle V.
  • the display panel 31 is a display including a liquid crystal display (LCD: Liquid Crystal Display), an organic EL (Organic Electro-Luminescence) display, and a head-up display, for example.
  • the display panel 31 displays a video based on the video signal output from the overhead view video generation device 40 of the video generation system 1.
  • the display panel 31 may be dedicated to the video generation system 1 or may be used jointly with other systems including a navigation system, for example.
  • the display panel 31 is disposed at a position that is easily visible to the driver.
  • the overhead view video generation device 40 includes a control unit 41 and a storage unit 49.
  • the control unit 41 is an arithmetic processing unit configured with, for example, a CPU (Central Processing Unit).
  • the control unit 41 loads the program stored in the storage unit 49 into the memory and executes instructions included in the program.
  • the control unit 41 includes a video acquisition unit 42, a vehicle information acquisition unit (information acquisition unit) 43, an overhead video generation unit (video generation unit) 44, and a display control unit 45.
  • the video acquisition unit 42 acquires peripheral video data obtained by photographing the periphery of the vehicle V. More specifically, the video acquisition unit 42 acquires the peripheral video data output by the imaging unit 10. The video acquisition unit 42 outputs the acquired peripheral video data to the overhead video generation unit 44.
  • the vehicle information acquisition unit 43 obtains vehicle information including information that serves as a trigger for displaying the bird's-eye view image 100 such as gear operation information of the vehicle V, and operation information (detection information) of the movable unit A, as a CAN (Controller Area). Network) and various sensors that sense the state of the vehicle V.
  • the vehicle information acquisition unit 43 outputs the acquired vehicle information to the overhead view video generation unit 44.
  • the vehicle information acquisition unit 43 includes a door information acquisition unit 431.
  • the door information acquisition unit 431 acquires door opening / closing information as operation information of the movable part A.
  • the door opening / closing information indicates whether the left door DL or the right door DR is in an open state or a closed state. Further, the door information acquisition unit 431 also acquires the opening stage information of the left door DL or the right door DR as the operation information of the movable part A.
  • the door opening stage of the vehicle V is a position where the door stops in an open state in two or three stages by a cam mechanism in the hinge of the door.
  • the bird's-eye view video generation unit 44 generates a bird's-eye view video 100 that has undergone viewpoint conversion so that the vehicle V is looked down from above from the peripheral video data acquired by the video acquisition unit 42.
  • the overhead video generation unit 44 includes a viewpoint conversion processing unit 441 and a video synthesis unit 442.
  • the overhead view video generation unit 44 outputs a video signal for displaying the generated overhead view video 100 to the display control unit 45.
  • the viewpoint conversion processing unit 441 performs viewpoint conversion processing on the surrounding video data acquired by the video acquisition unit 42 so that the vehicle V is looked down from above. More specifically, the viewpoint conversion processing unit 441 generates a video on which the viewpoint conversion processing has been performed based on the peripheral video data captured by the imaging unit 10.
  • the method of viewpoint conversion processing may be any known method and is not limited.
  • the viewpoint conversion processing unit 441 may store the peripheral video data subjected to the viewpoint conversion processing in the storage unit 49.
  • the video synthesizing unit 442 generates the overhead video 100 by cutting out and synthesizing the peripheral video data subjected to the viewpoint conversion processing by the viewpoint conversion processing unit 441 within a predetermined cutout range.
  • the video composition unit 442 When the door is closed, the video composition unit 442 generates the normal overhead video 100 by cutting out the peripheral video data that has undergone the viewpoint conversion process in the first output range.
  • FIG. 3 is a diagram illustrating an example of a bird's-eye view image generated by the image generation system according to the first embodiment.
  • the bird's-eye view image 100 is located at the center surrounded by the front image 101, the rear image 102, the left side image 103, the right side image 104, the front image 101, the rear image 102, the left side image 103, and the right side image 104.
  • the front video 101, the rear video 102, the left side video 103, the right side video 104, and the host vehicle icon 110 may be separated by a frame-like boundary line.
  • the bird's-eye view video 100 is generated in a frame F that is a vertically long rectangular display range.
  • the frame F includes a first frame F1 for displaying the front image 101, a second frame F2 for displaying the rear image 102, a third frame F3 for displaying the left image 103, and a fourth frame for displaying the right image 104.
  • Frame F4 is a first frame F1 for displaying the front image 101, a second frame F2 for displaying the rear image 102, a third frame F3 for displaying the left image 103, and a fourth frame for displaying the right image 104.
  • FIG. 3 diagonal broken lines indicating boundaries between the front video 101, the rear video 102, the left side video 103, and the right side video 104 are illustrated for explanation, but are actually displayed on the display panel 31.
  • the display of the broken line or the solid line is arbitrary and may not be displayed.
  • the boundary between the front video 101, the rear video 102, the left side video 103, and the right side video 104 may be processed so that the boundary is not conspicuous, for example, by overlapping adjacent portions of the adjacent video. The same applies to the other figures.
  • the video composition unit 442 cuts out the peripheral video data subjected to the viewpoint conversion process in the first output range. Then, the video composition unit 442 performs a left-side video 103A or a right-side video 104A obtained by converting the viewpoint corresponding to the direction in which the door is opened according to the direction in which the door is opened, the front video 101A, and the rear video 102A.
  • the video composition unit 442 includes a left-side image 103A obtained by converting the viewpoint of the left-side image 103 corresponding to the left side where the door is opened according to the opening direction of the left door DL, the front image 101A, The rear video 102A and the right side video 104A are synthesized to generate the overhead video 100A.
  • FIG. 4 is a diagram illustrating another example of the overhead view video generated by the video generation system according to the first embodiment.
  • the overhead video 100A includes the same front video 101A, rear video 102A, right side video 104A, and left side video 103A as the normal overhead video 100.
  • the left-side image 103A is an image obtained by changing the viewpoint of the peripheral image data captured by the left-side camera 13 in accordance with the change in the position and direction of the left-side camera 13 due to the opening of the left door DL.
  • the left-side image 103A is an image obtained by rotating the left-side image 103 clockwise about a point P by a predetermined angle in accordance with the change in the shooting direction of the left-side camera 13.
  • the point P is a position corresponding to the attachment position of the left side mirror ML of the host vehicle icon 110.
  • the left side image 103A is rotated in the third frame F3.
  • a region where the left side image 103A of the third frame F3 is not displayed displays a monochromatic image.
  • the operation of opening the door of the vehicle V and the rotation of the image are when the rotation axis is perpendicular or close to the ground.
  • the display control unit 45 displays the overhead image 100 or the overhead image 100A generated by the overhead image generation unit 44 on the display panel 31.
  • the storage unit 49 stores data required for various processes in the overhead view video generation device 40 and various processing results.
  • the storage unit 49 is, for example, a semiconductor memory element such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • FIG. 5 is a flowchart showing the flow of processing in the overhead view video generation device of the video generation system according to the first embodiment.
  • the control unit 41 determines whether or not to start the overhead view video display (step S11). As an example of the determination to start the overhead view video display, the control unit 41 determines whether or not to disclose the overhead view video display based on the presence or absence of a reverse trigger.
  • the reverse trigger means that, for example, the shift position is “reverse”. Alternatively, the reverse trigger means that the traveling direction of the vehicle V is rearward in the front-rear direction of the vehicle V.
  • the control unit 41 determines not to start the overhead view video display (No in step S11), and executes the process of step S11 again.
  • the control unit 41 determines to start the overhead view video display (Yes in Step S11), and proceeds to Step S12.
  • the control unit 41 determines whether or not the door is open (step S12).
  • the control unit 41 determines whether the left door DL or the right door DR is open based on the vehicle information acquired by the vehicle information acquisition unit 43.
  • the control unit 41 proceeds to Step S13.
  • the control unit 41 proceeds to Step S14.
  • a determination as to whether or not the vehicle V has stopped may be added in order to validate the determination in step S12. Most of the cases where the door of the vehicle V is opened is because the vehicle is stopped. Accordingly, the display of the overhead image is started by the reverse trigger in step S11, and even if the vehicle stops after the reverse operation and the shift position is changed from reverse to parking or neutral, the overhead image display is continued without being ended.
  • step S11 when the overhead view video display operation is started by the user's operation while the vehicle V is stopped, or the vehicle V stops.
  • Various conditions that can open the door of the vehicle V are applicable, such as when the opening operation of the door of the vehicle V is detected in the state where the vehicle V is open. Further, the condition in which the vehicle V is stopped is not essential, and includes a case where the door of the vehicle V is opened in a traveling state at a low speed.
  • the control unit 41 generates and displays a normal bird's-eye view image 100 (step S13). More specifically, the control unit 41 causes the viewpoint conversion processing unit 441 to generate a video that has undergone viewpoint conversion so that the vehicle V is looked down from above from the peripheral video data acquired by the video acquisition unit 42. Then, the control unit 41 causes the video composition unit 442 to generate the normal overhead video 100 by cutting out the peripheral video data that has undergone the viewpoint conversion processing in the first output range. Then, the control unit 41 causes the display control unit 45 to display the generated overhead image 100 on the display panel 31.
  • the control unit 41 generates and displays a bird's-eye view image 100A synthesized by changing the direction (step S14). More specifically, the control unit 41 causes the viewpoint conversion processing unit 441 to generate a video that has undergone viewpoint conversion so that the vehicle V is looked down from above from the peripheral video data acquired by the video acquisition unit 42. For the video corresponding to the direction in which the door is opened, the viewpoint conversion processing unit 441 generates a video whose viewpoint is changed in accordance with the direction in which the door is opened. Then, the control unit 41 uses the video composition unit 442 to convert the video corresponding to the direction in which the door is opened to the left side video 103A or the right side video 104A in which the viewpoint is changed according to the direction in which the door is opened, and the front video.
  • the control unit 41 uses the viewpoint conversion processing unit 441 to convert the left side image 103 corresponding to the left side where the door is opened to the left side image 103A whose viewpoint is converted according to the direction in which the left door DL is opened. Then, the front video 101A, the rear video 102A, and the right side video 104A are synthesized to generate the overhead video 100A. Then, the control unit 41 causes the display control unit 45 to display the generated overhead image 100A on the display panel 31.
  • the control unit 41 determines whether or not to end the overhead view video display (step S15). More specifically, the control unit 41 determines whether or not a condition for ending the overhead view video display is satisfied with respect to various conditions for starting the overhead view video display described in step S11. For example, after the bird's-eye view image is displayed in a stopped state of the vehicle V, the vehicle V starts to travel, or after a predetermined time has elapsed since the operation of the engine of the vehicle V is stopped. When it is determined that the overhead video display is to be ended (Yes in step S15), the control unit 41 ends the process. If the control unit 41 determines not to end the overhead video display (No in step S15), the control unit 41 returns to step S12 and continues the process.
  • the video generation system 1 generates and displays the overhead view video 100 or the overhead view video 100A in accordance with the open / closed state of the door.
  • the normal overhead image 100 is generated and displayed.
  • the left-side image 103A or the right-side image 104A in which the direction of the image corresponding to the direction in which the door is opened is changed, the front image 101A,
  • the overhead video 100A is generated and displayed by combining the rear video 102A.
  • the bird's-eye view is rotated clockwise in a direction in which the image corresponding to the direction in which the door is opened is converted to the viewpoint according to the shooting direction.
  • the video 100A can be displayed.
  • this embodiment can produce
  • the overhead view video with discontinuous joints is generated and displayed. It can be avoided.
  • FIG. 6 is a block diagram showing a video generation system according to the second embodiment.
  • the basic configuration of the video generation system 1A is the same as that of the video generation system 1 of the first embodiment.
  • components similar to those of the video generation system 1A are denoted by the same reference numerals or corresponding reference numerals, and detailed description thereof is omitted.
  • the vehicle information acquisition unit 43 includes the door information acquisition unit 431 and the side mirror information acquisition unit 432, and the processing in the video synthesis unit 442 of the overhead video generation device 40 is the same as in the first embodiment. Different.
  • the side mirror information acquisition unit 432 acquires side mirror opening / closing information as operation information of the movable part A.
  • the side mirror opening / closing information indicates whether the left side mirror ML or the right side mirror MR is in an open state or a closed state.
  • the left side mirror ML and the right side mirror MR may be support portions that are disposed on the left door DL and the right door DR and support the left side camera 13 and the right side camera 14.
  • the side mirror information acquisition unit 432 can be replaced with a support unit information acquisition unit that acquires opening / closing information of the support unit as the operation information of the movable unit A.
  • the video composition unit 442 When the door is open and the side mirror is closed, the video composition unit 442 cuts out the peripheral video data that has undergone the viewpoint conversion process in the first output range. Then, the video composition unit 442 generates the overhead video 100B by combining the left video 103 and the right video 104 into a single color video 103B and a single color video 104B, and the front video 101B and the rear video 102B. In other words, when the door is open and the side mirror is closed, the video composition unit 442 cuts out the peripheral video data that has undergone the viewpoint conversion processing within the first range.
  • the video composition unit 442 generates the overhead image 100B by synthesizing the third frame F3 and the fourth frame F4 into the single color video 103B and the single color video 104B and combining the front video 101B and the rear video 102B.
  • FIG. 7 is a diagram illustrating an example of an overhead video generated by the video generation system according to the second embodiment.
  • the overhead image 100B includes the same front image 101B, rear image 102B, monochrome image 103B, and monochrome image 104B as the normal overhead image 100.
  • the left side image 103 of the normal bird's-eye view image 100 is replaced with a monochrome image 103B
  • the right side image 104 is replaced with a monochrome image 104B.
  • the video composition unit 442 cuts out the peripheral video data subjected to the viewpoint conversion process in the first output range. Then, the video composition unit 442 performs a left-side video 103A or a right-side video 104A obtained by converting the viewpoint corresponding to the direction in which the door is opened according to the direction in which the door is opened, the front video 101A, and the rear video 102A. Are combined to generate an overhead view video 100A.
  • FIG. 8 is a flowchart showing the flow of processing in the overhead view video generation device of the video generation system according to the second embodiment.
  • the processes in steps S21-S23, S26, and S27 in the flowchart shown in FIG. 8 are the same as the processes in steps S11-S13, S14, and S15 in the flowchart shown in FIG.
  • the control unit 41 determines whether or not the side mirror is open (step S24). More specifically, the control unit 41 determines whether the left side mirror ML or the right side mirror MR is open based on the vehicle information acquired by the vehicle information acquisition unit 43. When the left side mirror ML or the right side mirror MR is open (Yes in step S24), the control unit 41 proceeds to step S25. If the left side mirror ML or the right side mirror MR is not open (No in step S24), the control unit 41 proceeds to step S26.
  • the control unit 41 generates and displays a bird's-eye view image 100B synthesized using only the front and rear images (step S25). More specifically, the control unit 41 uses the video composition unit 442 to combine the left-side video 103 and the right-side video 104 into a single-color video 103B and a single-color video 104B, and synthesize the front video 101B and the rear video 102B. Is generated. Then, the control unit 41 causes the display control unit 45 to display the generated overhead image 100B on the display panel 31.
  • the video generation system 1A generates and displays the overhead view video 100, the overhead view video 100B, or the overhead view video 100A in accordance with the open / closed state of the door and the side mirror.
  • the left door DL and the right door DR when the left door DL and the right door DR are closed, the normal overhead image 100 is generated and displayed.
  • the video image corresponding to the direction in which the door is opened is converted to the left side according to the door opening direction.
  • the video 103A or the right side video 104A, the front video 101A, and the rear video 102A are combined to generate and display the overhead video 100A.
  • the left side image 103 and the right side image 104 are monochromatic images.
  • this embodiment can generate and display the bird's-eye view image 100, the bird's-eye view image 100B, or the bird's-eye view image 100A in accordance with the opening / closing state of the door and the opening / closing state of the side mirror.
  • the vehicle periphery can be appropriately confirmed according to the open / closed state of the door and the open / closed state of the side mirror.
  • the video generation system 1 according to the present embodiment will be described with reference to FIGS. 9 to 13.
  • the video generation system 1 of the present embodiment is different from the video generation system 1 of the first embodiment in the processing in the video synthesis unit 442 of the overhead video generation device 40.
  • the bird's-eye view video 100C1, the bird's-eye view video 100C2, the bird's-eye view video 100C3, and the bird's-eye view video 100C4, which will be described later, are not distinguished, the description will be made as a bird's-eye view video 100C including a front video 101C, a rear video 102C, a left-side video 103C, and a right-side video 104C.
  • the video composition unit 442 generates a left side video 103C or a right side video 104C obtained by converting a viewpoint corresponding to a direction in which the door is opened according to the direction in which the door is opened, a front video 101C, and a rear video 102C. By combining these, a bird's-eye view video 100C having a wider display range than the normal bird's-eye view video 100 is generated.
  • the video composition unit 442 generates an overhead video 100C1 having a display range wider than the overhead video 100 so that the rear end of the video whose direction has been changed is included.
  • the video composition unit 442 synthesizes the left video 103C1, the front video 101C1, the rear video 102C1, and the right video 104C1 obtained by changing the viewpoint of the left video 103 according to the direction in which the door is opened.
  • an overhead image 100C1 having a wider display range than the overhead image 100 is generated.
  • the generated overhead image 100C1 will be described with reference to FIG.
  • FIG. 9 is a diagram illustrating an example of an overhead video generated by the video generation system according to the third embodiment.
  • the bird's-eye view image 100C1 includes a first frame F1 that displays the front image 101C1, a second frame F2 that displays the rear image 102C1, a third frame F3 that displays the left image 103C1, and a first frame that displays the right image 104C1. It includes a fourth frame F4, a first frame F1, a second frame F2, and a fifth frame F5 formed in a band shape on the left side of the third frame F3.
  • the overhead image 100C1 includes the same front image 101C1, rear image 102C1, right side image 104C1, left side image 103C1, and monochrome image 105C1 as the normal overhead image 100.
  • the left side video 103C1 is a video obtained by changing the viewpoint of the left side video 103 in accordance with the direction in which the left door DL is opened.
  • the left side image 103C1 includes a rear end portion 103C1a.
  • the monochrome image 105C1 is a monochrome image in an area where the left-side image 103C1 is not displayed in the fifth frame F5.
  • the generated overhead image 100C1 has a wider display range than the normal overhead image 100.
  • the video compositing unit 442 may generate the overhead view video so that the area of the video after the viewpoint conversion is widened. More specifically, the video composition unit 442 cuts out a video corresponding to the direction in which the door is opened in a second cutout range that is widened in the vehicle width direction and away from the vehicle V. Then, the video composition unit 442 synthesizes the left video 103C2 or the right video 104C2 whose viewpoint is changed in accordance with the direction in which the door is opened, the front video 101C2, and the rear video 102C2, and generates the overhead video 100C2. May be.
  • FIG. 10 is a diagram illustrating another example of the overhead view video generated by the video generation system according to the third embodiment.
  • the overhead view video 100C2 includes the same front video 101C2, rear video 102C2, right side video 104C2, single color video 105C2, and left side video 103C2 as the overhead video 100C1.
  • the left side image 103C2 is wider than the left side image 103C1 in the direction away from the vehicle V in the vehicle width direction.
  • the second cutout range of the left side image 103C2 is set according to the length of the boundary line L1 between the front image 101C2 and the left side image 103C2.
  • the video composition unit 442 cuts out the video corresponding to the direction in which the door is opened in the third cutout range that is widened in the vehicle width direction in the direction away from the vehicle V and widened backward. Then, the video composition unit 442 synthesizes the left video 103C3 or the right video 104C3, the front video 101C3, and the rear video 102C3 whose viewpoints are changed in accordance with the direction in which the door is opened, to generate the overhead video 100C3. May be.
  • FIG. 11 is a diagram illustrating another example of the overhead view video generated by the video generation system according to the third embodiment.
  • the overhead image 100C3 includes the same front image 101C3, rear image 102C3, right side image 104C3, single color image 105C3, and left side image 103C3 as the overhead image 100C2.
  • the left side image 103C3 is wider rearward than the left side image 103C2.
  • the video composition unit 442 may generate the overhead view video so that the area of the monochromatic video included in the generated overhead view video is narrowed. More specifically, the video composition unit 442 is on the third frame F3 side, in other words, the rear video 102C4, the front video 101C4, the left video 103C4, and the right video 104C4 cut out in the fourth cutout range widened forward. May be combined to generate the overhead view video 100C4.
  • FIG. 12 is a diagram illustrating another example of the overhead view video generated by the video generation system according to the third embodiment.
  • the overhead video 100C4 includes the same front video 101C4, right side video 104C4, single color video 105C4, rear video 102C4 and left side video 103C4 as the overhead video 100C3.
  • the rear image 102C4 has a wider left front than the rear image 102C1.
  • the third frame F3 of the overhead image 100C4 has a smaller area than the third frame F3 of the normal overhead image 100.
  • the third frame F3 is preferably narrowed to the rear end of the vehicle V.
  • the image composition unit 442 includes the front image 101C5 cut out in the fifth cutout range widened in the direction away from the vehicle V in the vehicle width direction and the sixth cutout range widened in the direction away from the vehicle V in the vehicle width direction.
  • the rear video 102C5, the left side video 103C5, and the right side video 104C5 that were cut out in step S4 may be combined to generate the overhead view video 100C5.
  • FIG. 13 is a diagram illustrating another example of the overhead view image generated by the image generation system according to the third embodiment.
  • the overhead image 100C5 includes the same right side image 104C5 as the overhead image 100C3, a front image 101C5, a rear image 102C5, and a left side image 103C5.
  • the front image 101C5 is wider on the left side than the front image 101C1.
  • the rear video 102C5 is wider on the left side than the rear video 102C1.
  • the present embodiment when the left door DL is open or when the right door DR is open, the image corresponding to the direction in which the door is opened is matched with the direction in which the door is opened.
  • the left-side video 103C or the right-side video 104C subjected to the viewpoint conversion, the front video 101C, and the rear video 102C can be combined to generate and display an overhead video 100C having a wider display range than the normal overhead video 100.
  • the display range of the left side video 103C or the right side video 104C that has undergone viewpoint conversion according to the direction in which the door is opened can be widened as compared with the left side video 103A or the right side video 104A.
  • the present embodiment can appropriately check the periphery of the vehicle.
  • FIG. 14 is a diagram illustrating an example of an overhead video generated by the video generation system according to the fourth embodiment.
  • the video generation system 1 of the present embodiment is different from the video generation system 1 of the first embodiment in the processing in the video synthesis unit 442 of the overhead video generation device 40.
  • the video composition unit 442 brings the host vehicle icon 110 in a direction different from the direction in which the door is opened, and converts the video corresponding to the direction in which the door is opened to change the viewpoint according to the direction in which the door is opened.
  • the side image 103D or the right side image 104D, the front image 101D, and the rear image 102D are combined to generate the overhead image 100D. More specifically, the video composition unit 442 cuts out the front video 101D with a cutout range that is closer to the left side than the front video 101.
  • the video compositing unit 442 cuts out the rear video 102D within a cutout range that is closer to the left side than the rear video 102.
  • the video composition unit 442 cuts out the left side video 103D in the same cutout range as the left side video 103.
  • the video compositing unit 442 cuts out the right side video 104D with a cutout range that is closer to the vehicle V than the right side video 104.
  • the video composition unit 442 synthesizes the clipped video.
  • the generated overhead view video 100D will be described with reference to FIG.
  • the overhead video 100D includes a front video 101D, a rear video 102D, a left side video 103D, a right side video 104D, and a monochromatic video 105D.
  • the left side video 103D is a video obtained by changing the viewpoint of the left side video 103 in accordance with the direction in which the left door DL is opened.
  • the left side image 103D includes a rear end portion 103Da.
  • the right side image 104D has a smaller area than the right side image 104.
  • the generated overhead image 100D has the same display range as the normal overhead image 100.
  • the host vehicle icon 110 is moved in a direction different from the direction in which the door is opened.
  • the left-side image 103D or the right-side image 104D obtained by converting the image corresponding to the direction in which the door is opened to the direction in which the door is opened is synthesized with the front image 101D and the rear image 102D, and the overhead image 100D can be generated and displayed.
  • this embodiment can generate and display the overhead view video 100D in the same display range as the normal overhead view video 100.
  • the overhead image 100D can be generated and displayed in the same display range as the normal overhead image 100 without reducing the display area of the image corresponding to the direction in which the door is opened.
  • this embodiment can avoid narrowing the display range of the video displayed side by side with the overhead image 100D on the display panel 31.
  • FIG. 15 is a diagram illustrating an example of an overhead video generated by the video generation system according to the fifth embodiment.
  • the video generation system 1 of the present embodiment is different from the video generation system 1 of the first embodiment in the processing in the video synthesis unit 442 of the overhead video generation device 40.
  • the video composition unit 442 may synthesize the video by superimposing it on the front surface of the front video 101 when changing the direction of the video corresponding to the direction in which the door is opened.
  • the distortion of the image increases toward the periphery.
  • the images in front of the left-side image 103 and the right-side image 104 are images with little distortion because they are close to the shooting position of the camera. For this reason, the left side image 103 or the right side image 104 is less distorted at the front side of the vehicle V than the front image, and the driver can easily recognize the periphery of the vehicle V.
  • the generated overhead image 100E will be described with reference to FIG.
  • the bird's-eye view image 100E includes a front image 101E, a rear image 102E, a left side image 103E, a right side image 104E, and a monochromatic image 105E.
  • the left side video 103E is a video obtained by changing the viewpoint of the left side video 103 in accordance with the opening direction of the left door DL.
  • the left side image 103E is synthesized by being superimposed on the front surface of the front image 101E.
  • the present embodiment when the image corresponding to the direction in which the door is opened is changed and synthesized, the image is superimposed on the front of the front image 101E.
  • the bird's-eye view image 100E which a driver
  • FIG. 16 is a diagram illustrating an example of an overhead video generated by the video generation system according to the sixth embodiment.
  • the video generation system 1 of the present embodiment is different from the video generation system 1 of the first embodiment in the processes in the vehicle information acquisition unit 43 and the video synthesis unit 442 of the overhead view video generation device 40.
  • the door information acquisition unit 431 acquires information indicating the operation amount of the movable part A as the operation information of the movable part A.
  • the door information acquisition unit 431 acquires the operation amounts (openings) of the left door DL and the right door DR as the operation information of the movable unit A.
  • the amount of movement (opening) of the left door DL and the right door DR acquired by the door information acquisition unit 431 is angle information indicating that the door is stopped in an open state by a cam mechanism of a hinge that supports the door of the vehicle V or the like. This is the angle information at which the door is actually opened.
  • the video composition unit 442 When the door is opened, the video composition unit 442 synthesizes the left side video 103F or the right side video 104F, the front video 101F, and the rear video 102F, the viewpoint of which is changed according to the opening of the door, A video 100F is generated.
  • the video composition unit 442 when the door opening degree is equal to or smaller than the first opening degree, the video composition unit 442 generates a bird's eye view image 100C1 obtained by performing viewpoint conversion corresponding to the first opening degree of the left side video image 103.
  • the image composition unit 442 sets the left side image 103 to the second opening degree that is larger than the first opening degree of the door.
  • a bird's-eye view image 100F that has been subjected to corresponding viewpoint conversion is generated.
  • the video composition unit 442 changes the viewpoint according to the opening degree of the left side video 103F or the right side video 104F. Then, the front video 101F and the rear video 102F may be combined to generate the overhead video 100F.
  • the video composition unit 442 may generate the overhead view video 100B in which the video corresponding to the direction in which the door is opened is replaced with the single color video 103B and the single color video 104B while the door opening degree is changing. .
  • the video composition unit 442 may perform a left-side video 103F or a right-side video 104F that is continuously converted in view of the opening of the door when the door is opened, a front video 101F, and a rear video 102F. May be combined to generate the overhead view video 100F.
  • the present embodiment can generate and display the bird's-eye view video 100C1 and the bird's-eye view video 100F whose viewpoints are changed according to the opening of the door. Thereby, this embodiment can make it possible to appropriately confirm the periphery of the vehicle.
  • FIG. 17 is a schematic diagram illustrating a vehicle on which the video generation system according to the seventh embodiment is mounted.
  • FIG. 18 is a flowchart showing the flow of processing in the overhead view video generation device of the video generation system according to the seventh embodiment.
  • the video generation system 1 of the present embodiment is different from the video generation system 1 of the first embodiment in the processing in the video synthesis unit 442 of the overhead video generation device 40.
  • the video composition unit 442 may generate a normal overhead image 100B when the door is open and the side mirror is closed.
  • steps S31 to S34, S36, and S37 in the flowchart shown in FIG. 18 are the same as the processes in steps S21 to S24, step S26, and step S27 in the flowchart shown in FIG.
  • step S35 a normal overhead video 100 is generated and displayed (step S35).
  • the normal overhead image 100B can be generated even when the door is open and the side mirror is closed. Thereby, this embodiment can display the normal bird's-eye view image 100B even when the side mirror cannot visually recognize the rear side. Thus, this embodiment can make it possible to more appropriately confirm the periphery of the vehicle.
  • Each component of the illustrated video generation system 1 is functionally conceptual and may not necessarily be physically configured as illustrated. That is, the specific form of each device is not limited to the one shown in the figure, and all or a part of them is functionally or physically distributed or integrated in arbitrary units according to the processing load or usage status of each device. May be.
  • the configuration of the video generation system 1 is realized by, for example, a program loaded into a memory as software.
  • the above embodiment has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • step S25 of the flowchart shown in FIG. 5 only the video corresponding to the direction in which the door is opened may be a single-color video, and the video corresponding to the direction in which the door is closed may be included in the overhead view video 100B.
  • Video generation system 11 Front camera (imaging device) 12 Rear camera (imaging device) 13 Left-side camera (imaging device) 14 Right-side camera (imaging device) 31 Display panel (display section) 40 Overhead video generation device (video generation device) 41 Control Unit 42 Video Acquisition Unit 43 Vehicle Information Acquisition Unit (Information Acquisition Unit) 44 Overhead video generator (video generator) 441 Viewpoint conversion processing unit 442 Video composition unit 45 Display control unit 49 Storage unit 100 Overhead video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

車両に配置され、少なくとも一つが車両の車体に対して可動する可動部に設置される撮像ユニット１０で撮像された映像を取得する映像取得部４２と、可動部の動作を検出したことを示す検出情報を取得する車両情報取得部４３と、映像取得部４２が取得した撮像ユニット１０で撮像された映像を合成して、合成映像を生成する俯瞰映像生成部４４と、俯瞰映像生成部４４が生成した合成映像を表示パネル３１に表示させる表示制御部４５と、を備え、俯瞰映像生成部４４は、車両情報取得部４３が可動部の動作を検出したことを示す検出情報を取得した場合、動作が検出された可動部に設置された撮像ユニット１０で撮影された映像の向きを変えた合成映像を生成することを特徴とする。

Description

映像生成装置、映像生成システム、映像生成方法およびプログラム
　本発明は、映像生成装置、映像生成システム、映像生成方法およびプログラムに関する。
　車両周辺の視認性を向上させるための、車両の俯瞰映像を表示する車両周辺表示装置に関する技術が知られている（例えば、特許文献１参照）。
特開２０１０－０４２７２８号公報
　このような俯瞰映像を表示させる技術では、車両周辺を撮影する撮像装置の撮影方向が所定の方向を向いている状態を基準にして、俯瞰映像が正しく生成されるように調整されている。このため、撮像装置の位置関係が変化した場合、俯瞰映像が正しく生成されず、映像同士の繋ぎ目において不整合を生じる。このように不整合を生じた俯瞰映像では、運転者が車両周辺を適切に確認することが困難になるおそれがある。
　本発明は、上記に鑑みてなされたものであって、車両周辺の障害物を適切に確認可能にすることができる映像生成装置、映像生成システム、映像生成方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る映像生成装置は、車両に配置され、少なくとも一つが前記車両の車体に対して可動する可動部に設置される複数の撮像装置で撮像された映像を取得する映像取得部と、前記可動部の動作を検出したことを示す検出情報を取得する情報取得部と、前記映像取得部が取得した前記複数の撮像装置で撮像された映像を合成して、合成映像を生成する映像生成部と、前記映像生成部が生成した合成映像を表示部に表示させる表示制御部と、を備え、前記映像生成部は、前記情報取得部が前記可動部の動作を検出したことを示す検出情報を取得した場合、動作が検出された前記可動部に設置された前記撮像装置で撮影された映像の向きを、検出された動作に伴い向きを変えた合成映像を生成することを特徴とする。
　本発明に係る映像生成システムは、上記の映像生成装置と、前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮像装置と、前記可動の動作を検出し前記情報取得部に検出情報を供給する検出部とを有することを特徴とする。
　本発明に係る映像生成方法は、車両に配置され、少なくとも一つが前記車両の車体に対して可動する可動部に設置される複数の撮像装置で撮像された映像を取得する映像取得ステップと、前記可動部の動作を検出したことを示す検出情報を取得する情報取得ステップと、前記映像取得ステップで取得した前記複数の撮像装置で撮像された映像を合成して、合成映像を生成する映像生成ステップと、前記映像生成ステップで生成した合成映像を表示部に表示させる表示制御ステップと、を含み、前記映像生成ステップは、前記情報取得ステップで前記可動部の動作を検出したことを示す検出情報を取得した場合、動作が検出された前記可動部に設置された前記撮像装置で撮影された映像の向きを、検出された動作に伴い向きを変えた合成映像を生成する。
　本発明に係るプログラムは、車両に配置され、少なくとも一つが前記車両の車体に対して可動する可動部に設置される複数の撮像装置で撮像された映像を取得する映像取得ステップと、前記可動部の動作を検出したことを示す検出情報を取得する情報取得ステップと、前記映像取得ステップで取得した前記複数の撮像装置で撮像された映像を合成して、合成映像を生成する映像生成ステップと、前記映像生成ステップで生成した合成映像を表示部に表示させる表示制御ステップと、を含み、前記映像生成ステップは、前記情報取得ステップで前記可動部の動作を検出したことを示す検出情報を取得した場合、動作が検出された前記可動部に設置された前記撮像装置で撮影された映像の向きを、検出された動作に伴い向きを変えた合成映像を生成することを映像生成装置として動作するコンピュータに実行させる。
　本発明によれば、車両周辺を適切に確認可能にすることができるという効果を奏する。
図１は、第一実施形態に係る映像生成システムを載置した車両を示す概略図である。 図２は、第一実施形態に係る映像生成システムを示すブロック図である。 図３は、第一実施形態に係る映像生成システムで生成した俯瞰映像の一例を示す図である。 図４は、第一実施形態に係る映像生成システムで生成した俯瞰映像の他の例を示す図である。 図５は、第一実施形態に係る映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。 図６は、第二実施形態に係る映像生成システムを示すブロック図である。 図７は、第二実施形態に係る映像生成システムで生成した俯瞰映像の一例を示す図である。 図８は、第二実施形態に係る映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。 図９は、第三実施形態に係る映像生成システムで生成した俯瞰映像の一例を示す図である。 図１０は、第三実施形態に係る映像生成システムで生成した俯瞰映像の他の例を示す図である。 図１１は、第三実施形態に係る映像生成システムで生成した俯瞰映像の他の例を示す図である。 図１２は、第三実施形態に係る映像生成システムで生成した俯瞰映像の他の例を示す図である。 図１３は、第三実施形態に係る映像生成システムで生成した俯瞰映像の他の例を示す図である。 図１４は、第四実施形態に係る映像生成システムで生成した俯瞰映像の一例を示す図である。 図１５は、第五実施形態に係る映像生成システムで生成した俯瞰映像の一例を示す図である。 図１６は、第六実施形態に係る映像生成システムで生成した俯瞰映像の一例を示す図である。 図１７は、第七実施形態に係る映像生成システムを載置した車両を示す概略図である。 図１８は、第七実施形態に係る映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。
　以下に添付図面を参照して、本発明に係る俯瞰映像生成装置（映像生成装置）４０、映像生成システム１、映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
［第一実施形態］
　図１を用いて、映像生成システム１を搭載した車両Ｖについて概略を説明する。図１は、第一実施形態に係る映像生成システムを載置した車両を示す概略図である。車両Ｖは、可動部Ａとして、左扉ＤＬと左サイドミラーＭＬとを含む左可動部ＡＬと、右扉ＤＲと右サイドミラーＭＲとを含む右可動部ＡＲとを有している。以下、左可動部ＡＬと右可動部ＡＲとを区別しないときは、可動部Ａとして説明する。以下、左可動部ＡＬの左扉ＤＬが開操作されたものとして説明する。
　車両Ｖは、左扉ＤＬに、車両Ｖの左側方を視認するための左サイドミラーＭＬが配置されている。左扉ＤＬは、車両Ｖの進行方向の前方に向かって左側の車体に配置されている。左扉ＤＬは、車両Ｖの車体に対して開閉可能である。左サイドミラーＭＬは、左扉ＤＬに対して開閉可能である。左サイドミラーＭＬは、左扉ＤＬの開閉に伴い、車両Ｖの車体に対して可動する。さらに、左サイドミラーＭＬ自身も左扉ＤＬに対して開閉する。このため、左扉ＤＬが開閉動作をしない場合においても、左サイドミラーＭＬは、車両Ｖの車体及び左扉ＤＬに対して可動する。このように、左扉ＤＬと左サイドミラーＭＬとは、左可動部ＡＬとして、車両Ｖの車体に対して可動する。
　車両Ｖは、右扉ＤＲに、車両Ｖの右側方を視認するための右サイドミラーＭＲが配置されている。右扉ＤＲは、車両Ｖの進行方向の前方に向かって右側の側部に配置されている。右扉ＤＲは、車両Ｖの車体に対して開閉可能である。右サイドミラーＭＲは、右扉ＤＲに対して開閉可能である。右サイドミラーＭＲは、右扉ＤＲの開閉に伴い、車両Ｖの車体に対して可動する。さらに、右サイドミラーＭＲ自身も右扉ＤＲに対して開閉する。このため、右扉ＤＲが開閉動作をしない場合においても、右サイドミラーＭＲは、車両Ｖの車体及び右扉ＤＲに対して可動する。このように、右扉ＤＲと右サイドミラーＭＲとは、右可動部ＡＲとして、車両Ｖの車体に対して可動する。
　図２を用いて、映像生成システム１について説明する。図２は、第一実施形態に係る映像生成システムを示すブロック図である。映像生成システム１は、車両Ｖの俯瞰映像１００（図３参照）を生成する。俯瞰映像生成装置４０および映像生成システム１は、車両Ｖに搭載されている。俯瞰映像生成装置４０および映像生成システム１は、車両Ｖに載置されているものに加えて、可搬型で車両Ｖにおいて利用可能な装置であってもよい。
　映像生成システム１は、前方カメラ（撮像装置）１１と、後方カメラ（撮像装置）１２と、左側方カメラ（撮像装置）１３と、右側方カメラ（撮像装置）１４と、表示パネル（表示部）３１と、俯瞰映像生成装置４０とを有する。
　前方カメラ１１は、車両Ｖの前方に配置され、車両Ｖの前方を中心とした周辺を撮影する。前方カメラ１１は、撮影した周辺映像の映像データ（以下、「周辺映像データ」という。）を俯瞰映像生成装置４０の映像取得部４２へ出力する。
　後方カメラ１２は、車両Ｖの後方に配置され、車両Ｖの後方を中心とした周辺を撮影する。後方カメラ１２は、撮影した周辺映像データを俯瞰映像生成装置４０の映像取得部４２へ出力する。
　左側方カメラ１３は、車両Ｖの左側方に配置され、車両Ｖの左側方を中心とした周辺を撮影する。左側方カメラ１３は、左可動部ＡＬに配置されている。本実施形態では、左側方カメラ１３は、左サイドミラーＭＬに取付け、固定されている。左側方カメラ１３は、左扉ＤＬに取付けられていてもよい。左側方カメラ１３は、左可動部ＡＬの動作によって、車両Ｖの車体に対して可動する。左側方カメラ１３は、左可動部ＡＬの動作によって、撮影方向が変化する。左側方カメラ１３は、撮影した周辺映像データを俯瞰映像生成装置４０の映像取得部４２へ出力する。
　右側方カメラ１４は、車両Ｖの右側方に配置され、車両Ｖの右側方を中心とした周辺を撮影する。右側方カメラ１４は、右可動部ＡＲに配置されている。本実施形態では、右側方カメラ１４は、右サイドミラーＭＲに取付け、固定されている。右側方カメラ１４は、右扉ＤＲに取付けられていてもよい。右側方カメラ１４は、右可動部ＡＲの動作によって、車両Ｖの車体に対して可動する。右側方カメラ１４は、右可動部ＡＲの動作によって、撮影方向が変化する。右側方カメラ１４は、撮影した周辺映像データを俯瞰映像生成装置４０の映像取得部４２へ出力する。
　前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とを含む撮像ユニット１０で、車両Ｖの全方位を撮影する。
　表示パネル３１は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ヘッドアップディスプレイを含むディスプレイである。表示パネル３１は、映像生成システム１の俯瞰映像生成装置４０から出力された映像信号に基づいて映像を表示する。表示パネル３１は、映像生成システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル３１は、運転者から視認容易な位置に配置されている。
　俯瞰映像生成装置４０は、制御部４１と、記憶部４９とを有する。
　制御部４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などで構成された演算処理装置である。制御部４１は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４１は、映像取得部４２と、車両情報取得部（情報取得部）４３と、俯瞰映像生成部（映像生成部）４４と、表示制御部４５とを有する。
　映像取得部４２は、車両Ｖの周辺を撮影した周辺映像データを取得する。より詳しくは、映像取得部４２は、撮像ユニット１０が出力した周辺映像データを取得する。映像取得部４２は、取得した周辺映像データを俯瞰映像生成部４４に出力する。
　車両情報取得部４３は、車両Ｖのギア操作情報など、俯瞰映像１００を表示させるためのトリガとなる情報と、可動部Ａの動作情報（検出情報）とを含む車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や車両Ｖの状態をセンシングする各種センサなどから取得する。車両情報取得部４３は、取得した車両情報を俯瞰映像生成部４４に出力する。車両情報取得部４３は、扉情報取得部４３１を有する。
　扉情報取得部４３１は、可動部Ａの動作情報として扉の開閉情報を取得する。扉の開閉情報は、左扉ＤＬまたは右扉ＤＲが開状態であるか、閉状態であるかを示す。また、扉情報取得部４３１は、可動部Ａの動作情報として、左扉ＤＬまたは右扉ＤＲの開段階情報も取得する。車両Ｖの扉の開段階とは、扉のヒンジにおけるカム機構により２段階または３段階に扉が開状態で停止する位置である。
　俯瞰映像生成部４４は、映像取得部４２で取得した周辺映像データから車両Ｖを上方から見下ろすように視点変換を行った俯瞰映像１００を生成する。俯瞰映像生成部４４は、視点変換処理部４４１と、映像合成部４４２とを有する。俯瞰映像生成部４４は、生成した俯瞰映像１００を表示させるための映像信号を表示制御部４５に出力する。
　視点変換処理部４４１は、映像取得部４２で取得した周辺映像データに対して、車両Ｖを上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部４４１は、撮像ユニット１０で撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部４４１は、視点変換処理を行った周辺映像データを記憶部４９に記憶してもよい。
　映像合成部４４２は、視点変換処理部４４１で視点変換処理を行った周辺映像データを所定の切出範囲で切出して合成し俯瞰映像１００を生成する。
　映像合成部４４２は、扉が閉じている場合、視点変換処理を行った周辺映像データを第一切出範囲で切出して通常の俯瞰映像１００を生成する。
　図３を用いて、通常の俯瞰映像１００について説明する。図３は、第一実施形態に係る映像生成システムで生成した俯瞰映像の一例を示す図である。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４と、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とで囲まれた中央部に位置する自車両アイコン１１０とを含む。前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４と、自車両アイコン１１０とは、枠状の境界線で区切られていてもよい。
　俯瞰映像１００は、縦長の矩形状の表示範囲であるフレームＦ内に生成される。フレームＦは、前方映像１０１を表示する第一フレームＦ１と、後方映像１０２を表示する第二フレームＦ２と、左側方映像１０３を表示する第三フレームＦ３と、右側方映像１０４を表示する第四フレームＦ４とを含む。
　図３においては、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４との境界を示す斜めの破線を説明のために図示しているが、実際に表示パネル３１に表示される俯瞰映像１００には当該破線や実線などの表示は任意であり表示されない場合もある。また、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４との境界は隣接する映像の隣接部分を重畳させるなど境界が目立たないような処理を行ってもよい。他の図も同様である。
　映像合成部４４２は、車両情報取得部４３で可動部Ａの動作を検出したことを示す動作情報を取得した場合、動作が検出された可動部Ａに設置されたカメラで撮影された映像の向きを扉の開いた方向に合わせて変えた俯瞰映像１００Ａを生成する。より詳しくは、映像合成部４４２は、扉が開いているとき、視点変換処理を行った周辺映像データを第一切出範囲で切出す。そして、映像合成部４４２は、扉が開操作された方向に対応する映像を扉の開いた方向に合わせて視点変換した左側方映像１０３Ａまたは右側方映像１０４Ａと、前方映像１０１Ａと、後方映像１０２Ａとを合成して俯瞰映像１００Ａを生成する。本実施形態では、映像合成部４４２は、扉が開操作された左側に対応する左側方映像１０３を左扉ＤＬの開いた方向に合わせて視点変換した左側方映像１０３Ａと、前方映像１０１Ａと、後方映像１０２Ａと、右側方映像１０４Ａとを合成して俯瞰映像１００Ａを生成する。
　図４を用いて、俯瞰映像１００Ａについて説明する。図４は、第一実施形態に係る映像生成システムで生成した俯瞰映像の他の例を示す図である。俯瞰映像１００Ａは、通常の俯瞰映像１００と同じ前方映像１０１Ａと後方映像１０２Ａと右側方映像１０４Ａと、左側方映像１０３Ａとを含む。左側方映像１０３Ａは、左扉ＤＬが開いたことによる左側方カメラ１３の位置と方向の変化に合わせて、左側方カメラ１３により撮影した周辺映像データを視点変換した映像である。言い換えると、左側方映像１０３Ａは、左側方カメラ１３の撮影方向の変化に合わせて、左側方映像１０３を点Ｐを中心として所定角度、時計回りに回転させた映像である。点Ｐは、自車両アイコン１１０の左サイドミラーＭＬの取付位置に対応する位置である。左側方映像１０３Ａは、第三フレームＦ３内で回転される。第三フレームＦ３の左側方映像１０３Ａを表示しない領域は単色映像を表示する。車両Ｖの扉の開く動作および映像の回転は、回転軸が地面に垂直または垂直に近い場合である。
　表示制御部４５は、俯瞰映像生成部４４が生成した俯瞰映像１００または俯瞰映像１００Ａを表示パネル３１に表示させる。
　記憶部４９は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部４９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ　Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
　次に、図５を用いて、映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図５は、第一実施形態に係る映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。
　制御部４１は、俯瞰映像表示を開始するか否かを判定する（ステップＳ１１）。俯瞰映像表示を開始する判定の例として、制御部４１は、後退トリガの有無に基づいて、俯瞰映像表示を開示するか否かを判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両Ｖの進行方向が車両Ｖの前後方向の後方となったことをいう。制御部４１は、後退トリガがない場合、俯瞰映像表示を開始しないと判定し（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。制御部４１は、後退トリガがある場合、俯瞰映像表示を開始すると判定し（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。
　制御部４１は、扉が開いているか否かを判定する（ステップＳ１２）。制御部４１は、車両情報取得部４３が取得した車両情報に基づいて、左扉ＤＬまたは右扉ＤＲが開いているか否かを判定する。制御部４１は、左扉ＤＬまたは右扉ＤＲが開いていない場合（ステップＳ１２でＮｏ）、ステップＳ１３に進む。制御部４１は、左扉ＤＬまたは右扉ＤＲが開いている場合（ステップＳ１２でＹｅｓ）、ステップＳ１４に進む。
　ステップＳ１１の後退トリガに基づいて図３に示す俯瞰映像を表示した後、ステップＳ１２の判断を有効とするために、車両Ｖが停止したか否かの判断を加えてもよい。車両Ｖの扉を開ける場合の多くは車両が停止している状態のためである。したがって、ステップＳ１１で後退トリガにより俯瞰映像の表示が開始され、後退動作後に車両が停止し、シフトポジションがリバースからパーキングやニュートラルなどに変更されても、俯瞰映像の表示は終了せず継続させる。
　また、ステップＳ１１の俯瞰映像表示を開始する判定の他の例としては、車両Ｖが停止している状態で、ユーザの操作により俯瞰映像の表示操作が開始された場合や、車両Ｖが停止している状態で、車両Ｖの扉の開動作が検出された場合など、車両Ｖの扉が開かれる可能性のある様々な条件が適用可能である。また、車両Ｖが停止している条件は必須ではなく、低速度での走行状態で車両Ｖの扉が開かれる場合も含む。
　制御部４１は、通常の俯瞰映像１００を生成し表示する（ステップＳ１３）。より詳しくは、制御部４１は、視点変換処理部４４１で、映像取得部４２が取得した周辺映像データから車両Ｖを上方から見下ろすように視点変換を行った映像を生成させる。そして、制御部４１は、映像合成部４４２で、視点変換処理を行った周辺映像データを第一切出範囲で切出して通常の俯瞰映像１００を生成させる。そして、制御部４１は、表示制御部４５で、生成した俯瞰映像１００を表示パネル３１に表示させる。
　制御部４１は、向きを変えて合成した俯瞰映像１００Ａを生成し表示する（ステップＳ１４）。より詳しくは、制御部４１は、視点変換処理部４４１で、映像取得部４２が取得した周辺映像データから車両Ｖを上方から見下ろすように視点変換を行った映像を生成させる。視点変換処理部４４１は、扉が開操作された方向に対応する映像に対しては、扉の開いた方向に合わせて視点変換した映像を生成する。そして、制御部４１は、映像合成部４４２で、扉が開操作された方向に対応する映像を扉の開いた方向に合わせて視点変換された左側方映像１０３Ａまたは右側方映像１０４Ａと、前方映像１０１Ａと、後方映像１０２Ａとを合成して俯瞰映像１００Ａを生成させる。本実施形態では、制御部４１は、視点変換処理部４４１で、扉が開操作された左側に対応する左側方映像１０３を左扉ＤＬの開いた方向に合わせて視点変換された左側方映像１０３Ａと、前方映像１０１Ａと、後方映像１０２Ａと、右側方映像１０４Ａとを合成して俯瞰映像１００Ａを生成させる。そして、制御部４１は、表示制御部４５で、生成した俯瞰映像１００Ａを表示パネル３１に表示させる。
　制御部４１は、俯瞰映像表示を終了するか否かを判定する（ステップＳ１５）。より詳しくは、制御部４１は、ステップＳ１１で説明した俯瞰映像表示を開始する様々な条件に対して、俯瞰映像表示を終了させる条件を満たしたか否かを判定する。例えば、車両Ｖの停止状態で俯瞰映像が表示された後、車両Ｖの走行が開始された場合や、車両Ｖのエンジンなど動作停止状態となってから所定時間経過後などである。制御部４１は、俯瞰映像表示を終了すると判定した場合（ステップＳ１５でＹｅｓ）、処理を終了する。制御部４１は、俯瞰映像表示を終了しないと判定した場合（ステップＳ１５でＮｏ）、ステップＳ１２に戻って処理を継続する。
　このようにして、映像生成システム１は、扉の開閉状態に合わせて、俯瞰映像１００または俯瞰映像１００Ａを生成し表示する。
　上述したように、本実施形態は、左扉ＤＬと右扉ＤＲとが閉じているとき、通常の俯瞰映像１００を生成し表示する。本実施形態は、左扉ＤＬまたは右扉ＤＲが開いているとき、扉が開操作された方向に対応する映像の向きを変えた左側方映像１０３Ａまたは右側方映像１０４Ａと、前方映像１０１Ａと、後方映像１０２Ａとを合成して俯瞰映像１００Ａを生成し表示する。これにより、本実施形態は、左扉ＤＬまたは右扉ＤＲが開いているとき、扉が開操作された方向に対応する映像を撮影方向に合わせて視点変換した方向に時計回りに回転させた俯瞰映像１００Ａを表示することができる。このように、本実施形態は、扉の開閉状態に合わせて、俯瞰映像１００または俯瞰映像１００Ａを生成し表示することができる。
　本実施形態は、可動部Ａが動作して撮像ユニット１０の撮影方向がセットアップ時に調整された方向に対してずれたとしても、繋ぎ目が不連続となった俯瞰映像を生成し表示することを回避することができる。
　このように、本実施形態によれば、可動部Ａの動作に合わせて、車両周辺を適切に確認可能にすることができる。
［第二実施形態］
　図６ないし図８を参照しながら、本実施形態に係る映像生成システム１Ａについて説明する。図６は、第二実施形態に係る映像生成システムを示すブロック図である。映像生成システム１Ａは、基本的な構成は第一実施形態の映像生成システム１と同様である。以下の説明においては、映像生成システム１Ａと同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。映像生成システム１Ａは、車両情報取得部４３が扉情報取得部４３１とサイドミラー情報取得部４３２とを有する点と、俯瞰映像生成装置４０の映像合成部４４２における処理とが、第一実施形態と異なる。
　サイドミラー情報取得部４３２は、可動部Ａの動作情報としてサイドミラーの開閉情報を取得する。サイドミラーの開閉情報は、左サイドミラーＭＬまたは右サイドミラーＭＲが開状態であるか、閉状態であるかを示す。左サイドミラーＭＬおよび右サイドミラーＭＲは、左扉ＤＬおよび右扉ＤＲに配置され左側方カメラ１３および右側方カメラ１４を支持する支持部であってもよい。この場合、サイドミラー情報取得部４３２は、可動部Ａの動作情報として支持部の開閉情報を取得する支持部情報取得部に置き換え可能である。
　映像合成部４４２は、扉が開いて、サイドミラーが閉じているとき、視点変換処理を行った周辺映像データを第一切出範囲で切出す。そして、映像合成部４４２は、左側方映像１０３と右側方映像１０４とを単色映像１０３Ｂと単色映像１０４Ｂとし、前方映像１０１Ｂと、後方映像１０２Ｂと合成して俯瞰映像１００Ｂを生成させる。言い換えると、映像合成部４４２は、扉が開いて、サイドミラーが閉じているとき、視点変換処理を行った周辺映像データを第一切出範囲で切出す。そして、映像合成部４４２は、第三フレームＦ３と第四フレームＦ４とを単色映像１０３Ｂと単色映像１０４Ｂとし、前方映像１０１Ｂと、後方映像１０２Ｂと合成して俯瞰映像１００Ｂを生成させる。
　図７を用いて、俯瞰映像１００Ｂについて説明する。図７は、第二実施形態に係る映像生成システムで生成した俯瞰映像の一例を示す図である。俯瞰映像１００Ｂは、通常の俯瞰映像１００と同じ前方映像１０１Ｂと後方映像１０２Ｂと、単色映像１０３Ｂと単色映像１０４Ｂとを含む。俯瞰映像１００Ｂは、通常の俯瞰映像１００の左側方映像１０３が単色映像１０３Ｂに置き換えられ、右側方映像１０４が単色映像１０４Ｂに置き換えられている。
　映像合成部４４２は、扉が開いて、サイドミラーが開いているとき、視点変換処理を行った周辺映像データを第一切出範囲で切出す。そして、映像合成部４４２は、扉が開操作された方向に対応する映像を扉の開いた方向に合わせて視点変換した左側方映像１０３Ａまたは右側方映像１０４Ａと、前方映像１０１Ａと、後方映像１０２Ａとを合成して俯瞰映像１００Ａを生成させる。
　次に、映像生成システム１Ａの俯瞰映像生成装置４０における処理の流れについて説明する。図８は、第二実施形態に係る映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。図８に示すフローチャートのステップＳ２１－ステップＳ２３、ステップＳ２６、ステップＳ２７の処理は、図５に示すフローチャートのステップＳ１１－ステップＳ１３、ステップＳ１４、ステップＳ１５の処理と同様の処理を行う。
　制御部４１は、サイドミラーが開いているか否かを判定する（ステップＳ２４）。より詳しくは、制御部４１は、車両情報取得部４３が取得した車両情報に基づいて、左サイドミラーＭＬまたは右サイドミラーＭＲが開いているか否かを判定する。制御部４１は、左サイドミラーＭＬまたは右サイドミラーＭＲが開いている場合（ステップＳ２４でＹｅｓ）、ステップＳ２５に進む。制御部４１は、左サイドミラーＭＬまたは右サイドミラーＭＲが開いていない場合（ステップＳ２４でＮｏ）、ステップＳ２６に進む。
　制御部４１は、前後のみの映像を用いて合成した俯瞰映像１００Ｂを生成し表示する（ステップＳ２５）。より詳しくは、制御部４１は、映像合成部４４２で、左側方映像１０３と右側方映像１０４とを単色映像１０３Ｂと単色映像１０４Ｂとし、前方映像１０１Ｂと、後方映像１０２Ｂと合成して俯瞰映像１００Ｂを生成させる。そして、制御部４１は、表示制御部４５で、生成した俯瞰映像１００Ｂを表示パネル３１に表示させる。
　このようにして、映像生成システム１Ａは、扉とサイドミラーの開閉状態に合わせて、俯瞰映像１００または俯瞰映像１００Ｂまたは俯瞰映像１００Ａを生成し表示する。
　上述したように、本実施形態は、左扉ＤＬと右扉ＤＲとが閉じているとき、通常の俯瞰映像１００を生成し表示する。本実施形態は、左扉ＤＬが開いているとき、または、右扉ＤＲが開いているとき、扉が開操作された方向に対応する映像を扉の開いた方向に合わせて視点変換した左側方映像１０３Ａまたは右側方映像１０４Ａと、前方映像１０１Ａと、後方映像１０２Ａとを合成して俯瞰映像１００Ａを生成し表示する。本実施形態は、左扉ＤＬが開き左サイドミラーＭＬが閉じているとき、または、右扉ＤＲが開き右サイドミラーＭＲが閉じているとき、左側方映像１０３と右側方映像１０４とを単色映像１０３Ｂと単色映像１０４Ｂとし、前方映像１０１Ｂと、後方映像１０２Ｂと合成して俯瞰映像１００Ｂを生成し表示する。このように、本実施形態は、扉の開閉状態ととサイドミラーの開閉状態に合わせて、俯瞰映像１００または俯瞰映像１００Ｂまたは俯瞰映像１００Ａを生成し表示することができる。
　このように、本実施形態は、扉の開閉状態とサイドミラーの開閉状態に合わせて、車両周辺を適切に確認可能にすることができる。
［第三実施形態］
　図９ないし図１３を参照しながら、本実施形態に係る映像生成システム１について説明する。本実施形態の映像生成システム１は、俯瞰映像生成装置４０の映像合成部４４２における処理が、第一実施形態の映像生成システム１と異なる。後述する俯瞰映像１００Ｃ１、俯瞰映像１００Ｃ２、俯瞰映像１００Ｃ３、俯瞰映像１００Ｃ４を区別しないとき、前方映像１０１Ｃと後方映像１０２Ｃと左側方映像１０３Ｃと右側方映像１０４Ｃとを含む俯瞰映像１００Ｃとして説明する。
　映像合成部４４２は、扉が開操作された方向に対応する映像を扉の開いた方向に合わせて視点変換した左側方映像１０３Ｃまたは右側方映像１０４Ｃと、前方映像１０１Ｃと、後方映像１０２Ｃとを合成して、通常の俯瞰映像１００より表示範囲を広くした俯瞰映像１００Ｃを生成する。
　例えば、映像合成部４４２は、向きを変えた映像の後端部が含まれるように俯瞰映像１００より表示範囲を広くした俯瞰映像１００Ｃ１を生成する。本実施形態では、映像合成部４４２は、左側方映像１０３を扉の開いた方向に合わせて視点変換した左側方映像１０３Ｃ１と、前方映像１０１Ｃ１と、後方映像１０２Ｃ１と、右側方映像１０４Ｃ１とを合成して俯瞰映像１００より表示範囲を広くした俯瞰映像１００Ｃ１を生成する。
　図９を用いて、生成された俯瞰映像１００Ｃ１について説明する。図９は、第三実施形態に係る映像生成システムで生成した俯瞰映像の一例を示す図である。俯瞰映像１００Ｃ１は、前方映像１０１Ｃ１を表示する第一フレームＦ１と、後方映像１０２Ｃ１を表示する第二フレームＦ２と、左側方映像１０３Ｃ１を表示する第三フレームＦ３と、右側方映像１０４Ｃ１を表示する第四フレームＦ４と、第一フレームＦ１と第二フレームＦ２と第三フレームＦ３より左側に帯状に形成された第五フレームＦ５とを含む。俯瞰映像１００Ｃ１は、通常の俯瞰映像１００と同じ前方映像１０１Ｃ１と後方映像１０２Ｃ１と右側方映像１０４Ｃ１と、左側方映像１０３Ｃ１と、単色映像１０５Ｃ１とを含む。左側方映像１０３Ｃ１は、左側方映像１０３を、左扉ＤＬの開いた方向に合わせて、視点変換した映像である。左側方映像１０３Ｃ１は、後端部１０３Ｃ１ａを含む。単色映像１０５Ｃ１は、第五フレームＦ５で左側方映像１０３Ｃ１を表示しない領域の単色映像である。生成された俯瞰映像１００Ｃ１は、通常の俯瞰映像１００より表示範囲が広い。
　例えば、映像合成部４４２は、視点変換した映像の面積が広くなるように俯瞰映像を生成してもよい。より詳しくは、映像合成部４４２は、扉が開操作された方向に対応する映像を車幅方向に車両Ｖから離れる方向に広げた第二切出範囲で切出す。そして、映像合成部４４２は、扉の開いた方向に合わせて視点変換した左側方映像１０３Ｃ２または右側方映像１０４Ｃ２と、前方映像１０１Ｃ２と、後方映像１０２Ｃ２とを合成して、俯瞰映像１００Ｃ２を生成してもよい。
　図１０を用いて、生成された俯瞰映像１００Ｃ２について説明する。図１０は、第三実施形態に係る映像生成システムで生成した俯瞰映像の他の例を示す図である。俯瞰映像１００Ｃ２は、俯瞰映像１００Ｃ１と同じ前方映像１０１Ｃ２と後方映像１０２Ｃ２と右側方映像１０４Ｃ２と単色映像１０５Ｃ２と、左側方映像１０３Ｃ２とを含む。左側方映像１０３Ｃ２は、左側方映像１０３Ｃ１に対して、車幅方向に車両Ｖから離れる方向に広くなっている。本実施形態では、前方映像１０１Ｃ２と左側方映像１０３Ｃ２との境界線Ｌ１の長さに合わせて、左側方映像１０３Ｃ２の第二切出範囲を設定する。
　または、映像合成部４４２は、扉が開操作された方向に対応する映像を、車幅方向に車両Ｖから離れる方向に広げ、かつ、後方に広げた第三切出範囲で切出す。そして、映像合成部４４２は、扉の開いた方向に合わせて視点変換した左側方映像１０３Ｃ３または右側方映像１０４Ｃ３と、前方映像１０１Ｃ３と、後方映像１０２Ｃ３とを合成して、俯瞰映像１００Ｃ３を生成してもよい。
　図１１を用いて、生成された俯瞰映像１００Ｃ３について説明する。図１１は、第三実施形態に係る映像生成システムで生成した俯瞰映像の他の例を示す図である。俯瞰映像１００Ｃ３は、俯瞰映像１００Ｃ２と同じ前方映像１０１Ｃ３と後方映像１０２Ｃ３と右側方映像１０４Ｃ３と単色映像１０５Ｃ３と、左側方映像１０３Ｃ３とを含む。左側方映像１０３Ｃ３は、左側方映像１０３Ｃ２より後方に広くなっている。
　例えば、映像合成部４４２は、生成した俯瞰映像に含まれる単色映像の面積が狭くなるように俯瞰映像を生成してもよい。より詳しくは、映像合成部４４２は第三フレームＦ３側、言い換えると、前方に広げた第四切出範囲で切出した後方映像１０２Ｃ４と、前方映像１０１Ｃ４と、左側方映像１０３Ｃ４と、右側方映像１０４Ｃ４とを合成して、俯瞰映像１００Ｃ４を生成してもよい。
　図１２を用いて、生成された俯瞰映像１００Ｃ４について説明する。図１２は、第三実施形態に係る映像生成システムで生成した俯瞰映像の他の例を示す図である。俯瞰映像１００Ｃ４は、俯瞰映像１００Ｃ３と同じ前方映像１０１Ｃ４と右側方映像１０４Ｃ４と単色映像１０５Ｃ４と、後方映像１０２Ｃ４と左側方映像１０３Ｃ４とを含む。後方映像１０２Ｃ４は、後方映像１０２Ｃ１に対して、左前方が広くなっている。俯瞰映像１００Ｃ４の第三フレームＦ３は、通常の俯瞰映像１００の第三フレームＦ３より面積が狭くなっている。第三フレームＦ３は、車両Ｖの後方の端部まで狭くすることが好ましい。
　または、映像合成部４４２は、車幅方向に車両Ｖから離れる方向に広げた第五切出範囲で切出した前方映像１０１Ｃ５と、車幅方向に車両Ｖから離れる方向に広げた第六切出範囲で切出した後方映像１０２Ｃ５と、左側方映像１０３Ｃ５と、右側方映像１０４Ｃ５とを合成して俯瞰映像１００Ｃ５を生成してもよい。
　図１３を用いて、生成された俯瞰映像１００Ｃ５について説明する。図１３は、第三実施形態に係る映像生成システムで生成した俯瞰映像の他の例を示す図である。俯瞰映像１００Ｃ５は、俯瞰映像１００Ｃ３と同じ右側方映像１０４Ｃ５と、前方映像１０１Ｃ５と後方映像１０２Ｃ５と左側方映像１０３Ｃ５とを含む。前方映像１０１Ｃ５は、前方映像１０１Ｃ１に対して、左側方が広くなっている。後方映像１０２Ｃ５は、後方映像１０２Ｃ１に対して、左側方が広くなっている。
　上述したように、本実施形態は、左扉ＤＬが開いているとき、または、右扉ＤＲが開いているとき、扉が開操作された方向に対応する映像を扉の開いた方向に合わせて視点変換した左側方映像１０３Ｃまたは右側方映像１０４Ｃと、前方映像１０１Ｃ、後方映像１０２Ｃとを合成して、通常の俯瞰映像１００より表示範囲を広くした俯瞰映像１００Ｃを生成し表示することができる。これにより、本実施形態は、扉の開いた方向に合わせて視点変換した左側方映像１０３Ｃまたは右側方映像１０４Ｃの表示範囲を左側方映像１０３Ａまたは右側方映像１０４Ａに比べて広くすることができる。このように、本実施形態は、車両周辺を適切に確認可能にすることができる。
［第四実施形態］
　図１４を参照しながら、本実施形態に係る映像生成システム１について説明する。図１４は、第四実施形態に係る映像生成システムで生成した俯瞰映像の一例を示す図である。本実施形態の映像生成システム１は、俯瞰映像生成装置４０の映像合成部４４２における処理が、第一実施形態の映像生成システム１と異なる。
　映像合成部４４２は、扉が開操作された方向とは異なる方向に自車両アイコン１１０を寄せて、扉が開操作された方向に対応する映像を扉の開いた方向に合わせて視点変換した左側方映像１０３Ｄまたは右側方映像１０４Ｄと、前方映像１０１Ｄと、後方映像１０２Ｄとを合成して、俯瞰映像１００Ｄを生成する。より詳しくは、映像合成部４４２は、前方映像１０１Ｄを、前方映像１０１より左側に寄せた切出範囲で切出す。映像合成部４４２は、後方映像１０２Ｄを、後方映像１０２より左側に寄せた切出範囲で切出す。映像合成部４４２は、左側方映像１０３Ｄを左側方映像１０３と同じ切出範囲で切出す。映像合成部４４２は、右側方映像１０４Ｄを右側方映像１０４より車両Ｖに近い範囲に寄せた切出範囲で切出す。映像合成部４４２は、切出した映像を合成する。
　図１４を用いて、生成された俯瞰映像１００Ｄについて説明する。俯瞰映像１００Ｄは、前方映像１０１Ｄと後方映像１０２Ｄと左側方映像１０３Ｄと右側方映像１０４Ｄと単色映像１０５Ｄとを含む。左側方映像１０３Ｄは、左側方映像１０３を、左扉ＤＬの開いた方向に合わせて視点変換した映像である。左側方映像１０３Ｄは、後端部１０３Ｄａを含む。右側方映像１０４Ｄは、右側方映像１０４より面積が狭い。生成された俯瞰映像１００Ｄは、通常の俯瞰映像１００と同じ表示範囲である。
　上述したように、本実施形態は、左扉ＤＬが開いているとき、または、右扉ＤＲが開いているとき、扉が開操作された方向とは異なる方向に自車両アイコン１１０を寄せて、扉が開操作された方向に対応する映像を扉の開いた方向に合わせて視点変換した左側方映像１０３Ｄまたは右側方映像１０４Ｄと、前方映像１０１Ｄと、後方映像１０２Ｄとを合成して、俯瞰映像１００Ｄを生成し表示することができる。このように、本実施形態は、通常の俯瞰映像１００と同じ表示範囲で、俯瞰映像１００Ｄを生成し表示することができる。
　しかも、本実施形態は、扉が開操作された方向に対応する映像の表示面積を狭くせずに、通常の俯瞰映像１００と同じ表示範囲で、俯瞰映像１００Ｄを生成し表示することができる。これにより、本実施形態は、表示パネル３１に俯瞰映像１００Ｄと並べて表示される映像の表示範囲を狭くすることを回避することができる。本実施形態は、車両周辺を適切に確認可能にすることができる。
［第五実施形態］
　図１５を参照しながら、本実施形態に係る映像生成システム１について説明する。図１５は、第五実施形態に係る映像生成システムで生成した俯瞰映像の一例を示す図である。本実施形態の映像生成システム１は、俯瞰映像生成装置４０の映像合成部４４２における処理が、第一実施形態の映像生成システム１と異なる。
　映像合成部４４２は、扉が開操作された方向に対応する映像の向きを変えて合成する際に、前方映像１０１の前面に重ね合わせて合成してもよい。撮像ユニット１０で撮影された周辺映像は、周辺ほど画像の歪が大きくなる。これに対して、左側方映像１０３と右側方映像１０４の前方の映像は、カメラの撮影位置に近いため歪が小さい映像である。このため、車両Ｖの前方の側部は、前方映像より左側方映像１０３または右側方映像１０４の方が歪が小さく、運転者が車両Ｖの周辺を認識しやすい。
　図１５を用いて、生成された俯瞰映像１００Ｅについて説明する。俯瞰映像１００Ｅは、前方映像１０１Ｅと後方映像１０２Ｅと左側方映像１０３Ｅと右側方映像１０４Ｅと単色映像１０５Ｅとを含む。左側方映像１０３Ｅは、左側方映像１０３を、左扉ＤＬの開いた方向に合わせて視点変換した映像である。左側方映像１０３Ｅは、前方映像１０１Ｅの前面に重ね合わせて合成されている。
　上述したように、本実施形態は、扉が開操作された方向に対応する映像の向きを変えて合成する際に、前方映像１０１Ｅの前面に重ね合わせて合成する。これにより、本実施形態によれば、運転者が車両Ｖの前方の側部をより認識しやすい俯瞰映像１００Ｅを生成することができる。本実施形態は、車両周辺を適切に確認可能にすることができる。
［第六実施形態］
　図１６を参照しながら、本実施形態に係る映像生成システム１について説明する。図１６は、第六実施形態に係る映像生成システムで生成した俯瞰映像の一例を示す図である。本実施形態の映像生成システム１は、俯瞰映像生成装置４０の車両情報取得部４３と映像合成部４４２における処理が、第一実施形態の映像生成システム１と異なる。
　扉情報取得部４３１は、可動部Ａの動作情報として、可動部Ａの動作量を示す情報を取得する。本実施形態では、扉情報取得部４３１は、左扉ＤＬと右扉ＤＲの動作量（開度）を可動部Ａの動作情報として取得する。扉情報取得部４３１が取得する左扉ＤＬと右扉ＤＲの動作量（開度）とは、車両Ｖの扉を支持しているヒンジのカム機構等によって扉が開状態で停止する角度情報または実際に扉が開いている角度情報である。
　映像合成部４４２は、扉が開操作されたとき、扉の開度に合わせて視点変換した左側方映像１０３Ｆまたは右側方映像１０４Ｆと、前方映像１０１Ｆと、後方映像１０２Ｆとを合成して、俯瞰映像１００Ｆを生成する。例えば、映像合成部４４２は、扉の開度が第一開度以下の場合、左側方映像１０３を、扉の第一開度に対応した視点変換を行った俯瞰映像１００Ｃ１を生成する。映像合成部４４２は、扉の開度が第一開度以上、第一開度より大きい第二開度以下の場合、左側方映像１０３を、扉の第一開度より大きい第二開度に対応した視点変換を行った俯瞰映像１００Ｆを生成する。
　または、映像合成部４４２は、扉の開操作が停止したとき、言い換えると、扉の開度が一定となったとき、扉の開度に合わせて視点変換した左側方映像１０３Ｆまたは右側方映像１０４Ｆと、前方映像１０１Ｆと、後方映像１０２Ｆとを合成して、俯瞰映像１００Ｆを生成してもよい。映像合成部４４２は、扉の開度が変化している間、扉が開操作された方向に対応する映像を、単色映像１０３Ｂと単色映像１０４Ｂとに置き換えた俯瞰映像１００Ｂを生成してもよい。
　さらにまたは、映像合成部４４２は、扉が開操作されたとき、扉の開度に合わせて連続して視点変換した左側方映像１０３Ｆまたは右側方映像１０４Ｆと、前方映像１０１Ｆと、後方映像１０２Ｆとを合成して、俯瞰映像１００Ｆを生成してもよい。
　上述したように、本実施形態は、扉の開度に合わせて視点変換した俯瞰映像１００Ｃ１、俯瞰映像１００Ｆを生成し表示することができる。これにより、本実施形態は、車両周辺を適切に確認可能にすることができる。
［第七実施形態］
　図１７、図１８を参照しながら、本実施形態に係る映像生成システム１について説明する。図１７は、第七実施形態に係る映像生成システムを載置した車両を示す概略図である。図１８は、第七実施形態に係る映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。本実施形態の映像生成システム１は、俯瞰映像生成装置４０の映像合成部４４２における処理が、第一実施形態の映像生成システム１と異なる。
　図１７を用いて、扉が開いて、サイドミラーが閉じている状態について説明する。例えば、左扉ＤＬが開いて左サイドミラーＭＬが閉じているとき、左扉ＤＬが閉じて左サイドミラーＭＬが開いている（図１の右上参照）ときと、左側方カメラ１３の撮影方向に大きな違いがない。このため、映像合成部４４２は、扉が開いて、サイドミラーが閉じているとき、通常の俯瞰映像１００Ｂを生成させてもよい。
　次に、映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図１８に示すフローチャートのステップＳ３１－ステップＳ３４、ステップＳ３６、ステップＳ３７の処理は、図８に示すフローチャートのステップＳ２１－ステップＳ２４、ステップＳ２６、ステップＳ２７の処理と同様の処理を行う。
　図１８に示すフローチャートの処理では、図８に示すフローチャートの処理におけるステップＳ２５に替えて、通常の俯瞰映像１００を生成し表示する（ステップＳ３５）。
　上述したように、本実施形態は、扉が開いて、サイドミラーが閉じているときでも、通常の俯瞰映像１００Ｂを生成させることができる。これにより、本実施形態は、サイドミラーでは側後方を視認できない状態であっても、通常の俯瞰映像１００Ｂを表示させることができる。このように、本実施形態は、車両周辺をより適切に確認可能にすることができる。
　さて、これまで本発明に係る映像生成システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。
　図示した映像生成システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
　映像生成システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
　上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
　図５に示すフローチャートのステップＳ２５において、扉が開操作された方向に対応する映像のみを単色映像とし、扉が閉じている方向に対応する映像は俯瞰映像１００Ｂに含むようにしてもよい。
　１　　　映像生成システム
　１１　　前方カメラ（撮像装置）
　１２　　後方カメラ（撮像装置）
　１３　　左側方カメラ（撮像装置）
　１４　　右側方カメラ（撮像装置）
　３１　　表示パネル（表示部）
　４０　　俯瞰映像生成装置（映像生成装置）
　４１　　制御部
　４２　　映像取得部
　４３　　車両情報取得部（情報取得部）
　４４　　俯瞰映像生成部（映像生成部）
　４４１　視点変換処理部
　４４２　映像合成部
　４５　　表示制御部
　４９　　記憶部
　１００　俯瞰映像

Claims (10)

  1. 　車両に配置され、少なくとも一つが前記車両の車体に対して可動する可動部に設置される複数の撮像装置で撮像された映像を取得する映像取得部と、
    　前記可動部の動作を検出したことを示す検出情報を取得する情報取得部と、
    　前記映像取得部が取得した前記複数の撮像装置で撮像された映像を合成して、合成映像を生成する映像生成部と、
    　前記映像生成部が生成した合成映像を表示部に表示させる表示制御部と、
    　を備え、
    　前記映像生成部は、前記情報取得部が前記可動部の動作を検出したことを示す検出情報を取得した場合、動作が検出された前記可動部に設置された前記撮像装置で撮影された映像の向きを、検出された動作に伴い向きを変えた合成映像を生成することを特徴とする映像生成装置。
  2. 　前記映像生成部は、合成映像として、前記映像取得部で取得された映像に視点変換処理を行い前記車両の上方から見たような俯瞰映像を生成する請求項１に記載の映像生成装置。
  3. 　前記可動部は、前記車両の扉であり、
    　前記情報取得部は、前記扉の動作を検出したことを示す検出情報を取得し、
    　前記映像生成部は、前記情報取得部が前記扉の開状態を示す検出情報を取得した場合、開状態となった前記扉に設置された前記撮像装置で撮影された映像の向きを、前記扉の開いた方向に合わせて変えた合成映像を生成する請求項２に記載の映像生成装置。
  4. 　前記映像生成部は、前記情報取得部が前記扉の開状態を示す検出情報を取得した場合、開状態となった前記扉に設置された前記撮像装置で撮影された映像の切出範囲を前記車両の車幅方向で前記車両から離間する方向に広くし、前記扉の開いた方向に合わせて向きを変えた合成映像を生成する請求項３に記載の映像生成装置。
  5. 　前記映像生成部は、前記情報取得部が前記扉の開状態を示す検出情報を取得した場合、開状態となった前記扉に設置された前記撮像装置で撮影された映像の切出範囲を前記車両の後方に広くし、前記扉の開いた方向に合わせて向きを変えた合成映像を生成する請求項３または４に記載の映像生成装置。
  6. 　前記情報取得部は、前記扉の動作を検出したことと、前記扉の開度とを示す検出情報を取得し、
    　前記映像生成部は、前記情報取得部が前記扉の開状態を示す検出情報を取得した場合、開状態となった前記扉に設置された前記撮像装置で撮影された映像の向きを、前記扉の開度に合わせて回転角度を変えて合成映像を生成する請求項３から５のいずれか一項に記載の映像生成装置。
  7. 　前記映像生成部は、前記情報取得部が前記扉の開状態を示す検出情報を取得した場合、開状態となった前記扉が検出された方向と異なる方向に車両を寄せて位置させた状態で、開状態となった前記扉に設置された前記撮像装置で撮影された映像の向きを、前記扉の開いた方向に合わせて変えた合成映像を生成する請求項３から６のいずれか一項に記載の映像生成装置。
  8. 　請求項１から７のいずれか一項に記載の映像生成装置と、
    　前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮像装置と、
    　前記可動の動作を検出し前記情報取得部に検出情報を供給する検出部と
    　を有することを特徴とする映像生成システム。
  9. 　車両に配置され、少なくとも一つが前記車両の車体に対して可動する可動部に設置される複数の撮像装置で撮像された映像を取得する映像取得ステップと、
    　前記可動部の動作を検出したことを示す検出情報を取得する情報取得ステップと、
    　前記映像取得ステップで取得した前記複数の撮像装置で撮像された映像を合成して、合成映像を生成する映像生成ステップと、
    　前記映像生成ステップで生成した合成映像を表示部に表示させる表示制御ステップと、
    　を含み、
    　前記映像生成ステップは、前記情報取得ステップで前記可動部の動作を検出したことを示す検出情報を取得した場合、動作が検出された前記可動部に設置された前記撮像装置で撮影された映像の向きを、検出された動作に伴い向きを変えた合成映像を生成する
    　映像生成方法。
  10. 　車両に配置され、少なくとも一つが前記車両の車体に対して可動する可動部に設置される複数の撮像装置で撮像された映像を取得する映像取得ステップと、
    　前記可動部の動作を検出したことを示す検出情報を取得する情報取得ステップと、
    　前記映像取得ステップで取得した前記複数の撮像装置で撮像された映像を合成して、合成映像を生成する映像生成ステップと、
    　前記映像生成ステップで生成した合成映像を表示部に表示させる表示制御ステップと、
    　を含み、
    　前記映像生成ステップは、前記情報取得ステップで前記可動部の動作を検出したことを示す検出情報を取得した場合、動作が検出された前記可動部に設置された前記撮像装置で撮影された映像の向きを、検出された動作に伴い向きを変えた合成映像を生成する
    　ことを映像生成装置として動作するコンピュータに実行させるためのプログラム。
PCT/JP2017/035987 2016-12-28 2017-10-03 映像生成装置、映像生成システム、映像生成方法およびプログラム WO2018123185A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17886319.7A EP3487173B1 (en) 2016-12-28 2017-10-03 Image generation device, image generation system, image generation method and program
US16/195,887 US20190084495A1 (en) 2016-12-28 2018-11-20 Video generation device, video generation system, video generation method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016256582A JP6737173B2 (ja) 2016-12-28 2016-12-28 映像生成装置、映像生成システム、映像生成方法およびプログラム
JP2016-256582 2016-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/195,887 Continuation US20190084495A1 (en) 2016-12-28 2018-11-20 Video generation device, video generation system, video generation method, and program

Publications (1)

Publication Number Publication Date
WO2018123185A1 true WO2018123185A1 (ja) 2018-07-05

Family

ID=62708107

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035987 WO2018123185A1 (ja) 2016-12-28 2017-10-03 映像生成装置、映像生成システム、映像生成方法およびプログラム

Country Status (4)

Country Link
US (1) US20190084495A1 (ja)
EP (1) EP3487173B1 (ja)
JP (1) JP6737173B2 (ja)
WO (1) WO2018123185A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
WO2019026332A1 (ja) * 2017-07-31 2019-02-07 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
CN109455140B (zh) * 2017-09-06 2022-03-01 丰田自动车株式会社 图像显示装置
JP7155600B2 (ja) 2017-09-06 2022-10-19 トヨタ自動車株式会社 画像表示装置
US10885360B1 (en) * 2018-06-15 2021-01-05 Lytx, Inc. Classification using multiframe analysis
JP7204082B2 (ja) * 2020-10-26 2023-01-16 株式会社エクサウィザーズ 通知方法、プログラム、及び作業記録システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282060A (ja) * 2006-04-10 2007-10-25 Nissan Motor Co Ltd 車両周囲映像作成装置及び車両周囲映像作成方法
JP2008141649A (ja) * 2006-12-05 2008-06-19 Alpine Electronics Inc 車両周辺監視装置
JP2011113292A (ja) * 2009-11-26 2011-06-09 Fujitsu Ltd 画像判定装置、画像判定方法および画像判定プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP2006103526A (ja) * 2004-10-06 2006-04-20 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2006224873A (ja) * 2005-02-18 2006-08-31 Denso Corp 車両周辺監視装置
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
JP5397697B2 (ja) * 2010-03-12 2014-01-22 アイシン精機株式会社 画像制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282060A (ja) * 2006-04-10 2007-10-25 Nissan Motor Co Ltd 車両周囲映像作成装置及び車両周囲映像作成方法
JP2008141649A (ja) * 2006-12-05 2008-06-19 Alpine Electronics Inc 車両周辺監視装置
JP2011113292A (ja) * 2009-11-26 2011-06-09 Fujitsu Ltd 画像判定装置、画像判定方法および画像判定プログラム

Also Published As

Publication number Publication date
JP2018110294A (ja) 2018-07-12
EP3487173A4 (en) 2019-07-31
EP3487173B1 (en) 2020-11-25
US20190084495A1 (en) 2019-03-21
EP3487173A1 (en) 2019-05-22
JP6737173B2 (ja) 2020-08-05

Similar Documents

Publication Publication Date Title
WO2018123185A1 (ja) 映像生成装置、映像生成システム、映像生成方法およびプログラム
KR101766077B1 (ko) 차량 주변 영상 정보 제공 시스템 및 방법
US11336839B2 (en) Image display apparatus
JP4765649B2 (ja) 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
WO2014068856A1 (ja) 画像生成装置、および画像生成プログラム製品
WO2018159017A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
US20110063444A1 (en) Vehicle surroundings monitoring device and vehicle surroundings monitoring method
US10124728B2 (en) Image processing apparatus
JP4976685B2 (ja) 画像処理装置
JP2007142735A (ja) 周辺監視システム
JP2009081664A (ja) 車両用周辺監視装置および映像表示方法
JP6532616B2 (ja) 表示制御装置、表示システム、及び、表示制御方法
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JPWO2019216087A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
JP2007110572A (ja) 複数カメラ画像合成表示装置
WO2013103115A1 (ja) 画像表示装置
WO2018096792A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US8581984B2 (en) Vehicle circumference monitor apparatus
WO2018154857A1 (ja) 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
KR101861523B1 (ko) 차량 운전 보조 장치 및 방법
WO2017217422A1 (ja) 画像生成装置及びプログラム
JP6528515B2 (ja) 周辺監視装置
JP6464846B2 (ja) 車両周囲画像表示制御装置、および車両周囲画像表示制御プログラム
JP7302205B2 (ja) 表示制御装置、表示システム、表示制御方法およびプログラム
JP2019110388A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17886319

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017886319

Country of ref document: EP

Effective date: 20190213

NENP Non-entry into the national phase

Ref country code: DE