WO2018096792A1 - 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム - Google Patents

俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム Download PDF

Info

Publication number
WO2018096792A1
WO2018096792A1 PCT/JP2017/035836 JP2017035836W WO2018096792A1 WO 2018096792 A1 WO2018096792 A1 WO 2018096792A1 JP 2017035836 W JP2017035836 W JP 2017035836W WO 2018096792 A1 WO2018096792 A1 WO 2018096792A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
video
overhead
image
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/035836
Other languages
English (en)
French (fr)
Inventor
浅山　学
恒夫 里見
俊夫 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of WO2018096792A1 publication Critical patent/WO2018096792A1/ja
Priority to US16/208,654 priority Critical patent/US10710505B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an overhead video generation device, an overhead video generation system, an overhead video generation method, and a program.
  • a technique is known in which a camera around a vehicle is photographed around the vehicle and displayed on a monitor as a bird's-eye view image obtained by performing viewpoint conversion processing on the photographed image.
  • the overhead view video becomes more distorted as it moves away from the center.
  • the form of the obstacle located in the center of the overhead image in other words, near the vehicle can be clearly confirmed.
  • the form of the outer peripheral portion of the image in other words, an obstacle located away from the vehicle becomes unclear.
  • This technology requires a display range for directly displaying video, apart from a display range for displaying overhead images.
  • the navigation screen and the audio screen displayed on the side of the display range of the overhead view video are temporarily hidden, and the display range is displayed directly. For this reason, when the user wants to confirm the navigation screen or the audio screen, the display must be switched to display the navigation screen or the audio screen.
  • the present invention has been made in view of the above, and an object thereof is to appropriately display a detected obstacle in a display range of a bird's-eye view video.
  • an overhead view video generation device includes a video data acquisition unit that acquires videos from a plurality of cameras that shoot front, rear, left, and right of a vehicle, An obstacle information acquisition unit that acquires information from an obstacle sensor that detects the obstacles of the vehicle and a video obtained by the video data acquisition unit by performing a viewpoint conversion process and combining them with each other as seen from above the vehicle
  • the obstacle information acquisition unit detects an obstacle
  • the display area of the image in at least one direction different from the direction in which the obstacle is detected is reduced in the overhead image.
  • a bird's-eye view video generation unit that generates a video with a display range extended in a direction in which the obstacle is detected; and a display control unit that displays the video generated by the bird's-eye view video generation unit on the display unit.
  • An overhead video generation system includes the above-described overhead video generation device, the camera, the obstacle sensor, and the display unit.
  • the bird's-eye view image generation method acquires a video data acquisition step of acquiring images from a plurality of cameras that photograph the front, rear, left, and right of the vehicle, and acquires information from an obstacle sensor that detects an obstacle around the vehicle.
  • the obstacle information acquisition step, and the video acquired in the video data acquisition step performs a viewpoint conversion process to synthesize the overhead view video as seen from above the vehicle, and the obstacle information acquisition step
  • the display area of the video in at least one direction different from the direction in which the obstacle is detected is reduced in the overhead view video, and the display range is expanded in the direction in which the obstacle is detected.
  • the program according to the present invention includes an image data acquisition step for acquiring images from a plurality of cameras that shoot front, rear, left and right of a vehicle, and an obstacle for acquiring information from an obstacle sensor that detects an obstacle around the vehicle.
  • the information acquisition step and the video acquired in the video data acquisition step generate a bird's-eye view video as seen from above the vehicle by synthesizing by performing viewpoint conversion processing, and the obstacle information acquisition step If detected, in the bird's-eye view image, the display area of the image in at least one direction different from the direction in which the obstacle is detected is reduced, and an image in which the display range is expanded in the direction in which the obstacle is detected is generated.
  • the overhead view video generation step and the display control step for displaying the video generated in the overhead view video generation step on the display unit operate as an overhead view video generation device Causing a computer to execute that.
  • the detected obstacle can be appropriately displayed in the display range of the overhead view video.
  • FIG. 1 is a block diagram illustrating a configuration example of an overhead video generation system according to the first embodiment.
  • FIG. 2 is a schematic diagram illustrating a shooting range of the camera and a range included in the overhead view video in the overhead view video generation system according to the first embodiment.
  • FIG. 3 is a diagram illustrating a normal overhead image generated by the overhead image generation system according to the first embodiment.
  • FIG. 4 is a diagram illustrating an overhead video generated by the overhead video generation system according to the first embodiment.
  • FIG. 5 is a flowchart showing a flow of processing in the overhead video generation device of the overhead video generation system according to the first embodiment.
  • FIG. 6 is a flowchart showing a part of the processing flow in the flowchart shown in FIG. FIG.
  • FIG. 7 is a diagram illustrating an overhead video generated by the overhead video generation system according to the second embodiment.
  • FIG. 8 is a diagram illustrating an overhead video generated by the overhead video generation system according to the third embodiment.
  • FIG. 9 is a diagram illustrating an overhead video generated by the overhead video generation system according to the fourth embodiment.
  • FIG. 10 is a flowchart showing the flow of processing in the overhead video generation device of the overhead video generation system according to the fifth embodiment.
  • FIG. 11 is a flowchart showing the flow of processing in the overhead video generation device of the overhead video generation system according to the sixth embodiment.
  • FIG. 1 is a block diagram illustrating a configuration example of an overhead video generation system according to the first embodiment.
  • the overhead image generation system 1 is mounted on a vehicle.
  • the overhead image generation system 1 may be a portable device that can be used in the vehicle.
  • the overhead view video generation system 1 includes a front camera 11, a rear camera 12, a left side camera 13, a right side camera 14, a sensor group (obstacle sensor) 20, a display panel (display unit) 30, and an overhead view video. And a generation device 40.
  • FIG. 2 is a schematic diagram illustrating a shooting range of the camera and a range included in the overhead view video in the overhead view video generation system according to the first embodiment.
  • the front camera 11 is disposed in front of the vehicle and captures a periphery around the front of the vehicle. For example, the front camera 11 captures an imaging range A1 of about 180 °. In the present embodiment, a range of a distance d1 from the vehicle to about 2 m in the shooting range A1 is included in the normal overhead image 120 (see FIG. 3).
  • the front camera 11 outputs the captured video to the video data acquisition unit 42 of the overhead video generation device 40.
  • the rear camera 12 is arranged at the rear of the vehicle and photographs the periphery around the rear of the vehicle. For example, the rear camera 12 captures an imaging range A2 of about 180 °. In the present embodiment, a range of a distance d2 from the vehicle to about 2 m in the shooting range A2 is included in the normal overhead view image 120. The rear camera 12 outputs the captured video to the video data acquisition unit 42 of the overhead video generation device 40.
  • the left side camera 13 is arranged on the left side of the vehicle, and takes a picture around the left side of the vehicle.
  • the left side camera 13 captures an imaging range A3 of about 180 °, for example.
  • a range of a distance d3 from the vehicle to about 2 m in the shooting range A3 is included in the normal overhead image 120.
  • the left side camera 13 outputs the captured video to the video data acquisition unit 42 of the overhead video generation device 40.
  • the right-side camera 14 is arranged on the right side of the vehicle and photographs the periphery around the right side of the vehicle.
  • the right side camera 14 captures an imaging range A4 of about 180 °, for example.
  • a range of a distance d4 from the vehicle to about 2 m in the shooting range A4 is included in the normal overhead image 120.
  • the right-side camera 14 outputs the captured video to the video data acquisition unit 42 of the overhead view video generation device 40.
  • the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14 shoot all directions of the vehicle.
  • the sensor group 20 detects an obstacle around the vehicle.
  • the sensor group 20 can detect an obstacle in a range including a display range of a bird's-eye view video when no obstacle is detected.
  • the sensor group 20 can detect an obstacle far from the display range of the overhead view video.
  • the sensor group 20 includes a front sensor, a rear sensor, a left side sensor, and a right side sensor.
  • the sensor group 20 is capable of sensing from a distance of several tens of meters to several hundreds of meters depending on the sensing method, but when used for this purpose, it detects an obstacle at a distance of about 5 m from the vehicle.
  • Various methods such as an infrared sensor, an ultrasonic sensor, a millimeter wave sensor, and a sensor based on image recognition can be applied to the sensor group 20.
  • the front sensor is arranged in front of the vehicle and detects an obstacle in front of the vehicle.
  • the front sensor detects an object having a height from the ground that may come into contact with the vehicle. For example, the front sensor detects an obstacle at a distance of about 5 m from the vehicle.
  • the detection range of the front sensor overlaps with the shooting range A1 of the front camera 11.
  • the detection range of the front sensor may overlap with a part of the detection range of the left side sensor and the right side sensor.
  • the front sensor may be configured by a combination of a plurality of sensors.
  • the front sensor outputs obstacle information of the detected obstacle to the obstacle information acquisition unit 43 of the overhead view video generation device 40.
  • the rear sensor is disposed behind the vehicle and detects an obstacle behind the vehicle.
  • the rear sensor detects an object having a height from the ground that may come into contact with the vehicle.
  • the rear sensor detects an obstacle at a distance of about 5 m from the vehicle, for example.
  • the detection range of the rear sensor overlaps with the shooting range A2 of the rear camera 12.
  • the detection range of the rear sensor may overlap with a part of the detection range of the left side sensor and the right side sensor.
  • the rear sensor may be configured by a combination of a plurality of sensors.
  • the rear sensor outputs obstacle information of the detected obstacle to the obstacle information acquisition unit 43 of the overhead view video generation device 40.
  • the left side sensor is located on the left side of the vehicle and detects obstacles on the left side of the vehicle.
  • the left side sensor detects an object having a height from the ground that may come into contact with the vehicle.
  • the left side sensor detects an obstacle at a distance of about 5 m from the vehicle, for example.
  • the detection range of the left side sensor overlaps with the shooting range A3 of the left side camera 13.
  • the detection range of the left side sensor may overlap with a part of the detection range of the front sensor and the rear sensor.
  • the left side sensor may be composed of a combination of a plurality of sensors.
  • the left side sensor outputs obstacle information of the detected obstacle to the obstacle information acquisition unit 43 of the overhead view video generation device 40.
  • the right side sensor is arranged on the right side of the vehicle and detects an obstacle on the right side of the vehicle.
  • the right side sensor detects an object having a height from the ground that may come into contact with the vehicle.
  • the right side sensor detects an obstacle at a distance of about 5 m from the vehicle, for example.
  • the detection range of the right side sensor overlaps the shooting range A4 of the right side camera 14.
  • the detection range of the right side sensor may overlap with a part of the detection range of the front sensor and the rear sensor.
  • the right side sensor may be configured by a combination of a plurality of sensors.
  • the right side sensor outputs obstacle information of the detected obstacle to the obstacle information acquisition unit 43 of the overhead view video generation device 40.
  • the display panel 30 is a display including, for example, a liquid crystal display (LCD) or an organic EL (Organic Electro-Luminescence) display.
  • the display panel 30 displays a normal overhead image 120 and an overhead image 100 (see FIG. 4) based on the video signal output from the overhead image generation device 40 of the overhead image generation system 1.
  • the display panel 30 may be dedicated to the overhead view video generation system 1 or may be used jointly with other systems including a navigation system, for example.
  • the display panel 30 is disposed at a position that is easily visible to the driver.
  • the display panel 30 may be divided into a plurality of display ranges when the shape of the display panel 30 is a horizontally long rectangle.
  • the display panel 30 displays a display range for displaying the normal bird's-eye video 120 and the bird's-eye video 100, and a navigation screen and an audio screen arranged on the side of the display range of the normal bird's-eye video 120 and the bird's-eye video 100.
  • the display range for displaying the normal overhead image 120 and the overhead image 100 is a vertically long rectangular shape.
  • the overhead view video generation device 40 includes a control unit 41 and a storage unit 49.
  • the control unit 41 is an arithmetic processing unit configured with, for example, a CPU (Central Processing Unit).
  • the control unit 41 loads the program stored in the storage unit 49 into the memory and executes instructions included in the program.
  • the control unit 41 includes a video data acquisition unit 42, an obstacle information acquisition unit 43, a vehicle information acquisition unit 44, an overhead video generation unit 45, and a display control unit 48.
  • the video data acquisition unit 42 acquires peripheral video data obtained by photographing the periphery of the vehicle. More specifically, the video data acquisition unit 42 acquires peripheral video data output by the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14. The video data acquisition unit 42 stores the acquired peripheral video data in the storage unit 49 and outputs it to the overhead view video generation unit 45.
  • the obstacle information acquisition unit 43 acquires obstacle information of obstacles detected in the vicinity of the vehicle. More specifically, the obstacle information acquisition unit 43 acquires the obstacle information output by the sensor group 20. In the present embodiment, the obstacle information acquisition unit 43 acquires obstacle information including the distance to the detected obstacle. The obstacle information acquisition unit 43 outputs the acquired obstacle information to the overhead view video generation unit 45.
  • the vehicle information acquisition unit 44 acquires vehicle information serving as a trigger for displaying a normal bird's-eye view image 120, such as vehicle gear operation information, from a CAN (Controller Area Network) or various sensors that sense the state of the vehicle. .
  • vehicle information acquisition unit 44 outputs the acquired vehicle information to the overhead view video generation unit 45.
  • the overhead view video generation unit 45 generates a normal overhead view video 120 and an overhead view video 100 as seen from above the vehicle by performing a viewpoint conversion process on the peripheral video data acquired by the video data acquisition unit 42 and combining them.
  • FIG. 3 is a diagram illustrating a normal overhead image generated by the overhead image generation system according to the first embodiment.
  • the normal bird's-eye view image 120 includes a front image 121, a rear image 122, a left side image 123, and a right side image 124.
  • a host vehicle icon 210 indicating a vehicle is displayed.
  • FIG. 3 oblique broken lines indicating boundaries between the front image 121, the rear image 122, the left side image 123, and the right side image 124 are illustrated for explanation, but are actually displayed on the display panel 30. In the normal bird's-eye view image 120, the broken line may or may not be displayed. The same applies to the other figures.
  • the overhead image generation unit 45 displays the display area of the video in at least one direction different from the direction in which the obstacle is detected in the normal overhead image 120.
  • the bird's-eye view image 100 is generated by reducing the display range in the direction in which the obstacle is detected.
  • the overhead video generation unit 45 includes a viewpoint conversion processing unit 451, a cut-out processing unit 452, and a composition processing unit 453.
  • the viewpoint conversion processing unit 451 performs viewpoint conversion processing on the surrounding video data acquired by the video data acquisition unit 42 so that the vehicle is looked down from above. More specifically, the viewpoint conversion processing unit 451 generates a video on which the viewpoint conversion processing has been performed based on peripheral video data captured by the front camera 11, the rear camera 12, the left side camera 13, and the right side camera 14.
  • the method of viewpoint conversion processing may be any known method and is not limited.
  • the viewpoint conversion processing unit 451 stores the peripheral video data subjected to the viewpoint conversion processing in the storage unit 49.
  • the cut-out processing unit 452 performs a cut-out process for cutting out a predetermined range of video from the peripheral video data. Which range is the cut-out range is registered and stored in advance. More specifically, the cutout processing unit 452 cuts out a range from the surrounding video data from the front camera 11 to a distance d1 of about 2 m from the vehicle. The cutout processing unit 452 cuts out a range from the surrounding video data from the rear camera 12 to a distance d2 of about 2 m from the vehicle. The cutout processing unit 452 cuts out a range from the surrounding video data from the left side camera 13 to a distance d3 of about 2 m from the vehicle.
  • the cutout processing unit 452 cuts out a range from the surrounding video data from the right side camera 14 to a distance d4 of about 2 m from the vehicle.
  • the cutout processing unit 452 stores the video data of the video subjected to the cutout processing in the storage unit 49.
  • the composition processing unit 453 reduces the display area of the video in at least one direction different from the direction in which the obstacle is detected in the normal overhead image 120. As described above, the video data is reduced, and the overhead image 100 in which the display range is expanded to the range corresponding to the direction in which the obstacle is detected in the overhead image 100 to be generated is generated.
  • At least one direction different from the direction in which the obstacle is detected is a direction orthogonal to the direction in which the obstacle is detected, a direction opposite to the direction in which the obstacle is detected, and a direction orthogonal to the direction in which the obstacle is detected.
  • the process of reducing the display area of the video data is a process in which the display image is compressed from the normal overhead image 120 as an example, and is hereinafter referred to as a compression process.
  • the direction in which the area of the image is compressed and reduced by the compression process may be a direction parallel to the direction in which the obstacle is detected.
  • the compression processing includes reducing the entire video, cutting out a part of the video, and deleting a part of the video.
  • the display area of the bird's-eye view video that has been compressed is smaller than that of the normal bird's-eye view video 120.
  • the composition processing unit 453 compresses the video in at least one direction different from the direction in which the obstacle is detected so that the display area is reduced.
  • the overhead view video 100 is generated by performing the viewpoint conversion process by expanding the display range in the direction in which the obstacle is detected.
  • the composition processing unit 453 detects the obstacle in the front image 121, the rear image 122, the left side image 123, and the right side image 124 of the normal overhead view image 120. Compression processing is performed so that an image based on image data of an image in at least one direction different from the direction is compressed and displayed in a direction opposite to the direction in which the obstacle is detected. Then, the composition processing unit 453 expands the display range in the direction of the detected obstacle, and performs peripheral image data cutout processing. Then, the composition processing unit 453 performs viewpoint conversion processing on the extracted video data. Then, the composition processing unit 453 synthesizes the compressed video data and the video subjected to the viewpoint conversion process with the peripheral video data in which the shooting range in the direction of the obstacle is expanded to generate the overhead video 100.
  • the synthesis processing unit 453 displays at least one of the forward video 121, the left video 123, and the right video 124 of the normal overhead video 120 while being compressed and displayed. In this way, compression processing is performed on each video data. Then, the composition processing unit 453 performs the compression processing, the video obtained by performing the viewpoint conversion processing on the peripheral video data in which the shooting range is extended in the direction of the obstacle to the range corresponding to the rear of the overhead image 100 to be generated. Are combined to generate a bird's-eye view video 100.
  • the composition processing unit 453 when an obstacle is detected in the rear, brings the left side image 123 and the right side image 124 of the normal overhead view image 120 forward and compresses them in the front-rear direction (vertical direction). Compression processing so that it is displayed. Then, the composition processing unit 453 performs the compression processing, the video obtained by performing the viewpoint conversion processing on the peripheral video data in which the shooting range is extended in the direction of the obstacle to the range corresponding to the rear of the overhead image 100 to be generated. Are combined to generate a bird's-eye view video 100. Peripheral video with the shooting range extended in the direction of the obstacle may extend the shooting range to a preset extension range, and the shooting range up to the detected obstacle based on the distance information to the detected obstacle The shooting range may be expanded to include
  • the composition processing unit 453 stores the video data of the overhead view video 100 generated in this manner in the storage unit 49.
  • FIG. 4 is a diagram illustrating an overhead video generated by the overhead video generation system according to the first embodiment.
  • the bird's-eye view image 100 includes a front image 101, a rear image 102, a left side image 103, and a right side image 104.
  • a host vehicle icon 200 indicating a vehicle is displayed.
  • the overhead view video 100 is generated with the same aspect ratio as the normal overhead view video 120.
  • the front image 101 is the same image as the front image 121 of the normal overhead image 120.
  • the rear video 102 is a video that has been cut out in a wider clipping range than the rear video 122 of the normal overhead image 120.
  • the rear image 102 includes a shooting range farther than the display range of the normal overhead image 120 when an obstacle located far from the display range of the normal overhead image 120 is detected.
  • the rear image 102 is far from the display range of the normal bird's-eye image 120 and includes a shooting range up to the detected obstacle. Also good.
  • the left side video 103 is a video that has been compressed so that the left side video 123 of the normal overhead video 120 is compressed in the vertical direction and displayed.
  • the right side video 104 is a video that has been compressed so that the right side video 124 of the normal bird's-eye video 120 is compressed in the vertical direction and displayed.
  • the own vehicle icon 200 is an image that has been compressed so that the own vehicle icon 210 of the normal bird's-eye view image 120 is compressed and displayed in the vertical direction.
  • the compression rate of the left side video 103 and the right side video 104 is determined by the display range of the rear video 102.
  • the display range of the rear video 102 and the compression rate of the left side video 103 and the right side video 104 may be predetermined fixed values.
  • the compression rate is also the reduction rate.
  • the display range of the rear video 102 may be determined based on the compression rate of the left video 103 and the right video 104, and the compression of the left video 103 and the right video 104 based on the display range of the rear video 102.
  • a rate may be defined.
  • the compression rate of the host vehicle icon 210 is determined by the compression rates of the left side video 103 and the right side video 104.
  • the compression rate of the left side image 103 and the right side image 104 is preferably about 30% to 50%.
  • the display control unit 48 causes the normal overhead image 120 and the overhead image 100 to be displayed on the display panel 30.
  • the display control unit 48 displays the normal overhead image 120 and the overhead image 100 in the display range of the same size on the display panel 30. More preferably, the display control unit 48 displays the normal overhead image 120 and the overhead image 100 in the same display range of the display panel 30 in order to maintain display continuity.
  • the storage unit 49 stores data required for various processes in the overhead view video generation device 40 and various processing results.
  • the storage unit 49 is, for example, a semiconductor memory element such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • FIG. 5 is a flowchart showing a flow of processing in the overhead video generation device of the overhead video generation system according to the first embodiment.
  • control unit 41 When the overhead view video generation system 1 is activated, the control unit 41 causes the video data acquisition unit 42 to acquire peripheral video data.
  • the control unit 41 causes the obstacle information acquisition unit 43 to acquire obstacle information.
  • the control unit 41 determines whether or not to start the overhead view video display (step S11). In the present embodiment, the control unit 41 determines whether to start bird's-eye view video display based on the presence or absence of a reverse trigger.
  • the reverse trigger means that, for example, the shift position is “reverse”. Alternatively, the reverse trigger means that the traveling direction of the vehicle is the rear of the vehicle.
  • the control unit 41 determines not to start the overhead view video display (No in step S11), and executes the process of step S11 again.
  • the control unit 41 determines to start the overhead view video display (Yes in Step S11), and proceeds to Step S12.
  • the control unit 41 generates and displays a normal overhead image 120 (step S12). More specifically, the control unit 41 causes the overhead view video generation unit 45 to generate a normal overhead view image 120 that has been subjected to the viewpoint conversion process so as to look down on the vehicle from the surrounding video data acquired by the video data acquisition unit 42. Then, the control unit 41 causes the display control unit 48 to display the normal overhead image 120 on the display panel 30.
  • the control unit 41 determines whether an obstacle has been detected (step S13). More specifically, the control unit 41 determines whether or not obstacle information has been acquired by the obstacle information acquisition unit 43. When it is determined that the obstacle information acquisition unit 43 has acquired the obstacle information (Yes in step S13), the control unit 41 proceeds to step S14. When it is determined that the obstacle information acquisition unit 43 has not acquired the obstacle information (No in step S13), the control unit 41 proceeds to step S15.
  • the control unit 41 generates and displays a bird's-eye view image 100 in which the direction different from the direction in which the obstacle is detected is compressed by the synthesis processing unit 453 (step S14).
  • FIG. 6 is a flowchart showing a part of the processing flow in the flowchart shown in FIG.
  • the composition processing unit 453 acquires the direction in which the obstacle is detected (step S141).
  • the composition processing unit 453 acquires the direction in which the obstacle is detected based on the obstacle information of the obstacle with the shortest distance to the vehicle acquired by the obstacle information acquisition unit 43.
  • the synthesis processing unit 453 has the obstacle detection direction as follows. Judged to be behind.
  • the composition processing unit 453 performs compression processing so that an image in at least one direction different from the direction in which the obstacle is detected is compressed and displayed (step S142). For example, when it is determined in step S141 that the obstacle detection direction is backward, the composition processing unit 453 detects the obstacle behind, and the left side video 123 and the right side video 124 of the normal overhead image 120. Is compressed so that the image is displayed in a vertically compressed state.
  • the composition processing unit 453 performs a cutting process in the direction in which the obstacle is detected (step S143). For example, when it is determined in step S141 that the obstacle detection direction is the rear, the synthesis processing unit 453 includes the peripheral video data from the rear camera 12 so as to include a far distance than when generating the normal overhead view video 120. Perform the cutting process. The composition processing unit 453 may perform processing for cutting out peripheral video data from the rear camera 12 so as to include a photographing range up to the detected obstacle.
  • the composition processing unit 453 generates and displays the overhead view video 100 (step S144). For example, the composition processing unit 453 performs viewpoint conversion processing on the peripheral video data from the rear camera 12 cut out in step S143 in a range corresponding to the rear of the overhead view video compressed so as to be compressed and displayed in step S142. The obtained video data of the rear video 102 is synthesized to generate an overhead video 100. Then, the composition processing unit 453 causes the display control unit 48 to display the overhead view video 100 on the display panel 30.
  • the control unit 41 determines whether or not to end the bird's-eye view video display (step S15). More specifically, the control unit 41 determines whether or not to end the bird's-eye view video display based on the presence or absence of the reverse trigger. When there is no backward trigger, in other words, when the backward trigger is released, the control unit 41 determines to end the overhead view video display (Yes in step S15), and ends the process. When there is a reverse trigger, the control unit 41 determines not to end the overhead view video display (No in step S15), returns to step S13, and continues the process.
  • the normal overhead view video 120 compresses and displays a video in at least one direction different from the direction in which the obstacle is detected.
  • the overhead view image 100 is generated so as to include a wide imaging range in the direction in which the obstacle is detected or to include the imaging range up to the detected obstacle.
  • an image in at least one direction different from the direction in which the obstacle is detected is compressed and displayed in the normal overhead image 120.
  • the overhead view video 100 is generated so as to include a wide imaging range in the direction in which the obstacle is detected or to include the imaging range up to the detected obstacle.
  • the compression processing is performed so that the left side image 123 and the right side image 124 of the normal overhead view image 120 are compressed and displayed.
  • the rear video 102 that has been subjected to the viewpoint conversion process is synthesized with the peripheral video data from the rear camera 12 in a range corresponding to the rear of the compressed bird's-eye view video, and the overhead video 100 is generated. Accordingly, in the present embodiment, when an obstacle is detected, the overhead image 100 that allows the obstacle to be confirmed at an early stage within the same display range as the normal overhead image 120 on the display panel 30 or the obstacle is displayed. Can be displayed. Thus, this embodiment can make it possible to appropriately check obstacles around the vehicle.
  • the display range for displaying the direction in which the obstacle is detected in the overhead image 100 can be made wider than the display range in the normal overhead image 120.
  • the rear video 102 of the overhead view video 100 can be made wider than the rear video 122 of the normal overhead video 120.
  • this embodiment can display the wider range of the direction where the obstacle was detected in the bird's-eye view image 100 at the time of the detection of the obstacle.
  • this embodiment can make it possible to appropriately check obstacles around the vehicle.
  • the display range for displaying the direction in which the obstacle is detected in the bird's-eye view video 100 is made wider than the display range in the normal bird's-eye view image 120. Can be displayed close to the vehicle icon 200.
  • this embodiment can reduce the distortion of the obstacle in the bird's-eye view image 100 and improve the visibility of the obstacle. According to this embodiment, the driver can appropriately check obstacles around the vehicle.
  • the normal overhead image 120 and the overhead image 100 are displayed on the display panel 30 in the same display range.
  • the present embodiment in order to ensure the display range which displays the information which shows an obstruction, it is not necessary to hide a navigation screen and an audio screen temporarily.
  • the present embodiment can maintain the continuity of display on the display panel 30.
  • FIG. 7 is a diagram illustrating an overhead video generated by the overhead video generation system according to the second embodiment.
  • the overhead image generation system 1 has the same basic configuration as the overhead image generation system 1 of the first embodiment.
  • components similar to those in the overhead view video generation system 1 are denoted by the same reference numerals or corresponding reference numerals, and detailed description thereof is omitted.
  • the overhead image generation system 1 of the present embodiment is different from the overhead image generation system 1 of the first embodiment in the processing in the composition processing unit 453.
  • the video expanded in the direction of the detected obstacle is a video in which the viewpoint conversion processing in the direction of the detected obstacle is not performed in addition to the video in the direction of detecting the obstacle in the normal overhead view video. is there.
  • a display range is obtained by adding a video that directly displays video data acquired from the camera in the direction in which the obstacle is detected among the front camera 11, the rear camera 12, the left camera 13, and the right camera 14. To expand.
  • the composition processing unit 453 converts the display area of the video in at least one direction different from the direction in which the obstacle is detected into the video data.
  • a bird's-eye view image 110A is generated by combining the bird's-eye view image 100A subjected to the compression process and the surrounding image from the rear camera 12 in the direction in which the obstacle is detected. More specifically, when detecting an obstacle, the composition processing unit 453 detects the obstacle in the front image 121, the rear image 122, the left side image 123, and the right side image 124 of the normal overhead view image 120.
  • the overhead image 100A is generated by compressing the video data of the video in at least one direction different from the direction so as to be compressed and displayed in the direction opposite to the direction in which the obstacle is detected. Then, the composition processing unit 453 synthesizes the bird's-eye view video 100A that has been subjected to the compression process and the surrounding video data in the direction in which the obstacle is detected with the video that is not subjected to the viewpoint conversion process, thereby generating the bird's-eye view video 110A.
  • the peripheral video in the direction in which the obstacle is detected is combined with the compressed overhead image 100A at a position corresponding to the direction in which the obstacle is detected.
  • the overhead image 110A includes a compressed overhead image 100A including a front image 101A, a rear image 102A, a left side image 103A, and a right side image 104A, and a second rear image 105A.
  • the front video 101A and the rear video 102A are the same video as the front video 121 and the rear video 122 of the normal overhead view video 120.
  • the second rear video 105A is not a bird's-eye view video, but for convenience, a video obtained by combining the bird's-eye view video 100A and the second rear video 105A will be described as the bird's-eye view video 110A.
  • the left side video 103A and the right side video 104A are compressed in the vertical direction as in the first embodiment.
  • the host vehicle icon 200A is compressed in the vertical direction in accordance with the compression rate of the left side video 103A and the right side video 104A.
  • the second rear image 105A is a peripheral image from the rear camera 12 that has not been subjected to the viewpoint conversion process.
  • the second rear video 105A is synthesized at a position corresponding to the rear of the compressed overhead image 100A, in other words, the lower side in FIG. 7 with respect to the compressed overhead image 100A.
  • the second rear image 105A is preferably an image before being cut out to generate the rear image 102A, and in this case, a range farther than the rear image 102A can be displayed with respect to the obstacle detection direction. .
  • FIG. 7 a broken line 106A indicating the boundary between the overhead view image 100A and the second rear image 105A is illustrated for explanation, but the broken line is displayed on the overhead view image 110A actually displayed on the display panel 30. Even if it is displayed, it does not need to be displayed.
  • an image in at least one direction different from the direction in which the obstacle is detected is compressed and displayed in the normal overhead image 120.
  • the display range is expanded in the direction in which the obstacle is detected by generating a bird's-eye view image 110A in which the peripheral image in the direction of the detected obstacle is synthesized in the direction in which the obstacle is detected.
  • a bird's-eye view image 100A that is compressed and a peripheral image from the rear camera 12 that is the direction in which the obstacle is detected in the direction in which the obstacle is detected.
  • 110A is generated by combining the second rear image 105A.
  • the display panel 30 when an obstacle is detected, the display panel 30 has the same display range as that of the normal bird's-eye view image 120, and the viewpoint conversion in the direction in which the obstacle is detected in the compression processing.
  • a bird's-eye view image 110A obtained by combining the second rear image 105A that is not processed can be displayed.
  • this embodiment can make it possible to appropriately check obstacles around the vehicle.
  • the driver can check an obstacle on the overhead view image 110A obtained by combining the overhead view image 100A compressed in the vertical direction and the second rear image 105A that is not subjected to the viewpoint conversion process. it can. According to the present embodiment, the driver can confirm the height and form of the obstacle from the ground in the second rear image 105A.
  • FIG. 8 is a diagram illustrating an overhead video generated by the overhead video generation system according to the third embodiment.
  • the overhead image generation system 1 of the present embodiment is different from the overhead image generation system 1 of the first embodiment in the processing in the composition processing unit 453.
  • the composition processing unit 453 detects the obstacle by reducing the display area by shifting the normal overhead view image 120 in the direction opposite to the direction in which the obstacle is detected.
  • a bird's-eye view image 100B obtained by combining an image obtained by performing viewpoint conversion processing with peripheral image data from the rear camera 12 including a wide shooting range in the direction of the obstacle or expanded to include the shooting range up to the detected obstacle. Generate.
  • the composition processing unit 453 is a process of reducing the display area by shifting the left-side image 123 and the right-side image 124 forward in the normal overhead image 120, and hereinafter referred to as a shift process.
  • the composition processing unit 453 generates an image obtained by cutting out a range in which the left side image 123 and the right side image 124 of the normal bird's-eye view image 120 are rearward in the obstacle detection direction.
  • the composition processing unit 453 generates a video with a reduced display area by shifting the left side video 103B and the right side video 104B forward so as to include the rear side of the side mirror.
  • the display area of the own vehicle icon 200B is reduced by shifting forward in the same manner as the left side video 103A and the right side video 104A.
  • the compositing processing unit 453 expands the shooting range so that it includes a wide shooting range in the direction of the detected obstacle, or includes a shooting range up to the detected obstacle, and cuts the surrounding video in the direction in which the obstacle is detected. Perform out processing.
  • the composition processing unit 453 synthesizes the compressed video and the rear video 102 obtained by performing the viewpoint conversion process on the peripheral video data including the shooting range expanded in the direction of the detected obstacle, and creates the overhead video 100B. Generate.
  • the overhead image 110B includes a front image 101B, a rear image 102B, a left side image 103B, and a right side image 104B.
  • the front video 101B and the rear video 102B are the same video as the front video 101 and the rear video 102 of the overhead view video 100 of the first embodiment.
  • the display area of the left side image 103B is reduced by shifting the left side image 123 of the normal overhead image 120 forward. More specifically, the left side image 103B is cut out so as not to include the left front of the vehicle but to include a peripheral image of the left rear from the left side mirror of the vehicle.
  • the display area of the right side image 104B is reduced by shifting the right side image 124 of the normal overhead image 120 forward. More specifically, the right side image 104B is cut out so as not to include the right front of the vehicle but to include a peripheral image on the right rear side from the right side mirror of the vehicle.
  • the own vehicle icon 200B is an image obtained by shifting the own vehicle icon 210 of the normal bird's-eye view image 120 forward.
  • the display area is reduced by shifting the normal overhead image 120 in the direction opposite to the direction in which the obstacle is detected, and the obstacle is detected.
  • an overhead image 100B including a shooting range up to the detected obstacle is generated.
  • the left side image 123 and the right side image 124 are shifted in the normal overhead view image 120, and the shooting range is set in the direction in which the obstacle is detected.
  • the video obtained by performing the viewpoint conversion process is synthesized with the peripheral video data from the expanded rear camera 12 to generate the overhead video 100B.
  • this embodiment can display the bird's-eye view image 100B which expanded the imaging
  • this embodiment can make it possible to appropriately check obstacles around the vehicle.
  • This embodiment reduces the display area by shifting the normal bird's-eye view image 120 in the direction opposite to the direction in which the obstacle is detected, and secures a display range for displaying information indicating the obstacle.
  • the range that is not included in the compressed bird's-eye view image 100B is a range that can be visually confirmed by a driver facing the front of the vehicle. For this reason, the display range which displays the information which shows an obstruction can be ensured, without reducing the information of the range which a driver
  • FIG. 9 is a diagram illustrating an overhead video generated by the overhead video generation system according to the fourth embodiment.
  • the overhead video generation system 1 of the present embodiment is different from the overhead video generation system 1 of the second embodiment in the processing in the composition processing unit 453.
  • the composition processing unit 453 compresses the normal overhead image 120 by shifting it in a direction opposite to the direction in which the obstacle is detected, and detects the obstacle.
  • an overhead image 100C is generated by synthesizing peripheral images that are not subjected to viewpoint conversion processing from the rear camera 12 in the direction of the detected obstacle.
  • the bird's-eye view image 110C includes a bird's-eye view image 100C with a reduced display area including the front image 101C, the rear image 102C, the left side image 103C, and the right side image 104C, and the second rear image 105C.
  • the front video 101C and the rear video 102C are the same video as the front video 101A and the rear video 102A of the overhead view video 110A of the second embodiment.
  • the left side video 103C and the right side video 104C are the same video as the left side video 103B and the right side video 104B of the third embodiment.
  • the second rear image 105C is the same image as the second rear image 105A of the second embodiment.
  • the own vehicle icon 200C is the same image as the own vehicle icon 200B of the third embodiment.
  • the display area is reduced by shifting the normal overhead image 120 in the direction opposite to the direction in which the obstacle is detected, and the obstacle is detected.
  • the display range is expanded in the direction in which the obstacle is detected by generating a bird's-eye view image 110C in which the peripheral images in the direction of the detected obstacle are combined in the direction in which the obstacle is detected.
  • the left side image 123 and the right side image 124 are shifted in the normal bird's-eye view image 120, and the rear in the direction in which the obstacle is detected.
  • An overhead view image 110C obtained by synthesizing the second rear image 105C, which is a peripheral image from the camera 12, is generated.
  • the compressed overhead image 100C and the viewpoint conversion process in the direction in which the obstacle is detected are not performed in the same display range as the normal overhead image 120.
  • An overhead view image 110C obtained by combining the image 105C can be displayed.
  • FIG. 10 is a flowchart showing the flow of processing in the overhead video generation device of the overhead video generation system according to the fifth embodiment.
  • the overhead image generation system 1 of the present embodiment is different from the overhead image generation system 1 of the first embodiment and the second embodiment in the processing in the composition processing unit 453.
  • the composition processing unit 453 switches the image to be generated and displayed to the overhead image 100 or the overhead image 110A depending on whether the obstacle is a stationary object. More specifically, when the composition processing unit 453 determines that the obstacle is a stationary object, the composition processing unit 453 generates the overhead image 110A as in the second embodiment. When the composition processing unit 453 determines that the obstacle is not a stationary object, the composition processing unit 453 generates the overhead view video 100 as in the first embodiment.
  • steps S21 to S23 and step S27 are the same as the processes in steps S11 to S13 and step S15 in the first embodiment.
  • the control unit 41 determines whether or not the obstacle is a stationary object (step S24).
  • the control unit 41 performs image processing on the peripheral video, detects an obstacle that is a subject in the image corresponding to the obstacle detected by the sensor, and determines whether the obstacle is moving. When it is determined that the obstacle is not moving, the control unit 41 determines that the obstacle is a stationary object. When it is determined that the obstacle is moving, the control unit 41 determines that the obstacle is not a stationary object. If the control unit 41 determines that the obstacle is a stationary object (Yes in step S24), the control unit 41 proceeds to step S25. When it is determined that the obstacle is not a stationary object (No in step S24), the control unit 41 proceeds to step S26.
  • the control unit 41 reduces the display area in the direction different from the direction in which the obstacle is detected, and generates and displays the overhead image 110A that combines the peripheral images with the display range expanded by not performing the viewpoint conversion process (Step S41). S25). More specifically, the control unit 41 uses the composition processing unit 453 to reduce the display area of the video in at least one direction different from the direction in which the obstacle is detected, and the direction in which the obstacle is detected. 110A is generated by synthesizing the surrounding video with the expanded display range from the rear camera 12.
  • the position of the obstacle will not change. For this reason, it is easier for the driver to check the position and form of the obstacle in the overhead view image 110A obtained by synthesizing the surrounding image without performing the viewpoint conversion process.
  • the control unit 41 reduces the display area in the direction different from the direction in which the obstacle is detected, and generates and displays the overhead view image 110A obtained by synthesizing the peripheral image subjected to the viewpoint conversion process (step S26).
  • the control unit 41 reduces the display area of the image in at least one of the directions different from the direction in which the obstacle is detected in the synthesis processing unit 453, and detects the direction of the detected obstacle in the direction in which the obstacle is detected.
  • the display range is expanded by including a wide shooting range, and the overhead view video 100 subjected to the viewpoint conversion process is generated.
  • the generated and displayed video can be switched to the overhead video 100 or the overhead video 110A depending on whether or not the obstacle is a stationary object.
  • this embodiment generates and displays the bird's-eye view image 100 or the bird's-eye view image 110A so that the driver can easily check the obstacle depending on whether the obstacle is a stationary object or a moving object. Can do.
  • FIG. 11 is a flowchart showing the flow of processing in the overhead video generation device of the overhead video generation system according to the sixth embodiment.
  • the overhead view video generation system 1 of the present embodiment differs from the overhead view video generation system 1 of the fifth embodiment in the processing in the composition processing unit 453.
  • the composition processing unit 453 When the obstacle information acquisition unit 43 detects an obstacle, the composition processing unit 453 generates a video to be generated and displayed depending on whether or not the distance to the obstacle is within the display range of the normal overhead image 120. 100 or the overhead image 110A. More specifically, when it is determined that the distance to the obstacle is within the display range of the normal overhead image 120, the composition processing unit 453 generates the overhead image 110A as in the second embodiment. When the composition processing unit 453 determines that the distance to the obstacle is not within the display range of the normal overhead view image 120, the composition processing unit 453 generates the overhead view image 100 as in the first embodiment.
  • steps S31 to S33 and steps S35 to S37 are the same as the processes of steps S21 to S23 and steps S25 to S27 in the fifth embodiment.
  • the control unit 41 determines whether or not the distance to the obstacle is within the display range of the normal overhead image 120 (step S34). When the control unit 41 determines that the distance to the obstacle is within the display range of the normal overhead view image 120 (Yes in step S34), the control unit 41 proceeds to step S35. When the control unit 41 determines that the distance to the obstacle is not within the display range of the normal overhead image 120 (No in step S34), the control unit 41 proceeds to step S36.
  • the driver can check the obstacle with the bird's-eye view image 100A with a reduced display area. Furthermore, by synthesizing the second rear image 105A that does not perform the viewpoint conversion process, the driver can more easily check the obstacle.
  • the driver can check the obstacle in the bird's-eye view image 100.
  • the image to be generated and displayed is switched to the overhead image 100 or the overhead image 110A depending on whether or not the distance to the obstacle is within the display range of the normal overhead image 120. Can do.
  • the overhead image 100 or the overhead image 110A is displayed so that the driver can easily check the obstacle depending on whether the distance to the obstacle is within the display range of the normal overhead image 120. Can be generated and displayed.
  • this embodiment can make it possible to appropriately check obstacles around the vehicle regardless of the distance to the obstacle.
  • the constituent elements of the overhead view video generation system 1 shown in the figure are functionally conceptual, and need not be physically configured as shown in the figure. That is, the specific form of each device is not limited to the one shown in the figure, and all or a part of them is functionally or physically distributed or integrated in arbitrary units according to the processing load or usage status of each device. May be.
  • the configuration of the overhead view video generation system 1 is realized by, for example, a program loaded in a memory as software.
  • the above embodiment has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the determination conditions in step S24 and step S34 in the fifth embodiment and the sixth embodiment are examples and are not limited.
  • the height from the ground of the obstacle may be used as the determination condition.
  • the overhead image is an image obtained by performing viewpoint conversion processing so that the periphery of the vehicle is looked down from above. Therefore, the object to be captured included in the overhead image has an unclear height from the ground. Therefore, for example, when the height from the ground of the obstacle is equal to or greater than a predetermined value, the composition processing unit 453 may generate the overhead view image 110A as in the second embodiment. For example, when the height from the ground of the obstacle is less than a predetermined value, the composition processing unit 453 may generate the overhead view video 100 as in the first embodiment.
  • the composition processing unit 453 The compression processing may be performed so that the center portion of the vertical direction is compressed and displayed in the vertical direction.
  • the bird's-eye view video generation unit 45 may reduce the display area by deleting the vertical center of the left side video 123 and the right side video 124.
  • the bird's-eye view video generation unit 45 may reduce the display area by deleting the both ends while leaving the vertical center of the left side video 123 and the right side video 124.
  • the peripheral video that is shown as an example of the information indicating the obstacle and that is not subjected to the viewpoint conversion process may be a video obtained by cutting out the periphery of the obstacle from the peripheral video.
  • composition processing unit 453 has been described as synthesizing the bird's-eye view image 100A with the reduced display area and the second rear image 105A without the viewpoint conversion process to generate the bird's-eye view image 110A, the bird's-eye view with the reduced display area is described.
  • the video 100A and the information indicating the obstacle a video including an icon indicating the obstacle, characters indicating the presence and distance of the obstacle, and the like may be synthesized to generate the overhead view video.
  • the synthesis processing unit 453 has been described as generating an overhead video in which the display area of the left side video 123 and the right side video 124 of the normal overhead video 120 is reduced when an obstacle is detected behind the vehicle.
  • the display area of the front video 121 may be reduced, or the display area of the left video 123, the right video 124, and the front video 121 may be reduced.
  • the synthesis processing unit 453 reduces the display area of the left side video 123 and the right side video 124 in the normal overhead view video 120, but the display area is reduced with respect to the peripheral video data from the camera.
  • a viewpoint conversion process may be performed on the peripheral video data that has been subjected to the reduction process and then reduced to generate an overhead view video.
  • the control unit 41 may synthesize peripheral video data from the camera corresponding to the direction in which the obstacle with the higher priority is detected.
  • the priority order may be the highest priority order with the smallest distance to the obstacle.
  • the priority may be the highest priority when the obstacle is a moving object.
  • the priority may be the highest priority when the obstacle is a moving body and is approaching the vehicle.
  • the obstacles in the front-rear direction may be set as high priority.
  • control unit 41 may determine whether or not to start the bird's-eye view video display based on, for example, whether or not an operation for starting the bird's-eye view video display is detected on the operation unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

車両の前後左右を撮影する複数のカメラからの映像を取得する映像データ取得部４２と、車両の周囲の障害物を検出するセンサ群２０からの情報を取得する障害物情報取得部４３と、映像データ取得部４２が取得した映像に視点変換処理を行って合成することで車両の上方から見たような俯瞰映像を生成し、障害物情報取得部４３が障害物を検出した場合、俯瞰映像において、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の表示面積を縮小し、障害物を検出した方向に表示範囲を拡張した映像を生成する俯瞰映像生成部４５と、俯瞰映像生成部４５が生成した映像を表示パネル３０に表示させる表示制御部４８と、を備える。

Description

俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
　本発明は、俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラムに関する。
　車両の周囲に設置されたカメラで車両周辺を撮影し、撮影した映像に視点変換処理を行った俯瞰映像としてモニタに表示させる技術が知られている。ところが、俯瞰映像は、中央から離れるほど歪が大きくなる。このため、俯瞰映像の中央、言い換えると、車両の近くに位置する障害物は、形態を明瞭に確認することができる。これに対して、映像の外周部、言い換えると、車両から離れて位置する障害物は、形態が不明瞭になる。
　そこで、障害物を検知した際に、俯瞰映像に加えて、車両に対する障害物の方向を撮像した直接映像とを同時に表示させる技術が知られている（例えば、特許文献１参照）。
特開２０１１－２５１６８１号公報
　この技術では、俯瞰映像を表示する表示範囲とは別に、直接映像を表示する表示範囲を要する。例えば、俯瞰映像の表示範囲の側方に表示された、ナビゲーション画面やオーディオ画面を一時的に非表示にし、直接映像を表示する表示範囲とする。このため、ユーザがナビゲーション画面やオーディオ画面を確認したい場合、表示を切り替えナビゲーション画面やオーディオ画面を表示しなくてはならない。
　本発明は、上記に鑑みてなされたものであって、俯瞰映像の表示範囲に、検出した障害物を適切に表示することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の前後左右を撮影する複数のカメラからの映像を取得する映像データ取得部と、前記車両の周囲の障害物を検出する障害物センサからの情報を取得する障害物情報取得部と、前記映像データ取得部が取得した映像に視点変換処理を行って合成することで前記車両の上方から見たような俯瞰映像を生成し、前記障害物情報取得部が障害物を検出した場合、前記俯瞰映像において、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の表示面積を縮小し、前記障害物を検出した方向に表示範囲を拡張した映像を生成する俯瞰映像生成部と、前記俯瞰映像生成部が生成した映像を表示部に表示させる表示制御部と、を備えることを特徴とする。
　本発明に係る俯瞰映像生成システムは、上記の俯瞰映像生成装置と、前記カメラと、前記障害物センサと、前記表示部との少なくともいずれかとを備える。
　本発明に係る俯瞰映像生成方法は、車両の前後左右を撮影する複数のカメラからの映像を取得する映像データ取得ステップと、前記車両の周囲の障害物を検出する障害物センサからの情報を取得する障害物情報取得ステップと、前記映像データ取得ステップで取得した映像に視点変換処理を行って合成することで前記車両の上方から見たような俯瞰映像を生成し、前記障害物情報取得ステップで障害物を検出した場合、前記俯瞰映像において、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の表示面積を縮小し、前記障害物を検出した方向に表示範囲を拡張した映像を生成する俯瞰映像生成ステップと、前記俯瞰映像生成ステップで生成した映像を表示部に表示させる表示制御ステップと、を含む。
　本発明に係るプログラムは、車両の前後左右を撮影する複数のカメラからの映像を取得する映像データ取得ステップと、前記車両の周囲の障害物を検出する障害物センサからの情報を取得する障害物情報取得ステップと、前記映像データ取得ステップで取得した映像に視点変換処理を行って合成することで前記車両の上方から見たような俯瞰映像を生成し、前記障害物情報取得ステップで障害物を検出した場合、前記俯瞰映像において、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の表示面積を縮小し、前記障害物を検出した方向に表示範囲を拡張した映像を生成する俯瞰映像生成ステップと、前記俯瞰映像生成ステップで生成した映像を表示部に表示させる表示制御ステップとを俯瞰映像生成装置として動作するコンピュータに実行させる。
　本発明によれば、俯瞰映像の表示範囲に、検出した障害物を適切に表示することができるという効果を奏する。
図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。 図２は、第一実施形態に係る俯瞰映像生成システムにおけるカメラの撮影範囲と、俯瞰映像に含まれる範囲とを説明する概略図である。 図３は、第一実施形態に係る俯瞰映像生成システムで生成した通常の俯瞰映像を示す図である。 図４は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。 図５は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。 図６は、図５に示すフローチャートにおける一部の処理の流れを示すフローチャートである。 図７は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。 図８は、第三実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。 図９は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。 図１０は、第五実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。 図１１は、第六実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。
　以下に添付図面を参照して、本発明に係る俯瞰映像生成装置４０、俯瞰映像生成システム１、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
［第一実施形態］
　図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム１は、車両に搭載されている。俯瞰映像生成システム１は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。
　図１を用いて、俯瞰映像生成システム１について説明する。俯瞰映像生成システム１は、前方カメラ１１と、後方カメラ１２と、左側方カメラ１３と、右側方カメラ１４と、センサ群（障害物センサ）２０と、表示パネル（表示部）３０と、俯瞰映像生成装置４０とを有する。
　図２を用いて、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とについて説明する。図２は、第一実施形態に係る俯瞰映像生成システムにおけるカメラの撮影範囲と、俯瞰映像に含まれる範囲とを説明する概略図である。前方カメラ１１は、車両の前方に配置され、車両の前方を中心とした周辺を撮影する。前方カメラ１１は、例えば、１８０°程度の撮影範囲Ａ１を撮影する。本実施形態では、撮影範囲Ａ１のうち、車両から２ｍ程度までの距離ｄ１の範囲が通常の俯瞰映像１２０（図３参照）に含まれる。前方カメラ１１は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。
　後方カメラ１２は、車両の後方に配置され、車両の後方を中心とした周辺を撮影する。後方カメラ１２は、例えば、１８０°程度の撮影範囲Ａ２を撮影する。本実施形態では、撮影範囲Ａ２のうち、車両から２ｍ程度までの距離ｄ２の範囲が通常の俯瞰映像１２０に含まれる。後方カメラ１２は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。
　左側方カメラ１３は、車両の左側方に配置され、車両の左側方を中心とした周辺を撮影する。左側方カメラ１３は、例えば、１８０°程度の撮影範囲Ａ３を撮影する。本実施形態では、撮影範囲Ａ３のうち、車両から２ｍ程度までの距離ｄ３の範囲が通常の俯瞰映像１２０に含まれる。左側方カメラ１３は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。
　右側方カメラ１４は、車両の右側方に配置され、車両の右側方を中心とした周辺を撮影する。右側方カメラ１４は、例えば、１８０°程度の撮影範囲Ａ４を撮影する。本実施形態では、撮影範囲Ａ４のうち、車両から２ｍ程度までの距離ｄ４の範囲が通常の俯瞰映像１２０に含まれる。右側方カメラ１４は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。
　このような前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両の全方位を撮影する。
　図１に戻って、センサ群２０は、車両の周辺の障害物を検出する。センサ群２０は、障害物を検出していないときの俯瞰映像の表示範囲を含む範囲の障害物を検出可能である。センサ群２０は、俯瞰映像の表示範囲より遠方の障害物を検出可能である。本実施形態では、センサ群２０は、前方センサと、後方センサと、左側方センサと、右側方センサとを含む。センサ群２０は、センシング方式によっては数十ｍから数百ｍの距離までのセンシングが可能であるが、本目的に用いる場合は車両から５ｍ程度までの距離の障害物を検出する。センサ群２０は、例えば、赤外線センサ、超音波センサ、ミリ波センサ、画像認識によるセンサ等、様々な方式が適用可能である。
　前方センサは、車両の前方に配置され、車両の前方における障害物を検出する。前方センサは、車両と接触するおそれがある、地上から高さを有するものを検出する。前方センサは、例えば、車両から５ｍ程度までの距離の障害物を検出する。前方センサの検出範囲は、前方カメラ１１の撮影範囲Ａ１と重複する。前方センサの検出範囲は、左側方センサおよび右側方センサの検出範囲の一部と重複していてもよい。前方センサは、複数のセンサの組み合わせで構成されていてもよい。前方センサは、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。
　後方センサは、車両の後方に配置され、車両の後方における障害物を検出する。後方センサは、車両と接触するおそれがある、地上から高さを有するものを検出する。後方センサは、例えば、車両から５ｍ程度までの距離の障害物を検出する。後方センサの検出範囲は、後方カメラ１２の撮影範囲Ａ２と重複する。後方センサの検出範囲は、左側方センサおよび右側方センサの検出範囲の一部と重複していてもよい。後方センサは、複数のセンサの組み合わせで構成されていてもよい。後方センサは、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。
　左側方センサは、車両の左側方に配置され、車両の左側方における障害物を検出する。左側方センサは、車両と接触するおそれがある、地上から高さを有するものを検出する。左側方センサは、例えば、車両から５ｍ程度までの距離の障害物を検出する。左側方センサの検出範囲は、左側方カメラ１３の撮影範囲Ａ３と重複する。左側方センサの検出範囲は、前方センサおよび後方センサの検出範囲の一部と重複していてもよい。左側方センサは、複数のセンサの組み合わせで構成されていてもよい。左側方センサは、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。
　右側方センサは、車両の右側方に配置され、車両の右側方における障害物を検出する。右側方センサは、車両と接触するおそれがある、地上から高さを有するものを検出する。右側方センサは、例えば、車両から５ｍ程度までの距離の障害物を検出する。右側方センサの検出範囲は、右側方カメラ１４の撮影範囲Ａ４と重複する。右側方センサの検出範囲は、前方センサおよび後方センサの検出範囲の一部と重複していてもよい。右側方センサは、複数のセンサの組み合わせで構成されていてもよい。右側方センサは、検出した障害物の障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。
　図１に戻って、表示パネル３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。表示パネル３０は、俯瞰映像生成システム１の俯瞰映像生成装置４０から出力された映像信号に基づいて、通常の俯瞰映像１２０、俯瞰映像１００（図４参照）を表示する。表示パネル３０は、俯瞰映像生成システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル３０は、運転者から視認容易な位置に配置されている。
　表示パネル３０は、表示パネル３０の形状が横長の矩形である場合、複数の表示範囲に分割されていてもよい。例えば、表示パネル３０は、通常の俯瞰映像１２０、俯瞰映像１００を表示する表示範囲と、通常の俯瞰映像１２０、俯瞰映像１００の表示範囲の側方に配置された、ナビゲーション画面やオーディオ画面を表示する表示範囲とを有する。通常の俯瞰映像１２０、俯瞰映像１００を表示する表示範囲は、縦長の矩形状である。
　俯瞰映像生成装置４０は、制御部４１と、記憶部４９とを有する。
　制御部４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などで構成された演算処理装置である。制御部４１は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４１は、映像データ取得部４２と、障害物情報取得部４３と、車両情報取得部４４と、俯瞰映像生成部４５と、表示制御部４８とを有する。
　映像データ取得部４２は、車両の周辺を撮影した周辺映像データを取得する。より詳しくは、映像データ取得部４２は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した周辺映像データを取得する。映像データ取得部４２は、取得した周辺映像データを記憶部４９に記憶し、俯瞰映像生成部４５に出力する。
　障害物情報取得部４３は、車両の周辺において検出した障害物の障害物情報を取得する。より詳しくは、障害物情報取得部４３は、センサ群２０が出力した障害物情報を取得する。本実施形態では、障害物情報取得部４３は、検出した障害物までの距離を含む障害物情報を取得する。障害物情報取得部４３は、取得した障害物情報を俯瞰映像生成部４５に出力する。
　車両情報取得部４４は、車両のギア操作情報など、通常の俯瞰映像１２０を表示させるためのトリガとなる車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や車両の状態をセンシングする各種センサなどから取得する。車両情報取得部４４は、取得した車両情報を俯瞰映像生成部４５に出力する。
　俯瞰映像生成部４５は、映像データ取得部４２が取得した周辺映像データに視点変換処理を行って合成することで車両の上方から見たような通常の俯瞰映像１２０や俯瞰映像１００を生成する。
　図３を用いて、通常の俯瞰映像１２０について説明する。図３は、第一実施形態に係る俯瞰映像生成システムで生成した通常の俯瞰映像を示す図である。通常の俯瞰映像１２０は、前方映像１２１と後方映像１２２と左側方映像１２３と右側方映像１２４とを含む。通常の俯瞰映像１２０の中央部は、車両を示す自車両アイコン２１０が表示されている。
　図３においては、前方映像１２１と後方映像１２２と左側方映像１２３と右側方映像１２４との境界を示す斜めの破線を説明のために図示しているが、実際に表示パネル３０に表示される通常の俯瞰映像１２０には当該破線は表示されても表示されなくてもよい。他の図も同様である。
　俯瞰映像生成部４５は、障害物情報取得部４３が障害物を検出した場合、通常の俯瞰映像１２０において、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の表示面積を縮小し、障害物を検出した方向に表示範囲を拡張した俯瞰映像１００を生成する。
　図１に戻って、俯瞰映像生成部４５は、視点変換処理部４５１と、切出処理部４５２と、合成処理部４５３とを有する。
　視点変換処理部４５１は、映像データ取得部４２で取得した周辺映像データに対して、車両を上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部４５１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部４５１は、視点変換処理を行った周辺映像データを記憶部４９に記憶する。
　切出処理部４５２は、周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。より詳しくは、切出処理部４５２は、前方カメラ１１からの周辺映像データから、車両から２ｍ程度の距離ｄ１までの範囲を切出す。切出処理部４５２は、後方カメラ１２からの周辺映像データから、車両から２ｍ程度の距離ｄ２までの範囲を切出す。切出処理部４５２は、左側方カメラ１３からの周辺映像データから、車両から２ｍ程度の距離ｄ３までの範囲を切出す。切出処理部４５２は、右側方カメラ１４からの周辺映像データから、車両から２ｍ程度の距離ｄ４までの範囲を切出す。切出処理部４５２は、切出処理を行った映像の映像データを記憶部４９に記憶する。
　合成処理部４５３は、障害物情報取得部４３が障害物を検出した場合、通常の俯瞰映像１２０において、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の表示面積が縮小されるように映像データに対して縮小処理を行い、生成する俯瞰映像１００における障害物を検出した方向に対応する範囲に表示範囲を拡張した俯瞰映像１００を生成する。
　障害物を検出した方向とは異なる方向の少なくともいずれかの方向とは、障害物を検出した方向と直交する方向、障害物を検出した方向と逆の方向、障害物を検出した方向と直交する方向及び障害物を検出した方向と逆の方向、の３通りである。
　映像データの表示面積が縮小される処理とは、一例として表示画像が通常の俯瞰映像１２０より映像の面積が圧縮される処理であり、以下圧縮処理とする。圧縮処理により映像の面積を圧縮縮小する方向は、障害物を検出した方向と平行な方向でもよい。例えば、圧縮処理とは、映像の全体を縮小すること、映像の一部を切出すこと、映像の一部を削除することを含む。圧縮処理された俯瞰映像は、通常の俯瞰映像１２０より表示面積が縮小される。
　本実施形態では、合成処理部４５３は、障害物を検出した場合、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像が圧縮されて表示面積が縮小されるように映像データに圧縮処理を行い、障害物を検出した方向に表示範囲を拡張して視点変換処理を行った俯瞰映像１００を生成する。
　より詳しくは、合成処理部４５３は、障害物を検出した場合、通常の俯瞰映像１２０の前方映像１２１と後方映像１２２と左側方映像１２３と右側方映像１２４との中で、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の映像データに基づく映像が、障害物を検出した方向とは逆の方向に寄せて圧縮して表示されるように圧縮処理が行われる。そして、合成処理部４５３は、検出した障害物の方向に表示範囲を拡張して周辺映像データの切出処理を行う。そして、合成処理部４５３は、切出した映像データの視点変換処理を行う。そして、合成処理部４５３は、圧縮処理された映像データと、障害物の方向の撮影範囲を拡張した周辺映像データに視点変換処理を行った映像とを合成し、俯瞰映像１００を生成する。
　例えば、合成処理部４５３は、後方に障害物を検出した場合、通常の俯瞰映像１２０の前方映像１２１と左側方映像１２３と右側方映像１２４の少なくともいずれかを前方に寄せて圧縮して表示されるように各々の映像データに圧縮処理を行う。そして、合成処理部４５３は、圧縮処理された映像と、生成する俯瞰映像１００の後方に対応する範囲に、障害物の方向に撮影範囲を拡張した周辺映像データに視点変換処理を行った映像とを合成し、俯瞰映像１００を生成する。本実施形態では、合成処理部４５３は、後方に障害物を検出した場合、通常の俯瞰映像１２０の左側方映像１２３と右側方映像１２４とを前方に寄せて前後方（縦方向）に圧縮して表示されるように圧縮処理を行う。そして、合成処理部４５３は、圧縮処理された映像と、生成する俯瞰映像１００の後方に対応する範囲に、障害物の方向に撮影範囲を拡張した周辺映像データに視点変換処理を行った映像とを合成し、俯瞰映像１００を生成する。障害物の方向に撮影範囲を拡張した周辺映像は、予め設定された拡張範囲に撮影範囲を拡張してもよく、検出された障害物までの距離情報に基づき検出された障害物までの撮影範囲を含むように撮影範囲を拡張してもよい。
　合成処理部４５３は、このようにして生成した俯瞰映像１００の映像データを記憶部４９に記憶する。
　図４を用いて、後方に障害物が検出された場合における俯瞰映像１００について説明する。図４は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とを含む。俯瞰映像１００の中央部は、車両を示す自車両アイコン２００が表示されている。俯瞰映像１００は、通常の俯瞰映像１２０と同一の縦横比で生成される。
　前方映像１０１は、通常の俯瞰映像１２０の前方映像１２１と同一映像である。後方映像１０２は、通常の俯瞰映像１２０の後方映像１２２より広い切出範囲で切出処理された映像である。後方映像１０２は、通常の俯瞰映像１２０の表示範囲より遠方に位置する障害物が検出された場合、通常の俯瞰映像１２０の表示範囲より遠方までの撮影範囲を含む。後方映像１０２は、通常の俯瞰映像１２０の表示範囲より遠方に位置する障害物が検出された場合、通常の俯瞰映像１２０の表示範囲より遠方であり検出した障害物までの撮影範囲を含む範囲としてもよい。左側方映像１０３は、通常の俯瞰映像１２０の左側方映像１２３を縦方向に圧縮して表示されるように圧縮処理された映像である。右側方映像１０４は、通常の俯瞰映像１２０の右側方映像１２４を縦方向に圧縮して表示されるように圧縮処理された映像である。自車両アイコン２００は、通常の俯瞰映像１２０の自車両アイコン２１０を縦方向に圧縮して表示されるように圧縮処理された映像である。
　左側方映像１０３および右側方映像１０４の圧縮率は、後方映像１０２の表示範囲によって決定される。後方映像１０２の表示範囲と左側方映像１０３および右側方映像１０４の圧縮率は予め定められた固定値であってもよい。圧縮率とは縮小率でもある。また、後方映像１０２の表示範囲は左側方映像１０３および右側方映像１０４の圧縮率に基づいて定められてもよく、後方映像１０２の表示範囲に基づいて左側方映像１０３および右側方映像１０４の圧縮率が定められてもよい。また、自車両アイコン２１０の圧縮率は、左側方映像１０３および右側方映像１０４の圧縮率によって決定される。左側方映像１０３および右側方映像１０４の圧縮率は３０％～５０％程度であることが好ましい。
　図１に戻って、表示制御部４８は、通常の俯瞰映像１２０、俯瞰映像１００を表示パネル３０に表示させる。表示制御部４８は、通常の俯瞰映像１２０と俯瞰映像１００とを、表示パネル３０の同一の大きさの表示範囲に表示させる。より好ましくは、表示の継続性を保つため、表示制御部４８は、通常の俯瞰映像１２０と俯瞰映像１００とを、表示パネル３０の同一の表示範囲に表示させる。
　記憶部４９は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部４９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ　Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
　次に、図５を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図５は、第一実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。
　俯瞰映像生成システム１が起動されると、制御部４１は、映像データ取得部４２で周辺映像データを取得させる。制御部４１は、障害物情報取得部４３で障害物情報を取得させる。
　制御部４１は、俯瞰映像表示を開始するか否かを判定する（ステップＳ１１）。本実施形態では、制御部４１は、後退トリガの有無に基づいて、俯瞰映像表示を開始するか否かを判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両の進行方向が車両の後方となったことをいう。制御部４１は、後退トリガがない場合、俯瞰映像表示を開始しないと判定し（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。制御部４１は、後退トリガがある場合、俯瞰映像表示を開始すると判定し（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。
　制御部４１は、通常の俯瞰映像１２０を生成し表示する（ステップＳ１２）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、映像データ取得部４２で取得した周辺映像データから車両を上方から見下ろすように視点変換処理を行った通常の俯瞰映像１２０を生成させる。そして、制御部４１は、表示制御部４８で、通常の俯瞰映像１２０を表示パネル３０に表示させる。
　制御部４１は、障害物を検出したか否かを判定する（ステップＳ１３）。より詳しくは、制御部４１は、障害物情報取得部４３で障害物情報が取得されたか否かを判定する。制御部４１は、障害物情報取得部４３で障害物情報が取得されたと判定した場合（ステップＳ１３でＹｅｓ）、ステップＳ１４に進む。制御部４１は、障害物情報取得部４３で障害物情報が取得されていないと判定した場合（ステップＳ１３でＮｏ）、ステップＳ１５に進む。
　制御部４１は、合成処理部４５３で、障害物を検出した方向とは異なる方向を圧縮した俯瞰映像１００を生成し表示させる（ステップＳ１４）。
　図６を用いて、ステップＳ１４における処理の流れについてより詳しく説明する。図６は、図５に示すフローチャートにおける一部の処理の流れを示すフローチャートである。
　合成処理部４５３は、障害物が検出された方向を取得する（ステップＳ１４１）。合成処理部４５３は、障害物情報取得部４３で取得した、車両までの距離が最小の障害物の障害物情報に基づいて、障害物を検出した方向を取得する。例えば、合成処理部４５３は、障害物情報取得部４３で取得した、車両までの距離が最小の障害物の障害物情報が、後方センサからの障害物情報である場合、障害物の検出方向は後方であると判定する。
　合成処理部４５３は、障害物が検出方向された方向と異なる方向の少なくともいずれかの方向の映像が圧縮して表示されるように圧縮処理を行う（ステップＳ１４２）。例えば、ステップＳ１４１で障害物の検出方向は後方であると判定された場合、合成処理部４５３は、後方に障害物を検出した場合、通常の俯瞰映像１２０の左側方映像１２３と右側方映像１２４とを前方に寄せて縦方向に圧縮して表示されるように圧縮処理を行う。
　合成処理部４５３は、障害物を検出した方向の切出処理を行う（ステップＳ１４３）。例えば、ステップＳ１４１で障害物の検出方向は後方であると判定された場合、合成処理部４５３は、通常の俯瞰映像１２０を生成する場合より遠方を含むように、後方カメラ１２からの周辺映像データの切出処理を行う。合成処理部４５３は、検出した障害物までの撮影範囲を含むように、後方カメラ１２からの周辺映像データの切出処理を行うこととしてもよい。
　合成処理部４５３は、俯瞰映像１００を生成し表示する（ステップＳ１４４）。例えば、合成処理部４５３は、ステップＳ１４２で圧縮して表示されるように圧縮処理した俯瞰映像の後方に対応する範囲に、ステップＳ１４３で切出した後方カメラ１２からの周辺映像データに視点変換処理を行った後方映像１０２の映像データを合成し、俯瞰映像１００を生成する。そして、合成処理部４５３は、表示制御部４８で、俯瞰映像１００を表示パネル３０に表示させる。
　図５に戻って、制御部４１は、俯瞰映像表示を終了するか否かを判定する（ステップＳ１５）。より詳しくは、制御部４１は、後退トリガの有無に基づいて、俯瞰映像表示を終了するか否かを判定する。制御部４１は、後退トリガがない場合、言い換えると、後退トリガが解除された場合、俯瞰映像表示を終了すると判定し（ステップＳ１５でＹｅｓ）、処理を終了する。制御部４１は、後退トリガがある場合、俯瞰映像表示を終了しないと判定し（ステップＳ１５でＮｏ）、ステップＳ１３に戻って処理を継続する。
　このようにして、俯瞰映像生成システム１は、障害物を検出した場合、通常の俯瞰映像１２０において、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像が圧縮して表示されるように圧縮処理を行い、障害物を検出した方向に対して広い撮影範囲を含み、または、検出した障害物までの撮影範囲を含むように拡張した俯瞰映像１００を生成する。
　上述したように、本実施形態は、障害物を検出した場合、通常の俯瞰映像１２０において、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像が圧縮して表示されるように圧縮処理を行い、障害物を検出した方向に広い撮影範囲を含み、または、検出した障害物までの撮影範囲を含むように拡張した俯瞰映像１００を生成する。例えば、本実施形態は、車両の後方に障害物が検出されると、通常の俯瞰映像１２０の左側方映像１２３と右側方映像１２４とが圧縮して表示されるように圧縮処理を行う。そして、本実施形態は、圧縮処理された俯瞰映像の後方に対応する範囲に、後方カメラ１２からの周辺映像データに視点変換処理を行った後方映像１０２を合成し、俯瞰映像１００を生成する。これにより、本実施形態は、障害物を検出した場合、表示パネル３０において、通常の俯瞰映像１２０と同一の表示範囲に、障害物を早い段階で確認可能な俯瞰映像１００、または、障害物までの撮影範囲を含む俯瞰映像１００を表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
　本実施形態は、俯瞰映像１００における障害物を検出した方向を表示する表示範囲を、通常の俯瞰映像１２０における表示範囲に比べて広くすることができる。例えば、障害物が後方に検出された場合、俯瞰映像１００の後方映像１０２を、通常の俯瞰映像１２０の後方映像１２２に比べて広くすることができる。これにより、本実施形態は、障害物の検出時、俯瞰映像１００において、障害物が検出された方向のより広い範囲を表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
　しかも、上記のように、俯瞰映像１００における障害物を検出した方向を表示する表示範囲を、通常の俯瞰映像１２０における表示範囲に比べて広くすることにより、本実施形態によれば、俯瞰映像１００における障害物を、自車両アイコン２００に近づけて表示することができる。このように、本実施形態は、俯瞰映像１００における障害物の歪を軽減し、障害物の視認性を向上することができる。本実施形態によれば、運転者は、車両周辺の障害物を適切に確認することができる。
　本実施形態は、通常の俯瞰映像１２０と俯瞰映像１００とを、表示パネル３０において、同一の表示範囲に表示する。これにより、本実施形態は、障害物を示す情報を表示する表示範囲を確保するために、ナビゲーション画面やオーディオ画面を一時的に非表示にしなくてよい。このように、本実施形態は、表示パネル３０の表示の継続性を保つことができる。
［第二実施形態］
　図７を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図７は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。俯瞰映像生成システム１は、基本的な構成は第一実施形態の俯瞰映像生成システム１と同様である。以下の説明においては、俯瞰映像生成システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の俯瞰映像生成システム１は、合成処理部４５３における処理が、第一実施形態の俯瞰映像生成システム１と異なる。
　本実施形態では、検出した障害物の方向に拡張した映像とは、通常の俯瞰映像における障害物を検出した方向の映像に加えて、検出した障害物の方向における視点変換処理を行わない映像である。言い換えると、前方カメラ１１と、後方カメラ１２と、左側方カメラ１３と、右側方カメラ１４のうち障害物が検出された方向のカメラから取得した映像データをそのまま表示する映像を加えることで表示範囲を拡張する。
　合成処理部４５３は、障害物情報取得部４３が障害物を検出した場合、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の表示面積が縮小されるように映像データに対して圧縮処理を行った俯瞰映像１００Ａと、障害物を検出した方向の後方カメラ１２からの周辺映像とを合成した俯瞰映像１１０Ａを生成する。より詳しくは、合成処理部４５３は、障害物を検出した場合、通常の俯瞰映像１２０の前方映像１２１と後方映像１２２と左側方映像１２３と右側方映像１２４との中で、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の映像データを、障害物を検出した方向とは逆の方向に寄せて圧縮して表示されるように圧縮処理した俯瞰映像１００Ａを生成する。そして、合成処理部４５３は、圧縮処理された俯瞰映像１００Ａと、障害物を検出した方向の周辺映像データに視点変換処理を行わない映像とを合成し、俯瞰映像１１０Ａを生成する。障害物を検出した方向の周辺映像は、圧縮処理された俯瞰映像１００Ａに対して、障害物を検出した方向に対応する位置に合成する。
　図７を用いて、後方に障害物が検出された場合における俯瞰映像１１０Ａについて説明する。俯瞰映像１１０Ａは、前方映像１０１Ａと後方映像１０２Ａと左側方映像１０３Ａと右側方映像１０４Ａとを含む圧縮処理された俯瞰映像１００Ａと、第二後方映像１０５Ａとを含む。前方映像１０１Ａと後方映像１０２Ａとは、通常の俯瞰映像１２０の前方映像１２１と後方映像１２２と同一映像である。第二後方映像１０５Ａは厳密には俯瞰映像ではないが、便宜的に俯瞰映像１００Ａと第二後方映像１０５Ａとを合成した映像を俯瞰映像１１０Ａとして説明する。左側方映像１０３Ａと右側方映像１０４Ａとは、第一実施形態と同様に、縦方向に圧縮処理されている。この場合、自車両アイコン２００Ａは、左側方映像１０３Ａと右側方映像１０４Ａの圧縮率に合わせて縦方向に圧縮処理されている。第二後方映像１０５Ａは、視点変換処理を行っていない、後方カメラ１２からの周辺映像である。第二後方映像１０５Ａは、圧縮処理された俯瞰映像１００Ａに対して後方に対応する位置、言い換えると、圧縮処理された俯瞰映像１００Ａに対して、図７における下側に合成されている。第二後方映像１０５Ａは、後方映像１０２Ａを生成するために切出す前の映像であることが好ましく、その場合、障害物の検出方向に対して後方映像１０２Ａより遠方の範囲を表示することができる。
　図７においては、俯瞰映像１００Ａと第二後方映像１０５Ａとの境界を示す破線１０６Ａを説明のために図示しているが、実際に表示パネル３０に表示される俯瞰映像１１０Ａには当該破線は表示されても表示されなくてもよい。
　上述したように、本実施形態は、障害物を検出した場合、通常の俯瞰映像１２０において、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像を圧縮して表示されるように圧縮処理を行い、障害物を検出した方向に、検出した障害物の方向の周辺映像を合成した俯瞰映像１１０Ａを生成することで、障害物を検出した方向に表示範囲を拡張する。例えば、本実施形態は、車両の後方に障害物が検出されると、圧縮処理された俯瞰映像１００Ａと、障害物を検出した方向に障害物を検出した方向である後方カメラ１２からの周辺映像である第二後方映像１０５Ａとを合成した俯瞰映像１１０Ａを生成する。これにより、本実施形態は、障害物を検出した場合、表示パネル３０において、通常の俯瞰映像１２０と同一の表示範囲に、圧縮処理された俯瞰映像１００Ａと、障害物を検出した方向の視点変換処理を行わない第二後方映像１０５Ａとを合成した俯瞰映像１１０Ａを表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
　本実施形態によれば、運転者は、縦方向に圧縮処理された俯瞰映像１００Ａと、視点変換処理を行わない第二後方映像１０５Ａとを合成した俯瞰映像１１０Ａで、障害物を確認することができる。本実施形態によれば、運転者は、第二後方映像１０５Ａで、障害物の地面からの高さや形態などを確認することができる。
［第三実施形態］
　図８を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図８は、第三実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。本実施形態の俯瞰映像生成システム１は、合成処理部４５３における処理が、第一実施形態の俯瞰映像生成システム１と異なる。
　合成処理部４５３は、障害物情報取得部４３が障害物を検出した場合、通常の俯瞰映像１２０を障害物を検出した方向とは逆の方向にシフトすることで表示面積を縮小し、検出した障害物の方向に広い撮影範囲を含み、または、検出した障害物までの撮影範囲を含むように拡張した後方カメラ１２からの周辺映像データに視点変換処理を行った映像を合成した俯瞰映像１００Ｂを生成する。
　より詳しくは、合成処理部４５３は、通常の俯瞰映像１２０において、左側方映像１２３と右側方映像１２４とを前方にシフトすることで表示面積を縮小する処理であり、以下シフト処理とする。言い換えると、合成処理部４５３は、通常の俯瞰映像１２０の左側方映像１２３と右側方映像１２４とを、障害物の検出方向である後方に寄せた範囲を切出した映像を生成する。合成処理部４５３は、例えば、左側方映像１０３Ｂと右側方映像１０４Ｂとを、サイドミラーより後方が含まれるように前方にシフト処理することで表示面積を縮小した映像を生成する。この場合、自車両アイコン２００Ｂは、左側方映像１０３Ａと右側方映像１０４Ａ同様に前方にシフト処理することで表示面積を縮小している。合成処理部４５３は、検出した障害物の方向に広い撮影範囲を含み、または、検出した障害物までの撮影範囲を含むように撮影範囲を拡張し、障害物を検出した方向の周辺映像の切出処理を行う。そして、合成処理部４５３は、圧縮処理された映像と、検出した障害物の方向に拡張した撮影範囲を含む周辺映像データに視点変換処理を行った後方映像１０２とを合成し、俯瞰映像１００Ｂを生成する。
　図８を用いて、後方に障害物が検出された場合における俯瞰映像１００Ｂについて説明する。俯瞰映像１１０Ｂは、前方映像１０１Ｂと後方映像１０２Ｂと左側方映像１０３Ｂと右側方映像１０４Ｂとを含む。前方映像１０１Ｂと後方映像１０２Ｂとは、第一実施形態の俯瞰映像１００の前方映像１０１と後方映像１０２と同一映像である。左側方映像１０３Ｂは、通常の俯瞰映像１２０の左側方映像１２３を前方にシフト処理することで表示面積を縮小している。より詳しくは、左側方映像１０３Ｂは、車両の左前方を含まず、車両の左サイドミラーより左後方の周辺映像を含むように切出されている。右側方映像１０４Ｂは、通常の俯瞰映像１２０の右側方映像１２４を前方にシフト処理することで表示面積を縮小している。より詳しくは、右側方映像１０４Ｂは、車両の右前方を含まず、車両の右サイドミラーより右後方の周辺映像を含むように切出されている。自車両アイコン２００Ｂは、通常の俯瞰映像１２０の自車両アイコン２１０を前方向にシフト処理した映像である。
　上述したように、本実施形態は、障害物を検出した場合、通常の俯瞰映像１２０を障害物を検出した方向とは逆の方向にシフト処理することで表示面積を縮小し、障害物を検出した方向に、検出した障害物までの撮影範囲を含む俯瞰映像１００Ｂを生成する。例えば、本実施形態は、車両の後方に障害物が検出されると、通常の俯瞰映像１２０において左側方映像１２３と右側方映像１２４とをシフト処理し、障害物を検出した方向に撮影範囲を拡張した後方カメラ１２からの周辺映像データに視点変換処理を行った映像を合成し、俯瞰映像１００Ｂを生成する。これにより、本実施形態は、障害物を検出した場合、通常の俯瞰映像１２０と同一の表示範囲に、障害物までの撮影範囲を拡張した俯瞰映像１００Ｂを表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
　本実施形態は、通常の俯瞰映像１２０を障害物を検出した方向とは逆の方向にシフト処理することで表示面積を縮小し、障害物を示す情報を表示する表示範囲を確保する。本実施形態において、圧縮した俯瞰映像１００Ｂに含まれなくなる範囲は、車両の前方を向いた運転者が、目視で確認可能な範囲である。このため、運転者が目視しにくい範囲の情報を低減することなく、障害物を示す情報を表示する表示範囲を確保することができる。
［第四実施形態］
　図９を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図９は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。本実施形態の俯瞰映像生成システム１は、合成処理部４５３における処理が、第二実施形態の俯瞰映像生成システム１と異なる。
　合成処理部４５３は、障害物情報取得部４３が障害物を検出した場合、通常の俯瞰映像１２０を障害物を検出した方向とは逆の方向にシフトすることで圧縮し、障害物を検出した方向に、検出した障害物の方向の後方カメラ１２からの視点変換処理を行わない周辺映像を合成した俯瞰映像１００Ｃを生成する。
　図９を用いて、後方に障害物が検出された場合における俯瞰映像１００Ｃについて説明する。俯瞰映像１１０Ｃは、前方映像１０１Ｃと後方映像１０２Ｃと左側方映像１０３Ｃと右側方映像１０４Ｃとを含む表示面積を縮小した俯瞰映像１００Ｃと、第二後方映像１０５Ｃとを含む。前方映像１０１Ｃと後方映像１０２Ｃとは、第二実施形態の俯瞰映像１１０Ａの前方映像１０１Ａと後方映像１０２Ａと同一映像である。左側方映像１０３Ｃと右側方映像１０４Ｃとは、第三実施形態の左側方映像１０３Ｂと右側方映像１０４Ｂと同一映像である。第二後方映像１０５Ｃは、第二実施形態の第二後方映像１０５Ａと同一映像である。自車両アイコン２００Ｃは、第三実施形態の自車両アイコン２００Ｂと同一映像である。
　上述したように、本実施形態は、障害物を検出した場合、通常の俯瞰映像１２０を障害物を検出した方向とは逆の方向にシフト処理することで表示面積を縮小し、障害物を検出した方向に、検出した障害物の方向の周辺映像を合成した俯瞰映像１１０Ｃを生成することで、障害物を検出した方向に表示範囲を拡張する。例えば、本実施形態は、車両の後方に障害物が検出されると、通常の俯瞰映像１２０において左側方映像１２３と右側方映像１２４とをシフト処理を行い、障害物を検出した方向である後方カメラ１２からの周辺映像である第二後方映像１０５Ｃを合成した俯瞰映像１１０Ｃを生成する。これにより、本実施形態は、障害物を検出した場合、通常の俯瞰映像１２０と同一の表示範囲に、圧縮した俯瞰映像１００Ｃと、障害物を検出した方向の視点変換処理を行わない第二後方映像１０５Ｃとを合成した俯瞰映像１１０Ｃを表示することができる。このように、本実施形態は、車両周辺の障害物を適切に確認可能にすることができる。
［第五実施形態］
　図１０を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図１０は、第五実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。本実施形態の俯瞰映像生成システム１は、合成処理部４５３における処理が、第一実施形態、第二実施形態の俯瞰映像生成システム１と異なる。
　合成処理部４５３は、障害物情報取得部４３が障害物を検出した場合、障害物が静止物であるか否かで、生成し表示する映像を俯瞰映像１００または俯瞰映像１１０Ａに切り替える。より詳しくは、合成処理部４５３は、障害物が静止物であると判定した場合、第二実施形態と同様に、俯瞰映像１１０Ａを生成する。合成処理部４５３は、障害物が静止物ではないと判定した場合、第一実施形態と同様に、俯瞰映像１００を生成する。
　次に、図１０を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。ステップＳ２１～ステップＳ２３、ステップＳ２７の処理は、第一実施形態におけるステップＳ１１～ステップＳ１３、ステップＳ１５の処理と同じ処理である。
　制御部４１は、障害物が静止物であるか否かを判定する（ステップＳ２４）。制御部４１は、周辺映像について画像処理を行い、センサで検出された障害物に対応する画像中の被撮影物である障害物を検出し、障害物が移動しているか否かを判定する。制御部４１は、障害物が移動していないと判定した場合、障害物は静止物であると判定する。制御部４１は、障害物が移動していると判定した場合、障害物は静止物ではないと判定する。制御部４１は、障害物が静止物であると判定した場合（ステップＳ２４でＹｅｓ）、ステップＳ２５に進む。制御部４１は、障害物が静止物ではないと判定した場合（ステップＳ２４でＮｏ）、ステップＳ２６に進む。
　制御部４１は、障害物を検出した方向とは異なる方向の表示面積を縮小し、視点変換処理を行わないことで表示範囲を拡張した周辺映像を合成した俯瞰映像１１０Ａを生成し表示する（ステップＳ２５）。より詳しくは、制御部４１は、合成処理部４５３で、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の表示面積を縮小した俯瞰映像１００Ａと、障害物を検出した方向である後方カメラ１２からの表示範囲を拡張した周辺映像とを合成した俯瞰映像１１０Ａを生成させる。
　障害物が静止物である場合、障害物の位置は変化しない。このため、視点変換処理を行わない周辺映像を合成した俯瞰映像１１０Ａの方が、運転者が障害物の位置や形態を確認しやすい。
　制御部４１は、障害物を検出した方向とは異なる方向の表示面積を縮小し、視点変換処理を行った周辺映像を合成した俯瞰映像１１０Ａを生成し表示する（ステップＳ２６）。制御部４１は、合成処理部４５３で、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の表示面積を縮小し、障害物を検出した方向に、検出した障害物の方向に広い撮影範囲を含むことで表示範囲を拡張し、視点変換処理を行った俯瞰映像１００を生成させる。
　障害物が静止物ではない場合、言い換えると、障害物が移動体である場合、車両と障害物との相対的な位置関係は変化する。このため、俯瞰映像１００の方が、運転者は障害物との相対的な位置関係を確認しやすい。
　上述したように、本実施形態によれば、障害物が静止物であるか否かで、生成し表示する映像を俯瞰映像１００または俯瞰映像１１０Ａに切り替えることができる。これにより、本実施形態は、障害物が静止物であるか移動体であるか否かによって、運転者が障害物を確認しやすいように、俯瞰映像１００または俯瞰映像１１０Ａを生成し表示することができる。このように、本実施形態は、障害物が静止物であっても移動体であっても、車両周辺の障害物を適切に確認可能にすることができる。
［第六実施形態］
　図１１を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図１１は、第六実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。本実施形態の俯瞰映像生成システム１は、合成処理部４５３における処理が、第五実施形態の俯瞰映像生成システム１と異なる。
　合成処理部４５３は、障害物情報取得部４３が障害物を検出した場合、障害物までの距離が通常の俯瞰映像１２０の表示範囲内であるか否かで、生成し表示する映像を俯瞰映像１００または俯瞰映像１１０Ａに切り替える。より詳しくは、合成処理部４５３は、障害物までの距離が通常の俯瞰映像１２０の表示範囲内であると判定した場合、第二実施形態と同様に、俯瞰映像１１０Ａを生成する。合成処理部４５３は、障害物までの距離が通常の俯瞰映像１２０の表示範囲内ではないと判定した場合、第一実施形態と同様に、俯瞰映像１００を生成する。
　次に、図１１を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。ステップＳ３１～ステップＳ３３、ステップＳ３５～ステップＳ３７の処理は、第五実施形態におけるステップＳ２１～ステップＳ２３、ステップＳ２５～ステップＳ２７の処理と同じ処理である。
　制御部４１は、障害物までの距離が通常の俯瞰映像１２０の表示範囲内であるか否かを判定する（ステップＳ３４）。制御部４１は、障害物までの距離が通常の俯瞰映像１２０の表示範囲内であると判定した場合（ステップＳ３４でＹｅｓ）、ステップＳ３５に進む。制御部４１は、障害物までの距離が通常の俯瞰映像１２０の表示範囲内ではないと判定した場合（ステップＳ３４でＮｏ）、ステップＳ３６に進む。
　障害物までの距離が通常の俯瞰映像１２０の表示範囲内である場合、障害物は通常の俯瞰映像１２０に含まれている。このため、障害物までの距離が通常の俯瞰映像１２０の表示範囲内である場合、表示面積を縮小した俯瞰映像１００Ａで、運転者は障害物を確認することができる。さらに、視点変換処理を行わない第二後方映像１０５Ａを合成することで、運転者が障害物をより確認しやすい。
　障害物までの距離が通常の俯瞰映像１２０の表示範囲内ではない場合、俯瞰映像１００で、運転者は障害物を確認することができる。
　上述したように、本実施形態によれば、障害物までの距離が通常の俯瞰映像１２０の表示範囲内であるか否かで、生成し表示する映像を俯瞰映像１００または俯瞰映像１１０Ａに切り替えることができる。これにより、本実施形態は、障害物までの距離が通常の俯瞰映像１２０の表示範囲内であるか否かによって、運転者が障害物を確認しやすいように、俯瞰映像１００または俯瞰映像１１０Ａを生成し表示することができる。このように、本実施形態は、障害物までの距離によらず、車両周辺の障害物を適切に確認可能にすることができる。
　さて、これまで本発明に係る俯瞰映像生成システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。
　図示した俯瞰映像生成システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
　俯瞰映像生成システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
　上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
　第五実施形態及び第六実施形態における、ステップＳ２４及びステップＳ３４の判定条件は、一例であり、限定されるものではない。例えば、障害物の地面から高さを判定条件としてもよい。俯瞰映像は車両の周辺を上方から見下ろしたように視点変換処理を行った映像であるため、俯瞰映像に含まれる被撮影物は、地面からの高さが不明瞭である。そこで、合成処理部４５３は、例えば、障害物の地面から高さが所定以上の場合、第二実施形態と同様に、俯瞰映像１１０Ａを生成してもよい。合成処理部４５３は、例えば、障害物の地面から高さが所定未満の場合、第一実施形態と同様に、俯瞰映像１００を生成してもよい。
　合成処理部４５３は、通常の俯瞰映像１２０において、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像を表示面積を縮小する際に、左側方映像１２３と右側方映像１２４との縦方向の中央部を縦方向に圧縮して表示されるように圧縮処理を行ってもよい。または、俯瞰映像生成部４５は、左側方映像１２３と右側方映像１２４との縦方向の中央部を削除することで、表示面積を縮小してもよい。または、俯瞰映像生成部４５は、左側方映像１２３と右側方映像１２４との縦方向の中央部を残し両端部を削除することで、表示面積を縮小してもよい。
　障害物を示す情報の一例として示した、視点変換処理を行わない周辺映像は、周辺映像から障害物の周囲を切出し拡大した映像としてもよい。
　合成処理部４５３は、表示面積を縮小した俯瞰映像１００Ａと、視点変換処理を行わない第二後方映像１０５Ａとを合成し、俯瞰映像１１０Ａを生成するものとして説明したが、表示面積を縮小した俯瞰映像１００Ａと、障害物を示す情報の他の例として、障害物を表すアイコン、障害物の存在と距離とを示す文字などを含む映像を合成し、俯瞰映像を生成してもよい。
　合成処理部４５３は、車両の後方に障害物が検出された場合、通常の俯瞰映像１２０の左側方映像１２３と右側方映像１２４との表示面積を縮小した俯瞰映像を生成するものとして説明したが、前方映像１２１の表示面積を縮小してもよいし、左側方映像１２３と右側方映像１２４と前方映像１２１との表示面積を縮小してもよい。
　合成処理部４５３は、通常の俯瞰映像１２０において左側方映像１２３と右側方映像１２４との表示面積を縮小するものとしたが、カメラからの周辺映像データをに対して表示面積が縮小されるように処理を行った上で縮小処理された周辺映像データに視点変換処理を行って俯瞰映像を生成してもよい。
　制御部４１は、障害物が複数ある場合、優先順位の高い障害物を検出した方向に対応する、カメラからの周辺映像データを合成してもよい。例えば、優先順位は、障害物までの距離が最も小さいものを最も高い優先順位としてもよい。または、例えば、優先順位は、障害物が移動体であるものを最も高い優先順位としてもよい。または、例えば、優先順位は、障害物が移動体で、かつ、車両に近づいてきているものを最も高い優先順位としてもよい。または、例えば、車両の進行方向が定まらない状態で前後方と左右方向との双方に障害物がある場合、前後方の障害物を高い優先順位としてもよい。
　制御部４１は、ステップＳ１３において、例えば、操作部に対する、俯瞰映像表示開始の操作の検出の有無で、俯瞰映像表示を開始するか否かを判定してもよい。
　１　　　俯瞰映像生成システム
　１１　　前方カメラ
　１２　　後方カメラ
　１３　　左側方カメラ
　１４　　右側方カメラ
　２０　　センサ群（障害物センサ）
　３０　　表示パネル（表示部）
　４０　　俯瞰映像生成装置
　４１　　制御部
　４２　　映像データ取得部
　４３　　障害物情報取得部
　４５　　俯瞰映像生成部
　４５１　視点変換処理部
　４５２　切出処理部
　４５３　合成処理部
　４８　　表示制御部
　４９　　記憶部
　１００　俯瞰映像
　２００　自車両アイコン

Claims (11)

  1. 　車両の前後左右を撮影する複数のカメラからの映像を取得する映像データ取得部と、
    　前記車両の周囲の障害物を検出する障害物センサからの情報を取得する障害物情報取得部と、
    　前記映像データ取得部が取得した映像に視点変換処理を行って合成することで前記車両の上方から見たような俯瞰映像を生成し、前記障害物情報取得部が障害物を検出した場合、前記俯瞰映像において、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の表示面積を縮小し、前記障害物を検出した方向に表示範囲を拡張した映像を生成する俯瞰映像生成部と、
    　前記俯瞰映像生成部が生成した映像を表示部に表示させる表示制御部と、
    　を備えることを特徴とする俯瞰映像生成装置。
  2. 　前記俯瞰映像生成部は、前記俯瞰映像における障害物を検出した方向に検出した障害物までの撮影範囲を含むように表示範囲を拡張した映像を合成する、
    　請求項１に記載の俯瞰映像生成装置。
  3. 　前記障害物センサは、障害物を検出していないときの俯瞰映像表示範囲を含む範囲の障害物を検出可能であり、
    　前記俯瞰映像生成部は、前記障害物情報取得部が障害物を検出していないときの俯瞰映像表示範囲に存在する障害物を検出した場合、前記俯瞰映像を障害物を検出した方向とは逆の方向に表示面積を縮小し、前記俯瞰映像における障害物を検出した方向に検出した障害物までの撮影範囲を含むように表示範囲を拡張した映像を合成する、
    　請求項１に記載の俯瞰映像生成装置。
  4. 　前記障害物センサは、障害物を検出していないときの俯瞰映像表示範囲より遠方の障害物を検出可能であり、
    　前記俯瞰映像生成部は、前記障害物情報取得部が障害物を検出していないときの俯瞰映像表示範囲より遠方に存在する障害物を検出した場合、前記俯瞰映像を障害物を検出した方向とは逆の方向に表示面積を縮小し、前記俯瞰映像における障害物を検出した方向に検出した障害物までの撮影範囲を含むように表示範囲を拡張した映像を合成する、
    　請求項１に記載の俯瞰映像生成装置。
  5. 　前記俯瞰映像生成部は、前記障害物情報取得部が障害物を検出した場合、前記俯瞰映像を障害物を検出した方向とは逆の方向に表示面積を縮小し、前記俯瞰映像における障害物を検出した方向に検出した障害物までの撮影範囲を含むように表示範囲を拡張して視点変換処理を行った映像を合成する、
    　請求項１から４のいずれか一項に記載の俯瞰映像生成装置。
  6. 　前記俯瞰映像生成部は、前記障害物情報取得部が障害物を検出した場合、前記俯瞰映像を障害物を検出した方向とは逆の方向に表示面積を縮小し、前記俯瞰映像における障害物を検出した方向に検出した障害物までの撮影範囲を含む視点変換処理を行わない映像を合成することで表示範囲を拡張する、
    　請求項１から４のいずれか一項に記載の俯瞰映像生成装置。
  7. 　前記俯瞰映像生成部は、前記障害物情報取得部が障害物を検出した場合、障害物を検出した方向と直交する方向の映像の表示面積を縮小した俯瞰映像を生成する、
    　請求項１から６のいずれか一項に記載の俯瞰映像生成装置。
  8. 　前記俯瞰映像生成部は、前記障害物情報取得部が障害物を検出した場合、障害物を検出した方向と直交する方向の映像を障害物を検出した方向とは逆の方向にシフトすることで表示面積を縮小した俯瞰映像を生成する、
    　請求項７に記載の俯瞰映像生成装置。
  9. 　請求項１から８のいずれか一項に記載の俯瞰映像生成装置と、
    　前記カメラと、前記障害物センサと、前記表示部との少なくともいずれかと、を備える、
    　俯瞰映像生成システム。
  10. 　車両の前後左右を撮影する複数のカメラからの映像を取得する映像データ取得ステップと、
    　前記車両の周囲の障害物を検出する障害物センサからの情報を取得する障害物情報取得ステップと、
    　前記映像データ取得ステップで取得した映像に視点変換処理を行って合成することで前記車両の上方から見たような俯瞰映像を生成し、前記障害物情報取得ステップで障害物を検出した場合、前記俯瞰映像において、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の表示面積を縮小し、前記障害物を検出した方向に表示範囲を拡張した映像を生成する俯瞰映像生成ステップと、
    　前記俯瞰映像生成ステップで生成した映像を表示部に表示させる表示制御ステップと、
    　を含む俯瞰映像生成方法。
  11. 　車両の前後左右を撮影する複数のカメラからの映像を取得する映像データ取得ステップと、
    　前記車両の周囲の障害物を検出する障害物センサからの情報を取得する障害物情報取得ステップと、
    　前記映像データ取得ステップで取得した映像に視点変換処理を行って合成することで前記車両の上方から見たような俯瞰映像を生成し、前記障害物情報取得ステップで障害物を検出した場合、前記俯瞰映像において、障害物を検出した方向とは異なる方向の少なくともいずれかの方向の映像の表示面積を縮小し、前記障害物を検出した方向に表示範囲を拡張した映像を生成する俯瞰映像生成ステップと、
    　前記俯瞰映像生成ステップで生成した映像を表示部に表示させる表示制御ステップと、
    　を俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。
PCT/JP2017/035836 2016-11-25 2017-10-02 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム Ceased WO2018096792A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/208,654 US10710505B2 (en) 2016-11-25 2018-12-04 Bird's-eye view video generation device, bird's-eye view video generation system, bird's-eye view video generation method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-229019 2016-11-25
JP2016229019A JP6730606B2 (ja) 2016-11-25 2016-11-25 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/208,654 Continuation US10710505B2 (en) 2016-11-25 2018-12-04 Bird's-eye view video generation device, bird's-eye view video generation system, bird's-eye view video generation method, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2018096792A1 true WO2018096792A1 (ja) 2018-05-31

Family

ID=62195059

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/035836 Ceased WO2018096792A1 (ja) 2016-11-25 2017-10-02 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Country Status (3)

Country Link
US (1) US10710505B2 (ja)
JP (1) JP6730606B2 (ja)
WO (1) WO2018096792A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7113348B2 (ja) * 2018-03-15 2022-08-05 パナソニックＩｐマネジメント株式会社 車両周辺表示システム、表示制御装置およびコンピュータプログラム
US11457181B1 (en) * 2021-03-19 2022-09-27 Denso International America, Inc. Vehicle maneuver assist with environment-fixed overhead composite image
US20230286439A1 (en) * 2021-11-03 2023-09-14 Magna Electronics Inc. Vehicular vision system with advanced safety views
TWI831096B (zh) * 2021-12-08 2024-02-01 亞視亨國際企業股份有限公司 模組化車載控制系統
US12601831B2 (en) * 2023-09-07 2026-04-14 Qualcomm Incorporated Radar and camera fusion for vehicle applications

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287792A (ja) * 2005-04-04 2006-10-19 Nissan Motor Co Ltd 俯瞰映像表示装置
JP2007336230A (ja) * 2006-06-15 2007-12-27 Calsonic Kansei Corp 車載周囲死角表示システム
JP2009111946A (ja) * 2007-11-01 2009-05-21 Alpine Electronics Inc 車両周囲画像提供装置
JP2010204821A (ja) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械
JP2011091527A (ja) * 2009-10-21 2011-05-06 Panasonic Corp 映像変換装置及び撮像装置
WO2012053105A1 (ja) * 2010-10-22 2012-04-26 日立建機株式会社 作業機械の周辺監視装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002362184A (ja) * 2001-06-11 2002-12-18 Honda Motor Co Ltd 車両用表示装置
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
US9036026B2 (en) * 2009-06-12 2015-05-19 Magna Electronics Scalable integrated electronic control unit for vehicle
JP5408198B2 (ja) 2011-08-01 2014-02-05 日産自動車株式会社 映像表示装置及び映像表示方法
JP5962927B2 (ja) * 2011-09-30 2016-08-03 パナソニックＩｐマネジメント株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
DE112012004354T5 (de) * 2011-10-18 2014-07-10 Hitachi Construction Machinery Co., Ltd. Vorrichtung zum Überwachen der Umgebung von Maschinerie

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006287792A (ja) * 2005-04-04 2006-10-19 Nissan Motor Co Ltd 俯瞰映像表示装置
JP2007336230A (ja) * 2006-06-15 2007-12-27 Calsonic Kansei Corp 車載周囲死角表示システム
JP2009111946A (ja) * 2007-11-01 2009-05-21 Alpine Electronics Inc 車両周囲画像提供装置
JP2010204821A (ja) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd 周囲監視装置を備えた作業機械
JP2011091527A (ja) * 2009-10-21 2011-05-06 Panasonic Corp 映像変換装置及び撮像装置
WO2012053105A1 (ja) * 2010-10-22 2012-04-26 日立建機株式会社 作業機械の周辺監視装置

Also Published As

Publication number Publication date
JP2018085685A (ja) 2018-05-31
US20190100144A1 (en) 2019-04-04
US10710505B2 (en) 2020-07-14
JP6730606B2 (ja) 2020-07-29

Similar Documents

Publication Publication Date Title
JP5347257B2 (ja) 車両用周辺監視装置および映像表示方法
CN109076195B (zh) 俯瞰影像生成装置、系统、方法以及存储介质
JP6730606B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP7006460B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
CN109314765B (zh) 车辆用显示控制装置、显示系统、显示控制方法以及程序
JPWO2019216087A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
JP6737173B2 (ja) 映像生成装置、映像生成システム、映像生成方法およびプログラム
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US12101580B2 (en) Display control apparatus, display control method, and program
JP5915923B2 (ja) 画像処理装置及び運転支援システム
JP2018148314A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP2019202584A (ja) 画像処理装置および画像処理方法
JP2024007203A (ja) カメラシステムおよびその制御方法、プログラム
JP6730617B2 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP7120274B2 (ja) 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
JP4857159B2 (ja) 車両運転支援装置
JP6555240B2 (ja) 車両用撮影表示装置及び車両用撮影表示プログラム
US10602078B2 (en) Display control device which controls video extraction range
JP2019197953A (ja) 画像出力装置、画像出力システム及び画像出力装置の制御方法
JP7302205B2 (ja) 表示制御装置、表示システム、表示制御方法およびプログラム
JP6730619B2 (ja) 俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム
JP6766433B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
WO2018055873A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP7192907B2 (ja) 俯瞰映像生成装置及び俯瞰映像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17873434

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17873434

Country of ref document: EP

Kind code of ref document: A1