WO2024070202A1 - 表示システム - Google Patents

表示システム Download PDF

Info

Publication number
WO2024070202A1
WO2024070202A1 PCT/JP2023/028192 JP2023028192W WO2024070202A1 WO 2024070202 A1 WO2024070202 A1 WO 2024070202A1 JP 2023028192 W JP2023028192 W JP 2023028192W WO 2024070202 A1 WO2024070202 A1 WO 2024070202A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
unit
display
images
Prior art date
Application number
PCT/JP2023/028192
Other languages
English (en)
French (fr)
Inventor
葛谷 麻未 久保
博基 石塚
和也 海野
貴洋 山田
Original Assignee
株式会社東海理化電機製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東海理化電機製作所 filed Critical 株式会社東海理化電機製作所
Publication of WO2024070202A1 publication Critical patent/WO2024070202A1/ja

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to a display system.
  • Japanese Patent Application Laid-Open Publication No. 2006-279752 discloses a vehicle direct-below image display control device for displaying on a display device an image based on an image taken directly below the bottom of the vehicle.
  • a bird's-eye view image of the surroundings of the vehicle is generated using a rearward image taken by a rear monitoring camera
  • a bird's-eye view image directly below the vehicle is generated using a directly-below image taken by a directly-below monitoring camera.
  • JP 2006-279752 A when generating a bird's-eye view image of the area around the vehicle and a bird's-eye view image directly below the vehicle, a past rearward-view image is synthesized with a current rearward-view image, and a past directly-below image is synthesized with a current directly-below image.
  • a real-time (instantaneous) bird's-eye view image of the area around the vehicle and a bird's-eye view image directly below the vehicle there is concern that it may be difficult to obtain a real-time (instantaneous) bird's-eye view image of the area around the vehicle and a bird's-eye view image directly below the vehicle.
  • the present disclosure provides a display system that can ensure real-time visibility of the surroundings of a moving object and the bottom of the moving object.
  • the display system of the first aspect of the present disclosure comprises a moving body including an ambient capture unit that captures the surroundings of the moving body to obtain an ambient image of the moving body and a lower capture unit that captures the underside of the moving body to obtain an image of the bottom of the moving body, a display device including a display unit, a composite image generation unit included in the moving body or the display device that generates a composite image by combining the ambient image of the moving body captured by the ambient capture unit and the bottom image of the moving body captured by the lower capture unit, and a communication unit included in each of the moving body and the display device that transmits or receives image data.
  • the display system of the second aspect of the present disclosure is the display system of the first aspect, in which the moving body includes the composite image generation unit, the communication unit on the moving body side includes a transmission unit that transmits the composite image generated by the composite image generation unit, and the communication unit on the display device side includes a receiving unit that receives the composite image transmitted from the transmission unit.
  • a composite image is generated in the moving body, and the generated composite image is transmitted to the display device by a transmitting unit.
  • the display device receives the composite image by a receiving unit. Therefore, by combining the moving body surroundings image and the moving body bottom image so that the composite image has a data volume smaller than the total data volume of the moving body surroundings image and the moving body bottom image combined, the amount of data transmitted can be reduced compared to when the moving body surroundings image and the moving body bottom image are transmitted as is.
  • the display system of the third aspect of the present disclosure is the display system of the first aspect, in which the communication unit on the moving body side includes a transmission unit that transmits the moving body surroundings image acquired by the surroundings image capturing unit and the moving body bottom image acquired by the bottom image capturing unit, the communication unit on the display device side includes a receiving unit that receives the moving body surroundings image and the moving body bottom image transmitted from the transmission unit, and the display device includes the composite image generation unit.
  • the moving body transmits an image of the surroundings of the moving body and an image of the bottom of the moving body
  • the display device receives the transmitted image of the surroundings of the moving body and the image of the bottom of the moving body.
  • the display device also generates a composite image by synthesizing the received image of the surroundings of the moving body and the image of the bottom of the moving body. Therefore, since no synthesis process is performed on the moving body side, the display device can receive the image of the surroundings of the moving body and the image of the bottom of the moving body more quickly. This allows images to be displayed on the display unit more quickly, for example, when the display device has a higher processing power than the moving body.
  • the composite image generation unit composites all the adjacent images of the surroundings of the moving body and the bottom image of the moving body by overlapping them with each other.
  • the composite image is composed by overlapping all adjacent images of the surroundings of the moving body and images of the bottom of the moving body, so that the subject is continuously reflected even at the boundaries between adjacent images. Therefore, the composite image contains image information in all directions around the moving body and the bottom of the moving body, so that a continuous, uninterrupted view of the surroundings of the moving body and the bottom of the moving body can be ensured.
  • the composite image generating unit composites the bottom surface image of the moving object by overlapping it with each of the surrounding images of the moving object.
  • the composite image when there is one bottom image of the moving body, the composite image is composed by overlapping the bottom image of the moving body with all surrounding images of the moving body, so that the subject is continuously reflected even at the boundary between the bottom of the moving body and the surroundings of the moving body in the entire horizontal periphery. Therefore, since the composite image contains image information at the boundary between the surroundings of the moving body and the bottom of the moving body, it is possible to ensure a continuous, uninterrupted view at the boundary between the surroundings of the moving body and the bottom of the moving body.
  • the composite image generating unit composites the multiple images of the surroundings of the moving body by overlapping them with at least one of the images of the bottom surface of the moving body.
  • the composite image when there are two images of the bottom surface of the moving body, the composite image is composed by overlapping a plurality of images of the surroundings of the moving body with at least one of the images of the bottom surface of the moving body, so that the subject is continuously reflected at the boundary between the bottom surface of the moving body and the entire horizontal periphery of the moving body. Therefore, since the composite image contains image information at the boundary between the surroundings of the moving body and the bottom surface of the moving body and the entire horizontal periphery of the moving body, a continuous, uninterrupted view can be ensured at the boundary between the surroundings of the moving body and the bottom surface of the moving body.
  • the composite image generating unit overlaps and composites adjacent images of the bottom surface of the moving object.
  • the composite image when there are multiple images of the bottom surface of the moving body, the composite image is composed by overlapping adjacent images of the bottom surface of the moving body, so that the subject is continuously reflected at the boundary between adjacent images of the bottom surface of the moving body on the bottom surface of the moving body. Therefore, the composite image contains image information in all directions of the bottom surface of the moving body, so that a continuous, uninterrupted view of the bottom surface of the moving body can be ensured.
  • the display system of the eighth aspect of the present disclosure is a display system of any one of the first to seventh aspects, in which the display device includes a display image generating unit that generates a display image to be displayed on the display unit from the composite image received by the receiving unit.
  • the display device includes a display image generating unit that generates a display image to be displayed on the display unit from the composite image received by the receiving unit. Therefore, on the display device side, the display image generating unit can generate a display image to be displayed on the display unit from the composite image, so that a display image can be displayed on the display unit from a viewpoint or display mode desired by the operator of the display device.
  • a display system is a display system according to any one of the first to eighth aspects, in which the image of the surroundings of the moving object and the image of the bottom surface of the moving object include a part of the moving object.
  • the image of the surroundings of the moving object and the image of the bottom surface of the moving object include a portion of the moving object, so that blind spots around the moving object and at the bottom surface of the moving object can be prevented from occurring in the composite image.
  • the display system disclosed herein has the excellent effect of ensuring real-time visibility around the moving object and the bottom of the moving object.
  • FIG. 1 is a block diagram showing a schematic configuration of a display system according to a first embodiment of the present disclosure.
  • FIG. 2 is a top view showing the positions at which cameras for capturing images of the surroundings of the vehicle are disposed.
  • FIG. 2 is a diagram showing an example of a vehicle surroundings image captured by a camera.
  • FIG. 4 is a left side view showing the position where a camera for photographing the underside of the vehicle is disposed.
  • FIG. 11 is an explanatory diagram for explaining a method of combining images.
  • FIG. 11 is an explanatory diagram for explaining an equirectangular composite image.
  • FIG. 1 is an explanatory diagram for explaining conversion from an equirectangular format to a spherical format in a celestial sphere image.
  • FIG. 1 is an explanatory diagram for explaining conversion from an equirectangular format to a spherical format in a celestial sphere image.
  • FIG. 1 is an explanatory diagram for
  • FIG. 4 is a diagram showing an example of a display image displayed on a display unit.
  • FIG. 4 is a diagram showing an example of a display image displayed on a display unit.
  • FIG. 4 is a diagram showing an example of a display image displayed on a display unit.
  • FIG. 4 is a diagram showing an example of a display image displayed on a display unit.
  • FIG. 4 is a diagram showing an example of a display image displayed on a display unit.
  • FIG. 4 is a diagram showing an example of a display image displayed on a display unit.
  • 10 is an explanatory diagram for explaining a method of synthesizing a vehicle surroundings image and two vehicle bottom images.
  • FIG. FIG. 11 is a block diagram showing a schematic configuration of a display system according to a second embodiment of the present disclosure.
  • FIG. 11 is a block diagram showing a schematic configuration of a display system according to a second embodiment of the present disclosure.
  • FIG. 2 is a diagram showing a hardware configuration of an image processing ECU 24 (and 24-2) as an image processing device according to the present disclosure.
  • 2 is a diagram showing a hardware configuration of a display control ECU 34 (and 34-2) as a display control device according to the present disclosure.
  • the display system 10 according to the first embodiment of the present disclosure will be described with reference to Figures 1 to 13. Note that in the following description, when the front-rear, left-right, top-bottom directions are mentioned, they refer to the front-rear, left-right, top-bottom directions of the vehicle.
  • FIG. 1 is a block diagram showing a schematic configuration of a display system 10 according to a first embodiment of the present disclosure.
  • the display system 10 according to this embodiment includes a vehicle 20 as a moving body, and a display device 30 mounted on the vehicle 20.
  • the vehicle 20 is configured to be switchable between manual driving and automatic driving, and is provided with a known driving assistance function or the like that assists the occupant in driving the vehicle 20 when the occupant manually drives the vehicle 20.
  • the vehicle 20 is equipped with a surroundings capture unit 22, a lower camera 23 as a lower capture unit, an image processing ECU 24 as an image processing device including a communication unit 28, and a vehicle control device 26.
  • the surroundings capture unit 22 in this embodiment is equipped with eight cameras: a front camera 22A, a right front camera 22B, a right side camera 22C, a right rear camera 22D, a rear camera 22E, a left rear camera 22F, a left side camera 22G, and a left front camera 22H.
  • each of the eight cameras 22A-22H and the lower camera 23 uses a circular fisheye lens with an angle of view greater than 180 degrees.
  • Images captured by a circular fisheye lens are fisheye images, characterized in that subjects near the center of the capture range appear large and subjects on the periphery of the capture range appear small, with the capture range being represented by a circular image.
  • the "captured image” may be a still image or a video.
  • FIG. 2 is a top view showing the positions of the eight cameras 22A-22H that capture the surroundings of the vehicle 20, and FIG. 3 is a diagram showing an example of vehicle surroundings images P1-P8 captured by the eight cameras 22A-22H as moving body surroundings images.
  • the front camera 22A is mounted on the front of the vehicle 20, and the vehicle surroundings image P1 captured by the front camera 22A reflects the front of the vehicle 20.
  • the right front camera 22B is mounted on the right front of the vehicle 20, and the vehicle surroundings image P2 captured by the right front camera 22B reflects the right front of the vehicle 20.
  • the right side camera 22C is mounted on the mirror on the right side of the vehicle 20, and the vehicle surroundings image P3 captured by the right side camera 22C reflects the right side of the vehicle 20.
  • the right rear camera 22D is mounted on the right rear of the vehicle 20, and the vehicle surroundings image P4 captured by the right rear camera 22D reflects the right rear of the vehicle 20.
  • the rear camera 22E is mounted on the rear of the vehicle 20, and the vehicle surroundings image P5 captured by the rear camera 22E reflects the rear of the vehicle 20.
  • the left rear camera 22F is mounted on the left rear of the vehicle 20, and the vehicle surroundings image P6 captured by the left rear camera 22F reflects the left rear of the vehicle 20.
  • the left side camera 22G is mounted on the mirror on the left side of the vehicle 20, and the vehicle surroundings image P7 captured by the left side camera 22G reflects the left side of the vehicle 20.
  • the left front camera 22H is mounted on the left front of the vehicle 20, and the vehicle surroundings image P8 captured by the left front camera 22H reflects the left front of the vehicle 20.
  • the shooting ranges of the eight cameras 22A-22H of the surroundings shooting unit 22 are set so that there is an overlapping area where the shooting areas of the adjacent cameras overlap. That is, the vehicle surroundings image P1 includes a subject that is common to the vehicle surroundings image P2 at the right end, and a subject that is common to the vehicle surroundings image P8 at the left end.
  • vehicle surroundings images P2 to P8 each include a subject that is common to the adjacent vehicle surroundings images at the left and right ends. Also, a portion of the vehicle 20 is reflected in the captured images P1 to P8.
  • the surroundings capture unit 22 configured as described above captures the entire surroundings (all directions) S of the vehicle 20 in the horizontal direction.
  • FIG. 4 is a left side view showing the position where the lower camera 23, which captures the underside of the vehicle 20, is positioned.
  • the lower camera 23 is mounted on the underside of the front of the vehicle 20, and the vehicle bottom image P9 (not shown) captured by the lower camera 23 as an image of the bottom of the moving body reflects the bottom surface 20A of the vehicle 20 and the ground G (including the road, etc.) on which the vehicle 20 is located.
  • a subject that is common to the vehicle bottom image P9 is reflected in the lower end of each of the vehicle surroundings images P1 to P8.
  • a subject that is common to any of the vehicle surroundings images P1 to P8 is reflected in the peripheral portion of the vehicle bottom image P9.
  • the image processing ECU 24 is mounted on the vehicle 20 as an image processing device.
  • the image processing ECU 24 is configured to include a CPU (Central Processing Unit) 60, a ROM (Read Only Memory) 61, a RAM (Random Access Memory) 62, a storage 63, a communication interface (abbreviated as "communication I/F” in FIG. 16), etc., and each component is connected to be able to communicate with each other via a bus 65.
  • the CPU 60 reads a program from the ROM 61 or the storage 63, and executes the program using the RAM 62 as a working area.
  • the communication interface 64 functions as the communication unit 28 in response to a command from the CPU 60, and is an interface for communicating with an external device via a wired or wireless connection such as the bus 65.
  • a communication module located outside the image processing ECU 24 can also be used.
  • the image processing ECU 24 has an image acquisition unit 24A and a composite image generation unit 24B as its functional components, and the image acquisition unit 24A and the composite image generation unit 24B are executed by the CPU 60 as a processor reading a program from the ROM 61 as a memory or the storage 63 as a memory, and executing the program using the RAM 62 as a working area.
  • the image acquisition unit 24A acquires image data representing eight vehicle surrounding images P1-P8 captured by the eight cameras 22A-22H of the surroundings capture unit 22, and the vehicle bottom image P9 captured by the lower camera 23.
  • one captured image is composed of approximately 2 million pixels. The number of pixels of the captured image can be changed as appropriate depending on the performance of the camera used, etc.
  • the composite image generating unit 24B generates a composite image CP by combining the eight vehicle surroundings images P1 to P8, each represented by the image data acquired by the image acquiring unit 24A, with the vehicle bottom image P9.
  • the composite image CP is a celestial sphere image that represents all directions that can be seen from the vehicle 20, which is the shooting point, that is, the entire surroundings (all directions) of the vehicle.
  • the composite image generator 24B prestores information necessary to convert the eight vehicle surroundings images P1 to P8 captured by the eight cameras 22A to 22H and the vehicle bottom image P9 captured by the lower camera 23 into a 360° image.
  • This information includes position information indicating the physical positional relationship of the circular fisheye lenses of the nine cameras 22A to 22H and the lower camera 23, projection information indicating the relationship between the image heights of the vehicle surroundings images P1 to P8 and the vehicle bottom image P9 and the angle of incidence of the circular fisheye lens, information indicating the shooting directions of the eight cameras 22A to 22H and the lower camera 23, and information indicating the characteristics of the circular fisheye lens. This information is derived in advance by calibration.
  • the composite image generating unit 24B performs projection transformation using known technology based on the necessary information described above from the eight fisheye images of the vehicle surroundings P1 to P8 and the vehicle bottom image P9 to generate a composite image CP.
  • the overlapping portions described above are overlapped.
  • the overlapping portion between vehicle surroundings image P6 and vehicle surroundings image P5 is indicated by a first shaded area OV1
  • the overlapping portion between vehicle surroundings image P6 and vehicle surroundings image P7 is indicated by a second shaded area OV2.
  • the composite image generating unit 24B overlaps this overlapping portion on a pixel-by-pixel basis to composite the vehicle surroundings images P1 to P8. Note that known techniques can be used as the overlapping method.
  • the vehicle bottom image P9 is composited with the composite vehicle surroundings images P1 to P8.
  • the peripheral portion of the vehicle bottom image P9 contains a subject that is common to each of the vehicle surroundings images P1 to P8, and the area in which this common subject is reflected is the overlapping portion where adjacent shooting areas overlap.
  • the overlapping portion between the vehicle surroundings image P6 and the vehicle bottom image P9 is indicated by the third area OV3, which is indicated by diagonal lines.
  • the composite image generation unit 24B composites the vehicle bottom image P9 below the vehicle surroundings images P1 to P8 by overlapping this overlapping portion on a pixel-by-pixel basis. Note that known techniques can be used for the overlapping method.
  • Figure 6 is an explanatory diagram for explaining an equirectangular (equirectangular projection) composite image.
  • an equirectangular composite image is an image with a vertical to horizontal ratio of 1:2.
  • the equirectangular format is a format in which a rectangular composite image with a vertical to horizontal ratio of 1:2 is pasted onto a spherical screen, and when the composite image is viewed from the center, 360 degrees is seen correctly.
  • the composite image generating unit 24B generates an equirectangular composite image CP, that is, a composite image CP with a vertical to horizontal ratio of 1:2.
  • the equirectangular composite image CP is a spherical image in a flat state.
  • the composite image CP is composed of image data of 3840 x 1920 pixels, that is, approximately 7.4 million pixels.
  • the number of pixels of the composite image CP can be changed as appropriate according to the performance of the display unit 32 of the display device 30, which will be described later.
  • a celestial sphere image is an image expressed in a coordinate system including angular coordinates around a specific axis, and is expressed as an array of pixel values whose coordinates are the vertical angle ⁇ made with respect to the axis in the pitch direction and the horizontal angle ⁇ corresponding to the angle of rotation around the axis in the yaw direction, with the radius being a constant n (for example, 1).
  • the vertical angle ⁇ is in the range of -90 degrees to +90 degrees (or 0 degrees to 180 degrees)
  • the horizontal angle ⁇ is in the range of -180 degrees to +180 degrees (or 0 degrees to 360 degrees).
  • the composite image generating unit 24B determines that the lateral direction of the composite image CP represents the entire horizontal periphery of the vehicle 20, i.e., 360 degrees, and therefore coincides with the lateral direction of the composite vehicle surroundings images P1 to P8.
  • the vehicle bottom image P9 is composited with the lower end of the composite vehicle surroundings images P1 to P8, and the lower end of the vehicle bottom image P9 coincides with the lower end of the composite image CP.
  • the area directly above the vehicle 20 is not reflected in the vehicle surroundings images P1 to P8. Therefore, the angle of view of the upper side of the vehicle surroundings images P1 to P8 is read from pre-stored information, and the coordinate position of the upper end of the composite vehicle surroundings images P1 to P8 is determined according to the read angle of view.
  • the coordinates corresponding to the area directly above the vehicle 20 that is not photographed by the cameras 22A-22H are shown as blanks with uniform pixel values as shown in FIG. 6.
  • they are shown with pixel values representing black, and this black area is called the blank image BP.
  • the composite image generation unit 24B generates the composite image CP.
  • the vehicle control device 26 is a device that controls the automatic driving of the vehicle 20 based on information detected by various sensors (not shown) mounted on the vehicle 20, as well as vehicle surroundings images P1 to P8 captured by the surroundings capture unit 22 and the vehicle bottom image P9 captured by the lower camera 23.
  • the vehicle control device 26 can use known technology.
  • the vehicle control device 26 is configured to be able to set various modes, such as, for example, a normal driving mode, an abnormal driving mode, and a recovery driving mode.
  • the vehicle control device 26 automatically selects one of the above modes based on the information detected by the above-mentioned sensors, as well as the vehicle surroundings images P1 to P8 and the vehicle bottom image P9, and drives the vehicle 20.
  • the vehicle control device 26 selects the normal driving mode when normal, and selects the abnormal driving mode when, for example, an object determined to be abnormal is detected by notification information from the autonomous driving system or sensing by the above-mentioned sensors. Specifically, when the abnormal driving mode is selected by the vehicle control device 26, the vehicle 20 is stopped.
  • the recovery driving mode is selected by the vehicle control device 26 when the vehicle 20 starts driving after being stopped. Specifically, the vehicle control device 26 confirms that there are no abnormalities in the vehicle 20 through sensing by the automatic driving system or the above-mentioned sensors, or transmits a signal via the display device 30 to notify the occupants of an abnormal state.
  • the vehicle control device 26 transmits the driving status of the vehicle 20, i.e., the currently selected mode, to the display device 30 via the communication unit 28.
  • the communication unit 28 is an interface for communicating with external devices, and also functions as a transmission unit that transmits the composite image CP generated by the composite image generation unit 24B.
  • the communication unit 28 also functions as a transmission unit that transmits the driving status of the vehicle 20, i.e., the currently selected mode.
  • the display device 30 includes a display unit 32, a display control ECU 34 as a display control device including a communication unit 36, and a recording unit 38.
  • the display unit 32 is, as an example, installed in a position visible to the occupants in the passenger compartment of the vehicle 20.
  • the display unit 32 displays the display image HP generated based on the composite image CP received from the vehicle 20. Note that the composite image CP can also be displayed as is.
  • the display unit 32 has the capability to display, as an example, images corresponding to 4K resolution, but the capability of the display unit is not limited to this and may have the capability to display images with a lower resolution than 4K or a higher resolution than 4K, and can be changed as appropriate.
  • the communication unit 36 is an interface for communicating with an external device, and also functions as a receiving unit for receiving the composite image CP transmitted from the communication unit 28 of the vehicle 20.
  • the communication unit 28 of the vehicle 20 and the communication unit 36 of the display device 30 may communicate with each other via a wired cable (not shown) wired inside the passenger compartment of the vehicle 20, or may communicate with each other via a network.
  • the network is composed of a short-range wireless communication module such as WiFi (registered trademark) or Bluetooth (registered trademark), or a mobile line that is a wide-area wireless communication module such as 4G, LTE, or 5G.
  • the recording unit 38 is a non-volatile memory such as a flash memory, and records the composite image CP received by the communication unit 36. It also records various data such as the running state, vehicle speed, and steering angle of the vehicle 20 transmitted from the communication unit 28 of the vehicle 20.
  • the display control ECU 34 which serves as a display control device, is a device that displays images, information, etc. on the display unit 32, and is configured to include a CPU (Central Processing Unit) 70, a ROM (Read Only Memory) 71, a RAM (Random Access Memory) 72, a storage 73, and a communication interface (abbreviated as "communication I/F" in FIG. 17) 74, as shown in FIG. 17.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • storage 73 a storage 73
  • communication interface abbreviated as "communication I/F" in FIG. 17
  • Each component is connected to each other so that they can communicate with each other via a bus 75.
  • the CPU 70 reads a program from the ROM 71 or the storage 73, and executes the program using the RAM 72 as a working area.
  • the communication interface 74 functions as the communication unit 36 in response to a command from the CPU 70, and is an interface for communicating with an external device via a wired or wireless connection such as the bus 75.
  • a communication module arranged outside the display control ECU 34 can also be used.
  • the display control ECU 34 has a composite image acquisition unit 34A and a display image generation unit 34B as its functional components, and the composite image acquisition unit 34A and the display image generation unit 34B are executed by the CPU 70 as a processor reading a program from the ROM 71 as a memory or the storage 73 as a memory, and executing the program using the RAM 72 as a working area.
  • the composite image acquisition unit 34A acquires the composite image CP received by the communication unit 36 and stores it in the recording unit 38.
  • the display image generating unit 34B generates the display image HP to be displayed on the display unit 32 of the display device 30. Specifically, the display image generating unit 34B generates the display image HP based on the composite image CP.
  • FIG. 7 is an explanatory diagram for explaining conversion from equirectangular to spherical format in a spherical image.
  • the display image generating unit 34B converts a point Pe( ⁇ , ⁇ ) on the composite image CP shown in the left diagram of FIG. 7 into a point Ps(xs, ys, zs) on a unit sphere shown in the right diagram of FIG. 7.
  • ⁇ represents longitude
  • ⁇ represents latitude.
  • the display image generating unit 34B converts the planar omnidirectional image into a spherical omnidirectional image using the above conversion equations (1) to (3).
  • the display image generating unit 34B generates a display image HP in a display mode desired by the occupant viewing the display unit 32, based on the composite image CP and the spherical composite image RP that represents the converted spherical omnidirectional image.
  • the equirectangular planar composite image CP contains information on all directions as seen from the origin, it is also possible to generate a composite image of any shape other than a sphere, such as a cylinder viewed from above, based on this composite image CP.
  • the display image generating unit 34B can also use the composite image CP as the display image HP as is.
  • FIGS. 8 to 13 are diagrams showing an example of the display image HP displayed on the display unit 32 of the display device 30.
  • the display control ECU 34 displays the display image HP on the display unit 32.
  • the display image generating unit 34B generates a display image HP1, which is a 360-degree bird's-eye view image generated from a viewpoint looking down on the vehicle 20 in a composite image RP that represents a spherical omnidirectional image.
  • a display image HP1 which is a 360-degree bird's-eye view image generated from a viewpoint looking down on the vehicle 20 in a composite image RP that represents a spherical omnidirectional image.
  • the image GP representing the underside of the body of the vehicle 20 is represented as a substantially rectangular area made up of the same color, but in reality, an actual image representing the underside of the body of the vehicle 20 is represented.
  • the display image generating unit 34B may also superimpose an image A1 (see FIG. 9) that simulates the vehicle 20 on the display image HP1 to synthesize it.
  • the image A1 is made a transparent image so that the area in the display image HP1 where the image A1 is superimposed, i.e., the image GP, can also be viewed.
  • the generated display image HP1 is displayed on the display unit 32 by the display control ECU 34.
  • the display control ECU 34 may superimpose an image A2, which is movable in a clockwise rotation direction indicated by an arrow M1 or a counterclockwise rotation direction indicated by an arrow M2, on a display image HP1 including an image A1 displayed on the display unit 32, and synthesize the image on the display image HP1.
  • Image A2 may have a shape in which an arc on the circumference of the display image HP1 and an inner arc formed with a smaller radius than the arc are joined at both ends.
  • the range on the display image HP1 where this image A2 overlaps is the area in the direction that the occupant wants to see.
  • the occupant can change the direction that he or she wants to see by moving this image A2 in the clockwise or counterclockwise rotational direction.
  • the display image generating unit 34B generates a display image HP2 that is cropped in the direction that the occupant wants to see, that is, from the occupant's desired free viewpoint.
  • the display image HP2 shown in FIG. 10 is an image seen from the vehicle 20 looking forward.
  • the generated display image HP2 is displayed on the display unit 32 by the display control ECU 34.
  • the composite image generating unit 24B when the composite image generating unit 24B acquires information that an occupant wishes to view the vehicle 20 from diagonally above and behind by operating a touch panel (not shown) or the like, the composite image generating unit 24B generates a display image HP4, which is an overhead image of the vehicle 20 viewed from diagonally above and behind, based on the composite image RP, as shown in FIG. 11.
  • the display image generating unit 34B superimposes an image A3 representing the vehicle 20 on the display image HP4.
  • This image A3 can be an image that simulates the vehicle 20, similar to the display image HP1 shown in FIG. 9.
  • this information i.e., position information and size information of the two people walking, is transmitted by the communication unit 28 on the vehicle 20 side to the display device 30, and is received by the communication unit 36 on the display device 30 side.
  • the display image generating unit 34B uses known technology to identify the range in which the two people are reflected from the composite image CP based on the information received by the communication unit 36 of the display device 30, and generates a display image HP4 cropped at an angle of view in which the two people 52 are reflected, as shown in FIG. 12.
  • the display image HP4 shows an image as seen forward from the vehicle 20.
  • the display image generating unit 34B superimposes image A4, which shows an arrow indicating, as an example, the direction in which the two people are located as viewed from the vehicle 20, onto the display image HP4 and synthesizes it.
  • the generated display image HP4 including image A4 is displayed on the display unit 32 by the display control ECU 34.
  • image HP5 which is a 360-degree overhead image generated from a viewpoint looking down on the vehicle 20 in the composite image RP representing the entire celestial sphere of a sphere
  • image A5 which shows, as an example, the direction in which the two people are located relative to the vehicle 20 with an x mark, is superimposed on the display image HP5.
  • image A5 is configured in such a way that it is emphasized compared to other image areas.
  • the display image HP5 shown in FIG. 13 like the display image HP1 shown in FIG. 9, the image showing the underside of the body of the vehicle 20 is displayed in black, but in reality, an actual image showing the underside of the body of the vehicle 20 is displayed. Also, an image A1 simulating the vehicle 20 may be superimposed on the display image HP1 for synthesis. Also, in the display image HP5, the 360-degree overhead image around the image A1 is displayed in white, but in reality, it is configured in the same way as the display image HP1 shown in FIG. 8. The display image HP5 including the generated images A1 and A5 is displayed on the display unit 32 by the display control ECU 34.
  • the display image generating unit 34B generates the display image HP according to the driving conditions of the vehicle 20 transmitted from the vehicle control device 26, i.e., the currently selected mode. Specifically, when the vehicle 20 is in the normal driving mode, the display image generating unit 34B generates the display image HP1 shown in FIG. 9, and the display control ECU 34 displays the generated display image HP1 on the display unit 32. Thereafter, the display image generating unit 34B generates the display image HP2 shown in FIG. 10 or the display image HP3 shown in FIG. 11 in response to the movement operation of the image A2 by the occupant as described above, and the display control ECU 34 displays the generated display image HP on the display unit 32.
  • the display image generating unit 34B when the vehicle 20 is in the abnormal driving mode, the display image generating unit 34B generates a display image HP4 including the generated image A4 shown in FIG. 12, or a display image HP5 including the generated images A1 and A5 shown in FIG. 13, based on notification information from the autonomous driving system in the vehicle control device 26 on the vehicle 20 side and information detected by sensing using a sensor (not shown) mounted on the vehicle 20, as described above, and the display control ECU 34 displays the generated display image on the display unit 32.
  • the display image generating unit 34B when the vehicle 20 is in the return driving mode, the display image generating unit 34B generates the display image HP1 shown in FIG. 9 in which the underside of the vehicle body of the vehicle 20 is visible, and the display control ECU 34 displays the generated display image HP1 on the display unit 32. After that, the display image generating unit 34B generates the display image HP2 shown in FIG. 10 or the display image HP3 shown in FIG. 11 in response to the movement operation of the image A2 by the occupant as described above, and the display control ECU 34 displays the generated display image HP on the display unit 32.
  • the composite image generating unit 24B included in the vehicle 20 generates a composite image CP by combining the vehicle surroundings images P1 to P8 and the vehicle bottom image P9. Therefore, the composite image CP received by the communication unit 36, which functions as a receiving unit of the display device 30, includes the vehicle surroundings images P1 to P8 acquired in real time by the surroundings capturing unit 22 and the vehicle bottom image P9 acquired in real time by the lower camera 23, so that a real-time view of the vehicle surroundings and the vehicle bottom can be ensured.
  • the composite image CP is generated in the vehicle 20, and the generated composite image CP is transmitted to the display device 30 by the communication unit 28 functioning as a transmitter. Furthermore, the display device 30 receives the composite image CP by the communication unit 36 functioning as a receiver. Therefore, by combining the vehicle surroundings images P1 to P8 and the vehicle bottom image P9 so that the data amount in the composite image CP is smaller than the total data amount of the vehicle surroundings images P1 to P8 and the vehicle bottom image P9 combined, the amount of data transmitted can be reduced compared to when the vehicle surroundings images P1 to P8 and the vehicle bottom image P9 are transmitted and received as is.
  • the composite image CP is composed by overlapping all adjacent vehicle surroundings images P1 to P8 (vehicle surroundings images P1 to P8) and vehicle bottom image P9 (vehicle bottom image P9), so that the subject is continuously reflected even at the boundaries between adjacent images. Therefore, the composite image CP contains image information in all directions around the vehicle and the bottom of the vehicle, so that a continuous, uninterrupted view of the vehicle surroundings and the bottom of the vehicle can be ensured.
  • the composite image CP when there is one vehicle bottom image P9, the composite image CP is composed by overlapping the vehicle bottom image P9 (vehicle bottom image P9) with all of the vehicle surroundings images P1 to P8 (vehicle surroundings images P1 to P8), so that the subject is continuously reflected even at the boundary between the vehicle bottom and the entire horizontal perimeter of the vehicle. Therefore, since the composite image CP contains image information at the boundary between the vehicle surroundings and the vehicle bottom, it is possible to ensure a continuous, uninterrupted view at the boundary between the vehicle surroundings and the vehicle bottom.
  • the display device 30 includes a display unit 32 and a display image generating unit 34B that generates a display image HP to be displayed on the display unit 32 from a composite image CP received by a communication unit 36 that functions as a receiving unit. Therefore, on the display device 30 side, the display image HP to be displayed on the display unit 32 can be generated from the composite image CP by the display image generating unit 34B, so that the display image HP can be displayed on the display unit 32 from the viewpoint and display mode desired by the occupant who is the operator of the display device 30.
  • the vehicle surroundings images P1 to P8 and the vehicle bottom image P9 include a portion of the vehicle 20, so blind spots around and at the bottom of the vehicle 20 can be prevented from occurring in the composite image CP.
  • the display device 30 is provided in the vehicle 20, so that real-time visibility of the surroundings of the vehicle and the underside of the vehicle can be ensured on the vehicle 20 side.
  • the composite image CP is a omnidirectional image, so that the composite image CP reflects 360 degrees in the horizontal and vertical directions of the vehicle 20, i.e., all directions centered on the vehicle 20.
  • the shooting directions of each camera are associated in the composite image CP. Therefore, when the occupant monitors the vehicle 20 on the display unit 32, it is possible to prevent blind spots from occurring around the vehicle 20.
  • the vehicle 20 includes a lower camera 23 for the lower side, the shooting range of which is set so that the underside of the body of the vehicle 20 becomes the shooting area, and the composite image generating unit 24B also synthesizes the vehicle bottom image P9 acquired by the lower camera 23 into the composite image CP. Therefore, a monitor can check the surroundings of the vehicle 20, including the underside of the body, based on the composite image CP through remote monitoring, and the temporarily stopped vehicle 20 can be safely returned (restarted).
  • the display image generating unit 34B generates a display image HP that matches the mode set in the vehicle 20, so that a display image HP that matches the situation of the vehicle 20 can be displayed on the display unit 32.
  • a 360-degree overhead image generated from a viewpoint looking down on the vehicle 20 is displayed in a composite image RP representing a spherical panoramic image, such as display image HP1 shown in FIG. 9.
  • a composite image RP representing a spherical panoramic image such as display image HP1 shown in FIG. 9.
  • display image HP2 shown in FIG. 10 or display image HP3 shown in FIG. 11 is displayed on the display unit 32 as an image seen from a viewpoint corresponding to this movement operation. This allows the occupant to view the image seen from the desired viewpoint.
  • the vehicle 20 when the vehicle 20 is in abnormal driving mode, for example, as in the display images HP4 and HP5 shown in FIG. 12 or FIG. 13, if the subject determined to be abnormal is two people 52, the direction in which the two people 52 are located relative to the vehicle 20 is presented by image A4 indicated by an arrow or image A5 indicated by a cross. This allows the occupants to visually confirm in which direction the abnormality is occurring relative to the vehicle 20.
  • the vehicle 20 when the vehicle 20 is in, for example, the recovery driving mode, an image is displayed in which the underside of the vehicle body of the vehicle 20 is visible, as in the display image HP1 shown in FIG. 9. Therefore, when recovering (restarting) the vehicle 20 that has been stopped in the abnormality driving mode, the occupant can also check the underside of the vehicle body of the vehicle 20, and can safely restart the vehicle 20.
  • the composite image CP has a vertical to horizontal ratio of 1:2, so the composite image CP can be constructed in equirectangular format, i.e., equirectangular projection.
  • Modification 14 is an explanatory diagram for explaining a method of synthesizing vehicle surroundings images P1 to P8 as moving object surroundings images and two vehicle bottom images P9 and P10 as moving object bottom images.
  • a lower camera 23 is installed at the front and rear of the vehicle 20, and the vehicle bottom image P9 and the vehicle bottom image P10 are acquired by these two lower cameras 23. Note that a common subject is reflected in each of the two acquired vehicle bottom images P9 and P10.
  • the area in which the common subject is reflected in the two vehicle bottom images P9, P10 is the overlapping area where adjacent shooting areas overlap.
  • the overlapping area of the two vehicle bottom images P9, P10 is indicated by the fourth area OV4 indicated by diagonal lines. That is, the vehicle bottom image P10 is located on both the left and right sides of the vehicle bottom image P9, and each has an overlapping area.
  • the composite image generation unit 24B composites the two vehicle bottom images P9, P10 by overlapping this overlapping area on a pixel-by-pixel basis. Note that known techniques can be used as the overlapping method. Note that when three or more vehicle bottom images are acquired, the same process is used to composite the three or more vehicle bottom images by overlapping the overlapping areas of adjacent vehicle bottom images on a pixel-by-pixel basis.
  • the two vehicle bottom images P9, P10 are further synthesized with the synthesized vehicle surroundings images P1-P8 to generate a single synthesized image CP.
  • the synthesized vehicle surroundings images P1-P8 are synthesized by overlapping with at least one of the vehicle bottom images P9, P10. Note that in the area including the fourth area OV4 shown in FIG. 14, the synthesized vehicle surroundings images P1-P8 are synthesized by overlapping with both vehicle bottom images P9, P10.
  • the composite image CP when there are two vehicle bottom images P9, the composite image CP is composed by overlapping multiple vehicle surroundings images P1 to P8 with at least one of the vehicle bottom images P9, P10, so that the subject is continuously reflected at the boundary between the vehicle bottom and the entire horizontal perimeter of the vehicle. Therefore, the composite image CP contains image information at the boundary between the vehicle surroundings and the vehicle bottom in the entire horizontal perimeter, so that a continuous, uninterrupted view can be ensured at the boundary between the vehicle surroundings and the vehicle bottom.
  • the composite image CP when there are multiple vehicle bottom images P9, the composite image CP is composed by overlapping adjacent vehicle bottom images, so that the subject is continuously reflected at the boundary between adjacent vehicle bottom images on the vehicle bottom. Therefore, the composite image CP contains image information in all directions of the vehicle bottom, so the vehicle bottom images can be viewed continuously without interruption.
  • FIG. 15 is a block diagram showing a schematic configuration of a display system 10-2 according to a second embodiment of the present disclosure. Note that in this embodiment, parts similar to those in the configuration of the first embodiment shown in FIG. 1 are indicated by the same reference numerals and detailed description will be omitted.
  • the hardware configuration of the image processing ECU 24-2 is similar to the hardware configuration of the image processing ECU 24, it is shown in FIG. 16 and description will be omitted.
  • the hardware configuration of the display control ECU 34-2 is also similar to the hardware configuration of the image processing ECU 34, it is shown in FIG. 17 and description will be omitted.
  • the image processing ECU 24-2 of the vehicle 20-2 does not have a composite image generation unit 24B, and the display control ECU 34-2 of the display device 30-2 has a composite image generation unit 34D.
  • the generation of the composite image CP is performed on the display device 30-2 side, not on the vehicle 20-2 side. Therefore, the communication unit 28-2 of the vehicle 20-2 functions as a transmitter that transmits the vehicle surroundings images P1 to P8 as the moving object surroundings images and the vehicle bottom image P9 as the moving object bottom image.
  • the communication unit 36-2 of the display device 30-2 functions as a receiver that receives the vehicle surroundings images P1 to P8 and the vehicle bottom image P9.
  • the display control ECU 34-2 has an image acquisition unit 34C instead of the composite image acquisition unit 34A of the above embodiment.
  • the image acquisition unit 34C acquires the vehicle surrounding images P1 to P8 and the vehicle bottom image P9 received by the communication unit 36-2, and stores them in the recording unit 38.
  • the composite image generating unit 34D included in the display device 30-2 generates a composite image CP by combining the vehicle surroundings images P1 to P8 and the vehicle bottom image P9.
  • the display image generating unit 34B generates a display image HP based on the composite image CP generated by the composite image generating unit 34D. Therefore, the display image HP displayed on the display unit 32 includes the vehicle surroundings images P1 to P8 acquired in real time by the surroundings capturing unit 22 and the vehicle bottom image P9 acquired in real time by the lower camera 23, so that a real-time view of the vehicle surroundings and the vehicle bottom can be ensured.
  • the vehicle 20-2 transmits the vehicle surroundings images P1 to P8 and the vehicle bottom image P9
  • the display device 30-2 receives the transmitted vehicle surroundings images P1 to P8 and the vehicle bottom image P9.
  • the display device 30-2 also generates a composite image CP by synthesizing the received vehicle surroundings images P1 to P8 and the vehicle bottom image P9. Therefore, since no synthesis process is performed on the vehicle 20-2 side, the display device 30-2 can receive the vehicle surroundings images P1 to P8 and the vehicle bottom image P9 correspondingly faster.
  • the display image HP can be displayed on the display unit 32 more quickly.
  • the cameras 22A to 22H and the lower camera 23 constituting the surrounding image capturing unit 22 each use a circular fisheye lens having an angle of view greater than 180 degrees, but the present disclosure is not limited to this.
  • the image capturing range can be set so that an overlapping portion is formed where adjacent image capturing areas overlap
  • the image capturing angle may be, for example, a circular fisheye lens having an angle of view of 140 degrees, and the image capturing angle is not limited.
  • a circular fisheye lens instead of a circular fisheye lens, a diagonal fisheye lens, other wide-angle lens, ultra-wide-angle lens, etc. may be used.
  • one downward camera 23 is provided on the lower front side of the vehicle 20, but the present disclosure is not limited to this.
  • a downward camera 23 may also be provided on the lower rear side of the vehicle 20.
  • the surroundings capture unit 22 includes eight cameras 22A-22H in the horizontal direction of the vehicle 20, but the present disclosure is not limited to this. As long as the capture range can be set so that an overlapping portion is formed where adjacent capture areas overlap, there may be four cameras: the front camera 22A, the right side camera 22C, the rear camera 22E, and the left side camera 22G, and this can be changed as appropriate depending on the angle of view of each camera. Furthermore, the surroundings capture unit 22 may be composed of a 360° camera that captures the entire perimeter of the vehicle.
  • the vehicle bottom image P9 captured by the lower camera 23 reflects subjects common to each of the vehicle surrounding images P1 to P8 at the periphery, but the present disclosure is not limited to this.
  • the vehicle bottom image P9 may only reflect subjects common to the vehicle surrounding image P5 captured by the rear camera 22E. In other words, it is sufficient that the vehicle bottom image P9 reflects subjects common to one or more of the captured images P1 to P8 whose capture range is the horizontal direction of the vehicle 20.
  • the vehicle bottom image P9 corresponding to the vehicle bottom image P9 captured by the lower camera 23 is composited with the bottom edge of the vehicle surroundings image P5 corresponding to the vehicle surroundings image P5, and the right side of the vehicle bottom image P9 is made into a blank image BP.
  • the composite image CP is a spherical image in a flat state, but the present disclosure is not limited to this.
  • the composite image CP may be a spherical image, a panoramic image with the upper part missing, or a panoramic image with only the lower part missing, i.e., an image in which a 360-degree panoramic image obtained by capturing 360 degrees only in the horizontal direction of the vehicle is combined with an image P9 of the bottom of the vehicle.
  • an equirectangular format (equirectangular projection) is used for the omnidirectional image, but the present disclosure is not limited to this.
  • a cube map format may be used in which a flat image is pasted onto the six faces of a regular hexahedral screen, like an exploded dice, and the image is correctly viewed in 360 degrees when viewed from the center, or a dome master format used in planetariums, etc. may be used. Any known technology may be used as the format.
  • the display image generating unit 34B performs a process of converting the flat omnidirectional image into a spherical omnidirectional image, but the present disclosure is not limited to this.
  • the composite image generating unit 24B may perform a process of converting the flat omnidirectional image into a spherical omnidirectional image, and transmit the composite image RP represented by the spherical omnidirectional image to the display device 30.
  • the composite image generating unit 24B performs a process of projecting and converting the vehicle surroundings images P1 to P8 and the vehicle bottom image P9 into the composite image CP, but the present disclosure is not limited to this.
  • the composite image generating unit 24B may generate an overhead image directly from the vehicle surroundings images P1 to P8 and the vehicle bottom image P9, and use this overhead image as the composite image.
  • the display device 30 has one display unit 32, but the present disclosure is not limited to this and may have multiple display units 32.
  • the direction that the occupant wants to view is changed by moving image A2 in a clockwise or counterclockwise rotational direction as shown in FIG. 9, but the present disclosure is not limited to this.
  • composite image generating unit 24B composites a pointer (not shown) moved by an input means such as a touch panel of the occupant onto display image HP2.
  • Display image generating unit 34B may detect the movement distance and movement direction of this pointer in display image HP2, and determine the cut-out range in composite image CP according to the detected movement distance and movement direction.
  • the communication unit 28 has both a function as a transmission unit that transmits the composite image CP and a function as a transmission unit that transmits other information, but the present disclosure is not limited to this.
  • a transmission unit that transmits the composite image CP may be provided separately from the communication unit 28. In this way, by providing a transmission unit specialized for transmitting the composite image CP, it is possible to further increase the communication processing speed of the composite image CP.
  • the communication unit 36 has both a function as a receiving unit that receives the composite image CP and a function as a transmitting/receiving unit that transmits and receives other information, but the present disclosure is not limited to this.
  • the receiving unit that receives the composite image CP may be provided separately from the communication unit 36. In this way, by providing a receiving unit specialized for receiving the composite image CP, it is possible to further increase the communication processing speed of the composite image CP.
  • the communication unit 28-2 has both a function as a transmitter that transmits the vehicle surroundings images P1 to P8 and the vehicle bottom image P9, and a function as a transmitter that transmits other information, but the present disclosure is not limited to this.
  • the transmitter that transmits the vehicle surroundings images P1 to P8 and the vehicle bottom image P9 may be provided separately from the communication unit 28-2. In this way, by providing a transmitter specialized for transmitting the vehicle surroundings images P1 to P8 and the vehicle bottom image P9, it is possible to increase the communication processing speed of the vehicle surroundings images P1 to P8 and the vehicle bottom image P9.
  • the communication unit 36-2 has both a function as a receiving unit that receives the vehicle surroundings images P1 to P8 and the vehicle bottom image P9, and a function as a transmitting/receiving unit that transmits and receives other information, but the present disclosure is not limited to this.
  • the receiving unit that receives the vehicle surroundings images P1 to P8 and the vehicle bottom image P9 may be provided separately from the communication unit 36-2. In this way, by providing a receiving unit specialized for receiving the vehicle surroundings images P1 to P8 and the vehicle bottom image P9, it is possible to increase the communication processing speed of the vehicle surroundings images P1 to P8 and the vehicle bottom image P9.
  • the display device 30 is mounted on the vehicle 20, but the present disclosure is not limited to this.
  • the display device 30 may be mounted on an external remote monitoring device (not shown).
  • the communication unit 28 of the vehicle 20 and the communication unit 36 on the remote monitoring device side, i.e., the display device 30 side communicate with each other via the above-mentioned network.
  • communication via the network can also be performed via a cloud server (not shown).
  • the moving body does not have to be a vehicle 20.
  • the moving body may be, for example, a mobility that carries luggage or deliveries, a robot capable of autonomous travel, or any other form of moving body capable of autonomous travel.
  • the configuration of the vehicles 20, 20-2 and the configuration of the display devices 30, 30-2 mounted on the vehicles 20, 20-2 are connected by separate buses 65 and 75, respectively, but the present disclosure is not limited to this, and they may be connected by the same bus.
  • processors may be executed by various processors other than the CPU.
  • processors in this case include PLDs (Programmable Logic Devices) such as FPGAs (Field-Programmable Gate Arrays) whose circuit configuration can be changed after manufacture, and dedicated electrical circuits such as ASICs (Application Specific Integrated Circuits), which are processors having a circuit configuration designed specifically to execute specific processes.
  • PLDs Programmable Logic Devices
  • FPGAs Field-Programmable Gate Arrays
  • ASICs Application Specific Integrated Circuits
  • each process may be executed by one of these various processors, or may be executed by a combination of two or more processors of the same or different types (e.g., multiple FPGAs, and a combination of a CPU and an FPGA, etc.).
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • the programs described in the above embodiments may be provided in a form stored on a non-transitory storage medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (Digital Versatile Disc Read Only Memory), or a USB (Universal Serial Bus) memory.
  • the programs may also be provided in a form downloaded from an external device via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

表示システムは、移動体と表示装置とを備える。移動体は、移動体の周囲を撮影して移動体周囲画像を取得する周囲撮影部と、移動体の車体の下側を撮影して移動体底面画像を取得する下側撮影部とを含む。表示装置は表示部を含む。移動体又は表示装置は、移動体周囲画像と移動体底面画像とを合成して合成画像を生成する合成画像生成部を含む。移動体及び表示装置は各々画像を送受信する通信部を含む。

Description

表示システム
　本開示は、表示システムに関する。
　例えば、特開２００６－２７９７５２号公報には、車両底部の直下の撮影画像に基づく画像を表示装置に表示させるための車両直下画像表示制御装置が開示されている。この車両直下画像表示制御装置においては、後方監視カメラにより撮影された後方撮影画像を用いて車両周辺の鳥瞰画像が生成され、直下監視カメラにより撮影された直下撮影画像を用いて車両直下の鳥瞰画像が生成されている。
　しかしながら、特開２００６－２７９７５２号公報に記載された車両直下画像表示制御装置においては、車両周辺の鳥瞰画像及び車両直下の鳥瞰画像を生成する際に、過去の後方撮影画像と現在の後方撮影画像を合成し、かつ過去の直下撮影画像と現在の直下撮影画像とを合成している。そのため、リアルタイム（即時）の車両周辺の鳥瞰画像及び車両直下の鳥瞰画像を取得し難いことが懸念される。
　本開示は、リアルタイムの移動体周囲の視界及び移動体底面の視界を確保することができる表示システムを得る。
　本開示の第１の態様の表示システムは、移動体の周囲を撮影して移動体周囲画像を取得する周囲撮影部と、前記移動体の下側を撮影して移動体底面画像を取得する下側撮影部と、を含む移動体と、表示部を含む表示装置と、前記移動体又は前記表示装置に含まれ、前記周囲撮影部により取得された移動体周囲画像と前記下側撮影部により取得された移動体底面画像とを合成して合成画像を生成する合成画像生成部と、前記移動体及び前記表示装置に各々含まれ、画像データを送信又は受信する通信部と、を備える。
　本開示の第１の態様の表示システムによれば、移動体又は表示装置に含まれる合成画像生成部は、移動体周囲画像と移動体底面画像とを合成して合成画像を生成する。そのため、合成画像生成部により生成された合成画像は、リアルタイムで周囲撮影部により取得された移動体周囲画像及びリアルタイムで下側撮影部により取得された移動体底面画像を含んでいるので、リアルタイムの移動体周囲の視界及び移動体底面の視界を確保することができる。
　また、本開示の第２の態様の表示システムは、第１の態様の表示システムにおいて、前記移動体は、前記合成画像生成部を含み、前記移動体側の前記通信部は、前記合成画像生成部により生成された前記合成画像を送信する送信部を含んで、前記表示装置側の前記通信部は、前記送信部から送信された前記合成画像を受信する受信部を含む。
　本開示の第２の態様の表示システムによれば、移動体において合成画像を生成し、生成した合成画像を送信部によって表示装置に送信している。また、表示装置側では受信部によって合成画像を受信している。そのため、合成画像において、移動体周囲画像と移動体底面画像とを合わせた総データ量よりも小さいデータ量となるように移動体周囲画像と移動体底面画像とを合成することにより、移動体周囲画像及び移動体底面画像をそのまま送受信する場合と比較して送信するデータ量を削減することができる。
　また、本開示の第３の態様の表示システムは、第１の態様の表示システムにおいて、前記移動体側の前記通信部は、前記周囲撮影部により取得された前記移動体周囲画像及び前記下側撮影部により取得された前記移動体底面画像を送信する送信部を含み、前記表示装置側の前記通信部は、前記送信部から送信された前記移動体周囲画像及び前記移動体底面画像を受信する受信部を含んで、前記表示装置は、前記合成画像生成部を含む。
　本開示の第３の態様の表示システムによれば、移動体が移動体周囲画像及び移動体底面画像を送信し、表示装置が送信された移動体周囲画像及び移動体底面画像を受信している。また、表示装置において受信した移動体周囲画像及び移動体底面画像を合成して合成画像を生成している。そのため、移動体側において合成処理をしないのでその分速く表示装置側で移動体周囲画像及び移動体底面画像を受信することができる。これにより、例えば移動体よりも表示装置の方がより処理能力が高い場合には、より速く表示部に画像を表示させることができる。
　また、本開示の第４の態様の表示システムは、第１の態様又は第２の態様の表示システムにおいて、前記周囲撮影部が複数の前記移動体周囲画像を取得する場合、前記合成画像生成部は、全ての隣接する前記移動体周囲画像及び前記移動体底面画像を各々オーバラップさせて合成する。
　本開示の第４の態様の表示システムによれば、合成画像は全ての隣接する移動体周囲画像及び移動体底面画像を各々オーバラップさせて合成されるので、隣接する画像の境界部においても被写体が連続して映り込む。そのため、合成画像には移動体周囲及び移動体底面の全方位において画像情報が存在するので、移動体周囲の視界及び移動体底面の視界を途切れることなく連続して確保することができる。
　また、本開示の第５の態様の表示システムは、第１の態様又は第２の態様の表示システムにおいて、前記周囲撮影部が複数の前記移動体周囲画像を取得し、前記下側撮影部が１枚の前記移動体底面画像を取得する場合、前記合成画像生成部は、前記移動体底面画像を全ての前記移動体周囲画像と各々オーバラップさせて合成する。
　本開示の第５の態様の表示システムによれば、移動体底面画像が１枚の場合、合成画像は移動体底面画像を全ての移動体周囲画像に各々オーバラップさせて合成されるので、移動体底面と移動体周囲との水平方向の全周囲の境界部においても被写体が連続して映り込む。そのため、合成画像には移動体周囲と移動体底面の境界部において画像情報が存在するので、移動体周囲と移動体底面との境界部における視界を途切れることなく連続して確保することができる。
　また、本開示の第６の態様の表示システムは、第１の態様又は第２の態様の表示システムにおいて、前記周囲撮影部が複数の前記移動体周囲画像を取得し、前記下側撮影部が２枚の前記移動体底面画像を取得する場合、前記合成画像生成部は、複数の前記移動体周囲画像を少なくとも一方の前記移動体底面画像と各々オーバラップさせて合成する。
　本開示の第６の態様の表示システムによれば、移動体底面画像が２枚の場合、合成画像は複数の移動体周囲画像を少なくとも一方の移動体底面画像に各々オーバラップさせて合成されるので、移動体底面と移動体周囲との水平方向の全周囲の境界部において被写体が連続して映り込む。そのため、合成画像には移動体周囲と移動体底面との水平方向の全周囲の境界部において画像情報が存在するので、移動体周囲と移動体底面との境界部における視界を途切れることなく連続して確保することができる。
　また、本開示の第７の態様の表示システムは、第１の態様～第６の態様の何れかの表示システムにおいて、前記下側撮影部が複数の前記移動体底面画像を取得する場合、前記合成画像生成部は、隣接する前記移動体底面画像をオーバラップさせて合成する。
　本開示の第７の態様の表示システムによれば、移動体底面画像が複数枚である場合、合成画像は隣接する移動体底面画像をオーバラップさせて合成されるので、移動体底面において隣接する移動体底面画像の境界部では被写体が連続して映り込む。そのため、合成画像には移動体底面の全方位において画像情報が存在するので移動体底面の視界を途切れることなく連続して確保することができる。
　また、本開示の第８の態様の表示システムは、第１の態様～第７の態様の何れかの表示システムにおいて、前記表示装置が、前記受信部により受信された前記合成画像から前記表示部に表示する表示画像を生成する表示画像生成部を含む。
　本開示の第８の態様の表示システムによれば、表示装置は、受信部により受信された合成画像から表示部に表示する表示画像を生成する表示画像生成部を含んでいる。そのため、表示装置側において、表示画像生成部は合成画像から表示部に表示する表示画像を生成できるので、表示装置の操作者の所望する視点や表示態様での表示画像を表示部に表示することができる。
　また、本開示の第９の態様の表示システムは、第１の態様～第８の態様の何れかの表示システムにおいて、前記移動体周囲画像及び前記移動体底面画像には、前記移動体の一部が含まれている。
　本開示の第９の態様の表示システムによれば、移動体周囲画像及び移動体底面画像には、移動体の一部が含まれているので、合成画像において移動体の周囲及び移動体の底面における死角の発生を防止することができる。
　以上説明したように、本開示の表示システムによれば、リアルタイムの移動体周囲の視界及び移動体底面の視界を確保することができるという優れた効果を有する。
本開示の第１実施形態に係る表示システムの概略構成を示すブロック図である。 車両の周囲を撮影するカメラが配置される位置を示す上面図である。 カメラにより撮影された車両周囲画像の一例を示す図である。 車両の下側を撮影するカメラが配置される位置を示す左側面図である。 画像の合成方法を説明するための説明図である。 エクイレクタングラー形式の合成画像を説明するための説明図である。 全天球画像において、エクイレクタングラーから球体への形式の変換を説明するための説明図である。 表示部に表示される表示画像の一例を示す図である。 表示部に表示される表示画像の一例を示す図である。 表示部に表示される表示画像の一例を示す図である。 表示部に表示される表示画像の一例を示す図である。 表示部に表示される表示画像の一例を示す図である。 表示部に表示される表示画像の一例を示す図である。 車両周囲画像と２枚の車両底面画像の合成方法を説明するための説明図である。 本開示の第２実施形態に係る表示システムの概略構成を示すブロック図である。 本開示の画像処理装置としての画像処理ＥＣＵ２４（及び２４－２）のハードウェア構成を示す図である。 本開示の表示制御装置としての表示制御ＥＣＵ３４（及び３４－２）のハードウェア構成を示す図である。
　図１～図１３を用いて本開示の第１実施形態に係る表示システム１０について説明する。なお、以下の説明において前後左右上下の方向を示して説明するときは、車両の前後左右上下の方向を示すものとする。
　図１は本開示の第１実施形態に係る表示システム１０の概略構成を示すブロック図である。図１に示されるように、本実施形態の表示システム１０は、移動体としての車両２０、及び車両２０に搭載された表示装置３０を含んで構成されている。本実施形態において、車両２０は、手動運転と自動運転とを切り替え可能に構成されており、乗員が車両２０を手動運転する場合には、乗員の運転操作を支援する公知の運転支援機能等が設けられている。
　図１に示されるように、車両２０は、周囲撮影部２２、下側撮影部としての下方カメラ２３、通信部２８を含む画像処理装置としての画像処理ＥＣＵ２４、車両制御装置２６を備えている。本実施形態の周囲撮影部２２は、一例として、前方カメラ２２Ａ、右前方カメラ２２Ｂ、右側方カメラ２２Ｃ、右後方カメラ２２Ｄ、後方カメラ２２Ｅ、左後方カメラ２２Ｆ、左側方カメラ２２Ｇ、及び左前方カメラ２２Ｈの８つのカメラを備えている。
　この８つのカメラ２２Ａ～２２Ｈ及び下方カメラ２３は、一例として、各々１８０度よりも大きい画角を有する円周魚眼レンズが使用されている。円周魚眼レンズにより撮影された撮影画像は、魚眼画像であり、撮影範囲の中央付近の被写体は大きく写り、撮影範囲の周囲の被写体は小さく写る特徴があって、撮影範囲は円形状の画像で表されている。なお、本実施形態において「撮影画像」は、静止画であってもよいし、動画であってもよい。
　図２は車両２０の周囲を撮影する８つのカメラ２２Ａ～２２Ｈが車両２０に配置される位置を示す上面図、図３は８つのカメラ２２Ａ～２２Ｈにより撮影された、移動体周囲画像としての車両周囲画像Ｐ１～Ｐ８の一例を示す図である。図２及び図３に示されるように、前方カメラ２２Ａは車両２０の前部に搭載され、前方カメラ２２Ａで撮影された車両周囲画像Ｐ１には車両２０の前方が映り込む。また、右前方カメラ２２Ｂは車両２０の右前部に搭載され、右前方カメラ２２Ｂで撮影された車両周囲画像Ｐ２には車両２０の右前方が映り込む。右側方カメラ２２Ｃは車両２０の右側部のミラーに搭載され、右側方カメラ２２Ｃで撮影された車両周囲画像Ｐ３には車両２０の右側方が映り込む。また、右後方カメラ２２Ｄは車両２０の右後部に搭載され、右後方カメラ２２Ｄで撮影された車両周囲画像Ｐ４には車両２０の右後方が映り込む。
　後方カメラ２２Ｅは車両２０の後部に搭載され、後方カメラ２２Ｅで撮影された車両周囲画像Ｐ５には車両２０の後方が映り込む。また、左後方カメラ２２Ｆは車両２０の左後部に搭載され、左後方カメラ２２Ｆで撮影された車両周囲画像Ｐ６には車両２０の左後方が映り込む。左側方カメラ２２Ｇは車両２０の左側部のミラーに搭載され、左側方カメラ２２Ｇで撮影された車両周囲画像Ｐ７には車両２０の左側方が映り込む。また、左前方カメラ２２Ｈは車両２０の左前部に搭載され、左前方カメラ２２Ｈで撮影された車両周囲画像Ｐ８には車両２０の左前方が映り込む。
　本実施形態においては一例として、周囲撮影部２２の８つのカメラ２２Ａ～２２Ｈは、各々隣接するカメラの撮影領域が重なる重複部分が形成されるように撮影範囲が設定されている。すなわち、車両周囲画像Ｐ１は、右端部に車両周囲画像Ｐ２と共通する被写体が、左端部に車両周囲画像Ｐ８と共通する被写体がそれぞれ映り込んでいる。
　同様にして、車両周囲画像Ｐ２～Ｐ８も、各々左右端部において隣接する車両周囲画像と共通する被写体がそれぞれ映り込んでいる。また、撮影画像Ｐ１～Ｐ８においては、車両２０の一部が映り込んでいる。上述したように構成された周囲撮影部２２によって、車両２０の水平方向の全周囲（全方位）Ｓが撮影される。
　図４は車両２０の下側を撮影する下方カメラ２３が配置される位置を示す左側面図である。図４に示されるように、下方カメラ２３は車両２０の前部の下側に搭載され、下方カメラ２３で撮影された、移動体底面画像としての車両底面画像Ｐ９（図示省略）には車両２０の車体の底面２０Ａ及び車両２０が位置する地面Ｇ（道路等も含む）が映り込む。本実施形態においては一例として、車両周囲画像Ｐ１～Ｐ８の各々の下端部に、車両底面画像Ｐ９と共通する被写体が映り込んでいる。言い換えると、車両底面画像Ｐ９の周縁部には、車両周囲画像Ｐ１～Ｐ８の何れかと共通する被写体が映り込んでいる。
　図１に示されるように、画像処理装置としての画像処理ＥＣＵ２４は車両２０に搭載されている。画像処理ＥＣＵ２４は、図１６に示す通り、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）６０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）６１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）６２、ストレージ６３、通信インターフェイス（図１６では「通信Ｉ／Ｆ」と略す）６４等を含んで構成されており、各構成は、バス６５を介して相互に通信可能に接続されている。ＣＰＵ６０は、ＲＯＭ６１又はストレージ６３からプログラムを読み出し、ＲＡＭ６２を作業領域としてプログラムを実行する。通信インターフェイス６４は、ＣＰＵ６０からの指令により通信部２８として機能し、バス６５等の有線または無線により、外部装置と通信するためのインターフェイスである。ここでは、通信インターフェイス６４が通信部２８として機能する例を挙げたが、画像処理ＥＣＵ２４の外側に配置された通信モジュールを用いることもできる。
　また、画像処理ＥＣＵ２４は、機能構成として画像取得部２４Ａ及び合成画像生成部２４Ｂを備えており、画像取得部２４Ａ及び合成画像生成部２４Ｂは、プロセッサとしてのＣＰＵ６０が、メモリとしてのＲＯＭ６１又はメモリとしてのストレージ６３からプログラムを読み出し、ＲＡＭ６２を作業領域としてプログラムを実行することにより実行される。
　画像取得部２４Ａは、周囲撮影部２２の８つのカメラ２２Ａ～２２Ｈにより各々撮影された８枚の車両周囲画像Ｐ１～Ｐ８と、下方カメラ２３により撮影された車両底面画像Ｐ９を各々表す画像データを取得する。なお、本実施形態においては、一例として、１枚の撮影画像は約２００万画素で構成されている。なお、撮影画像の画素数は、使用するカメラの性能等により適宜変更することができる。
　合成画像生成部２４Ｂは、画像取得部２４Ａにより取得された画像データが各々表す８枚の車両周囲画像Ｐ１～Ｐ８と車両底面画像Ｐ９とを合成して合成画像ＣＰを生成する。本実施形態においては、合成画像ＣＰは、撮影地点である車両２０から見渡すことができる全ての方向すなわち車両全周囲（全方位）を表す全天球画像とする。
　合成画像生成部２４Ｂには、８つのカメラ２２Ａ～２２Ｈにより各々撮影された８枚の車両周囲画像Ｐ１～Ｐ８と下方カメラ２３により撮影された車両底面画像Ｐ９とを全天球画像に変換するために必要な情報が予め記憶されている。この情報としては、９つのカメラ２２Ａ～２２Ｈ及び下方カメラ２３各々の円周魚眼レンズの物理的な配置関係を表す位置情報、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９の像高と円周魚眼レンズの入射角との関係を表す射影情報、８つのカメラ２２Ａ～２２Ｈ及び下方カメラ２３の撮影方向を示す情報、及び円周魚眼レンズの特性を表す情報等がある。これらの情報は予めキャリブレーションすることによって導出されている。
　合成画像生成部２４Ｂは、魚眼画像である８枚の車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９から、上記必要な情報に基づいて公知の技術により投影変換を行って合成し、合成画像ＣＰを生成する。ここで、本実施形態においては、合成画像ＣＰを合成する際に、上述した重複部分をオーバラップさせている。
　図５において、例えば車両周辺画像Ｐ６を一例として説明すると、車両周辺画像Ｐ６と車両周辺画像Ｐ５との重複部分は網掛で示される第１領域ＯＶ１で示され、車両周辺画像Ｐ６と車両周辺画像Ｐ７との重複部分は網掛で示される第２領域ＯＶ２で示される。合成画像生成部２４Ｂは、この重複部分を画素単位でオーバラップさせることにより、車両周辺画像Ｐ１～Ｐ８を合成する。なお、オーバラップの方法については、公知の技術を使用することができる。
　また、合成された車両周辺画像Ｐ１～Ｐ８に車両底面画像Ｐ９が合成される。本実施形態においては、車両底面画像Ｐ９の周縁部に、車両周囲画像Ｐ１～Ｐ８と各々共通する被写体が映り込んでいるため、この共通する被写体が映り込んでいる範囲が、隣接する撮影領域が重なる重複部分となる。図５において、例えば車両周辺画像Ｐ６を一例として説明すると、車両周辺画像Ｐ６と車両底面画像Ｐ９との重複部分は斜め斜線で示される第３領域ＯＶ３で示される。合成画像生成部２４Ｂは、この重複部分を画素単位でオーバラップさせることにより、車両周辺画像Ｐ１～Ｐ８の下側に車両底面画像Ｐ９を合成する。なお、オーバラップの方法については、公知の技術を使用することができる。
　図６はエクイレクタングラー形式（正距円筒図法）の合成画像を説明するための説明図である。ここで、エクイレクタングラー形式の合成画像は、縦方向と横方向との比率が１：２となる画像である。エクイレクタングラー形式は、縦方向と横方向が１：２の比率の長方形の合成画像を球体状のスクリーンに貼り付けて、その中央から合成画像を見たときに、３６０度が正しく見える形式である。
　本実施形態においては、合成画像生成部２４Ｂは、エクイレクタングラー形式の合成画像ＣＰ、すなわち縦方向と横方向との比率が１：２となる合成画像ＣＰを生成している。なお、エクイレクタングラー形式の合成画像ＣＰは、平面状態の全天球画像である。本実施形態においては、一例として、合成画像ＣＰは、３８４０×１９２０ピクセル、すなわち約７４０万画素の画像データで構成する。なお、合成画像ＣＰの画素数は、後述する表示装置３０の表示部３２の性能に合わせて適宜変更することができる。
　全天球画像は、図６の右図に示されるように、所定軸周りの角度座標を含む座標系で表される画像であり、動径を定数ｎ（例えば１）として、ｐｉｔｃｈ方向の軸に対してなされる垂直角度φと、ｙａｗ方向の軸周りの回転角に対応する水平角度λとを座標とした画素値の配列として表現される。垂直角度φは、－９０度～＋９０度（あるいは０度～１８０度）の範囲となり、水平角度λは、－１８０度～＋１８０度（あるいは０度～３６０度）の範囲となる。
　合成画像生成部２４Ｂは、合成画像ＣＰの横方向は車両２０の水平方向の全周囲すなわち３６０度を表しているので、合成された車両周囲画像Ｐ１～Ｐ８の横方向と一致している。また、合成された車両周囲画像Ｐ１～Ｐ８の下方向の端部には車両底面画像Ｐ９が合成されており、車両底面画像Ｐ９の下端が合成画像ＣＰの下方向の下端と一致している。本実施形態においては、車両２０の直上方向は車両周辺画像Ｐ１～Ｐ８に映り込んでいない。そのため、車両周辺画像Ｐ１～Ｐ８の上方側の画角を予め記憶している情報から読み出し、読み出した画角に応じて合成された車両周囲画像Ｐ１～Ｐ８の上端の座標の位置が決定されている。
　なお、カメラ２２Ａ～２２Ｈにより撮影されていない車両２０の直上方向の領域に対応する座標については、図６に示されるようにブランクとして一律の画素値により示される。本実施形態においては一例として、黒色を表す画素値で示し、この黒色の領域をブランク画像ＢＰとする。車両周辺画像Ｐ１～Ｐ８の上方側の画角が大きい程ブランク画像ＢＰのｐｉｔｃｈ方向（縦方向）の幅は狭くなる。このようにして合成画像生成部２４Ｂは合成画像ＣＰを生成している。
　図１に戻り、車両制御装置２６は、車両２０に搭載された各種センサ（図示省略）により検出された情報、及び周囲撮影部２２により撮影された車両周囲画像Ｐ１～Ｐ８及び下方カメラ２３により撮影された車両底面画像Ｐ９に基づいて車両２０の自動運転を制御する装置である。車両制御装置２６は、公知の技術を使用することができる。
　また、車両制御装置２６は、一例として、正常時走行モード、異常時走行モード、及び復帰時走行モード等の各種モードを設定可能に構成されている。車両制御装置２６は、上述したセンサにより検出された情報、並びに車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９に基づいて、上記各モードを自動的に選択して車両２０を走行させる。車両制御装置２６は、正常時に正常時走行モードを選択し、例えば異常と判断する対象を自動運転システムの通知情報や上記センサによるセンシングにて検出した場合等に異常時走行モードを選択する。具体的には、車両制御装置２６により異常時走行モードが選択されると、車両２０は停止される。
　また、復帰時走行モードは、車両２０が停止後に走行を開始する際に車両制御装置２６により選択される。具体的には、車両制御装置２６は、自動運転システムや上記センサによるセンシングによって車両２０に異常がないこと確認させるか、又は表示装置３０を介して、乗員に異常時状態であることを報知するための信号を送信する。
　車両制御装置２６は、車両２０の走行状況、すなわち現在選択されているモードを、通信部２８を介して表示装置３０に送信する。
　通信部２８は、外部装置と通信するためのインターフェイスであり、合成画像生成部２４Ｂにより生成された合成画像ＣＰを送信する送信部としても機能する。また、通信部２８は、車両２０の走行状況、すなわち現在選択されているモードを送信する送信部としても機能する。
　次に、表示装置３０について説明する。図１に示されるように、表示装置３０は、表示部３２、通信部３６を含む表示制御装置としての表示制御ＥＣＵ３４、及び記録部３８を備えている。表示部３２は、図示は省略するが、一例として、車両２０の車室内において乗員から視認可能な位置に設置されている。
　表示部３２には、車両２０から受信した合成画像ＣＰに基づいて生成された表示画像ＨＰが表示される。なお、合成画像ＣＰをそのまま表示させることもできる。
　本実施形態において、表示部３２、一例として、４Ｋ解像度に対応した映像が表示可能な性能を有しているが、表示部の性能はこれに限られず、４Ｋよりも低解像度又は４Ｋよりも高解像度の映像が表示可能な性能を有していてもよいし適宜変更可能である。
　通信部３６は、外部装置と通信するためのインターフェイスであり、車両２０の通信部２８から送信された合成画像ＣＰを受信する受信部としても機能する。ここで、車両２０の通信部２８と表示装置３０の通信部３６は、車両２０の車室内に配線された有線ケーブル（図示省略）によって通信されてもよいし、ネットワークを経由して互いに通信されてもよい。ネットワークは、ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュールや、４Ｇ、ＬＴＥ、５Ｇ等の広域無線通信モジュールであるモバイル回線等で構成される。
　記録部３８は、フラッシュメモリ等の不揮発性のメモリであり、通信部３６により受信された合成画像ＣＰを記録する。また車両２０の通信部２８から送信された車両２０の走行状態や車速度及び操舵角等、各種データを記録する。
　表示制御装置としての表示制御ＥＣＵ３４は、表示部３２へ画像や情報等を表示させる装置であり、図１７に示す通り、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）７０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）７１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）７２、ストレージ７３、通信インターフェイス（図１７では「通信Ｉ／Ｆ」と略す）７４等を含んで構成されている。各構成は、バス７５を介して相互に通信可能に接続されている。ＣＰＵ７０は、ＲＯＭ７１又はストレージ７３からプログラムを読み出し、ＲＡＭ７２を作業領域としてプログラムを実行する。通信インターフェイス７４は、ＣＰＵ７０からの指令により通信部３６として機能し、バス７５等の有線または無線により、外部装置と通信するためのインターフェイスである。ここでは、通信インターフェイス７４が通信部３６として機能する例を挙げたが、表示制御ＥＣＵ３４の外側に配置された通信モジュールを用いることもできる。
　また、表示制御ＥＣＵ３４は、機能構成として合成画像取得部３４Ａ及び表示画像生成部３４Ｂを備えており、合成画像取得部３４Ａ及び表示画像生成部３４Ｂは、プロセッサとしてのＣＰＵ７０が、メモリとしてのＲＯＭ７１又はメモリとしてのストレージ７３からプログラムを読み出し、ＲＡＭ７２を作業領域としてプログラムを実行することにより実行される。
　合成画像取得部３４Ａは、通信部３６により受信された合成画像ＣＰを取得して、記録部３８に記憶させる。
　表示画像生成部３４Ｂは、表示装置３０の表示部３２に表示させる表示画像ＨＰを生成する。具体的には、表示画像生成部３４Ｂは合成画像ＣＰに基づいて表示画像ＨＰを生成する。
　図７は全天球画像において、エクイレクタングラーから球体への形式の変換を説明するための説明図である。表示画像生成部３４Ｂは、図７の左図に示される合成画像ＣＰ上の点Ｐｅ（λ，φ）を、図７の右図に示される単位球状の点Ｐｓ（ｘｓ,ｙｓ,ｚｓ）に変換する。ここで、図７の右図において、λは経度、φは緯度を表す。
　この場合、変換式は下記式（１）～（３）で示される。
　ｘｓ＝ｃｏｓ（φ）ｓｉｎ（λ）・・・（１）
　ｙｓ＝ｓｉｎ（φ）　　　　　　・・・（２）
　ｚｓ＝ｃｏｓ（φ）ｃｏｓ（λ）・・・（３）
　表示画像生成部３４Ｂは、上記変換式（１）～（３）により、平面状態の全天球画像を球体の全天球画像に変換する。表示画像生成部３４Ｂは、合成画像ＣＰ及び変換後の球体の全天球画像を表す球体形式の合成画像ＲＰに基づいて、表示部３２を視認する乗員の所望する表示態様の表示画像ＨＰを生成する。なお、エクイレクタングラー形式の平面状態の合成画像ＣＰには原点から見た全ての方向の情報が含まれるため、この合成画像ＣＰに基づいて球体以外の形状、例えば円筒を上から見た形状等の任意の形状の合成画像を生成することもできる。また、表示画像生成部３４Ｂは、合成画像ＣＰを表示画像ＨＰとしてそのまま使用することもできる。
　図８～図１３は表示装置３０の表示部３２に表示される表示画像ＨＰの一例を示す図である。本実施形態においては、一例として、車両制御装置２６により車両２０が自動運転されている際に、表示制御ＥＣＵ３４による表示部３２への表示画像ＨＰの表示が行われる。
　図８に示されるように、表示画像生成部３４Ｂは、球体の全天球画像を表す合成画像ＲＰにおいて車両２０を見下ろす視点で生成された３６０度俯瞰画像である表示画像ＨＰ１を生成する。なお、図８において、便宜上、車両２０の車体の下側を表す画像ＧＰが同色で構成された略矩形領域で表されているが、実際には車両２０の車体の下側を表す実際の画像が表されている。また、表示画像生成部３４Ｂは、車両２０を模擬した画像Ａ１（図９参照）を表示画像ＨＰ１に重ねて合成してもよい。この際に、表示画像ＨＰ１において画像Ａ１が重ねられた領域すなわち画像ＧＰも視認可能とするために、画像Ａ１は透過性を有する画像とする。生成された表示画像ＨＰ１は、表示制御ＥＣＵ３４によって表示部３２に表示される。
　また、図９に示されるように、表示制御ＥＣＵ３４は、表示部３２に表示された画像Ａ１を含む表示画像ＨＰ１に対して、矢印Ｍ１で示される時計回りの回転方向又は矢印Ｍ２で示される反時計回りの回転方向に移動可能な画像Ａ２を表示画像ＨＰ１に重ねて合成してもよい。画像Ａ２は、表示画像ＨＰ１の円周上の円弧と該円弧よりも小さい半径で形成された内側円弧とを両端部でつなぎ合わせた形状とすることができる。この画像Ａ２が重なる表示画像ＨＰ１上の範囲は、乗員が見たい方向の領域とされる。
　本実施形態においては、乗員が、この画像Ａ２を上記時計回り又は反時計回りの回転方向に移動させることにより、乗員が見たい方向を変更することができる。表示画像生成部３４Ｂは、図１０に示されるように、乗員が見たい方向、つまり乗員の所望する自由視点で切り取られた表示画像ＨＰ２を生成する。図１０に示される表示画像ＨＰ２は、車両２０から前方側を見た際の画像とされている。生成された表示画像ＨＰ２は、表示制御ＥＣＵ３４によって表示部３２に表示される。
　また、例えば、乗員がタッチパネル（図示省略）等を操作することにより車両２０を後方斜め上側から見たいという情報を合成画像生成部２４Ｂが取得した場合には、合成画像生成部２４Ｂは、図１１に示されるように、合成画像ＲＰに基づいて、車両２０を後方斜め上側から見た俯瞰画像である表示画像ＨＰ４を生成する。表示画像生成部３４Ｂは、表示画像ＨＰ４において、車両２０を表す画像Ａ３を重ねて合成している。この画像Ａ３は、図９で示される表示画像ＨＰ１と同様に、車両２０を模擬した画像とすることができる。
　また、例えば、車両２０の前方を走行する前方車両５０（図１２参照）の左側方に人が二人歩いているとする。この二人が、車両２０側の車両制御装置２６における自動運転システムの通知情報や車両２０に搭載されたセンサ（図示省略）によるセンシングにて異常と判断する対象として検出された場合には、車両２０側の通信部２８により、これらの情報すなわち歩いている二人の位置情報や大きさ情報等が、表示装置３０に送信され、表示装置３０側の通信部３６が受信する。
　表示画像生成部３４Ｂは、表示装置３０の通信部３６が受信した情報に基づいて、合成画像ＣＰから上記二人が映り込む範囲を公知の技術により特定し、図１２に示されるように、この二人５２が映り込む画角で切り取った表示画像ＨＰ４を生成する。表示画像ＨＰ４には、車両２０から前方側を見た際の画像が表されている。表示画像生成部３４Ｂは、通信部３６が受信した情報に基づいて、車両２０から見て二人が位置する方向を一例として矢印で示した画像Ａ４を、表示画像ＨＰ４に重ねて合成する。生成された画像Ａ４を含む表示画像ＨＰ４は、表示制御ＥＣＵ３４によって表示部３２に表示される。
　なお、表示画像生成部３４Ｂは、合成画像ＣＰから上記二人が映り込む範囲を公知の技術により特定した際に、図１３に示されるように、球体の全天球画像を表す合成画像ＲＰにおいて車両２０を見下ろす視点で生成された３６０度俯瞰画像である表示画像ＨＰ５において、車両２０に対して二人が位置する方向を一例として×印で示した画像Ａ５を、表示画像ＨＰ５に重ねて合成する。本実施形態においては、画像Ａ５は他の画像領域と比較して強調される態様で構成されている。
　なお、図１３で示される表示画像ＨＰ５は、図９で示される表示画像ＨＰ１と同様に、車両２０の車体の下側を表す画像が黒色で表されているが、実際には車両２０の車体の下側を表す実際の画像が表されている。また、車両２０を模擬した画像Ａ１を表示画像ＨＰ１に重ねて合成してもよい。また、表示画像ＨＰ５において、画像Ａ１の周囲の３６０度俯瞰画像は白色で表されているが、実際には、図８で示される表示画像ＨＰ１と同様に構成されている。生成された画像Ａ１、Ａ５を含む表示画像ＨＰ５は、表示制御ＥＣＵ３４によって表示部３２に表示される。
　また、本実施形態において、表示画像生成部３４Ｂは、車両制御装置２６から送信された車両２０の走行状況、すなわち現在選択されているモードに応じて表示画像ＨＰを生成する。具体的には、車両２０が正常時走行モードである場合には、表示画像生成部３４Ｂは、図９で示される表示画像ＨＰ１を生成し、表示制御ＥＣＵ３４は生成された表示画像ＨＰ１を表示部３２に表示する。その後、表示画像生成部３４Ｂは、上述したように乗員による画像Ａ２の移動操作に応じて、図１０で示される表示画像ＨＰ２又は図１１で示される表示画像ＨＰ３を生成し、表示制御ＥＣＵ３４は生成された表示画像ＨＰを表示部３２に表示する。
　また、車両２０が異常時走行モードである場合には、表示画像生成部３４Ｂは、上述したように、車両２０側の車両制御装置２６における自動運転システムの通知情報や車両２０に搭載されたセンサ（図示省略）によるセンシングにて検出された情報に基づいて、図１２で示される生成された画像Ａ４を含む表示画像ＨＰ４、又は図１３で示される生成された画像Ａ１、Ａ５を含む表示画像ＨＰ５を生成し、表示制御ＥＣＵ３４は生成された表示画像を表示部３２に表示する。
　また、車両２０が復帰時走行モードである場合には、表示画像生成部３４Ｂは、車両２０の車体下側が視認可能な図９で示される表示画像ＨＰ１を生成し、表示制御ＥＣＵ３４は生成された表示画像ＨＰ１を表示部３２に表示する。その後、表示画像生成部３４Ｂは、上述したように乗員による画像Ａ２の移動操作に応じて、図１０で示される表示画像ＨＰ２又は図１１で示される表示画像ＨＰ３を生成し、表示制御ＥＣＵ３４は生成された表示画像ＨＰを表示部３２に表示する。
　次に、本実施形態の作用及び効果について説明する。
　本実施形態の表示システム１０によれば、車両２０に含まれる合成画像生成部２４Ｂは、車両周囲画像Ｐ１～Ｐ８と車両底面画像Ｐ９とを合成して合成画像ＣＰを生成する。そのため、表示装置３０の受信部として機能する通信部３６が受信した合成画像ＣＰは、リアルタイムで周囲撮影部２２により取得された車両周囲画像Ｐ１～Ｐ８及びリアルタイムで下方カメラ２３により取得された車両底面画像Ｐ９を含んでいるので、リアルタイムの車両周囲の視界及び車両底面の視界を確保することができる。
　また、本実施形態の表示システム１０によれば、車両２０において合成画像ＣＰを生成し、生成した合成画像ＣＰを送信部として機能する通信部２８によって表示装置３０に送信している。また、表示装置３０側では受信部として機能する通信部３６によって合成画像ＣＰを受信している。そのため、合成画像ＣＰにおいて、車両周囲画像Ｐ１～Ｐ８と車両底面画像Ｐ９とを合わせた総データ量よりも小さいデータ量となるように車両周囲画像Ｐ１～Ｐ８と車両底面画像Ｐ９とを合成することにより、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９をそのまま送受信する場合と比較して送信するデータ量を削減することができる。
　また、本実施形態の表示システム１０によれば、合成画像ＣＰは全ての隣接する車両周囲画像Ｐ１～Ｐ８（車両周辺画像Ｐ１～Ｐ８）及び車両底面画像Ｐ９（車両底面画像Ｐ９）を各々オーバラップさせて合成されるので、隣接する画像の境界部においても被写体が連続して映り込む。そのため、合成画像ＣＰには車両周囲及び車両底面の全方位において画像情報が存在するので、車両周囲の視界及び車両底面の視界を途切れることなく連続して確保することができる。
　また、本実施形態の表示システム１０によれば、車両底面画像Ｐ９が１枚の場合、合成画像ＣＰは車両底面画像Ｐ９（車両底面画像Ｐ９）を全ての車両周囲画像Ｐ１～Ｐ８（車両周辺画像Ｐ１～Ｐ８）に各々オーバラップさせて合成されるので、車両底面と車両周囲との水平方向の全周囲の境界部においても被写体が連続して映り込む。そのため、合成画像ＣＰには車両周囲と車両底面の境界部において画像情報が存在するので、車両周囲と車両底面との境界部における視界を途切れることなく連続して確保することができる。
　また、本実施形態の表示システム１０によれば、表示装置３０は、表示部３２と、受信部として機能する通信部３６により受信された合成画像ＣＰから表示部３２に表示する表示画像ＨＰを生成する表示画像生成部３４Ｂとを含んでいる。そのため、表示装置３０側において、表示画像生成部３４Ｂにより合成画像ＣＰから表示部３２に表示する表示画像ＨＰを生成できるので、表示装置３０の操作者である乗員の所望する視点や表示態様での表示画像ＨＰを表示部３２に表示することができる。
　また、本実施形態の表示システム１０によれば、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９には、車両２０の一部が含まれているので、合成画像ＣＰにおいて車両２０の周囲及び底面における死角の発生を防止することができる。
　　また、本実施形態の表示システム１０によれば、表示装置３０が車両２０に設けられているので、車両２０側でリアルタイムの車両周囲の視界及び車両底面の視界を確保することができる。
　また、本実施形態の表示システム１０によれば、合成画像ＣＰが、全天球画像であるため、合成画像ＣＰには、車両２０の水平方向及び垂直方向の３６０度すなわち車両２０を中心とした全方位が映り込んでいる。すなわち、合成画像ＣＰにおいて、各カメラの撮影方向が関連付けられている。そのため、乗員が表示部３２で車両２０を監視する際に、車両２０の周辺において死角が発生するのを防止することができる。
　また、近年、開発段階である自動運転システムにおいては、車両２０が自動運転を行う際に何らかの異常が発生した場合、車両２０を一時停止させる必要がある。本実施形態の表示システム１０によれば、車両２０が、車両２０の車体の下側が撮影領域となるように撮影範囲が設定された下側用の下方カメラ２３を含み、合成画像生成部２４Ｂが、下方カメラ２３により取得された車両底面画像Ｐ９も合成画像ＣＰに合成している。そのため、監視者は、遠隔監視にて、車体の下側を含めた車両２０の周囲を合成画像ＣＰに基づいて確認することができるので、一時停止した車両２０の復帰（再走行）を安全に行うことができる。
　また、本実施形態の表示システム１０によれば、表示画像生成部３４Ｂが、車両２０において設定されたモードに合わせた表示画像ＨＰを生成するので、車両２０の状況に応じた表示画像ＨＰを表示部３２に表示することができる。
　また、車両２０が例えば正常時走行モードや遠隔操縦モードである場合に、一例として、図９で示される表示画像ＨＰ１のように球体の全天球画像を表す合成画像ＲＰにおいて車両２０を見下ろす視点で生成された３６０度俯瞰画像が表示される。そして、乗員による画像Ａ２の移動操作が行われると、この移動操作に応じた視点から見た画像として、例えば図１０で示される表示画像ＨＰ２又は図１１で示される表示画像ＨＰ３が表示部３２に表示される。これにより、乗員は所望する視点から見た画像を視認することができる。
　また、車両２０が例えば異常時走行モードとなった際、一例として図１２又は図１３に示される表示画像ＨＰ４、ＨＰ５のように、異常と判断する対象が二人５２である場合に、車両２０に対してこの二人５２が位置する方向が矢印で示した画像Ａ４や×印で示した画像Ａ５によって呈示される。これにより、乗員は車両２０に対してどの方向で異常が発生しているのかを視認することができる。
　また、車両２０が例えば復帰時走行モードである場合に、図９で示される表示画像ＨＰ１のように車両２０の車体下側が視認可能な画像が表示される。そのため、異常時走行モードにより停止された車両２０を復帰（再走行）させる際に、乗員は車両２０の車体下側も確認することができるので、乗員により車両２０を安全に再走行させることができる。
　また、本実施形態の表示システム１０によれば、合成画像ＣＰは、縦方向と横方向との比率が１：２であるため、合成画像ＣＰをエクイレクタングラー形式すなわち正距円筒図法により構成することができる。
（変形例）
　図１４は移動体周囲画像としての車両周囲画像Ｐ１～Ｐ８と２枚の移動体底面画像としての車両底面画像Ｐ９、Ｐ１０の合成方法を説明するための説明図である。変形例においては、下方カメラ２３が車両２０の前部と後部に各々設置されており、これら２つの下方カメラ２３によって各々車両底面画像Ｐ９及び車両底面画像Ｐ１０が取得される。なお取得される２枚の車両底面画像Ｐ９、Ｐ１０には、各々共通する被写体が映り込んでいる。
　この場合、２枚の車両底面画像Ｐ９、Ｐ１０において共通する被写体が映り込んでいる範囲が、隣接する撮影領域が重なる重複部分となる。図１４に示されるように、２枚の車両底面画像Ｐ９、Ｐ１０の重複部分は斜線で示される第４領域ＯＶ４で示される。すなわち、車両底面画像Ｐ９の左右両側に各々車両底面画像Ｐ１０が位置し、各々が重複部分を有している。合成画像生成部２４Ｂは、この重複部分を画素単位でオーバラップさせることにより、２枚の車両底面画像Ｐ９、Ｐ１０を合成する。なお、オーバラップの方法については、公知の技術を使用することができる。なお、３枚以上の車両底面画像が取得された場合も同様にして、隣接する車両底面画像の重複部分を画素単位でオーバラップさせることにより、３枚以上の車両底面画像を合成する。
　また、合成された車両周辺画像Ｐ１～Ｐ８に合成された２枚の車両底面画像Ｐ９、Ｐ１０がさらに合成されて１枚の合成画像ＣＰが生成される。この際に、合成された車両周辺画像Ｐ１～Ｐ８は、少なくとも一方の車両底面画像Ｐ９、Ｐ１０とオーバラップして合成される。なお、図１４で示される第４領域ＯＶ４を含む領域においては、合成された車両周辺画像Ｐ１～Ｐ８は両方の車両底面画像Ｐ９、Ｐ１０とオーバラップして合成される。
　なお、変形例においては、車両底面画像Ｐ９が２枚の場合、合成画像ＣＰは複数の車両周囲画像Ｐ１～Ｐ８を少なくとも一方の車両底面画像Ｐ９、Ｐ１０に各々オーバラップさせて合成されるので、車両底面と車両周囲との水平方向の全周囲の境界部において被写体が連続して映り込む。そのため、合成画像ＣＰには車両周囲と車両底面との水平方向の全周囲の境界部において画像情報が存在するので、車両周囲と車両底面との境界部における視界を途切れることなく連続して確保することができる。
　また、変形例においては、車両底面画像Ｐ９が複数枚である場合、合成画像ＣＰは隣接する車両底面画像をオーバラップさせて合成されているので、車両底面において隣接する車両底面画像の境界部では被写体が連続して映り込む。そのため、合成画像ＣＰには車両底面の全方位において画像情報が存在するので車両底面画像を途切れることなく連続して確認することができる。
　次に、図１５を用いて本開示の第２実施形態に係る表示システム１０－２について説明する。図１５は本開示の第２実施形態に係る表示システム１０－２の概略構成を示すブロック図である。なお、本実施形態において図１に示される上記第１実施形態の構成と同様の箇所については同符号で示して詳細な説明は省略する。また、画像処理ＥＣＵ２４－２のハードウェア構成は、画像処理ＥＣＵ２４のハードウェア構成と同様であるため、図１６に示し、説明を省略する。表示制御ＥＣＵ３４－２のハードウェア構成も、画像処理ＥＣＵ３４のハードウェア構成と同様であるため、図１７に示し、説明を省略する。
　図１５に示されるように、本実施形態の表示システム１０－２においては、車両２０－２の画像処理ＥＣＵ２４－２が合成画像生成部２４Ｂを備えておらず、表示装置３０－２の表示制御ＥＣＵ３４－２が合成画像生成部３４Ｄを備えている。すなわち、合成画像ＣＰの生成は、車両２０－２側ではなく、表示装置３０－２側で行われる。そのため、車両２０－２の通信部２８－２は、移動体周囲画像としての車両周囲画像Ｐ１～Ｐ８及び移動体底面画像としての車両底面画像Ｐ９を送信する送信部としての機能を有している。また、表示装置３０－２の通信部３６－２は、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を受信する受信部としての機能を有している。
　表示制御ＥＣＵ３４－２は、上記実施形態の合成画像取得部３４Ａに替えて画像取得部３４Ｃを有している。画像取得部３４Ｃは、通信部３６－２が受信した車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を取得して、記録部３８に記憶させる。
　次に、本実施形態の作用及び効果について説明する。
　本実施形態の表示システム１０－２によれば、表示装置３０－２に含まれる合成画像生成部３４Ｄは、車両周囲画像Ｐ１～Ｐ８と車両底面画像Ｐ９とを合成して合成画像ＣＰを生成する。また、表示画像生成部３４Ｂは、合成画像生成部３４Ｄにより生成された合成画像ＣＰに基づいて表示画像ＨＰを生成する。そのため、表示部３２に表示される表示画像ＨＰは、リアルタイムで周囲撮影部２２により取得された車両周囲画像Ｐ１～Ｐ８及びリアルタイムで下方カメラ２３により取得された車両底面画像Ｐ９を含んでいるので、リアルタイムの車両周囲の視界及び車両底面の視界を確保することができる。
　また、本実施形態の表示システム１０－２によれば、車両２０－２が車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を送信し、表示装置３０－２が送信された車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を受信している。また、表示装置３０－２において受信した車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を合成して合成画像ＣＰを生成している。そのため、車両２０－２側において合成処理をしないので、その分速く表示装置３０－２側で車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を受信することができる。これにより、例えば車両２０－２よりも表示装置３０－２の方がより処理能力が高い場合には、より速く表示部３２に表示画像ＨＰを表示させることができる。
　［実施形態の補足説明］
　上記実施形態においては、周囲撮影部２２を構成するカメラ２２Ａ～２２Ｈ及び下方カメラ２３は、各々１８０度よりも大きい画角を有する円周魚眼レンズが使用されているが、本開示はこれに限られない。隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能であれば、例えば１４０度の画角を有する円周魚眼レンズであってもよいし、画角は限定されない。また、円周魚眼レンズではなく、対角線魚眼レンズや他の広角レンズ、超広角レンズ等を使用してもよい。
　また、上記実施形態においては、下方カメラ２３を車両２０の前部下側に１つ備えているが、本開示はこれに限られない。例えば、車両２０の後部下側にも下方カメラ２３を備えていてもよい。すなわち下側用のカメラは２つ以上であってもよいし、車両２０の車体の大きさに応じて適宜変更することができる。
　また、上記実施形態においては、周囲撮影部２２を構成する車両２０の水平方向のカメラ２２Ａ～２２Ｈは、８つとしたが、本開示はこれに限られない。隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能であれば、前方カメラ２２Ａ、右側方カメラ２２Ｃ、後方カメラ２２Ｅ、及び左側方カメラ２２Ｇの４つのカメラであってもよいし、各カメラの画角に応じて適宜変更することができる。また、周囲撮影部２２は、車両全周囲を撮影する全周囲カメラで構成されていてもよい。
　また、上記実施形態においては、下方カメラ２３で撮影された車両底面画像Ｐ９は、周縁部において車両周囲画像Ｐ１～Ｐ８の各々と共通する被写体がそれぞれ映り込んでいるとしたが、本開示はこれに限られない。例えば、車両２０の車体の底面２０Ａを撮影するカメラが車両２０の前部下側に１つだけ備えられている場合には、車両底面画像Ｐ９は、後方カメラ２２Ｅにより撮影された車両周囲画像Ｐ５と共通する被写体のみが映り込んでいてもよい。すなわち、車両２０の水平方向を撮影範囲とした撮影画像Ｐ１～Ｐ８のうち１つ以上の撮影画像と共通の被写体が映り込んでいればよい。
　車両底面画像Ｐ９に車両周囲画像Ｐ５と共通する被写体のみが映り込んでいる場合、生成された合成画像ＣＰにおいて、下方カメラ２３で撮影された車両底面画像Ｐ９に対応する車両底面画像Ｐ９は、車両周囲画像Ｐ５に対応する車両周辺画像Ｐ５の下端で合成され、車両底面画像Ｐ９の右側はブランク画像ＢＰとされる。
　また、上記実施形態においては、合成画像ＣＰは平面状態の全天球画像としたが、本開示はこれに限られない。合成画像ＣＰは、全天周画像や、上部が欠けているパノラマ画像であってもよいし、下部のみが欠けているパノラマ画像、すなわち車両水平方向のみ３６０度を撮影した３６０度パノラマ画像に車両底面画像Ｐ９を合成した画像であってもよい。
　また、上記実施形態においては、全天球画像としてエクイレクタングラー形式（正距円筒図法）を使用したが、本開示はこれに限られない。例えば、サイコロを分解したように正六面体のスクリーン６面に平面画像を貼り付けて、その中央から画像を見た際に３６０度が正しく見えるキューブマップ形式を使用してもよいし、プラネタリウム等において使用されるドームマスター形式等を使用してもよい。使用する形式は公知の技術を使用することができる。
　また、上記実施形態においては、表示画像生成部３４Ｂは、平面状態の全天球画像を球体の全天球画像に変換する処理を行っているが本開示はこれに限られない。例えば、合成画像生成部２４Ｂが、平面状態の全天球画像を球体の全天球画像に変換する処理を行い、球体の全天球画像で表される合成画像ＲＰを表示装置３０に送信してもよい。
　また、上記実施形態においては、合成画像生成部２４Ｂが、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９から合成画像ＣＰに投影変換する処理を行っているが、本開示はこれに限られない。例えば、合成画像生成部２４Ｂは、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９から直接俯瞰画像を生成し、この俯瞰画像を合成画像として使用してもよい。
　また、上記実施形態においては、表示装置３０は１つの表示部３２を備えているが、本開示はこれに限られず複数の表示部３２を備えていてもよい。
　また、上記実施形態においては、図９に示されるように、画像Ａ２を時計回り又は反時計回りの回転方向に移動させることにより、乗員が見たい方向を変更しているが本開示はこれに限られない。例えば、表示部３２に図１０で示される表示画像ＨＰ２が表示されている場合には、合成画像生成部２４Ｂは、例えば乗員のタッチパネル等の入力手段によって移動されるポインタ（図示省略）を表示画像ＨＰ２上に合成する。表示画像生成部３４Ｂは、このポインタの表示画像ＨＰ２の移動距離及び移動方向を検出し、この検出した移動距離及び移動方向に応じて合成画像ＣＰにおける切り出し範囲を決定してもよい。
　また、上記第１実施形態においては、通信部２８は、合成画像ＣＰを送信する送信部としての機能と、その他の情報を送信する送信部としての機能の両方を備えているが、本開示はこれに限られない。合成画像ＣＰを送信する送信部は通信部２８とは別に設けられていてもよい。このように、合成画像ＣＰの送信に特化した送信部を設けることにより、合成画像ＣＰの通信処理速度をより速くすることが可能となる。
　また、上記第１実施形態においては、通信部３６は、合成画像ＣＰを受信する受信部としての機能と、その他の情報を送受信する送受信部としての機能の両方を備えているが、本開示はこれに限られない。合成画像ＣＰを受信する受信部は通信部３６とは別に設けられていてもよい。このように、合成画像ＣＰの受信に特化した受信部を設けることにより、合成画像ＣＰの通信処理速度をより速くすることが可能となる。
　また、上記第２実施形態においては、通信部２８－２は、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を送信する送信部としての機能と、その他の情報を送信する送信部としての機能の両方を備えているが、本開示はこれに限られない。車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を送信する送信部は通信部２８－２とは別に設けられていてもよい。このように、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９の送信に特化した送信部を設けることにより、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９の通信処理速度をより速くすることが可能となる。
　また、上記第２実施形態においては、通信部３６－２は、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を受信する受信部としての機能と、その他の情報を送受信する送受信部としての機能の両方を備えているが、本開示はこれに限られない。車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９を受信する受信部は通信部３６－２とは別に設けられていてもよい。このように、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９の受信に特化した受信部を設けることにより、車両周囲画像Ｐ１～Ｐ８及び車両底面画像Ｐ９の通信処理速度をより速くすることが可能となる。
　また、上記実施形態においては、表示装置３０は、車両２０に搭載されているが本開示はこれに限られない。例えば、外部に設けられた遠隔監視装置（図示省略）に搭載されていてもよい。この場合、車両２０の通信部２８と遠隔監視装置側すなわち表示装置３０側の通信部３６は、上述したネットワークを経由して互いに通信される。なお、ネットワークによる通信はクラウドサーバ（図示省略）介して行うこともできる。
　このように、表示装置３０が、外部に設けられた遠隔監視装置に搭載される場合には、遠隔監視装置側でリアルタイムの車両周囲の視界及び車両底面の視界を確保することができる。なおこの場合、移動体は車両２０でなくてもよい。移動体は例えば荷物や配送物等を運ぶモビリティであってもよいし、自立走行可能なロボットであってもよいし、自立走行可能であれば何れの態様であってもよい。
　また、上記実施形態においては、車両２０、２０－２の構成と、車両２０、２０－２に搭載された表示装置３０、３０－２の構成とが各々別のバス６５及びバス７５で繋がっているが、本開示はこれに限られず、同じバスで繋がっていてもよい。
　また、上記実施形態で図１６に示されるＣＰＵ６０及び図１７に示されるＣＰＵ７０がソフトウェア（プログラム）を読み込んで実行した各処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記実施形態で説明したプログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の非一時的記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　以上、本開示の一例について説明したが、本開示は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
　２０２２年９月３０日に出願された日本国特許出願２０２２－１５９０５４号の開示は、その全体が参照により本明細書に取り込まれる。
　本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。

Claims (9)

  1. 　移動体の周囲を撮影して移動体周囲画像を取得する周囲撮影部と、
    　前記移動体の下側を撮影して移動体底面画像を取得する下側撮影部と、を含む移動体と、
    　表示部を含む表示装置と、
    　前記移動体又は前記表示装置に含まれ、前記周囲撮影部により取得された移動体周囲画像と前記下側撮影部により取得された移動体底面画像とを合成して合成画像を生成する合成画像生成部と、
    　前記移動体及び前記表示装置に各々含まれ、画像データを送信又は受信する通信部と、
    　を備える表示システム。
  2. 　前記移動体は、前記合成画像生成部を含み、
    　前記移動体側の前記通信部は、前記合成画像生成部により生成された前記合成画像を送信する送信部を含んで、
    　前記表示装置側の前記通信部は、前記送信部から送信された前記合成画像を受信する受信部を含む請求項１に記載の表示システム。
  3. 　前記移動体側の前記通信部は、前記周囲撮影部により取得された前記移動体周囲画像及び前記下側撮影部により取得された前記移動体底面画像を送信する送信部を含み、
    　前記表示装置側の前記通信部は、前記送信部から送信された前記移動体周囲画像及び前記移動体底面画像を受信する受信部を含んで、
    　前記表示装置は、前記合成画像生成部を含む請求項１に記載の表示システム。
  4. 　前記周囲撮影部が複数の前記移動体周囲画像を取得する場合、
    　前記合成画像生成部は、全ての隣接する前記移動体周囲画像及び前記移動体底面画像を各々オーバラップさせて合成する請求項１に記載の表示システム。
  5. 　前記周囲撮影部が複数の前記移動体周囲画像を取得し、前記下側撮影部が１枚の前記移動体底面画像を取得する場合、
    　前記合成画像生成部は、前記移動体底面画像を全ての前記移動体周囲画像と各々オーバラップさせて合成する請求項１に記載の表示システム。
  6. 　前記周囲撮影部が複数の前記移動体周囲画像を取得し、前記下側撮影部が２枚の前記移動体底面画像を取得する場合、
    　前記合成画像生成部は、複数の前記移動体周囲画像を少なくとも一方の前記移動体底面画像と各々オーバラップさせて合成する請求項１に記載の表示システム。
  7. 　前記下側撮影部が複数の前記移動体底面画像を取得する場合、
    　前記合成画像生成部は、隣接する前記移動体底面画像をオーバラップさせて合成する請求項１に記載の表示システム。
  8. 　前記表示装置は、
    　前記合成画像から前記表示部に表示する表示画像を生成する表示画像生成部を含む請求項１に記載の表示システム。
  9. 　前記移動体周囲画像及び前記移動体底面画像には、前記移動体の一部が含まれている請求項１に記載の表示システム。
PCT/JP2023/028192 2022-09-30 2023-08-01 表示システム WO2024070202A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022159054A JP2024052375A (ja) 2022-09-30 2022-09-30 表示システム
JP2022-159054 2022-09-30

Publications (1)

Publication Number Publication Date
WO2024070202A1 true WO2024070202A1 (ja) 2024-04-04

Family

ID=90477149

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/028192 WO2024070202A1 (ja) 2022-09-30 2023-08-01 表示システム

Country Status (2)

Country Link
JP (1) JP2024052375A (ja)
WO (1) WO2024070202A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138720A (ja) * 2003-11-07 2005-06-02 Denso Corp 障害物検出装置、障害物検出プログラム、及び記憶媒体
JP2006285440A (ja) * 2005-03-31 2006-10-19 Denso It Laboratory Inc 走行可否判定装置及び走行可否判定方法
JP2012121384A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 画像表示システム
JP2015076062A (ja) * 2013-10-11 2015-04-20 富士通テン株式会社 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
US20160101734A1 (en) * 2014-10-13 2016-04-14 Lg Electronics Inc. Under vehicle image provision apparatus and vehicle including the same
JP2019103044A (ja) * 2017-12-06 2019-06-24 クラリオン株式会社 画像表示装置及び駐車支援システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138720A (ja) * 2003-11-07 2005-06-02 Denso Corp 障害物検出装置、障害物検出プログラム、及び記憶媒体
JP2006285440A (ja) * 2005-03-31 2006-10-19 Denso It Laboratory Inc 走行可否判定装置及び走行可否判定方法
JP2012121384A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 画像表示システム
JP2015076062A (ja) * 2013-10-11 2015-04-20 富士通テン株式会社 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
US20160101734A1 (en) * 2014-10-13 2016-04-14 Lg Electronics Inc. Under vehicle image provision apparatus and vehicle including the same
JP2019103044A (ja) * 2017-12-06 2019-06-24 クラリオン株式会社 画像表示装置及び駐車支援システム

Also Published As

Publication number Publication date
JP2024052375A (ja) 2024-04-11

Similar Documents

Publication Publication Date Title
WO2019192359A1 (zh) 一种车载全景视频显示系统、方法及车载控制器
US8576285B2 (en) In-vehicle image processing method and image processing apparatus
US20130002809A1 (en) Image generating apparatus, synthesis table generating apparatus, and computer readable storage medium
JP5182042B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
US10930070B2 (en) Periphery monitoring device
JP4643860B2 (ja) 車両用視覚支援装置及び支援方法
WO2002089485A1 (fr) Procede et dispositif pour la presentation d'une image de camera embarquee a bord d'un vehicule
JP2006054662A (ja) 運転支援装置
JP2024063155A (ja) 移動体、画像処理方法、およびコンピュータプログラム
JP7168367B2 (ja) 事故通報装置
CN111815752B (zh) 图像处理方法、装置和电子设备
WO2024070202A1 (ja) 表示システム
WO2024070203A1 (ja) 遠隔監視システム
EP4155817A1 (en) Camera unit installing method, mobile object, image processing system, image processing method, and storage medium
JP2004235986A (ja) 監視システム
JP4339749B2 (ja) 画像生成方法および画像生成装置
US20240177492A1 (en) Image processing system, image processing method, and storage medium
US20240048843A1 (en) Local compute camera calibration
US20230094232A1 (en) Image processing system, image processing method, storage medium, image pickup apparatus, and optical unit
US20230394845A1 (en) Movable apparatus, control method for movable apparatus, and storage medium
JP2023169512A (ja) 監視システム、監視システムの制御方法およびプログラム
JP2024078751A (ja) 画像処理システム、画像処理方法、およびコンピュータプログラム
JP2023047328A (ja) 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23871444

Country of ref document: EP

Kind code of ref document: A1