WO2024070203A1 - 遠隔監視システム - Google Patents

遠隔監視システム Download PDF

Info

Publication number
WO2024070203A1
WO2024070203A1 PCT/JP2023/028193 JP2023028193W WO2024070203A1 WO 2024070203 A1 WO2024070203 A1 WO 2024070203A1 JP 2023028193 W JP2023028193 W JP 2023028193W WO 2024070203 A1 WO2024070203 A1 WO 2024070203A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
remote monitoring
vehicle
composite image
Prior art date
Application number
PCT/JP2023/028193
Other languages
English (en)
French (fr)
Inventor
葛谷 麻未 久保
博基 石塚
和也 海野
貴洋 山田
Original Assignee
株式会社東海理化電機製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東海理化電機製作所 filed Critical 株式会社東海理化電機製作所
Publication of WO2024070203A1 publication Critical patent/WO2024070203A1/ja

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to a remote monitoring system.
  • JP 2019-156299 A discloses a vehicle remote control system equipped with a vehicle that generates a composite image, i.e., an overhead image, showing the area around the vehicle as seen from a virtual viewpoint, based on multiple images captured by multiple cameras mounted on the vehicle.
  • a display image for display on the monitor of a remote monitoring device is generated on the vehicle side based on the overhead image, and the generated display image is transmitted to the remote monitoring device and displayed on the monitor of the remote monitoring device.
  • the present disclosure provides a remote monitoring system that makes it easy to process images on the remote monitoring device side.
  • the remote monitoring system of the first aspect of the present disclosure comprises a mobile body including four or more image capture units mounted on the mobile body and capable of setting the image capture range so that an overlapping portion is formed where adjacent image capture areas overlap, a composite image generation unit that combines four or more captured images captured by the four or more image capture units by overlapping the overlapping portions to generate a composite image including the entire surroundings of the mobile body in the horizontal direction of the mobile body, and a transmission unit that transmits the composite image generated by the composite image generation unit, and a remote monitoring device including a receiving unit that receives the composite image transmitted from the mobile body.
  • the moving body includes a composite image generation unit that generates a composite image including the entire surroundings of the moving body in the horizontal direction of the moving body by overlapping four or more captured images taken by four or more imaging units, and a transmission unit that transmits the generated composite image.
  • the remote monitoring device includes a receiving unit that receives the composite image transmitted from the moving body. Therefore, the remote monitoring device can obtain a composite image including the entire surroundings of the moving body in the horizontal direction of the moving body. Since the composite image contains information about the entire surroundings of the moving body in the horizontal direction of the moving body, the remote monitoring device can perform image processing based on this obtained composite image. This makes it easier to process images on the remote monitoring device side.
  • the second aspect of the remote monitoring system of the present disclosure is the remote monitoring system of the first aspect, in which the shooting range of each of the four or more captured images is set to include a portion of the moving object.
  • the shooting range of each of the four or more captured images is set to include a portion of the moving object, thereby preventing blind spots around the moving object in the composite image.
  • the remote monitoring system of the third aspect of the present disclosure is the remote monitoring system of the first or second aspect, in which the moving body further includes a lower side imaging unit whose imaging range is set so that the lower side of the moving body, including a part of the moving body, becomes the imaging area, and the composite image generation unit also composites the lower side imaging image acquired by the lower side imaging unit into the composite image.
  • the moving body includes a lower side shooting unit whose shooting range is set so that the lower side of the moving body, including a part of the moving body, becomes the shooting area, and the composite image generation unit also synthesizes the lower side shooting image acquired by the lower side shooting unit into the composite image. Therefore, the monitor can check the surroundings of the moving body, including the underside of the vehicle body, based on the composite image during remote monitoring, and the remote monitoring device can determine the return (restart) of the temporarily stopped moving body.
  • the moving body since the moving body includes a lower side shooting unit whose shooting range is set so that the lower side of the moving body, including a part of the moving body, becomes the shooting area, the accuracy can be improved when synthesizing the lower side shooting area into the composite image.
  • a remote monitoring system is a remote monitoring system according to any one of the first to third aspects, in which the composite image is a spherical image.
  • the composite image is a celestial sphere image, so that the composite image reflects 360 degrees in the horizontal and vertical directions of the moving body, that is, in all directions from the moving body. Therefore, when the remote monitoring device remotely monitors the moving body, it is possible to prevent blind spots from occurring around the moving body, thereby realizing safe mobility control.
  • a remote monitoring system is a remote monitoring system according to any one of the first to fourth aspects, in which the remote monitoring device includes a display unit and a display image generating unit that generates a display image to be displayed on the display unit from the composite image received by the receiving unit.
  • the remote monitoring device includes a display unit and a display image generating unit that generates a display image to be displayed on the display unit from the composite image received by the receiving unit. Therefore, on the remote monitoring device side, the display image generating unit can generate a display image to be displayed on the display unit from the composite image, so that the display image can be displayed on the display unit from the viewpoint and display mode desired by the monitor.
  • the sixth aspect of the remote monitoring system of the present disclosure is the fifth aspect of the remote monitoring system, in which the display image generating unit generates the display image based on the traveling conditions of the moving object.
  • the display image generating unit generates a display image based on the traveling conditions of the mobile object, so that a display image according to the traveling conditions of the mobile object can be displayed on the display unit. This allows the monitor to visually recognize the display image according to the traveling condition of the mobile object.
  • the seventh aspect of the remote monitoring system of the present disclosure is the fifth aspect of the remote monitoring system, in which the display image generating unit generates the display image in accordance with the mode set in the moving body.
  • the display image generating unit generates a display image that matches the mode set in the mobile object, so that a display image that corresponds to the setting mode of the mobile object can be displayed on the display unit. This allows the monitor to visually recognize the display image that corresponds to the setting mode of the mobile object.
  • the remote monitoring system of the eighth aspect of the present disclosure is a remote monitoring system of any one of the first to seventh aspects, in which the composite image has a vertical to horizontal ratio of 1:2.
  • the composite image has a vertical to horizontal ratio of 1:2, so the composite image can be constructed in equirectangular format, i.e., equirectangular projection.
  • the remote monitoring system disclosed herein has the excellent effect of making it easier to process images on the remote monitoring device side.
  • FIG. 1 is a configuration diagram illustrating a schematic configuration of a remote monitoring system according to an embodiment of the present disclosure.
  • 1 is a block diagram showing a schematic configuration of a remote monitoring system according to an embodiment of the present disclosure.
  • 3A to 3C are diagrams showing positions at which cameras are installed on a vehicle and images captured at each position.
  • FIG. 11 is an explanatory diagram for explaining a method of synthesizing images.
  • FIG. 11 is an explanatory diagram for explaining an equirectangular composite image.
  • FIG. 1 is an explanatory diagram for explaining conversion from an equirectangular format to a spherical format in a celestial sphere image.
  • FIG. 4 is a diagram showing an example of a display image displayed on a display unit of the remote monitoring device.
  • FIG. 4 is a diagram showing an example of a display image displayed on a display unit of the remote monitoring device.
  • FIG. 4 is a diagram showing an example of a display image displayed on a display unit of the remote monitoring device.
  • FIG. 4 is a diagram showing an example of a display image displayed on a display unit of the remote monitoring device.
  • FIG. 4 is a diagram showing an example of a display image displayed on a display unit of the remote monitoring device.
  • FIG. 4 is a diagram showing an example of a display image displayed on a display unit of the remote monitoring device.
  • FIG. 4 is a diagram showing an example of a display image displayed on a display unit of the remote monitoring device.
  • FIG. 2 is a diagram illustrating a hardware configuration of an image processing ECU 24 serving as an image processing device according to the present disclosure.
  • 2 is a diagram showing a hardware configuration of a display control ECU 34 serving as a display control device according to the present disclosure.
  • a remote monitoring system 10 according to an embodiment of the present disclosure will be described with reference to Figures 1 to 12. Note that in the following description, when the front-rear, left-right, top-bottom directions are mentioned, they refer to the front-rear, left-right, top-bottom directions of the vehicle.
  • FIG. 1 is a configuration diagram showing the general configuration of a remote monitoring system 10 according to this embodiment
  • FIG. 2 is a block diagram showing the general configuration of a remote monitoring system 10 according to an embodiment of the present disclosure.
  • the remote monitoring system 10 of this embodiment is configured to include a vehicle 20 as a moving body, a remote monitoring device 30, and a network 40.
  • the vehicle 20 is an autonomous vehicle capable of automatic driving, and in this embodiment is configured to allow passengers to ride in it.
  • the vehicle 20 is equipped with an image capture device 22, an image processing ECU 24 as an image processing device including a communication unit 28, and a vehicle control device 26.
  • the image capture device 22 in this embodiment is equipped with nine cameras: a front camera 22A, a right front camera 22B, a right side camera 22C, a right rear camera 22D, a rear camera 22E, a left rear camera 22F, a left side camera 22G, a left front camera 22H, and a downward camera 22J.
  • These nine cameras 22A-22J each correspond to the imaging unit of the present disclosure, and as an example, each uses a circular fisheye lens with an angle of view greater than 180 degrees.
  • Images captured by a circular fisheye lens are fisheye images, characterized in that subjects near the center of the imaging range appear large and subjects on the periphery of the imaging range appear small, and the imaging range is represented by a circular image.
  • the "captured image” may be a still image or a video.
  • FIG. 3 shows the positions where the nine cameras 22A-22J are disposed on the vehicle 20 and the images captured at each position.
  • the front camera 22A is mounted on the front of the vehicle 20, and the image P1 captured by the front camera 22A reflects the front of the vehicle 20.
  • the right front camera 22B is mounted on the right front of the vehicle 20, and the image P2 captured by the right front camera 22B reflects the right front of the vehicle 20.
  • the right side camera 22C is mounted on the right side of the vehicle 20, and the image P3 captured by the right side camera 22C reflects the right side of the vehicle 20.
  • the right rear camera 22D is mounted on the right rear of the vehicle 20, and the image P4 captured by the right rear camera 22D reflects the right rear of the vehicle 20.
  • the rear camera 22E is mounted on the rear of the vehicle 20, and the rear of the vehicle 20 is reflected in the captured image P5 captured by the rear camera 22E.
  • the left rear camera 22F is mounted on the left rear of the vehicle 20, and the captured image P6 captured by the left rear camera 22F reflects the left rear of the vehicle 20.
  • the left side camera 22G is mounted on the left side of the vehicle 20, and the captured image P7 captured by the left side camera 22G reflects the left side of the vehicle 20.
  • the left front camera 22H is mounted on the left front of the vehicle 20, and the captured image P8 captured by the left front camera 22H reflects the left front of the vehicle 20.
  • the lower camera 22J is mounted on the lower side of the front of the vehicle 20, and the captured image P9 captured by the lower camera 22J reflects the bottom surface 20A of the body of the vehicle 20 and the ground G (including the road, etc.) on which the vehicle 20 is located.
  • This captured image P9 corresponds to the lower captured image of the present disclosure.
  • the shooting ranges of the nine cameras 22A-22J of the imaging device 22 are set so that there is an overlapping area where the shooting areas of the adjacent cameras overlap. That is, the right end of the captured image P1 contains a subject that is also captured in the captured image P2, and the left end of the captured image P1 contains a subject that is also captured in the captured image P8.
  • each of the captured images P2 to P8 also has a subject reflected at the left and right ends that is common to the adjacent captured images.
  • a subject that is common to the captured image P9 is reflected at the bottom end of each of the captured images P1 to P8.
  • a subject that is common to one of the captured images P1 to P8 is reflected at the periphery of the captured image P9.
  • part of the vehicle 20 is reflected in the captured images P1 to P8.
  • the image processing ECU 24 is mounted on the vehicle 20 as an image processing device.
  • the image processing ECU 24 is configured to include a CPU (Central Processing Unit) 60, a ROM (Read Only Memory) 61, a RAM (Random Access Memory) 62, a storage 63, a communication interface (abbreviated as "communication I/F” in FIG. 13), etc., and each component is connected to be able to communicate with each other via a bus 65.
  • the CPU 60 reads a program from the ROM 61 or the storage 63, and executes the program using the RAM 62 as a working area.
  • the communication interface 64 functions as the communication unit 28 in response to a command from the CPU 60, and is an interface for communicating with an external device via a wired or wireless connection such as the bus 65.
  • a communication module located outside the image processing ECU 24 can also be used.
  • the image processing ECU 24 has an image acquisition unit 24A and a composite image generation unit 24B as its functional components, and the image acquisition unit 24A and the composite image generation unit 24B are executed by the CPU 60 as a processor reading a program from the ROM 61 as a memory or the storage 63 as a memory, and executing the program using the RAM 62 as a working area.
  • the image acquisition unit 24A acquires image data representing each of the nine captured images P1 to P9 taken by the nine cameras 22A to 22J of the imaging device 22.
  • each captured image is composed of approximately 2 million pixels. The number of pixels of the captured image can be changed as appropriate depending on the performance of the camera used, etc.
  • the composite image generating unit 24B generates a composite image CP by combining nine captured images P1 to P9, each of which represents the image data acquired by the image acquiring unit 24A.
  • the composite image CP is a celestial sphere image that represents all directions that can be seen from the vehicle 20, which is the shooting point, that is, the entire surroundings (all directions) of the vehicle.
  • the composite image generator 24B prestores information necessary to convert the nine captured images P1 to P9 captured by the nine cameras 22A to 22J into a spherical image.
  • This information includes position information that indicates the physical positional relationship of the circular fisheye lenses of the nine cameras 22A to 22J, projection information that indicates the relationship between the image heights of the captured images P1 to P9 and the angles of incidence of the circular fisheye lenses, information that indicates the shooting directions of the nine cameras 22A to 22J, and information that indicates the characteristics of the circular fisheye lenses. This information is derived in advance by performing calibration.
  • the composite image generating unit 24B uses a known technique to perform projection transformation on the nine fisheye images P1 to P9 based on the necessary information, and synthesizes them to generate a composite image CP.
  • the above-mentioned overlapping portions are overlapped when synthesizing the composite image CP.
  • the overlapping portion between the photographed image P6 and the photographed image P5 is indicated by a first shaded area OV1
  • the overlapping portion between the photographed image P6 and the photographed image P7 is indicated by a second shaded area OV2.
  • the composite image generating unit 24B synthesizes the photographed images P1 to P8 by overlapping the overlapping portions on a pixel-by-pixel basis. Note that a known technique can be used for the overlap process.
  • photographed image P9 is composited with the composite photographed images P1 to P8.
  • a subject common to each of photographed images P1 to P8 is reflected in the peripheral portion of photographed image P9, and the range in which this common subject is reflected becomes the overlapping portion where adjacent photographed areas overlap.
  • the overlapping portion between photographed image P6 and photographed image P9 is indicated by the third area OV3 indicated by diagonal lines.
  • the composite image generating unit 24B composites photographed image P9 below photographed images P1 to P8 by overlapping this overlapping portion on a pixel-by-pixel basis. Note that known techniques can be used as the overlapping method.
  • Figure 5 is an explanatory diagram for explaining an equirectangular (equirectangular projection) composite image.
  • an equirectangular composite image is an image with a vertical to horizontal ratio of 1:2.
  • the equirectangular format is a format in which a rectangular composite image with a vertical to horizontal ratio of 1:2 is pasted onto a spherical screen, and when the composite image is viewed from the center, 360 degrees is seen correctly.
  • the composite image generating unit 24B generates an equirectangular composite image CP, that is, a composite image CP with a vertical to horizontal ratio of 1:2.
  • the equirectangular composite image CP is a spherical image in a flat state.
  • the composite image CP is composed of image data of 3840 x 1920 pixels, that is, approximately 7.4 million pixels. The number of pixels of the composite image CP can be changed as appropriate to match the performance of the display unit of the remote monitoring device 30, which will be described later.
  • a omnidirectional image is an image expressed in a coordinate system including angular coordinates around a specific axis, and is expressed as an array of pixel values whose coordinates are the vertical angle ⁇ made with respect to the axis in the pitch direction and the horizontal angle ⁇ corresponding to the angle of rotation around the axis in the yaw direction, with the radius being a constant n (for example, 1).
  • the vertical angle ⁇ is in the range of -90 degrees to +90 degrees (or 0 degrees to 180 degrees)
  • the horizontal angle ⁇ is in the range of -180 degrees to +180 degrees (or 0 degrees to 360 degrees).
  • the composite image generating unit 24B determines that the lateral direction of the composite image CP represents the entire horizontal circumference of the vehicle 20, i.e., 360 degrees, and therefore coincides with the lateral direction of the composite images P1 to P8. Furthermore, a photographed image P9 is composited with the lower end of the composite images P1 to P8, and the lower end of this photographed image P9 coincides with the lower end of the composite image CP. In this embodiment, the area directly above the vehicle 20 is not reflected in the photographed images P1 to P8.
  • the composite image generating unit 24B reads out the angle of view of the upper side of the photographed images P1 to P8 from pre-stored information, and the coordinate position of the upper end of the composite images P1 to P8 is determined according to the read angle of view.
  • the coordinates corresponding to the area directly above the vehicle 20 that is not photographed by the cameras 22A-22H are shown as blanks with uniform pixel values as shown in FIG. 5.
  • they are shown with pixel values representing black, and this black area is called the blank image BP.
  • the composite image generation unit 24B generates the composite image CP.
  • the vehicle control device 26 is a device that controls automatic driving, which causes the vehicle 20 to travel autonomously, based on information detected by various sensors (not shown) mounted on the vehicle 20 and the captured images P1 to P9 captured by the imaging device 22.
  • the vehicle control device 26 can use known technology.
  • the vehicle control device 26 also has a function of controlling the travel of the vehicle 20 through operations from the remote monitoring device 30.
  • the vehicle control device 26 is also configured to be able to set various modes, such as, for example, a normal driving mode, an abnormal driving mode, a recovery driving mode, and a remote control mode.
  • the vehicle control device 26 automatically selects one of the above modes based on the information detected by the above-mentioned sensors and the captured images P1 to P9, and drives the vehicle 20.
  • the vehicle control device 26 selects the normal driving mode in normal times, and selects the abnormal driving mode when, for example, an object determined to be abnormal is detected by notification information from the autonomous driving system or sensing by the above-mentioned sensors. Specifically, when the abnormal driving mode is selected by the vehicle control device 26, the vehicle 20 is stopped.
  • the recovery driving mode is selected by the vehicle control device 26 when the vehicle 20 starts driving after being stopped. Specifically, the vehicle control device 26 confirms that there are no abnormalities in the vehicle 20 through sensing by the autonomous driving system or the above-mentioned sensors, or transmits a signal to the remote monitoring device 30 to confirm that there are no abnormalities.
  • the remote control mode is selected by the vehicle control device 26 when the vehicle 20 is to be controlled by the remote monitoring device 30. Specifically, the vehicle control device 26 transmits a signal to the remote monitoring device 30 to cause it to perform remote control.
  • the vehicle control device 26 transmits the driving status of the vehicle 20, i.e., the currently selected mode, to the remote monitoring device 30 via the communication unit 28.
  • the vehicle control device 26 may also transmit "anomaly information" indicating the occurrence of an abnormality to the remote monitoring device 30 via the communication unit 28, for example, when an object that is determined to be abnormal is detected by notification information from the autonomous driving system or sensing by the above-mentioned sensor.
  • the communication unit 28 is an interface for communicating with external devices, and also functions as a transmission unit that transmits the composite image CP generated by the composite image generation unit 24B.
  • the communication unit 28 also functions as a transmission unit that transmits the driving status of the vehicle 20, i.e., the currently selected mode.
  • the remote monitoring device 30 includes a display device 32 as a display unit, a display control ECU 34 as a display control device including a communication unit 38, a remote control device 36, and a recording unit 39.
  • the display device 32 has, as an example, four display units: a first display unit 32A, a second display unit 32B, a third display unit 32C, and a fourth display unit 32D.
  • the first to fourth display units 32A to 32D are arranged, for example, two vertically and two horizontally.
  • the first display unit 32A is arranged on the upper left side
  • the second display unit 32B on the upper right side
  • the third display unit 32C on the lower left side
  • the fourth display unit 32D on the lower right side.
  • the first display unit 32A displays operation information of multiple vehicles 20, and the second display unit 32B displays vehicle information such as the type of vehicle 20 currently in operation, the number of occupants, and the driving route.
  • the third display unit 32C and the fourth display unit 32D display a display image HP generated based on the composite image CP received from each vehicle 20. It is also possible to display the composite image CP as is.
  • the first to fourth display units 32A to 32D have the ability to display images corresponding to 4K resolution, as an example, but the performance of each display unit is not limited to this, and they do not all have to have the same performance, and they may have the ability to display images with a lower resolution than 4K or a higher resolution than 4K, and can be changed as appropriate.
  • the communication unit 38 is an interface for communicating with an external device, and also functions as a receiving unit that receives the composite image CP transmitted from the communication unit 28 of the vehicle 20.
  • the communication unit 28 of the vehicle 20 and the communication unit 38 of the remote monitoring device 30 communicate with each other via a network 40, as shown in FIG. 1.
  • the network 40 is composed of a short-range wireless communication module such as WiFi (registered trademark) or Bluetooth (registered trademark), or a mobile line that is a wide-area wireless communication module such as 4G, LTE, or 5G. Note that communication via the network 40 can also be performed via a cloud server (not shown).
  • the recording unit 39 is a non-volatile memory such as a flash memory, and records the composite image CP received by the communication unit 38. It also records various data such as the vehicle speed and steering angle of the vehicle 20 transmitted from the communication unit 28 of the vehicle 20.
  • the remote control device 36 has the function of remotely controlling the vehicle 20, and can, for example, stop the vehicle 20 or make the vehicle 20 run under conditions desired by the monitor.
  • the remote control device 36 can use known technology.
  • the display control ECU 34 as a display control device is a device that displays images, information, etc. on the display device 32, and as shown in FIG. 14, includes a CPU (Central Processing Unit) 70, a ROM (Read Only Memory) 71, a RAM (Random Access Memory) 72, a storage 73, and a communication interface (abbreviated as "communication I/F" in FIG. 14) 74. Each component is connected to each other so that they can communicate with each other via a bus 75.
  • the CPU 70 reads a program from the ROM 71 or the storage 73, and executes the program using the RAM 72 as a working area.
  • the communication interface 74 functions as the communication unit 38 according to instructions from the CPU 70, and is an interface for communicating with an external device by wire or wirelessly via the bus 75, etc.
  • the communication interface 74 functions as the communication unit 38, but a communication module arranged outside the display control ECU 34 can also be used.
  • the display control ECU 34 has a composite image acquisition unit 34A and a display image generation unit 34B as its functional components, and the composite image acquisition unit 34A and the display image generation unit 34B are executed by the CPU 70 as a processor reading a program from the ROM 71 as a memory or the storage 73 as a memory, and executing the program using the RAM 72 as a working area.
  • the composite image acquisition unit 34A acquires the composite image CP received by the communication unit 38 and stores it in the recording unit 39.
  • the display image generating unit 34B generates a display image HP to be displayed on the display device 32 (in this embodiment, the third display unit 32C and the fourth display unit 32D). Specifically, the display image generating unit 34B generates the display image HP based on the composite image CP.
  • FIG. 6 is an explanatory diagram for explaining conversion from equirectangular to spherical format in a spherical image.
  • the display image generating unit 34B converts a point Pe( ⁇ , ⁇ ) on the composite image CP shown in the left diagram of FIG. 6 into a point Ps(xs, ys, zs) on a unit sphere shown in the right diagram of FIG. 6.
  • ⁇ represents longitude
  • ⁇ represents latitude.
  • the display image generating unit 34B converts the planar omnidirectional image into a spherical omnidirectional image using the above conversion formulas (1) to (3).
  • the display image generating unit 34B generates a display image HP in a display mode desired by the monitor operating the remote monitoring device 30, based on the composite image CP and the spherical composite image RP that represents the converted spherical omnidirectional image.
  • the equirectangular planar composite image CP contains information on all directions as seen from the origin, it is also possible to generate a composite image of any shape other than a sphere, such as a cylinder as seen from above, based on this composite image CP.
  • the display image generating unit 34B can also use the composite image CP as it is as the display image HP.
  • FIGS. 7 to 12 are diagrams showing an example of a display image HP displayed on the third display unit 32C or the fourth display unit 32D of the remote monitoring device 30.
  • the third display unit 32C and the fourth display unit 32D each display a display image HP generated by the display image generating unit 34B based on a composite image CP transmitted from a different vehicle 20.
  • the following describes an example in which a display image HP generated for a composite image CP transmitted from one vehicle 20 is displayed on the third display unit 32C.
  • a display image HP is generated in the same manner as for the one vehicle 20, and is displayed on the fourth display unit 32D.
  • the display image generating unit 34B generates a display image HP1, which is a 360-degree bird's-eye view image generated from a viewpoint looking down on the vehicle 20 in a composite image RP that represents a spherical omnidirectional image.
  • a display image HP1 which is a 360-degree bird's-eye view image generated from a viewpoint looking down on the vehicle 20 in a composite image RP that represents a spherical omnidirectional image.
  • the display image generating unit 34B may also superimpose an image A1 simulating the vehicle 20 on the display image HP1 to synthesize it.
  • the image A1 is made a transparent image so that the area of the display image HP1 where the image A1 is superimposed can also be viewed.
  • the generated display image HP1 is displayed on the third display unit 32C by the display control ECU 34.
  • the display control ECU 34 may superimpose and synthesize an image A2, which is movable in the clockwise rotation direction indicated by arrow M1 or the counterclockwise rotation direction indicated by arrow M2, on the display image HP1 including the image A1 displayed on the third display unit 32C.
  • Image A2 may have a shape in which both ends of an arc on the circumference of the display image HP1 are joined to an inner arc formed with a smaller radius than the arc.
  • the range on the display image HP1 where this image A2 overlaps is the area in the direction that the observer wishes to view.
  • the observer can change the direction that he or she wishes to view by moving this image A2 in the clockwise or counterclockwise rotational direction.
  • the display image generating unit 34B generates a display image HP2 that is cropped in the direction that the observer wishes to view, that is, at the observer's desired free viewpoint.
  • the display image HP2 shown in FIG. 8 is an image as seen from the vehicle 20 looking forward.
  • the generated display image HP2 is displayed on the third display unit 32C by the display control ECU 34.
  • the observer can move image A2 in the direction he wants to view and select this direction by performing an operation such as a long press, and then move image A2 in the direction he wants to view and select it in the same way.
  • the directions that the observer wants to view are four directions, forward, backward, left and right, and these four directions are selected
  • the display image generation unit 34B cuts out images from the viewpoint of each direction, arranges the cut-out images on the same plane, and generates one display image HP3 as shown in FIG. 9.
  • the generated display image HP2 is displayed on the third display unit 32C by the display control ECU 34.
  • the display control ECU 34 may display the display image HP1 shown in FIG. 7 on the third display unit 32C, and display the display images HP2 and HP3 shown in FIG. 8 or FIG. 9 on the fourth display unit 32D.
  • the composite image generating unit 24B when the composite image generating unit 24B acquires information that the monitor wishes to view the vehicle 20 from diagonally above and behind, the composite image generating unit 24B generates a display image HP4, which is an overhead image of the vehicle 20 viewed from diagonally above and behind, based on the composite image RP, as shown in FIG. 10.
  • the display image generating unit 34B superimposes an image A3 representing the vehicle 20 on the display image HP4.
  • This image A3 can be an image that simulates the vehicle 20, similar to the display image HP1 shown in FIG. 7.
  • this information i.e., position information and size information of the two people walking, is transmitted by the communication unit 28 on the vehicle 20 side to the remote monitoring device 30, and is received by the communication unit 38 on the remote monitoring device 30 side.
  • the display image generating unit 34B uses known technology to identify the range in which the two people are reflected from the composite image CP, and generates a display image HP5 cropped at an angle of view in which the two people 52 are reflected, as shown in FIG. 11.
  • the display image HP5 shows an image as seen forward from the vehicle 20.
  • the display image generating unit 34B superimposes an image A4, which shows an arrow indicating, as an example, the direction in which the two people are located as viewed from the vehicle 20, on the display image HP5 and synthesizes it.
  • the display control ECU 34 displays the generated display image HP5 including the image A4 on the third display unit 32C.
  • the image A4 may be in a form other than an arrow, and may be, for example, a frame surrounding the two people 52.
  • the display image generating unit 34B When the display image generating unit 34B identifies the range in which the two people are reflected in the composite image CP using known technology, it generates a display image HP6, which is a 360-degree overhead image generated from a viewpoint looking down on the vehicle 20 in the composite image RP that represents a spherical panoramic image, as shown in FIG. 12.
  • the display image generating unit 34B superimposes an image A5, in which an x indicates the direction in which the two people are located relative to the vehicle 20, on the display image HP6.
  • image A5 is configured in a manner that is emphasized compared to other image areas. Note that image A5 may be in a manner other than x marks, such as a circle mark.
  • the display image HP6 shown in FIG. 12 like the display image HP1 shown in FIG. 7, the image showing the underside of the body of the vehicle 20 is displayed in black, but in reality, an actual image showing the underside of the body of the vehicle 20 is displayed. Also, an image A1 simulating the vehicle 20 may be superimposed on the display image HP1 for synthesis. Also, in the display image HP6, the 360-degree overhead image around the image A1 is displayed in white, but in reality, it is configured in the same way as the display image HP1 shown in FIG. 7. The display image HP6 including the generated images A1 and A5 is displayed on the third display unit 32C by the display control ECU 34.
  • the display image generating unit 34B generates the display image HP according to the driving status of the vehicle 20 transmitted from the vehicle control device 26, i.e., the currently selected mode. Specifically, when the vehicle 20 is in the normal driving mode, the display image generating unit 34B generates the display image HP1 shown in FIG. 7, and the display control ECU 34 displays the generated display image HP1 on the third display unit 32C. Thereafter, the display image generating unit 34B generates one of the display images HP2 shown in FIG. 8, the display image HP3 shown in FIG. 9, and the display image HP4 shown in FIG. 10 in response to the movement operation of the image A2 by the observer as described above, and the display control ECU 34 displays the generated display image on the third display unit 32C.
  • the display image generating unit 34B when the vehicle 20 is in the abnormal driving mode, the display image generating unit 34B generates a display image HP5 including the generated image A4 shown in FIG. 11 or a display image HP6 including the generated images A1 and A5 shown in FIG. 12 based on notification information from the autonomous driving system in the vehicle control device 26 on the vehicle 20 side and information detected by sensing using a sensor (not shown) mounted on the vehicle 20, as described above, and the display control ECU 34 displays the generated display image on the third display unit 32C.
  • the display image generating unit 34B when the vehicle 20 is in the return driving mode, the display image generating unit 34B generates the display image HP1 shown in FIG. 7 in which the underside of the vehicle body of the vehicle 20 is visible, and the display control ECU 34 displays the generated display image HP1 on the third display unit 32C.
  • the display image generating unit 34B generates one of the display images HP2 shown in FIG. 8, the display image HP3 shown in FIG. 9, and the display image HP4 shown in FIG. 10 in response to the movement operation of the image A2 by the observer as described above, and the display control ECU 34 displays the generated display image on the third display unit 32C.
  • the display image generating unit 34B and the display control ECU 34 perform the same processing as in the normal driving mode.
  • the vehicle 20 includes a composite image generating unit 24B that generates a composite image CP including the entire surroundings of the vehicle in the horizontal direction of the vehicle by overlapping the nine captured images P1 to P9 captured by the nine cameras 22A to 22J, and a communication unit 28 that functions as a transmitter that transmits the generated composite image.
  • the remote monitoring device 30 also includes a communication unit 38 that functions as a receiver that receives the composite image CP transmitted from the vehicle 20. Therefore, the remote monitoring device 30 can obtain a composite image CP including the entire surroundings of the vehicle in the horizontal direction of the vehicle. Furthermore, since the composite image CP contains information about the entire surroundings of the vehicle in the horizontal direction of the vehicle, the remote monitoring device 30 can perform image processing based on the obtained composite image CP. This makes it easier to process images on the remote monitoring device 30 side.
  • the composite image generation unit 24B generates a composite image CP by combining nine captured images P1 to P9 taken by the nine cameras 22A to 22J, overlapping the overlapping portions where adjacent captured areas overlap, and transmits the generated composite image CP to the remote monitoring device 30.
  • the composite image CP is generated so as to be composed of image data of approximately 7.4 million pixels. This makes it possible to reduce the amount of data transmitted compared to conventional technology.
  • the shooting range of each of the captured images P1 to P9 is set to include a portion of the vehicle 20, so that blind spots around the vehicle 20 can be prevented from occurring in the composite image.
  • the composite image CP is a omnidirectional image, so that the composite image CP reflects 360 degrees in the horizontal and vertical directions of the vehicle 20, i.e., in all directions from the vehicle center. In other words, the shooting directions of each camera are associated in the composite image CP. Therefore, when the remote monitoring device 30 remotely monitors the vehicle 20, it is possible to prevent blind spots from occurring around the vehicle 20, thereby achieving safe mobility control.
  • the remote monitoring device 30 includes the first to fourth display units 32A to 32D, and a display image generation unit 34B that generates a display image HP to be displayed on the third display unit 32C and the fourth display unit 32D from the composite image CP received by the communication unit 38. Therefore, on the remote monitoring device 30 side, the display image generation unit 34B can generate the display image HP to be displayed on the third display unit 32C and the fourth display unit 32D from the composite image CP, so that the display image HP can be displayed on the third display unit 32C and the fourth display unit 32D from the viewpoint and display mode desired by the monitor.
  • a single display image HP an image including images seen from multiple viewpoints, such as display images HP1, HP3, and HP4 shown in Figures 7, 9, and 10, or an image that allows the entire surroundings of the vehicle 20 to be visible
  • the burden on the monitor in monitoring can be reduced.
  • This makes it possible for a smaller number of monitors, such as one person, to remotely monitor and remotely operate the operation of multiple vehicles 20.
  • the observer can instantly determine which vehicle and in which direction the image is being displayed by visually checking a single display image HP.
  • the vehicle 20 includes a lower camera 22J for the lower side, whose shooting range is set so that the lower side of the vehicle body of the vehicle 20 is the shooting area, and the composite image generating unit 24B also synthesizes the shooting image P9 acquired by the lower camera 22J into the composite image CP. Therefore, the monitor can check the surroundings of the vehicle 20, including the lower side of the vehicle body, based on the composite image CP during remote monitoring, and the return (restart) of the temporarily stopped vehicle 20 can be determined on the remote monitoring device 30 side.
  • the vehicle 20 includes a lower camera 22J for the lower side, whose shooting range is set so that the lower side of the vehicle 20, including a part of the vehicle 20, is the shooting area. Therefore, when the composite image generating unit 24B composites the captured image P9 into the composite image CP, there is a high possibility that a part of the vehicle 20 exists as a common subject in the captured images P1 to P8 and the captured image P9, improving the accuracy of the composite.
  • the display image generating unit 34B generates a display image HP that matches the mode set in the vehicle 20, so that a display image HP that matches the situation of the vehicle 20 can be displayed on the third display unit 32C and the fourth display unit 32D.
  • a 360-degree overhead image generated from a viewpoint looking down on the vehicle 20 is displayed in a composite image RP representing a spherical panoramic image, such as display image HP1 shown in FIG. 7.
  • a composite image RP representing a spherical panoramic image such as display image HP1 shown in FIG. 7.
  • one of the display images HP2 shown in FIG. 8, HP3 shown in FIG. 9, and HP4 shown in FIG. 10 is displayed on the third display unit 32C as an image seen from a viewpoint corresponding to this movement operation. This allows the observer to view the image seen from the desired viewpoint.
  • the vehicle 20 when the vehicle 20 is in abnormal driving mode, for example, as in the display images HP5 and HP6 shown in FIG. 11 or FIG. 12, if the subject determined to be abnormal is two people 52, the direction in which the two people 52 are located relative to the vehicle 20 is presented by image A4 indicated by an arrow or image A5 indicated by a cross. This allows the observer to visually confirm in which direction the abnormality is occurring relative to the vehicle 20.
  • the supervisor can also check the underside of the vehicle body of the vehicle 20, and can safely restart the vehicle 20.
  • the display image generating unit 34B generates the display image HP based on the driving conditions of the vehicle 20, so that the display image HP according to the driving conditions of the vehicle 20 can be displayed on the third display unit 32C and the fourth display unit 32D. This allows the monitor to visually recognize the display image HP according to the driving conditions of the vehicle 20.
  • the composite image CP has a vertical to horizontal ratio of 1:2, so the composite image CP can be constructed in equirectangular format, i.e., equirectangular projection.
  • the cameras 22A to 22J constituting the photographing device 22 each use a circular fisheye lens having an angle of view greater than 180 degrees, but the present disclosure is not limited to this.
  • the angle of view may be, for example, a circular fisheye lens having an angle of view of 140 degrees, and the angle of view is not limited.
  • a circular fisheye lens instead of a circular fisheye lens, a diagonal fisheye lens, other wide-angle lens, ultra-wide-angle lens, etc. may be used.
  • the cameras 22A-22J constituting the image capture device 22 include one lower camera 22J on the lower front side of the vehicle 20, but the present disclosure is not limited to this.
  • a lower camera may also be provided on the lower rear side of the vehicle 20.
  • the imaging device 22 includes nine cameras 22A-22J, but the present disclosure is not limited to this.
  • the lower camera 22J does not have to be provided.
  • the captured image of the lower side of the vehicle 20 is not included in the composite image, so the underside of the vehicle 20 cannot be viewed from the remote monitoring device 30, but the vehicle 20 can be viewed 360 degrees horizontally.
  • the imaging device 22 includes eight cameras 22A-22H in the horizontal direction of the vehicle 20, but the present disclosure is not limited to this. As long as the imaging range can be set so that an overlapping portion is formed where adjacent imaging areas overlap, four cameras may be used: the front camera 22A, the right side camera 22C, the rear camera 22E, and the left side camera 22G, and this can be changed as appropriate depending on the angle of view of each camera.
  • the captured image P9 captured by the lower camera 22J includes a subject that is common to each of the captured images P1 to P8 at the periphery, but the present disclosure is not limited to this.
  • the captured image P9 may include only a subject that is common to the captured image P5 captured by the rear camera 22E.
  • the captured image P9 includes a subject that is common to one or more of the captured images P1 to P1, whose capture range is the horizontal direction of the vehicle 20.
  • the captured image P9 contains only the same subject as the captured image P5
  • the captured image P9 captured by the lower camera 22J is composited with the bottom edge of the captured image P5 in the generated composite image CP, and the right side of the captured image P9 becomes a blank image BP.
  • the composite image CP is a spherical image in a flat state, but the present disclosure is not limited to this.
  • the composite image CP may be a spherical image, a panoramic image with the upper and lower parts missing, i.e., a 360-degree panoramic image captured 360 degrees only in the horizontal direction of the vehicle, or a panoramic image with only the upper part or only the lower part missing.
  • an equirectangular format (equirectangular projection) is used for the omnidirectional image, but the present disclosure is not limited to this.
  • a cube map format may be used in which a flat image is pasted onto the six faces of a regular hexahedral screen, like an exploded dice, and the image is correctly viewed in 360 degrees when viewed from the center, or a dome master format used in planetariums, etc. may be used. Any known technology may be used as the format.
  • the display image generating unit 34B performs a process of converting a flat omnidirectional image into a spherical omnidirectional image, but the present disclosure is not limited to this.
  • the composite image generating unit 24B may perform a process of converting a flat omnidirectional image into a spherical omnidirectional image, and transmit the composite image RP represented by the spherical omnidirectional image to the remote monitoring device 30.
  • the remote monitoring device 30 has four display units, the first to fourth display units 32A to 32D, but the present disclosure is not limited to this.
  • the remote monitoring device 30 may have fewer than four display units, or may have more than four display units.
  • the number of display units may be set according to, for example, the number of vehicles 20 to be operated.
  • composite image generating unit 24B composites a pointer (not shown) that is moved by the observer using an input means such as a mouse, onto display image HP2.
  • Display image generating unit 34B may detect the movement distance and movement direction of this pointer in display image HP2, and determine the cut-out range in composite image CP according to the detected movement distance and movement direction.
  • the communication unit 28 has both a function as a transmission unit that transmits the composite image CP and a function as a transmission/reception unit that transmits and receives other information (such as abnormality information and information related to remote control), but the present disclosure is not limited to this.
  • the transmission unit that transmits the composite image CP may be provided separately from the communication unit 28. In this way, by providing a transmission unit specialized for transmitting the composite image CP, it is possible to further increase the communication processing speed of the composite image CP.
  • the communication unit 38 has both a function as a receiving unit that receives the composite image CP and a function as a transmitting/receiving unit that transmits and receives other information (such as abnormality information and information related to remote control), but the present disclosure is not limited to this.
  • the receiving unit that receives the composite image CP may be provided separately from the communication unit 38. In this way, by providing a receiving unit specialized for receiving the composite image CP, it is possible to increase the communication processing speed of the composite image CP.
  • the moving body is a vehicle 20, but the present disclosure is not limited to this.
  • the moving body may be, for example, a mobility that carries luggage or deliveries, a robot capable of autonomous travel, or any other form that allows autonomous travel.
  • processors may be executed by various processors other than the CPU.
  • processors in this case include PLDs (Programmable Logic Devices) such as FPGAs (Field-Programmable Gate Arrays) whose circuit configuration can be changed after manufacture, and dedicated electrical circuits such as ASICs (Application Specific Integrated Circuits), which are processors having a circuit configuration designed specifically to execute specific processes.
  • PLDs Programmable Logic Devices
  • FPGAs Field-Programmable Gate Arrays
  • ASICs Application Specific Integrated Circuits
  • each process may be executed by one of these various processors, or may be executed by a combination of two or more processors of the same or different types (e.g., multiple FPGAs, and a combination of a CPU and an FPGA, etc.).
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • the programs described in the above embodiments may be provided in a form stored on a non-transitory storage medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (Digital Versatile Disc Read Only Memory), or a USB (Universal Serial Bus) memory.
  • the programs may also be provided in a form downloaded from an external device via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

遠隔監視システムは、移動体と遠隔監視装置を含む。移動体は、隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能とされた４つ以上の撮影部と、４つ以上の撮影部により各々撮影された４つ以上の撮影画像を、重複部分をオーバラップさせて合成し、移動体水平方向の移動体全周囲を含む合成画像を生成する合成画像生成部と、生成された合成画像を送信する送信部（通信部）と、を含む。遠隔監視装置は、移動体から送信された合成画像を受信する受信部（通信部）を含む。

Description

遠隔監視システム
　本開示は、遠隔監視システムに関する。
　例えば、特開２０１９－１５６２９９号公報には、車両に搭載された複数のカメラにより撮影された複数の画像に基づいて、仮想視点から見た車両の周辺領域を示す合成画像すなわち俯瞰画像を生成する車両を備えた車両遠隔操作システムが開示されている。この車両遠隔操作システムにおいては、車両側で、俯瞰画像に基づいて遠隔監視装置（操作端末）のモニタに表示するための表示用画像を生成し、生成された表示用画像を遠隔監視装置に送信して遠隔監視装置のモニタに表示させている。
　しかしながら、特開２０１９－１５６２９９号公報に記載された車両遠隔操作システムにおいては、車両側で俯瞰画像を生成し、さらに表示用画像も生成しているため、遠隔監視装置側での画像処理操作がし難いことが懸念される。
　本開示は、遠隔監視装置側で画像処理をし易くすることができる遠隔監視システムを得る。
　本開示の第１の態様の遠隔監視システムは、移動体に搭載され、隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能とされた４つ以上の撮影部と、該４つ以上の撮影部により各々撮影された４つ以上の撮影画像を、前記重複部分をオーバラップさせて合成し、移動体水平方向の移動体全周囲を含む合成画像を生成する合成画像生成部と、該合成画像生成部により生成された前記合成画像を送信する送信部と、を含む移動体と、前記移動体から送信された前記合成画像を受信する受信部を含む遠隔監視装置と、を備える。
　本開示の第１の態様の遠隔監視システムによれば、移動体が、４つ以上の撮影部により各々撮影された４つ以上の撮影画像を、隣接する撮影領域が重なる重複部分をオーバラップさせて合成し、移動体水平方向の移動体全周囲を含む合成画像を生成する合成画像生成部と、生成された合成画像を送信する送信部とを含んでいる。また、遠隔監視装置が、移動体から送信された合成画像を受信する受信部を含んでいる。そのため、遠隔監視装置側で移動体水平方向の移動体全周囲を含む合成画像を取得することができる。合成画像は、移動体水平方向の移動体全周囲の情報を有しているので、遠隔監視装置側でこの取得した合成画像に基づいて画像処理を行うことができる。これにより、遠隔監視装置側で画像処理をし易くすることができる。
　また、本開示の第２の態様の遠隔監視システムは、第１の態様の遠隔監視システムにおいて、前記４つ以上の撮影画像における各々の前記撮影範囲は、前記移動体の一部が含まれるように設定されている。
　本開示の第２の態様の遠隔監視システムによれば、４つ以上の撮影画像における各々の撮影範囲は、移動体の一部が含まれるように設定されているので、合成画像において移動体の周囲における死角の発生を防止することができる。
　また、本開示の第３の態様の遠隔監視システムは、第１の態様又は第２の態様の遠隔監視システムにおいて、前記移動体が、前記移動体の一部を含む当該移動体の下側が撮影領域となるように撮影範囲が設定された下側用の撮影部をさらに含み、前記合成画像生成部が、前記下側用の撮影部により取得された下側撮影画像も前記合成画像に合成する。
　近年、開発段階である自動運転システムにおいては、移動体が自動運転を行う際に何らかの異常が発生した場合、移動体を一時停止させる必要がある。本開示の第２の態様の遠隔監視システムによれば、移動体が、移動体の一部を含む当該移動体の下側が撮影領域となるように撮影範囲が設定された下側用の撮影部を含み、合成画像生成部が、下側用の撮影部により取得された下側撮影画像も合成画像に合成している。そのため、監視者は、遠隔監視にて、車体の下側を含めた移動体の周囲を合成画像に基づいて確認することができるので、一時停止した移動体の復帰（再走行）を遠隔監視装置側で判断することができる。また、移動体が、移動体の一部を含む当該移動体の下側が撮影領域となるように撮影範囲が設定された下側用の撮影部を含んでいるので、下側撮影領域を合成画像に合成する際に精度を向上させることができる。
　また、本開示の第４の態様の遠隔監視システムは、第１の態様～第３の態様の何れかの遠隔監視システムにおいて、前記合成画像は、全天球画像である。
　本開示の第４の態様の遠隔監視システムによれば、合成画像が、全天球画像であるため、合成画像には、移動体の水平方向及び垂直方向の３６０度、すなわち移動体を中心とした全方位が映り込んでいる。そのため、遠隔監視装置側で移動体を遠隔監視する際に、移動体の周辺において死角が発生するのを防止することができるので、安全なモビリティ制御を実現することができる。
　また、本開示の第５の態様の遠隔監視システムは、第１の態様～第４の態様の何れかの遠隔監視システムにおいて、前記遠隔監視装置は、表示部と、前記受信部により受信された前記合成画像から前記表示部に表示する表示画像を生成する表示画像生成部と、を含む。
　本開示の第５の態様の遠隔監視システムによれば、遠隔監視装置は、表示部と、受信部により受信された合成画像から表示部に表示する表示画像を生成する表示画像生成部とを含んでいる。そのため、遠隔監視装置側において、表示画像生成部が合成画像から表示部に表示する表示画像を生成できるので、監視者の所望する視点や表示態様での表示画像を表示部に表示することができる。
　また、本開示の第６の態様の遠隔監視システムは、第５の態様の遠隔監視システムにおいて、前記表示画像生成部は、前記移動体の走行状況に基づいて前記表示画像を生成する。
　本開示の第６の態様の遠隔監視システムによれば、表示画像生成部は、移動体の走行状況に基づいて表示画像を生成するので、移動体の走行状況に応じた表示画像を表示部に表示することができる。これにより、監視者は移動体の走行状態に応じた表示画像を視認することができる。
　また、本開示の第７の態様の遠隔監視システムは、第５の態様の遠隔監視システムにおいて、前記表示画像生成部は、前記移動体において設定されたモードに合わせた前記表示画像を生成する。
　本開示の第７の態様の遠隔監視システムによれば、表示画像生成部が、移動体において設定されたモードに合わせた表示画像を生成するので、移動体の設定モードに応じた表示画像を表示部に表示することができる。これにより、監視者は移動体の設定モードに応じた表示画像を視認することができる。
　また、本開示の第８の態様の遠隔監視システムは、第１の態様～第７の態様の何れかの遠隔監視システムにおいて、前記合成画像は、縦方向と横方向との比率が１：２である。
　本開示の第８の態様の遠隔監視システムによれば、合成画像は、縦方向と横方向との比率が１：２であるため、合成画像をエクイレクタングラー(Equirectangular)形式すなわち正距円筒図法により構成することができる。
　以上説明したように、本開示の遠隔監視システムによれば、遠隔監視装置側で画像処理をし易くすることができるという優れた効果を有する。
本開示の一実施形態に係る遠隔監視システムの概略構成を示す構成図である。 本開示の一実施形態に係る遠隔監視システムの概略構成を示すブロック図である。 カメラが車両に配置される位置及び各位置における撮影画像を示す図である。 画像を合成する方法を説明するための説明図である。 エクイレクタングラー形式の合成画像を説明するための説明図である。 全天球画像において、エクイレクタングラーから球体への形式の変換を説明するための説明図である。 遠隔監視装置の表示部に表示される表示画像の一例を示す図である。 遠隔監視装置の表示部に表示される表示画像の一例を示す図である。 遠隔監視装置の表示部に表示される表示画像の一例を示す図である。 遠隔監視装置の表示部に表示される表示画像の一例を示す図である。 遠隔監視装置の表示部に表示される表示画像の一例を示す図である。 遠隔監視装置の表示部に表示される表示画像の一例を示す図である。 本開示の画像処理装置としての画像処理ＥＣＵ２４のハードウェア構成を示す図である。 本開示の表示制御装置としての表示制御ＥＣＵ３４のハードウェア構成を示す図である。
　図１～図１２を用いて本開示の一実施形態に係る遠隔監視システム１０について説明する。なお、以下の説明において前後左右上下の方向を示して説明するときは、車両の前後左右上下の方向を示すものとする。
　図１は本実施形態に係る遠隔監視システム１０の概略構成を示す構成図、図２は本開示の一実施形態に係る遠隔監視システム１０の概略構成を示すブロック図である。図１に示されるように、本実施形態の遠隔監視システム１０は、移動体としての車両２０、遠隔監視装置３０、及びネットワーク４０を含んで構成されている。
　ここで車両２０について説明する。車両２０は、自律して走行する自動運転が可能な車両であり、本実施形態においては人が乗車可能に構成されている。図２に示されるように、車両２０は、撮影装置２２、通信部２８を含む画像処理装置としての画像処理ＥＣＵ２４、車両制御装置２６を備えている。本実施形態の撮影装置２２は、一例として、前方カメラ２２Ａ、右前方カメラ２２Ｂ、右側方カメラ２２Ｃ、右後方カメラ２２Ｄ、後方カメラ２２Ｅ、左後方カメラ２２Ｆ、左側方カメラ２２Ｇ、左前方カメラ２２Ｈ、及び下方カメラ２２Ｊの９つのカメラを備えている。
　この９つのカメラ２２Ａ～２２Ｊは、各々本開示の撮影部に対応し、一例として、各々１８０度よりも大きい画角を有する円周魚眼レンズが使用されている。円周魚眼レンズにより撮影された撮影画像は、魚眼画像であり、撮影範囲の中央付近の被写体は大きく写り、撮影範囲の周囲の被写体は小さく写る特徴があって、撮影範囲は円形状の画像で表されている。なお、本実施形態において「撮影画像」は、静止画であってもよいし、動画であってもよい。
　図３は９つのカメラ２２Ａ～２２Ｊが車両２０に配置される位置及び各位置における撮影画像を示す図である。図３に示されるように、前方カメラ２２Ａは車両２０の前部に搭載され、前方カメラ２２Ａで撮影された撮影画像Ｐ１には車両２０の前方が映り込む。また、右前方カメラ２２Ｂは車両２０の右前部に搭載され、右前方カメラ２２Ｂで撮影された撮影画像Ｐ２には車両２０の右前方が映り込む。右側方カメラ２２Ｃは車両２０の右側部に搭載され、右側方カメラ２２Ｃで撮影された撮影画像Ｐ３には車両２０の右側方が映り込む。また、右後方カメラ２２Ｄは車両２０の右後部に搭載され、右後方カメラ２２Ｄで撮影された撮影画像Ｐ４には車両２０の右後方が映り込む。
　後方カメラ２２Ｅは車両２０の後部に搭載され、後方カメラ２２Ｅで撮影された撮影画像Ｐ５には車両２０の後方が映り込む。また、左後方カメラ２２Ｆは車両２０の左後部に搭載され、左後方カメラ２２Ｆで撮影された撮影画像Ｐ６には車両２０の左後方が映り込む。左側方カメラ２２Ｇは車両２０の左側部に搭載され、左側方カメラ２２Ｇで撮影された撮影画像Ｐ７には車両２０の左側方が映り込む。また、左前方カメラ２２Ｈは車両２０の左前部に搭載され、左前方カメラ２２Ｈで撮影された撮影画像Ｐ８には車両２０の左前方が映り込む。下方カメラ２２Ｊは車両２０の前部の下側に搭載され、下方カメラ２２Ｊで撮影された撮影画像Ｐ９には車両２０の車体の底面２０Ａ及び車両２０が位置する地面Ｇ（道路等も含む）が映り込む。なお、この撮影画像Ｐ９は、本開示の下側撮影画像に対応する。
　本実施形態においては一例として、撮影装置２２の９つのカメラ２２Ａ～２２Ｊは、各々隣接するカメラの撮影領域が重なる重複部分が形成されるように撮影範囲が設定されている。すなわち、撮影画像Ｐ１は、右端部に撮影画像Ｐ２と共通する被写体が、左端部に撮影画像Ｐ８と共通する被写体がそれぞれ映り込んでいる。
　同様にして、撮影画像Ｐ２～Ｐ８も、各々左右端部において隣接する撮影画像と共通する被写体がそれぞれ映り込んでいる。本実施形態においては一例として、撮影画像Ｐ１～Ｐ８の各々の下端部に、撮影画像Ｐ９と共通する被写体が映り込んでいる。言い換えると、撮影画像Ｐ９の周縁部には、撮影画像Ｐ１～Ｐ８の何れかと共通する被写体が映り込んでいる。また、図３において図示は省略されているが、撮影画像Ｐ１～Ｐ８においては、車両２０の一部が映り込んでいる。
　図２に示されるように、画像処理装置としての画像処理ＥＣＵ２４は車両２０に搭載されている。画像処理ＥＣＵ２４は、図１３に示す通り、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）６０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）６１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）６２、ストレージ６３、通信インターフェイス（図１３では「通信Ｉ／Ｆ」と略す）６４等を含んで構成されており、各構成は、バス６５を介して相互に通信可能に接続されている。ＣＰＵ６０は、ＲＯＭ６１又はストレージ６３からプログラムを読み出し、ＲＡＭ６２を作業領域としてプログラムを実行する。通信インターフェイス６４は、ＣＰＵ６０からの指令により通信部２８として機能し、バス６５等の有線または無線により、外部装置と通信するためのインターフェイスである。ここでは、通信インターフェイス６４が通信部２８として機能する例を挙げたが、画像処理ＥＣＵ２４の外側に配置された通信モジュールを用いることもできる。
　また、画像処理ＥＣＵ２４は、機能構成として画像取得部２４Ａ及び合成画像生成部２４Ｂを備えており、画像取得部２４Ａ及び合成画像生成部２４Ｂは、プロセッサとしてのＣＰＵ６０が、メモリとしてのＲＯＭ６１又はメモリとしてのストレージ６３からプログラムを読み出し、ＲＡＭ６２を作業領域としてプログラムを実行することにより実行される。
　画像取得部２４Ａは、撮影装置２２の９つのカメラ２２Ａ～２２Ｊにより各々撮影された９枚の撮影画像Ｐ１～Ｐ９を各々表す画像データを取得する。なお、本実施形態においては、一例として、１枚の撮影画像は約２００万画素で構成されている。なお、撮影画像の画素数は、使用するカメラの性能等により適宜変更することができる。
　合成画像生成部２４Ｂは、画像取得部２４Ａにより取得された画像データが各々表す９枚の撮影画像Ｐ１～Ｐ９を合成して合成画像ＣＰを生成する。本実施形態においては、合成画像ＣＰは、撮影地点である車両２０から見渡すことができる全ての方向すなわち車両全周囲（全方位）を表す全天球画像とする。
　合成画像生成部２４Ｂには、９つのカメラ２２Ａ～２２Ｊにより各々撮影された９枚の撮影画像Ｐ１～Ｐ９を全天球画像に変換するために必要な情報が予め記憶されている。この情報としては、９つのカメラ２２Ａ～２２Ｊ各々の円周魚眼レンズの物理的な配置関係を表す位置情報、撮影画像Ｐ１～Ｐ９の像高と円周魚眼レンズの入射角との関係を表す射影情報、９つのカメラ２２Ａ～２２Ｊの撮影方向を示す情報、及び円周魚眼レンズの特性を表す情報等がある。これらの情報は予めキャリブレーションすることによって導出されている。
　合成画像生成部２４Ｂは、魚眼画像である９枚の撮影画像Ｐ１～Ｐ９から、上記必要な情報に基づいて公知の技術により投影変換を行って合成し、合成画像ＣＰを生成する。ここで、本実施形態においては、合成画像ＣＰを合成する際に、上述した重複部分をオーバラップさせている。図４において、例えば撮影画像Ｐ６を一例として説明すると、撮影画像Ｐ６と撮影画像Ｐ５との重複部分は網掛で示される第１領域ＯＶ１で示され、撮影画像Ｐ６と撮影画像Ｐ７との重複部分は網掛で示される第２領域ＯＶ２で示される。合成画像生成部２４Ｂは、この重複部分を画素単位でオーバラップさせることにより、撮影画像Ｐ１～Ｐ８を合成する。なお、オーバラップ処理は公知の技術を使用することができる。
　また、合成された撮影画像Ｐ１～Ｐ８に撮影画像Ｐ９が合成される。本実施形態においては、撮影画像Ｐ９の周縁部に、撮影画像Ｐ１～Ｐ８と各々共通する被写体が映り込んでいるため、この共通する被写体が映り込んでいる範囲が、隣接する撮影領域が重なる重複部分となる。図４において、例えば撮影画像Ｐ６を一例として説明すると、撮影画像Ｐ６と撮影画像Ｐ９との重複部分は斜め斜線で示される第３領域ＯＶ３で示される。合成画像生成部２４Ｂは、この重複部分を画素単位でオーバラップさせることにより、撮影画像Ｐ１～Ｐ８の下側に撮影画像Ｐ９を合成する。なお、オーバラップの方法については、公知の技術を使用することができる。
　図５はエクイレクタングラー形式（正距円筒図法）の合成画像を説明するための説明図である。ここで、エクイレクタングラー形式の合成画像は、縦方向と横方向との比率が１：２となる画像である。エクイレクタングラー形式は、縦方向と横方向が１：２の比率の長方形の合成画像を球体状のスクリーンに貼り付けて、その中央から合成画像を見たときに、３６０度が正しく見える形式である。
　本実施形態においては、合成画像生成部２４Ｂは、エクイレクタングラー形式の合成画像ＣＰ、すなわち縦方向と横方向との比率が１：２となる合成画像ＣＰを生成している。なお、エクイレクタングラー形式の合成画像ＣＰは、平面状態の全天球画像である。本実施形態においては、一例として、合成画像ＣＰは、３８４０×１９２０ピクセル、すなわち約７４０万画素の画像データで構成する。なお、合成画像ＣＰの画素数は、後述する遠隔監視装置３０の表示部の性能に合わせて適宜変更することができる。
　全天球画像は、図５の右図に示されるように、所定軸周りの角度座標を含む座標系で表される画像であり、動径を定数ｎ（例えば１）として、ｐｉｔｃｈ方向の軸に対してなされる垂直角度φと、ｙａｗ方向の軸周りの回転角に対応する水平角度λとを座標とした画素値の配列として表現される。垂直角度φは、－９０度～＋９０度（あるいは０度～１８０度）の範囲となり、水平角度λは、－１８０度～＋１８０度（あるいは０度～３６０度）の範囲となる。
　合成画像生成部２４Ｂは、合成画像ＣＰの横方向は車両２０の水平方向の全周囲すなわち３６０度を表しているので、合成された撮影画像Ｐ１～Ｐ８の横方向と一致している。また、合成された撮影画像Ｐ１～Ｐ８の下方向の端部には、撮影画像Ｐ９が合成されており、この撮影画像Ｐ９の下端が合成画像ＣＰの下端と一致している。本実施形態においては、車両２０の直上方向は撮影画像Ｐ１～Ｐ８に映り込んでいない。そのため、合成画像生成部２４Ｂは、予め記憶している情報から撮影画像Ｐ１～Ｐ８の上方側の画角を読み出し、読み出した画角に応じて合成された撮影画像Ｐ１～Ｐ８の上端の座標の位置が決定されている。
　なお、カメラ２２Ａ～２２Ｈにより撮影されていない車両２０の直上方向の領域に対応する座標については、図５に示されるようにブランクとして一律の画素値により示される。本実施形態においては一例として、黒色を表す画素値で示し、この黒色の領域をブランク画像ＢＰとする。撮影画像Ｐ１～Ｐ８の上方側の画角が大きい程ブランク画像ＢＰのｐｉｔｃｈ方向（縦方向）の幅は狭くなる。このようにして合成画像生成部２４Ｂは合成画像ＣＰを生成している。
　図２に戻り、車両制御装置２６は、車両２０に搭載された各種センサ（図示省略）により検出された情報、及び撮影装置２２により撮影された撮影画像Ｐ１～Ｐ９に基づいて車両２０を自律して走行させる自動運転を制御する装置である。車両制御装置２６は、公知の技術を使用することができる。なお、本実施形態において、車両制御装置２６は、遠隔監視装置３０からの操作により車両２０の走行を制御する機能も有している。
　また、車両制御装置２６は、一例として、正常時走行モード、異常時走行モード、復帰時走行モード、及び遠隔操縦モードなどの各種モードを設定可能に構成されている。車両制御装置２６は、上述したセンサにより検出された情報及び撮影画像Ｐ１～Ｐ９に基づいて、上記各モードを自動的に選択して車両２０を走行させる。車両制御装置２６は、正常時に正常時走行モードを選択し、例えば異常と判断する対象を自動運転システムの通知情報や上記センサによるセンシングにて検出した場合等に異常時走行モードを選択する。具体的には、車両制御装置２６により異常時走行モードが選択されると、車両２０は停止される。
　また、復帰時走行モードは、車両２０が停止後に走行を開始する際に車両制御装置２６により選択される。具体的には、車両制御装置２６は、自動運転システムや上記センサによるセンシングによって車両２０に異常がないこと確認させるか、又は遠隔監視装置３０に対して異常がないことを確認させるための信号を送信する。
　遠隔操縦モードは、車両２０を遠隔監視装置３０により操縦させる際に車両制御装置２６により選択される。具体的には、車両制御装置２６は、遠隔監視装置３０に対して遠隔操縦を行なわせるための信号を送信する。
　車両制御装置２６は、車両２０の走行状況、すなわち現在選択されているモードを、通信部２８を介して遠隔監視装置３０に送信する。なお、車両制御装置２６は、その他にも、例えば異常と判断する対象を自動運転システムの通知情報や上記センサによるセンシングにて検出した場合等に、異常が発生したことを示す「異常情報」を、通信部２８を介して遠隔監視装置３０に送信するようにしてもよい。
　通信部２８は、外部装置と通信するためのインターフェイスであり、合成画像生成部２４Ｂにより生成された合成画像ＣＰを送信する送信部としても機能する。また、通信部２８は、車両２０の走行状況、すなわち現在選択されているモードを送信する送信部としても機能する。
　次に、遠隔監視装置３０について説明する。図２に示されるように、遠隔監視装置３０は表示部としての表示装置３２、通信部３８を含む表示制御装置としての表示制御ＥＣＵ３４、遠隔操縦装置３６、及び記録部３９を備えている。
　表示装置３２は、一例として、第１表示部３２Ａ、第２表示部３２Ｂ、第３表示部３２Ｃ、及び第４表示部３２Ｄの４つの表示部を備えている。図１に示されるように、第１～第４表示部３２Ａ～３２Ｄは、例えば縦方向に２つ、横方向に２つ各々並んで配設されている。具体的には、一例として、監視者から見て第１表示部３２Ａが左上側、第２表示部３２Ｂが右上側、第３表示部３２Ｃが左下側、第４表示部３２Ｄが右下側に各々配置されている。
　また、一例として、第１表示部３２Ａには、複数の車両２０の運行情報が表示され、第２表示部３２Ｂには、現在運行されている車両２０の車種や乗員数、走行経路等の車両情報が表示される。また、第３表示部３２Ｃ及び第４表示部３２Ｄには、各車両２０から受信した合成画像ＣＰに基づいて生成された表示画像ＨＰが表示される。なお、合成画像ＣＰをそのまま表示させることもできる。
　本実施形態において、第１～第４表示部３２Ａ～３２Ｄは、一例として、４Ｋ解像度に対応した映像が表示可能な性能を有しているが、各表示部の性能はこれに限られず、全てが同一の性能を有していなくてもよいし、４Ｋよりも低解像度又は４Ｋよりも高解像度の映像が表示可能な性能を有していてもよいし適宜変更可能である。
　通信部３８は、外部装置と通信するためのインターフェイスであり、車両２０の通信部２８から送信された合成画像ＣＰを受信する受信部としても機能する。ここで、車両２０の通信部２８と遠隔監視装置３０の通信部３８は、図１に示されるように、ネットワーク４０を経由して互いに通信される。ネットワーク４０は、ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュールや、４Ｇ、ＬＴＥ、５Ｇ等の広域無線通信モジュールであるモバイル回線等で構成される。なお、ネットワーク４０による通信はクラウドサーバ（図示省略）介して行うこともできる。
　記録部３９は、フラッシュメモリ等の不揮発性のメモリであり、通信部３８により受信された合成画像ＣＰを記録する。また車両２０の通信部２８から送信された車両２０の車速度及び操舵角等、各種データを記録する。
　遠隔操縦装置３６は、車両２０を遠隔操作する機能を有しており、例えば車両２０を停止させたり、監視者の所望する条件で車両２０を走行させたりすることもできる。遠隔操縦装置３６は、公知の技術を使用することができる。
　表示制御装置としての表示制御ＥＣＵ３４は、表示装置３２へ画像や情報等を表示させる装置であり、図１４に示す通り、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）７０、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）７１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）７２、ストレージ７３、通信インターフェイス（図１４では「通信Ｉ／Ｆ」と略す）７４等を含んで構成されている。各構成は、バス７５を介して相互に通信可能に接続されている。ＣＰＵ７０は、ＲＯＭ７１又はストレージ７３からプログラムを読み出し、ＲＡＭ７２を作業領域としてプログラムを実行する。通信インターフェイス７４は、ＣＰＵ７０からの指令により通信部３８として機能し、バス７５等の有線または無線により、外部装置と通信するためのインターフェイスである。ここでは、通信インターフェイス７４が通信部３８として機能する例を挙げたが、表示制御ＥＣＵ３４の外側に配置された通信モジュールを用いることもできる。
　また、表示制御ＥＣＵ３４は、機能構成として合成画像取得部３４Ａ及び表示画像生成部３４Ｂを備えており、合成画像取得部３４Ａ及び表示画像生成部３４Ｂは、プロセッサとしてのＣＰＵ７０が、メモリとしてのＲＯＭ７１又はメモリとしてのストレージ７３からプログラムを読み出し、ＲＡＭ７２を作業領域としてプログラムを実行することにより実行される。
　合成画像取得部３４Ａは、通信部３８により受信された合成画像ＣＰを取得して、記録部３９に記憶させる。
　表示画像生成部３４Ｂは、表示装置３２（本実施形態においては第３表示部３２Ｃ及び第４表示部３２Ｄ）に表示させる表示画像ＨＰを生成する。具体的には、表示画像生成部３４Ｂは合成画像ＣＰに基づいて表示画像ＨＰを生成する。
　図６は全天球画像において、エクイレクタングラーから球体への形式の変換を説明するための説明図である。表示画像生成部３４Ｂは、図６の左図に示される合成画像ＣＰ上の点Ｐｅ（λ，φ）を、図６の右図に示される単位球状の点Ｐｓ（ｘｓ,ｙｓ,ｚｓ）に変換する。ここで、図６の右図において、λは経度、φは緯度を表す。
　この場合、変換式は下記式（１）～（３）で示される。
　ｘｓ＝ｃｏｓ（φ）ｓｉｎ（λ）・・・（１）
　ｙｓ＝ｓｉｎ（φ）　　　　　　・・・（２）
　ｚｓ＝ｃｏｓ（φ）ｃｏｓ（λ）・・・（３）
　表示画像生成部３４Ｂは、上記変換式（１）～（３）により、平面状態の全天球画像を球体の全天球画像に変換する。表示画像生成部３４Ｂは、合成画像ＣＰ及び変換後の球体の全天球画像を表す球体形式の合成画像ＲＰに基づいて、遠隔監視装置３０を操作する監視者の所望する表示態様の表示画像ＨＰを生成する。なお、エクイレクタングラー形式の平面状態の合成画像ＣＰには原点から見た全ての方向の情報が含まれるため、この合成画像ＣＰに基づいて球体以外の形状、例えば円筒を上から見た形状等の任意の形状の合成画像を生成することもできる。また、表示画像生成部３４Ｂは、合成画像ＣＰを表示画像ＨＰとしてそのまま使用することもできる。
　図７～図１２は遠隔監視装置３０の第３表示部３２Ｃ又は第４表示部３２Ｄに表示される表示画像ＨＰの一例を示す図である。なお、本実施形態においては、一例として、第３表示部３２Ｃ及び第４表示部３２Ｄには、異なる車両２０から送信された合成画像ＣＰに基づいて表示画像生成部３４Ｂにより生成された表示画像ＨＰがそれぞれ表示される。また、本実施形態においては、１台の車両２０から送信された合成画像ＣＰに対して生成される表示画像ＨＰを一例として第３表示部３２Ｃに表示する態様について以下説明する。その他の車両２０については上記１台の車両２０と同様にして表示画像ＨＰが生成され、第４表示部３２Ｄに表示される。
　図７に示されるように、表示画像生成部３４Ｂは、球体の全天球画像を表す合成画像ＲＰにおいて車両２０を見下ろす視点で生成された３６０度俯瞰画像である表示画像ＨＰ１を生成する。なお、図７において、便宜上、車両２０の車体の下側を表す画像が黒色で表されているが、実際には車両２０の車体の下側を表す実際の画像が表されている。また、表示画像生成部３４Ｂは、車両２０を模擬した画像Ａ１を表示画像ＨＰ１に重ねて合成してもよい。この際に、表示画像ＨＰ１において画像Ａ１が重ねられた領域も視認可能とするために、画像Ａ１は透過性を有する画像とする。生成された表示画像ＨＰ１は、表示制御ＥＣＵ３４によって第３表示部３２Ｃに表示される。
　なお、表示制御ＥＣＵ３４は、第３表示部３２Ｃに表示された画像Ａ１を含む表示画像ＨＰ１に対して、矢印Ｍ１で示される時計回りの回転方向又は矢印Ｍ２で示される反時計回りの回転方向に移動可能な画像Ａ２を表示画像ＨＰ１に重ねて合成してもよい。画像Ａ２は、表示画像ＨＰ１の円周上の円弧と該円弧よりも小さい半径で形成された内側円弧とを両端部でつなぎ合わせた形状とすることができる。この画像Ａ２が重なる表示画像ＨＰ１上の範囲は、監視者が見たい方向の領域とされる。
　本実施形態においては、監視者が、この画像Ａ２を上記時計回り又は反時計回りの回転方向に移動させることにより、監視者が見たい方向を変更することができる。表示画像生成部３４Ｂは、図８に示されるように、監視者が見たい方向、つまり監視者の所望する自由視点で切り取られた表示画像ＨＰ２を生成する。図８に示される表示画像ＨＰ２は、車両２０から前方側を見た際の画像とされている。生成された表示画像ＨＰ２は、表示制御ＥＣＵ３４によって第３表示部３２Ｃに表示される。
　また、例えば、監視者が見たい方向が複数存在する場合には、監視者は画像Ａ２を見たい方向に移動させて例えば長押し等の操作を行うことによりこの方向を選択し、さらに画像Ａ２を見たい方向に移動させて同様に選択することができる。例えば監視者が見たい方向が前方、後方、左右方向の４方向でありこの４方向が選択された場合には、表示画像生成部３４Ｂは、各々の方向の視点で画像を切り取って、切り取った画像を同一平面上に配置し、図９に示されるように、１枚の表示画像ＨＰ３を生成する。生成された表示画像ＨＰ２は、表示制御ＥＣＵ３４によって第３表示部３２Ｃに表示される。なお、表示制御ＥＣＵ３４は、第３表示部３２Ｃに図７に示す表示画像ＨＰ１を表示し、第４表示部３２Ｄに図８又は図９に示す表示画像ＨＰ２，ＨＰ３を表示させてもよい。
　また、例えば、監視者が、車両２０を後方斜め上側から見たいという情報を合成画像生成部２４Ｂが取得した場合には、合成画像生成部２４Ｂは、図１０に示されるように、合成画像ＲＰに基づいて、車両２０を後方斜め上側から見た俯瞰画像である表示画像ＨＰ４を生成する。表示画像生成部３４Ｂは、表示画像ＨＰ４において、車両２０を表す画像Ａ３を重ねて合成している。この画像Ａ３は、図７で示される表示画像ＨＰ１と同様に、車両２０を模擬した画像とすることができる。
　また、例えば、車両２０の前方を走行する前方車両５０（図１１参照）の左側方に人が二人歩いているとする。この二人が、車両２０側の車両制御装置２６における自動運転システムの通知情報や車両２０に搭載されたセンサ（図示省略）によるセンシングにて異常と判断する対象として検出された場合には、車両２０側の通信部２８により、これらの情報すなわち歩いている二人の位置情報や大きさ情報等が、遠隔監視装置３０に送信され、遠隔監視装置３０側の通信部３８が受信する。
　表示画像生成部３４Ｂは、遠隔監視装置３０の通信部３８が受信した情報に基づいて、合成画像ＣＰから上記二人が映り込む範囲を公知の技術により特定し、図１１に示されるように、この二人５２が映り込む画角で切り取った表示画像ＨＰ５を生成する。表示画像ＨＰ５には、車両２０から前方側を見た際の画像が表されている。表示画像生成部３４Ｂは、通信部３８が受信した情報に基づいて、車両２０から見て二人が位置する方向を一例として矢印で示した画像Ａ４を、表示画像ＨＰ５に重ねて合成する。生成された画像Ａ４を含む表示画像ＨＰ５は、表示制御ＥＣＵ３４によって第３表示部３２Ｃに表示される。なお画像Ａ４は矢印以外の態様であってもよいし、例えば二人５２を囲む枠線であってもよい。
　なお、表示画像生成部３４Ｂは、合成画像ＣＰから上記二人が映り込む範囲を公知の技術により特定した際に、図１２に示されるように、球体の全天球画像を表す合成画像ＲＰにおいて車両２０を見下ろす視点で生成された３６０度俯瞰画像である表示画像ＨＰ６を生成する。表示画像生成部３４Ｂは、この表示画像ＨＰ６において、車両２０に対して二人が位置する方向を×印で示した画像Ａ５を、表示画像ＨＰ６に重ねて合成する。本実施形態においては、画像Ａ５は他の画像領域と比較して強調される態様で構成されている。なお、画像Ａ５は、例えば丸印等、×印以外の態様であってもよい。
　なお、図１２で示される表示画像ＨＰ６は、図７で示される表示画像ＨＰ１と同様に、車両２０の車体の下側を表す画像が黒色で表されているが、実際には車両２０の車体の下側を表す実際の画像が表されている。また、車両２０を模擬した画像Ａ１を表示画像ＨＰ１に重ねて合成してもよい。また、表示画像ＨＰ６において、画像Ａ１の周囲の３６０度俯瞰画像は白色で表されているが、実際には、図７で示される表示画像ＨＰ１と同様に構成されている。生成された画像Ａ１、Ａ５を含む表示画像ＨＰ６は、表示制御ＥＣＵ３４によって第３表示部３２Ｃに表示される。
　また、本実施形態において、表示画像生成部３４Ｂは、車両制御装置２６から送信された車両２０の走行状況、すなわち現在選択されているモードに応じて表示画像ＨＰを生成する。具体的には、車両２０が正常時走行モードである場合には、表示画像生成部３４Ｂは、図７で示される表示画像ＨＰ１を生成し、表示制御ＥＣＵ３４は生成された表示画像ＨＰ１を第３表示部３２Ｃに表示する。その後、表示画像生成部３４Ｂは、上述したように監視者による画像Ａ２の移動操作に応じて、図８で示される表示画像ＨＰ２、図９で示される表示画像ＨＰ３、及び図１０で示される表示画像ＨＰ４の何れかを生成し、表示制御ＥＣＵ３４は生成された表示画像を第３表示部３２Ｃに表示する。
　また、車両２０が異常時走行モードである場合には、表示画像生成部３４Ｂは、上述したように、車両２０側の車両制御装置２６における自動運転システムの通知情報や車両２０に搭載されたセンサ（図示省略）によるセンシングにて検出された情報に基づいて、図１１で示される生成された画像Ａ４を含む表示画像ＨＰ５、又は図１２で示される生成された画像Ａ１、Ａ５を含む表示画像ＨＰ６を生成し、表示制御ＥＣＵ３４は生成された表示画像を第３表示部３２Ｃに表示する。
　また、車両２０が復帰時走行モードである場合には、表示画像生成部３４Ｂは、車両２０の車体下側が視認可能な図７で示される表示画像ＨＰ１を生成し、表示制御ＥＣＵ３４は生成された表示画像ＨＰ１を第３表示部３２Ｃに表示する。その後、表示画像生成部３４Ｂは、上述したように監視者による画像Ａ２の移動操作に応じて、図８で示される表示画像ＨＰ２、図９で示される表示画像ＨＰ３、及び図１０で示される表示画像ＨＰ４の何れかを生成し、表示制御ＥＣＵ３４は生成された表示画像を第３表示部３２Ｃに表示する。
　また、車両２０が遠隔操縦モードである場合には、表示画像生成部３４Ｂ及び表示制御ＥＣＵ３４は、正常時走行モードと同様の処理を行う。
　次に、本実施形態の作用及び効果について説明する。
　本実施形態の遠隔監視システム１０によれば、車両２０が、９つのカメラ２２Ａ～２２Ｊにより各々撮影された９枚の撮影画像Ｐ１～Ｐ９を、隣接する撮影領域が重なる重複部分をオーバラップさせて合成し、車両水平方向の車両全周囲を含む合成画像ＣＰを生成する合成画像生成部２４Ｂと、生成された合成画像を送信する送信部として機能する通信部２８とを含んでいる。また、遠隔監視装置３０が、車両２０から送信された合成画像ＣＰを受信する受信部とし機能する通信部３８を含んでいる。そのため、遠隔監視装置３０側で車両水平方向の車両全周囲を含む合成画像ＣＰを取得することができる。また、合成画像ＣＰは、車両水平方向の車両全周囲の情報を有しているので、遠隔監視装置３０側でこの取得した合成画像ＣＰに基づいて画像処理を行うことができる。これにより、遠隔監視装置３０側で画像処理をし易くすることができる。
　また、従来技術においては、例えば本実施形態と同様に９つのカメラを車両に搭載している場合、搭載された９つのカメラにより各々撮影された撮影画像を遠隔監視装置の表示装置に表示させており、９つの撮影画像が監視対象となっている。そのため、表示装置において監視する画面数が多くなることから監視が煩雑となり、監視者の判断に時間を要してしまう場合がある。また、監視対象となる車両が複数台存在する場合には、どの車両のどの方向の画像が表示されているのかを瞬時に判断するのは難しい。
　また、９つのカメラにより各々撮影された撮影画像の画像データを遠隔監視装置に送信しているため、例えば、１枚の上記撮影画像が上記実施形態と同様に約２００万画素で構成されている場合には、遠隔監視装置に送信される画像データは、約２００万画素×９（カメラの台数分）で約１８００万画素となる。そのため、カメラの性能や台数によっては送信するデータ量がより増大してしまう。
　これに対して、本実施形態の遠隔監視システム１０によれば、合成画像生成部２４Ｂが９つのカメラ２２Ａ～２２Ｊにより各々撮影された９枚の撮影画像Ｐ１～Ｐ９を、隣接する撮影領域が重なる重複部分をオーバラップさせて合成して生成した合成画像ＣＰを遠隔監視装置３０に送信している。本実施形態において合成画像ＣＰは約７４０万画素の画像データで構成されるように生成されている。そのため、従来技術と比較して送信するデータ量を削減することができる。
　また、本実施形態の遠隔監視システム１０によれば、撮影画像Ｐ１～Ｐ９における各々の撮影範囲は、車両２０の一部が含まれるように設定されているので、合成画像において車両２０の周囲における死角の発生を防止することができる。
　また、本実施形態の遠隔監視システム１０によれば、合成画像ＣＰが、全天球画像であるため、合成画像ＣＰには、車両２０の水平方向及び垂直方向の３６０度すなわち車両を中心とした全方位が映り込んでいる。すなわち、合成画像ＣＰにおいて、各カメラの撮影方向が関連付けられている。そのため、遠隔監視装置３０側で車両２０を遠隔監視する際に、車両２０の周辺において死角が発生するのを防止することができるので、安全なモビリティ制御を実現することができる。
　また、本実施形態の遠隔監視システム１０によれば、遠隔監視装置３０は、第１～第４表示部３２Ａ～３２Ｄと、通信部３８により受信された合成画像ＣＰから第３表示部３２Ｃ及び第４表示部３２Ｄに表示する表示画像ＨＰを生成する表示画像生成部３４Ｂとを含んでいる。そのため、遠隔監視装置３０側において、表示画像生成部３４Ｂが合成画像ＣＰから第３表示部３２Ｃ及び第４表示部３２Ｄに表示する表示画像ＨＰを生成できるので、監視者の所望する視点や表示態様での表示画像ＨＰを第３表示部３２Ｃ及び第４表示部３２Ｄに表示することができる。
　また、例えば、図７や図９、図１０に示される表示画像ＨＰ１、ＨＰ３、ＨＰ４のように、１枚の表示画像ＨＰを複数の視点から見た画像を含む画像としたり、車両２０の車両全周囲を視認可能な画像としたりすることにより、監視者の監視における負担を軽減することができる。これにより、一人等のより少人数の監視者によって複数台の車両２０の運行を遠隔監視したり遠隔操作したりすることが可能となる。また、監視対象となる車両２０が複数台存在する場合には、観察者は一枚の表示画像ＨＰを視認することによりどの車両のどの方向の画像が表示されているのかを瞬時に判断することができる。
　また、近年、開発段階である自動運転システムにおいては、車両２０が自動運転を行う際に何らかの異常が発生した場合、車両２０を一時停止させる必要がある。本実施形態の遠隔監視システム１０によれば、車両２０が、車両２０の車体の下側が撮影領域となるように撮影範囲が設定された下側用の下方カメラ２２Ｊを含み、合成画像生成部２４Ｂが、下方カメラ２２Ｊにより取得された撮影画像Ｐ９も合成画像ＣＰに合成している。そのため、監視者は、遠隔監視にて、車体の下側を含めた車両２０の周囲を合成画像ＣＰに基づいて確認することができるので、一時停止した車両２０の復帰（再走行）を遠隔監視装置３０側で判断することができる。また、車両２０が、車両２０の一部を含む車両２０の下側が撮影領域となるように撮影範囲が設定された下側用の下方カメラ２２Ｊを含んでいる。そのため、合成画像生成部２４Ｂが撮影画像Ｐ９を合成画像ＣＰに合成する際に、撮影画像Ｐ１～Ｐ８と撮影画像Ｐ９との画像内において、共通する被写体として車両２０の一部が存在する可能性が高くなり、合成の精度を向上させることができる。
　また、本実施形態の遠隔監視システム１０によれば、表示画像生成部３４Ｂが、車両２０において設定されたモードに合わせた表示画像ＨＰを生成するので、車両２０の状況に応じた表示画像ＨＰを第３表示部３２Ｃ及び第４表示部３２Ｄに表示することができる。
　また、車両２０が例えば正常時走行モードや遠隔操縦モードである場合に、一例として、図７で示される表示画像ＨＰ１のように球体の全天球画像を表す合成画像ＲＰにおいて車両２０を見下ろす視点で生成された３６０度俯瞰画像が表示される。そして、監視者による画像Ａ２の移動操作が行われると、この移動操作に応じた視点から見た画像として、例えば図８で示される表示画像ＨＰ２、図９で示される表示画像ＨＰ３、及び図１０で示される表示画像ＨＰ４の何れかの表示画像が第３表示部３２Ｃに表示される。これにより、監視者は所望する視点から見た画像を視認することができる。
　また、車両２０が例えば異常時走行モードとなった際、一例として図１１又は図１２に示される表示画像ＨＰ５、ＨＰ６のように、異常と判断する対象が二人５２である場合に、車両２０に対してこの二人５２が位置する方向が矢印で示した画像Ａ４や×印で示した画像Ａ５によって呈示される。これにより、監視者は車両２０に対してどの方向で異常が発生しているのかを視認することができる。
　また、車両２０が例えば復帰時走行モードである場合に、図７で示される表示画像ＨＰ１のように車両２０の車体下側が視認可能な画像が表示される。そのため、異常時走行モードにより停止された車両２０を復帰（再走行）させる際に、監視者は車両２０の車体下側も確認することができるので、監視者により車両２０を安全に再走行させることができる。
　また、本実施形態の遠隔監視システム１０によれば、表示画像生成部３４Ｂは、車両２０の走行状況に基づいて表示画像ＨＰを生成するので、車両２０の走行状況に応じた表示画像ＨＰを第３表示部３２Ｃ及び第４表示部３２Ｄに表示することができる。これにより、監視者は車両２０の走行状態に応じた表示画像ＨＰを視認することができる。
　また、本実施形態の遠隔監視システム１０によれば、合成画像ＣＰは、縦方向と横方向との比率が１：２であるため、合成画像ＣＰをエクイレクタングラー形式すなわち正距円筒図法により構成することができる。
　［実施形態の補足説明］
　上記実施形態においては、撮影装置２２を構成するカメラ２２Ａ～２２Ｊは、各々１８０度よりも大きい画角を有する円周魚眼レンズが使用されているが、本開示はこれに限られない。隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能であれば、例えば１４０度の画角を有する円周魚眼レンズであってもよいし、画角は限定されない。また、円周魚眼レンズではなく、対角線魚眼レンズや他の広角レンズ、超広角レンズ等を使用してもよい。
　また、上記実施形態においては、撮影装置２２を構成するカメラ２２Ａ～２２Ｊは、下方カメラ２２Ｊを車両２０の前部下側に１つ備えているが、本開示はこれに限られない。例えば、車両２０の後部下側にも下カメラを備えていてもよい。すなわち下側用のカメラは２つ以上であってもよいし、車両２０の車体の大きさに応じて適宜変更することができる。
　また、上記実施形態においては、撮影装置２２を構成するカメラ２２Ａ～２２Ｊは、９つとしたが、本開示はこれに限られない。例えば、下方カメラ２２Ｊを備えていなくてもよい。この場合、車両２０の下側撮影画像は合成画像に含まれないので、遠隔監視装置３０において車両２０の車体下側を視認することはできないが、車両２０の水平方向は３６０度視認することができる。
　また、上記実施形態においては、撮影装置２２を構成する車両２０の水平方向のカメラ２２Ａ～２２Ｈは、８つとしたが、本開示はこれに限られない。隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能であれば、前方カメラ２２Ａ、右側方カメラ２２Ｃ、後方カメラ２２Ｅ、及び左側方カメラ２２Ｇの４つのカメラであってもよいし、各カメラの画角に応じて適宜変更することができる。
　また、上記実施形態においては、下方カメラ２２Ｊで撮影された撮影画像Ｐ９は、周縁部において撮影画像Ｐ１～Ｐ８の各々と共通する被写体がそれぞれ映り込んでいるとしたが、本開示はこれに限られない。例えば、車両２０の車体の底面２０Ａを撮影するカメラが車両２０の前部下側に１つだけ備えられている場合には、撮影画像Ｐ９は、後方カメラ２２Ｅにより撮影された撮影画像Ｐ５と共通する被写体のみが映り込んでいてもよい。すなわち、車両２０の水平方向を撮影範囲とした撮影画像Ｐ１～Ｐ１のうち１つ以上の撮影画像と共通の被写体が映り込んでいればよい。
　撮影画像Ｐ９に撮影画像Ｐ５と共通する被写体のみが映り込んでいる場合、生成された合成画像ＣＰにおいて、下方カメラ２２Ｊで撮影された撮影画像Ｐ９は、撮影画像Ｐ５の下端で合成され、撮影画像Ｐ９の右側はブランク画像ＢＰとされる。
　また、上記実施形態においては、合成画像ＣＰは平面状態の全天球画像としたが、本開示はこれに限られない。合成画像ＣＰは、全天周画像や、上部及び下部が欠けているパノラマ画像、すなわち車両水平方向のみ３６０度を撮影した３６０度パノラマ画像であってもよいし、上部のみ又は下部のみが欠けているパノラマ画像であってもよい。
　また、上記実施形態においては、全天球画像としてエクイレクタングラー形式（正距円筒図法）を使用したが、本開示はこれに限られない。例えば、サイコロを分解したように正六面体のスクリーン６面に平面画像を貼り付けて、その中央から画像を見た際に３６０度が正しく見えるキューブマップ形式を使用してもよいし、プラネタリウム等において使用されるドームマスター形式等を使用してもよい。使用する形式は公知の技術を使用することができる。
　また、上記実施形態においては、表示画像生成部３４Ｂは、平面状態の全天球画像を球体の全天球画像に変換する処理を行っているが本開示はこれに限られない。例えば、合成画像生成部２４Ｂが、平面状態の全天球画像を球体の全天球画像に変換する処理を行い、球体の全天球画像で表される合成画像ＲＰを遠隔監視装置３０に送信してもよい。
　また、上記実施形態においては、遠隔監視装置３０は第１～第４表示部３２Ａ～３２Ｄの４つの表示部を備えているが、本開示はこれに限られない。４つより少ない数の表示部を備えていてもよいし、４つより多い数の表示部を備えていてもよい。表示部の台数は、例えば運行させる車両２０の数に応じて設定されていてもよい。
　また、上記実施形態においては、図７に示されるように、画像Ａ２を時計回り又は反時計回りの回転方向に移動させることにより、監視者が見たい方向を変更しているが本開示はこれに限られない。例えば、第３表示部３２Ｃに図８で示される表示画像ＨＰ２が表示されている場合には、合成画像生成部２４Ｂは、例えば監視者がマウス等の入力手段によって移動されるポインタ（図示省略）を表示画像ＨＰ２上に合成する。表示画像生成部３４Ｂは、このポインタの表示画像ＨＰ２の移動距離及び移動方向を検出し、この検出した移動距離及び移動方向に応じて合成画像ＣＰにおける切り出し範囲を決定してもよい。
　また、上記実施形態においては、通信部２８は、合成画像ＣＰを送信する送信部としての機能と、その他の情報（異常情報や遠隔操作に関する情報等）を送受信する送受信部としての機能の両方を備えているが、本開示はこれに限られない。合成画像ＣＰを送信する送信部は通信部２８とは別に設けられていてもよい。このように、合成画像ＣＰの送信に特化した送信部を設けることにより、合成画像ＣＰの通信処理速度をより速くすることが可能となる。
　また、上記実施形態においては、通信部３８は、合成画像ＣＰを受信する受信部としての機能と、その他の情報（異常情報や遠隔操作に関する情報等）を送受信する送受信部としての機能の両方を備えているが、本開示はこれに限られない。合成画像ＣＰを受信する受信部は通信部３８とは別に設けられていてもよい。このように、合成画像ＣＰの受信に特化した受信部を設けることにより、合成画像ＣＰの通信処理速度をより速くすることが可能となる。
　また、上記実施形態においては、移動体を車両２０としたが本開示はこれに限られない。移動体は例えば荷物や配送物等を運ぶモビリティであってもよいし、自立走行可能なロボットであってもよいし、自立走行可能であれば何れの態様であってもよい。
　また、上記実施形態で図１３に示されるＣＰＵ６０及び図１４に示されるＣＰＵ７０がソフトウェア（プログラム）を読み込んで実行した各処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記実施形態で説明したプログラムは、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の非一時的記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　以上、本開示の一例について説明したが、本開示は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
　２０２２年９月３０日に出願された日本国特許出願２０２２－１５９０５５号の開示は、その全体が参照により本明細書に取り込まれる。
　本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。
 

Claims (8)

  1. 　移動体に搭載され、隣接する撮影領域が重なる重複部分が形成されるように撮影範囲が設定可能とされた４つ以上の撮影部と、
    　該４つ以上の撮影部により各々撮影された４つ以上の撮影画像を、前記重複部分をオーバラップさせて合成し、移動体水平方向の移動体全周囲を含む合成画像を生成する合成画像生成部と、
    　該合成画像生成部により生成された前記合成画像を送信する送信部と、を含む移動体と、
    　前記移動体から送信された前記合成画像を受信する受信部を含む遠隔監視装置と、
    　を備える遠隔監視システム。
  2. 　前記４つ以上の撮影画像における各々の前記撮影範囲は、前記移動体の一部が含まれるように設定されている請求項１に記載の遠隔監視システム。
  3. 　前記移動体は、前記移動体の一部を含む当該移動体の下側が撮影領域となるように撮影範囲が設定された下側用の撮影部をさらに含み、
    　前記合成画像生成部は、前記下側用の撮影部により取得された下側撮影画像も前記合成画像に合成する請求項１に記載の遠隔監視システム。
  4. 　前記合成画像は、全天球画像である請求項１に記載の遠隔監視システム。
  5. 　前記遠隔監視装置は、表示部と、
    　前記受信部により受信された前記合成画像から前記表示部に表示する表示画像を生成する表示画像生成部と、を含む請求項１に記載の遠隔監視システム。
  6. 　前記表示画像生成部は、前記移動体の走行状況に基づいて前記表示画像を生成する請求項５に記載の遠隔監視システム。
  7. 　前記表示画像生成部は、前記移動体において設定されたモードに合わせた前記表示画像を生成する請求項５に記載の遠隔監視システム。
  8. 　前記合成画像は、縦方向と横方向との比率が１：２である請求項１に記載の遠隔監視システム。
     
PCT/JP2023/028193 2022-09-30 2023-08-01 遠隔監視システム WO2024070203A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022159055A JP2024052376A (ja) 2022-09-30 2022-09-30 遠隔監視システム
JP2022-159055 2022-09-30

Publications (1)

Publication Number Publication Date
WO2024070203A1 true WO2024070203A1 (ja) 2024-04-04

Family

ID=90477136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/028193 WO2024070203A1 (ja) 2022-09-30 2023-08-01 遠隔監視システム

Country Status (2)

Country Link
JP (1) JP2024052376A (ja)
WO (1) WO2024070203A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005084027A1 (ja) * 2004-02-26 2005-09-09 Olympus Corporation 画像生成装置、画像生成プログラム、及び画像生成方法
JP2012121384A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 画像表示システム
US20160101734A1 (en) * 2014-10-13 2016-04-14 Lg Electronics Inc. Under vehicle image provision apparatus and vehicle including the same
JP2020204973A (ja) * 2019-06-18 2020-12-24 大日本印刷株式会社 情報処理装置、プログラム及び情報処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005084027A1 (ja) * 2004-02-26 2005-09-09 Olympus Corporation 画像生成装置、画像生成プログラム、及び画像生成方法
JP2012121384A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 画像表示システム
US20160101734A1 (en) * 2014-10-13 2016-04-14 Lg Electronics Inc. Under vehicle image provision apparatus and vehicle including the same
JP2020204973A (ja) * 2019-06-18 2020-12-24 大日本印刷株式会社 情報処理装置、プログラム及び情報処理システム

Also Published As

Publication number Publication date
JP2024052376A (ja) 2024-04-11

Similar Documents

Publication Publication Date Title
US10762597B2 (en) Generation apparatus, generation method, reproduction apparatus, and reproduction method
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
US9030524B2 (en) Image generating apparatus, synthesis table generating apparatus, and computer readable storage medium
EP3182696B1 (en) Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium
US10848727B2 (en) Image processing device, information generation device, and information generation method
US8576285B2 (en) In-vehicle image processing method and image processing apparatus
JP2013001366A (ja) 駐車支援装置および駐車支援方法
JP2024063155A (ja) 移動体、画像処理方法、およびコンピュータプログラム
JP7168367B2 (ja) 事故通報装置
WO2024070203A1 (ja) 遠隔監視システム
WO2024070202A1 (ja) 表示システム
JP2019080174A (ja) 画像処理装置、撮像システム、通信システム、画像処理方法、およびプログラム
US20230096414A1 (en) Camera unit installing method, moving device, image processing system, image processing method, and storage medium
US20230113406A1 (en) Image processing system, mobile object, image processing method, and storage medium
US20230098424A1 (en) Image processing system, mobile object, image processing method, and storage medium
WO2018025642A1 (ja) 画像処理装置および画像処理方法
US20230373396A1 (en) Monitoring system monitoring periphery of mobile object, method of controlling monitoring system, and storage medium
JP4339749B2 (ja) 画像生成方法および画像生成装置
US20240177492A1 (en) Image processing system, image processing method, and storage medium
US12028603B2 (en) Image processing system, image processing method, storage medium, image pickup apparatus, and optical unit
JP7434476B2 (ja) 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム
US20230394845A1 (en) Movable apparatus, control method for movable apparatus, and storage medium
US20240048843A1 (en) Local compute camera calibration
US20230379445A1 (en) Image processing device, moving apparatus, image processing method, and storage medium
WO2023243310A1 (ja) 画像処理システム、画像処理装置、画像処理方法、画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23871445

Country of ref document: EP

Kind code of ref document: A1