WO2021186853A1 - 画像生成装置、画像生成方法、およびプログラム - Google Patents

画像生成装置、画像生成方法、およびプログラム Download PDF

Info

Publication number
WO2021186853A1
WO2021186853A1 PCT/JP2021/000331 JP2021000331W WO2021186853A1 WO 2021186853 A1 WO2021186853 A1 WO 2021186853A1 JP 2021000331 W JP2021000331 W JP 2021000331W WO 2021186853 A1 WO2021186853 A1 WO 2021186853A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
vehicle
image
analysis data
analysis
Prior art date
Application number
PCT/JP2021/000331
Other languages
English (en)
French (fr)
Inventor
大輝 五日市
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2022508078A priority Critical patent/JPWO2021186853A1/ja
Priority to US17/801,468 priority patent/US20230104858A1/en
Publication of WO2021186853A1 publication Critical patent/WO2021186853A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an image generator, an image generation method, and a program.
  • Patent Document 1 a server acquires detection results of these sensors from a plurality of vehicles including its own vehicle, this server predicts the behavior of its own vehicle and other vehicles, and risks using this prediction result. It describes performing an analysis and visualizing the possibility of collision in augmented reality.
  • the observer can visually confirm the surrounding condition of the vehicle, so that the risk of a traffic accident can be reduced.
  • the image is sent to the monitoring center as it is, the amount of communication will increase.
  • An example of an object of the present invention is to enable the monitoring center to visually confirm the surrounding state of the vehicle while suppressing the amount of communication.
  • the present invention is the result of processing the captured image generated by the imaging means mounted on the vehicle, and is the type data indicating the type of the object located around the vehicle and the relative of the object to the vehicle.
  • An acquisition means for repeatedly acquiring analysis data including relative position data indicating a position, and Each time the acquisition means acquires the analysis data, a data processing means for generating a reconstructed image having a display based on the type data at a position corresponding to the relative position data and displaying it on a display.
  • An image generator is provided.
  • the computer This is the result of processing the captured image generated by the imaging means mounted on the vehicle, and is the type data indicating the type of the object located around the vehicle and the relative position data indicating the relative position of the object with respect to the vehicle.
  • the acquisition process to repeatedly acquire the analysis data including Each time the acquisition means acquires the analysis data, data processing for generating a reconstructed image having a display based on the type data at a position corresponding to the relative position data and displaying the reconstructed image on the display.
  • This is the result of processing the captured image generated by the imaging means mounted on the vehicle, and is the type data indicating the type of the object located around the vehicle and the relative position data indicating the relative position of the object with respect to the vehicle.
  • An acquisition function that repeatedly acquires analysis data including Each time the acquisition means acquires the analysis data, a data processing function of generating a reconstructed image having a display based on the type data at a position corresponding to the relative position data and displaying the reconstructed image on the display.
  • the state around the vehicle can be visually confirmed at the monitoring center while suppressing the amount of communication.
  • FIG. 1 is a diagram illustrating a usage environment of the image generation device 20 according to the embodiment.
  • the image generation device 20 is an example of a data processing device, and is used together with a plurality of transmission devices 10.
  • the image generator 20 is installed in the monitoring center. At the surveillance center, observers monitor, for example, roads and vehicles 30.
  • the vehicle 30 may be an autonomous driving vehicle.
  • the transmission device 10 is mounted on the vehicle 30, generates an image (photographed image) of the surroundings of the vehicle 30, for example, the front, and processes the image (hereinafter referred to as analysis data) as an image generation device.
  • the analysis data includes at least type data indicating the type of an object located around the vehicle 30 (hereinafter referred to as the first vehicle 30) on which the transmission device 10 is mounted, and the first vehicle 30.
  • a second vehicle 30 a vehicle 30
  • a pedestrian 40 or a falling object 50 existing on the road.
  • It may be a traffic sign placed around the road or a road sign drawn on the road.
  • the image generation device 20 generates a reconstructed image using this analysis data and displays it on the display.
  • the position of the object in this reconstructed image corresponds to the position where the object exists in the real space. Therefore, the observer can visually grasp the environment around the first vehicle 30 by looking at the reconstructed image.
  • the image generation device 20 requests the transmission device 10 for the image itself, if necessary.
  • the image generation device 20 requests an image from the transmission device 10 when a predetermined input is received from a user (for example, a watchman) of the image generation device 20.
  • the transmission device 10 transmits the image to the image generation device 20.
  • the image generation device 20 displays the image generated by the transmission device 10 on the display.
  • the user of the image generation device 20 can directly confirm the image generated by the transmission device 10.
  • FIG. 2 is a diagram showing an example of the functional configuration of the transmission device 10.
  • the transmission device 10 is mounted on the vehicle.
  • the transmission device 10 includes an image pickup unit 12, an image processing unit 14, and a communication unit 16.
  • the image pickup unit 12 is, for example, an in-vehicle camera, and repeatedly photographs the periphery of the first vehicle 30, for example, the periphery of the first vehicle 30 (for example, at least one of the front, side, and rear).
  • the imaging unit 12 may be a monocular camera or a stereo camera.
  • the frame rate at this time is, for example, 10 frames / sec or more, but is not limited to this.
  • the image processing unit 14 processes the image to generate the analysis data described above.
  • the communication unit 16 transmits the analysis data to the image generation device 20 each time the image processing unit 14 generates the analysis data.
  • the communication unit 16 transmits the image generated by the image pickup unit 12 to the image generation device 20.
  • the analysis data generated by the image processing unit 14 is the type data indicating the type of the object located around the first vehicle 30 and the relative position indicating the relative position of the object with respect to the first vehicle 30. Contains location data.
  • the analysis data may include other data as needed.
  • the analysis data may include data (hereinafter referred to as road data) indicating the state of the road located around the first vehicle 30 (for example, at least one of the front, side, and rear). good.
  • Road conditions include, but are not limited to, for example, width, extension, and signs drawn on the road.
  • the analysis data may include the relative velocity data.
  • the relative speed data shows the relative speeds of the first vehicle 30 and the second vehicle 30.
  • the relative velocity data is calculated using, for example, a change in the position of the second vehicle 30 in the image, but may be generated using a sensor (not shown).
  • the analysis data may indicate a difference from the analysis data transmitted in the past, for example, a difference from the type data and the relative position data indicated by the analysis data transmitted in the past.
  • the "analysis data transmitted in the past” may be the analysis data transmitted immediately before or the analysis data transmitted at a predetermined timing.
  • the communication unit 16 may transmit information for identifying the first vehicle 30 from other vehicles 30 together with the analysis data. Further, the communication unit 16 may transmit other data regarding the first vehicle 30 together with the analysis data.
  • the other data is, for example, at least one of data indicating the position of the first vehicle 30 (hereinafter referred to as vehicle position data) and data indicating the speed of the first vehicle 30 (hereinafter referred to as vehicle speed data). Includes.
  • vehicle position data is generated using, for example, GPS
  • the vehicle speed data is generated using a speedometer mounted on the first vehicle 30.
  • FIG. 3 is a diagram showing an example of the functional configuration of the image generation device 20.
  • the image generation device 20 includes an acquisition unit 210, a data processing unit 220, and a display 230.
  • the acquisition unit 210 repeatedly acquires analysis data from at least one transmission device 10.
  • the analysis data includes at least type data and relative position data.
  • the data processing unit 220 generates a reconstructed image using the analysis data and displays it on the display 230.
  • the display 230 may be located outside the image generation device 20.
  • the image generation device 20 can be realized by a cloud server, and the display 230 can be arranged in the monitoring center.
  • the reconstructed image has a display based on the type data at a position corresponding to the relative position data. This display may be a mark imitating the outer shape of the type indicated by the type data, or may be an abstract mark.
  • the data processing unit 220 may include the display of the road according to the road data in the reconstructed image.
  • the data processing unit 220 reproduces the road on which the first vehicle 30 is traveling with the reconstructed image, and also reproduces the objects located around the first vehicle 30 with the reconstructed image. .. That is, the reconstructed image is an image that reproduces the surroundings of the first vehicle 30.
  • the data processing unit 220 uses the vehicle speed data and the relative speed data to obtain a second vehicle speed data.
  • the speed of the vehicle 30 may be estimated and a display showing the estimation result may be included in the reconstructed image or displayed together with the reconstructed image. This estimation result may be displayed, for example, in the vicinity of the second vehicle 30 to be estimated, or may be displayed in a list.
  • the data processing unit 220 may use the information stored in the map data storage unit 222 when generating the reconstructed image.
  • the map data storage unit 222 stores the map data in association with the position information.
  • the acquisition unit 210 acquires the above-mentioned vehicle position data together with the analysis data.
  • the data processing unit 220 acquires map data including a point corresponding to the vehicle position data from the map data storage unit 222.
  • Map data includes at least the width and shape of the road.
  • the data processing unit 220 includes the road based on the map data in the reconstructed image. This road is a reproduction of at least the road on which the vehicle 30 is traveling.
  • the map data storage unit 222 may be a part of the image generation device 20 or may be located outside the image generation device 20.
  • the data processing unit 220 may request the transmitting device 10 for the image generated by the imaging unit 12 when the standard is satisfied. In this case, the data processing unit 220 causes the display 230 to display the image acquired from the transmission device 10.
  • this standard may be defined for, for example, analysis data, or may be defined for input to the image generation device 20 by a user (watcher). Specific examples of this standard will be described later with reference to other figures.
  • FIG. 4 is a diagram showing a hardware configuration example of a main part of the transmission device 10.
  • the transmission device 10 includes a bus 1010, a processor 1020, a memory 1030, a storage device 1040, an input / output interface 1050, and a network interface 1060.
  • the bus 1010 is a data transmission path for the processor 1020, the memory 1030, the storage device 1040, the input / output interface 1050, and the network interface 1060 to transmit and receive data to and from each other.
  • the method of connecting the processors 1020 and the like to each other is not limited to the bus connection.
  • the processor 1020 is a processor realized by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the memory 1030 is a main storage device realized by a RAM (Random Access Memory) or the like.
  • the storage device 1040 is an auxiliary storage device realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like.
  • the storage device 1040 stores a program module that realizes each function of the transmission device 10 (for example, the image processing unit 14 and the communication unit 16).
  • the processor 1020 reads each of these program modules into the memory 1030 and executes them, each function corresponding to the program module is realized.
  • the input / output interface 1050 is an interface for connecting the main part of the transmission device 10 and various input / output devices.
  • the main part of the transmission device 10 communicates with the image pickup unit 12 via the input / output interface 1050.
  • the network interface 1060 is an interface for connecting the transmission device 10 to the network.
  • This network is, for example, LAN (Local Area Network) or WAN (Wide Area Network).
  • the method of connecting the network interface 1060 to the network may be a wireless connection or a wired connection.
  • the transmission device 10 communicates with the image generation device 20 via the network interface 1060.
  • the hardware configuration example of the image generator 20 is also as shown in FIG.
  • the storage device 1040 stores a program module that realizes the image generation device 20 functions (for example, the acquisition unit 210 and the data processing unit 220).
  • the storage device 1040 also functions as a map data storage unit 222.
  • FIG. 5 is a flowchart showing a first example of the processing performed by the image generation device 20 together with the processing performed by the transmission device 10.
  • the transmission device 10 and the image generation device 20 perform the processing shown in this figure each time the image pickup unit 12 of the transmission device 10 generates an image.
  • the image processing unit 14 of the transmission device 10 When the image pickup unit 12 generates an image (step S10), the image processing unit 14 of the transmission device 10 generates analysis data by processing this image (step S20). Next, the communication unit 16 of the transmission device 10 transmits the analysis data generated in step S20 to the image generation device 20. At this time, the communication unit 16 transmits the relative speed data and the vehicle speed data of the first vehicle 30 together with the analysis data (step S30).
  • the acquisition unit 210 of the image generation device 20 acquires the data transmitted from the transmission device 10. Then, the data processing unit 220 of the image generation device 20 generates a reconstructed image using the data acquired by the acquisition unit 210 (step S40), and at this time, displays the configured image on the display 230 (step S50).
  • step S20 and subsequent steps may be performed only on a part of the image generated by the imaging unit 12.
  • the imaging unit 12 shoots at a normal moving image frame rate (for example, 24 frames / second or more), and the processing after step S20 is performed at a frame rate lower than that of the imaging unit 12 (for example, 12 frames / second). You may be broken.
  • the frequency at which the processes shown in steps S20 and after are performed may change according to the speed of the first vehicle 30. As an example, as the speed of the first vehicle 30 increases, this frequency increases. In this way, when the first vehicle 30 is at a low speed, the load applied to the transmission device 10 and the image generation device 20 is reduced.
  • the communication unit 16 may transmit only a part of the analysis data generated in step S20 to the image generation device 20.
  • the communication unit 16 may transmit only the data related to the second vehicle 30 and the traffic sign to the image generator 20.
  • the data processing unit 220 of the image generation device 20 requests all the analysis data from the transmission device 10 as needed.
  • the communication unit 16 of the transmission device 10 subsequently transmits all of the analysis data (for example, data regarding the falling object 50 on the road) to the image generation device 20. In this way, the amount of communication between the transmission device 10 and the image generation device 20 is reduced.
  • FIG. 6 shows a first example of the reconstructed image displayed on the display 230 in step S50.
  • the data processing unit 220 generates an image of the outside of the first vehicle 30 from the first vehicle 30 as a reconstructed image.
  • the reconstructed image is an image viewed from the driver's seat of the first vehicle 30.
  • the reconstructed image shows the second vehicle 30 located in front of the first vehicle 30 (including diagonally forward) and the second vehicle 30.
  • a traffic sign is displayed.
  • the falling object 50 on the road the falling object 50 is also displayed in the reconstructed image.
  • the pedestrian is also displayed in the reconstructed image.
  • the speed of the second vehicle 30 is also displayed in the reconstructed image. This speed is calculated using the relative speed data and the vehicle speed data.
  • FIG. 7 shows a second example of the reconstructed image displayed on the display 230 in step S50.
  • the reconstructed image includes a bird's-eye view in addition to the image shown in FIG.
  • the reconstructed image may be only a bird's-eye view.
  • FIG. 8 is a flowchart showing a second example of the processing performed by the image generating device 20 together with the processing performed by the transmitting device 10.
  • the process shown in this figure is the same as the process shown in FIG. 5, except that the map data is used when the reconstructed image is generated. Further, in the example shown in this figure, the analysis data does not have to include the road data.
  • step S20 the communication unit 16 of the transmission device 10 transmits the vehicle position data together with the analysis data to the image generation device 20. At this time, the communication unit 16 transmits the relative speed data and the vehicle speed data of the first vehicle 30 together with the analysis data (step S32).
  • the data processing unit 220 reads out the map data including the points indicated by the vehicle position data from the map data storage unit 222 (step S34). , A reconstructed image is generated using this map data (step S40), and the generated reconstructed image is displayed on the display 230 (step S50).
  • map data is used, it is not necessary for the image processing unit 14 of the transmission device 10 to generate road data, so that the processing load of the image processing unit 14 is reduced.
  • the data processing unit 220 may generate the first reconstructed image by the method shown in FIG. 5 and may generate the second reconstructed image by the method shown in this figure. In this case, the data processing unit 220 may display the first reconstructed image and the second reconstructed image on the display 230 in a comparable state. For example, the data processing unit 220 may display the first reconstructed image and the second reconstructed image side by side on the display 230, or superimpose the first reconstructed image and the second reconstructed image on the display. It may be displayed on 230. In this way, the observer can visually recognize, for example, the difference between the map data and the road data generated by the image processing unit 14 of the transmission device 10 (an abnormality occurring on the road as an example).
  • FIG. 9 is a flowchart showing a third example of processing performed by the image generation device 20.
  • the transmission device 10 is mounted on a plurality of vehicles 30. Then, the transmission device 10 performs the process shown in FIG. 5 or FIG.
  • the acquisition unit 210 of the image generation device 20 acquires analysis data, vehicle position data, vehicle speed data, and relative speed data from a plurality of transmission devices 10 (step S110).
  • the data processing unit 220 acquires information for identifying the target vehicle 30 (corresponding to the first vehicle 30 described above) from the plurality of vehicles 30. This acquisition may be performed, for example, by input from an observer. Then, the data processing unit 220 uses the vehicle position data to identify the vehicle 30 located near the first vehicle 30 as the second vehicle 30. As an example, the data processing unit 220 acquires vehicle position data corresponding to the first vehicle 30, and at least one other vehicle position data whose association (for example, direction and distance) with the vehicle position data satisfies a criterion. Is specified, and the vehicle 30 corresponding to this vehicle position data is designated as the second vehicle 30. Here, when a plurality of vehicles 30 are specified, the data processing unit 220 sets these plurality of vehicles 30 as the second vehicle 30 (step S120).
  • the data processing unit 220 acquires the analysis data corresponding to the first vehicle 30 (hereinafter referred to as the first analysis data) and the analysis data corresponding to the second vehicle 30 (hereinafter referred to as the second analysis). Data and description) is selected (step S130). Next, the data processing unit 220 determines whether or not there is a discrepancy between the first analysis data and the second analysis data. As an example, the data processing unit 220 determines whether or not there is a discrepancy between the type and position of the object indicated by the first analysis data and the type and position of the object indicated by the second analysis data (). Step S140).
  • the data processing unit 220 identifies the position of each object by using the position information of the first vehicle 30 and the first analysis data. Similarly, the data processing unit 220 identifies the position of each object by using the position information of the second vehicle 30 and the second analysis data. Then, the data processing unit 220 determines whether or not there is a discrepancy in the positions of each of these objects. As an example of the discrepancy, an object that exists in one analysis result may not exist in the other analysis result. Another example of the discrepancy is when the position of the object indicated by one analysis result and the position of the object indicated by the other analysis result are different from each other by a reference value or more.
  • step S140 If there is a discrepancy (step S140: Yes), the data processing unit 220 requests that the image be transmitted to at least one of the transmission device 10 of the first vehicle 30 and the transmission device 10 of the second vehicle 30. (Step S150). After that, the transmission device 10 transmits the image generated by the imaging unit 12 to the image generation device 20 together with the analysis data or instead of the analysis data. Then, the data processing unit 220 displays the image on the display 230. The data processing unit 220 may display this image side by side with the reconstructed image.
  • the data processing unit 220 specifies the position (that is, the point) of the object in which the mismatch occurs (step S160), and generates a reconstructed image so as to include a display indicating the specified point (step S170). ), The generated reconstructed image is displayed on the display 230 (step S180). Other indications included in the reconstructed image are as shown in FIG. 6 or FIG.
  • the data processing unit 220 may output a predetermined output such as an alarm display.
  • step S140 determines whether discrepancy in step S140 (step S140: No) or not included.
  • step S170 the data processing unit 220 generates a reconstructed image
  • step S180 displays the generated reconstructed image on the display 230 (step S180).
  • the reconstructed image generated here is the same as the reconstructed image described above, except that the display indicating the point where the discrepancy occurs is not included.
  • the data processing unit 220 generates a reconstructed image in step S170 using the first analysis data and at least one second analysis data. For example, the data processing unit 220 identifies the position of each object by using the position information of the first vehicle 30 and the first analysis data. Similarly, the data processing unit 220 identifies the position of each object by using the position information of the second vehicle 30 and the second analysis data. Then, the data processing unit 220 generates a bird's-eye view using these specific results. In this way, the existence of an object in a range that cannot be covered by the first analysis data is specified by using the second analysis data, and the display indicating the object is displayed on the object specified by the first analysis data. It can be included in the reconstructed image along with the indicated display.
  • FIG. 10 is a flowchart showing a fourth example of processing performed by the image generation device 20. The process shown in this figure is performed every time the image generator 20 acquires analysis data in parallel with the process shown in FIG. 5, FIG. 8, or FIG.
  • the data processing unit 220 identifies the movement of the detected object for each detected object by using the analysis data transmitted from the transmission device 10 of the first vehicle 30. For example, the data processing unit 220 identifies the movement of the object by using the difference between the analysis data acquired this time and the analysis data acquired a while ago (step S210). Then, the data processing unit 220 determines whether or not the movement of the object specified in step S210 satisfies the criteria determined for each object (step S220).
  • the object when the object is a pedestrian, the standard is that the pedestrian is moving toward the roadway.
  • the reference is the case where the relative position of the second vehicle 30 with respect to the first vehicle 30 or its change is determined to be abnormal.
  • the second vehicle 30 when the second vehicle 30 is an oncoming vehicle, it may be determined that the oncoming vehicle is moving at an impossible speed.
  • the determination as to whether or not it is abnormal is performed using, for example, a model generated by machine learning.
  • the analysis data contains an error
  • the above-mentioned change in the relative position may show a behavior that is physically impossible. In this case as well, the data processing unit 220 determines that there is an abnormality.
  • step S220 If the criteria are met in step S220 (step S220: Yes), the data processing unit 220 requests that the transmission device 10 of the first vehicle 30 transmit the image (step S230). After that, the transmission device 10 transmits the image generated by the imaging unit 12 to the image generation device 20 together with the analysis data or instead of the analysis data. Then, the data processing unit 220 displays the image on the display 230. The data processing unit 220 may display this image side by side with the reconstructed image.
  • the communication unit 16 of the transmission device 10 may determine whether or not the analysis data satisfies the criteria instead of the image generation device 20.
  • An example of this determination is the process shown in steps S210 and S220 of FIG.
  • Another example of this determination is when the reliability of the analysis data (for example, the score when an object is detected) does not meet the criteria. Then, when the analysis data satisfies the criteria, the communication unit 16 transmits the image generated by the imaging unit 12 to the image generation device 20 together with the analysis data or instead of the analysis data.
  • FIG. 11 is a flowchart showing a fifth example of processing performed by the image generation device 20. The process shown in this figure is performed in parallel with the process shown in FIG. 5, FIG. 8 or FIG. 9, and the process shown in FIG.
  • the observer using the image generator 20 confirms the reconstructed image. Then, when the observer determines that it is better to directly check the image generated by the image pickup unit 12 of the transmission device 10, a predetermined input is input to the image generation device 20 (step S310: Yes).
  • a case is, for example, a case where an abnormality has occurred in the movement of any of the vehicles 30, or a case where vehicles 30 in various directions are included in the reconstructed image in the bird's-eye view. Examples of the former include the existence of a falling object 50 that cannot be captured by image processing, and road construction being carried out.
  • the data processing unit 220 requests the transmission device 10 of the first vehicle 30 to transmit the image (step S320). The processing performed after that is as described with reference to FIG.
  • the transmission device 10 transmits the analysis data, which is the analysis result of the image, to the image generation device 20 instead of the image.
  • the analysis data includes at least type data indicating the type of the object located around the vehicle 30 and relative position data indicating the relative position of the object with respect to the vehicle 30.
  • the data processing unit 220 of the image generation device 20 generates a reconstructed image using this analysis data and displays it on the display 230. Therefore, the observer can confirm the objects existing around the vehicle 30. Further, the amount of communication between the transmission device 10 and the image generation device 20 is smaller than that in the case where the transmission device 10 transmits an image to the image generation device 20.
  • the image generation device 20 requests an image from the transmission device 10 when the standard is satisfied. Then, the transmission device 10 transmits the image to the image generation device 20.
  • the data processing unit 220 of the image generation device 20 causes the display 230 to display the image acquired from the transmission device 10. In this way, the image generation device 20 causes the display 230 to display the image generated by the image pickup unit 12 when necessary. Therefore, the quality of monitoring by the observer can be improved.
  • the above embodiments may also be described, but not limited to: 1. 1.
  • This is the result of processing the captured image generated by the imaging means mounted on the vehicle, and is the type data indicating the type of the object located around the vehicle and the relative position data indicating the relative position of the object with respect to the vehicle.
  • An acquisition method for repeatedly acquiring analysis data including Each time the acquisition means acquires the analysis data, a data processing means for generating a reconstructed image having a display based on the type data at a position corresponding to the relative position data and displaying it on a display.
  • An image generator comprising. 2.
  • the analysis data further includes road data indicating the state of the roads located around the vehicle.
  • the data processing means is an image generation device that includes a display of the road according to the road data in the reconstructed image. 3. 3. In the image generator according to 1 or 2 above, The acquisition means acquires vehicle position data indicating the position of the vehicle together with the analysis data, and obtains the vehicle position data. The data processing means is an image generation device that acquires map data including points corresponding to the vehicle position data and includes a road based on the map data in the reconstructed image. 4. In the image generator according to any one of 1 to 3 above. The acquisition means acquires vehicle position data indicating the position of the vehicle from each of the plurality of vehicles together with the analysis data.
  • the data processing means When the data processing means acquires the information that identifies the vehicle position data, Acquire the first analysis data corresponding to the vehicle position data, and obtain the first analysis data. At least one other vehicle position data whose relevance to the one vehicle position data satisfies the criterion is acquired, and the second analysis data corresponding to the at least one other vehicle position data is acquired.
  • An image generator that generates the reconstructed image using the first analysis data and at least one second analysis data. 5.
  • the data processing means An image generation device that outputs a predetermined output when there is a discrepancy between the type and position of the object indicated by the first analysis data and the type and position of the object indicated by the second analysis data. 6.
  • the data processing means is an image generation device that includes information indicating the position of the object in which the discrepancy has occurred in the reconstructed image. 7.
  • the object is another vehicle located around the vehicle and
  • the analysis data further includes relative speed data indicating the relative speed of the vehicle to the other vehicle.
  • the acquisition means further acquires vehicle speed data indicating the speed of the vehicle together with the analysis data.
  • the data processing means further estimates the speed of the other vehicle using the vehicle speed data and the relative speed data, and displays a display showing the estimation result together with the reconstructed image or in the reconstructed image. Image generator to display. 8.
  • the data processing means is an image generation device that generates an image of the outside of the vehicle from the vehicle as the reconstructed image. 9. In the image generator according to any one of 1 to 7 above, The data processing means is an image generation device that generates a bird's-eye view as the reconstructed image. 10. In the image generator according to any one of 1 to 9 above, An image generation device in which the frequency with which the acquisition means acquires the analysis data changes according to the speed of the vehicle. 11. In the image generator according to any one of 1 to 10 above. The analysis data is an image generator showing a difference between the type data and the relative position data indicated by the analysis data transmitted in the past. 12.
  • the vehicle is an autonomous vehicle
  • the display is an image generator arranged in a monitoring center that monitors the vehicle.
  • the computer This is the result of processing the captured image generated by the imaging means mounted on the vehicle, and is the type data indicating the type of the object located around the vehicle and the relative position data indicating the relative position of the object with respect to the vehicle.
  • the acquisition process to repeatedly acquire the analysis data including Data processing that generates a reconstructed image having a display based on the type data at a position corresponding to the relative position data and displays it on the display each time the analysis data is acquired.
  • the analysis data further includes road data indicating the state of the roads located around the vehicle.
  • An image generation method that includes the display of the road according to the computer and the road data in the reconstructed image. 15.
  • the computer Vehicle position data indicating the position of the vehicle is acquired together with the analysis data, and the vehicle position data is acquired.
  • the computer Vehicle position data indicating the position of the vehicle is acquired from each of the plurality of vehicles together with the analysis data. When you get the information that identifies the vehicle position data, Acquire the first analysis data corresponding to the vehicle position data, and obtain the first analysis data.
  • At least one other vehicle position data whose relevance to the one vehicle position data satisfies the criterion is acquired, and the second analysis data corresponding to the at least one other vehicle position data is acquired.
  • the computer An image generation method that outputs a predetermined output when there is a discrepancy between the type and position of the object indicated by the first analysis data and the type and position of the object indicated by the second analysis data. 18.
  • the computer is an image generation method in which information indicating the position of the object in which the discrepancy has occurred is included in the reconstructed image. 19.
  • the object is another vehicle located around the vehicle and
  • the analysis data further includes relative speed data indicating the relative speed of the vehicle to the other vehicle.
  • the computer Vehicle speed data indicating the speed of the vehicle is acquired together with the analysis data, and the vehicle speed data is acquired.
  • An image generation method in which the speed of the other vehicle is estimated using the vehicle speed data and the relative speed data, and a display showing the estimation result is displayed together with the reconstructed image or in the reconstructed image.
  • An image generation method in which the computer generates an image of the outside of the vehicle from the vehicle as the reconstructed image. 21.
  • the computer is an image generation method for generating a bird's-eye view as the reconstructed image. 22.
  • the analysis data is an image generation method showing a difference between the type data and the relative position data indicated by the analysis data transmitted in the past. 24.
  • the vehicle is an autonomous vehicle
  • the display is an image generation method arranged in a monitoring center for monitoring the vehicle. 25.
  • An acquisition function that repeatedly acquires analysis data including Each time the acquisition function acquires the analysis data, a data processing function that generates a reconstructed image having a display based on the type data at a position corresponding to the relative position data and displays it on a display.
  • the analysis data further includes road data indicating the state of the roads located around the vehicle.
  • the data processing function is a program that includes a display of the road according to the road data in the reconstructed image. 27.
  • the acquisition function acquires vehicle position data indicating the position of the vehicle together with the analysis data.
  • the data processing function is a program that acquires map data including points corresponding to the vehicle position data and includes a road based on the map data in the reconstructed image. 28.
  • the acquisition function acquires vehicle position data indicating the position of the vehicle from each of the plurality of vehicles together with the analysis data.
  • the data processing function acquires the information that identifies the vehicle position data, Acquire the first analysis data corresponding to the vehicle position data, and obtain the first analysis data.
  • At least one other vehicle position data whose relevance to the one vehicle position data satisfies the criterion is acquired, and the second analysis data corresponding to the at least one other vehicle position data is acquired.
  • the data processing function A program that outputs a predetermined output when there is a discrepancy between the type and position of the object indicated by the first analysis data and the type and position of the object indicated by the second analysis data.
  • the data processing function is a program that includes information indicating the position of the object in which the discrepancy has occurred in the reconstructed image. 31.
  • the object is another vehicle located around the vehicle and
  • the analysis data further includes relative speed data indicating the relative speed of the vehicle to the other vehicle.
  • the acquisition function further acquires vehicle speed data indicating the speed of the vehicle together with the analysis data.
  • the data processing function further estimates the speed of the other vehicle using the vehicle speed data and the relative speed data, and displays a display showing the estimation result together with the reconstructed image or in the reconstructed image.
  • the data processing function is a program that generates an image of the outside of the vehicle from the vehicle as the reconstructed image. 33.
  • the data processing function is a program that generates a bird's-eye view as the reconstructed image. 34.
  • the analysis data is a program showing a difference between the type data and the relative position data indicated by the analysis data transmitted in the past.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

画像生成装置（２０）は、取得部（２１０）、データ処理部（２２０）、及びディスプレイ（２３０）を備えている。取得部（２１０）は、少なくとも一つの送信装置（１０）から解析データを繰り返し取得する。解析データは、少なくとも種類データ及び相対位置データを含んでいる。データ処理部（２２０）は、解析データを取得するたびに、当該解析データを用いて再構成画像を生成し、ディスプレイ（２３０）に表示させる。再構成画像は、相対位置データに対応する位置に種類データに基づいた表示を有している。この表示は、当該種類データが示す種類の外形を模したマークであってもよいし、抽象化したマークであってもよい。

Description

画像生成装置、画像生成方法、およびプログラム
　本発明は、画像生成装置、画像生成方法、およびプログラムに関する。
　近年は自動車などの車両にカメラなどの様々なセンサを搭載することが増えている。例えば特許文献１には、自車両を含む複数の車両からこれらセンサの検出結果をサーバが取得すること、このサーバが自車両及び他の車両の行動を予測すること、この予測結果を用いてリスク分析を行うこと、及び、衝突の可能性を拡張現実で視覚化することが記載されている。
特開２０２０－９４２８号公報
　車両に搭載された撮像部が生成した画像を監視センターで確認できるようになると、車両の周囲の状態を監視員が視覚的に確認することができるため、交通事故のリスクを減らすことができる。一方、画像をそのまま監視センターに送ると通信量が多くなる。
　本発明の目的の一例は、通信量を抑制しつつ監視センターで車両の周囲の状態を視覚的に確認できるようにすることにある。
　本発明によれば、車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得手段と、
　前記取得手段が前記解析データを取得するたびに、前記相対位置データに対応する位置に前記種類データに基づいた表示を有する再構成画像を生成してディスプレイに表示させるデータ処理手段と、
を備える画像生成装置が提供される。
　本発明によれば、コンピュータが、
　　車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得処理と、
　　前記取得手段が前記解析データを取得するたびに、前記相対位置データに対応する位置に前記種類データに基づいた表示を有する再構成画像を生成してディスプレイに表示させるデータ処理と、
を行う画像生成方法が提供される。
　本発明によれば、コンピュータに、
　　車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得機能と、
　　前記取得手段が前記解析データを取得するたびに、前記相対位置データに対応する位置に前記種類データに基づいた表示を有する再構成画像を生成してディスプレイに表示させるデータ処理機能と、
を持たせるプログラムが提供される。
　本発明によれば、通信量を抑制しつつ監視センターで車両の周囲の状態を視覚的に確認できる。
実施形態に係る画像生成装置の使用環境を説明する図である。 送信装置の機能構成の一例を示す図である。 画像生成装置の機能構成の一例を示す図である。 送信装置の要部のハードウェア構成例を示す図である。 画像生成装置が行う処理の第１例を示すフローチャートである。 ステップＳ５０でディスプレイに表示される再構成画像の第１例を示す図である。 ステップＳ５０でディスプレイに表示される再構成画像の第２例を示す図である。 画像生成装置が行う処理の第２例を示すフローチャートである。 画像生成装置が行う処理の第３例を示すフローチャートである。 画像生成装置が行う処理の第４例を示すフローチャートである。 画像生成装置が行う処理の第５例を示すフローチャートである。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
　図１は、実施形態に係る画像生成装置２０の使用環境を説明する図である。画像生成装置２０はデータ処理装置の一例であり、複数の送信装置１０と共に使用される。画像生成装置２０は、監視センターに設置されている。監視センターにおいて、監視員は例えば道路や車両３０を監視している。ここで車両３０は自動運転車両であってもよい。
　送信装置１０は車両３０に搭載されており、車両３０の周囲、例えば前方を撮影した画像（撮影画像）を生成するとともに、当該画像を処理した結果（以下、解析データと記載）を画像生成装置２０に送信する。解析データには、少なくとも、その送信装置１０が搭載されている車両３０（以下、第１の車両３０と記載）の周囲に位置している物体の種類を示す種類データ、及び第１の車両３０に対する物体の相対位置を示す相対位置データを含んでいる。ここで物体は、他の車両３０（以下、第２の車両３０と記載）であってもよいし、歩行者４０であってもよいし、道路に存在する落下物５０であってもよいし、道路の周囲に配置された交通標識や道路に描かれた道路標識であってもよい。そして画像生成装置２０は、この解析データを用いて再構成画像を生成し、ディスプレイに表示する。この再構成画像内での物体の位置は、実空間において当該物体が存在している位置に対応している。このため、監視員は、再構成画像を見ることにより、第１の車両３０の周囲の環境を視覚的に把握できる。
　また画像生成装置２０は、必要に応じて、送信装置１０に画像そのものを要求する。一例として、画像生成装置２０は、画像生成装置２０のユーザ（例えば監視員）から所定の入力があった場合、送信装置１０に画像を要求する。すると、送信装置１０は画像を画像生成装置２０に送信する。この場合、画像生成装置２０は、送信装置１０が生成した画像をディスプレイに表示する。これにより、画像生成装置２０のユーザは、送信装置１０が生成した画像を直接確認できる。
　図２は、送信装置１０の機能構成の一例を示す図である。上記したように、送信装置１０は車両に搭載されている。本図に示す例において、送信装置１０は撮像部１２、画像処理部１４、及び通信部１６を備えている。撮像部１２は、例えば車載カメラであり、第１の車両３０の周囲、例えば第１の車両３０の周囲（例えば前方、側方、及び後方の少なくとも一つ）を繰り返し撮影する。撮像部１２は、単眼カメラであってもよいし、ステレオカメラであってもよい。この時のフレームレートは、例えば１０フレーム／秒以上であるがこれに限定されない。画像処理部１４は、撮像部１２が画像を生成するたびに、当該画像を処理して上記した解析データを生成する。通信部１６は、画像処理部１４が解析データを生成するたびに、当該解析データを画像生成装置２０に送信する。また通信部１６は、画像生成装置２０から画像を要求されると、撮像部１２が生成した画像を画像生成装置２０に送信する。
　画像処理部１４が生成する解析データは、上記したように、第１の車両３０の周囲に位置している物体の種類を示す種類データ、及び第１の車両３０に対する物体の相対位置を示す相対位置データを含んでいる。解析データは、必要に応じて他のデータを含んでいてもよい。
　例えば解析データは、第１の車両３０の周囲（例えば前方、側方、及び後方の少なくとも一つ）に位置している道路の状態を示すデータ（以下、道路データと記載）を含んでいてもよい。道路の状態としては、例えば、たとえば幅、延在状態、及び道路に描かれた標識が挙げられるが、これらに限定されない。
　また物体が第２の車両３０である場合、解析データは相対速度データを含んでいてもよい。相対速度データは、第１の車両３０と第２の車両３０の相対速度を示している。相対速度データは、例えば、画像内における第２の車両３０の位置の変化を用いて算出されるが、図示していないセンサを用いて生成されてもよい。
　なお、解析データは、過去に送信された解析データとの差分を示すデータ、例えば過去に送信された解析データが示す種類データ及び相対位置データとの差分を示していてもよい。ここで「過去に送信された解析データ」は、一つ前に送信された解析データであってもよいし、所定のタイミングで送信された解析データであってもよい。
　また通信部１６は、解析データと共に、第１の車両３０を他の車両３０から識別する情報を送信してもよい。さらに通信部１６は、解析データと共に、第１の車両３０に関する他のデータを送信してもよい。この他のデータは、例えば第１の車両３０の位置を示すデータ（以下、車両位置データと記載）、及び第１の車両３０の速度を示すデータ（以下、車両速度データと記載）の少なくとも一方を含んでいる。ここで車両位置データは、例えばＧＰＳを用いて生成され、車両速度データは、第１の車両３０に搭載されている速度計を用いて生成される。
　図３は、画像生成装置２０の機能構成の一例を示す図である。本図に示す例において、画像生成装置２０は、取得部２１０、データ処理部２２０、及びディスプレイ２３０を備えている。取得部２１０は、少なくとも一つの送信装置１０から解析データを繰り返し取得する。解析データは、上記したように、少なくとも種類データ及び相対位置データを含んでいる。データ処理部２２０は、解析データを取得するたびに、当該解析データを用いて再構成画像を生成し、ディスプレイ２３０に表示させる。ここで、ディスプレイ２３０は画像生成装置２０の外部に位置していてもよい。この場合、画像生成装置２０をクラウドサーバによって実現し、ディスプレイ２３０を監視センターに配置することができる。再構成画像は、相対位置データに対応する位置に種類データに基づいた表示を有している。この表示は、当該種類データが示す種類の外形を模したマークであってもよいし、抽象化したマークであってもよい。
　また解析データが上記した道路データを有している場合、データ処理部２２０は、道路データに従った道路の表示を再構成画像に含めてもよい。この場合、データ処理部２２０は、第１の車両３０が走行している道路を再構成画像で再現するとともに、第１の車両３０の周囲に位置している物体も当該再構成画像で再現する。すなわち再構成画像は、第１の車両３０の周囲の様子を再現した画像になる。
　また、解析データが上記した相対速度データを含んでおり、かつ、取得部２１０が解析データと共に車両速度データを取得した場合、データ処理部２２０は、車両速度データ及び相対速度データを用いて第２の車両３０の速度を推定し、当該推定結果を示す表示を再構成画像に含めるか、または再構成画像と共に表示してもよい。この推定結果は、例えば推定対象となる第２の車両３０の近傍に表示されてもよいし、一覧表で表示されてもよい。
　なお、データ処理部２２０は、再構成画像を生成する際に、地図データ記憶部２２２が記憶している情報を用いてもよい。地図データ記憶部２２２は、地図データを位置情報に対応付けて記憶している。また、取得部２１０は、解析データと共に、上記した車両位置データを取得する。そしてデータ処理部２２０は、地図データ記憶部２２２から、車両位置データに対応する地点を含む地図データを取得する。地図データは、少なくとも道路の幅や形状を含んでいる。そしてデータ処理部２２０は、再構成画像に当該地図データに基づいた道路を含める。この道路は、少なくとも車両３０が走行している道路を再現したものである。
　なお、地図データ記憶部２２２は画像生成装置２０の一部であってもよいし、画像生成装置２０の外部に位置していてもよい。
　またデータ処理部２２０は、基準を満たしたときに、送信装置１０に、撮像部１２が生成した画像を要求してもよい。この場合、データ処理部２２０は、送信装置１０から取得した画像をディスプレイ２３０に表示させる。なお、この基準は、例えば解析データに関して定められていてもよいし、ユーザ（監視員）による画像生成装置２０への入力に関して定められていてもよい。この基準の具体例については、他の図を用いて後述する。
　図４は、送信装置１０の要部のハードウェア構成例を示す図である。送信装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
　バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
　メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
　ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は送信装置１０の各機能（例えば画像処理部１４及び通信部１６）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。
　入出力インタフェース１０５０は、送信装置１０の要部と各種入出力機器とを接続するためのインタフェースである。例えば送信装置１０の要部は、入出力インタフェース１０５０を介して撮像部１２と通信する。
　ネットワークインタフェース１０６０は、送信装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。送信装置１０は、ネットワークインタフェース１０６０を介して画像生成装置２０と通信する。
　なお、画像生成装置２０のハードウェア構成例も、図４に示した通りになる。この場合、ストレージデバイス１０４０は画像生成装置２０機能（例えば取得部２１０及びデータ処理部２２０）を実現するプログラムモジュールを記憶している。またストレージデバイス１０４０は地図データ記憶部２２２としても機能する。
　図５は、画像生成装置２０が行う処理の第１例を、送信装置１０が行う処理と共に示すフローチャートである。送信装置１０及び画像生成装置２０は、送信装置１０の撮像部１２が画像を生成するたびに、本図に示す処理を行う。
　撮像部１２が画像を生成する（ステップＳ１０）と、送信装置１０の画像処理部１４は、この画像を処理することにより解析データを生成する（ステップＳ２０）。次いで送信装置１０の通信部１６は、ステップＳ２０で生成された解析データを画像生成装置２０に送信する。この際、通信部１６は、解析データと共に、相対速度データ及び第１の車両３０の車両速度データを送信する（ステップＳ３０）。
　画像生成装置２０の取得部２１０は、送信装置１０から送信されてきたデータを取得する。そして画像生成装置２０のデータ処理部２２０は、取得部２１０が取得したデータを用いて再構成画像を生成し（ステップＳ４０）、この際構成画像をディスプレイ２３０に表示させる（ステップＳ５０）。
　なお、ステップＳ２０以降に示した処理は、撮像部１２が生成した画像の一部に対してのみ行われてもよい。例えばステップＳ１０において撮像部１２は通常の動画のフレームレート（たとえば２４フレーム／秒以上）で撮影を行い、ステップＳ２０以降の処理は、撮像部１２より低いフレームレート（例えば１２フレーム／秒）で行われてもよい。
　また、ステップＳ２０以降に示した処理が行われる頻度は、第１の車両３０の速度に従って変わってもよい。一例として、第１の車両３０の速度が大きくなるにつれて、この頻度は多くなる。このようにすると、第１の車両３０が低速の時に送信装置１０及び画像生成装置２０にかかる負荷は、小さくなる。
　なお、通信部１６は、ステップＳ３０において、ステップＳ２０で生成された解析データの一部のみを画像生成装置２０に送信してもよい。例えば通信部１６は、第２の車両３０及び交通標識に関するデータのみを画像生成装置２０に送信してもよい。この場合、画像生成装置２０のデータ処理部２２０は、必要に応じてすべての解析データを送信装置１０に要求する。一例として、監視員から所定の入力があった場合である。すると送信装置１０の通信部１６は、それ以降、解析データのすべて（例えば道路上の落下物５０に関するデータ）を画像生成装置２０に送信する。このようにすると、送信装置１０と画像生成装置２０の間の通信量は少なくなる。
　図６は、ステップＳ５０でディスプレイ２３０に表示される再構成画像の第１例を示している。本図に示す例において、データ処理部２２０は、再構成画像として、第１の車両３０から当該第１の車両３０の外を見た画像を生成する。一例として、再構成画像は、第１の車両３０の運転席から見た画像になる。例えば第１の車両３０が片道に複数の車線を有する道路を走行していた場合、再構成画像には、第１の車両３０の前方（斜め前方も含む）に位置する第２の車両３０及び交通標識が表示される。また、道路に落下物５０があった場合、再構成画像には、落下物５０も表示される。さらに、第１の車両３０の周囲に歩行者がいた場合、再構成画像には、当該歩行者も表示される。
　また本図に示す例において、再構成画像には、第２の車両３０の速度も表示される。この速度は、相対速度データ及び車両速度データを用いて算出される。
　図７は、ステップＳ５０でディスプレイ２３０に表示される再構成画像の第２例を示している。本図に示す例において、再構成画像は、図６に示した画像のほかに、鳥瞰図も含んでいる。なお、再構成画像は鳥瞰図のみであってもよい。なお、解析データが第１の車両３０の複数の方向に関している場合、再構成画像としての鳥瞰図を生成しやすくなる。
　図８は、画像生成装置２０が行う処理の第２例を、送信装置１０が行う処理と共に示すフローチャートである。本図に示す処理は、再構成画像を生成するときに地図データが用いられる点を除いて、図５に示した処理と同様である。また本図に示す例において、解析データは道路データを含んでいなくてもよい。
　ステップＳ２０の後、送信装置１０の通信部１６は、解析データと共に車両位置データを画像生成装置２０に送信する。この際、通信部１６は、解析データと共に、相対速度データ及び第１の車両３０の車両速度データを送信する（ステップＳ３２）。
　画像生成装置２０の取得部２１０が送信装置１０から送信されてきたデータを取得すると、データ処理部２２０は、車両位置データが示す地点を含む地図データを地図データ記憶部２２２から読み出し（ステップＳ３４）、この地図データを用いて再構成画像を生成し（ステップＳ４０）、生成した再構成画像をディスプレイ２３０に表示させる（ステップＳ５０）。
　地図データを用いるようにすると、送信装置１０の画像処理部１４において道路データを生成する必要がなくなるため、画像処理部１４の処理負荷は小さくなる。
　なお、データ処理部２２０は、図５に示した方法で第１の再構成画像を生成するとともに、本図に示した方法で第２の再構成画像を生成してもよい。この場合、データ処理部２２０は、第１の再構成画像と第２の再構成画像を比較可能な状態でディスプレイ２３０に表示させてもよい。例えばデータ処理部２２０は、第１の再構成画像と第２の再構成画像を並べてディスプレイ２３０に表示させてもよいし、第１の再構成画像と第２の再構成画像を重畳してディスプレイ２３０に表示させてもよい。このようにすると、監視員は、例えば地図データと送信装置１０の画像処理部１４が生成した道路データの差（一例として道路に生じた異常）を視覚的に認識することができる。
　図９は、画像生成装置２０が行う処理の第３例を示すフローチャートである。本図に示す処理において、送信装置１０は複数の車両３０に搭載されている。そして送信装置１０は、図５又は図８に示した処理を行っている。
　画像生成装置２０の取得部２１０は、複数の送信装置１０から解析データ、車両位置データ、車両速度データ、及び相対速度データを取得する（ステップＳ１１０）。
　次いでデータ処理部２２０は、複数の車両３０から、対象となる車両３０（上記した第１の車両３０に相当）を特定する情報を取得する。この取得は、例えば監視員からの入力によって行われてもよい。すると、データ処理部２２０は、車両位置データを用いて、第１の車両３０の近くに位置する車両３０を、第２の車両３０として特定する。一例として、データ処理部２２０は、第１の車両３０に対応する車両位置データを取得し、当該車両位置データとの関連性（例えば方向及び距離）が基準を満たす少なくとも一つの他の車両位置データを特定し、この車両位置データに対応する車両３０を第２の車両３０とする。ここで、複数の車両３０が特定された場合、データ処理部２２０は、これら複数の車両３０を第２の車両３０とする（ステップＳ１２０）。
　次いでデータ処理部２２０は、第１の車両３０に対応する解析データ（以下、第１の解析データと記載）を取得するとともに、第２の車両３０に対応する解析データ（以下、第２の解析データと記載）を選択する（ステップＳ１３０）。次いでデータ処理部２２０は、第１の解析データ及び第２の解析データの間に不一致があるか否かを判断する。一例として、データ処理部２２０は、第１の解析データが示す物体の種類及び位置と、第２の解析データが示す物体の種類及び位置と、の間に不一致があるか否かを判断する（ステップＳ１４０）。
　例えばデータ処理部２２０は、第１の車両３０の位置情報及び第１の解析データを用いて、物体別の位置を特定する。同様にデータ処理部２２０は、第２の車両３０の位置情報及び第２の解析データを用いて、物体別の位置を特定する。そしてデータ処理部２２０は、これら物体別の位置に、不一致があるか否かを判断する。不一致の一例としては、一方の解析結果では存在している物体が、他方の解析結果では存在してない場合がある。また、不一致の他の例としては、一方の解析結果が示す物体の位置と、他方の解析結果が示す物体の位置が、基準値以上異なっている場合である。
　そして不一致があった場合（ステップＳ１４０：Ｙｅｓ）、データ処理部２２０は、第１の車両３０の送信装置１０及び第２の車両３０の送信装置１０の少なくとも一方に、画像を送信するように要求する（ステップＳ１５０）。その後、送信装置１０は、解析データと共に、又は解析データの代わりに、撮像部１２が生成した画像を画像生成装置２０に送信する。するとデータ処理部２２０は、その画像をディスプレイ２３０に表示させる。なお、データ処理部２２０は、この画像を再構成画像と並べて表示してもよい。
　またデータ処理部２２０は、不一致が生じている物体の位置（すなわち地点）を特定する（ステップＳ１６０）、と、特定した地点を示す表示が含まれるように、再構成画像を生成し（ステップＳ１７０）、生成した再構成画像をディスプレイ２３０に表示させる（ステップＳ１８０）。再構成画像に含まれる他の表示は、図６又は図７に示した通りである。ここでデータ処理部２２０は、不一致が生じていた場合、例えばアラーム表示などの所定の出力を行ってもよい。
　一方、ステップＳ１４０において不一致がなかった場合（ステップＳ１４０：Ｎｏ）、データ処理部２２０は再構成画像を生成し（ステップＳ１７０）、生成した再構成画像をディスプレイ２３０に表示させる（ステップＳ１８０）。ここで生成される再構成画像は、不一致が生じている地点を示す表示が含まれていない点を除いて、上記した再構成画像と同様である。
　なお、いずれの場合においても、データ処理部２２０は、ステップＳ１７０において、第１の解析データ及び少なくとも一つの第２の解析データを用いて、再構成画像を生成する。例えばデータ処理部２２０は、第１の車両３０の位置情報及び第１の解析データを用いて、物体別の位置を特定する。同様にデータ処理部２２０は、第２の車両３０の位置情報及び第２の解析データを用いて、物体別の位置を特定する。そしてデータ処理部２２０は、これらの特定結果を用いて鳥瞰図を生成する。このようにすると、第１の解析データではカバーしきれない範囲の物体の存在を第２の解析データを用いて特定し、その物体を示す表示を、第１の解析データで特定された物体を示す表示と共に、再構成画像に含めることができる。
　図１０は、画像生成装置２０が行う処理の第４例を示すフローチャートである。本図に示す処理は、図５、図８、又は図９に示した処理と並行して、画像生成装置２０が解析データを取得するたびに行われる。
　まずデータ処理部２２０は、第１の車両３０の送信装置１０から送信されてきた解析データを用いて、検出された物体別に当該物体の動きを特定する。例えばデータ処理部２２０は、今回取得した解析データと、少し前に取得した解析データとの差分を用いて、物体の動きを特定する（ステップＳ２１０）。そしてデータ処理部２２０は、ステップＳ２１０で特定した物体の動きが、物体別に定められた基準を満たすか否かを判断する（ステップＳ２２０）。
　例えば物体が歩行者であった場合、基準は、当該歩行者が車道に向かって移動していることである。また、物体が第２の車両３０であった場合、基準は、第１の車両３０を基準とした第２の車両３０の相対位置又はその変化が、異常と判断される場合である。この具体例としては、第２の車両３０が対向車両である場合、対向車両があり得ない速度で移動していると判断された場合がある。なお、異常であるか否かの判断は、例えば機械学習で生成されたモデルを用いて行われる。また、解析データに誤りが含まれていた場合、上記した相対位置の変化は物理上あり得ない挙動を示すこともある。この場合も、データ処理部２２０は異常と判断する。
　ステップＳ２２０において基準が満たされた場合（ステップＳ２２０：Ｙｅｓ）、データ処理部２２０は、第１の車両３０の送信装置１０に画像を送信するように要求する（ステップＳ２３０）。その後、送信装置１０は、解析データと共に、又は解析データの代わりに、撮像部１２が生成した画像を画像生成装置２０に送信する。するとデータ処理部２２０は、その画像をディスプレイ２３０に表示させる。なお、データ処理部２２０は、この画像を再構成画像と並べて表示してもよい。
　なお、送信装置１０の通信部１６は、画像生成装置２０の代わりに、解析データが基準を満たすか否かを判断してもよい。この判断の一例は、図１０のステップＳ２１０及びステップＳ２２０に示した処理である。またこの判断の他の例は、解析データの信頼性（例えば物体を検知したときのスコア）が基準を満たさないときである。そして通信部１６は、解析データが基準を満たした場合に、解析データとともに、又は解析データの代わりに、撮像部１２が生成した画像を画像生成装置２０に送信する。
　図１１は、画像生成装置２０が行う処理の第５例を示すフローチャートである。本図に示す処理は、図５、図８、又は図９に示した処理、並びに図１０に示した処理と並行して行われる。
　本図に示す例において、画像生成装置２０を使用している監視員は、再構成画像を確認している。そして監視員は、送信装置１０の撮像部１２が生成した画像を直接確認したほうが良いと判断したとき、画像生成装置２０に対して所定の入力を行う（ステップＳ３１０：Ｙｅｓ）。このような場合としては、例えばいずれかの車両３０の動きに異常が生じていた場合や、鳥瞰図において様々な向きの車両３０が再構成画像に含まれている場合などである。前者の例としては、例えば画像処理ではとらえきれない落下物５０の存在や、道路工事が行われていることがある。するとデータ処理部２２０は、第１の車両３０の送信装置１０に画像を送信するように要求する（ステップＳ３２０）。その後に行われる処理は、図１０を用いて説明した通りである。
　以上、本実施形態によれば、送信装置１０は、画像の代わりに、その画像の解析結果である解析データを画像生成装置２０に送信する。解析データは、少なくとも、車両３０の周囲に位置している物体の種類を示す種類データ、及び当該車両３０に対する物体の相対位置を示す相対位置データを含んでいる。そして画像生成装置２０のデータ処理部２２０は、この解析データを用いて再構成画像を生成し、ディスプレイ２３０に表示させる。このため、監視員が車両３０の周囲に存在する物体を確認できる。また、送信装置１０が画像生成装置２０に画像を送信する場合と比較して、送信装置１０と画像生成装置２０の間の通信量は少なくなる。
　また画像生成装置２０は、基準が満たされた時に、送信装置１０に、画像を要求する。すると、送信装置１０は画像を画像生成装置２０に送信する。画像生成装置２０のデータ処理部２２０は、送信装置１０から取得した画像をディスプレイ２３０に表示させる。このように、画像生成装置２０は、必要な時に、撮像部１２が生成した画像をディスプレイ２３０に表示させる。このため、監視員による監視の質を高くすることができる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得手段と、
　前記取得手段が前記解析データを取得するたびに、前記相対位置データに対応する位置に前記種類データに基づいた表示を有する再構成画像を生成してディスプレイに表示させるデータ処理手段と、
を備える画像生成装置。
２．上記１に記載の画像生成装置において、
　前記解析データは、さらに、前記車両の周囲に位置している道路の状態を示す道路データを含んでおり、
　前記データ処理手段は、前記道路データに従った前記道路の表示を前記再構成画像に含める画像生成装置。
３．上記１又は２に記載の画像生成装置において、
　前記取得手段は、前記車両の位置を示す車両位置データを前記解析データと共に取得し、
　前記データ処理手段は、前記車両位置データに対応する地点を含む地図データを取得し、前記再構成画像に当該地図データに基づいた道路を含める画像生成装置。
４．上記１～３のいずれか一項に記載の画像生成装置において、
　前記取得手段は、複数の前記車両のそれぞれから、当該車両の位置を示す車両位置データを、前記解析データと共に取得し、
　前記データ処理手段は、車両位置データを特定する情報を取得すると、
　　一の前記車両位置データに対応する第１の前記解析データを取得し、
　　当該一の車両位置データとの関連性が基準を満たす少なくとも一つの他の前記車両位置データを取得し、当該少なくとも一つの他の車両位置データに対応する第２の前記解析データを取得し、
　　前記第１の解析データ及び少なくとも一つの前記第２の解析データを用いて前記再構成画像を生成する画像生成装置。
５．上記４に記載の画像生成装置において、
　前記データ処理手段は、
　　前記第１の解析データが示す前記物体の種類及び位置と、前記第２の解析データが示す前記物体の種類及び位置と、に不一致が生じていた時、所定の出力を行う画像生成装置。
６．上記５に記載の画像生成装置において、
　前記データ処理手段は、前記不一致が生じた前記物体の位置を示す情報を前記再構成画像に含める画像生成装置。
７．上記１～６のいずれか一項に記載の画像生成装置において、
　前記物体は前記車両の周囲に位置する他の車両であり、
　前記解析データは、さらに、前記車両を前記他の車両の相対速度を示す相対速度データを含んでおり、
　前記取得手段は、さらに、前記車両の速度を示す車両速度データを前記解析データと共に取得し、
　前記データ処理手段は、さらに、前記車両速度データ及び前記相対速度データを用いて前記他の車両の速度を推定し、当該推定結果を示す表示を前記再構成画像とともに又は前記再構成画像の中に表示する画像生成装置。
８．上記１～７のいずれか一項に記載の画像生成装置において、
　前記データ処理手段は、前記再構成画像として、前記車両から当該車両の外を見た画像を生成する画像生成装置。
９．上記１～７のいずれか一項に記載の画像生成装置において、
　前記データ処理手段は、前記再構成画像として鳥瞰図を生成する画像生成装置。
１０．上記１～９のいずれか一項に記載の画像生成装置において、
　前記取得手段が前記解析データを取得する頻度は、前記車両の速度に従って変わる画像生成装置。
１１．上記１～１０のいずれか一項に記載の画像生成装置において、
　前記解析データは、過去に送信された前記解析データが示す前記種類データ及び前記相対位置データとの差分を示している画像生成装置。
１２．上記１～１１のいずれか一項に記載の画像生成装置において、
　前記車両は自動運転車両であり、
　前記ディスプレイは前記車両を監視する監視センターに配置されている画像生成装置。
１３．コンピュータが、
　　車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得処理と、
　　前記解析データを取得するたびに、前記相対位置データに対応する位置に前記種類データに基づいた表示を有する再構成画像を生成してディスプレイに表示させるデータ処理と、
を行う画像生成方法。

１４．上記１３に記載の画像生成方法において、
　前記解析データは、さらに、前記車両の周囲に位置している道路の状態を示す道路データを含んでおり、
　前記コンピュータ、前記道路データに従った前記道路の表示を前記再構成画像に含める画像生成方法。
１５．上記１３又は１４に記載の画像生成方法において、
　前記コンピュータは、
　　前記車両の位置を示す車両位置データを前記解析データと共に取得し、
　　前記車両位置データに対応する地点を含む地図データを取得し、前記再構成画像に当該地図データに基づいた道路を含める画像生成方法。
１６．上記１３～１５のいずれか一項に記載の画像生成方法において、
　前記コンピュータは、
　　複数の前記車両のそれぞれから、当該車両の位置を示す車両位置データを、前記解析データと共に取得し、
　　車両位置データを特定する情報を取得すると、
　　　一の前記車両位置データに対応する第１の前記解析データを取得し、
　　　当該一の車両位置データとの関連性が基準を満たす少なくとも一つの他の前記車両位置データを取得し、当該少なくとも一つの他の車両位置データに対応する第２の前記解析データを取得し、
　　　前記第１の解析データ及び少なくとも一つの前記第２の解析データを用いて前記再構成画像を生成する画像生成方法。
１７．上記１６に記載の画像生成方法において、
　前記コンピュータは、
　　前記第１の解析データが示す前記物体の種類及び位置と、前記第２の解析データが示す前記物体の種類及び位置と、に不一致が生じていた時、所定の出力を行う画像生成方法。
１８．上記１７に記載の画像生成方法において、
　前記コンピュータは、前記不一致が生じた前記物体の位置を示す情報を前記再構成画像に含める画像生成方法。
１９．上記１３～１８のいずれか一項に記載の画像生成方法において、
　前記物体は前記車両の周囲に位置する他の車両であり、
　前記解析データは、さらに、前記車両を前記他の車両の相対速度を示す相対速度データを含んでおり、
　前記コンピュータは、
　　前記車両の速度を示す車両速度データを前記解析データと共に取得し、
　　前記車両速度データ及び前記相対速度データを用いて前記他の車両の速度を推定し、当該推定結果を示す表示を前記再構成画像とともに又は前記再構成画像の中に表示する画像生成方法。
２０．上記１３～１９のいずれか一項に記載の画像生成方法において、
　前記コンピュータは、前記再構成画像として、前記車両から当該車両の外を見た画像を生成する画像生成方法。
２１．上記１３～１９のいずれか一項に記載の画像生成方法において、
　前記コンピュータは、前記再構成画像として鳥瞰図を生成する画像生成方法。
２２．上記１３～２１のいずれか一項に記載の画像生成方法において、
　前記コンピュータが前記解析データを取得する頻度は、前記車両の速度に従って変わる画像生成方法。
２３．上記１３～２２のいずれか一項に記載の画像生成方法において、
　前記解析データは、過去に送信された前記解析データが示す前記種類データ及び前記相対位置データとの差分を示している画像生成方法。
２４．上記１３～２３のいずれか一項に記載の画像生成方法において、
　前記車両は自動運転車両であり、
　前記ディスプレイは前記車両を監視する監視センターに配置されている画像生成方法。
２５．コンピュータに、
　　車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得機能と、
　　前記取得機能が前記解析データを取得するたびに、前記相対位置データに対応する位置に前記種類データに基づいた表示を有する再構成画像を生成してディスプレイに表示させるデータ処理機能と、
を持たせるプログラム。
２６．上記２５に記載のプログラムにおいて、
　前記解析データは、さらに、前記車両の周囲に位置している道路の状態を示す道路データを含んでおり、
　前記データ処理機能は、前記道路データに従った前記道路の表示を前記再構成画像に含めるプログラム。
２７．上記２５又は２６に記載のプログラムにおいて、
　前記取得機能は、前記車両の位置を示す車両位置データを前記解析データと共に取得し、
　前記データ処理機能は、前記車両位置データに対応する地点を含む地図データを取得し、前記再構成画像に当該地図データに基づいた道路を含めるプログラム。
２８．上記２５～２７のいずれか一項に記載のプログラムにおいて、
　前記取得機能は、複数の前記車両のそれぞれから、当該車両の位置を示す車両位置データを、前記解析データと共に取得し、
　前記データ処理機能は、車両位置データを特定する情報を取得すると、
　　一の前記車両位置データに対応する第１の前記解析データを取得し、
　　当該一の車両位置データとの関連性が基準を満たす少なくとも一つの他の前記車両位置データを取得し、当該少なくとも一つの他の車両位置データに対応する第２の前記解析データを取得し、
　　前記第１の解析データ及び少なくとも一つの前記第２の解析データを用いて前記再構成画像を生成するプログラム。
２９．上記２８に記載のプログラムにおいて、
　前記データ処理機能は、
　　前記第１の解析データが示す前記物体の種類及び位置と、前記第２の解析データが示す前記物体の種類及び位置と、に不一致が生じていた時、所定の出力を行うプログラム。
３０．上記２９に記載のプログラムにおいて、
　前記データ処理機能は、前記不一致が生じた前記物体の位置を示す情報を前記再構成画像に含めるプログラム。
３１．上記２５～３０のいずれか一項に記載のプログラムにおいて、
　前記物体は前記車両の周囲に位置する他の車両であり、
　前記解析データは、さらに、前記車両を前記他の車両の相対速度を示す相対速度データを含んでおり、
　前記取得機能は、さらに、前記車両の速度を示す車両速度データを前記解析データと共に取得し、
　前記データ処理機能は、さらに、前記車両速度データ及び前記相対速度データを用いて前記他の車両の速度を推定し、当該推定結果を示す表示を前記再構成画像とともに又は前記再構成画像の中に表示するプログラム。
３２．上記２５～３１のいずれか一項に記載のプログラムにおいて、
　前記データ処理機能は、前記再構成画像として、前記車両から当該車両の外を見た画像を生成するプログラム。
３３．上記２５～３１のいずれか一項に記載のプログラムにおいて、
　前記データ処理機能は、前記再構成画像として鳥瞰図を生成するプログラム。
３４．上記２５～３４のいずれか一項に記載のプログラムにおいて、
　前記取得機能が前記解析データを取得する頻度は、前記車両の速度に従って変わるプログラム。
３５．上記２５～３４のいずれか一項に記載のプログラムにおいて、
　前記解析データは、過去に送信された前記解析データが示す前記種類データ及び前記相対位置データとの差分を示しているプログラム。
　この出願は、２０２０年３月１９日に出願された日本出願特願２０２０－０４９８６８号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０ 送信装置
１２ 撮像部
１４ 画像処理部
１６ 通信部
２０ 画像生成装置
２１０ 取得部
２２０ データ処理部
２２２ 地図データ記憶部
２３０ ディスプレイ

Claims (10)

  1. 　車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得手段と、
    　前記取得手段が前記解析データを取得するたびに、前記相対位置データに対応する位置に前記種類データに基づいた表示を有する再構成画像を生成してディスプレイに表示させるデータ処理手段と、
    を備える画像生成装置。
  2. 　請求項１に記載の画像生成装置において、
    　前記解析データは、さらに、前記車両の周囲に位置している道路の状態を示す道路データを含んでおり、
    　前記データ処理手段は、前記道路データに従った前記道路の表示を前記再構成画像に含める画像生成装置。
  3. 　請求項１又は２に記載の画像生成装置において、
    　前記取得手段は、前記車両の位置を示す車両位置データを前記解析データと共に取得し、
    　前記データ処理手段は、前記車両位置データに対応する地点を含む地図データを取得し、前記再構成画像に当該地図データに基づいた道路を含める画像生成装置。
  4. 　請求項１～３のいずれか一項に記載の画像生成装置において、
    　前記取得手段は、複数の前記車両のそれぞれから、当該車両の位置を示す車両位置データを、前記解析データと共に取得し、
    　前記データ処理手段は、車両位置データを特定する情報を取得すると、
    　　一の前記車両位置データに対応する第１の前記解析データを取得し、
    　　当該一の車両位置データとの関連性が基準を満たす少なくとも一つの他の前記車両位置データを取得し、当該少なくとも一つの他の車両位置データに対応する第２の前記解析データを取得し、
    　　前記第１の解析データ及び少なくとも一つの前記第２の解析データを用いて前記再構成画像を生成する画像生成装置。
  5. 　請求項４に記載の画像生成装置において、
    　前記データ処理手段は、
    　　前記第１の解析データが示す前記物体の種類及び位置と、前記第２の解析データが示す前記物体の種類及び位置と、に不一致が生じていた時、所定の出力を行う画像生成装置。
  6. 　請求項５に記載の画像生成装置において、
    　前記データ処理手段は、前記不一致が生じた前記物体の位置を示す情報を前記再構成画像に含める画像生成装置。
  7. 　請求項１～６のいずれか一項に記載の画像生成装置において、
    　前記物体は前記車両の周囲に位置する他の車両であり、
    　前記解析データは、さらに、前記車両を前記他の車両の相対速度を示す相対速度データを含んでおり、
    　前記取得手段は、さらに、前記車両の速度を示す車両速度データを前記解析データと共に取得し、
    　前記データ処理手段は、さらに、前記車両速度データ及び前記相対速度データを用いて前記他の車両の速度を推定し、当該推定結果を示す表示を前記再構成画像とともに又は前記再構成画像の中に表示する画像生成装置。
  8. 　請求項１～７のいずれか一項に記載の画像生成装置において、
    　前記データ処理手段は、前記再構成画像として鳥瞰図を生成する画像生成装置。
  9. 　コンピュータが、
    　　車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得処理と、
    　　前記解析データを取得するたびに、前記相対位置データに対応する位置に前記種類データに基づいた表示を有する再構成画像を生成してディスプレイに表示させるデータ処理と、
    を行う画像生成方法。
  10. 　コンピュータに、
    　　車両に搭載された撮像手段が生成した撮像画像を処理した結果であって、前記車両の周囲に位置している物体の種類を示す種類データ及び前記車両に対する前記物体の相対位置を示す相対位置データを含む解析データを繰り返し取得する取得機能と、
    　　前記取得機能が前記解析データを取得するたびに、前記相対位置データに対応する位置に前記種類データに基づいた表示を有する再構成画像を生成してディスプレイに表示させるデータ処理機能と、
    を持たせるプログラム。
PCT/JP2021/000331 2020-03-19 2021-01-07 画像生成装置、画像生成方法、およびプログラム WO2021186853A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022508078A JPWO2021186853A1 (ja) 2020-03-19 2021-01-07
US17/801,468 US20230104858A1 (en) 2020-03-19 2021-01-07 Image generation apparatus, image generation method, and non-transitory computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-049868 2020-03-19
JP2020049868 2020-03-19

Publications (1)

Publication Number Publication Date
WO2021186853A1 true WO2021186853A1 (ja) 2021-09-23

Family

ID=77770798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000331 WO2021186853A1 (ja) 2020-03-19 2021-01-07 画像生成装置、画像生成方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230104858A1 (ja)
JP (1) JPWO2021186853A1 (ja)
WO (1) WO2021186853A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021008712A1 (en) * 2019-07-18 2021-01-21 Toyota Motor Europe Method for calculating information relative to a relative speed between an object and a camera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017013750A1 (ja) * 2015-07-21 2017-01-26 日産自動車株式会社 運転計画装置、走行支援装置、運転計画方法
WO2017047176A1 (ja) * 2015-09-18 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
WO2013046593A1 (ja) * 2011-09-30 2013-04-04 パナソニック株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
DE102012200731A1 (de) * 2012-01-19 2013-07-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
JP2016013793A (ja) * 2014-07-03 2016-01-28 株式会社デンソー 画像表示装置、画像表示方法
JP6440411B2 (ja) * 2014-08-26 2018-12-19 日立オートモティブシステムズ株式会社 物体検出装置
KR101750159B1 (ko) * 2015-07-01 2017-06-22 엘지전자 주식회사 차량 주행 보조 장치, 이의 동작 방법, 및 이를 포함하는 차량
EP3351418B1 (en) * 2015-09-18 2019-12-04 Nissan Motor Co., Ltd. Vehicular display device and vehicular display method
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
JP6732522B2 (ja) * 2016-05-02 2020-07-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6834537B2 (ja) * 2017-01-30 2021-02-24 株式会社リコー 表示装置、移動体装置、表示装置の製造方法及び表示方法。
EP3554062B1 (en) * 2016-12-09 2022-12-14 Kyocera Corporation Imaging apparatus
CN106643781A (zh) * 2016-12-14 2017-05-10 英业达科技有限公司 车辆导航显示系统及其方法
US20190066382A1 (en) * 2017-08-31 2019-02-28 Denso Ten Limited Driving support device, driving support method, information providing device and information providing method
JP2019046069A (ja) * 2017-08-31 2019-03-22 株式会社デンソーテン 運転支援装置及び運転支援方法
KR101956689B1 (ko) * 2017-10-16 2019-07-04 주식회사 만도 긴급차량 운행경로 생성기능을 갖는 자동 순항 제어장치 및 제어방법
JP6729607B2 (ja) * 2018-01-11 2020-07-22 株式会社デンソー 設置位置情報提供装置及び設置位置情報提供方法
JP7072641B2 (ja) * 2018-04-16 2022-05-20 三菱電機株式会社 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
US20210158623A1 (en) * 2018-04-25 2021-05-27 Sony Corporation Information processing device, information processing method, information processing program
KR102111596B1 (ko) * 2018-11-12 2020-05-15 김영훈 실시간 상대 차량 속도와 거리를 분석 및 저장하는 이벤트 검지 시스템
JP6557843B1 (ja) * 2018-12-05 2019-08-14 パナソニックＩｐマネジメント株式会社 車両の制御装置、制御システム、及び制御プログラム
EP3663978A1 (en) * 2018-12-07 2020-06-10 Thinkware Corporation Method for detecting vehicle and device for executing the same
US11072368B2 (en) * 2019-01-22 2021-07-27 Deere & Company Dynamically augmented bird's-eye view
US11680813B2 (en) * 2020-01-21 2023-06-20 Thinkware Corporation Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
CN115210123A (zh) * 2020-01-27 2022-10-18 三菱电机株式会社 前车判定系统及前车判定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017013750A1 (ja) * 2015-07-21 2017-01-26 日産自動車株式会社 運転計画装置、走行支援装置、運転計画方法
WO2017047176A1 (ja) * 2015-09-18 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
US20230104858A1 (en) 2023-04-06
JPWO2021186853A1 (ja) 2021-09-23

Similar Documents

Publication Publication Date Title
JP6796798B2 (ja) イベント予測システム、イベント予測方法、プログラム、及び移動体
US11003925B2 (en) Event prediction system, event prediction method, program, and recording medium having same recorded therein
CN112738171B (zh) 车辆的控制方法、装置、系统、设备及存储介质
CN105976450A (zh) 无人驾驶车辆的数据处理方法和装置、黑匣子系统
JP7442272B2 (ja) 情報処理方法、情報処理装置、及び、情報処理システム
CN108574811B (zh) 图像记录系统、图像记录方法和图像记录程序
CN109318799B (zh) 汽车、汽车adas系统及其控制方法
EP2963632A1 (en) Manoeuvre assistance
JP2024052803A (ja) 情報処理方法、情報処理装置、及び、情報処理システム
WO2021186853A1 (ja) 画像生成装置、画像生成方法、およびプログラム
JP2009110205A (ja) 走行データ処理装置および走行データ処理システム
JPWO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
US20220048502A1 (en) Event detection system for analyzing and storing real-time other-user vehicle speed and distance
KR20220036870A (ko) 운전자 보조 시스템(das) 및 고도 자율 주행 기능(had)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품
CN117169873A (zh) 超视域鸟瞰感知方法及装置、目标感知装置、设备、介质
WO2021186854A1 (ja) データ処理装置、送信装置、データ処理方法、およびプログラム
WO2019131388A1 (ja) 運転支援装置、運転支援システム、運転支援方法、及び、運転支援プログラムが格納された記録媒体
WO2022113196A1 (ja) 交通イベント再現システム、サーバ、交通イベント再現方法、及び非一時的なコンピュータ可読媒体
JP7451423B2 (ja) 画像処理装置、画像処理方法および画像処理システム
US20220101025A1 (en) Temporary stop detection device, temporary stop detection system, and recording medium
JP7123830B2 (ja) 地図データ更新システム、走行プローブ情報収集装置、走行プローブ情報提供装置および走行プローブ情報収集方法
JP2022054296A (ja) 運転評価装置、運転評価システム、及び運転評価プログラム
CN111415434A (zh) 使用外部车辆显示器进行车辆通信
JP7484528B2 (ja) 警告提示制御装置、警告提示制御システム、警告提示制御方法、及び、警告提示制御プログラム
CN112669612B (zh) 图像录制、回放方法、装置及计算机系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21771273

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022508078

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21771273

Country of ref document: EP

Kind code of ref document: A1