WO2021024490A1 - 画像データ収集装置、方法およびプログラム - Google Patents

画像データ収集装置、方法およびプログラム Download PDF

Info

Publication number
WO2021024490A1
WO2021024490A1 PCT/JP2019/031514 JP2019031514W WO2021024490A1 WO 2021024490 A1 WO2021024490 A1 WO 2021024490A1 JP 2019031514 W JP2019031514 W JP 2019031514W WO 2021024490 A1 WO2021024490 A1 WO 2021024490A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
vehicle
moving body
shooting
position information
Prior art date
Application number
PCT/JP2019/031514
Other languages
English (en)
French (fr)
Inventor
純 塩田
雅 高木
和哉 松尾
リドウィナ アユ アンダリニ
亮太 中田
航哉 森
田中　裕之
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2021537547A priority Critical patent/JP7331929B2/ja
Priority to US17/633,335 priority patent/US20220377283A1/en
Priority to PCT/JP2019/031514 priority patent/WO2021024490A1/ja
Publication of WO2021024490A1 publication Critical patent/WO2021024490A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • Embodiments of the present invention relate to image data collection devices, methods and programs.
  • Non-Patent Document 1 a system that collects data from only representative vehicles in this group by grouping a plurality of vehicles traveling in a string of beads using the managed information (for example, Non-Patent Document 1). See).
  • the present invention has been made by paying attention to the above circumstances, and as one aspect thereof, a technique for reducing delays related to communication of image data and making it possible to smoothly operate an application that handles the image. To provide.
  • the image data collecting device includes acquisition means for acquiring position information of a plurality of moving bodies on which a photographing device is mounted, position information acquired for the plurality of moving bodies, and the plurality of moving bodies.
  • An imaging device that acquires information representing the imaging range of the imaging device mounted on the camera and position information of a predetermined object for each moving object, and outputs image data to be collected based on the acquired information.
  • the image data collection method is an image data collection method executed by an image data collection device, which is to acquire position information of a plurality of moving objects on which a photographing device is mounted, and to obtain the position information of the plurality of moving objects.
  • the position information acquired about the moving body, the information representing the shooting range by the photographing device mounted on the plurality of moving bodies, and the position information of a predetermined object are acquired for each moving body, and based on the acquired information. Therefore, a moving body equipped with a photographing device for outputting image data to be collected is selected from the plurality of moving bodies, and the selected moving body is photographed by the photographing device mounted on the moving body. It includes transmitting an instruction to collect image data as a result, and receiving an image data transmitted from the moving body that has received the collection instruction.
  • FIG. 1 is a diagram showing an example of the overall configuration of the image data collection system according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the server of the image data acquisition system according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing an example of the software configuration of the server of the image data acquisition system according to the first embodiment of the present invention.
  • FIG. 4 is a block diagram showing an example of the hardware configuration of the vehicle-mounted device of the image data acquisition system according to the first embodiment of the present invention.
  • FIG. 5 is a block diagram showing an example of the software configuration of the vehicle-mounted device of the image data acquisition system according to the first embodiment of the present invention.
  • FIG. 6 is a diagram showing an example in which the image data collection system according to the first embodiment of the present invention is applied to monitoring obstacles.
  • FIG. 7A is a diagram showing an example of the definition and classification of obstacles in a tabular format.
  • FIG. 7B is a diagram showing an example of the definition and classification of obstacles in a tabular format.
  • FIG. 7C is a diagram showing an example of the definition and classification of obstacles in a tabular format.
  • FIG. 8 is a diagram illustrating an example of vehicle selection based on the shooting range of the vehicle-mounted camera.
  • FIG. 9 is a flowchart showing an example of a processing operation when the image data collection system according to the first embodiment of the present invention is applied to monitoring obstacles.
  • FIG. 9 is a flowchart showing an example of a processing operation when the image data collection system according to the first embodiment of the present invention is applied to monitoring obstacles.
  • FIG. 10 is a diagram illustrating an example of calculation of a shooting range by a camera.
  • FIG. 11 is a diagram illustrating an example of generating a static map.
  • FIG. 12 is a diagram showing an example of collected in-vehicle camera images.
  • FIG. 13 is a diagram illustrating an example of vehicle selection based on the shooting range of the vehicle-mounted camera.
  • FIG. 14 is a flowchart showing an example of a processing operation when the image data collection system according to the first embodiment of the present invention is applied to the creation of a static map.
  • FIG. 15 is a diagram showing an example of vehicle selection by the image data acquisition system according to the second embodiment of the present invention.
  • FIG. 16 is a flowchart showing an example of a processing operation when the image data acquisition system according to the second embodiment of the present invention is applied to monitoring obstacles.
  • FIG. 17 is a diagram illustrating an example of vehicle selection by the image data acquisition system according to the third embodiment of the present invention.
  • FIG. 18 is a diagram illustrating calculation of a priority score by the image data acquisition system according to the third embodiment of the present invention.
  • FIG. 19 is a diagram showing a first state of priority scoring based on the similarity of the angle of view of the shooting range.
  • FIG. 20 is a diagram showing a second state of priority scoring based on the similarity of the angles of view of the shooting range.
  • FIG. 21 is a diagram showing a third state of priority scoring based on the similarity of the angle of view of the shooting range.
  • FIG. 22 is a diagram showing a fourth state of priority scoring based on the similarity of the angle of view of the shooting range.
  • FIG. 23 is a diagram showing a fifth state of priority scoring based on the similarity of the angle of view of the shooting range.
  • FIG. 24 is a diagram showing a sixth state of priority scoring based on the similarity of the angle of view of the shooting range.
  • FIG. 25 is a diagram showing a seventh state of priority scoring based on the similarity of the angle of view of the shooting range.
  • FIG. 26 is a flowchart showing an example of a processing operation when the image data collection system according to the third embodiment of the present invention is applied to monitoring obstacles.
  • FIG. 26 is a flowchart showing an example of a processing operation when the image data collection system according to the third embodiment of the present invention is applied to monitoring obstacles.
  • FIG. 27 is a flowchart showing an example of a processing operation when the image data acquisition system according to the third embodiment of the present invention is applied to the creation of a static map.
  • FIG. 28 is a diagram illustrating an example of reducing the amount of image data by the image data collection system according to the fourth embodiment of the present invention.
  • FIG. 29 is a block diagram showing an example of the software configuration of the server of the image data acquisition system according to the fourth embodiment of the present invention.
  • FIG. 30 is a block diagram showing an example of the software configuration of the vehicle-mounted device of the image data acquisition system according to the fourth embodiment of the present invention.
  • FIG. 31 is a flowchart showing an example of a processing operation when the image data collection system according to the fourth embodiment of the present invention is applied to the creation of a static map.
  • FIG. 1 is a diagram showing an example of the overall configuration of the image data collection system according to the first embodiment of the present invention.
  • This system is a system capable of communicating between the server 1 and the vehicle-mounted device 60 having a communication function mounted on the mobile body 6 via the Internet, which is a communication network NW.
  • the server 1 is, for example, a cloud server provided on the Web or on the cloud.
  • the server 1 functions as an image data collecting device.
  • FIG. 1 shows an example in which the server 1 can communicate with one mobile body 6 for simplicity, the server 1 can communicate with a plurality of mobile bodies 6.
  • FIG. 1 shows an example in which the number of servers 1 is one for simplicity, the number may be plural.
  • the server 1 may be an edge server capable of communicating with the mobile body 6 via the access network.
  • Edge servers are installed in small-scale data centers, base stations, and the like.
  • the server 1 may be a combination of a cloud server and an edge server.
  • the network NW is composed of, for example, a relay network and a plurality of access networks for accessing this relay network.
  • a relay network a public network such as the general Internet or a closed network controlled so as to be accessible only from a limited number of devices is used.
  • the access network for example, a wireless LAN (Local Area Network), a mobile phone network, a wired telephone network, or the like is used.
  • FIG. 1 shows an example in which the number of camera CMs and the number of sensor SSs attached to the vehicle-mounted device 60 are one each, but the number may be plural.
  • the camera CM and the sensor SS may be devices built in the on-board unit 60. Further, the camera CM and the sensor SS may be collectively referred to as a sensing device.
  • the camera CM for example, a solid-state imaging device such as a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) sensor is used, and a road region in an arbitrary direction such as the traveling direction of the moving body 6 is included in the imaging range.
  • the installation location, orientation and angle are set so as to.
  • the camera CM acquires camera image data and outputs the acquired data to the vehicle-mounted device 60.
  • the camera image data includes camera identification information (camera ID (identification information)) and information indicating the shooting date and time.
  • the camera CM may be provided exclusively for the image data collection process.
  • any camera that can obtain equivalent data such as a drive recorder camera or an in-vehicle camera mounted for other purposes, can be used as a camera CM.
  • a camera CM when the moving body 6 is a two-wheeled vehicle or a bicycle, a camera provided on a helmet worn by the driver may be used as a camera CM.
  • a camera provided in a mobile terminal such as a smartphone (Smartphone) or a tablet (Tablet) terminal possessed by a passenger of the mobile body 6 may be used as a camera CM.
  • the camera CM may be an infrared camera.
  • the data acquired by the camera CM may be moving image (video) data or still image data captured at regular time intervals.
  • the sensor SS is a position sensor that calculates the position information (latitude and longitude) of the own vehicle using (1) distance / direction sensors such as LiDAR (Light Detection And Ringing) and (2) GPS (Global Positioning System). , GPS sensor), (3) radar, (4) and speed sensor.
  • the sensor SS may be provided exclusively for image data collection processing, or is a sensor usually provided for operation control of the mobile body 6 or log data collection such as CAN (Controller Area Network). You may. Further, the sensor SS may be a mobile terminal such as a smartphone.
  • the position sensor calculates the latitude and longitude of the moving body 6 by receiving GPS signals transmitted from a plurality of GPS satellites and performing a ranging calculation, and the GPS data including the calculated latitude and longitude is used as an in-vehicle device. Output to 60.
  • the GPS data can also include information indicating the certainty of position measurement using GPS.
  • the certainty of position measurement using GPS is determined, for example, according to the arrangement status of GPS satellites.
  • the acquisition of position information is not limited to the method using signals from GPS satellites, and if the same function is exhibited, the position information of a wireless base station or WiFi access point may be used. It may be the method of.
  • the speed sensor is, for example, a wheel speed sensor, which is installed in a rotating portion such as a drive shaft and measures the speed of the moving body 6 based on the rotating speed of the rotating portion.
  • the speed sensor outputs the measured speed data to the on-board unit 60.
  • the on-board unit 60 is, for example, a wireless device mounted on the dashboard of an automobile.
  • the on-board unit 60 receives various data from the camera CM and the sensor SS, and the received data is used as date and time information and identification information of the on-board unit 60 (or an ETC (Electronic Toll Collection system) card inserted therein). At the same time, it can be transmitted to the server 1 via the network NW.
  • the on-board unit 60 is not an indispensable configuration, and the camera CM and the sensor SS may be configured to directly transmit data to the server 1. Further, the camera CM and the sensor SS do not have to be separate devices, and these can be incorporated into one device and can be integrated into the on-board unit.
  • the server 1 is, for example, a server device provided in an image data collection center, and performs a process of collecting images in a target area.
  • the server 1 receives the mobile data (hereinafter referred to as “travel data”) collected by the mobile 6 via the network NW.
  • the moving body data includes camera image data (image data), GPS data, and speed data. Based on the received data, the moving body 6 is, for example, periodically or in response to a request from an operator or the like. Collect the image data taken in.
  • the server 1 can output the collected image data to an external device.
  • the server 1 transmits the collected image data to the vehicle-mounted device 60 mounted on the moving body 6 in order to notify the driver of the moving body 6, and displays the collected image data on the display unit of the vehicle-mounted device 60.
  • the collected image data can be transmitted to a road information display device (not shown) or the like under the control of the image data collection center for display.
  • the server 1 may directly receive the traveling data transmitted from the vehicle-mounted device 60 periodically or at an arbitrary timing, for example, or obtain necessary data from the vehicle-mounted device 60 by accessing the vehicle-mounted device 60. You may get it.
  • the server 1 may acquire driving data by accessing the data once transmitted from the vehicle-mounted device 60 to a database server (not shown) or the like at an arbitrary timing, or store the data in an external medium.
  • the travel data may be acquired via the input device 2 described later.
  • the automobile exemplified as the moving body 6 is not limited to a specific automobile, and may be an automobile related to various individuals, vehicle types, and manufacturers.
  • the moving body 6 will be described as a vehicle, but the moving body 6 may be charged for the use of roads such as vehicles towed by livestock such as automobiles, motorcycles, bicycles, personal mobility, and horse-drawn carriages.
  • Any moving object may be included, and further, it may be a pedestrian, not limited to a vehicle. Therefore, the on-board unit shown in FIG. 1 is only an example, and may be replaced with an information processing terminal such as a smartphone.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the server 1 of the image data collection system according to the first embodiment of the present invention.
  • the server 1 is composed of, for example, a server computer or a personal computer, and has a hardware processor 11A such as a CPU (Central Processing Unit). Then, in the server 1, the program memory 11B, the data memory 12, the input / output interface 13, and the communication interface 14 are connected to the hardware processor 11A via the bus (Bus) 20.
  • a hardware processor 11A such as a CPU (Central Processing Unit).
  • the program memory 11B, the data memory 12, the input / output interface 13, and the communication interface 14 are connected to the hardware processor 11A via the bus (Bus) 20.
  • Bus bus
  • the communication interface 14 includes, for example, one or more wired or wireless communication interfaces, and enables information to be transmitted / received to / from an external device including an on-board unit 60 mounted on the mobile body 6.
  • a wired LAN is used.
  • the wireless interface for example, a wireless LAN or an interface adopting a low power wireless data communication standard such as Bluetooth (registered trademark) is used.
  • the input device 2 and the output device 3 attached to the server 1 are connected to the input / output interface 13.
  • the input device 2 is a keyboard, a touch panel, a touch pad, a mouse, or the like.
  • the output device 3 may include a display device using liquid crystal or organic EL (ElectroLuminescence), and a speaker that outputs sound.
  • the input / output interface 13 performs a process of taking in the operation data input by the operator via the input device 2 and a process of outputting the output data to the output device 3 and displaying the data.
  • the input device 2 and the output device 3 may be devices built in the server 1, or may be input devices and output devices of other information terminals capable of communicating via the network NW.
  • the program memory 11B is a non-temporary tangible computer-readable storage medium such as a non-volatile memory such as an HDD (Hard Disk Drive) or SSD (Solid State Drive) that can be written and read at any time, and a ROM (Read Only). It is used in combination with a non-volatile memory such as Memory).
  • the program memory 11B stores a program necessary for executing various control processes according to the embodiment.
  • the data memory 12 is used as a tangible computer-readable storage medium by combining, for example, a non-volatile memory such as an HDD or SSD that can be written and read at any time and a volatile memory such as a RAM (Random Access Memory). It is a thing.
  • the data memory 12 is used to store various data acquired and created in the process of performing the data collection process.
  • FIG. 3 is a block diagram showing an example of the software configuration of the server 1 of the image data collection system according to the first embodiment of the present invention.
  • the server 1 can be configured as a data processing device including a control unit 11, a data memory 12, an input / output interface 13, and a communication interface 14.
  • the communication interface 14 transmits / receives data to / from the vehicle-mounted device 60 via the network NW under the control of the control unit 11.
  • the communication protocol the protocol specified by the network NW is used.
  • the storage area of the data memory 12 is provided with a sensor data storage unit 121, an application data storage unit 122, and a setting information storage unit 123.
  • the storage units 121 to 123 are not indispensable, and are provided in, for example, an external storage medium such as a USB (Universal Serial Bus) memory or a storage device such as a database server arranged in the cloud. It may be a database.
  • an external storage medium such as a USB (Universal Serial Bus) memory
  • a storage device such as a database server arranged in the cloud. It may be a database.
  • the sensor data storage unit 121 is used to store the sensor data collected from the sensor SS in the on-board unit 60.
  • the sensor data includes an ID, position information, traveling speed, traveling direction, time information, and the like of the moving body 6 on which the in-vehicle device 60 that collects the sensor data is mounted.
  • the sensor data may include the type, model name, number, specifications, and the like of the sensor SS mounted on the mobile body 6, which is associated with the ID of the mobile body 6.
  • the application data storage unit 122 is used to store application data including video data collected from the vehicle-mounted device 60.
  • the application data includes the ID, position information, traveling speed, traveling direction, and time information of the moving body 6 on which the on-board unit 60 of the image data collection source is mounted, the type of camera CM, the model name, the number, and the specification information. obtain.
  • This spec information includes (1) the angle of view of the camera CM, (2) the maximum distance at which the object to be photographed can be photographed (hereinafter, the photographable distance), (3) the resolution, and (4) the frame rate.
  • the setting information storage unit 123 is used to store the setting information related to the image data collection.
  • the control unit 11 is composed of the hardware processor 11A and the program memory 11B, and includes a setting processing unit 111, a sensor data reception processing unit 112, a data collection condition determination unit 113, and a collection instruction transmission process as processing function units by software. It has a unit 114 and a data reception processing unit 115 for an application.
  • the processing function unit in each of these units is realized by causing the hardware processor 11A to execute the program stored in the program memory 11B.
  • the control unit 11 may also be implemented in a variety of other forms, including integrated circuits such as ASICs (Application Specific Integrated Circuits) and FPGAs (Field-Programmable Gate Arrays). It should be noted that these processing functions may not be realized by using the program stored in the program memory 11B, but may be realized by using the program provided through the communication network.
  • the setting processing unit 111 inputs information (algorithms, thresholds, etc.) representing the conditions of the image data collection processing input by the operation by the system administrator to the input / output interface 13 or the input / output interface 13 from the management terminal used by the system administrator, for example. It receives the data via the communication interface 14 and stores the received information in the setting information storage unit 123.
  • information algorithms, thresholds, etc.
  • the sensor data reception processing unit 112 performs a process of receiving the sensor data sent from the sensor SS in the vehicle-mounted device 60 via the communication interface 14, and stores this sensor data in the sensor data storage unit 121.
  • the data collection condition determination unit 113 includes a moving body photographing range calculation unit 113A and a moving body selection unit 113B.
  • the moving body shooting range calculation unit 113A determines the shooting range by the camera CM mounted on the moving body 6 on which the sensor SS, which is the collection source of the sensor data stored in the sensor data storage unit 121, is mounted.
  • This shooting range includes (1) the position information of the moving body 6 on which the sensor SS that is the collection source of the sensor data is mounted, and (2) the angle of view of the camera CM mounted on the camera CM, which is indicated by the sensor data. (3) It can be determined by calculating based on the photographable distance of the object to be photographed.
  • the moving body selection unit 113B selects the moving body 6 on which the camera CM is mounted, which is an appropriate image data collection destination, using the shooting possible distance calculated by the moving body shooting range calculation unit 113A, and this moving body.
  • the content of the image data collection instruction according to No. 6 is output.
  • the image data collection instruction content includes an ID (identification information) unique to the selected moving body 6, the type and format of the sensor data collected from the moving body 6, the shooting time of the camera image data to be collected, and the like. obtain.
  • the appropriate image data collection destination differs depending on the type of application in which the collected image data is used.
  • the collection instruction transmission processing unit 114 sends a communication interface to the vehicle-mounted device 60 in the moving body 6 selected by the moving body selection unit 113B to collect and instruct image data captured by the camera CM attached to the vehicle-mounted device 60.
  • the process of transmitting via 14 is performed.
  • the application data reception processing unit 115 uses the image data captured and transmitted by the camera CM attached to the vehicle-mounted device 60, which is the collection instruction destination by the collection instruction transmission processing unit 114, as the identification information of the vehicle-mounted device 60, the shooting time, and the like. The process of receiving data via the communication interface 14 is performed in association with the above.
  • the application data reception processing unit 115 performs a process of storing the received data as application data in the application data storage unit 122.
  • FIG. 4 is a block diagram showing an example of the hardware configuration of the on-board unit 60 of the image data acquisition system according to the first embodiment of the present invention.
  • the vehicle-mounted device 60 is composed of, for example, a small computer, and has a hardware processor 61A such as a CPU. Then, in the in-vehicle device 60, the program memory 61B, the data memory 62, the input / output interface 63, and the communication interface 64 are connected to the hardware processor 61A via the bus 70.
  • the communication interface 64 includes, for example, one or more wired or wireless communication interfaces, and includes (1) an external device including an in-vehicle device 60 mounted on the server 1 and (2) another mobile body 6. Enables transmission and reception of information between and. A camera CM and a sensor SS attached to the vehicle-mounted device 60 are connected to the input / output interface 63.
  • the program memory 61B is used as a non-temporary tangible computer-readable storage medium, for example, in combination with a non-volatile memory such as an HDD or SSD that can be written and read at any time and a non-volatile memory such as a ROM. Is.
  • the program memory 61B stores a program necessary for executing various control processes according to the embodiment.
  • the data memory 62 is used as a tangible computer-readable storage medium, for example, in combination with a non-volatile memory such as an HDD or SSD that can be written and read at any time and a volatile memory such as a RAM.
  • the data memory 62 is used to store various data acquired and created in the process of performing the data collection process.
  • FIG. 5 is a block diagram showing a software configuration of the vehicle-mounted device 60 of the image data acquisition system according to the first embodiment of the present invention.
  • the vehicle-mounted device 60 comprises a small computer or the like mounted on the mobile body 6, and includes a control unit 61, a data memory 62, an input / output interface 63, and a communication interface 64.
  • the input / output interface 63 has a function of receiving video data output from the camera CM and sensor data output from sensors SS1 to SSj, which are j sensors.
  • the communication interface 64 is an external device including (1) the server 1 and (2) another on-board unit 60 mounted on the other mobile body 6 via the network NW. Send and receive data to and from.
  • a camera image storage unit 621, a sensor data storage unit 622, and a setting information storage unit 623 are provided in the storage area of the data memory 62.
  • the camera image storage unit 621 is used to store the image data collected from the camera CM.
  • the sensor data storage unit 622 is used to store the sensor data collected from the sensors SS1 to SSj at the time of shooting the video data.
  • the camera image storage unit 621 or the sensor data storage unit 622 stores related information indicating the relationship between the image data and the sensor data collected from the sensors SS1 to SSj at the time of shooting the image data. In the following, it is assumed that this related information is stored in the sensor data storage unit 622.
  • the setting information storage unit 623 is used to store information indicating the conditions of the image data collection process described later.
  • the storage units 621 to 623 are not essential configurations, and may be provided in, for example, an external storage medium such as a USB memory or a storage device such as a database server arranged in the cloud.
  • the control unit 61 is composed of the hardware processor 61A and the program memory 61B, and has a camera image acquisition processing unit 611, a sensor data acquisition processing unit 612, a setting processing unit 613, and sensor data as processing functions by software. It has a transmission processing unit 614, a collection instruction reception processing unit 615, an application data acquisition processing unit 616, and an application data transmission processing unit 617.
  • the processing function unit in each of these units is realized by causing the hardware processor 61A to execute the program stored in the program memory 61B.
  • the control unit 61 may also be implemented in a variety of other forms, including integrated circuits such as ASICs and FPGAs. It should be noted that these processing functions may not be realized by using the program stored in the program memory 61B, but may be realized by using the program provided through the communication network.
  • the camera image acquisition processing unit 611 acquires the image data output from the camera CM via the input / output interface 63, and stores the acquired image data in the camera image storage unit 621.
  • the sensor data acquisition processing unit 612 acquires the sensor data output from the sensors SS1 to SSj via the input / output interface 63, and stores the acquired sensor data in the sensor data storage unit 622.
  • the setting processing unit 613 is a management terminal used by the operator of the on-board unit 60 to use information (algorithms, thresholds, etc.) representing the conditions of the image data collection process input by the operator of the on-board unit 60, for example. Is received via the input / output interface 63 or the communication interface 64, and this information is stored in the setting information storage unit 623.
  • the input / output unit IO an input device having a keyboard and a mouse, an audio input device, an independent display, or the like can be used.
  • the sensor data transmission processing unit 614 performs a process of transmitting the data stored in the sensor data storage unit 622 to the server 1 via the communication interface 64.
  • the collection instruction reception processing unit 615 performs a process of receiving the image data collection instruction transmitted from the server 1 via the communication interface 64.
  • the application data acquisition processing unit 616 responds to the image data collection instruction received by the collection instruction reception processing unit 615, and (1) camera image data stored in the camera image storage unit 621, and (2) sensor data storage.
  • the sensor data stored in the unit 622 the sensor data collected from the sensors SS1 to SSj at the time of shooting the camera image data is acquired. If the image data to be collected includes information that can identify the image data, such as the position information of the vehicle at the shooting source and the shooting time information, the sensor data stored in the sensor data storage unit 622 is the acquisition target. It doesn't have to be.
  • the application data transmission processing unit 617 performs a process of transmitting the data acquired by the application data acquisition processing unit 616 to the server 1 as application data via the communication interface 64.
  • the optimum server may be selected as the destination based on the degree of network congestion, the magnitude of delay, and the like.
  • the image data collection system delays communication by reducing communication traffic related to image data in the mobile network between the mobile body 6 and the server 1 (hereinafter, may be referred to as image traffic). And smooth the operation of the application.
  • the image data collection system collects the data required for the application without reducing the amount of information as much as possible while reducing the image traffic.
  • Examples of applications include an application that monitors obstacles on the road and an application that generates a static map. Further, the application of the image data collection system is not limited to the above.
  • the image data collection system narrows down the moving body 6 for which the image data is collected from a plurality of moving bodies.
  • the image data collection system reduces the amount of image data collected.
  • This application can acquire image data taken by an in-vehicle camera and monitor the movement of obstacles on the road, changes in the state of obstacles, and the like.
  • This monitoring includes, for example, a safe driving support technology that notifies a vehicle traveling around the obstacle that an obstacle has moved, or an automatic driving technology that automatically drives so as to avoid a collision between the vehicle and the obstacle. It is expected to be applied to.
  • FIG. 6 is a diagram showing an example in which the image data collection system according to the first embodiment of the present invention is applied to monitoring obstacles.
  • the image data collection system manages vehicle metadata on the server 1, and uses this data to select a vehicle to collect image data for each individual application that monitors obstacles.
  • the metadata is, for example, the position information of the vehicle, the type of the in-vehicle sensor, the specifications, and the data calculated by using these.
  • the vehicle a is traveling in one lane on the road, and the obstacle b exists at a position in front of the vehicle a by a certain distance in the traveling direction.
  • the vehicle c is traveling between the vehicle a and the obstacle b, and the vehicle d is traveling behind the vehicle a.
  • the traveling directions of the vehicles a, c, and d are the same.
  • the specifications of the cameras mounted on the vehicle d are lower than the specifications of the cameras mounted on the vehicles a and c.
  • the vehicle e is traveling in the vicinity of the vehicle a in the opposite lane facing the lane in which the vehicles a, c, and d are traveling.
  • Each vehicle sends metadata to server f. Based on the metadata from each vehicle, the server f selects an appropriate vehicle as a request destination for transmitting image data for monitoring the obstacle b.
  • the vehicle a in which the obstacle a is located within the shooting range of the mounted camera is selected, and the image data transmission instruction g is transmitted to the vehicle a.
  • the vehicle c is not selected as the request destination because it is too close to the obstacle b.
  • Vehicle d is not selected as a request destination because the specifications of the mounted camera are low as described above.
  • the vehicle i is not selected as a request destination because the obstacle a is not located within the shooting range of the mounted camera.
  • the vehicle a transmits the image data h or the like captured by the in-vehicle camera to the server f.
  • FIGS. 7A, 7B, and 7C are tabular views showing an example of the definition and classification of obstacles. Obstacles are defined herein as anything that exists around the road and interferes with driving or movement. In FIGS. 7A, 7B and 7C, it is assumed that the stop time is within 5 minutes and the parking time is more than 5 minutes. It is assumed that the behavior pattern of the obstacle does not include the state where the moving body is "always stopped / parked". This is because even if the obstacle itself is static, it is mostly removed by human intervention.
  • Driving when a pedestrian or motorcycle driver (hereinafter sometimes referred to as a driver, etc.) has a smartphone or when the GPS sensor function installed in the car is ON. It is assumed that a person or a car can acquire and transmit location information. On the other hand, when the driver or the like does not have a smartphone, or the engine of the car is turned off and the GPS sensor function is turned off, the driver or the car cannot acquire or transmit the position information. Assume.
  • FIG. 8 is a diagram illustrating an example of vehicle selection based on the shooting range of the vehicle-mounted camera.
  • the server 1 estimates the shooting range of the in-vehicle camera of each vehicle, and if an obstacle exists within this shooting range, the vehicle is set as the image data collection destination. Select and collect image data from this vehicle.
  • the server 1 can narrow down the vehicle from which the image data is collected based on the vehicle status information, such as selecting a vehicle with high specifications of the in-vehicle camera. As a result, the amount of communication traffic can be significantly reduced compared to collecting image data from all vehicles located around the obstacle.
  • the in-vehicle camera is a front camera, but the rear camera, the omnidirectional camera, the omnidirectional camera, and the compound eye camera are also applicable as the in-vehicle camera. ..
  • the image data collection destination when the image data collection destination is selected based on whether or not an obstacle exists in the shooting range, the image data in which the obstacle is included in the shooting range can be collected. Probability is high. It is more effective when the obstacle is a static object.
  • FIG. 9 is a flowchart showing an example of a processing operation when the image data collection system according to the first embodiment of the present invention is applied to monitoring obstacles.
  • the mobile camera shooting range calculation unit 113A of the data collection condition determination unit 113 of the server 1 is constantly stored in the sensor data storage unit 121 for (1) position information of each vehicle which is the mobile body 6 and (2) position information. Acquire the linked direction of travel, the angle of view of the camera CM, and (3) the shooting distance of the object, and use the obtained results to calculate the shooting range of the camera CM mounted on each vehicle. (S11).
  • the moving body photographing range calculation unit 113A is based on the information indicating the position, speed, traveling direction, etc. of the vehicle, and the position where the moving body 6 exists when a designated time, for example, several seconds or several milliseconds has elapsed. And using this predicted position information, the shooting range of the camera CM when the specified time has elapsed may be calculated.
  • the moving body selection unit 113B of the data collection condition determination unit 113 takes a picture of the camera CM using (1) the shooting range of each vehicle calculated in S11 and (2) the position information of the obstacle. A vehicle having an obstacle within the range is selected (S12). It is assumed that the position information of the obstacle is stored in the data memory 12 in advance.
  • the collection instruction transmission processing unit 114 transmits a data collection instruction to the vehicle selected in S12 via the communication interface 14 (S13).
  • the data to be collected includes image data taken by the camera CM mounted on the selected vehicle.
  • the content of the data collection instruction includes the ID of the vehicle to which the data is collected, the type and format of the data to be collected, the time zone in which the data collection is executed, and the like.
  • the past image data is stored in the camera image storage unit 621 of the vehicle-mounted device 60, the past time or time zone is set as the shooting time by the setting processing unit 111 of the server 1, and the setting information storage unit By storing the image data in the 123, the past image data can be the target of the collection instruction by the collection instruction transmission processing unit 114.
  • the collection instruction reception processing unit 615 of the vehicle-mounted device 60 mounted on the vehicle receives the data collection instruction via the communication interface 64.
  • the application data acquisition processing unit 616 acquires camera image data and the like stored in the camera image storage unit 621 in response to a data collection instruction.
  • the application data transmission processing unit 617 transmits the acquired data as application data to the server 1 via the communication interface 64 (S14).
  • the processing from S11 to S14 is repeated at a specified time interval, for example, once per second.
  • FIG. 10 is a diagram illustrating an example of calculation of a shooting range by a camera. It is assumed that the position information of each vehicle, the angle of view of the camera CM, the information on the shooting distance of the object, and the traveling direction are sequentially acquired by the server 1 and held on this server.
  • the end points (x_a, y_a), (x_b, y_b) of the shooting range are calculated using the position information (x_c, y_c) of the camera CM, the angle of view ⁇ of the camera CM, and the shooting distance l of the object.
  • the procedure to be performed is shown below.
  • (x_b, y_b) is a coordinate point obtained by rotating (x_a, y_a) by ⁇ degrees around (x_c, y_c). From the linear transformation of rotational movement, the following equations (7) and (8) hold.
  • x_b cos ⁇ (x_a-x_c) -sin ⁇ (y_a-y_c) + x_c... Equation (7)
  • y_b sin ⁇ (x_a-x_c) + cos ⁇ (y_a-y_c) + y_c... Equation (8)
  • the end points (x_b, y_b) are represented by the following equation (9).
  • (x_b, y_b) ((x_a-x_c) cos ⁇ - (y_a-y_c) sin ⁇ + x_c, (x_a-x_c) sin ⁇ - (y_a-y_c) cos ⁇ + y_c)... Equation (9)
  • the moving body photographing range calculation unit 113A can calculate the photographing range.
  • preprocessing may be performed.
  • Examples of the preprocessing for the image data include compression coding, but thinning processing or processing for trimming only the obstacle portion may be performed as the preprocessing.
  • the application data acquisition processing unit 616 of the vehicle-mounted device 60 has changed the position of the obstacle in the image data stored in the camera image storage unit 621, that is, the obstacle has moved.
  • select image data select image data.
  • the application data transmission processing unit 617 transmits the selected image data to the server 1.
  • the unselected image data is not transmitted to the server 1.
  • the amount of image data transmitted to the server 1 is significantly reduced as compared with the case where the thinning process is not performed.
  • the application data acquisition processing unit 616 estimates the position of the obstacle in the vehicle, and compares the estimated position with the position information of the obstacle acquired in advance from the server 1.
  • the position of the obstacle may be estimated from, for example, the object detection result of the image data and the spec information of the camera, or the point cloud data obtained by LiDAR and the object detection result of the image data are collated. It may be estimated by.
  • the obstacles having "stop time” of "tens of minutes”, “several hours”, and “several days or more" in the behavior patterns shown in FIGS. 7A, 7B, and 7C are camera CMs. There is a high possibility that it will be included in the shooting range of, and it is effective in calculating the shooting range.
  • the more accurate the position information of the obstacle obtained in advance the more effective it is in calculating the shooting range. That is, the types of obstacles shown in FIGS. 7A, 7B, and 7C are "those that acquire and provide location information by themselves", “those that can acquire location information by themselves but do not provide”, and “those that acquire location information by themselves”.
  • the effectiveness of calculating the shooting range is high in the order of ", things that cannot be provided”.
  • This application can reproduce the road surface condition as a static map on the server 1 by processing the road surface image data shown by the in-vehicle camera images from each vehicle and stitching these images together.
  • this static map it is effective for grasping the condition of the road surface, for example, dents and cracks on the road surface, and when the white line or the lane of the sidewalk is changed. For example, it is expected to be applied to safe driving support technology that outputs a warning to the driver when the road surface condition is bad, or automatic driving technology that automatically drives to slow down the driving speed when the road surface condition is bad. ing.
  • the collected in-vehicle camera image has no obstruction on the road surface reflected in this image and the road surface in the widest possible range is reflected in the image.
  • the scenery that may appear in the upper part of the image is unnecessary as information for grasping the condition of the road surface.
  • FIG. 11 is a diagram illustrating an example of generating a static map.
  • a shown in FIG. 11 shows an example of an in-vehicle camera image collected from each vehicle, and b shown in FIG. 11 shows an example of a generated static map.
  • This static map may show, for example, road depressions and cracks.
  • FIG. 12 is a diagram showing an example of collected in-vehicle camera images.
  • a shown in FIG. 12 is an example of an undesired in-vehicle camera image.
  • this image there are relatively many obstacles on the road surface, and the range of the road surface shown in the image is relatively narrow, so that it is not suitable as an image constituting a static map.
  • FIG. 12 is an example of a desirable in-vehicle camera image.
  • this image there are relatively few obstacles on the road surface, and the range of the road surface shown in the image is relatively wide, so that it is suitable as an image constituting a static map.
  • FIG. 13 is a diagram illustrating an example of vehicle selection based on the shooting range of the vehicle-mounted camera.
  • the application is an application related to the generation of a static map
  • the vehicle from which this image is taken is statically displayed. It is specified as the collection destination of the image data constituting the map, and the image taken by this vehicle is collected as the image constituting the static map.
  • the vehicle from which the image is taken may be specified as the collection destination in which the number of the shields in the image satisfies the predetermined conditions and is small, or the occupied range of the shields in the in-vehicle camera image data satisfies the predetermined conditions and is small.
  • the vehicle from which the image was taken may be specified as the collection destination.
  • this vehicle Since there is no obstruction within the photographing range b from the vehicle surrounded by a shown in FIG. 13, this vehicle is selected as the collection destination of the image data constituting the static map. On the other hand, since there are obstacles in the shooting range from the vehicles not surrounded by a shown in FIG. 13, these vehicles are not selected as the collection destination of the image data constituting the static map.
  • the server 1 selects the vehicle having high specifications of the in-vehicle camera, and the server 1 selects the vehicle with high specifications of the in-vehicle camera. It is also possible to further narrow down the vehicles to be collected. As a result, the amount of communication traffic can be significantly reduced as compared with collecting image data from all vehicles located around the shield.
  • the in-vehicle camera is a front camera, but the rear camera, the omnidirectional camera, the omnidirectional camera, and the compound eye camera are also applicable as the in-vehicle camera. ..
  • the shield is used as an image suitable for generating a static map. It is possible to collect images that are easy to diagnose on the road surface.
  • FIG. 14 is a flowchart showing an example of a processing operation when the image data collection system according to the first embodiment of the present invention is applied to the creation of a static map.
  • the shield is another vehicle with respect to the vehicle from which the image data is taken, but any other object that can be a shield may be used as long as the position information can be grasped.
  • the moving object shooting range calculation unit 113A of the data collection condition determination unit 113 of the server 1 calculates the shooting range of the camera CM mounted on each vehicle (S21).
  • the moving body selection unit 113B of the data collection condition determination unit 113 uses (1) the shooting range of each vehicle calculated in S21 and (2) the position information of another vehicle that is a shield. A vehicle having no obstacle within the shooting range of the camera CM is selected (S22). At this time, the predicted information of the position information of the shield may be used in S22 by using the predicted position information described in S11 in S21. Similar to S13, the collection instruction transmission processing unit 114 transmits a data collection instruction to the vehicle selected in S22 via the communication interface 14 (S23).
  • the collection instruction reception processing unit 615 of the vehicle-mounted device 60 mounted on the vehicle receives the data collection instruction via the communication interface 64.
  • the application data acquisition processing unit 616 acquires camera image data and the like stored in the camera image storage unit 621 in response to a collection instruction.
  • the application data transmission processing unit 617 transmits the acquired data as application data to the server 1 via the communication interface 64 (S24).
  • the processing from S21 to S24 is repeated at a specified time interval, for example, once per second.
  • the server selects a vehicle suitable as a collection destination of image data based on the shooting range and position information of the camera mounted on each vehicle. Image data is collected from this vehicle. Therefore, the traffic related to the communication of the image data between the vehicle-mounted device and the server can be reduced, so that the communication delay can be reduced.
  • the second embodiment Next, the second embodiment will be described. In each subsequent embodiment, detailed description of the same configuration and operation as in the first embodiment will be omitted.
  • the configuration of the image data collection system according to the second embodiment is the same as that of the first embodiment.
  • the mobile selection unit 113B of the server 1 selects the vehicle that is the collection destination of the image data by using speculative execution. Speculative execution is used, for example, to reduce delays in network battle games.
  • the operation contents of the opponent player are received by communication, and the movements of oneself and the opponent's character on the screen are drawn.
  • the drawing process is also delayed, so that the delay is conspicuous when playing against an opponent player in a remote location. Therefore, the delay of the screen display is reduced by predicting all the patterns of the operations performed by the opponent player at the next moment and performing the drawing process of the opponent player in advance based on the prediction result in each pattern.
  • FIG. 15 is a diagram showing an example of vehicle selection by the image data acquisition system according to the second embodiment of the present invention.
  • the mobile body selection unit 113B of the server 1 predicts the future position of the obstacle based on the information indicating the type of the obstacle, the current position, the speed, the traveling direction, and the like. .. Further, the moving body selection unit 113B predicts a vehicle that is likely to be in a position where an obstacle can be photographed, and selects this vehicle as a collection destination of image data.
  • a shown in FIG. 15 is a road stop vehicle corresponding to an obstacle (hereinafter referred to as an obstacle vehicle a). Since the current obstacle vehicle a falls within the shooting range c of the vehicle-mounted camera of the vehicle surrounded by b shown in FIG. 15, the vehicle surrounded by b is selected as the image data collection destination.
  • an obstacle vehicle a Since the current obstacle vehicle a falls within the shooting range c of the vehicle-mounted camera of the vehicle surrounded by b shown in FIG. 15, the vehicle surrounded by b is selected as the image data collection destination.
  • the obstacle vehicle a in the future after a predetermined time also falls within the shooting range e1 of the vehicle-mounted camera surrounded by d1 shown in FIG.
  • the enclosed vehicle is selected as the image data collection destination.
  • the obstacle vehicle a in the future also after the predetermined time falls within the shooting range e2 of the vehicle-mounted camera surrounded by d2 shown in FIG.
  • the vehicle surrounded by is selected as the collection destination of the image data.
  • FIG. 16 is a flowchart showing an example of a processing operation when the image data acquisition system according to the second embodiment of the present invention is applied to monitoring obstacles.
  • the second embodiment it is assumed that all the movement patterns of the obstacles are stored in advance in the data memory 12 of the server 1 for each type of obstacles.
  • the vehicle may be stationary, forward or turn right, turn left, or back, each pattern moving from the obstacle's current position after a given amount of time. It may contain information indicating direction and distance traveled.
  • the mobile selection unit 113B of the data collection condition determination unit 113 of the server 1 includes (1) the type and position information of the obstacle acquired in advance, and (2) each obstacle stored in the data memory 12 in advance. By collating with the movement pattern, the predicted positions of all obstacles are derived (S31).
  • the mobile body selection unit 113B (1) predicts all the predicted positions of the target obstacles derived in S31, and (2) constantly collects from each vehicle and stores the position information of each vehicle in the data memory 12. Using the shooting range calculated by the moving body shooting range calculation unit 113A, a vehicle containing an obstacle in the shooting range is selected as an image data collection destination (S32). Similar to the first embodiment, the vehicle position information (including other vehicles) may be predicted information. Similar to S13, the collection instruction transmission processing unit 114 transmits a data collection instruction to the vehicle selected in S32 via the communication interface 14 (S33).
  • the collection instruction reception processing unit 615 of the vehicle-mounted device 60 mounted on the vehicle receives the data collection instruction via the communication interface 64.
  • the application data acquisition processing unit 616 acquires camera image data and the like stored in the camera image storage unit 621 in response to a collection instruction.
  • the application data transmission processing unit 617 transmits the acquired data as application data to the server 1 via the communication interface 64 (S34).
  • the processing from S31 to S34 is repeated at a specified time interval, for example, once per second.
  • the obstacle is likely to be included in the photographing range, which is effective in vehicle selection.
  • a pattern that has a large effect on this possibility when the obstacle moves more frequently than when the obstacle stays for a long time, useless image data is collected less frequently. It is valid. That is, the shorter the "rest time” of "stationary for a certain period of time and then movement" of the behavior pattern of the obstacle shown in FIGS. 7A, 7B, and 7C, the more effective the vehicle selection. The same applies when the behavior pattern of the obstacle corresponds to the above-mentioned "always moving".
  • vehicle selection is due to less frequent collection of useless image data along the road than when obstacles do not move along the road. It is effective in. That is, it is more effective in vehicle selection that the behavior pattern of the obstacle shown in FIGS. 7A, 7B, and 7C is "along the road".
  • FIG. 17 is a diagram illustrating an example of vehicle selection by the image data acquisition system according to the third embodiment of the present invention.
  • the areas of the fan-shaped shooting ranges a, b, c, d, e, and f of the vehicle-mounted camera shown in FIG. 17 are used as the basic scores.
  • the area where the shielded portion is removed from the fan-shaped shooting range is used as the basic score.
  • a portion overlapping the shooting range of the collected image which is an image already collected by the server 1, is processed so as to be excluded from the target of further collection.
  • the above exclusion requirement is relaxed according to the degree of similarity based on the difference in the shooting angle in each shooting range.
  • the angle difference between the shooting ranges a and b shown in FIG. 17 is 180 degrees, that is, an angle corresponding to the opposite, and the similarity of the shooting results of obstacles existing in the overlapping range of the shooting ranges a and b is low.
  • the angle difference between the shooting ranges c and d shown in FIG. 17 is 90 degrees, and the similarity of the shooting results of obstacles existing in the overlapping range of the shooting ranges c and d is medium.
  • the angle difference between the shooting ranges e and f shown in FIG. 17 is smaller than 90 degrees, and the similarity of the shooting results of obstacles existing in the overlapping range of the shooting ranges e and f is high.
  • the image data relating to the shooting range having a low degree of similarity among the above is the image data having a high priority of collection. Further, the image data related to the shooting range having a high degree of similarity is the image data having a low priority of collection.
  • the score used for priority scoring is represented by, for example, the following equations (12), (13), (14), and (15). Further, if the following time passage, directional difference, and time difference can be used as parameters, the score calculation formula is not particularly limited.
  • the “W elapsed time ” in the equation (12) is a weight parameter for preferentially collecting new image data, and is a function that monotonically decreases with the passage of time.
  • the “W directional difference ” in the equation (12) is a weight parameter expressing the similarity between the collected image data and the uncollected image data, and is a function that monotonically decreases as the directional difference in the shooting range increases.
  • the “W time difference ” in the equation (12) is a weight parameter expressing the degree of similarity with the collected data, and is a function that monotonically decreases as the time difference of the shooting time increases.
  • Equation (13) is the validity period set by the application.
  • Equation (13) shows that the score is subtracted according to the elapsed time.
  • Equation (14) shows that the difference in shooting azimuth is reflected in the degree of exclusion of the score. For example, if the difference is 0 degrees, the exclusion degree is 100%, and if the difference is 180 degrees, the exclusion degree is 0%.
  • Equation (15) shows that the time difference is reflected in the score exclusion degree of the overlapping portion of the shooting range based on the validity period ⁇ set by the application.
  • FIG. 18 is a diagram illustrating calculation of a priority score by the image data acquisition system according to the third embodiment of the present invention.
  • the a shown in FIG. 18 corresponds to the area of the photographing range represented by the equation (12) for the moving body before collection, which is a moving body capable of photographing the image data before collection.
  • B shown in FIG. 18 corresponds to the W elapsed time represented by the equation (12).
  • Reference numeral c in FIG. 18 corresponds to the area of the overlapping portion represented by the equation (12) for the pre-collection moving body and the first moving body on which the camera for obtaining the collected image data is mounted.
  • Reference numeral d in FIG. 18 corresponds to the W orientation difference represented by the equation (12) for the pre-collection moving body and the first moving body.
  • Reference numeral e in FIG. 18 corresponds to the W time difference represented by the equation (12) for the pre-collection moving body and the first moving body.
  • F shown in FIG. 18 corresponds to the area of the overlapping portion represented by the equation (12) for the pre-collection moving body and the second moving body on which the camera for obtaining the collected image data is mounted.
  • the g shown in FIG. 18 corresponds to the W orientation difference represented by the formula (12) for the pre-collection moving body and the second moving body.
  • H shown in FIG. 18 corresponds to the W time difference represented by the formula (12) for the pre-collection moving body and the second moving body.
  • FIG. 19 is a diagram showing a first state of priority scoring based on the similarity of the angle of view of the shooting range.
  • the shooting range a by the camera mounted on the first vehicle the shooting range b by the camera mounted on the second vehicle, and the shooting range by the camera mounted on the third vehicle.
  • the shooting ranges a, b, and c are shooting ranges related to uncollected image data, and the priority score calculated for each shooting range is 100, which is the highest.
  • FIG. 20 is a diagram showing a second state of priority scoring based on the similarity of the angles of view of the shooting range.
  • the priority scores calculated for the shooting ranges a, b, and c related to the uncollected image data shown in FIG. 19 are the same 100, the shooting range a is randomly set. It is selected, and it is shown that the image data related to this shooting range is newly collected in the server 1.
  • FIG. 21 is a diagram showing a third state of priority scoring based on the similarity of the angle of view of the shooting range.
  • the priority scores calculated for the shooting ranges b and c related to the uncollected image data shown in FIG. 20 are the same 100, and the shooting range c is randomly selected. It is shown that the image data related to this shooting range is newly collected in the server 1.
  • FIG. 22 is a diagram showing a fourth state of priority scoring based on the similarity of the angle of view of the shooting range.
  • a new fourth vehicle is located near the first vehicle
  • a new fifth vehicle is located near the second vehicle
  • a new fifth vehicle is located near the third vehicle. It is shown that a new sixth vehicle will be located.
  • a part of the shooting range a and a part of the shooting range d by the camera mounted on the fourth vehicle overlap, and the part of the shooting range b and the shooting range e by the camera mounted on the fifth vehicle e. It is assumed that a part of the shooting range c overlaps with a part of the shooting range f by the camera mounted on the sixth vehicle.
  • the priority score calculated for the shooting range d is 90
  • the priority score calculated for the shooting range e is 100
  • the priority score calculated for the shooting range f is 50. .. Since there is no shooting range related to the collected image between the shooting range b and the shooting range e, the priority score calculated for the shooting range e is 100 as described above.
  • FIG. 23 is a diagram showing a fifth state of priority scoring based on the similarity of the angle of view of the shooting range.
  • the shooting range b is randomly selected from the shooting ranges b, e having the highest priority in the shooting ranges b, d, e, and f related to the uncollected image data, and this shooting is performed. It is shown that the image data related to the range is newly collected in the server 1. After this collection, the priority score is calculated again for the shooting range e that overlaps with the shooting range b as described above. It is assumed that this priority score has been changed from 100 to 70 above.
  • FIG. 24 is a diagram showing a sixth state of priority scoring based on the similarity of the angle of view of the shooting range.
  • the image data related to the shooting range d having the highest priority among the shooting ranges d, e, and f related to the uncollected image data is newly recovered to the server 1. ..
  • FIG. 25 is a diagram showing a seventh state of priority scoring based on the similarity of the angle of view of the shooting range.
  • the image data related to the shooting range e having the highest priority among the shooting ranges e and f related to the uncollected image data is newly collected by the server 1.
  • the image data related to the remaining shooting range f is collected in the server 1 after this collection.
  • FIG. 26 is a flowchart showing an example of a processing operation when the image data collection system according to the third embodiment of the present invention is applied to monitoring obstacles.
  • the moving object shooting range calculation unit 113A of the data collection condition determination unit 113 of the server 1 calculates the shooting range of the camera CM mounted on each vehicle (S41).
  • the moving body selection unit 113B of the data collection condition determination unit 113 uses (1) the shooting range of each vehicle calculated in S41 and (2) the position information of the obstacle, and the shooting range of the camera CM. Select a vehicle that has obstacles inside. It is assumed that the position information of the obstacle is stored in the data memory 12 in advance.
  • the moving body selection unit 113B reads out the shooting position and shooting time related to the image data collected from a certain vehicle from the application data storage unit 122 and refers to the shooting range with respect to the collected image data.
  • a vehicle equipped with a camera CM related to a shooting range with less overlap is selected by a priority score using the above equations (12), (13), (14), and (15) (S42).
  • the collection instruction transmission processing unit 114 transmits a data collection instruction to the vehicle selected in S42 via the communication interface 14 (S43).
  • the collection instruction reception processing unit 615 of the vehicle-mounted device 60 mounted on the vehicle receives the data collection instruction via the communication interface 64.
  • the application data acquisition processing unit 616 acquires camera image data and the like stored in the camera image storage unit 621 in response to a collection instruction.
  • the application data transmission processing unit 617 transmits the acquired data as application data to the server 1 via the communication interface 64 (S44).
  • the processing from S41 to S44 is repeated at a specified time interval, for example, once per second.
  • the duplication and similarity of the image data obtained by the vehicle for which the image data is collected and the image data already obtained by the other vehicle are taken into consideration. , Lower the priority for collecting image data that has a high degree of similarity to the collected image data. As a result, image data useful for the application can be efficiently collected.
  • the "stop time” in the behavior pattern shown in FIGS. 7A, 7B, and 7C is “tens of minutes”, “several hours”, and “several days”.
  • the obstacle related to "above” is included in the shooting range of the camera CM, which is effective in calculating the shooting range.
  • FIG. 27 is a flowchart showing an example of a processing operation when the image data acquisition system according to the third embodiment of the present invention is applied to the creation of a static map.
  • the moving object shooting range calculation unit 113A of the data collection condition determination unit 113 of the server 1 calculates the shooting range of the camera CM mounted on each vehicle (S51).
  • the moving body selection unit 113B of the data collection condition determination unit 113 uses (1) the shooting range of each vehicle calculated in S21, and (2) the position information of other vehicles. , Select a vehicle that does not have a shield within the shooting range of the camera CM. Then, for this selected vehicle, the moving body selection unit 113B (1) the shooting range of each vehicle calculated in S41, and (2) the shooting position and shooting time related to the image data collected from a certain vehicle. , Is read from the data storage unit 122 for application and referred to, and the vehicle equipped with the camera CM related to the shooting range with less overlap with the shooting range related to the collected image data is described in the above equations (12), (13), and. Selection is made based on the priority score using (14) and (15) (S52). Similar to S43, the collection instruction transmission processing unit 114 transmits a data collection instruction to the vehicle selected in S52 via the communication interface 14 (S53).
  • the collection instruction reception processing unit 615 of the vehicle-mounted device 60 mounted on the vehicle receives the data collection instruction via the communication interface 64.
  • the application data acquisition processing unit 616 acquires camera image data and the like stored in the camera image storage unit 621 in response to a collection instruction.
  • the application data transmission processing unit 617 transmits the acquired data as application data to the server 1 via the communication interface 64 (S54).
  • the processing from S51 to S54 is repeated at a specified time interval, for example, once per second.
  • FIG. 28 is a diagram illustrating an example of reducing the amount of image data by the image data collection system according to the fourth embodiment of the present invention.
  • the inter-vehicle distance is used to reduce the amount of image data collected by the server 1.
  • the application destination application is an application that generates a static map
  • the vehicle to be collected data and the vehicle in front located in front of this vehicle Alternatively, a useless range of the images collected from the data collection target vehicle is trimmed according to the distance from the rear vehicle located behind the data collection target vehicle.
  • the ratio of the front or rear vehicle to the shooting range of the camera mounted on the vehicle for data collection is relatively high, so as shown in b shown in FIG. 28, the above The trimming range is set to a relatively large range.
  • the ratio of the front or rear vehicle to the shooting range of the camera mounted on the vehicle for data collection is relatively low, as shown in FIG. 28.
  • the trimming range is set to a relatively small range, or the trimming is set so as not to be performed as shown in FIG. 28.
  • FIG. 29 is a block diagram showing an example of the software configuration of the server 1 of the image data acquisition system according to the fourth embodiment of the present invention.
  • the condition determination unit 113 has a data reduction determination unit 113C in place of the moving object photographing range calculation unit 113A and the moving object selection unit 113B shown in the first embodiment.
  • the data reduction determination unit 113C uses the data received from the vehicle-mounted device 60 to determine the trimming range, which is a useless range of the image data to be collected from the vehicle-mounted device 60.
  • FIG. 30 is a block diagram showing an example of the software configuration of the vehicle-mounted device 60 of the image data acquisition system according to the fourth embodiment of the present invention.
  • the control unit 61 of the vehicle-mounted device 60 of the image data collection system according to the fourth embodiment Has a data reduction processing unit 618.
  • the data reduction processing unit 618 was trimmed after being acquired by the application data acquisition processing unit 616 according to a data collection instruction reflecting the trimming range determined by the data reduction determination unit 113C, that is, a part of the range was deleted.
  • the generated image data is sent to the application data transmission processing unit 617 as application data.
  • FIG. 31 is a flowchart showing an example of a processing operation when the image data collection system according to the fourth embodiment of the present invention is applied to the creation of a static map.
  • the inter-vehicle distance is assumed to be the inter-vehicle distance between the vehicle for which data is to be collected and the vehicle in front.
  • the data reduction determination unit 113C of the data collection condition determination unit 113 of the server 1 uses the position information of each vehicle constantly stored in the sensor data storage unit 121 to determine the distance between the vehicle to be collected and the vehicle in front. Calculate (S61). Specifically, using the above position information, the data reduction determination unit 113C selects a vehicle located within a designated range from the data collection target vehicle, for example, within a radius of 20 meters. Among them, among the vehicles in front, the vehicle closest to the vehicle in the traveling direction of the data collection target vehicle is defined as the vehicle in front.
  • the data reduction determination unit 113C estimates the inter-vehicle distance of these vehicles based on the position information of the vehicle in front and the position information of the data collection target vehicle. Further, when the data collection target vehicle is equipped with a sensor for measuring the inter-vehicle distance from the vehicle in front, the data of the data collection target may be acquired by the server 1. It is assumed that the data memory 12 of the server 1 stores in advance the trimming range of image data according to the angle of view, the model name, and the inter-vehicle distance of the camera CM mounted on each vehicle.
  • the data reduction determination unit 113C is based on (1) the stored information, (2) the inter-vehicle distance calculated in S61, and (3) the angle of view of the camera CM mounted on the data collection target vehicle, and the model name. , The trimming range of the image data obtained by this camera CM is derived (S62).
  • the collection instruction transmission processing unit 114 transmits a data collection instruction including the trimming range derived by the data reduction determination unit 113C in S62 and the time when the position information used for this derivation is obtained via the communication interface 14.
  • the data is transmitted to the in-vehicle device 60 of the vehicle to be collected (S63).
  • the collection instruction reception processing unit 615 of the vehicle-mounted device 60 mounted on the data collection target vehicle receives the data collection instruction via the communication interface 64.
  • the application data acquisition processing unit 616 acquires image data corresponding to the time indicated by the data collection instruction from the camera image storage unit 621.
  • the data reduction processing unit 618 trims the acquired image data according to the trimming range specified in the data collection instruction.
  • the application data transmission processing unit 617 transmits the trimmed image data as application data to the server 1 via the communication interface 64 (S64).
  • the processing from S61 to S64 is repeated at a specified time interval, for example, once per second.
  • the processing by the data reduction determination unit 113C of the control unit 11 of the server 1 described above may be executed in the control unit 61 of the vehicle-mounted device 60 mounted on the data collection target vehicle.
  • the data collecting vehicle is equipped with a sensor capable of measuring the distance to the vehicle in front, and the inter-vehicle distance obtained by this sensor is used in S62 or the like.
  • the trimming range is derived by comparing the stored trimming range with the obtained inter-vehicle distance. Will be done.
  • each embodiment described above may be incorporated into one system, and each process by the control unit 11 or the like may be switched and executed as necessary. Further, in consideration of the delay state of communication between the server 1 and the vehicle-mounted device 60, for example, the vehicles to be collected may be selected in ascending order of delay.
  • each embodiment includes, for example, magnetic disks (floppy (registered trademark) disks, hard disks, etc.) and optical disks (CD-ROM, DVD) as programs (software means) that can be executed by a computer (computer).
  • a computer computer
  • MO, etc. can be stored in a recording medium such as a semiconductor memory (ROM, RAM, flash memory, etc.), or can be transmitted and distributed by a communication medium.
  • the program stored on the medium side also includes a setting program for configuring the software means (including not only the execution program but also the table and the data structure) to be executed by the computer in the computer.
  • a computer that realizes this device reads a program recorded on a recording medium, constructs software means by a setting program in some cases, and executes the above-mentioned processing by controlling the operation by the software means.
  • the recording medium referred to in the present specification is not limited to distribution, and includes storage media such as magnetic disks and semiconductor memories provided in devices connected inside a computer or via a network.
  • the invention of the present application is not limited to the above embodiment, and can be variously modified at the implementation stage without departing from the gist thereof.
  • each embodiment may be carried out in combination as appropriate as possible, in which case the combined effect can be obtained.
  • the above-described embodiment includes inventions at various stages, and various inventions can be extracted by an appropriate combination in a plurality of disclosed constituent requirements.
  • Setting information storage unit 611 ... Camera image acquisition processing unit 612 . Sensor data acquisition processing unit 614 . Sensor data transmission processing unit 615 ... Collection instruction reception processing unit 616 . Application data acquisition processing unit 617 . Application data transmission processing unit 618 ... Data reduction processing unit 621 ... Camera image storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

実施形態に係る画像データ収集装置は、撮影装置が搭載される複数の移動体の位置情報を取得する取得手段と、前記複数の移動体について取得された位置情報、当該複数の移動体に搭載される前記撮影装置による撮影範囲を表す情報、および所定の物体の位置情報を移動体ごとに取得し、この取得された各情報に基づいて、収集対象である画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択する選択手段と、前記選択された移動体に、当該移動体に搭載される前記撮影装置による撮影結果である画像データの収集指示を送信する送信手段と、前記収集指示を受けた前記移動体から送信された画像データを受信する受信手段と、を備える。

Description

画像データ収集装置、方法およびプログラム
　本発明の実施形態は、画像データ収集装置、方法およびプログラムに関する。
　近年、自動車の走行データをリアルタイムにインターネット上のクラウド環境へ送信するコネクティッドカー（Connected car）が注目を集めている。コネティッドカーが普及していくと、多くの車両からネットワーク（Network）を介して、サーバ上に車両の状態、および車両の周辺状況などの情報を収集できるようになる。特に、車載カメラにより撮影された画像データ（単に画像と称することがある）は応用の幅が広く、様々なアプリケーションプログラム（以下、アプリケーション）への適用が期待されている。適用先としては、例えば、ダイナミックマップ（Dynamic Maps）又は静的地図（Static Maps）の生成、路面診断、障害物の検知、通知、又はモニタリングなどが挙げられる。
　また、数珠つなぎに走行する複数の車両の間では、走行データが重複または類似する可能性が高いことを利用して、エッジ（Edge）サーバ上で車両間の距離、位置情報、進行方向、速度を管理し、この管理される情報を用いて、上記数珠つなぎに走行する複数の車両をグループ化して、このグループの中の代表車両のみからデータを収集するシステムがある（例えば、非特許文献１を参照）。
KDDI, "Successful PoCdemonstration of data flows control function by edge computing ", https://www.kddi-research.jp/english/newsrelease/2018/022301.html,2018
　しかしながら、アプリケーションの種別によっては、多数の車両から大量かつ高頻度に画像データを収集する必要があり、通信トラヒック量が膨大になるケースがある。このときは、画像データの通信に係る遅延が発生する。
　このようなケースで、既存の通信設備が利用されたときは、通信に係る輻輳が発生し、通信に係る遅延の程度が高い。結果としてアプリケーションの動作速度が低下する。　
　特に、無線区間（モバイル（Mobile）網）では、有線区間と比較して通信速度が低いため、通信トラヒック量を削減することが重要である。
　この発明は、上記事情に着目してなされたもので、その一側面としては、画像データの通信に係る遅延を低減し、当該画像を取り扱うアプリケーションを円滑に動作させることができるようにした技術を提供することにある。
　本発明の一態様に係る画像データ収集装置は、撮影装置が搭載される複数の移動体の位置情報を取得する取得手段と、前記複数の移動体について取得された位置情報、当該複数の移動体に搭載される前記撮影装置による撮影範囲を表す情報、および所定の物体の位置情報を移動体ごとに取得し、この取得された各情報に基づいて、収集対象である画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択する選択手段と、前記選択された移動体に、当該移動体に搭載される前記撮影装置による撮影結果である画像データの収集指示を送信する送信手段と、前記収集指示を受けた前記移動体から送信された画像データを受信する受信手段と、を備える。
　本発明の一態様に係る画像データ収集方法は、画像データ収集装置が実行する画像データ収集方法であって、撮影装置が搭載される複数の移動体の位置情報を取得することと、前記複数の移動体について取得された位置情報、当該複数の移動体に搭載される前記撮影装置による撮影範囲を表す情報、および所定の物体の位置情報を移動体ごとに取得し、この取得された情報に基づいて、収集対象である画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択することと、前記選択された移動体に、当該移動体に搭載される撮影装置による撮影結果である画像データの収集指示を送信することと、前記収集指示を受けた前記移動体から送信された画像データを受信することと、を備える。
　本発明によれば、画像データの通信に係る遅延を低減し、当該画像を取り扱うアプリケーションの動作を円滑にすることができる。
図１は、本発明の第１の実施形態に係る画像データ収集システムの全体構成の一例を示す図である。 図２は、本発明の第１の実施形態に係る画像データ収集システムのサーバのハードウェア構成の一例を示すブロック図である。 図３は、本発明の第１の実施形態に係る画像データ収集システムのサーバのソフトウェア構成の一例を示すブロック図である。 図４は、本発明の第１の実施形態に係る画像データ収集システムの車載器のハードウェア構成の一例を示すブロック図である。 図５は、本発明の第１の実施形態に係る画像データ収集システムの車載器のソフトウェア構成の一例を示すブロック図である。 図６は、本発明の第１の実施形態に係る画像データ収集システムが障害物のモニタリングに適用された例を示す図である。 図７Ａは、障害物の定義と分類の一例を表形式で示す図である。 図７Ｂは、障害物の定義と分類の一例を表形式で示す図である。 図７Ｃは、障害物の定義と分類の一例を表形式で示す図である。 図８は、車載カメラの撮影範囲に基づいた車両選択の一例を説明する図である。 図９は、本発明の第１の実施形態に係る画像データ収集システムが障害物のモニタリングに適用されたときの処理動作の一例を示すフローチャートである。 図１０は、カメラによる撮影範囲の算出の一例を説明する図である。 図１１は、静的地図の生成の一例を説明する図である。 図１２は、収集された車載カメラ画像の一例を示す図である。 図１３は、車載カメラの撮影範囲に基づいた車両選択の一例を説明する図である。 図１４は、本発明の第１の実施形態に係る画像データ収集システムが静的地図の作成に適用されたときの処理動作の一例を示すフローチャートである。 図１５は、本発明の第２の実施形態に係る画像データ収集システムによる車両選択の一例を示す図である。 図１６は、本発明の第２の実施形態に係る画像データ収集システムが障害物のモニタリングに適用されたときの処理動作の一例を示すフローチャートである。 図１７は、本発明の第３の実施形態に係る画像データ収集システムによる車両選択の一例を説明する図である。 図１８は、本発明の第３の実施形態に係る画像データ収集システムによる優先度のスコアの算出について説明する図である。 図１９は、撮影範囲の画角の類似度による優先度のスコアリングの第１の状態を示す図である。 図２０は、撮影範囲の画角の類似度による優先度のスコアリングの第２の状態を示す図である。 図２１は、撮影範囲の画角の類似度による優先度のスコアリングの第３の状態を示す図である。 図２２は、撮影範囲の画角の類似度による優先度のスコアリングの第４の状態を示す図である。 図２３は、撮影範囲の画角の類似度による優先度のスコアリングの第５の状態を示す図である。 図２４は、撮影範囲の画角の類似度による優先度のスコアリングの第６の状態を示す図である。 図２５は、撮影範囲の画角の類似度による優先度のスコアリングの第７の状態を示す図である。 図２６は、本発明の第３の実施形態に係る画像データ収集システムが障害物のモニタリングに適用されたときの処理動作の一例を示すフローチャートである。 図２７は、本発明の第３の実施形態に係る画像データ収集システムが静的地図の作成に適用されたときの処理動作の一例を示すフローチャートである。 図２８は、本発明の第４の実施形態に係る画像データ収集システムによる画像データ量の削減の一例を説明する図である。 図２９は、本発明の第４の実施形態に係る画像データ収集システムのサーバのソフトウェア構成の一例を示すブロック図である。 図３０は、本発明の第４の実施形態に係る画像データ収集システムの車載器のソフトウェア構成の一例を示すブロック図である。 図３１は、本発明の第４の実施形態に係る画像データ収集システムが静的地図の作成に適用されたときの処理動作の一例を示すフローチャートである。
　以下、図面を参照しながら、この発明に係わる一実施形態を説明する。　
　（第１の実施形態）
　（構成）
　（１）システム
　図１は、本発明の第１の実施形態に係る画像データ収集システムの全体構成の一例を示す図である。　
　このシステムは、サーバ１と、移動体６に搭載された通信機能を有する車載器６０との間で、通信ネットワークＮＷであるインターネットを介して通信可能であるシステムである。サーバ１は、例えばＷｅｂ上またはクラウド（Cloud）上に備えられるクラウドサーバである。ここでは、サーバ１は、画像データ収集装置として機能する。なお、図１では簡単のためにサーバ１が１つの移動体６と通信可能である例が示されるが、サーバ１は、複数の移動体６との間で通信可能である。また、図１では簡単のためにサーバ１の数が１台である例が示されるが、この数は複数であってもよい。
　また、サーバ１は、アクセスネットワークを介して移動体６との間で通信可能であるエッジサーバであってもよい。エッジサーバは、小規模データセンターまたは基地局などに設置されるものである。また、サーバ１は、クラウドサーバとエッジサーバとの組み合わせであってもよい。
　ネットワークＮＷは、例えば中継網と、この中継網に対しアクセスするための複数のアクセス網とから構成される。中継網としては、一般的なインターネットのような公衆網、または限られた機器などからのみアクセスできるよう制御された閉域網が用いられる。アクセス網としては、例えば、無線ＬＡＮ（Local Area Network）、携帯電話網、有線電話網等が用いられる。
　図１では、移動体６の一例として自動車が示される。さらに、移動体６に搭載された車載器６０にはカメラＣＭとセンサＳＳとが付設される。図１では、車載器６０に付設されるカメラＣＭの数とセンサＳＳの数が１つずつである例が示されるが、この数は複数でもよい。なお、カメラＣＭおよびセンサＳＳは車載器６０に内蔵されたデバイスであってもよい。また、カメラＣＭとセンサＳＳとがあわせてセンシングデバイスと称されてもよい。
　カメラＣＭは、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の固体撮像デバイスが用いられ、移動体６の進行方向など、任意の方向の道路領域が撮像範囲に含まれるように、設置場所、向きおよび角度が設定される。カメラＣＭは、カメラ画像データを取得し、この取得したデータを車載器６０へ出力する。カメラ画像データには、カメラ識別情報（カメラＩＤ（識別情報））、撮影日時を示す情報が含まれる。
　なお、カメラＣＭは、画像データ収集処理のために専用に設けられるものであってもよい。ただし、ドライブレコーダ（Drive recorder）のカメラ、又はその他の目的で搭載されている車載カメラ等、同等のデータを得ることができるものであれば、どのようなカメラでもカメラＣＭとして利用可能である。例えば、移動体６が二輪車又は自転車である場合には、ドライバが身に着けるヘルメットに設けられたカメラがカメラＣＭとして使用されてもよい。また、移動体６の同乗者が所持するスマートフォン（Smart phone）又はタブレット（Tablet）端末等の携帯端末に設けられたカメラがカメラＣＭとして使用されてもよい。さらに、カメラＣＭは赤外線カメラであってもよい。また、カメラＣＭによって取得されるデータは、動画像（映像）データでもよく、一定の時間間隔で撮像される静止画像データでもよい。
　センサＳＳは、（１）LiDAR（Light Detecting And Ranging）などの距離・方向センサ、（２）ＧＰＳ（Global Positioning System）を利用して自車両の位置情報（緯度経度）を算出する位置センサ（以下、ＧＰＳセンサと称することがある）、（３）レーダ、（４）および速度センサを含み得る。センサＳＳは、画像データ収集処理のために専用に設けられるものであってもよいし、ＣＡＮ（Controller Area Network）など、移動体６の動作制御またはログデータ収集のために通常設けられるセンサであってもよい。またセンサＳＳは、スマートフォンのようなモバイル端末であってもよい。
　位置センサは、複数のＧＰＳ衛星から送信されるＧＰＳ信号を受信して測距演算を行なうことにより移動体６の緯度経度を算出するもので、この算出された緯度経度を含むＧＰＳデータを車載器６０へ出力する。ＧＰＳデータは、位置情報に加えて、ＧＰＳを用いた位置計測の確からしさを表す情報も含むことができる。ＧＰＳを用いた位置計測の確からしさは、例えば、ＧＰＳ衛星の配置状況に応じて決定される。なお、位置情報の取得は、ＧＰＳ衛星からの信号による方法に限定されるものではなく、同等の機能が発揮されるのであれば、無線基地局またはＷｉＦｉアクセスポイントの位置情報を利用するなど、他の方法であってもよい。
　速度センサは、例えば車輪速センサであり、ドライブシャフトをはじめとする回転部に設置され、回転部の回転速度に基づいて移動体６の速度を計測する。速度センサは、計測した速度データを車載器６０へ出力する。
　車載器６０は、例えば、自動車のダッシュボード上に取り付けられる無線装置である。車載器６０は、カメラＣＭとセンサＳＳから種々のデータを受け取って、この受け取ったデータを、日時情報、および車載器６０（またはそれに挿入されたＥＴＣ（Electronic Toll Collection system）カード等）の識別情報とともに、ネットワークＮＷを介してサーバ１に送信することができる。なお、車載器６０は必須の構成ではなく、カメラＣＭおよびセンサＳＳがサーバ１にデータを直接送信するように構成されてもよい。また、カメラＣＭおよびセンサＳＳは別個のデバイスである必要はなく、これらが１つのデバイスに組み込まれることができ、車載器に一体化されることもできる。
　サーバ１は、例えば、画像データ収集センターに設けられたサーバ装置であり、対象とする領域内の画像を収集する処理を行なう。　
　サーバ１は、移動体６によって収集された、移動体データ（以下、「走行データ」と言う。）を、ネットワークＮＷを介して受信する。移動体データは、カメラ映像データ（画像データ）、ＧＰＳデータおよび速度データを含むサーバ１は、この受信したデータをもとに、例えば定期的に、またはオペレータ等の要求に応じて、移動体６にて撮影された画像データを収集する。
　また、サーバ１は、収集された画像データを外部機器に出力することができる。例えば、サーバ１は、収集された画像データを移動体６の運転者に通知するために、この移動体６に搭載された車載器６０に送信し、この車載器６０の表示部に表示させることができ、または、収集された画像データを画像データ収集センターの制御下にある道路情報表示装置（図示せず）等に送信して表示させることもできる。
　サーバ１は、例えば、車載器６０から定期的にまたは任意のタイミングで送信される走行データを直接受信してもよいし、車載器６０にアクセスすることによって、この車載器６０から必要なデータを取得してもよい。
　あるいは、サーバ１は、車載器６０からデータベースサーバ（図示せず）等に一旦送信されて蓄積されたデータに任意のタイミングでアクセスすることによって走行データを取得してもよいし、外部媒体に保存された走行データを後述される入力デバイス２を介して取得してもよい。
　なお、移動体６として例示された自動車は、特定の自動車に限定されず、様々な個人、車種、メーカーに係る自動車であってよい。以下では、一例として移動体６が車両であるとして説明するが、移動体６には、自動車、二輪車、自転車、パーソナルモビリティ、馬車等の家畜が牽引する車両など、道路の利用に対する課金対象となり得る、あらゆる移動体が含まれてよく、さらには車両に限定されず、歩行者であってもよい。したがって、図１に示された車載器は一例にすぎず、スマートフォンなどの情報処理端末に置き換えられてもよい。
　（２）サーバ
　（２－１）ハードウェア構成
　図２は、本発明の第１の実施形態に係る画像データ収集システムのサーバ１のハードウェア構成の一例を示すブロック図である。　
　サーバ１は、例えばサーバコンピュータ（Server computer）またはパーソナルコンピュータ（Personal computer）により構成され、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサ（Hardware processor）１１Ａを有する。そして、サーバ１では、このハードウェアプロセッサ１１Ａに対し、プログラムメモリ１１Ｂ、データメモリ（Data memory）１２、入出力インタフェース１３、および通信インタフェース１４が、バス（Bus）２０を介して接続される。
　通信インタフェース１４は、例えば１つ以上の有線または無線の通信インタフェースを含み、移動体６に搭載された車載器６０を含む外部機器との間で情報の送受信を可能にする。有線インタフェースとしては、例えば有線ＬＡＮが使用される。また、無線インタフェースとしては、例えば無線ＬＡＮ、又はＢｌｕｅｔｏｏｔｈ（登録商標）などの小電力無線データ通信規格が採用されたインタフェースが使用される。
　入出力インタフェース１３には、サーバ１に付設される入力デバイス２および出力デバイス３が接続される。入力デバイス２は、キーボード、タッチパネル、タッチパッド、マウス等である。出力デバイス３は、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示デバイス、および音声を出力するスピーカを含み得る。入出力インタフェース１３は、入力デバイス２を介してオペレータにより入力された操作データを取り込む処理、および出力データを出力デバイス３へ出力して表示させる処理を行なう。なお、入力デバイス２および出力デバイス３はサーバ１に内蔵されたデバイスであってもよく、ネットワークＮＷを介して通信可能な他の情報端末の入力デバイスおよび出力デバイスであってもよい。
　プログラムメモリ１１Ｂは、非一時的な有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとが組み合わせて使用されたものである。このプログラムメモリ１１Ｂには、一実施形態に係る各種制御処理が実行されるために必要なプログラムが格納される。
　データメモリ１２は、有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとが組み合わせられて使用されたものである。このデータメモリ１２は、データ収集処理が行なわれる過程で取得および作成された各種データが格納されるために用いられる。
　（２－２）ソフトウェア構成
　図３は、本発明の第１の実施形態に係る画像データ収集システムのサーバ１のソフトウェア構成の一例を示すブロック図である。　
　サーバ１は、制御ユニット１１と、データメモリ１２と、入出力インタフェース１３と、通信インタフェース１４とが備えられるデータ処理装置として構成できる。
　通信インタフェース１４は、制御ユニット１１による制御の下、ネットワークＮＷを介して車載器６０との間でデータの送受信を行なう。通信プロトコルはネットワークＮＷで規定されるプロトコルが使用される。
　データメモリ１２の記憶領域には、センサデータ（Sensor data）記憶部１２１、アプリケーション用データ記憶部１２２、および設定情報記憶部１２３が設けられる。　
　ただし、上記記憶部１２１～１２３は必須の構成ではなく、例えば、ＵＳＢ（Universal Serial Bus）メモリなどの外付け記憶媒体、又はクラウドに配置されたデータベースサーバ（Database server）等の記憶装置に設けられたものであってもよい。
　センサデータ記憶部１２１は、車載器６０内のセンサＳＳから収集されたセンサデータが格納されるために使用される。このセンサデータは、センサデータ収集元の車載器６０が搭載される移動体６のＩＤ、位置情報、走行速度、進行方向、および時刻情報などである。センサデータは、移動体６のＩＤに紐づけられる、移動体６に搭載されるセンサＳＳの種類、機種名、数、スペックなどを含み得る。
　アプリケーション用データ記憶部１２２は、車載器６０から収集された、映像データなどが含まれるアプリケーション用データが格納されるために使用される。アプリケーション用データは、画像データ収集元の車載器６０が搭載される移動体６のＩＤ、位置情報、走行速度、進行方向、および時刻情報、カメラＣＭの種類、機種名、数、スペック情報を含み得る。このスペック情報は、（１）カメラＣＭの画角、（２）撮影対象物を撮影可能な最大距離（以下、撮影可能距離）、（３）解像度、（４）フレームレート（Frame Rate）などを含み得る。　
　設定情報記憶部１２３は、画像データ収集に係る設定情報が格納されるために使用される。
　制御ユニット１１は、上記ハードウェアプロセッサ１１Ａと、プログラムメモリ１１Ｂとから構成され、ソフトウェアによる処理機能部として、設定処理部１１１、センサデータ受信処理部１１２、データ収集条件判定部１１３、収集指示送信処理部１１４、およびアプリケーション用データ受信処理部１１５を有する。
　これらの各部における処理機能部は、いずれもプログラムメモリ１１Ｂに格納されたプログラムを、上記ハードウェアプロセッサ１１Ａに実行させることにより実現される。制御ユニット１１は、また、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などの集積回路を含む、他の多様な形式で実現されてもよい。なお、これらの処理機能は、プログラムメモリ１１Ｂに格納されたプログラムが用いられることで実現されるのではなく、通信ネットワークを通して提供されるプログラムが用いられることで実現されてもよい。
　設定処理部１１１は、システム管理者による操作により入力された、画像データ収集処理の条件を表す情報（アルゴリズムと閾値等）を、例えばシステム管理者により使用される管理用端末から入出力インタフェース１３または通信インタフェース１４を介して受け取り、この受け取った情報を設定情報記憶部１２３に格納する処理を行なう。
　センサデータ受信処理部１１２は、車載器６０内のセンサＳＳから送られたセンサデータを通信インタフェース１４を介して受信する処理を行ない、このセンサデータをセンサデータ記憶部１２１に格納する。
　データ収集条件判定部１１３は、移動体撮影範囲算出部１１３Ａおよび移動体選択部１１３Ｂを有する。移動体撮影範囲算出部１１３Ａは、センサデータ記憶部１２１に格納されるセンサデータの収集元であるセンサＳＳが搭載された移動体６に搭載されたカメラＣＭによる撮影範囲を判定する。
　この撮影範囲は、（１）上記センサデータで示される、当該センサデータの収集元であるセンサＳＳが搭載された移動体６の位置情報、（２）上記搭載されるカメラＣＭの画角、および（３）撮影対象物に係る撮影可能距離、に基づいて算出されることで判定されることができる。
　移動体選択部１１３Ｂは、移動体撮影範囲算出部１１３Ａにより算出された撮影可能距離を用いて、適切な画像データ収集先である、カメラＣＭが搭載される移動体６を選択し、この移動体６に係る画像データ収集指示内容を出力する。この画像データ収集指示内容は、選択された移動体６に固有のＩＤ（識別情報）、この移動体６から収集されるセンサデータの種類、形式、収集対象のカメラ画像データの撮影時刻などを含み得る。適切な画像データ収集先は、収集された画像データが利用されるアプリケーションの種別により異なる。
　収集指示送信処理部１１４は、移動体選択部１１３Ｂにより選択された移動体６内の車載器６０に対し、この車載器６０に付設されるカメラＣＭにより撮影される画像データの収集指示を通信インタフェース１４を介して送信する処理を行なう。
　アプリケーション用データ受信処理部１１５は、収集指示送信処理部１１４による収集指示先である車載器６０に付設されるカメラＣＭにより撮影されて送信された画像データを車載器６０の識別情報、撮影時刻などと紐づけて通信インタフェース１４を介して受信する処理を行なう。アプリケーション用データ受信処理部１１５は、この受信したデータをアプリケーション用データとしてアプリケーション用データ記憶部１２２に格納する処理を行なう。
　（３）車載器
　（３－１）ハードウェア構成
　図４は、本発明の第１の実施形態に係る画像データ収集システムの車載器６０のハードウェア構成の一例を示すブロック図である。　
　車載器６０は、例えば小型コンピュータにより構成され、ＣＰＵ等のハードウェアプロセッサ６１Ａを有する。そして、車載器６０では、このハードウェアプロセッサ６１Ａに対し、プログラムメモリ６１Ｂ、データメモリ６２、入出力インタフェース６３、および通信インタフェース６４が、バス７０を介して接続される。
　通信インタフェース６４は、例えば１つ以上の有線または無線の通信インタフェースを含み、（１）サーバ１との間、および（２）他の移動体６に搭載された他の車載器６０を含む外部機器、との間で情報の送受信を可能にする。
　入出力インタフェース６３には、車載器６０に付設されるカメラＣＭおよびセンサＳＳが接続される。
　プログラムメモリ６１Ｂは、非一時的な有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ等の不揮発性メモリとが組み合わせて使用されたものである。このプログラムメモリ６１Ｂには、一実施形態に係る各種制御処理が実行されるために必要なプログラムが格納される。
　データメモリ６２は、有形のコンピュータ可読記憶媒体として、例えば、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ等の揮発性メモリとが組み合わせて使用されたものである。このデータメモリ６２は、データ収集処理が行なわれる過程で取得および作成された各種データが格納されるために用いられる。
　（３－２）ソフトウェア構成
　図５は、本発明の第１の実施形態に係る画像データ収集システムの車載器６０のソフトウェア構成を示すブロック図である。　
　車載器６０は、移動体６に搭載された小型コンピュータなどからなり、制御ユニット６１と、データメモリ６２と、入出力インタフェース６３と、通信インタフェース６４とを備える。
　入出力インタフェース６３は、上記カメラＣＭから出力された映像データ、およびｊ台のセンサであるセンサＳＳ１～ＳＳｊから出力されたセンサデータを受信する機能を有する。　
　通信インタフェース６４は、制御ユニット６１による制御の下、ネットワークＮＷを介して（１）サーバ１との間、および（２）他の移動体６に搭載された他の車載器６０を含む外部機器、との間でデータの送受信を行なう。
　データメモリ６２の記憶領域には、カメラ映像記憶部６２１、センサデータ記憶部６２２、および設定情報記憶部６２３が設けられる。　
　カメラ映像記憶部６２１は、上記カメラＣＭから収集された映像データが格納されるために使用される。センサデータ記憶部６２２は、上記映像データの撮影時に上記センサＳＳ１～ＳＳｊから収集されたセンサデータが格納されるために使用される。カメラ映像記憶部６２１またはセンサデータ記憶部６２２には、映像データと、この映像データの撮影時にセンサＳＳ１～ＳＳｊから収集されたセンサデータとの関連を示す関連情報が格納される。以下では、この関連情報はセンサデータ記憶部６２２に格納されるとする。設定情報記憶部６２３は、後述する画像データ収集処理の条件を示す情報が格納さるために使用される。
　ただし、上記記憶部６２１～６２３は必須の構成ではなく、例えば、ＵＳＢメモリなどの外付け記憶媒体、又はクラウドに配置されたデータベースサーバ等の記憶装置に設けられたものであってもよい。
　制御ユニット６１は、上記ハードウェアプロセッサ６１Ａと、プログラムメモリ６１Ｂとから構成され、ソフトウェアによる処理機能として、カメラ映像取得処理部６１１と、センサデータ取得処理部６１２と、設定処理部６１３と、センサデータ送信処理部６１４と、収集指示受信処理部６１５と、アプリケーション用データ取得処理部６１６と、アプリケーション用データ送信処理部６１７とを有する。
　これらの各部における処理機能部は、いずれもプログラムメモリ６１Ｂに格納されたプログラムを、上記ハードウェアプロセッサ６１Ａに実行させることにより実現される。制御ユニット６１は、また、ＡＳＩＣ、ＦＰＧＡなどの集積回路を含む、他の多様な形式で実現されてもよい。なお、これらの処理機能は、プログラムメモリ６１Ｂに格納されたプログラムが用いられて実現されるのではなく、通信ネットワークを通して提供されるプログラムが用いられて実現されてもよい。
　カメラ映像取得処理部６１１は、上記カメラＣＭから出力された映像データを入出力インタフェース６３を介して取得し、この取得された映像データをカメラ映像記憶部６２１に格納する処理を行なう。
　センサデータ取得処理部６１２は、上記センサＳＳ１～ＳＳｊから出力されたセンサデータを入出力インタフェース６３を介してそれぞれ取得し、この取得されたセンサデータをセンサデータ記憶部６２２に格納する処理を行なう。
　設定処理部６１３は、例えば車載器６０の取扱者による操作により入力された、画像データ収集処理の条件を表す情報（アルゴリズムと閾値等）を、車載器６０の取扱者により使用される管理用端末から、入出力インタフェース６３または通信インタフェース６４を介して受け取り、この情報を設定情報記憶部６２３に格納する処理を行なう。なお、入出力部ＩＯとしては、キーボードおよびマウスを有する入力デバイス、音声入力デバイス、独立したディスプレイ等が使用されることができる。　
　センサデータ送信処理部６１４は、センサデータ記憶部６２２に格納されたデータを通信インタフェース６４を介してサーバ１へ送信する処理を行なう。
　収集指示受信処理部６１５は、サーバ１から送信された、画像データの収集指示を、通信インタフェース６４を介して受信する処理を行なう。　
　アプリケーション用データ取得処理部６１６は、収集指示受信処理部６１５により受信された画像データ収集指示に応じた、（１）カメラ映像記憶部６２１に格納されたカメラ映像データ、および（２）センサデータ記憶部６２２に格納されたセンサデータのうち当該カメラ映像データの撮影時にセンサＳＳ１～ＳＳｊから収集されたセンサデータ、をそれぞれ取得する。なお、収集対象の画像データが、撮影元の車両の位置情報、撮影時刻の情報など、画像データを識別できる情報を含んでいれば、センサデータ記憶部６２２に格納されたセンサデータは取得対象でなくともよい。
　アプリケーション用データ送信処理部６１７は、アプリケーション用データ取得処理部６１６により取得されたデータを、アプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する処理を行なう。
　複数台のサーバが存在する場合、ネットワークの混雑度合い、および遅延の大きさなどをもとに、送信先として最適なサーバが選択されてもよい。
　（動作）
　次に、以上のように構成されたシステムの動作を説明する。　
　本実施形態では、画像データ収集システムは、移動体６とサーバ１との間のモバイル網における画像データに係る通信トラヒック（以下、画像トラヒックと称することがある）を削減することで、通信の遅延を低減し、アプリケーションの動作を円滑にする。　
　画像データ収集システムは、画像トラヒックを削減しつつも、情報量をなるべく減らさずに、アプリケーションに必要なデータを収集する。
　アプリケーションの例として、道路上の障害物をモニタリングするアプリケーションと、静的地図を生成するアプリケーションとが挙げられる。また、画像データ収集システムのアプリケーションは、上記に限られない。
　アプリケーションが、道路上の障害物をモニタリングするアプリケーションであるとき、画像データ収集システムは、画像データの収集の対象である移動体６を複数の移動体から絞り込む。　
　アプリケーションが、静的地図を生成するアプリケーションであるとき、画像データ収集システムは、収集される画像データのデータ量を削減する。
　障害物をモニタリングするアプリケーションについて説明する。このアプリケーションは、車載カメラにより撮影された画像データを取得して、道路上の障害物の移動、障害物の状態の変化などをモニタリングすることができる。　
　このモニタリングは、例えば、障害物が移動したことを、当該障害物の周辺を走行する車両に通知する安全運転支援技術、または車両と障害物との衝突を避けるように自動運転する自動運転技術などへの応用が期待されている。
　本実施形態では、事前に道路上の障害物が発見され、サーバ１上で障害物の種類および大まかな位置情報が管理されていると仮定する。　
　本実施形態では、障害物が映っている画像データが収集されること、および、障害物が様々な角度から捉えられた画像データが収集されることが望ましい。
　図６は、本発明の第１の実施形態に係る画像データ収集システムが障害物のモニタリングに適用された例を示す図である。　
　画像データ収集システムは、サーバ１上で車両のメタデータを管理し、このデータを用いて、障害物をモニタリングするアプリケーションの個体ごとに、画像データの収集先である車両を選定する。　
　メタデータは、例えば、車両の位置情報、車載センサの種類、スペック、およびこれらが用いられて算出されたデータである。
　図６に示された例では、道路上の一車線に車両ａが走行しており、この車両ａからみて、進行方向における、一定距離だけ前方の位置に障害物ｂが存在している。　
　また、同一車線において、車両ａと障害物ｂとの間に車両ｃが走行しており、車両ａの後方に車両ｄが走行している。車両ａ，ｃ，ｄの進行方向は同じである。また、車両ｄに搭載されるカメラのスペックは、車両ａ，ｃに搭載されるカメラのスペックと比較して低い。　
　また、車両ａ，ｃ，ｄが走行する車線に対向する反対車線における、車両ａの近傍に車両ｅが走行している。
　各々の車両はサーバｆにメタデータを送信する。サーバｆは、各車両からのメタデータに基づいて、障害物ｂをモニタリングするための画像データの送信の要求先として適切な車両を選択する。ここでは、搭載されるカメラの撮影範囲内に障害物ａが位置する車両ａが選択され、当該車両ａに画像データの送信指示ｇが送信される。
　一方で、車両ｃは、障害物ｂに近すぎる為、要求先として選択されない。車両ｄは、搭載されるカメラのスペックが上記のように低いため、要求先として選択されない。車両ｉは、搭載されるカメラの撮影範囲内に障害物ａが位置しないため、要求先として選択されない。　
　上記送信指示ｇにしたがって、車両ａは、車載カメラにより撮影された画像データｈなどをサーバｆに送信する。
　ここで障害物の定義と分類について説明する。図７Ａ、図７Ｂ、図７Ｃは、障害物の定義と分類の一例を表形式で示す図である。　
　ここでは、障害物とは、道路周辺に存在し、かつ運転または移動を妨げる、あらゆるものであると定義される。　
　図７Ａ、図７Ｂ、図７Ｃでは、停止の時間は５分以内であり、駐車の時間は５分を超えると仮定する。　
　障害物の行動パターンには、移動体が「常に停止・駐車」の状態は含まれないと仮定する。これは、障害物自体は静的であっても、人手の介入によって除去されることが殆どである為である。
　頻繁に移動する障害物が存在するため、行動パターンが「常に移動」であることも考えられるが、この障害物は、いずれは静止するので、上記の「常に移動」は、図７Ａ、図７Ｂ、図７Ｃ「一定時間静止し、その後移動」における「停止・駐車時間」が「数秒またはそれ以下」のパターンに包含されるとする。
　歩行者、バイクの運転者（以降、運転者等、と称されることがある）がスマートフォンを所持しているとき、または、自動車に搭載されるＧＰＳセンサの機能がＯＮであるときに、運転者等または自動車が位置情報を取得および発信できると仮定する。　
　一方で、運転者等がスマートフォンを所持していない、または自動車のエンジンがＯＦＦになり、ＧＰＳセンサの機能がＯＦＦであるときは、運転者等または自動車は、位置情報の取得および発信はできないと仮定する。
　障害物である、路上駐車される車両が動き出し、周辺の車両と同様の速度で走行したときは、当該車両は障害物ではなくなると仮定する。　
　救急車は障害物でないと仮定する。これは、救急車が他の車両の近くを走行する際には、この他の車両が停止するためである。
　次に、車載カメラの撮影範囲に基づいた車両選択について説明する。図８は、車載カメラの撮影範囲に基づいた車両選択の一例を説明する図である。
　アプリケーションが障害物のモニタリングに係るアプリケーションであるとき、サーバ１は、各車両の車載カメラの撮影範囲を推定し、この撮影範囲内に障害物が存在する場合、当該車両を画像データの収集先に選択し、この車両から画像データを収集する。
　図８に示されたａで囲まれた車両の撮影範囲ｂ内には障害物ｃが存在しないため、この車両は収集先には選択されない。　
　一方、図８で示されたｄで囲まれた複数の車両の撮影範囲ｅ内に障害物ｃが存在するため、これらの車両は収集先に選択される。
　車両を選択する際には、サーバ１は、車載カメラのスペックが高い車両を選択する等、車両の状態の情報を基に、画像データの収集先である車両を絞り込むことも可能である。それによって、障害物の周辺に位置する全車両から画像データを収集するよりも、通信トラヒック量を大幅に削減できる。
　図８に示された例では、車載カメラが前方カメラであることが想定されるが、これに限らず、後方カメラ、全方位カメラ、全天球カメラ、複眼カメラも車載カメラとして適用可能である。
　図８に示された例のように、撮影範囲内に障害物が存在するか否かに基づいて画像データの収集先が選択される場合、障害物が撮影範囲に含まれる画像データを収集できる可能性が高い。障害物が静的な物体であるときに、より有効である。
　図９は、本発明の第１の実施形態に係る画像データ収集システムが障害物のモニタリングに適用されたときの処理動作の一例を示すフローチャートである。　
　サーバ１のデータ収集条件判定部１１３の移動体撮影範囲算出部１１３Ａは、センサデータ記憶部１２１に常時格納される、（１）移動体６である各車両の位置情報、（２）位置情報に紐づいた、進行方向、カメラＣＭの画角、および（３）対象物の撮影可能距離、を取得し、この取得された結果を用いて、各車両に搭載されるカメラＣＭの撮影範囲を算出する（Ｓ１１）。
　このとき、移動体撮影範囲算出部１１３Ａは、車両の位置、速度、進行方向などを示す情報に基づいて、指定時間、例えば数秒または数ミリ秒が経過したときに当該移動体６が存在する位置を予測し、この予測された位置情報を用いて、上記指定時間が経過したときのカメラＣＭの撮影範囲を算出してもよい。
　次に、データ収集条件判定部１１３の移動体選択部１１３Ｂは、（１）Ｓ１１で算出された、各車両の撮影範囲、および（２）障害物の位置情報、を用いて、カメラＣＭの撮影範囲内に障害物が存在する車両を選定する（Ｓ１２）。障害物の位置情報は、データメモリ１２に予め格納されるとする。
　収集指示送信処理部１１４は、Ｓ１２で選定された車両に、データ収集の指示を通信インタフェース１４を介して送信する（Ｓ１３）。収集対象のデータには、上記選定された車両に搭載されるカメラＣＭにより撮影された画像データが含まれる。データ収集の指示の内容には、データ収集先である車両のＩＤ、収集されるデータの種類、形式、データ収集が実行される時間帯などが含まれる。
　なお、Ｓ１１で、上記のように、データ収集の指示の内容に含まれる、データ収集が実行される時間帯の情報が用いられることで、位置情報が取得された時刻の前後のデータ収集の指示とされることもできる。
　また、車載器６０のカメラ映像記憶部６２１に過去の画像データが蓄積されている場合には、撮影時刻として過去の時刻または時間帯がサーバ１の設定処理部１１１により設定されて設定情報記憶部１２３に格納されることで、過去における画像データを収集指示送信処理部１１４による収集指示の対象とすることもできる。
　データ収集指示先である車両に搭載される車載器６０の収集指示受信処理部６１５は、データ収集指示を通信インタフェース６４を介して受信する。アプリケーション用データ取得処理部６１６は、データ収集指示に応じて、カメラ映像記憶部６２１に格納されるカメラ画像データなどを取得する。アプリケーション用データ送信処理部６１７は、この取得されたデータをアプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する（Ｓ１４）。　
　指定された時間間隔、例えば１秒に１回などの時間間隔でＳ１１からＳ１４までの処理が繰り返される。
　次にＳ１１での撮影範囲の算出の具体例を説明する。図１０は、カメラによる撮影範囲の算出の一例を説明する図である。　
　各車両の位置情報、カメラＣＭの画角、および対象物の撮影可能距離の情報、進行方向はサーバ１により逐次取得されて、このサーバ上で保有されると仮定する。　
　ここでは、カメラＣＭの位置情報（x_c, y_c）、カメラＣＭの画角α、対象物の撮影可能距離lが用いられて、撮影範囲の端点(x_a, y_a),(x_b, y_b)が算出される手順を以下に示す。　
　（算出手順）
　車両の進行方向の単位ベクトルを
Figure JPOXMLDOC01-appb-M000001
とし、Ｘ軸方向の単位ベクトルを
Figure JPOXMLDOC01-appb-M000002
とし、両ベクトルが成す角度をθとする。そのとき、以下の式（１）からcosθが算出される。
Figure JPOXMLDOC01-appb-M000003
　端点(x_a, y_a)が算出される手順を説明する。Ｘ軸方向の単位ベクトルと半径rとでなす角度をβとすると、以下の式（２）が成り立つ。　
　cosβ＝cos(θ－α／２)（三角関数の加法定理より）
　　　＝cosθcosα＋sinθsinα　…式（２）
　カメラＣＭの位置である中心Ｃ(x_c, y_c)と、半径rの円の方程式x＝a＋r・cosθ，y＝b＋r・sinθとにより、以下の式（３），（４）が成り立つ。　
　x_a＝r・cosβ＋x_c　…式（３）
　y_a＝r・sinβ＋y_c　…式（４）
　上記の式（２）では、以下の式（５）が成り立つ。　
　β＝θ－２／α　…式（５）
　そして、上記の式（３），（４）のβに式（５）の右辺が代入されると、端点(x_a, y_a)は以下の式（６）で表される。　
　(x_a, y_a)＝((r・cos(θ－α／２)＋x_c, r・sin(θ－２／α)＋y_c)　…式（６）
　この式（６）に従って、移動体撮影範囲算出部１１３Ａは、端点(x_a, y_a)を算出できる。
　次に、端点(x_b, y_b)が算出される手順を説明する。　
　(x_b, y_b)は(x_c, y_c)を中心として(x_a, y_a)をα度回転させた座標点である。　
　回転移動の１次変換より、以下の式（７），（８）が成り立つ。　
　x_b＝cosα(x_a－x_c)－sinα(y_a－y_c)＋x_c　…式（７）
　y_b＝sinα(x_a－x_c)＋cosα(y_a－y_c)＋y_c　…式（８）
　上記式（７），（８）より、端点(x_b, y_b)は、以下の式（９）で表される。
　(x_b, y_b)＝
　((x_a－x_c)cosα－(y_a－y_c)sinα＋x_c, (x_a－x_c)sinα－(y_a－y_c)cosα＋y_c)　…式（９）
　上記の半径rが算出される手順を説明する。　
　三角形の定理より、以下の式（１０）が成り立つ。　
　r／l＝cos(α／２)　…式（１０）
　よって、半径rは、以下の式（１１）により算出される。　
　r＝l・cos(２／α)　…式（１１）
　上記に従って、移動体撮影範囲算出部１１３Ａは、撮影範囲を算出できる。
　次に、Ｓ１４でのデータ送信について補足する。　
　Ｓ１４のデータ送信では、前処理（Preprocessing）が行われてもよい。　
　画像データに対する前処理は、例えば圧縮符号化などが挙げられるが、間引き処理または障害物の部分のみをトリミングする処理などが前処理として行われてもよい。
　間引き処理としては、例えば、車載器６０のアプリケーション用データ取得処理部６１６は、カメラ映像記憶部６２１に格納される画像データにおいて、障害物の位置が変化している、すなわち障害物が移動しているとき画像データを選択する。アプリケーション用データ送信処理部６１７は、この選択された画像データをサーバ１に送信する。この結果、カメラ映像記憶部６２１に格納されるデータのうち、上記選択されなかった画像データはサーバ１に送信されない。これにより、間引き処理が行われなかったときと比較して、サーバ１へ送信される画像データのデータ量が大幅に削減される。
　障害物の位置の変化を検出する方法は複数の方法が挙げられ、例えば以下の方法が挙げられる。　
　例えば、アプリケーション用データ取得処理部６１６は、車両内で障害物の位置を推定し、この推定した位置とサーバ１から予め取得した障害物の位置情報とを比較する。
　この、障害物の位置を推定方法も複数の方法が挙げられる。例えば、（１）ＧＰＳセンサで取得された位置情報、（２）画像データから取得された、画像上の障害物の位置、および（３）レーダから取得された障害物との距離と、を用いて、公知の方式、例えば「T. Vincenty, “Direct and Inverse Solutions of Geodesics on the Ellipsoid with application of nested equations,” Survey Review, vol. 23, no. 176, pp. 88-93, 1975.
」により、障害物の位置の推定値を算出する。
　この算出された値と、サーバ１から予め取得された、障害物の位置情報とを比較して、差分が一定値以上である場合、障害物の位置の明らかな変化が生じている、すなわち障害物が移動したと判定する。　
　障害物の位置は、例えば、画像データのオブジェクト検出の結果とカメラのスペック情報から推定されてもよいし、LiDARにより得られた点群データと画像データのオブジェクト検出の結果とが照合されることで推定されてもよい。
　第１の実施形態では、図７Ａ、図７Ｂ、図７Ｃに示された行動パターンにおける「停止時間」が「数十分」、「数時間」、「数日以上」に係る障害物がカメラＣＭの撮影範囲に含まれる可能性が高く、撮影範囲の算出において有効である。
　この可能性への影響が大きいパターンの例として、障害物が静止する時間が長いほど、撮影範囲の算出に有効である。つまり、上記の行動パターンが「一定時間静止し、その後移動」の「静止時間」が長いほど有効である。
　その他に、上記の可能性への影響があるものの例として、事前に得られる、障害物の位置情報の精度が正確であるほど、撮影範囲の算出に有効である。つまり図７Ａ、図７Ｂ、図７Ｃに示された障害物の種別が「位置情報を自ら取得、提供するもの」、「位置情報を自ら取得できるが、提供しないもの」、「位置情報を自ら取得、提供できないもの」の順に撮影範囲の算出に係る有効性が高い。
　次に、静的地図を生成するアプリケーションについて説明する。このアプリケーションは、各車両からの車載カメラ画像で示される路面画像データを加工して、これらの画像をつなぎ合わせることで、サーバ１上で路面の状況を静的地図として再現することができる。
　この静的地図を用いて、路面の状況、例えば路面のくぼみ、ひび割れなどの把握、白線又は歩道の車線が変更されたときの把握に有効である。　
　例えば、路面の状態が悪い場合に、ドライバへの警告を出力する安全運転支援技術、または、路面の状態が悪い場合に走行速度を落とすように自動運転する自動運転技術などへの応用が期待されている。
　収集される車載カメラ画像は、この画像に映る路面に遮蔽物などが無く、可能か限り広範囲の路面が画像に映っていることが望ましい。また、画像上部に表れることがある風景は路面の状況などの把握などのための情報としては不要である。
　図１１は、静的地図の生成の一例を説明する図である。　
　図１１に示されるａは、各車両から収集された車載カメラ画像の一例を示し、図１１に示されるｂは、生成された静的地図の一例を示す。この静的地図では、例えば路面のくぼみ、および、ひび割れなどが示されることがある。
　図１２は、収集された車載カメラ画像の一例を示す図である。　
　図１２に示されるａは、望ましくない車載カメラ画像の一例である。この画像では路面上の遮蔽物が比較的多く、画像に写っている路面の範囲が比較的狭いので、静的地図を構成する画像としては適していない。
　図１２に示されるｂは、望ましい車載カメラ画像の一例である。この画像では、路面上の遮蔽物が比較的少なく、当該画像に写っている路面の範囲が比較的広いので、静的地図を構成する画像として適している。
　次に、車載カメラの撮影範囲に基づいた車両選択について説明する。図１３は、車載カメラの撮影範囲に基づいた車両選択の一例を説明する図である。　
　アプリケーションが静的地図の生成に係るアプリケーションであるとき、ある車両で撮影される車載カメラ画像データにおいて、遮蔽物、例えば他の車両などが存在しないとき、この画像の撮影元の車両を、静的地図を構成する画像データの収集先として特定し、この車両で撮影された画像が静的地図を構成する画像として収集される。
　以下では、車載カメラ画像データにおいて、遮蔽物、例えば他の車両などが存在しないとき、この画像の撮影元の車両が特定される例を説明するが、これに限らず、例えば車載カメラ画像データに写っている遮蔽物の数が所定の条件を満たして少ない画像の撮影元の車両が上記収集先として特定されてもよいし、車載カメラ画像データにおける遮蔽物の占有範囲が所定の条件を満たして少ない画像の撮影元の車両が上記収集先として特定されてもよい。
　図１３に示されたａで囲まれた車両からの撮影範囲ｂ内には遮蔽物が存在しないため、この車両は、静的地図を構成する画像データの収集先に選択される。　
　一方、図１３に示されたａで囲まれない車両からの撮影範囲には、遮蔽物が存在するため、これらの車両は、静的地図を構成する画像データの収集先に選択されない。
　静的地図を構成する画像データの収集先である車両が選択される際には、サーバ１は、車載カメラのスペックが高い車両を選択する等、車両の状態の情報を基に、画像データの収集先である車両をさらに絞り込むことも可能である。それによって、遮蔽物の周辺に位置する全車両から画像データを収集するよりも、通信トラヒック量を大幅に削減できる。
　図１３に示された例では、車載カメラが前方カメラであることが想定されるが、これに限らず、後方カメラ、全方位カメラ、全天球カメラ、複眼カメラも車載カメラとして適用可能である。
　図１３に示された例のように、撮影範囲内に遮蔽物が存在するか否かに基づいて画像データの収集先が選択される場合、静的地図の生成に適した画像として、遮蔽物がなく路面診断しやすい画像を収集することができる。
　図１４は、本発明の第１の実施形態に係る画像データ収集システムが静的地図の作成に適用されたときの処理動作の一例を示すフローチャートである。ここでは遮蔽物は、画像データの撮影元の車両に対する、他の車両であると仮定するが、位置情報が把握できる物体であれば、遮蔽物となりうる他の物体でもよい。　
　まず、上記のＳ１１と同様に、サーバ１のデータ収集条件判定部１１３の移動体撮影範囲算出部１１３Ａは、各車両に搭載されるカメラＣＭの撮影範囲を算出する（Ｓ２１）。
　次に、データ収集条件判定部１１３の移動体選択部１１３Ｂは、（１）Ｓ２１で算出された各車両の撮影範囲、および（２）遮蔽物である他の車両の位置情報、を用いて、カメラＣＭの撮影範囲内に遮蔽物が存在しない車両を選定する（Ｓ２２）。　
　このとき、Ｓ２１で、Ｓ１１で述べた、予測された位置情報を用いて、遮蔽物の位置情報の予測情報がＳ２２で利用されてもよい。　
　Ｓ１３と同様に、収集指示送信処理部１１４は、Ｓ２２で選定された車両にデータ収集の指示を通信インタフェース１４を介して送信する（Ｓ２３）。
　次に、Ｓ１４と同様に、データ収集指示先である車両に搭載される車載器６０の収集指示受信処理部６１５は、データ収集指示を通信インタフェース６４を介して受信する。アプリケーション用データ取得処理部６１６は、収集指示に応じて、カメラ映像記憶部６２１に格納されるカメラ画像データなどを取得する。アプリケーション用データ送信処理部６１７は、この取得されたデータをアプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する（Ｓ２４）。　
　指定された時間間隔、例えば１秒に１回などの時間間隔でＳ２１からＳ２４までの処理が繰り返される。
　以上説明したように、本発明の第１の実施形態では、サーバは、各車両に搭載されるカメラの撮影範囲と位置情報などに基づいて、画像データの収集先として適した車両を選択し、この車両から画像データを収集する。よって、車載器とサーバとの画像データの通信に係るトラヒックを削減できるので、通信の遅延を低減することができる。
　加えて、トラヒックを削減しつつ、情報量をできるだけ維持した上で、アプリケーションに必要な画像データなどを収集できる。よって、アプリケーションに必要なデータを効率的に収集して、アプリケーションの動作を円滑にすることができる。
　（第２の実施形態）
　次に、第２の実施形態について説明する。以降の各実施形態において、第１の実施形態と同様の構成および動作の詳細な説明は省略する。この第２の実施形態に係る画像データ収集システムの構成は、第１の実施形態と同様である。
　ただし、第２の実施形態では、サーバ１の移動体選択部１１３Ｂは、投機的実行を用いることにより、画像データの収集先である車両を選択する。　
　投機的実行は、例えばネットワーク対戦ゲームにおける遅延削減に利用される。
　ネットワーク対戦ゲームでは、相手プレイヤーの操作内容が通信で受信されて、画面上の自分および相手のキャラクターの動きが描画される。この時、通信の遅延に加えて、描画処理の遅延も生じるため、遠隔地の相手プレイヤーと対戦したときは遅延が目立つ。そこで、相手プレイヤーが次の瞬間に行なう操作の全パターンを予測し、各パターンにおける予測結果に基づいて事前に相手プレイヤーの描画処理を行なうことで、画面表示の遅延を低減する。
　図１５は、本発明の第２の実施形態に係る画像データ収集システムによる車両選択の一例を示す図である。　
　アプリケーションが障害物をモニタリングするアプリケーションであるとき、サーバ１の移動体選択部１１３Ｂは、障害物の種類、現在位置、速度、進行方向などを示す情報に基づいて、障害物の未来位置を予測する。さらに、移動体選択部１１３Ｂは、障害物を撮影できる位置にいる可能性が高い車両を予測して、この車両を画像データの収集先として選択する。
　図１５に示されたａは障害物に該当する路上停止車両（以下、障害物車両ａ）である。図１５に示されたｂで囲まれる車両の車載カメラの撮影範囲ｃ内に、現在における障害物車両ａが入るので、上記ｂで囲まれる車両は画像データの収集先として選択される。
　加えて、所定時間後の未来において、図１５に示されたｄ１で囲まれる車両の車載カメラの撮影範囲ｅ１内には、同じく所定時間後の未来における障害物車両ａが入るため、上記ｄ１で囲まれる車両は画像データの収集先として選択される。
　同様に、同じ所定時間後の未来において、図１５に示されたｄ２で囲まれる車両の車載カメラの撮影範囲ｅ２内には、同じく所定時間後の未来における障害物車両ａが入るため、上記ｄ２で囲まれる車両は画像データの収集先として選択される。
　これにより、第２に実施形態では、第１の実施形態と比較して、障害物が映る画像データを収集できる可能性が高い。特に、障害物が移動する場合に有効である。
　図１６は、本発明の第２の実施形態に係る画像データ収集システムが障害物のモニタリングに適用されたときの処理動作の一例を示すフローチャートである。　
　第２の実施形態では、障害物の種類ごとに、当該障害物の全ての移動パターンがサーバ１のデータメモリ１２に事前に記憶されていると仮定する。
　例えば、障害物が路駐車両であれば、この車両は静止、前進または右折、左折、バックをする可能性があり、それぞれのパターンは、所定の時間経過後における障害物の現在位置からの移動方向および移動距離を示す情報を含み得る。
　サーバ１のデータ収集条件判定部１１３の移動体選択部１１３Ｂは、（１）予め取得された障害物の種類、位置情報と、（２）データメモリ１２に事前に格納された、障害物ごとの移動パターンと、を照合して、全ての障害物の予測位置を導出する（Ｓ３１）。
　移動体選択部１１３Ｂは、（１）Ｓ３１で導出された、対象障害物の全ての予測位置と、（２）各車両から常時収集されてデータメモリ１２に格納される、各車両の位置情報を用いて移動体撮影範囲算出部１１３Ａにより算出された撮影範囲と、を用いて、撮影範囲内に障害物が含まれる車両を画像データの収集先として選定する（Ｓ３２）。第１の実施形態と同様に、（他の車両も含んだ）車両の位置情報は予測された情報であってもよい。　
　Ｓ１３と同様に、収集指示送信処理部１１４は、Ｓ３２で選定された車両にデータ収集の指示を通信インタフェース１４を介して送信する（Ｓ３３）。
　Ｓ１４と同様に、データ収集指示先である車両に搭載される車載器６０の収集指示受信処理部６１５は、データ収集指示を通信インタフェース６４を介して受信する。アプリケーション用データ取得処理部６１６は、収集指示に応じて、カメラ映像記憶部６２１に格納されるカメラ画像データなどを取得する。アプリケーション用データ送信処理部６１７は、この取得されたデータをアプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する（Ｓ３４）。　
　指定された時間間隔、例えば１秒に１回などの時間間隔でＳ３１からＳ３４までの処理が繰り返される。
　第２の実施形態では、障害物の種類によって、障害物が撮影範囲に含まれる可能性が高く、車両選択において有効である。　
　この可能性への影響が大きいパターンの例として、障害物の静止時間が長いときよりも、障害物の移動の頻度が高い方が、無駄な画像データを収集する頻度が低いので、車両選択において有効である。つまり、図７Ａ、図７Ｂ、図７Ｃに示された、障害物の行動パターンが「一定時間静止し、その後移動」の「静止時間」が短いほど、車両選択において有効である。また、障害物の行動パターンが上記の「常に移動」に該当するときも同様である。
　上記の可能性への影響が中程度であるパターンの例として、障害物の移動が道路に沿わないときよりも、道路に沿う方が、無駄な画像データを収集する頻度が低いので、車両選択において有効である。つまり、図７Ａ、図７Ｂ、図７Ｃに示された、障害物の行動パターンが「道路に沿う」である方が車両選択において有効である。
　（第３の実施形態）
　次に、第３の実施形態について説明する。この第３の実施形態に係る画像データ収集システムの構成は、第１の実施形態と同様である。　
　ただし、第３の実施形態では、車両選択において、車載カメラの画角の類似度による優先度スコアリングが行なわれる。
　図１７は、本発明の第３の実施形態に係る画像データ収集システムによる車両選択の一例を説明する図である。　
　第３の実施形態では、例えば図１７に示される、車載カメラの扇形の撮影範囲ａ，ｂ，ｃ，ｄ，ｅ，ｆのそれぞれの面積を基本スコアとする。また、周辺車両などで遮蔽されて画像に写らない部分が分かる場合には、上記扇形の撮影範囲から、遮蔽された部分が取り去られた面積を基本スコアとする。
　そして各撮影範囲のうち、サーバ１により既に収集された画像である回収済み画像の撮影範囲と重複する部分は、さらなる収集の対象から除外されるようにする処理がなされる。　
　ただし、各撮影範囲における撮影角度の差異に基づく類似度の高低に応じて、上記除外の要件は緩和される。
　図１７にされる撮影範囲ａとｂの角度差は１８０度、つまり正反対に相当する角度であり、撮影範囲ａとｂの重複範囲内に存在する障害物の撮影結果の類似度は低い。　
　図１７にされる撮影範囲ｃとｄの角度差は９０度であり、撮影範囲ｃとｄの重複範囲内に存在する障害物の撮影結果の類似度は中程度である。　
　図１７にされる撮影範囲ｅとｆは、角度差が９０度より小さく、撮影範囲ｅとｆの重複範囲内に存在する障害物の撮影結果の類似度は高い。　
　第３の実施形態では、上記のうち類似度が低い撮影範囲に係る画像データは、収集の優先度が高い画像データである。また、類似度が高い撮影範囲に係る画像データは、収集の優先度が低い画像データである。
　次に、上記のスコアの定式化（時刻差あり）について説明する。優先度スコアリングに用いられるスコアは、例えば以下の式（１２），（１３），（１４），（１５）で表される。また、下記の時間経過、方位差、時刻差をパラメータとすることができれば、スコアの計算式は特に限られない。　
Figure JPOXMLDOC01-appb-M000004
　式（１２）の「Ｗ経過時間」は、新しい画像データを優先的に回収するための重みパラメータであり、時間経過に従って単調減少する関数である。　
　式（１２）の「Ｗ方位差」は、回収済みの画像データと未回収の画像データとの類似度を表現する重みパラメータであり、撮影範囲の方位差の増加に従って単調減少する関数である。　
　式（１２）の「Ｗ時刻差」は、回収済みデータとの類似度を表現する重みパラメータであり、撮影時刻の時刻差の増加に従って単調減少する関数である。
　式（１３）のτは、アプリケーションにより設定される有効期間である。式（１３）では、経過時間に応じてスコアが減算されることが示される。　
　式（１４）では、撮影方位角の差分がスコアの除外度に反映されることが示される。例えば、差分が０度であればなら除外度は１００％であり、差分が１８０度であれば除外度は０％である。　
　式（１５）では、アプリケーションにより設定された有効期間τに基づいて時刻差が撮影範囲の重複部分のスコア除外度に反映されることが示される。
　図１８は、本発明の第３の実施形態に係る画像データ収集システムによる優先度のスコアの算出について説明する図である。　
　図１８に示されるａは、回収前の画像データを撮影可能である移動体である回収前移動体について、式（１２）で示される撮影範囲の面積に対応する。　
　図１８に示されるｂは、式（１２）で示されるＷ経過時間に対応する。　
　図１８に示されるｃは、回収前移動体、および回収済みの画像データを得るカメラが搭載される１つ目の移動体について、式（１２）で示される、重複部分の面積に対応する。　
　図１８に示されるｄは、回収前移動体、および上記１つ目の移動体について、式（１２）で示されるＷ方位差に対応する。
　図１８に示されるｅは、回収前移動体、および上記１つ目の移動体について、式（１２）で示されるＷ時刻差に対応する。　
　図１８に示されるｆは、回収前移動体、および回収済みの画像データを得るカメラが搭載される２つ目の移動体について、式（１２）で示される、重複部分の面積に対応する。　
　図１８に示されるｇは、回収前移動体、および上記２つ目の移動体について、式（１２）で示されるＷ方位差に対応する。　
　図１８に示されるｈは、回収前移動体、および上記２つ目の移動体について、式（１２）で示されるＷ時刻差に対応する。
　次に、撮影範囲の画角の類似度による優先度スコアリングの一例について説明する。　
　車両が少ない時間帯では、撮影範囲の重複は生じにくい。　
　優先度スコアが同一である、回収前の画像データに係る撮影範囲の数が複数であるときは、回収対象である画像データに係る撮影範囲がランダムに選択される。　
　また、サーバおよび通信回線のキャパシティに応じて、回収される画像データの数が調整されてもよい。
　図１９は、撮影範囲の画角の類似度による優先度のスコアリングの第１の状態を示す図である。　
　図１９に示された例では、第１の車両に搭載されるカメラによる撮影範囲ａ、第２の車両に搭載されるカメラによる撮影範囲ｂ、および第３の車両に搭載されるカメラによる撮影範囲ｃとの間に重複する範囲はない。　
　この時点で、撮影範囲ａ，ｂ，ｃは、未回収の画像データに係る撮影範囲であり、各撮影範囲について算出された優先度スコアは最も高い１００であるとする。
　図２０は、撮影範囲の画角の類似度による優先度のスコアリングの第２の状態を示す図である。　
　図２０に示された例では、図１９に示された、未回収の画像データに係る撮影範囲ａ，ｂ，ｃについて算出された優先度スコアが同じ１００であるため、ランダムに撮影範囲ａが選択され、この撮影範囲に係る画像データが新たにサーバ１に回収されたことが示される。
　図２１は、撮影範囲の画角の類似度による優先度のスコアリングの第３の状態を示す図である。　
　図２１に示された例では、図２０に示された、未回収の画像データに係る撮影範囲ｂ，ｃについて算出された優先度スコアが同じ１００であり、ランダムに撮影範囲ｃが選択され、この撮影範囲に係る画像データが新たにサーバ１に回収されたことが示される。
　図２２は、撮影範囲の画角の類似度による優先度のスコアリングの第４の状態を示す図である。　
　図２２に示された例では、第１の車両の近傍に新たな第４の車両が位置し、第２の車両の近傍に新たな第５の車両が位置し、第３の車両の近傍に新たな第６の車両が位置することが示される。
　ここで、撮影範囲ａの一部分と、第４の車両に搭載されるカメラによる撮影範囲ｄの一部分とが重複し、撮影範囲ｂの一部分と、第５の車両に搭載されるカメラによる撮影範囲ｅの一部分とが重複し、撮影範囲ｃの一部分と、第６の車両に搭載されるカメラによる撮影範囲ｆの一部分とが重複していると仮定する。
　ここで、撮影範囲ｄについて算出された優先度スコアは９０であり、撮影範囲ｅについて算出された優先度スコアは１００であり、撮影範囲ｆについて算出された優先度スコアは５０であると仮定する。なお、撮影範囲ｂと撮影範囲ｅの間には、回収済み画像に係る撮影範囲がないため、撮影範囲ｅについて算出された優先度スコアは上記のように１００である。
　図２３は、撮影範囲の画角の類似度による優先度のスコアリングの第５の状態を示す図である。　
　図２３に示された例では、未回収の画像データに係る撮影範囲ｂ，ｄ，ｅ，ｆにおける優先度が最も高い撮影範囲ｂ，ｅのうち、ランダムに撮影範囲ｂが選択され、この撮影範囲に係る画像データが新たにサーバ１に回収されたことが示される。この回収後において、上記のように撮影範囲ｂと重複する撮影範囲ｅについて優先度スコアが改めて算出される。この優先度スコアは上記の１００から７０に変更されたと仮定する。
　図２４は、撮影範囲の画角の類似度による優先度のスコアリングの第６の状態を示す図である。　
　図２４に示された例では、未回収の画像データに係る撮影範囲ｄ，ｅ，ｆのうち優先度が最も高い撮影範囲ｄに係る画像データが新たにサーバ１に回収されたことが示される。
　図２５は、撮影範囲の画角の類似度による優先度のスコアリングの第７の状態を示す図である。　
　図２５に示された例では、未回収の画像データに係る撮影範囲ｅ，ｆのうち優先度が最も高い撮影範囲ｅに係る画像データが新たにサーバ１に回収されたことが示される。なお、残りの撮影範囲ｆに係る画像データは、この回収後にサーバ１に回収される。
　図２６は、本発明の第３の実施形態に係る画像データ収集システムが障害物のモニタリングに適用されたときの処理動作の一例を示すフローチャートである。　
　まず、上記のＳ１１と同様に、サーバ１のデータ収集条件判定部１１３の移動体撮影範囲算出部１１３Ａは、各車両に搭載されるカメラＣＭの撮影範囲を算出する（Ｓ４１）。
　次に、データ収集条件判定部１１３の移動体選択部１１３Ｂは、（１）Ｓ４１で算出された各車両の撮影範囲、および（２）障害物の位置情報、を用いて、カメラＣＭの撮影範囲内に障害物が存在する車両を選定する。障害物の位置情報は、データメモリ１２に予め格納されるとする。
　さらに、移動体選択部１１３Ｂは、ある車両から回収済みである画像データに係る撮影位置、撮影時刻、をアプリケーション用データ記憶部１２２から読み出して参照し、回収済みの画像データに係る撮影範囲との重複が少ない撮影範囲に係るカメラＣＭが搭載された車両を上記式（１２），（１３），（１４），（１５）を用いた優先度スコアにより選定する（Ｓ４２）。　
　Ｓ１３と同様に、収集指示送信処理部１１４は、Ｓ４２で選定された車両にデータ収集の指示を通信インタフェース１４を介して送信する（Ｓ４３）。
　Ｓ１４と同様に、データ収集指示先である車両に搭載される車載器６０の収集指示受信処理部６１５は、データ収集指示を通信インタフェース６４を介して受信する。アプリケーション用データ取得処理部６１６は、収集指示に応じて、カメラ映像記憶部６２１に格納されるカメラ画像データなどを取得する。アプリケーション用データ送信処理部６１７は、この取得されたデータをアプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する（Ｓ４４）。　
　指定された時間間隔、例えば１秒に１回などの時間間隔でＳ４１からＳ４４までの処理が繰り返される。
　第３の実施形態では、第１の実施形態と比較して、画像データの収集対象である車両により得られた画像データと、他車両により既に得られた画像データの重複、類似性を考慮し、回収済みの画像データとの類似度が高い画像データの収集に係る優先度を低くする。これにより、アプリケーションに有用な画像データを効率的に収集することができる。
　第１の実施形態と同様に、第３の実施形態では、図７Ａ、図７Ｂ、図７Ｃに示された行動パターンにおける「停止時間」が「数十分」、「数時間」、「数日以上」に係る障害物がカメラＣＭの撮影範囲に含まれる可能性が高く、撮影範囲の算出において有効である。
　図２７は、本発明の第３の実施形態に係る画像データ収集システムが静的地図の作成に適用されたときの処理動作の一例を示すフローチャートである。　
　まず、上記のＳ４１と同様に、サーバ１のデータ収集条件判定部１１３の移動体撮影範囲算出部１１３Ａは各車両に搭載されるカメラＣＭの撮影範囲を算出する（Ｓ５１）。
　次に、Ｓ２２と同様に、データ収集条件判定部１１３の移動体選択部１１３Ｂは、（１）Ｓ２１で算出された各車両の撮影範囲、および（２）他の車両の位置情報、を用いて、カメラＣＭの撮影範囲内に遮蔽物が存在しない車両を選定する。　
　そして、この選定された車両について、移動体選択部１１３Ｂは、（１）Ｓ４１で算出された各車両の撮影範囲、および（２）ある車両から回収済みである画像データに係る撮影位置、撮影時刻、をアプリケーション用データ記憶部１２２から読み出して参照し、回収済みの画像データに係る撮影範囲との重複が少ない撮影範囲に係るカメラＣＭが搭載された車両を上記式（１２），（１３），（１４），（１５）を用いた優先度スコアにより選定する（Ｓ５２）。　
　Ｓ４３と同様に、収集指示送信処理部１１４は、Ｓ５２で選定された車両にデータ収集の指示を通信インタフェース１４を介して送信する（Ｓ５３）。
　Ｓ４４と同様に、データ収集指示先である車両に搭載される車載器６０の収集指示受信処理部６１５は、データ収集指示を通信インタフェース６４を介して受信する。アプリケーション用データ取得処理部６１６は、収集指示に応じて、カメラ映像記憶部６２１に格納されるカメラ画像データなどを取得する。アプリケーション用データ送信処理部６１７は、この取得されたデータをアプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する（Ｓ５４）。　
　指定された時間間隔、例えば１秒に１回などの時間間隔でＳ５１からＳ５４までの処理が繰り返される。
　（第４の実施形態）
　次に、第４の実施形態について説明する。　
　図２８は、本発明の第４の実施形態に係る画像データ収集システムによる画像データ量の削減の一例を説明する図である。　
　この第４の実施形態では、車間距離を用いて、サーバ１により収集される画像データのデータ量を削減する。
　適用先のアプリケーションが静的地図を生成するアプリケーションである場合、図２８に示されるａで囲まれる範囲に位置する各車両について、データ収集対象の車両と、この車両に対する前方に位置する前方車両、またはデータ収集対象の車両に対する後方に位置する後方車両との車間距離に応じて、データ収集対象の車両から収集される画像のうち無駄な範囲がトリミングされる。
　車間距離が比較的短いときは、データ収集対象に車両に搭載されるカメラの撮影範囲に対し、上記前方または後方車両が占める割合が比較的高いため、図２８に示されるｂのように、上記トリミングの範囲は比較的大きい範囲に設定される。
　一方で、車間距離が比較的長いときは、データ収集対象に車両に搭載されるカメラの撮影範囲に対し、上記前方または後方車両が占める割合が比較的低いため、図２８に示されるｃのように上記のトリミングの範囲が比較的小さい範囲に設定される、または、図２８に示されるｄのように上記トリミングが行われないように設定される。　
　第４の実施形態では、遮蔽物などが含まれない、静的地図に適した路面画像を収集することを、低い処理コストにより可能とする。
　図２９は、本発明の第４の実施形態に係る画像データ収集システムのサーバ１のソフトウェア構成の一例を示すブロック図である。　
　図３に示された、第１の実施形態に係る画像データ収集システムのサーバ１のソフトウェア構成と比較して、第４の実施形態に係る画像データ収集システムのサーバ１の制御ユニット１１のデータ収集条件判定部１１３は、第１の実施形態で示された移動体撮影範囲算出部１１３Ａ、移動体選択部１１３Ｂに代えて、データ削減判別部１１３Ｃを有する。　
　このデータ削減判別部１１３Ｃは、車載器６０から受け取ったデータを用いて、この車載器６０から収集予定である画像データの無駄な範囲であるトリミング範囲を判別する。
　図３０は、本発明の第４の実施形態に係る画像データ収集システムの車載器６０のソフトウェア構成の一例を示すブロック図である。　
　図５に示された、第１の実施形態に係る画像データ収集システムの車載器６０のソフトウェア構成と比較して、第４の実施形態に係る画像データ収集システムの車載器６０の制御ユニット６１は、データ削減処理部６１８を有する。
　このデータ削減処理部６１８は、データ削減判別部１１３Ｃにより判別されたトリミング範囲が反映されたデータ収集指示に従って、アプリケーション用データ取得処理部６１６により取得された後にトリミングされた、つまり一部範囲が削除された画像データをアプリケーション用データとしてアプリケーション用データ送信処理部６１７に送る。
　図３１は、本発明の第４の実施形態に係る画像データ収集システムが静的地図の作成に適用されたときの処理動作の一例を示すフローチャートである。ここでは車間距離は、データ収集対象の車両と前方車両との車間距離であるとする。　
　サーバ１のデータ収集条件判定部１１３のデータ削減判別部１１３Ｃは、センサデータ記憶部１２１に常時格納される、各車両の位置情報を用いて、データ収集対象の車両と前方車両との車間距離を算出する（Ｓ６１）。　
　具体的には、上記位置情報を用いて、データ削減判別部１１３Ｃは、データ収集対象車両から指定範囲内、例えば半径２０メートル以内に位置する車両を選定する。その中でも、前方車両のうち、データ収集対象車両の進行方向に存在する最も近い車両を前方車両とする。
　データ削減判別部１１３Ｃは、前方車両の位置情報と、データ収集対象車両の位置情報とに基づいて、これらの車両の車間距離を推定する。また、データ収集対象車両に前方車両との車間距離を測定するセンサが搭載される場合、このデータ収集対象のデータがサーバ１により取得されてもよい。　
　サーバ１のデータメモリ１２には、各車両に搭載されるカメラＣＭの画角、機種名、および車間距離に応じた画像データのトリミング範囲が事前に格納されるとする。
　データ削減判別部１１３Ｃは、（１）上記格納される情報、（２）Ｓ６１で算出された車間距離、および（３）データ収集対象車両に搭載されるカメラＣＭの画角、機種名に基づいて、このカメラＣＭにより得られた画像データのトリミング範囲を導出する（Ｓ６２）。また、公知の手法、例えば「トヨタ中央研究所, “ビデオ画像による先行車両位置計測”, 
https://www.tytlabs.com/japanese/review/rev323pdf/323_0111tange.pdf,2015」、「李博, 張暁林, 佐藤誠, “車間距離計測のための車載単眼カメラを用いたピッチ角推定”, 
https://www.jstage.jst.go.jp/article/itej/69/4/69_J169/_article/-char/ja/,2015」などに基づいて、Ｓ６１で算出された車間距離を利用して、画像上に前方車両が写っている座標位置を求めて、トリミングする範囲が導出されてもよい。
　収集指示送信処理部１１４は、Ｓ６２でデータ削減判別部１１３Ｃにより導出されたトリミング範囲と、この導出に用いられた位置情報が得られたときの時刻を含むデータ収集指示を、通信インタフェース１４を介してデータ収集対象車両の車載器６０に送信する（Ｓ６３）。
　データ収集対象車両に搭載される車載器６０の収集指示受信処理部６１５は、データ収集指示を通信インタフェース６４を介して受信する。アプリケーション用データ取得処理部６１６は、データ収集指示で示される時刻に対応する画像データをカメラ映像記憶部６２１から取得する。
　この取得された画像データについて、データ削減処理部６１８は、データ収集指示で指定されたトリミング範囲に応じたトリミングを行なう。アプリケーション用データ送信処理部６１７は、このトリミングされた画像データをアプリケーション用データとして通信インタフェース６４を介してサーバ１に送信する（Ｓ６４）。　
　指定された時間間隔、例えば１秒に１回などの時間間隔でＳ６１からＳ６４までの処理が繰り返される。
　上記説明した、サーバ１の制御ユニット１１のデータ削減判別部１１３Ｃによる処理はデータ収集対象車両に搭載される車載器６０の制御ユニット６１内で実行されてもよい。このとき、データ収集車両に、前方車両との距離を測定できるセンサを搭載しておき、このセンサにより得られた車間距離がＳ６２などで用いられる。そして、この車間距離に応じたトリミング範囲が車載器６０のデータメモリ６２に格納された状態で、この格納されたトリミング範囲と、上記得られた車間距離とが照らし合わされることでトリミング範囲が導出される。　
　上記説明した各実施形態のソフトウェア構成は、１つのシステムに組み入れられて、制御ユニット１１などによる各処理が必要に応じて切り替えられて実行されてもよい。また、サーバ１と車載器６０との間の通信の遅延状況が考慮されて、例えば遅延が少ない順にデータ収集対象の車両が選択されてもよい。
　また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
　なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。
　　１…サーバ
　　２…入力デバイス
　　３…出力デバイス
　　６…移動体
　　１１，６１…制御ユニット
　　１１Ａ，６１Ａ…ハードウェアプロセッサ
　　１１Ｂ，６１Ｂ…プログラムメモリ
　　１２，６２…データメモリ
　　１３，６３…入出力インタフェース
　　１４，６４…通信インタフェース
　　２０，７０…バス
　　６０…車載器
　　１１１，６１３…設定処理部
　　１１２…センサデータ受信処理部
　　１１３…データ収集条件判定部
　　１１３Ａ…移動体撮影範囲算出部
　　１１３Ｂ…移動体選択部
　　１１３Ｃ…データ削減判別部
　　１１４…収集指示送信処理部
　　１１５…アプリケーション用データ受信処理部
　　１２１，６２２…センサデータ記憶部
　　１２２…アプリケーション用データ記憶部
　　１２３，６２３…設定情報記憶部
　　６１１…カメラ映像取得処理部
　　６１２…センサデータ取得処理部
　　６１４…センサデータ送信処理部
　　６１５…収集指示受信処理部
　　６１６…アプリケーション用データ取得処理部
　　６１７…アプリケーション用データ送信処理部
　　６１８…データ削減処理部
　　６２１…カメラ映像記憶部

Claims (8)

  1. 　撮影装置が搭載される複数の移動体の位置情報を取得する取得手段と、
    　前記複数の移動体について取得された位置情報、当該複数の移動体に搭載される前記撮影装置による撮影範囲を表す情報、および所定の物体の位置情報を移動体ごとに取得し、この取得された各情報に基づいて、収集対象である画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択する選択手段と、
    　前記選択された移動体に、当該移動体に搭載される前記撮影装置による撮影結果である画像データの収集指示を送信する送信手段と、
    　前記収集指示を受けた前記移動体から送信された画像データを受信手段と、
    　を備える、画像データ収集装置。
  2. 　前記選択手段は、
    　　前記取得された位置情報、前記複数の移動体に搭載される前記撮影装置による撮影範囲、および前記移動体の移動に係る障害物の位置情報を移動体ごとに取得し、この取得された情報に基づいて、前記撮影範囲内に前記障害物が存在する撮影結果としての画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択する、
    　請求項１に記載の画像データ収集装置。
  3. 　前記選択手段は、
    　　１つの前記移動体について取得された位置情報、当該移動体に搭載される前記撮影装置による撮影範囲、および前記移動体に係る遮蔽物の位置情報を移動体ごとに取得し、この取得された情報に基づいて、前記撮影範囲内に前記遮蔽物が存在しない撮影結果、又は前記撮影範囲内における前記遮蔽物の数または占有範囲が所定の条件を満たす少なさである撮影結果としての画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択する、
    　請求項１に記載の画像データ収集装置。
  4. 　現在から先のタイミングにおける前記障害物の位置情報を予測する予測手段をさらに備え、
    　前記選択手段は、
    　　前記取得された位置情報、前記複数の移動体に搭載される前記撮影装置による撮影範囲、および前記予測された前記障害物の位置情報に基づいて、前記撮影範囲内に前記障害物が存在する撮影結果として画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択する、
    　請求項２に記載の画像データ収集装置。
  5. 　前記選択手段は、
    　　前記複数の移動体から受信していない画像データに係る撮影範囲、および前記受信手段によりすでに受信した画像データに係る撮影範囲が重複するときに、前記すでに受信した画像データに係る撮影範囲との重複が少ない撮影範囲における撮影結果として画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択する、
    　請求項１に記載の画像データ収集装置。
  6. 　撮影装置が搭載される複数の移動体の位置情報を取得する取得手段と、
    　前記取得された位置情報に基づいて、前記複数の移動体のうち画像データの収集対象である移動体と他の移動体との間の距離を算出する第１の算出手段と、
    　前記算出された距離に基づいて、前記収集対象である移動体に搭載される撮影装置による撮影結果の無駄な範囲を算出する第２の算出手段と、
    　前記算出された無駄な範囲が削除された画像データを収集する収集手段と、
    　を備える、画像データ収集装置。
  7. 　画像データ収集装置が実行する、画像データ収集方法であって、
    　　撮影装置が搭載される複数の移動体の位置情報を取得することと、
    　　前記複数の移動体について取得された位置情報、当該複数の移動体に搭載される前記撮影装置による撮影範囲を表す情報、および所定の物体の位置情報を移動体ごとに取得し、この取得された情報に基づいて、収集対象である画像データを出力する撮影装置が搭載される移動体を前記複数の移動体から選択することと、
    　　前記選択された移動体に、当該移動体に搭載される撮影装置による撮影結果である画像データの収集指示を送信することと、
    　　前記収集指示を受けた前記移動体から送信された画像データを受信することと、
    　を備える方法。
  8. 　請求項１乃至６のいずれか１項に記載の画像データ収集装置に備えられる前記各手段としてハードウェアプロセッサを機能させる画像データ収集プログラム。
PCT/JP2019/031514 2019-08-08 2019-08-08 画像データ収集装置、方法およびプログラム WO2021024490A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021537547A JP7331929B2 (ja) 2019-08-08 2019-08-08 画像データ収集装置、方法、プログラムおよび画像データ送信装置
US17/633,335 US20220377283A1 (en) 2019-08-08 2019-08-08 Image data collecting apparatus, method, and program
PCT/JP2019/031514 WO2021024490A1 (ja) 2019-08-08 2019-08-08 画像データ収集装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/031514 WO2021024490A1 (ja) 2019-08-08 2019-08-08 画像データ収集装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2021024490A1 true WO2021024490A1 (ja) 2021-02-11

Family

ID=74502628

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031514 WO2021024490A1 (ja) 2019-08-08 2019-08-08 画像データ収集装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20220377283A1 (ja)
JP (1) JP7331929B2 (ja)
WO (1) WO2021024490A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923330A (zh) * 2021-10-11 2022-01-11 中国人民解放军63921部队 多目标测量系统
JP7533372B2 (ja) 2021-06-17 2024-08-14 トヨタ自動車株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209919A (ja) * 2010-03-29 2011-10-20 Denso Corp 交錯点マップ作成装置および交錯点マップ作成装置用のプログラム
JP2019075050A (ja) * 2017-10-19 2019-05-16 株式会社豊田中央研究所 情報処理装置、情報処理システム、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014137750A (ja) * 2013-01-17 2014-07-28 Hitachi Solutions Ltd 情報処理装置、情報処理システム及び情報処理プログラム
US11432697B2 (en) * 2018-09-06 2022-09-06 Lg Electronics Inc. Robot cleaner and a controlling method for the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209919A (ja) * 2010-03-29 2011-10-20 Denso Corp 交錯点マップ作成装置および交錯点マップ作成装置用のプログラム
JP2019075050A (ja) * 2017-10-19 2019-05-16 株式会社豊田中央研究所 情報処理装置、情報処理システム、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7533372B2 (ja) 2021-06-17 2024-08-14 トヨタ自動車株式会社 情報処理装置、情報処理方法、及びプログラム
CN113923330A (zh) * 2021-10-11 2022-01-11 中国人民解放军63921部队 多目标测量系统

Also Published As

Publication number Publication date
US20220377283A1 (en) 2022-11-24
JP7331929B2 (ja) 2023-08-23
JPWO2021024490A1 (ja) 2021-02-11

Similar Documents

Publication Publication Date Title
JP6894471B2 (ja) 自動運転車（ａｄｖ）のサブシステムによるパトロールカーのパトロール
US11077850B2 (en) Systems and methods for determining individualized driving behaviors of vehicles
CN108732589B (zh) 利用3d lidar和定位自动采集用于对象识别的训练数据
JP6940612B2 (ja) ニアクラッシュ判定システムおよび方法
US10946868B2 (en) Methods and devices for autonomous vehicle operation
EP3700198B1 (en) Imaging device, image processing apparatus, and image processing method
US10982968B2 (en) Sensor fusion methods for augmented reality navigation
WO2020062031A1 (en) A pedestrian interaction system for low speed scenes for autonomous vehicles
CN108139211B (zh) 用于测量的装置和方法以及程序
JP2019182402A (ja) 自動運転車両に用いられる検知支援
JP6468062B2 (ja) 物体認識システム
WO2020086767A1 (en) Sensor fusion by operation-control vehicle for commanding and controlling autonomous vehicles
WO2020062032A1 (en) A pedestrian probability prediction system for autonomous vehicles
US20200211216A1 (en) Information processing device
JP6645492B2 (ja) 撮像装置および撮像方法
US20210237581A1 (en) Predictive regenerative braking
JP7276435B2 (ja) 交通流推定装置、交通流推定方法、交通流推定プログラムおよび交通流推定プログラムを記憶した記憶媒体
JP6711982B1 (ja) 交通安全支援装置、携帯情報端末、及びプログラム
WO2021024490A1 (ja) 画像データ収集装置、方法およびプログラム
EP3815061B1 (en) Theft proof techniques for autonomous driving vehicles used for transporting goods
WO2017188017A1 (ja) 検出装置、検出方法、およびプログラム
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
CN115170630B (zh) 地图生成方法、装置、电子设备、车辆和存储介质
US11679771B2 (en) Vehicle event identification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19940577

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021537547

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19940577

Country of ref document: EP

Kind code of ref document: A1