WO2021140953A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
WO2021140953A1
WO2021140953A1 PCT/JP2020/048723 JP2020048723W WO2021140953A1 WO 2021140953 A1 WO2021140953 A1 WO 2021140953A1 JP 2020048723 W JP2020048723 W JP 2020048723W WO 2021140953 A1 WO2021140953 A1 WO 2021140953A1
Authority
WO
WIPO (PCT)
Prior art keywords
cost
information
map
area
generation unit
Prior art date
Application number
PCT/JP2020/048723
Other languages
English (en)
French (fr)
Inventor
臣克 高柳
将平 山本
河本　献太
航平 漆戸
駿 李
一美 青山
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/789,752 priority Critical patent/US20230043836A1/en
Priority to CN202080091743.8A priority patent/CN114930124A/zh
Priority to EP20911736.5A priority patent/EP4089365A4/en
Priority to JP2021570016A priority patent/JPWO2021140953A1/ja
Publication of WO2021140953A1 publication Critical patent/WO2021140953A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, for example, an information processing device, an information processing method, and a program that enable a route plan that avoids crowds.
  • Patent Document 1 proposes an information providing device that narrows down object information to be distributed to a moving body.
  • object information is acquired from the outside world recognition result by the moving body or the outside world recognition device installed in the environment in which the moving body operates, and the object information and the map information are linked and stored.
  • a map is generated. Further, from the route information acquired from the moving object, the objects existing in the route are searched, the estimated time to reach each object searched by the moving object is calculated, and the existence probability of the object at the predicted time is obtained. Only objects whose existence probability is equal to or greater than a predetermined value are delivered as object information to the moving object.
  • the information providing device of Patent Document 1 can acquire events that will occur in the future as object information, for example, from the schedule of events such as loading of a moving dump truck and soil removal.
  • This technology was made in view of such a situation, and makes it possible to make a route plan that avoids crowds.
  • the information processing device or program of the present technology is an information processing device having a cost map generator that generates a cost map representing the danger of passing through an area using crowd information, or such an information processing device.
  • a program to make a computer work is an information processing device having a cost map generator that generates a cost map representing the danger of passing through an area using crowd information, or such an information processing device.
  • the information processing method of the present technology is an information processing method including generating a cost map showing the risk of passing through an area using crowd information.
  • a cost map showing the risk of passing through the area is generated using the crowd information.
  • the information processing device may be an independent device or an internal block constituting one device.
  • the program can be provided by recording on a recording medium or transmitting via a transmission medium.
  • UTM As an information processing apparatus to which this technology is applied. It is a figure which shows the example of the information used for generating a cost map. It is a block diagram which shows the structural example of UTM10. It is a flowchart explaining an example of processing of UTM10. It is a flowchart explaining the example of the process of generating the integrated map (final cost map) of step S12. It is a figure explaining the example of the generation of the image individual map by the individual map generation unit 32. It is a figure explaining the example of the registration of the cost in the image individual map. It is a figure explaining the limit of the cost reset for the event area during an event. It is a figure explaining the example of the generation of the position information individual map by the individual map generation unit 33.
  • FIG. 1 is a diagram illustrating an outline of UTM as an information processing device to which this technology is applied.
  • the UTM (UAV Traffic Management) 10 uses the crowd information regarding the crowd to generate a cost map in which the cost representing the risk of passing through the area is registered. Then, the UTM 10 controls (controls) the drone 11 by generating a route plan of the drone 11 which is a moving object, for example, a UAV (Unmanned aerial vehicle), and transmitting the route plan to the drone 11 by using the cost map.
  • a route plan of the drone 11 which is a moving object, for example, a UAV (Unmanned aerial vehicle)
  • the drone 11 which is a UAV is adopted as the moving body for which the route plan is generated, but the route plan is generated by other movements such as underwater or moving on land (ground surface). It can be performed on a body, a moving body moving in outer space, or the like.
  • UTM10 can generate a cost map by using one type of modal information or a plurality of types of modal information.
  • the information of one type of modal or the information of at least one type of modal of a plurality of types of modals includes information capable of generating crowd information.
  • the information that can generate crowd information is, for example, an image taken by a drone 11 described later, an image taken by a surveillance camera 13, a position information of a mobile terminal, and event information.
  • the information that can generate crowd information is not limited to images, mobile terminal location information, and event information.
  • the UTM10 acquires images, location information of mobile terminals, weather information related to weather, and event information related to events where people gather as a plurality of types of modal information.
  • UTM10 acquires images from, for example, one or more drones 11 flying in various locations controlled by UTM10.
  • the drone 11 is equipped with, for example, a camera 11A, and transmits an image taken by the camera 11A to the UTM 10.
  • the UTM 10 receives the image taken by the drone 11 (the camera 11A mounted on the drone 11) transmitted from the drone 11.
  • the UTM 10 acquires, for example, images taken by surveillance cameras installed in various places, particularly, for example, a surveillance camera 13 installed near a route in a route plan generated for a drone 11 controlled by the UTM 10.
  • UTM10 acquires, for example, the position information of a smartphone as a mobile terminal from the smartphone.
  • the location information of the smartphone for example, GPS information in a format acquired by the GPS (Global Positioning System) function installed in the smartphone and used in Google Maps of Google Inc. can be adopted.
  • GPS Global Positioning System
  • the UTM 10 acquires the wind speed measured by the anemometer as weather information. That is, when the drone 11 is equipped with an anemometer, the drone 11 transmits the wind speed measured by the anemometer to the UTM 10 as weather information.
  • the UTM 10 thus receives the weather information transmitted from the drone 11.
  • the weather information can be acquired from sensors installed in various places that detect physical quantities related to the weather, such as an anemometer.
  • the UTM10 acquires event information from, for example, a web server.
  • the UTM 10 receives, for example, event information about an event that is actually held and will be held near the route in the route plan generated for the drone 11 controlled by the UTM 10 from the web server.
  • the event information includes the venue (venue) and the date and time of the event.
  • UTM10 acquires images and weather information from the drone 11, as well as the location information of the current location of the drone 11. In addition to acquiring an image from the surveillance camera 13, the UTM 10 also acquires position information and the like at the position where the surveillance camera 13 is installed.
  • UTM10 uses the information acquired by UTM10 to generate crowd information, and uses the crowd information to set a cost indicating the risk of passing through the area for the area. Then, UTM10 generates a cost map in which the cost for the area is registered.
  • FIG. 1 a cost map in which costs are set for an area on a map that gives a bird's-eye view of the ground from the sky is generated. Further, in FIG. 1, three stages of cost, low, medium, and high, are adopted as the cost, and the higher the cost, the higher the risk of passing through the set area. As the cost, in addition to the three-stage cost of low, medium, and high, the two-stage cost of low and high, and the four-stage or higher cost can be adopted.
  • the cost map is, for example, a map in which costs representing the risk of passing through each area are registered for a predetermined range of areas.
  • the entire earth can be adopted as the area where the cost is registered (hereinafter, also referred to as the registered area), and when the flight range of the drone 11 is preset, the flight thereof. Areas of range can also be adopted.
  • the registration area an area set by the administrator of UTM10 or the like can be adopted.
  • the cost map for example, for each division area in which the registration area is divided into areas of a predetermined size, a cost indicating the risk of passing through the division area is registered.
  • a registered area where a mountain with an altitude of a predetermined value or higher or a tall object such as a building with an altitude of a predetermined height or higher exists cannot be passed (meaning a non-passable area). You can register in advance.
  • UTM10 generates or updates cost maps on a regular or irregular basis. Further, the UTM 10 generates or regenerates a new route plan for the drone 11 using the cost map, and transmits the route plan to the drone 11.
  • UTM10 can make a route plan that avoids crowds.
  • the drone 11 is in the latest situation (ideally, the real-time situation). ) Allows flexible flight.
  • FIG. 2 is a diagram showing an example of information used for generating a cost map.
  • FIG. 2 shows the information used to generate the cost map, the content or format of the information, and the purpose of use.
  • Images taken by the drone 11 and the surveillance camera 13 can be used to generate the cost map.
  • Any image format can be adopted as the format of the captured image.
  • the captured image can be used to detect crowds and set the cost of the area that appears in the captured image.
  • the position information of the drone 11 and the surveillance camera 13 can be used to generate the cost map.
  • the format of the position information of the drone 11 and the surveillance camera 13 coordinates representing the position, for example, latitude and longitude, can be adopted.
  • the cost set by using the captured image taken by the drone 11 and the surveillance camera 13 is registered in the cost map (the position of the area where the cost is set is specified). ) Can be used.
  • the weather information measured (observed) by the drone 11 can be used to generate the cost map.
  • the weather information for example, the measured value of the anemometer (wind speed sensor) mounted on the drone 11 can be adopted.
  • the measured value of the anemometer as meteorological information can be used to estimate the risk of the drone 11 flying at the point where the measured value (wind speed) is measured and to set the cost indicating the risk.
  • the location information of the smartphone as a mobile terminal can be used to generate the cost map.
  • GPS information acquired by the GPS function installed in the smartphone can be adopted.
  • the position information of the smartphone can be used to detect crowds such as areas not photographed by the cameras 11A and surveillance cameras 13 mounted on the drone 11 and set the cost of the areas where the crowds exist.
  • Event information can be used to generate the cost map.
  • the event information information including the venue (coordinates) of the event and the date and time of the event can be adopted.
  • the event information is an event held all day, for example, whether the crowd detected from the captured image taken by the drone 11 is a crowd of what kind or a cause, for example, a transient crowd. It can be used to determine (estimate) whether or not the crowd is caused by.
  • FIG. 3 is a block diagram showing a configuration example of UTM10 of FIG.
  • the UTM 10 has a cost map generation unit 21 and a route planning unit 22.
  • the cost map generation unit 21 generates a cost map using one or more types of modal information and supplies it to the route planning unit 22.
  • the information used by the cost map generation unit 21 to generate the cost map includes information capable of generating crowd information.
  • the cost map generation unit 21 generates crowd information using at least information that can generate crowd information among one or more types of modal information, and generates a cost map using the crowd information. To do.
  • the cost map generation unit 21 has an information receiving unit 31, individual map generation units 32, 33, and 34, and an integration unit 35.
  • the information receiving unit 31 acquires the photographed image, the weather information, the current position information of the drone 11, and the like from the drone 11.
  • the information receiving unit 31 acquires the captured image, the position information of the surveillance camera 13, and the like from the surveillance camera 13.
  • the information receiving unit 31 acquires the position information of the plurality of smartphones 51 by receiving the position information of the plurality of smartphones 51 from the smartphones 51 carried by each of the plurality of people.
  • the information receiving unit 31 accesses the web server 52 and acquires the event information by searching for the event information.
  • map information since the information acquired by the information receiving unit 31 is used for generating the cost map, it is also referred to as map information below.
  • the information receiving unit 31 supplies necessary map information to the necessary blocks of the individual map generating units 32 to 34.
  • the information receiving unit 31 supplies the captured image, the position information of the captured image (position information of the drone 11 or the surveillance camera 13 in which the captured image was captured), and the event information to the individual map generation unit 32.
  • the information receiving unit 31 supplies the position information of the plurality of smartphones 51 to the individual map generating unit 33.
  • the information receiving unit 31 supplies the weather information to the individual map generating unit 34.
  • the individual map generation unit 32 generates an image individual map which is an individual cost map for the image (photographed image) as the first modal information by performing image processing for processing the image captured from the information receiving unit 31. Then, it is supplied to the integration unit 35.
  • the individual map generation unit 32 uses the position information of the captured image from the information receiving unit 31 and the event information as necessary in generating the individual image map.
  • the individual map generation unit 33 performs position information processing for processing the position information of the smartphone 51 from the information receiving unit 31 to obtain an individual cost map for the position information (of the smartphone 51) as the second modal information.
  • a certain location information individual map is generated and supplied to the integration unit 35.
  • the individual map generation unit 34 generates a weather information individual map which is an individual cost map for the weather information as the third modal information by performing weather information processing for processing the weather information from the information receiving unit 31. , Supply to the integration unit 35.
  • the integration unit 35 integrates the image individual map from the individual map generation unit 32, the position information individual map from the individual map generation unit 33, and the weather information individual map from the individual map generation unit 34, and finally the cost map. Is generated and supplied to the route planning unit 22.
  • the route planning unit 22 generates a route plan using the integrated map from the integrated unit 35 and transmits it to the drone 11.
  • FIG. 4 is a flowchart illustrating an example of the processing of UTM10 of FIG.
  • step S11 in UTM10, the information receiving unit 31 of the cost map generating unit 21 waits for a certain period (time) to elapse, receives the map information, and the process proceeds to step S12.
  • step S12 the cost map generation unit 21 generates an integrated map which is the final cost map using the map information, supplies it to the route planning unit 22, and the process proceeds to step S13.
  • step S13 the route planning unit 22 determines whether or not it is necessary to generate or regenerate the route plan.
  • step S13 If it is determined in step S13 that it is not necessary to generate and regenerate the route plan, the process returns to step S11, and the same process is repeated thereafter.
  • step S13 If it is determined in step S13 that the route plan needs to be generated or regenerated, the process proceeds to step S14.
  • step S14 the route planning unit 22 generates a route plan using the latest cost map from the cost map generation unit 21, and the process proceeds to step S15.
  • the route planning unit 22 allows only the low cost area to pass through the cost map, and the destination. Search for one or more routes to.
  • An allowable length (for example, from the current location to the destination) that can reach the destination and the length of the route is a pre-allowed length by a route that allows only the low-cost area to pass.
  • the route planning unit 22 selects the route having the shortest length from the searched routes as the generation result of the route plan.
  • the route planning unit 22 will add the cost in the cost map. Search for one or more routes to the destination, allowing the cost to pass through the low area as well as the medium area.
  • the route planning unit 22 passes through the medium-cost area from the searched routes.
  • the route with the shortest length is selected as the result of generating the route plan.
  • the route planning unit 22 selects, as a result of generating the route plan, a route having a length that passes through the region in which the cost is as short as possible and a total length that is as short as possible from the searched routes. ..
  • the route planning unit 22 selects a route having the minimum weighted addition value of the length passing through the region in which the cost is medium and the length of the route as the generation result of the route plan.
  • the route planning unit 22 gives up the route planning.
  • the route planning unit 22 searches for one or more routes to the destination by allowing the route to pass through the low-cost region, the medium-cost region, and the high-cost region in the cost map. Then, the route planning unit 22 selects, among the searched routes, the route having the shortest length passing through the region having a high cost as the generation result of the route plan.
  • step S15 the route planning unit 22 transmits the route plan generated in the immediately preceding step S14 to the drone 11. Then, the process returns from step S15 to step S11, and the same process is repeated thereafter.
  • FIG. 5 is a flowchart illustrating an example of the process of generating the integrated map (final cost map) in step S12 of FIG.
  • step S21 the information receiving unit 31 of the cost map generating unit 21 supplies the necessary information among the map information received in step S11 of FIG. 4 to the necessary blocks of the individual map generating units 32 to 34.
  • the individual map generation units 32 to 34 generate an image individual map, a position information individual map, and a weather information individual map, respectively, using the map information from the information receiving unit 31, and supply them to the integration unit 35.
  • the process proceeds from step S21 to step S22.
  • step S22 the integration unit 35 integrates the image individual map from the individual map generation unit 32, the position information individual map from the individual map generation unit 33, and the weather information individual map from the individual map generation unit 34. Generate an integrated map as the final cost map. Then, the integration unit 35 supplies the integration map to the route planning unit 22, and the process ends.
  • FIG. 6 is a diagram illustrating an example of generating an image individual map by the individual map generation unit 32.
  • the individual map generation unit 32 detects the crowds reflected in the captured images by using the captured images captured by the drone 11 and the surveillance camera 13, and generates crowd information including the area (information representing) where the crowds exist. ..
  • a method of detecting crowds using captured images for example, a method of detecting people from captured images and detecting a crowd of people having a density equal to or higher than a predetermined density is adopted as a crowd, depending on the degree of gathering of people. be able to.
  • an image showing crowds and an image without crowds are used as learning data together with a label indicating the presence or absence of crowds to learn a neural network.
  • a captured image By giving a captured image as an input to the trained neural network, it is possible to adopt a method of detecting crowds.
  • the individual map generation unit 32 detects crowds in the captured image, that is, when the captured image shows crowds, the individual map generation unit 32 detects the area where the crowds exist as the crowded area where the crowds exist, and the crowded area. Generates crowd information that represents.
  • the individual map generation unit 32 uses the crowd information to set a cost indicating the risk of the drone 11 passing through the crowded area with respect to the crowded area represented by the crowded information.
  • the individual map generation unit 32 sets the cost for the crowded area by the threshold processing of the area according to the area of the real world (not the area on the captured image) of the crowded area.
  • the cost can be set according to the area of the crowded area in the real world, or can be set according to the area of the crowded area on the captured image.
  • three levels of cost, high, medium, and low, are adopted in descending order of risk, and the two thresholds of area are larger than the first area threshold and the first area threshold.
  • the second area threshold is adopted.
  • the cost is set low. If the area of the crowded area is greater than the first area threshold and less than or equal to the second area threshold, the cost is set to medium. If the area of the crowded area is greater than the second area threshold, the cost is set high.
  • the cost for the area other than the crowded area in the area reflected in the photographed image (hereinafter, also referred to as the photographed area) is set to the lowest risk or is set to be undecided.
  • the description of setting the cost for the area other than the crowded area will be omitted.
  • the cost can be set according to, for example, the (average) density of people existing in a crowded area. For example, the higher the density of people, the higher the risk of cost can be set. Further, the cost can be set according to, for example, the area of the crowded area and the density of the people existing in the crowded area.
  • the individual map generation unit 32 When the individual map generation unit 32 sets the cost for the crowded area, the individual map generation unit 32 generates the image individual map by registering the cost in the cost map.
  • FIG. 7 is a diagram illustrating an example of cost registration in the individual image map.
  • the individual map generation unit 32 sets the cost as described with reference to FIG. 6 using the captured images of the drone 11 and the surveillance camera 13.
  • the individual map generation unit 32 detects the (real world) shooting area reflected in the shot images of the drone 11 and the surveillance camera 13.
  • the information receiving unit 31 acquires captured images and the like from the drone 11 and the surveillance camera 13, as well as position information (for example, latitude and longitude), altitude (height) information, and camera information of the drone 11 and the surveillance camera 13. (Angle of view, resolution, shooting direction, etc.) is acquired and supplied to the individual map generation unit 32.
  • the individual map generation unit 32 detects the shooting area (position and range) reflected in the shot image by using the position information, altitude information, and camera information of the drone 11 and the surveillance camera 13.
  • the individual map generation unit 32 registers the cost set by using the captured image for each division region for the region corresponding to the capture region in the registration region of the individual image map.
  • the cost set by using the captured image captured by the drone 11 is maintained until the area reflected in the captured image is captured again by the drone 11. It is not updated (however, except when the area reflected in the captured image is captured by the surveillance camera 13 or the like).
  • the drone 11 takes a picture of the predetermined area, which increases the cost.
  • the drone 11 When it is set and registered in the individual image map, after the event ends and there is no crowd in the predetermined area, the drone 11 must fly near the predetermined area and take a picture again, or the individual image must be taken. The cost remains high registered on the map.
  • the reset process that resets the cost to the initial value when a certain period of time has passed from the registration of the latest cost. It can be performed.
  • the initial value of the cost for example, a value indicating that the risk is the lowest, a value indicating that the cost is undecided, or the like can be adopted.
  • the individual map generation unit 32 can limit the reset of the cost for the event area during the event, which is registered in the image individual map, by using the event information.
  • FIG. 8 is a diagram for explaining the limitation of cost reset for the event area during the event.
  • the individual map generation unit 32 uses the event information to specify the event area where the event is held. Further, the individual map generation unit 32 targets only the cost for the non-event area other than the event area where the event is being held in the image individual map generated immediately before, and for the area where a certain period has passed since the registration of the latest cost. Reset the cost.
  • the individual map generation unit 32 can reset the cost for the event area by using the event information. For example, the individual map generation unit 32 can specify the end date and time when the event held in the event area ends by using the event information. Then, the individual map generation unit 32 can reset the cost for the event area where the event has ended in the image individual map at the timing when the end date and time has elapsed.
  • the process of generating or updating the image individual map in the individual map generation unit 32 is as follows, for example.
  • the individual map generation unit 32 detects the crowd using the latest captured image, and generates the crowd information representing the crowded area by using the crowd detection result.
  • the individual map generation unit 32 sets the cost for each division area for the shooting area reflected in the latest shot image by using the crowd information.
  • the individual map generation unit 32 uses the event information to target only the costs registered in the non-event area in the image individual map generated immediately before, and the cost of the area where a certain period of time has passed since the latest cost was registered. Is reset to the initial value.
  • the individual map generation unit 32 sets the cost for the area in which the latest cost is set by using the latest captured image among the costs registered in the image individual map after the reset process by using the latest captured image. Generate the latest image individual map by updating to the latest cost (update the image individual map).
  • the individual map generation unit 32 sets the latest captured image to the cost of the division area in which the latest cost is set by using the latest captured image among the costs registered in the image individual map after the reset process.
  • the latest individual image map is generated by registering the latest cost set in use by overwriting.
  • the individual map generation unit 32 can generate an event information individual map, which is an individual cost map for the event information, by using the event information. For example, the individual map generation unit 32 can specify the event area as a crowded area by using the event information, and set the cost for the event area according to the area of the event area. Then, the individual map generation unit 32 can register the cost for the event area in the cost map and generate the event information individual map.
  • the event information individual map can be used to generate the integrated map in the integrated unit 35 together with the image individual map, the position information individual map, and the weather information individual map.
  • FIG. 9 is a diagram illustrating an example of generating a position information individual map by the individual map generation unit 33.
  • the individual map generation unit 33 detects the crowd using the position information of the smartphone 51 and generates the crowd information.
  • the individual map generation unit 33 detects a position represented by the position information of the smartphone 51 as a position where people exist, and a group of people having a density equal to or higher than a predetermined density as a crowd.
  • the individual map generation unit 33 detects the crowd from the position information from the smartphone 51, the individual map generation unit 33 detects the crowded area where the crowd exists and generates the crowd information representing the crowded area.
  • the individual map generation unit 33 uses the crowd information to set a cost indicating the risk of the drone 11 passing through the crowded area with respect to the crowded area represented by the crowded information.
  • the cost can be set in the same manner as in the individual map generation unit 32.
  • the individual map generation unit 33 When the individual map generation unit 33 sets the cost for the crowded area, the individual map generation unit 33 generates the location information individual map by registering the cost in the cost map.
  • the individual map generation unit 33 for example, for an area that has not been photographed (cannot be photographed) by the drone 11 or the surveillance camera 13, a crowd is detected and a cost indicating the risk of passing through the area is set. Therefore, it is possible to generate a location information individual map as a cost map in which the cost is registered.
  • the process of generating or updating the position information individual map in the individual map generation unit 33 is as follows, for example.
  • the individual map generation unit 33 detects the crowd using the latest location information of the smartphone 51, and generates the crowd information using the detection result of the crowd.
  • the individual map generation unit 33 uses the crowd information generated using the latest location information to set the cost for each division area for the registration area of the location information individual map.
  • the individual map generation unit 33 resets the cost of the position information individual map generated immediately before, and registers the cost set by using the latest position information by overwriting the position information individual map to obtain the latest position. Generate an information individual map (update the location information individual map).
  • FIG. 10 is a diagram illustrating an example of generating a weather information individual map by the individual map generation unit 34.
  • the individual map generation unit 34 uses the weather information measured by the drone 11 to cover an area including the position of the drone 11 where the weather information is measured, for example, a shooting area reflected in a shot image shot by the drone 11. Then, a cost indicating the risk of the drone 11 passing through the shooting area is set.
  • the individual map generation unit 34 sets the cost for the photographing area by the threshold processing of the wind speed according to the wind speed represented by the weather information.
  • the second wind speed threshold is adopted.
  • the cost is set low. If the wind speed represented by the weather information is greater than the first wind speed threshold and less than or equal to the second wind speed threshold, the cost is set to medium. If the wind speed represented by the weather information is greater than the second wind speed threshold, the cost is set high.
  • the cost can be set by using not only the wind speed but also the amount of rainfall and the weather (sunny, rain, snow, etc.).
  • the individual map generation unit 34 When the individual map generation unit 34 sets the cost for the shooting area, the individual map generation unit 34 generates the weather information individual map by registering the cost in the cost map.
  • the same reset processing as for the image individual map can be performed.
  • the process of generating or updating the weather information individual map in the individual map generation unit 34 is as follows, for example.
  • the individual map generation unit 34 uses the latest weather information to set the cost (for each division area) for the registration area of the weather information individual map.
  • the individual map generation unit 34 resets the cost of the weather information individual map generated immediately before, and registers the cost set using the latest weather information by overwriting the weather information individual map, thereby updating the latest weather. Generate an individual information map (update the individual weather information map).
  • the individual map generation unit 34 is set by using the latest weather information in the cost of the division area in which the latest cost is set by using the latest weather information in the weather information individual map generated immediately before. By registering the latest cost by overwriting, the latest weather information individual map is generated.
  • FIG. 11 is a diagram illustrating an example of generating a final map in the integration unit 35.
  • the integration unit 35 integrates the image individual map, the location information individual map, and the weather information individual map, and generates an integrated map which is the final cost map.
  • the integration unit 35 has the highest cost (higher risk) from the costs registered in the image individual map, the position information individual map, and the weather information individual map for each division area in which the registration area of the integration map is divided. By selecting (cost representing), the image individual map, the position information individual map, and the weather information individual map (the cost registered in) are integrated.
  • the integration unit 35 selects and integrates the highest cost from the costs registered in the image individual map, the position information individual map, and the weather information individual map for each division area in which the registration area of the integration map is divided. Register on the map.
  • the position information of the smartphone 51 by integrating the photographed image, the position information of the smartphone 51, the image individual map for each of the weather information, the position information individual map, and the weather information individual map as the information of a plurality of modal, for example.
  • an integrated map in which highly accurate and significant costs are registered for a wide range of areas including areas other than the shooting area as well as the shooting area reflected in the shot images taken by the drone 11 and the surveillance camera 13. Obtainable. As a result, it is possible to generate a route plan that enables safer flight.
  • the shooting area reflected in the shot image transmitted from the drone 11 and the surveillance camera 13 is an area near the position of the drone 11 and the surveillance camera 13 when the shot image is shot, and the cost as an individual image map. It is part of the registration area of the map. Therefore, it takes time and effort to regenerate the entire image individual map every time the captured image is transmitted from the drone 11 and the surveillance camera 13.
  • the existing shooting is performed in the area reflected in the latest captured image transmitted from the drone 11 and the surveillance camera 13 in the registered area of the individual image map updated or generated immediately before. Only the cost for the region where the value has changed from the cost obtained by using the image, for example, the region where the cost obtained by using the latest captured image has changed can be updated.
  • the individual image map (cost) is updated every time the captured image is transmitted from the drone 11 or the surveillance camera 13, and the captured image transmitted from the drone 11 and the surveillance camera 13 is saved at regular intervals. This can be done (regularly) using captured images (captured images acquired for a certain period of time) stored in that cycle. Alternatively, the update of the individual image map saves the captured images transmitted from the drone 11 and the surveillance camera 13, and irregularly, the captured images saved up to now from the last update of the individual image map (for a certain period of time). This can be done using the acquired captured image).
  • the weather information individual map generated or updated using the weather information transmitted from the drone 11 can also be generated or updated in the same manner as the image individual map.
  • the location information can be acquired all at once from the smartphone 51 existing in the registration area of the location information individual map.
  • updating the location information individual map does not update only the cost for the area where the cost has changed, as in the image individual map and the weather information individual map, but updates the cost for the entire registration area of the location information individual map. By doing so, it can be performed efficiently.
  • FIG. 12 is a flowchart showing an example of processing performed by the UTM 10 for the individual image map.
  • step S31 in the UTM 10, the information receiving unit 31 of the cost map generating unit 21 waits for the captured image to be transmitted from the drone 11 and the surveillance camera 13, and receives the captured image asynchronously to obtain an individual map. It is supplied to the generation unit 32, and the process proceeds to step S32.
  • step S32 the individual map generation unit 32 saves the captured image from the information receiving unit 31 in the built-in memory (not shown), and the process proceeds to step S33.
  • step S33 the individual map generation unit 32 determines whether or not the current time is the update timing for updating the image individual map.
  • step S33 If it is determined in step S33 that the current time is not the update timing, for example, if a predetermined period has not elapsed since the previous update of the individual image map, the process returns to step S31, and the same process is repeated thereafter. ..
  • step S33 when it is determined that the current timing is the update timing, for example, when a predetermined period has elapsed from the previous update of the individual image map, the process proceeds to step S34.
  • step S34 the individual map generation unit 32 updates the image individual map using the captured images stored in the memory since the last update of the image individual map, supplies the image individual map to the integration unit 35, and processes the image. Proceeds to step S35.
  • step S35 the integration unit 35 is supplied from the latest image individual map supplied from the individual map generation unit 32, the latest position information individual map supplied from the individual map generation unit 33, and the individual map generation unit 34. Integrate the latest weather information individual maps to generate an integrated map as the final cost map. Then, the integration unit 35 supplies the integration map to the route planning unit 22, and the process proceeds from step S35 to step S36.
  • step S36 the route planning unit 22 determines whether or not it is necessary to generate or regenerate the route plan.
  • step S36 If it is determined in step S36 that it is not necessary to generate and regenerate the route plan, the process returns to step S31, and the same process is repeated thereafter.
  • step S33 If it is determined in step S33 that the route plan needs to be generated or regenerated, the process proceeds to step S37.
  • step S37 the route planning unit 22 generates a route plan using the cost map as the latest final map from the integration unit 35, and the process proceeds to step S38.
  • step S38 the route planning unit 22 transmits the route plan generated in the immediately preceding step S37 to the drone 11. Then, the process returns from step S38 to step S31, and the same process is repeated thereafter.
  • FIG. 13 is a flowchart showing an example of processing performed by the UTM 10 for the individual weather information map.
  • step S41 in UTM10, the information receiving unit 31 of the cost map generation unit 21 waits for the weather information to be transmitted from the drone 11, receives the weather information asynchronously, and causes the individual map generation unit 34 to receive the weather information asynchronously. Supplying and processing proceeds to step S42.
  • step S42 the individual map generation unit 34 saves the weather information from the information receiving unit 31 in the built-in memory (not shown), and the process proceeds to step S43.
  • step S43 the individual map generation unit 34 determines whether or not the current time is the update timing for updating the weather information individual map.
  • step S43 If it is determined in step S43 that the current timing is not the update timing, for example, if a predetermined period has not elapsed since the previous update of the weather information individual map, the process returns to step S41, and the same process is performed thereafter. repeat.
  • step S43 when it is determined that the current timing is the update timing, for example, when a predetermined period has elapsed from the previous update of the weather information individual map, the process proceeds to step S44.
  • step S44 the individual map generation unit 34 updates the weather information individual map using the weather information stored in the memory since the last update of the weather information individual map, and supplies the weather information individual map to the integration unit 35. , The process proceeds to step S45.
  • steps S45 to S48 the same processing as in steps S35 to S38 of FIG. 12 is performed.
  • FIG. 14 is a flowchart showing an example of processing performed by the UTM 10 for the individual location information map.
  • step S51 in the UTM 10, the information receiving unit 31 of the cost map generation unit 21 periodically or irregularly requests the location information from each smartphone 51 existing in the registration area of the location information individual map.
  • the information receiving unit 31 collectively acquires the position information of each smartphone 51 existing in the registration area of the individual position information map by receiving the position information transmitted from the smartphone 51 in response to the request for the position information. ..
  • the acquisition of the location information of each smartphone 51 existing in the registration area of the individual location information map as described above is an API (Application) for collectively acquiring the location information of the smartphone 51, for example, like Google Maps of google. It can be done using Programming Interface).
  • the information receiving unit 31 supplies the position information of each smartphone 51 existing in the registration area of the individual location information map to the individual map generation unit 33, and the process proceeds from step S51 to step S52.
  • step S52 the individual map generation unit 33 updates the position information individual map using the position information acquired in the immediately preceding step S51 and supplies it to the integration unit 35, and the process proceeds to step S53.
  • steps S53 to S56 the same processing as in steps S35 to S38 of FIG. 12 is performed.
  • FIG. 15 is a block diagram showing a configuration example of an embodiment of a computer on which a program for executing the above-mentioned series of processes is installed.
  • the computer of FIG. 15 can be adopted.
  • the program can be recorded in advance on the hard disk 905 or ROM 903 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 911 driven by the drive 909.
  • a removable recording medium 911 can be provided as so-called package software.
  • examples of the removable recording medium 911 include a flexible disc, a CD-ROM (Compact Disc Read Only Memory), a MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed on the computer from the removable recording medium 911 as described above, or can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 905. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 902, and the input / output interface 910 is connected to the CPU 902 via the bus 901.
  • CPU Central Processing Unit
  • the CPU 902 executes a program stored in the ROM (Read Only Memory) 903 accordingly. .. Alternatively, the CPU 902 loads the program stored in the hard disk 905 into the RAM (Random Access Memory) 904 and executes it.
  • ROM Read Only Memory
  • the CPU 902 performs processing according to the above-mentioned flowchart or processing performed according to the above-mentioned block diagram configuration. Then, the CPU 902 outputs the processing result from the output unit 906 or transmits it from the communication unit 908, and further records it on the hard disk 905, if necessary, via the input / output interface 910.
  • the input unit 907 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 906 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • ⁇ 1> An information processing device equipped with a cost map generator that uses crowd information to generate a cost map that represents the danger of passing through an area.
  • the cost map generation unit detects crowds using an image and generates the crowd information.
  • the cost map generation unit detects a person using the image and detects the crowd using the detection result of the person.
  • the image is an image taken by a camera mounted on a moving body or an image of a surveillance camera.
  • the moving body is a UAV (Unmanned aerial vehicle).
  • ⁇ 6> The information processing device according to any one of ⁇ 2> to ⁇ 5>, wherein the cost map generation unit generates the cost map using images acquired in a certain period of time.
  • ⁇ 7> The information processing apparatus according to any one of ⁇ 2> to ⁇ 6>, wherein the cost map generation unit updates the cost for a region changed from the cost obtained by using an existing image in the cost map.
  • ⁇ 8> The information processing according to any one of ⁇ 1> to ⁇ 7>, wherein the cost map generation unit sets a cost for the crowded area according to the real-world area or the area on the image of the crowded area where the crowd exists. apparatus.
  • ⁇ 9> The information processing device according to any one of ⁇ 1> to ⁇ 8>, wherein the cost map generation unit detects crowds by using the position information of the mobile terminal and generates the crowd information.
  • the cost map generation unit detects crowds by using the position information of the mobile terminal and generates the crowd information.
  • the cost map generation unit generates the cost map periodically or irregularly.
  • the cost map generation unit resets the cost for an area for which a certain period of time has passed since the cost was registered.
  • the cost map generation unit uses event information related to an event in which people gather, and in the cost map, a certain period of time has passed since the cost was registered, targeting only the costs for non-event areas other than the event area where the event is held.
  • the information processing apparatus according to ⁇ 11>, which resets the cost for the created area.
  • ⁇ 13> The information processing device according to any one of ⁇ 1> to ⁇ 10>, wherein the cost map generation unit further uses weather information to generate the cost map.
  • the cost map generation unit further uses event information related to an event in which people gather to generate the cost map.
  • the cost map generator An individual map, which is an individual cost map, is generated for each of a plurality of types of modal information including at least the information from which the crowd information can be obtained.
  • the information processing apparatus according to ⁇ 1>, wherein the individual maps for each of the plurality of types of modal information are integrated to generate a final cost map.
  • the plurality of types of modal information includes an image or location information of a mobile terminal.
  • the information processing device according to ⁇ 15>, wherein the cost map generation unit detects crowds using the image or the position information of the mobile terminal and generates the crowd information.
  • the cost map generation unit integrates the individual maps by selecting the cost indicating the highest risk from the costs registered in the individual map for each of the information of the plurality of types of modals.
  • the information processing device described in. ⁇ 18> The information processing apparatus according to any one of ⁇ 1> to ⁇ 17>, further comprising a route planning unit that generates a route plan for a moving body using the cost map.
  • a route planning unit that generates a route plan for a moving body using the cost map.
  • An information processing method that uses crowded information to generate a cost map that represents the risk of passing through an area.
  • a program that allows a computer to function as a cost map generator that uses crowd information to generate a cost map that represents the risk of passing through an area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本技術は、人混みを避けた経路計画をたてることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 人混み情報を用いて、領域を通過する危険性を表すコストマップが生成される。本技術は、例えば、UAV(Unmanned aerial vehicle)を管制するUTM(UAV Traffic Management)等に適用することができる。

Description

情報処理装置、情報処理方法、及び、プログラム
　本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、例えば、人混みを避けた経路計画をたてることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。
　例えば、特許文献１では、移動体に配信するオブジェクト情報を絞り込む情報提供装置が提案されている。
　特許文献１の情報提供装置では、移動体や移動体が動作する環境内に設置された外界認識装置による外界認識結果から、オブジェクト情報が取得され、オブジェクト情報と地図情報を紐づけて記憶したオブジェクトマップが生成される。さらに、移動体から取得した経路情報から、経路に存在するオブジェクトが検索され、移動体が検索した各オブジェクトに到達する予測時刻が算出される、そして、その予測時刻におけるオブジェクトの存在確率を求め、存在確率が所定値以上となるオブジェクトのみが、移動体へオブジェクト情報として配信される。
　なお、特許文献１の情報提供装置では、例えば、移動体であるダンプトラックの積み込み、排土等のイベントのスケジュール等から、将来発生するイベントを、オブジェクト情報として取得することができる。
特開2018-185596号公報
　移動体が移動する経路計画としては、人混みを避けた経路計画をたてることができれば、安全である。
　本技術は、このような状況に鑑みてなされたものであり、人混みを避けた経路計画をたてることができるようにするものである。
　本技術の情報処理装置、又は、プログラムは、人混み情報を用いて、領域を通過する危険性を表すコストマップを生成するコストマップ生成部を備える情報処理装置、又は、そのような情報処理装置として、コンピュータを機能させるためのプログラムである。
　本技術の情報処理方法は、人混み情報を用いて、領域を通過する危険性を表すコストマップを生成することを含む情報処理方法である。
　本技術の情報処理装置、情報処理方法、及び、プログラムにおいては、人混み情報を用いて、領域を通過する危険性を表すコストマップが生成される。
　なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、記録媒体に記録して、又は、伝送媒体を介して伝送することにより、提供することができる。
本技術を適用した情報処理装置としてのUTMの概要を説明する図である。 コストマップの生成に用いられる情報の例を示す図である。 UTM１０の構成例を示すブロック図である。 UTM１０の処理の例を説明するフローチャートである。 ステップＳ１２の統合マップ（最終的なコストマップ）の生成の処理の例を説明するフローチャートである。 個別マップ生成部３２での画像個別マップの生成の例を説明する図である。 画像個別マップへのコストの登録の例を説明する図である。 イベント開催中のイベント領域に対するコストのリセットの制限を説明する図である。 個別マップ生成部３３での位置情報個別マップの生成の例を説明する図である。 個別マップ生成部３４での気象情報個別マップの生成の例を説明する図である。 統合部３５での最終マップの生成の例を説明する図である。 UTM１０が画像個別マップについて行う処理の例を示すフローチャートである。 UTM１０が気象情報個別マップについて行う処理の例を示すフローチャートである。 UTM１０が位置情報個別マップについて行う処理の例を示すフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用したUTMの一実施の形態＞
　図１は、本技術を適用した情報処理装置としてのUTMの概要を説明する図である。
　図１において、UTM(UAV Traffic Management)１０は、人混みに関する人混み情報を用いて、領域を通過する危険性を表すコストが登録されたコストマップを生成する。そして、UTM１０は、コストマップを用いて、移動体、例えば、UAV(Unmanned aerial vehicle)であるドローン１１の経路計画を生成し、ドローン１１に送信することで、ドローン１１を制御（管制）する。
　なお、本実施の形態では、経路計画を生成する対象の移動体として、UAVであるドローン１１を採用するが、経路計画の生成は、その他、例えば、水中や、陸上（地表）を移動する移動体や、宇宙空間を移動する移動体等を対象として行うことができる。
　UTM１０は、１種類のモーダルの情報、又は、複数種類のモーダルの情報を用いて、コストマップを生成することができる。１種類のモーダルの情報、又は、複数種類のモーダルの少なくとも１種類のモーダルの情報には、人混み情報を生成することができる情報が含まれる。本実施の形態において、人混み情報を生成することができる情報は、例えば、後述するドローン１１で撮影された画像や、監視カメラ１３で撮影された画像、携帯端末の位置情報、イベント情報である。
　なお、人混み情報を生成することができる情報は、画像、携帯端末の位置情報、及び、イベント情報に限定されるものではない。
　図１では、UTM１０は、画像、携帯端末の位置情報、気象に関する気象情報、及び、人が集まるイベントに関するイベント情報を、複数種類のモーダルの情報として取得する。
　UTM１０は、例えば、UTM１０が制御する、様々な場所を飛行している１以上のドローン１１から画像を取得する。ドローン１１は、例えば、カメラ１１Ａを搭載しており、そのカメラ１１Ａで撮影された画像を、UTM１０に送信する。UTM１０は、このように、ドローン１１から送信されてくる、そのドローン１１（が搭載するカメラ１１Ａ）で撮影された画像を受信する。
　UTM１０は、例えば、各地に設置された監視カメラ、特に、例えば、UTM１０が制御するドローン１１に対して生成された経路計画における経路付近に設置された監視カメラ１３で撮影された画像を取得する。
　UTM１０は、例えば、携帯端末としてのスマートフォンの位置情報を、スマートフォンから取得する。スマートフォンの位置情報としては、例えば、スマートフォンに搭載されたGPS(Global Positioning System)機能で取得され、Google社のグーグルマップで利用される形式のGPS情報を採用することができる。
　UTM１０は、例えば、ドローン１１が風速計（風速センサ）を搭載している場合には、その風速計で計測された風速を、気象情報として取得する。すなわち、ドローン１１が風速計を搭載している場合、ドローン１１は、その風速計で計測された風速を、気象情報として、UTM１０に送信する。UTM１０は、このように、ドローン１１から送信されてくる気象情報を受信する。なお、気象情報は、ドローン１１から取得する他、各地に設置された、気象に関する物理量を検知するセンサ、例えば、風速計等から取得することができる。
　UTM１０は、例えば、webサーバから、イベント情報を取得する。UTM１０は、特に、例えば、UTM１０が制御するドローン１１に対して生成された経路計画における経路付近で現に開催され、及び、これから開催されるイベントに関するイベント情報を、webサーバから受信する。イベント情報には、イベントの開催地（開催場所）及び開催日時が含まれる。
　UTM１０は、ドローン１１から画像及び気象情報を取得する他、ドローン１１の現在地の位置情報等を取得する。また、UTM１０は、監視カメラ１３から画像を取得する他、その監視カメラ１３が設置された位置の位置情報等を取得する。
　UTM１０は、UTM１０が取得する情報を用いて、人混み情報を生成し、その人混み情報を用いて、領域に対して、その領域を通過する危険性を表すコストを設定する。そして、UTM１０は、領域に対するコストが登録されたコストマップを生成する。
　図１では、上空から地上を俯瞰した地図上の領域に対してコストが設定されたコストマップが生成されている。また、図１では、コストとして、低、中、及び、高の３段階のコストが採用されており、コストが高いほど、そのコストが設定された領域を通過する危険性が高いことを表す。なお、コストとしては、低、中、及び、高の３段階のコストの他、低及び高の２段階のコストや、４段階以上のコストを採用することができる。
　コストマップは、例えば、所定の範囲の領域に対して、各領域を通過する危険性を表すコストが登録されるマップである。
　コストマップにおいて、コストが登録される領域（以下、登録領域ともいう）としては、例えば、地球全体を採用することもできるし、ドローン１１の飛行範囲があらかじめ設定されている場合には、その飛行範囲の領域を採用することもできる。その他、登録領域としては、UTM１０の管理者等が設定した領域を採用することができる。
　コストマップでは、例えば、登録領域を所定のサイズの領域に区分した各区分領域に対して、その区分領域を通過する危険性を表すコストが登録される。
　なお、コストマップにおいて、例えば、標高が所定値以上の山や、所定の高さ以上の建物等の高い物体が存在する登録領域については、通過することができない旨（通過不可領域の旨）をあらかじめ登録することができる。
　UTM１０は、定期的、又は、不定期に、コストマップを生成又は更新する。さらに、UTM１０は、必要に応じて、コストマップを用いて、ドローン１１の新たな経路計画を生成し又は生成し直し、その経路計画を、ドローン１１に送信する。
　コストマップは、人混み情報を用いて生成されるので、UTM１０では、人混みを避けた経路計画をたてることができる。
　また、コストマップが、定期的、又は、不定期に生成されるので、最新のコストマップを用いて経路計画を生成することにより、ドローン１１は、最新の状況（理想的には、リアルタイムの状況）に応じた柔軟な飛行が可能となる。
　図２は、コストマップの生成に用いられる情報の例を示す図である。
　図２では、コストマップの生成に用いられる情報、その情報の内容又は形式、及び、用途が示されている。
　コストマップの生成には、ドローン１１及び監視カメラ１３で撮影された画像（以下、撮影画像ともいう）を用いることができる。撮影画像の形式（フォーマット）としては、任意の画像の形式を採用することができる。撮影画像は、人混みを検出し、その撮影画像に映る領域のコストを設定するのに用いることができる。
　コストマップの生成には、ドローン１１及び監視カメラ１３の位置情報を用いることができる。ドローン１１及び監視カメラ１３の位置情報の形式としては、位置を表す座標、例えば、緯度及び経度等を採用することができる。ドローン１１及び監視カメラ１３の位置情報は、そのドローン１１及び監視カメラ１３で撮影された撮影画像を用いて設定されたコストを、コストマップに登録する（コストが設定された領域の位置を特定する）のに用いることができる。
　コストマップの生成には、ドローン１１で計測（観測）された気象情報を用いることができる。気象情報としては、例えば、ドローン１１に搭載された風速計（風速センサ）の計測値を採用することができる。気象情報としての風速計の計測値は、その計測値（風速）が計測された地点をドローン１１が飛行する危険性を推定し、その危険性を表すコストを設定するのに用いることができる。
　コストマップの生成には、携帯端末としてのスマートフォンの位置情報を用いることができる。スマートフォンの位置情報としては、スマートフォンに搭載されたGPS機能で取得されるGPS情報を採用することができる。スマートフォンの位置情報は、ドローン１１に搭載されたカメラ１１Ａ及び監視カメラ１３で撮影されていない領域等の人混みを検出し、その人混みが存在する領域のコストを設定するのに用いることができる。
　コストマップの生成には、イベント情報を用いることができる。イベント情報としては、イベントの開催地（の座標）、及び、開催日時を含む情報を採用することができる。イベント情報は、例えば、ドローン１１で撮影された撮影画像から検出された人混みが、どのような種類の人混み又はどのような原因による人混み、例えば、一過性の人混みであるのか、終日行われるイベントに起因する人混みであるのかを判定（推定）するのに用いることができる。
　＜UTM１０の構成例＞
　図３は、図１のUTM１０の構成例を示すブロック図である。
　図３において、UTM１０は、コストマップ生成部２１及び経路計画部２２を有する。
　コストマップ生成部２１は、１種類以上のモーダルの情報を用いて、コストマップを生成し、経路計画部２２に供給する。
　コストマップ生成部２１がコストマップの生成に用いる情報は、人混み情報を生成することができる情報を含む。
　コストマップ生成部２１は、１種類以上のモーダルの情報のうちの、少なくとも、人混み情報を生成することができる情報を用いて、人混み情報を生成し、その人混み情報を用いて、コストマップを生成する。
　コストマップ生成部２１は、情報受信部３１、個別マップ生成部３２、３３、及び、３４、並びに、統合部３５を有する。
　情報受信部３１は、ドローン１１から、撮影画像、気象情報、及び、ドローン１１の現在の位置情報等を受信することにより取得する。
　また、情報受信部３１は、監視カメラ１３から、撮影画像、及び、監視カメラ１３の位置情報等を受信することにより取得する。
　さらに、情報受信部３１は、複数の人それぞれが携帯するスマートフォン５１から、複数のスマートフォン５１の位置情報を受信することにより取得する。
　また、情報受信部３１は、webサーバ５２にアクセスし、イベント情報を検索することにより取得する。
　ここで、情報受信部３１が取得する情報は、コストマップの生成に用いられるので、以下、マップ用情報ともいう。
　情報受信部３１は、必要なマップ用情報を、個別マップ生成部３２ないし３４のうちの必要なブロックに供給する。
　例えば、情報受信部３１は、撮影画像、その撮影画像の位置情報（撮影画像が撮影されたドローン１１又は監視カメラ１３の位置情報）、及び、イベント情報を、個別マップ生成部３２に供給する。
　また、情報受信部３１は、複数のスマートフォン５１の位置情報を、個別マップ生成部３３に供給する。
　さらに、情報受信部３１は、気象情報を、個別マップ生成部３４に供給する。
　個別マップ生成部３２は、情報受信部３１からの撮影画像を処理する画像処理を行うことで、第１のモーダルの情報としての画像（撮影画像）に対する個別のコストマップである画像個別マップを生成し、統合部３５に供給する。
　個別マップ生成部３２は、画像個別マップの生成にあたり、情報受信部３１からの撮影画像の位置情報、及び、イベント情報を必要に応じて用いる。
　個別マップ生成部３３は、情報受信部３１からのスマートフォン５１の位置情報を処理する位置情報処理を行うことで、第２のモーダルの情報としての（スマートフォン５１の）位置情報に対する個別のコストマップである位置情報個別マップを生成し、統合部３５に供給する。
　個別マップ生成部３４は、情報受信部３１からの気象情報を処理する気象情報処理を行うことで、第３のモーダルの情報としての気象情報に対する個別のコストマップである気象情報個別マップを生成し、統合部３５に供給する。
　統合部３５は、個別マップ生成部３２からの画像個別マップ、個別マップ生成部３３からの位置情報個別マップ、及び、個別マップ生成部３４からの気象情報個別マップを統合し、最終的なコストマップである統合マップを生成し、経路計画部２２に供給する。
　経路計画部２２は、統合部３５からの統合マップを用いて、経路計画を生成し、ドローン１１に送信する。
　＜UTM１０の処理＞
　図４は、図３のUTM１０の処理の例を説明するフローチャートである。
　ステップＳ１１において、UTM１０では、コストマップ生成部２１の情報受信部３１が、一定周期（時間）が経過するのを待って、マップ用情報を受信し、処理は、ステップＳ１２に進む。
　ステップＳ１２では、コストマップ生成部２１は、マップ用情報を用いて、最終的なコストマップである統合マップを生成し、経路計画部２２に供給して、処理は、ステップＳ１３に進む。
　ステップＳ１３では、経路計画部２２が、経路計画の生成又は生成し直しが必要であるかどうかを判定する。
　ステップＳ１３において、経路計画の生成及び生成し直しが必要でないと判定された場合、処理は、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１３において、経路計画の生成又は生成し直しが必要であると判定された場合、処理は、ステップＳ１４に進む。
　ステップＳ１４では、経路計画部２２は、コストマップ生成部２１からの最新のコストマップを用いて、経路計画を生成し、処理は、ステップＳ１５に進む。
　例えば、コストとして、低、中、及び、高の３段階のコストが採用される場合、経路計画部２２は、コストマップにおいて、コストが低の領域のみを通過することを許容して、目的地までの１以上の経路を探索する。
　コストが低の領域のみを通過することを許容した経路で、目的地まで到達することができ、かつ、経路の長さが、あらかじめ許容された長さである許容長（例えば、現在地から目的地までの直線距離の所定数倍等）以下である場合、経路計画部２２は、探索された経路の中から、長さが最小の経路を、経路計画の生成結果として選択する。
　コストが低の領域のみを通過することを許容した経路では、目的地まで到達することができない場合、又は、経路の長さが許容長を超える場合、経路計画部２２は、コストマップにおいて、コストが低の領域の他、コストが中の領域を通過することを許容して、目的地までの１以上の経路を探索する。
　コストが低の領域及び中の領域を通過することを許容した経路で、目的地まで到達することができる場合、経路計画部２２は、探索された経路の中から、コストが中の領域を通過する長さが最小の経路を、経路計画の生成結果として選択する。又は、経路計画部２２は、探索された経路の中から、コストが中の領域を通過する長さがなるべく短く、かつ、全体の長さがなるべく短い経路を、経路計画の生成結果として選択する。例えば、経路計画部２２は、コストが中の領域を通過する長さと、経路の長さとの重み付け加算値が最小の経路を、経路計画の生成結果として選択する。
　コストが低の領域及び中の領域を通過することを許容した経路では、目的地まで到達することができない場合、経路計画部２２は、経路計画を断念する。又は、経路計画部２２は、コストマップにおいて、コストが低の領域、中の領域、及び、高の領域を通過することを許容して、目的地までの１以上の経路を探索する。そして、経路計画部２２は、探索された経路の中で、コストが高の領域を通過する長さが最小の経路を、経路計画の生成結果として選択する。
　ステップＳ１５では、経路計画部２２は、直前のステップＳ１４で生成した経路計画をドローン１１に送信する。そして、処理は、ステップＳ１５からステップＳ１１に戻り、以下、同様の処理が繰り返される。
　図５は、図４のステップＳ１２の統合マップ（最終的なコストマップ）の生成の処理の例を説明するフローチャートである。
　ステップＳ２１において、コストマップ生成部２１の情報受信部３１は、図４のステップＳ１１で受信したマップ用情報のうちの必要な情報を、個別マップ生成部３２ないし３４のうちの必要なブロックに供給する。個別マップ生成部３２ないし３４は、情報受信部３１からのマップ用情報を用いて、画像個別マップ、位置情報個別マップ、及び、気象情報個別マップをそれぞれ生成し、統合部３５に供給して、処理は、ステップＳ２１からステップＳ２２に進む。
　ステップＳ２２では、統合部３５は、個別マップ生成部３２からの画像個別マップ、個別マップ生成部３３からの位置情報個別マップ、及び、個別マップ生成部３４からの気象情報個別マップを統合して、最終的なコストマップとしての統合マップを生成する。そして、統合部３５は、統合マップを、経路計画部２２に供給して、処理は終了する。
　＜画像個別マップの生成＞
　図６は、個別マップ生成部３２での画像個別マップの生成の例を説明する図である。
　個別マップ生成部３２は、ドローン１１及び監視カメラ１３で撮影された撮影画像を用いて、その撮影画像に映る人混みを検出し、人混みが存在する領域（を表す情報）を含む人混み情報を生成する。
　撮影画像を用いた人混みの検出方法としては、例えば、撮影画像から人を検出し、人の集まり具合に応じて、例えば、所定の密度以上の人の集まりを、人混みとして検出する方法を採用することができる。
　また、撮影画像を用いた人混みの検出方法としては、例えば、人混みが映る画像と人混みがない画像とを、人混みの有無を表すラベルとともに、学習データとして用いて、ニューラルネットの学習を行い、その学習後のニューラルネットに対して、撮影画像を入力として与えることにより、人混みを検出する方法を採用することができる。
　個別マップ生成部３２は、撮影画像から人混みが検出された場合、すなわち、撮影画像に人混みが映っている場合、その人混みが存在する領域を、人混みが存在する人混み領域として検出し、その人混み領域を表す人混み情報を生成する。
　さらに、個別マップ生成部３２は、人混み情報を用いて、人混み情報が表す人混み領域に対して、その人混み領域をドローン１１が通過する危険性を表すコストを設定する。
　例えば、個別マップ生成部３２は、人混み領域の（撮影画像上の面積ではなく）実世界の面積に応じて、その面積の閾値処理により、人混み領域に対するコストを設定する。なお、コストは、人混み領域の実世界の面積に応じて設定する他、人混み領域の撮影画像上の面積に応じて設定することができる。
　例えば、コストとして、危険性が高い順に、高、中、低の３段階のコストを採用することとするとともに、面積の２つの閾値として、第１の面積閾値と、第１の面積閾値より大きい第２の面積閾値とを採用することとする。
　人混み領域の（実世界の）面積が、第１の面積閾値以下である場合、コストは低に設定される。人混み領域の面積が、第１の面積閾値より大きく、第２の面積閾値以下である場合、コストは中に設定される。人混み領域の面積が、第２の面積閾値より大きい場合、コストは高に設定される。
　撮影画像に映る領域（以下、撮影領域ともいう）のうちの、人混み領域以外の領域に対するコストは、危険性が最も低い低に設定されるか、又は、未定に設定される。以下、人混み領域以外の領域に対するコストの設定については、説明を省略する。
　なお、コストは、その他、例えば、人混み領域に存在する人の（平均）密度等に応じて設定することができる。例えば、人の密度が多いほど、コストは、危険性が高い値に設定することができる。また、コストは、例えば、人混み領域の面積と人混み領域に存在する人の密度とに応じて設定することもできる。
　個別マップ生成部３２は、人混み領域に対するコストを設定すると、そのコストを、コストマップに登録することで、画像個別マップを生成する。
　図７は、画像個別マップへのコストの登録の例を説明する図である。
　個別マップ生成部３２は、ドローン１１及び監視カメラ１３の撮影画像を用いて、図６で説明したようにコストを設定する。
　また、個別マップ生成部３２は、ドローン１１及び監視カメラ１３の撮影画像に映る（実世界の）撮影領域を検出する。
　ここで、情報受信部３１は、ドローン１１及び監視カメラ１３から撮影画像等を取得する他、ドローン１１及び監視カメラ１３の位置情報（例えば、緯度及び経度）、高度（高さ）情報、カメラ情報（画角や、解像度、撮影方向等）を取得し、個別マップ生成部３２に供給する。
　個別マップ生成部３２は、ドローン１１及び監視カメラ１３の位置情報、高度情報、及び、カメラ情報を用いて、撮影画像に映る撮影領域（の位置及び範囲）を検出する。
　そして、個別マップ生成部３２は、画像個別マップの登録領域のうちの、撮影領域に対応する領域に対して、撮影画像を用いて設定したコストを区分領域ごとに登録する。
　ここで、画像個別マップに登録されたコストのうち、ドローン１１で撮影された撮影画像を用いて設定されたコストは、その撮影画像に映る領域が、ドローン１１で再び撮影されるまで維持され、更新されない（但し、撮影画像に映る領域が、監視カメラ１３等で撮影されている場合を除く）。
　したがって、例えば、所定の領域において、花火大会や、お祭り、スポーツの大会等の人が集まるイベントが開催されている場合に、その所定の領域を、ドローン１１が撮影することによって、コストが高に設定され、画像個別マップに登録されたときには、イベントが終了し、所定の領域に人混みが存在しなくなった後、ドローン１１が、その所定の領域付近を飛行して、再び撮影しないと、画像個別マップにおいて、コストが高に登録されたままとなる。
　そこで、画像個別マップにおいて、ドローン１１（等の移動体）の撮影画像を用いて設定されたコストについては、最新のコストの登録から一定期間経過した場合に、コストを初期値にリセットするリセット処理を行うことができる。コストの初期値としては、例えば、危険性が最も低いことを表す値や、コストが未定であることを表す値等を採用することができる。
　以上のように、リセット処理を行うことで、イベントが終了し、人混みが存在しなくなっても、画像個別マップにおいて、コストが高に登録されたままとなることを防止することができる。
　ところで、画像個別マップにおいて、ドローン１１の撮影画像を用いて設定されたコストを、最新のコストの登録から一定期間経過したタイミングで、初期値にリセットする場合には、最新のコストの登録から一定期間経過すると、イベントが継続しており、人混みが存在していても、ドローン１１の撮影画像を用いて設定されたコストがリセットされる。
　しかしながら、イベントが継続し、人混みが存在している場合に、その人混みが存在する領域に対するコストがリセットされることは、望ましくない。
　そこで、個別マップ生成部３２では、イベント情報を用いて、画像個別マップに登録された、イベント開催中のイベント領域に対するコストのリセットを制限することができる。
　図８は、イベント開催中のイベント領域に対するコストのリセットの制限を説明する図である。
　例えば、個別マップ生成部３２は、イベント情報を用い、イベントが開催されているイベント領域を特定する。さらに、個別マップ生成部３２は、直前に生成された画像個別マップにおいて、イベント開催中のイベント領域以外の非イベント領域に対するコストだけを対象として、最新のコストの登録から一定期間が経過した領域に対するコストをリセットする。
　これにより、イベント開催中のイベント領域に対するコストが、画像個別マップに登録されてから一定期間経過後にリセットされることを防止すること、すなわち、イベント開催中のイベント領域に対するコストのリセットを制限することができる。
　なお、個別マップ生成部３２は、イベント情報を用いて、イベント領域に対するコストをリセットすることができる。例えば、個別マップ生成部３２は、イベント情報を用いて、イベント領域で開催されているイベントの開催が終了する終了日時を特定することができる。そして、個別マップ生成部３２は、終了日時が経過したタイミングで、画像個別マップにおいて、イベントの開催が終了したイベント領域に対するコストをリセットすることができる。
　個別マップ生成部３２での画像個別マップの生成又は更新の処理は、例えば、以下のようになる。
　個別マップ生成部３２は、最新の撮影画像を用いて、人混みを検出し、人混みの検出結果を用いて、人混み領域を表す人混み情報を生成する。
　個別マップ生成部３２は、人混み情報を用いて、最新の撮影画像に映る撮影領域に対して区分領域ごとにコストを設定する。
　個別マップ生成部３２は、イベント情報を用いて、直前に生成された画像個別マップにおいて、非イベント領域に登録されたコストだけを対象として、最新のコストの登録から一定期間が経過した領域のコストを初期値にリセットするリセット処理を行う。
　リセット処理を、非イベント領域に登録されたコストだけを対象として行うことにより、イベントが開催中で、人混みが存在する可能性がある領域に対して登録されたコストがリセットされることを防止することができる。
　個別マップ生成部３２は、リセット処理後の画像個別マップに登録されたコストのうちの、最新の撮影画像を用いて最新のコストが設定された領域に対するコストを、最新の撮影画像を用いて設定された最新のコストに更新することにより、最新の画像個別マップを生成する（画像個別マップを更新する）。
　すなわち、個別マップ生成部３２は、リセット処理後の画像個別マップに登録されたコストのうちの、最新の撮影画像を用いて最新のコストが設定された区分領域のコストに、最新の撮影画像を用いて設定された最新のコストを上書きで登録することにより、最新の画像個別マップを生成する。
　なお、個別マップ生成部３２では、イベント情報を用いて、そのイベント情報に対する個別のコストマップであるイベント情報個別マップを生成することができる。例えば、個別マップ生成部３２は、イベント情報を用いて、イベント領域を、人混み領域として特定し、イベント領域に対して、そのイベント領域の面積に応じて、コストを設定することができる。そして、個別マップ生成部３２は、イベント領域に対するコストをコストマップに登録し、イベント情報個別マップを生成することができる。
　イベント情報個別マップは、画像個別マップ、位置情報個別マップ、及び、気象情報個別マップとともに、統合部３５での統合マップの生成に用いることができる。
　＜位置情報個別マップの生成＞
　図９は、個別マップ生成部３３での位置情報個別マップの生成の例を説明する図である。
　個別マップ生成部３３は、スマートフォン５１の位置情報を用いて、人混みを検出し、人混み情報を生成する。
　例えば、個別マップ生成部３３は、スマートフォン５１の位置情報が表す位置を、人が存在する位置として、所定の密度以上の人の集まりを、人混みとして検出する。
　個別マップ生成部３３は、スマートフォン５１からの位置情報から人混みが検出された場合、その人混みが存在する人混み領域を検出し、その人混み領域を表す人混み情報を生成する。
　さらに、個別マップ生成部３３は、人混み情報を用いて、人混み情報が表す人混み領域に対して、その人混み領域をドローン１１が通過する危険性を表すコストを設定する。個別マップ生成部３３において、コストの設定は、個別マップ生成部３２と同様に行うことができる。
　個別マップ生成部３３は、人混み領域に対するコストを設定すると、そのコストを、コストマップに登録することで、位置情報個別マップを生成する。
　個別マップ生成部３３によれば、例えば、ドローン１１や監視カメラ１３で撮影されていない（撮影することができない）領域について、人混みを検出し、その領域を通過する危険性を表すコストを設定して、そのコストが登録されたコストマップとしての位置情報個別マップを生成することができる。
　個別マップ生成部３３での位置情報個別マップの生成又は更新の処理は、例えば、以下のようになる。
　個別マップ生成部３３は、スマートフォン５１の最新の位置情報を用いて、人混みを検出し、人混みの検出結果を用いて、人混み情報を生成する。
　個別マップ生成部３３は、最新の位置情報を用いて生成された人混み情報を用いて、位置情報個別マップの登録領域に対して区分領域ごとにコストを設定する。
　個別マップ生成部３３は、直前に生成された位置情報個別マップのコストをリセットし、最新の位置情報を用いて設定されたコストを、位置情報個別マップに上書きで登録することにより、最新の位置情報個別マップを生成する（位置情報個別マップを更新する）。
　＜気象情報個別マップの生成＞
　図１０は、個別マップ生成部３４での気象情報個別マップの生成の例を説明する図である。
　個別マップ生成部３４は、ドローン１１で計測された気象情報を用いて、その気象情報が計測されたドローン１１の位置を含む領域、例えば、ドローン１１で撮影された撮影画像に映る撮影領域に対して、その撮影領域をドローン１１が通過する危険性を表すコストを設定する。
　例えば、個別マップ生成部３４は、気象情報が表す風速に応じて、その風速の閾値処理により、撮影領域に対するコストを設定する。
　例えば、コストとして、危険性が高い順に、高、中、低の３段階のコストを採用することとするとともに、風速の２つの閾値として、第１の風速閾値と、第１の風速閾値より大きい第２の風速閾値とを採用することとする。
　気象情報が表す風速が、第１の風速閾値以下である場合、コストは低に設定される。気象情報が表す風速が、第１の風速閾値より大きく、第２の風速閾値以下である場合、コストは中に設定される。気象情報が表す風速が、第２の風速閾値より大きい場合、コストは高に設定される。
　なお、気象情報を用いたコストの設定では、風速の他、雨量や天気（晴れ、雨、雪等）等をも用いて、コストを設定することができる。
　個別マップ生成部３４は、撮影領域に対するコストを設定すると、そのコストを、コストマップに登録することで、気象情報個別マップを生成する。
　気象情報個別マップについては、画像個別マップについて行うのと同様のリセット処理を行うことができる。
　個別マップ生成部３４での気象情報個別マップの生成又は更新の処理は、例えば、以下のようになる。
　個別マップ生成部３４は、最新の気象情報を用いて、気象情報個別マップの登録領域に対して（区分領域ごとに）コストを設定する。
　個別マップ生成部３４は、直前に生成された気象情報個別マップのコストをリセットし、最新の気象情報を用いて設定されたコストを、気象情報個別マップに上書きで登録することにより、最新の気象情報個別マップを生成する（気象情報個別マップを更新する）。
　又は、個別マップ生成部３４は、直前に生成された気象情報個別マップにおいて、最新の気象情報を用いて最新のコストが設定された区分領域のコストに、最新の気象情報を用いて設定された最新のコストを上書きで登録することにより、最新の気象情報個別マップを生成する。
　以上のように、気象情報を用いて、気象情報個別マップを生成することにより、天候の影響を考慮した経路計画を生成することが可能となる。
　＜最終マップの生成＞
　図１１は、統合部３５での最終マップの生成の例を説明する図である。
　統合部３５は、画像個別マップ、位置情報個別マップ、及び、気象情報個別マップを統合し、最終的なコストマップである統合マップを生成する。
　統合部３５は、統合マップの登録領域を区分した区分領域ごとに、画像個別マップ、位置情報個別マップ、及び、気象情報個別マップに登録されたコストから、最も高いコスト（危険性がより高いことを表すコスト）を選択することにより、画像個別マップ、位置情報個別マップ、及び、気象情報個別マップ（に登録されたコスト）を統合する。
　すなわち、統合部３５は、統合マップの登録領域を区分した区分領域ごとに、画像個別マップ、位置情報個別マップ、及び、気象情報個別マップに登録されたコストから、最も高いコストを選択し、統合マップに登録する。
　以上のように、複数のモーダルの情報としての、例えば、撮影画像、スマートフォン５１の位置情報、及び、気象情報それぞれに対する画像個別マップ、位置情報個別マップ、及び、気象情報個別マップを統合することにより、例えば、ドローン１１及び監視カメラ１３で撮影される撮影画像に映る撮影領域は勿論、撮影領域以外の領域をも含む広範囲の領域に対して、精度が高い有意なコストが登録された統合マップを得ることができる。その結果、より安全に飛行が可能な経路計画を生成することができる。
　＜UTM１０の処理の他の例＞
　図１２ないし図１４は、図３のUTM１０の処理の他の例を説明するフローチャートである。
　ここで、ドローン１１及び監視カメラ１３から送信される撮影画像に映る撮影領域は、その撮影画像が撮影されたときのドローン１１及び監視カメラ１３の位置付近の領域であり、画像個別マップとしてのコストマップの登録領域の一部である。このため、ドローン１１及び監視カメラ１３から撮影画像が送信されるごとに、画像個別マップの全体を生成し直すこととすると、手間がかかる。
　そこで、画像個別マップについては、直前に更新又は生成された画像個別マップの登録領域のうちの、ドローン１１及び監視カメラ１３から送信されてきた最新の撮影画像に映る領域の中で、既存の撮影画像を用いて得られるコストから値が変化した領域、例えば、最新の撮影画像を用いて得られるコストが変化した領域に対するコストだけを更新することができる。
　画像個別マップ（のコスト）の更新は、ドローン１１又は監視カメラ１３から撮影画像が送信されてくるたびに行う他、ドローン１１及び監視カメラ１３から送信されてくる撮影画像を保存し、一定周期で（定期的に）、その周期に保存された撮影画像（一定期間に取得された撮影画像）を用いて行うことができる。又は、画像個別マップの更新は、ドローン１１及び監視カメラ１３から送信されてくる撮影画像を保存し、不定期に、画像個別マップの直前の更新からいままでに保存された撮影画像（一定期間に取得された撮影画像）を用いて行うことができる。
　ドローン１１から送信される気象情報を用いて生成又は更新される気象情報個別マップについても、画像個別マップと同様に生成又は更新することができる。
　スマートフォン５１から送信される位置情報を用いて生成又は更新される位置情報個別マップについては、位置情報個別マップの登録領域内に存在するスマートフォン５１から一斉に位置情報を取得することができる。
　そこで、位置情報個別マップの更新は、画像個別マップや気象情報個別マップのように、コストが変化した領域に対するコストだけを更新するのではなく、位置情報個別マップの登録領域の全体に対するコストを更新することにより、効率的に行うことができる。
　図１２は、UTM１０が画像個別マップについて行う処理の例を示すフローチャートである。
　ステップＳ３１において、UTM１０では、コストマップ生成部２１の情報受信部３１が、ドローン１１及び監視カメラ１３から撮影画像が送信されてくるのを待って、その撮影画像を非同期で受信して、個別マップ生成部３２に供給し、処理は、ステップＳ３２に進む。
　ステップＳ３２では、個別マップ生成部３２は、情報受信部３１からの撮影画像を、内蔵する図示せぬメモリに保存し、処理は、ステップＳ３３に進む。
　ステップＳ３３では、個別マップ生成部３２は、現在が画像個別マップを更新する更新タイミングであるかどうかを判定する。
　ステップＳ３３において、現在が更新タイミングでないと判定された場合、例えば、前回の画像個別マップの更新から所定の期間が経過していない場合、処理は、ステップＳ３１に戻り、以下、同様の処理を繰り返す。
　また、ステップＳ３３において、現在が更新タイミングであると判定された場合、例えば、前回の画像個別マップの更新から所定の期間が経過した場合、処理は、ステップＳ３４に進む。
　ステップＳ３４では、個別マップ生成部３２は、前回の画像個別マップの更新後からいままでにメモリに記憶された撮影画像を用いて、画像個別マップを更新し、統合部３５に供給して、処理は、ステップＳ３５に進む。
　ステップＳ３５では、統合部３５は、個別マップ生成部３２から供給された最新の画像個別マップ、個別マップ生成部３３から供給された最新の位置情報個別マップ、及び、個別マップ生成部３４から供給された最新の気象情報個別マップを統合して、最終的なコストマップとしての統合マップを生成する。そして、統合部３５は、統合マップを、経路計画部２２に供給して、処理は、ステップＳ３５からステップＳ３６に進む。
　ステップＳ３６では、経路計画部２２が、経路計画の生成又は生成し直しが必要であるかどうかを判定する。
　ステップＳ３６において、経路計画の生成及び生成し直しが必要でないと判定された場合、処理は、ステップＳ３１に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ３３において、経路計画の生成又は生成し直しが必要であると判定された場合、処理は、ステップＳ３７に進む。
　ステップＳ３７では、経路計画部２２は、統合部３５からの最新の最終マップとしてのコストマップを用いて、経路計画を生成し、処理は、ステップＳ３８に進む。
　ステップＳ３８では、経路計画部２２は、直前のステップＳ３７で生成された経路計画をドローン１１に送信する。そして、処理は、ステップＳ３８からステップＳ３１に戻り、以下、同様の処理が繰り返される。
　図１３は、UTM１０が気象情報個別マップについて行う処理の例を示すフローチャートである。
　ステップＳ４１において、UTM１０では、コストマップ生成部２１の情報受信部３１が、ドローン１１から気象情報が送信されてくるのを待って、その気象情報を非同期で受信して、個別マップ生成部３４に供給し、処理は、ステップＳ４２に進む。
　ステップＳ４２では、個別マップ生成部３４は、情報受信部３１からの気象情報を、内蔵する図示せぬメモリに保存し、処理は、ステップＳ４３に進む。
　ステップＳ４３では、個別マップ生成部３４は、現在が気象情報個別マップを更新する更新タイミングであるかどうかを判定する。
　ステップＳ４３において、現在が更新タイミングでないと判定された場合、例えば、前回の気象情報個別マップの更新から所定の期間が経過していない場合、処理は、ステップＳ４１に戻り、以下、同様の処理を繰り返す。
　また、ステップＳ４３において、現在が更新タイミングであると判定された場合、例えば、前回の気象情報個別マップの更新から所定の期間が経過した場合、処理は、ステップＳ４４に進む。
　ステップＳ４４では、個別マップ生成部３４は、前回の気象情報個別マップの更新後からいままでにメモリに記憶された気象情報を用いて、気象情報個別マップを更新し、統合部３５に供給して、処理は、ステップＳ４５に進む。
　ステップＳ４５ないしＳ４８では、図１２のステップＳ３５ないしＳ３８とそれぞれ同様の処理が行われる。
　図１４は、UTM１０が位置情報個別マップについて行う処理の例を示すフローチャートである。
　ステップＳ５１において、UTM１０では、コストマップ生成部２１の情報受信部３１が、定期的又は不定期に、位置情報個別マップの登録領域内に存在する各スマートフォン５１に位置情報を要求する。情報受信部３１は、位置情報の要求に応じてスマートフォン５１から送信されてくる位置情報を受信することにより、位置情報個別マップの登録領域内に存在する各スマートフォン５１の位置情報をまとめて取得する。
　以上のような、位置情報個別マップの登録領域内に存在する各スマートフォン５１の位置情報の取得は、例えば、google社のグーグルマップのように、スマートフォン５１の位置情報をまとめて取得するAPI(Application Programming Interface)を利用して行うことができる。
　情報受信部３１は、位置情報個別マップの登録領域に存在する各スマートフォン５１の位置情報を、個別マップ生成部３３に供給して、処理は、ステップＳ５１からステップＳ５２に進む。
　ステップＳ５２では、個別マップ生成部３３は、直前のステップＳ５１で取得した位置情報を用いて、位置情報個別マップを更新し、統合部３５に供給して、処理は、ステップＳ５３に進む。
　ステップＳ５３ないしＳ５６では、図１２のステップＳ３５ないしＳ３８とそれぞれ同様の処理が行われる。
　以上、本技術を適用したUTM１０について説明したが、UTM１０の機能は、例えば、ドローン１１に搭載することができる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述した一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図１５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。例えば、UTM１０のハードウエア構成としては、図１５のコンピュータを採用することができる。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
　CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
　これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
　なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　人混み情報を用いて、領域を通過する危険性を表すコストマップを生成するコストマップ生成部
　を備える情報処理装置。
　＜２＞
　前記コストマップ生成部は、画像を用いて、人混みを検出し、前記人混み情報を生成する
　＜１＞に記載の情報処理装置。
　＜３＞
　前記コストマップ生成部は、前記画像を用いて、人を検出し、前記人の検出結果を用いて、前記人混みを検出する
　＜２＞に記載の情報処理装置。
　＜４＞
　前記画像は、移動体に搭載されたカメラで撮影された画像、又は、監視カメラの画像である
　＜２＞又は＜３＞に記載の情報処理装置。
　＜５＞
　前記移動体は、UAV(Unmanned aerial vehicle)である
　＜４＞に記載の情報処理装置。
　＜６＞
　前記コストマップ生成部は、一定期間に取得された画像を用いて、前記コストマップを生成する
　＜２＞ないし＜５＞のいずれかに記載の情報処理装置。
　＜７＞
　前記コストマップ生成部は、前記コストマップにおいて、既存の画像を用いて得られるコストから変化した領域に対するコストを更新する
　＜２＞ないし＜６＞のいずれかに記載の情報処理装置。
　＜８＞
　前記コストマップ生成部は、人混みが存在する人混み領域の実世界の面積又は画像上の面積に応じて、前記人混み領域に対するコストを設定する
　＜１＞ないし＜７＞のいずれかに記載の情報処理装置。
　＜９＞
　前記コストマップ生成部は、携帯端末の位置情報を用いて、人混みを検出し、前記人混み情報を生成する
　＜１＞ないし＜８＞のいずれかに記載の情報処理装置。
　＜１０＞
　前記コストマップ生成部は、定期的に又は不定期に、前記コストマップを生成する
　＜１＞ないし＜９＞のいずれかに記載の情報処理装置。
　＜１１＞
　前記コストマップ生成部は、コストの登録から一定期間が経過した領域に対するコストをリセットする
　＜１０＞に記載の情報処理装置。
　＜１２＞
　前記コストマップ生成部は、人が集まるイベントに関するイベント情報を用い、前記コストマップにおいて、イベントが開催されているイベント領域以外の非イベント領域に対するコストだけを対象として、コストの登録から一定期間が経過した領域に対するコストをリセットする
　＜１１＞に記載の情報処理装置。
　＜１３＞
　前記コストマップ生成部は、気象情報をさらに用いて、前記コストマップを生成する
　＜１＞ないし＜１０＞のいずれかに記載の情報処理装置。
　＜１４＞
　前記コストマップ生成部は、人が集まるイベントに関するイベント情報をさらに用いて、前記コストマップを生成する
　＜１＞ないし＜１３＞のいずれかに記載の情報処理装置。
　＜１５＞
　前記コストマップ生成部は、
　前記人混み情報が得られる情報を少なくとも含む複数種類のモーダルの情報それぞれに対して、個別のコストマップである個別マップを生成し、
　前記複数種類のモーダルの情報それぞれに対する前記個別マップを統合し、最終的なコストマップを生成する
　＜１＞に記載の情報処理装置。
　＜１６＞
　前記複数種類のモーダルの情報は、画像、又は、携帯端末の位置情報を含み、
　前記コストマップ生成部は、前記画像、又は、前記携帯端末の位置情報を用いて、人混みを検出し、前記人混み情報を生成する
　＜１５＞に記載の情報処理装置。
　＜１７＞
　前記コストマップ生成部は、前記複数種類のモーダルの情報それぞれに対する前記個別マップに登録されたコストから、危険性が最も高いことを表すコストを選択することにより、前記個別マップを統合する
　＜１６＞に記載の情報処理装置。
　＜１８＞
　前記コストマップを用いて、移動体の経路計画を生成する経路計画部をさらに備える
　＜１＞ないし＜１７＞のいずれかに記載の情報処理装置。
　＜１９＞
　人混み情報を用いて、領域を通過する危険性を表すコストマップを生成する
　ことを含む情報処理方法。
　＜２０＞
　人混み情報を用いて、領域を通過する危険性を表すコストマップを生成するコストマップ生成部
　として、コンピュータを機能させるためのプログラム。
　１０　UTM，　１１　ドローン，　１３　監視カメラ，　２１　コストマップ生成部，　２２　経路計画部，　３１　情報受信部，　３２ないし３４　個別マップ生成部，　３５　統合部，　５１　スマートフォン，　５２　webサーバ，　９０１　バス，　９０２　CPU，　９０３　ROM，　９０４　RAM，　９０５　ハードディスク，　９０６　出力部，　９０７　入力部，　９０８　通信部，　９０９　ドライブ，　９１０　入出力インタフェース，　９１１　リムーバブル記録媒体

Claims (20)

  1. 　人混み情報を用いて、領域を通過する危険性を表すコストマップを生成するコストマップ生成部
    　を備える情報処理装置。
  2. 　前記コストマップ生成部は、画像を用いて、人混みを検出し、前記人混み情報を生成する
    　請求項１に記載の情報処理装置。
  3. 　前記コストマップ生成部は、前記画像を用いて、人を検出し、前記人の検出結果を用いて、前記人混みを検出する
    　請求項２に記載の情報処理装置。
  4. 　前記画像は、移動体に搭載されたカメラで撮影された画像、又は、監視カメラの画像である
    　請求項２に記載の情報処理装置。
  5. 　前記移動体は、UAV(Unmanned aerial vehicle)である
    　請求項４に記載の情報処理装置。
  6. 　前記コストマップ生成部は、一定期間に取得された画像を用いて、前記コストマップを生成する
    　請求項２に記載の情報処理装置。
  7. 　前記コストマップ生成部は、前記コストマップにおいて、既存の画像を用いて得られるコストから変化した領域に対するコストを更新する
    　請求項２に記載の情報処理装置。
  8. 　前記コストマップ生成部は、人混みが存在する人混み領域の実世界の面積又は画像上の面積に応じて、前記人混み領域に対するコストを設定する
    　請求項１に記載の情報処理装置。
  9. 　前記コストマップ生成部は、携帯端末の位置情報を用いて、人混みを検出し、前記人混み情報を生成する
    　請求項１に記載の情報処理装置。
  10. 　前記コストマップ生成部は、定期的に又は不定期に、前記コストマップを生成する
    　請求項１に記載の情報処理装置。
  11. 　前記コストマップ生成部は、コストの登録から一定期間が経過した領域に対するコストをリセットする
    　請求項１０に記載の情報処理装置。
  12. 　前記コストマップ生成部は、人が集まるイベントに関するイベント情報を用い、前記コストマップにおいて、イベントが開催されているイベント領域以外の非イベント領域に対するコストだけを対象として、コストの登録から一定期間が経過した領域に対するコストをリセットする
    　請求項１１に記載の情報処理装置。
  13. 　前記コストマップ生成部は、気象情報をさらに用いて、前記コストマップを生成する
    　請求項１に記載の情報処理装置。
  14. 　前記コストマップ生成部は、人が集まるイベントに関するイベント情報をさらに用いて、前記コストマップを生成する
    　請求項１に記載の情報処理装置。
  15. 　前記コストマップ生成部は、
    　前記人混み情報が得られる情報を少なくとも含む複数種類のモーダルの情報それぞれに対して、個別のコストマップである個別マップを生成し、
    　前記複数種類のモーダルの情報それぞれに対する前記個別マップを統合し、最終的なコストマップを生成する
    　請求項１に記載の情報処理装置。
  16. 　前記複数種類のモーダルの情報は、画像、又は、携帯端末の位置情報を含み、
    　前記コストマップ生成部は、前記画像、又は、前記携帯端末の位置情報を用いて、人混みを検出し、前記人混み情報を生成する
    　請求項１５に記載の情報処理装置。
  17. 　前記コストマップ生成部は、前記複数種類のモーダルの情報それぞれに対する前記個別マップに登録されたコストから、危険性が最も高いことを表すコストを選択することにより、前記個別マップを統合する
    　請求項１６に記載の情報処理装置。
  18. 　前記コストマップを用いて、移動体の経路計画を生成する経路計画部をさらに備える
    　請求項１に記載の情報処理装置。
  19. 　人混み情報を用いて、領域を通過する危険性を表すコストマップを生成する
    　ことを含む情報処理方法。
  20. 　人混み情報を用いて、領域を通過する危険性を表すコストマップを生成するコストマップ生成部
    　として、コンピュータを機能させるためのプログラム。
PCT/JP2020/048723 2020-01-08 2020-12-25 情報処理装置、情報処理方法、及び、プログラム WO2021140953A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/789,752 US20230043836A1 (en) 2020-01-08 2020-12-25 Information processing apparatus, information processing method, and program
CN202080091743.8A CN114930124A (zh) 2020-01-08 2020-12-25 信息处理装置、信息处理方法和程序
EP20911736.5A EP4089365A4 (en) 2020-01-08 2020-12-25 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP2021570016A JPWO2021140953A1 (ja) 2020-01-08 2020-12-25

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-001591 2020-01-08
JP2020001591 2020-01-08

Publications (1)

Publication Number Publication Date
WO2021140953A1 true WO2021140953A1 (ja) 2021-07-15

Family

ID=76788443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/048723 WO2021140953A1 (ja) 2020-01-08 2020-12-25 情報処理装置、情報処理方法、及び、プログラム

Country Status (5)

Country Link
US (1) US20230043836A1 (ja)
EP (1) EP4089365A4 (ja)
JP (1) JPWO2021140953A1 (ja)
CN (1) CN114930124A (ja)
WO (1) WO2021140953A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180038695A1 (en) * 2016-08-04 2018-02-08 Qualcomm Incorporated Generating Crowd-Sourced Navigation Data
JP2018185596A (ja) 2017-04-25 2018-11-22 株式会社日立製作所 情報提供装置及び情報提供方法
JP2019031164A (ja) * 2017-08-07 2019-02-28 日本電気株式会社 離発着装置、離発着装置の制御方法、およびプログラム
JP2019121056A (ja) * 2017-12-28 2019-07-22 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法、およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8538675B2 (en) * 2009-06-01 2013-09-17 Raytheon Company Non-kinematic behavioral mapping
US11048927B2 (en) * 2017-10-24 2021-06-29 Waymo Llc Pedestrian behavior predictions for autonomous vehicles
US10688662B2 (en) * 2017-12-13 2020-06-23 Disney Enterprises, Inc. Robot navigation in context of obstacle traffic including movement of groups

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180038695A1 (en) * 2016-08-04 2018-02-08 Qualcomm Incorporated Generating Crowd-Sourced Navigation Data
JP2018185596A (ja) 2017-04-25 2018-11-22 株式会社日立製作所 情報提供装置及び情報提供方法
JP2019031164A (ja) * 2017-08-07 2019-02-28 日本電気株式会社 離発着装置、離発着装置の制御方法、およびプログラム
JP2019121056A (ja) * 2017-12-28 2019-07-22 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4089365A4

Also Published As

Publication number Publication date
EP4089365A4 (en) 2023-07-19
EP4089365A1 (en) 2022-11-16
JPWO2021140953A1 (ja) 2021-07-15
US20230043836A1 (en) 2023-02-09
CN114930124A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
US10708548B2 (en) Systems and methods for video analysis rules based on map data
KR102191445B1 (ko) 필수 이미지 및 위치 캡처 시스템 및 방법
US11378718B2 (en) Unmanned aerial vehicle system and methods
US11365014B2 (en) System and method for automated tracking and navigation
AU2018388887B2 (en) Image based localization for unmanned aerial vehicles, and associated systems and methods
KR101793509B1 (ko) 작물 모니터링을 위하여 무인 비행체의 자동 경로 산정을 통한 원격 관측 방법 및 그 시스템
US10687024B2 (en) Systems and methods for coordinated collection of street-level image data
ES2758558T3 (es) Sistema de gestión de plataforma móvil en tiempo real
US20140316614A1 (en) Drone for collecting images and system for categorizing image data
CN104118561B (zh) 一种基于无人机技术的大型濒危野生动物监测的方法
US20200004272A1 (en) System and method for intelligent aerial inspection
CN106210647A (zh) 基于航拍构建基站覆盖区域全景影像的方法及系统
CN110720198A (zh) 用于电子围栏的系统和方法
US20210357620A1 (en) System, moving object, and information processing apparatus
CN111754551A (zh) 目标跟踪方法、装置、系统、设备及存储介质
WO2021140953A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
KR101793840B1 (ko) 실시간 관광 영상 제공 장치 및 방법
US20120307003A1 (en) Image searching and capturing system and control method thereof
KR20210113520A (ko) 교량 점검용 드론 시스템
JP2021165787A (ja) 地図更新システム、データ送信装置、およびデータ送信方法
KR101948792B1 (ko) 증강 현실을 이용한 무인 항공기 운용 방법 및 장치
KR20150006752A (ko) 회전익 구조체를 이용한 공중관측 지형자료 구축 방법 및 그 시스템
JP7295320B1 (ja) 情報処理装置、プログラム、システム、及び情報処理方法
KR102418175B1 (ko) 우주 물체 정보 제공 시스템 및 우주 물체 정보 제공 방법
CN118092465A (zh) 一种无人机航行控制方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20911736

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021570016

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020911736

Country of ref document: EP

Effective date: 20220808