WO2022138181A1 - 地上システムおよびその画像処理方法 - Google Patents

地上システムおよびその画像処理方法 Download PDF

Info

Publication number
WO2022138181A1
WO2022138181A1 PCT/JP2021/045250 JP2021045250W WO2022138181A1 WO 2022138181 A1 WO2022138181 A1 WO 2022138181A1 JP 2021045250 W JP2021045250 W JP 2021045250W WO 2022138181 A1 WO2022138181 A1 WO 2022138181A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
satellite
image
ground station
feature amount
Prior art date
Application number
PCT/JP2021/045250
Other languages
English (en)
French (fr)
Inventor
卓 青木
竜太 佐藤
至 清水
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US18/257,532 priority Critical patent/US20240048671A1/en
Publication of WO2022138181A1 publication Critical patent/WO2022138181A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04Large scale networks; Deep hierarchical networks
    • H04W84/06Airborne or Satellite Networks

Definitions

  • the present technology relates to a ground system and its image processing method, and particularly to a ground system capable of efficiently acquiring data from an artificial satellite and its image processing method.
  • the artificial satellite can communicate with the ground station (ground base station) only for a few minutes or tens of minutes while passing over the ground station. Therefore, when downlinking a large amount of data, the downlink may not be completed due to insufficient communication time or communication band.
  • This technology was made in view of such a situation, and makes it possible to efficiently acquire data from artificial satellites.
  • the ground system of one aspect of the present technology is an image processing that requests transmission of additional data related to the partial data from the artificial satellite to the ground station based on the analysis result of the partial data of the satellite image taken by the artificial satellite. It has a part.
  • the ground system is based on the analysis result of the partial data of the satellite image taken by the artificial satellite, and the additional data related to the partial data is the ground station from the artificial satellite. Request to send to.
  • the ground system is required to transmit additional data related to the partial data from the artificial satellite to the ground station based on the analysis result of the partial data of the satellite image taken by the artificial satellite.
  • the ground system may be an independent device, an internal block constituting one device, or a plurality of devices.
  • FIG. 1 is a block diagram showing a configuration example of a satellite image processing system according to an embodiment to which the present technology is applied.
  • the satellite image processing system 1 in FIG. 1 is a system that analyzes the ground conditions based on satellite images taken by one or more artificial satellites 21 (hereinafter, simply referred to as satellite 21).
  • the satellite 21 is an earth observation satellite and has at least a function of photographing the ground with a mounted camera.
  • the satellite operating company has a satellite management device 11 that manages a plurality of satellites 21, and a plurality of ground stations (ground base stations) 13 that communicate with the satellites 21.
  • the satellite management device 11 and a part of the plurality of ground stations 13 may be devices owned by other than the satellite operating company.
  • the satellite management device 11 and the plurality of ground stations 13 are connected to each other via a predetermined network 12.
  • FIG. 1 shows an example in which the number of ground stations 13 is three, that is, ground stations 13A to 13C, but the number of ground stations 13 is arbitrary.
  • the satellite management device 11 manages a plurality of satellites 21 owned by the satellite operating company. Specifically, the satellite management device 11 acquires related information from the information providing servers 14 of one or more external organizations as necessary, and determines the operation plan of the plurality of satellites 21 owned by the satellite management device 11. Then, the satellite management device 11 causes the predetermined satellite 21 to perform imaging by transmitting an imaging instruction to the predetermined satellite 21 via the ground station 13 in response to the customer's request. Further, the satellite management device 11 acquires, displays, or stores a satellite image transmitted from the satellite 21 via the ground station 13.
  • the satellite management device 11 can also perform predetermined image processing on the satellite image taken by the satellite 21.
  • the satellite management device 11 performs the following image processing, for example.
  • (1) Generation of metadata It is possible to generate metadata based on the information transmitted from the satellite 21 and the information of the satellite 21 in which the image was taken. For example, information on the latitude and longitude of the shooting target position, information on attitude control and acceleration during shooting of the satellite 21, and the like can be generated as metadata.
  • Satellite image correction processing Radiometric correction related to sensitivity characteristics, geometric correction such as orbital position and attitude error of satellite 21, orthophoto correction for correcting geometric distortion caused by height difference of terrain, to map projection surface It is possible to perform correction processing such as map projection to project the image of.
  • Color composition processing Performs color composition processing such as pan sharpening processing, true color composition processing, false color composition processing, natural color composition processing, SAR image composition processing, and processing for adding color to satellite images for each band. be able to.
  • Other image composition Satellite images taken by satellite 21 owned by the satellite operating company in the past, satellite images taken by satellite 21 owned by another satellite operating company, composition with some other image, different bands It is also possible to combine satellite images taken with the above, and to combine with map information.
  • Information extraction To calculate vegetation detection information such as NDVI (Normalized Difference Vegetation Index) and water detection information such as NDWI (Normalized Difference Water Index) using different bands such as R (Red) and IR (Infrared). Can be done.
  • an object is a vehicle (even if the image does not immediately indicate that the object is a vehicle, if what is on the road is not a pattern but a three-dimensional object, it can be determined. Can be presumed to be a vehicle).
  • Difference measurement It is possible to extract the change between the first time and the second time by using a plurality of satellite images taken from the same position with a time difference. In addition, imaging may be performed such that only the changed object is extracted and colored. Further, for example, the moving speed of a ship or a vehicle can be calculated by using a plurality of satellite images, or the wind speed can be calculated from the movement of clouds or the like.
  • the image processing of the satellite image may be performed by an image analysis company other than the satellite operating company, and in this case, the satellite image to be analyzed is provided to the server (image analysis server) of the image analysis company. Further, even when the satellite operating company performs image processing of the satellite image, an image analysis server may be provided separately from the satellite management device 11 to analyze the image there.
  • the network 12 is an arbitrary communication network, may be a wired communication network, may be a wireless communication network, or may be configured by both of them.
  • the network 12 is, for example, an Internet, a public telephone network, a wide area communication network for wireless mobiles such as so-called 4G lines and 5G lines, WAN (WideAreaNetwork), LAN (LocalAreaNetwork), and Bluetooth (registered trademark) standards.
  • Wireless communication network that communicates in compliance with, NFC (Near Field Communication) and other short-range wireless communication channels, infrared communication channels, HDMI (registered trademark) (High-Definition Multimedia Interface) and USB (Universal Serial Bus) ), Etc. can be any communication standard such as a wired communication network or a communication path.
  • the network 12 may be configured by one communication network or may be configured by a plurality of communication networks.
  • the ground station 13 communicates with a predetermined satellite 21 designated by the satellite management device 11 via an antenna under the control of the satellite management device 11. For example, the ground station 13 transmits a photographing instruction for photographing a predetermined place (area) on the ground to a predetermined satellite 21. Further, the ground station 13 receives the satellite image transmitted from the satellite 21 and supplies it to the satellite management device 11 via the network 12.
  • the transmission from the ground station 13 to the satellite 21 is also referred to as an uplink, and the transmission from the satellite 21 to the ground station 13 is also referred to as a downlink.
  • the ground station 13 can directly communicate with the satellite 21 and can also communicate with the relay satellite 22. As the relay satellite 22, for example, a geostationary satellite is used.
  • the information providing server 14 installed in the external organization supplies predetermined related information to the satellite management device 11 via a predetermined network in response to a request from the satellite management device 11 or periodically.
  • the related information provided from the information providing server 14 includes, for example, the following. For example, it is possible to obtain satellite orbit information (hereinafter referred to as TLE information) described in TLE (Two Line Elements) format from NORAD (North American Aerospace Defense Command) as an external organization as related information. can. Further, for example, it is possible to acquire weather information such as the weather and cloud cover at a predetermined point on the earth from a weather information providing company as an external organization.
  • TLE information satellite orbit information
  • NORAD North American Aerospace Defense Command
  • Each satellite 21 may be operated by a single machine or by multiple machines.
  • a plurality of satellites 21 operated by a plurality of aircraft constitute one satellite group 23.
  • satellites 21A and 21B are operated as a single unit, and satellites 21C and 21D form one satellite group 23A.
  • FIG. 1 for the sake of simplicity, an example in which one satellite group 23 is composed of two satellites 21 is shown, but the number of satellites 21 constituting one satellite group 23 is two. Not limited.
  • constellation and formation flight as a system that operates a plurality of satellites 21 as one unit (satellite group 23).
  • Constellation is a system that deploys services mainly globally by launching a large number of satellites 21 into a single orbital plane. Even a single satellite has a predetermined function, and a plurality of satellites 21 are operated for the purpose of improving the observation frequency.
  • the formation flight is a system in which a plurality of satellites 21 deploy while maintaining a relative positional relationship in a narrow area of about several kilometers. Formation flight can provide services that cannot be realized by a single satellite, such as high-precision 3D measurement and speed detection of moving objects. In this embodiment, it does not matter whether the operation of the satellite group is a constellation or a formation flight.
  • the ground station 13 communicates with each satellite 21, the method of directly communicating with the satellite 21 such as satellite 21A and satellite 21B, and the satellite 21C and satellite which are other satellites 21 such as satellite 21D.
  • the method of indirectly communicating includes communication via the relay satellite 22. Which method the satellite 21 communicates with the ground station 13 may be predetermined by the satellite 21 or may be appropriately selected according to the content of the communication.
  • the satellite 21 which is an observation satellite photographs a predetermined point on the ground based on an imaging instruction from the satellite management device 11.
  • the captured satellite image is temporarily stored in the satellite 21, then transmitted to the ground station 13 and transferred to the hygiene management device 11.
  • FIG. 2 is a schematic diagram illustrating a basic sequence for acquiring satellite images.
  • the satellite 21 receives a shooting instruction from the ground station 13 when it passes over the predetermined ground station 13.
  • the shooting instruction includes, for example, a shooting date and time, a shooting point, a camera setting value, and the like. In the example of FIG. 2, it is assumed that a shooting instruction targeting the area AR is transmitted.
  • the satellite 21 shoots at the shooting point in the sky above the area AR based on the shooting instruction. By shooting, a satellite image including the area AR is generated and stored inside. After that, the satellite 21 transmits (downlinks) the stored satellite image to the ground station 13 when passing over the predetermined ground station 13.
  • the processing executed by the satellite management device 11 and the ground station 13 can be appropriately shared and executed between the satellite management device 11 and the ground station 13, and the satellite management device 11 and the ground station 13 can be executed.
  • 13 is collectively referred to as a ground system 15.
  • step S11 the satellite management device 11 determines the imaging requirements of the satellite 21 based on the customer's request.
  • the satellite management device 11 determines the shooting date and time, the shooting point, the environmental conditions for shooting, the camera setting value, and the like as shooting requirements.
  • the environmental conditions for shooting include, for example, weather conditions such as the amount of clouds on the shooting date and time
  • the camera setting values include, for example, resolution (resolution), zoom, shutter speed, sensitivity, aperture, and the like.
  • step S12 the satellite management device 11 determines the satellite 21 and the ground station 13 (ground station 13) that meet the imaging requirements.
  • the satellite management device 11 selects the satellite 21 that meets the determined imaging requirements. For example, whether the shooting target position passes over the shooting target position at the determined shooting date and time, the shooting target position is within the observation width of the satellite 21, or the shooting device (camera) mounted on the satellite 21 determines the resolution and determination.
  • the satellite 21 is determined by determining whether or not the required camera setting value is satisfied. Then, a ground station 13 suitable for communicating with the selected satellite 21 is determined.
  • step S13 the ground system 15 directs the antenna of the ground station 13 that transmits a shooting instruction to the assumed orbit.
  • the satellite management device 11 transmits the orbit information of the selected satellite 21 to the ground station 13, and the ground station 13 directs the antenna with respect to the assumed orbit.
  • step S14 the ground system 15 transmits (uplinks) a shooting instruction to the selected satellite 21.
  • the satellite management device 11 transmits a command for transmitting a shooting instruction to the selected ground station 13, and the ground station 13 that has received the command transmits the shooting instruction to the selected satellite 21 via an antenna.
  • the shooting instruction includes the shooting date and time, the shooting point, the camera setting value, and the like.
  • step S31 the satellite 21 receives the shooting instruction from the ground station 13, and in step S32, the satellite 21 transmits the reception completion to the ground station 13.
  • step S15 the ground station 13 receives the completion of reception from the satellite 21 and stops the transmission of the shooting instruction.
  • the transmission of the photographing instruction from the ground station 13 is repeatedly executed until there is a response from the satellite 21 that the reception is completed.
  • the satellite 21 performs a shooting preparation process based on the received shooting instruction in step S33.
  • the satellite 21 controls the posture of the satellite 21 or the orientation of the photographing device (pointing) so that the photographing device faces the position to be photographed as needed.
  • the satellite 21 sets the zoom, shutter speed, sensitivity, aperture, and the like of the mounted imaging device. Further, the satellite 21 is charged in advance so that sufficient electric power can be obtained at the shooting date and time.
  • the satellite 21 shoots the shooting target position in step S34.
  • the satellite 21 In step S35, the satellite 21 generates metadata that is information associated with the satellite image, which is an image obtained as a result of photographing, and adds it to the satellite image.
  • the satellite 21 can generate information such as a group ID for identifying the satellite group 23, an individual ID for identifying the satellite 21, a shooting target position (position of a subject), a shooting time, and the like as metadata.
  • step S36 the satellite 21 transmits (downlinks) the satellite image with the metadata added to the ground station 13.
  • the downlink may be performed immediately after the satellite image and the metadata are generated, or may be performed when the predetermined range of the predetermined ground station 13 is reached. Further, the satellite image may be transmitted via the relay satellite 22.
  • the ground station 13 receives the satellite image transmitted from the satellite 21 in step S16.
  • the received satellite image is supplied to the satellite management device 11 via the network 12.
  • step S17 the satellite management device 11 analyzes the metadata of the satellite image.
  • the satellite management device 11 may newly generate metadata based on the analysis result and add it.
  • the satellite management device 11 calculates the satellite position at the time of photographing based on the group ID and individual ID of the satellite image and the orbit information of the satellite 21, and adds it as metadata.
  • step S18 the satellite management device 11 performs predetermined image processing on the satellite image.
  • the satellite management device 11 performs, for example, correction processing such as distortion correction, image composition processing such as color composition processing, and the like.
  • the satellite management device 11 stores the satellite image after image processing in a predetermined storage unit.
  • the satellite management device 11 may transmit the satellite image after image processing to a device (server) owned by the customer.
  • the ground station 13 may perform the metadata analysis and image processing described as being performed by the satellite management device 11.
  • the metadata analysis and the image processing of the satellite image can be appropriately shared and executed between the satellite management device 11 and the ground station 13 according to the content of the processing and the like.
  • the metadata is added to the satellite image and transmitted, but the metadata may be transmitted as a stream different from the satellite image.
  • First satellite data transmission processing> By the way, in recent years, the performance of the camera mounted on the satellite 21 has been improved, and high-quality images have been obtained, and along with this, the data of the satellite image has also increased.
  • the satellite 21 can communicate with the ground station 13 only for a few minutes to several tens of minutes when the satellite 21 passes over the ground station 13, except for inter-satellite communication. Therefore, if the satellite image data captured by the satellite 21 is transmitted as it is, it may not be transmitted to the ground in one pass due to the data capacity being too large or the communication band being insufficient.
  • one pass represents a unit of communication that can be regarded as a continuation between the satellite 21 and the ground station 13, and for example, the satellite 21 passing over the sky communicates with a predetermined ground station 13 on the ground. It corresponds to a series of communications performed during the communicable period from entering the range to exiting.
  • the satellite image data can be transmitted as it is according to the basic sequence described above, but if it cannot be transmitted to the ground in one pass, it is necessary on the ground. It is required to efficiently transmit the above data.
  • the satellite image processing system 1 of FIG. 1 efficiently transmits a satellite image based on a dynamic request from the ground station 13 as shown in FIG.
  • FIG. 4 shows a flow of data transmission in the first satellite data transmission process executed by the satellite image processing system 1 of FIG.
  • Each of the three satellite images SD1 to SD3 may be a still image or a moving image.
  • the satellite 21 generates partial data PD1 to PD3 of each of the three satellite images SD1 to SD3 and downlinks them to the ground station 13.
  • the ground station 13 detects whether there is insufficient data based on the received partial data PD1 to PD3.
  • the ground station 13 sets additional partial data (hereinafter referred to as additional data) for supplementing the missing data when there is missing data. For example, the ground station 13 determines that the partial data PD2 among the partial data PD1 to PD3 is insufficient in data, and sets the additional data AD2.
  • Ground station 13 requests additional data AD2 from satellite 21.
  • the satellite 21 receives the request for additional data from the ground station 13, and generates the additional data AD2 from the satellite image SD2.
  • the satellite 21 downlinks the generated additional data AD2 to the ground station 13.
  • the ground station 13 receives the additional data AD2 received from the satellite 21.
  • the ground station 13 analyzes the satellite image SD2 by using a plurality of partial data acquired from the satellite 21, that is, the initial partial data PD2 and the additional data AD2. If it is determined that the additional data is still necessary even after the additional data AD2 is acquired, the above-mentioned processes (3) to (5) are repeated.
  • the satellite image SD1 is analyzed using only the partial data PD1
  • the satellite image SD3 is analyzed using only the partial data PD3.
  • the first satellite data transmission process for efficient data transmission will be further described with reference to the flowchart of FIG.
  • the process of FIG. 5 is a process started after the satellite 21 receives a shooting instruction from the ground station 13.
  • step S51 when the satellite 21 reaches a predetermined shooting point based on the shooting instruction from the ground station 13, the satellite 21 shoots the shooting target position.
  • the process of step S51 may be performed a plurality of times before the next step S71 is executed.
  • the satellite image obtained here before reduction or thinning is referred to as complete data of the satellite image in comparison with the partial data.
  • step S71 the ground station 13 transmits a partial data request requesting partial data of the satellite image obtained by photographing to the satellite 21.
  • step S52 the satellite 21 receives the partial data request from the ground station 13 and executes the partial data generation process for generating the partial data of the satellite image. Then, in step S53, the satellite 21 transmits the generated partial data to the ground station 13 as a response to the partial data request from the ground station 13.
  • step S72 the ground station 13 receives the partial data transmitted from the satellite 21 and executes a missing data detection process for detecting whether or not the received partial data is insufficient.
  • This missing data detection process is one of the analysis processes for analyzing partial data.
  • the ground station 13 compares the current partial data acquired now with the partial data acquired in the past, and is more precise when there is a difference between the partial data and the past partial data. It is determined that additional data is needed for analysis, that is, there is missing data.
  • the ground station 13 when the recognition of an object such as a vehicle reflected in a satellite image is executed as the data analysis process of step S78 described later, the ground station 13 has the partial data acquired now and the partial data in the past. If there is no difference between them, it is judged that there is no missing data because the past fine data can be diverted. Further, for example, when the detection of the vegetation state of a farm or the like reflected in the satellite image is executed as the data analysis process of step S78 described later, the ground station 13 has a difference between the partially acquired partial data and the past partial data. If there is no missing data, it is determined that there is no missing data, and if there is a difference, additional data is required to acquire precise data and reconstruct the vegetation map, that is, it is determined that there is missing data. ..
  • the ground station 13 executes a recognition process for partial data as a missing data detection process, and determines that more precise additional data is required, that is, there is missing data based on the result of the recognition process. ..
  • the ground station 13 executes an object recognition process such as a vehicle reflected in a satellite image as a missing data detection process, and adds more precisely when the reliability of the recognition process is low in the partial data. It is determined that data is needed, that is, there is missing data. Further, for example, the ground station 13 detects the vegetation status of the farm or the like reflected in the satellite image as the insufficient data detection process, and if the estimation accuracy of the vegetation status is low, more precise additional data is required, that is, , Judge that there is missing data.
  • an object recognition process such as a vehicle reflected in a satellite image as a missing data detection process
  • step S73 the ground station 13 determines whether or not there is insufficient data as a result of the missing data detection process, and if it is determined that there is insufficient data, the process proceeds to step S74. On the other hand, if it is determined that there is no missing data, the process proceeds to step S78, which will be described later.
  • step S73 If it is determined in step S73 that there is insufficient data, the ground station 13 executes additional data setting processing for setting additional data related to the partial data in step S74, and downlinks the additional data in step S75. Sends an additional data request to satellite 21. Specific examples of the partial data generation process and the additional data setting process will be described later with reference to FIGS. 6 to 9 and the like.
  • step S54 the satellite 21 receives an additional data request from the ground station 13 and executes an additional data generation process for generating additional data. Then, the satellite 21 transmits the generated additional data in step S55 to the ground station 13 as a response to the additional data request.
  • step S76 the ground station 13 receives the additional data transmitted from the satellite 21 and executes a data integration process for integrating the first acquired partial data and the subsequently acquired additional data.
  • step S77 the ground station 13 determines whether the integrated data obtained by integrating the partially acquired partial data and the additional data acquired thereafter is sufficient for data analysis.
  • the process of this step S77 is the same as the missing data detection process for determining whether or not there is missing data.
  • step S77 If it is determined in step S77 that the data is not yet sufficient for analysis, the process returns to step S74, and the processes of steps S74 to S77 described above are repeated. That is, the ground station 13 further requests and acquires additional data related to the partial data.
  • step S77 determines whether it is sufficient to perform data analysis. If it is determined in step S77 that it is sufficient to perform data analysis, the process proceeds to step S78, and the ground station 13 performs data analysis processing using the partial data or integrated data acquired from the satellite 21. Run. The result of the data analysis process is stored in the storage unit and transmitted to the customer.
  • the partial data of the satellite image obtained by photographing is transmitted to the ground station 13, and it is determined that the partial data is insufficient. If so, additional data related to the partial data is dynamically requested and acquired from the satellite 21. As a result, only the data required for data analysis is transmitted between the satellite 21 and the ground station 13, so that the communication time and the amount of data can be suppressed, and the data can be transmitted efficiently. can.
  • the ground station 13 can efficiently acquire data.
  • the series of processes described with reference to FIG. 5 may be performed in one pass or may be divided into a plurality of passes.
  • the communication between the satellite 21 and the ground station 13 is carried out in (A) communication for acquiring partial data (steps S71 and S53) and (B) from the ground station 13 to the satellite 21.
  • Request for additional data to (step S75), (C) Downlink of additional data from satellite 21 to ground station 13 (step S55) can be roughly divided into (A), (B), and (C). It may be done on a path, or (A) may be executed on the first path, and (B) and (C) may be executed on the next path.
  • (A) and (B) may be executed in the first pass, and (C) may be executed in the second pass.
  • the first pass and the next pass may be, for example, hours or days later.
  • the partial data generation process for generating the partial data of the satellite image will be described with reference to FIGS. 6 to 9.
  • the satellite image ST1 shown in A of FIG. 6 is an image obtained by photographing the satellite 21.
  • the satellite 21 generates partial data ST2 by executing a reduction process on the satellite image ST1 as shown in B of FIG. 6 as a partial data generation process.
  • the reduction processing is, for example, low resolution processing for reducing the resolution of the satellite image ST1, low frame rate processing for reducing the frame rate, low bit length processing for reducing the bit length, and the like, and the data amount of the satellite image ST1 is reduced.
  • the additional data set as the additional data setting process is, for example, data (image) having a higher resolution, frame rate, or bit length than the partial data ST2.
  • the entire partial data specify a part of the partial data instead of the data with a higher resolution, frame rate, or bit length, and only that area, the resolution, frame rate, or bit length. It may be data with a high value.
  • the satellite 21 generates the partial data ST3 by executing the subsample extraction process for the satellite image ST1 as shown in C of FIG. 6 as the partial data generation process.
  • FIG. 7 shows an example of partial data generated by the subsample extraction process.
  • the subsample extraction process is a process of generating an image (subsample image) with pixels obtained by thinning out a high resolution image according to a predetermined rule, and different pixels are sampled between subsample images having different resolutions.
  • the subsample images ST21, ST22, ST23, and ST24 as partial data are generated by performing the subsample extraction process on the satellite image ST1 of FIG.
  • the resolution increases in the order of subsample images ST21, ST22, ST23, and ST24 (ST21 ⁇ ST22 ⁇ ST23 ⁇ ST24).
  • the satellite 21 transmits the subsample image ST21 to the satellite image ST1 as partial data to be transmitted to the ground station 13 first. Then, when the satellite 21 receives the additional data request, the satellite 21 transmits the subsample images whose resolutions are gradually increased, such as the subsample images ST22, ST23, and ST24, to the ground station 13 as additional data.
  • each of the subsample images ST21 to ST24 the pixels (subsample phase) extracted as the subsample image are shown by hatching (hatched lines). Pixels with dots indicate pixels transmitted in the previous subsample image.
  • Data integration that integrates multiple subsample images (partial data) acquired in multiple times by configuring the subsample images so that the extracted pixels are different between the subsample images with different resolutions in this way.
  • the processing is executed, the data acquired in the past does not become redundant, so the data can be acquired more efficiently, and the data analysis processing using the integrated image can be executed with high accuracy. Can be done.
  • the recognition process using a plurality of subsample images will be described later with reference to FIGS. 21 to 31.
  • FIG. 8 shows an example of low-resolution images ST21, ST22, ST23, and ST24 as comparative examples.
  • the low resolution images ST31, ST32, ST33, and ST34 are images generated by simply thinning out the resolutions of the satellite image ST1 such as 1/8, 1/4, 1/2.
  • the satellite 21 transmits a low-resolution image ST31 to the satellite image ST1 as partial data to be first transmitted to the ground station 13. Then, when the satellite 21 receives the additional data request, the satellite 21 transmits a low-resolution image whose resolution is gradually increased, such as the low-resolution images ST32, ST33, and ST34, to the ground station 13 as additional data.
  • the pixels with dots indicate the pixels transmitted in the subsample images before that.
  • the low-resolution image transmitted as partial data next includes the pixels of the low-resolution image transmitted before that, so that the data is duplicated and the data transmitted in the past is wasted. become.
  • the data can be transmitted with high efficiency.
  • the relationship between the partial data and the additional data with respect to the number of shots may be, for example, any of the following.
  • the partial data may be the subsample image ST21 of FIG. 7, and the additional data may be the subsample image ST22 of FIG. 7. can. This is particularly effective when the communicable time with the ground station 13 is short.
  • the index data for each 10,000 images will be used as partial data for downlink. can do.
  • the index data may be a thumbnail image or an image of a part of a specific area of the satellite image.
  • the additional data can be complementary data for each of 10,000 images, for example, a subsample image.
  • the additional data can be complete data of a predetermined number (for example, 5) out of 10,000 sheets.
  • FIG. 9 shows another example of the partial data generation process.
  • the satellite 21 generates partial data PT1 by executing a feature amount conversion process for converting the satellite image ST1 into a predetermined feature amount as shown in A of FIG. 9 as a partial data generation process.
  • a feature amount conversion process for converting the satellite image ST1 into a predetermined feature amount as shown in A of FIG. 9 as a partial data generation process.
  • the amount of information can be reduced by converting to feature amount.
  • the data obtained by FFT-converting the satellite image ST1 and converting it into the frequency domain may be used as partial data PT1.
  • the data converted to the frequency domain has the advantage that there are few artifacts in the decoded image.
  • the satellite 21 may execute the object recognition process as the feature amount conversion process on the satellite image ST1 and use the object recognition result as the partial data PT1.
  • the recognition result of the object By using the recognition result of the object as the feature amount, the amount of information can be significantly reduced.
  • both the feature amount conversion process and the subsample extraction process described above may be executed.
  • the satellite 21 executes a feature amount conversion process on the satellite image ST1 and further executes a subsample extraction process on the partial data PT1 obtained as a result. Then, the partial data PT2 obtained as a result of the subsample extraction process is transmitted to the ground station 13. The order of the feature amount conversion process and the subsample extraction process may be reversed.
  • FIG. 10 shows a functional block diagram of a ground station 13 and a satellite 21 that perform efficient transmission of data using the above-mentioned partial data.
  • the ground station 13 includes a control unit 81, an image processing unit 82, a communication unit 83, a storage unit 84, an operation unit 85, and a display unit 86.
  • the control unit 81 controls the operation of the entire ground station 13 by executing the program stored in the storage unit 84. For example, the control unit 81 controls transmission of a shooting instruction to a predetermined satellite 21 designated by the satellite management device 11, and reception of a satellite image and its partial data transmitted from the satellite 21.
  • the image processing unit 82 performs image processing related to the satellite image transmitted from the satellite 21. Specifically, the image processing unit 82 performs a missing data detection process for detecting whether the partial data transmitted from the satellite 21 is missing, and additional data for setting additional data when it is determined that there is missing data. It performs setting processing, data integration processing that integrates the partially acquired partial data and additional data acquired after that, and data analysis processing that performs data analysis using the integrated data. In addition, the image processing unit 82 performs predetermined image processing on the satellite image, for example, metadata generation processing for adding predetermined metadata to the captured image, correction processing such as distortion correction of the captured image, and image composition such as color composition processing. It also processes.
  • the communication unit 83 performs predetermined communication with the satellite management device 11 via the network 12 and also communicates with the satellite 21 according to the instruction of the control unit 81. For example, the communication unit 83 receives partial data or complete data of the satellite image transmitted from the satellite 21.
  • the storage unit 84 stores data such as partial data of satellite images, data analysis processing results, motion control programs, and the like in accordance with the instructions of the control unit 81.
  • the operation unit 85 is composed of, for example, a keyboard, a mouse, a touch panel, etc., receives commands and data input based on user (operator) operations, and supplies them to the control unit 81.
  • the display unit 86 is composed of, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display.
  • the display unit 86 displays a satellite image received from the satellite 21, a result of data analysis processing, a communication result with the satellite 21, and the like.
  • the satellite 21 includes an antenna AT, a satellite communication unit 61, a photographing device 62, a control unit 63, an image processing unit 64, and a storage unit 65.
  • the configuration of the satellite 21 is mainly for functions related to images, and although not shown, the satellite 21 controls the attitude of a propulsion device such as a solid-state motor or an ion engine and the position of the satellite 21. It also has GPS receivers, starter rackers (attitude sensors), acceleration sensors, sensors such as gyro sensors, and power supplies such as batteries and solar cell panels.
  • the satellite communication unit 61 receives a data request indicating a shooting instruction and a request for partial data transmitted from the satellite 21, and also receives image data of an image taken by the shooting device 62 and image data of an image taken by the shooting device 62. State data indicating the state of the satellite 21 at the time of shooting is transmitted to the ground station 13 via the antenna AT.
  • the photographing device 62 is composed of, for example, a camera module including an image sensor (optical sensor), and photographs an object under the control of the control unit 63.
  • the photographing device 62 is composed of a radar device.
  • the sensitivity / shutter speed, resolution, monochrome / color, band (wavelength range), etc. of the image sensor mounted on the photographing device 62 differ depending on the application and size of the satellite 21.
  • the photographing apparatus 62 may include a plurality of image sensors such as an R (Red) and IR (Infrared) multispectral camera and a monochrome and color (RGB).
  • the control unit 63 controls the operation of the entire satellite 21.
  • the control unit 63 causes the imaging device 62 to perform imaging based on the imaging instruction from the ground station 13.
  • the control unit 63 causes the satellite communication unit 61 to transmit the satellite image obtained by photographing and its partial data, or instructs the image processing unit 64 to generate partial data based on an additional data request from the ground station 13. do.
  • the image processing unit 64 performs a process of generating partial data from the satellite image obtained by the image pickup device 62 based on the control of the control unit 63. Further, the image processing unit 64 performs predetermined image processing on the satellite image, for example, metadata generation processing for adding predetermined metadata to the satellite image, correction processing such as distortion correction of the satellite image, and image synthesis such as color composition processing. Perform processing etc.
  • the storage unit 65 stores the control program and parameters executed by the control unit 63. Further, the storage unit 65 stores complete data, partial data, and the like of the satellite image obtained by photographing as necessary, and supplies the data to the satellite communication unit 61 or the control unit 63.
  • the ground station 13 and the satellite 21 having the above configuration can perform the above-mentioned first satellite data transmission process.
  • the above-mentioned first satellite data transmission process has been described as an example in which the ground station 13 directly communicates with the satellite 21 that generated the satellite image, but the satellite that transmits the data via another satellite 21.
  • the first satellite data transmission process can also be applied when inter-communication is performed.
  • the first satellite 21 takes a picture in real time and transfers it to the second satellite 21 using intersatellite communication, and the second satellite 21 downlinks to the ground station 13, the real-time data transfer is performed. Since it is required, where the limitation of the band becomes large, the data can be efficiently transmitted to the ground station 13 by transmitting the above-mentioned partial data and transmitting additional data as needed.
  • the satellite 21 has different types such as monochrome / color and R / IR.
  • different image sensors it is possible to perform a process of requesting partial data and additional data for satellite images of each of the plurality of image sensors.
  • ⁇ Application example of the first satellite data transmission process> A specific application example of the first satellite data transmission process will be described.
  • -Low-resolution NDVI images showing vegetation status are downlinked as partial agricultural data.
  • the ground station 13 detects a singular region exceeding a specific threshold value in a low-resolution NDVI image, and requests a high-resolution version of the NDVI image of only that region as additional data.
  • the ground station 13 sets and requests data in another wavelength region (band) as additional data as additional data setting processing. This enables highly accurate analysis.
  • partial data includes data to the extent that the position of a ship can be barely known, and data of a feature amount to which only the position of a ship can be known.
  • the ground station 13 collates with AIS (Automatic Identification System) information indicating the position of the ship, and uses the collation result (recognition result) to add high-resolution images only to the place where the ship does not exist in the AIS information. Set as and request. This makes it possible to further analyze only suspicious areas.
  • AIS Automatic Identification System
  • Second satellite data transmission process Next, the second satellite data transmission process will be described.
  • the satellite 21 In the first satellite data transmission process described above, the satellite 21 generates partial data in response to a dynamic request from the ground station 13 based on the satellite image obtained by photographing the ground, and the ground station 13 Downlink to. Downlinking is usually limited to a predetermined period of time passing over the ground station 13.
  • the satellite 21 holds the satellite image until the satellite 21 reaches the sky above the ground station 13 that can be downlinked. It is necessary to keep it, which puts pressure on the resources (storage) of the satellite 21.
  • FIG. 11 shows the flow of data transmission in the second satellite data transmission process executed by the satellite image processing system 1 of FIG.
  • the satellite 21 photographs the area to be photographed on the ground. Shooting may be for visualization or for recognition.
  • the satellite 21 executes a feature amount generation process for generating a feature amount of the satellite image from the satellite image obtained by photographing, and stores the feature amount data obtained as a result in the storage unit 65.
  • the satellite 21 When shooting is for visualization purposes, the satellite 21 generates and stores a feature amount that facilitates image restoration processing and the like.
  • the satellite 21 When the imaging is for recognition purposes, the satellite 21 generates and stores a feature amount that does not reduce the recognition accuracy.
  • the generated features need not be images.
  • the ground station 13 requests the feature amount data from the satellite 21 when the satellite 21 passes over the ground station 13.
  • the satellite 21 receives the feature amount data request from the ground station 13 and downlinks the feature amount data (feature amount information) stored in the storage unit 65 to the ground station 13.
  • the ground station 13 analyzed the satellite image using the downlink partial data (including additional data), but in the second satellite data transmission process, the satellite was used. 21 stores and downlinks the data converted into the feature amount data necessary for the analysis in advance on the premise of the analysis processing of the satellite image in the ground station 13. As a result, the resources (storage) of the satellite 21 can be efficiently used, and data transmission between the satellite 21 and the ground station 13 can be efficiently performed.
  • the satellite 21 stores only the feature amount data in the storage unit 65, and does not store (erase) the original data, that is, the satellite image itself obtained by photographing.
  • the ground station 13 acquires the feature amount data of the satellite image of the image target area on the ground from the satellite 21, and uses the acquired feature amount data and the complementation data (complementary information) to perform the complementation data. Generates complete data (complete information) that is.
  • the supplementary data is data already possessed by the ground station 13 at the time of acquisition of the feature amount data. It is the information before the time when the image was taken).
  • a in FIG. 12 is an example of feature amount data when photographing is for visualization purposes, and the image ST31 obtained by performing a predetermined compression process on the satellite image ST1 which is an optical satellite image is used as the feature amount data of the satellite image.
  • An example to generate is shown.
  • an image compression technique such as JPEG or MPEG used for moving images or still images can be adopted.
  • FIG. 12 are examples of feature amount data when photography is for recognition purposes.
  • the satellite 21 may execute a feature amount conversion process for converting the satellite image ST1 into a predetermined feature amount, store the feature amount data obtained as a result, and downlink the result. can.
  • the feature amount conversion process for example, CNN (Convolutional Neural Network), which is a kind of deep learning process for an image, can be adopted.
  • CNN Convolutional Neural Network
  • the calculated value of the convolutional layer or the pooling layer of the CNN can be stored as a feature amount.
  • the feature amount may be a value obtained by further reducing the bit length or resolution of the calculated value of the convolution layer or pooling layer of the CNN.
  • a machine learning prediction process that predictively outputs a predetermined feature amount with a reduced amount of data by inputting a satellite image may be adopted.
  • the information amount can be compressed (reduced), and the information that is lost in the feature amount conversion for visualization is recognized. It can be memorized by the feature amount conversion of.
  • the ground station 13 enables high-precision or various recognition processes based on the feature amount. However, the required feature amount differs depending on the recognition task performed by the ground station 13, and if the feature amount transmitted from the satellite 21 is different from the feature amount required by the ground station 13, the recognition accuracy may decrease. .. Further, when the feature amount required by the ground station 13 is unknown, it may be necessary to generate and store a plurality of feature amounts and transmit the feature amount to the ground station 13.
  • the feature amount conversion process may be a process for extracting the feature amount of the satellite image.
  • the ground station 13 executes the recognition process of recognizing the vehicle reflected in the satellite image as the subject to be recognized, the feature quantity for identifying the area to be recognized by the satellite image, for example, the position with the past satellite image.
  • the feature amount for alignment and alignment of stitch processing with the satellite image of the adjacent area can be stored as feature amount data.
  • vector information of a specific subject such as a characteristic terrain, a road, or a building is extracted as a feature amount for image alignment.
  • the satellite 21 can extract the difference between a plurality of satellite images acquired with a time difference and store the amount of change of a specific subject, the amount of change on the ground surface, and the like as feature quantity data.
  • information regarding the movement of the satellite 21 in a predetermined movement direction can be extracted as a feature amount and stored as feature amount data.
  • the position of the satellite 21 can be detected by TLE information, positioning by GPS signal, direct observation from the ground using laser or optical means, etc., but the movement of the satellite 21 itself detected by these methods can be detected. After taking into account (after canceling), it is possible to store the amount of change of a specific subject in the satellite image, the amount of change of the ground surface, etc. as feature quantity data.
  • Information based on the movement of the satellite 21 itself and the addition of other features may be stored as feature data. By extracting these information as feature quantities in advance, satellite image data can be efficiently stored and transmitted to the ground station 13.
  • the satellite 21 is a camera that shoots in different bands such as R and IR
  • the feature amount data extracted from the satellite images for each band and a plurality of satellite images of each band are integrated and obtained.
  • the feature amount data extracted from the image can be stored and transmitted to the ground station 13.
  • the satellite 21 executes a feature amount conversion process for converting the satellite image ST1 into a predetermined feature amount, and executes a recognition process for the feature amount obtained as a result.
  • the metadata of the recognition result can be stored as feature amount data and can be downlinked. For example, a recognition result such as "how many cars" is stored as feature data from a satellite image on the ground and is downlinked.
  • the ground station 13 When the metadata of the recognition result is stored as feature amount data and transmitted to the ground station 13, the amount of information can be significantly compressed (reduced), and the information that is lost in the feature amount conversion for visualization is saved. Can be kept. However, since the recognition process is a process registered in advance, the ground station 13 cannot perform high-precision or various recognition processes.
  • the satellite 21 executes the process of generating the partial data necessary for analysis, which is executed by the ground station 13 in the above-mentioned first satellite data transmission process, as the feature amount generation process, and the generated partial data (additional data). Can be stored as feature amount data and transmitted to the ground station 13.
  • FIG. 13 a second satellite data transmission process executed by the satellite 21 side with the process of generating partial data as the feature amount generation process will be described.
  • the process of FIG. 13 is started after the satellite 21 receives the photographing instruction from the ground station 13.
  • step S91 when the satellite 21 reaches a predetermined shooting point based on the shooting instruction from the ground station 13, the satellite 21 shoots the shooting target position.
  • the process of step S91 may be performed a plurality of times before the next step S92 is executed.
  • Imaging provides complete data of satellite images.
  • step S92 the satellite 21 executes a data reduction process of reducing the amount of data by converting the complete data of the satellite image into predetermined feature amount data.
  • the data reduction process for example, the feature amount generation process described with reference to FIG. 12 can be executed.
  • the same process as the partial data generation process for generating partial data which is executed in step S52 of the first satellite data transmission process described with reference to FIG. 5, may be executed as the data reduction process.
  • step S93 the satellite 21 executes the recognition process using the feature amount data generated by the data reduction process.
  • This recognition process is a process of executing the recognition process assumed by the ground station 13 in advance and confirming in advance whether or not the feature amount data with the reduced data amount can be recognized.
  • this process is a process of executing the recognition process assumed by the ground station 13 in advance and detecting whether or not there is a shortage in the feature amount data scheduled to be downlink, and is the first process described with reference to FIG. This is the same as the missing data detection process executed in step S72 of the satellite data transmission process.
  • step S94 the satellite 21 determines whether the generated feature amount data is sufficient for the recognition process as a result of the recognition process. If it is determined in step S94 that the feature amount data is sufficient for the recognition process, the process proceeds to step S100, which will be described later.
  • step S94 determines whether the feature amount data is not sufficient data for the recognition process. If it is determined in step S94 that the feature amount data is not sufficient data for the recognition process, the process proceeds to step S95, and the satellite 21 executes an additional data setting process for setting additional feature amount data.
  • step S96 an additional data generation process for generating additional feature amount data is executed.
  • step S97 the satellite 21 executes a data integration process for integrating the feature amount data first generated and the additional feature amount data generated thereafter.
  • step S98 the satellite 21 determines whether the integrated feature amount data is sufficient for the recognition process.
  • the process of step S98 is the same as the determination process of step S94 described above.
  • the process of step S98 may be determined after performing the same recognition process as step S93, if necessary.
  • step S98 If it is determined in step S98 that the integrated feature amount data is not sufficient data for the recognition process, the process proceeds to step S99, and the satellite 21 determines whether re-imaging is necessary. For example, if sufficient recognition results cannot be obtained from the generated feature data due to insufficient resolution of the satellite image, no matter how much feature data is generated based on the current satellite image, the recognition result can be improved. There is a limit. In such a case, it is necessary to change the resolution (increase the resolution) and retake the picture. Alternatively, if it is determined by the recognition process that the details of a specific area of the current satellite image are necessary, it is necessary to re-zoom to the specific area.
  • step S99 If it is determined in step S99 that re-shooting is necessary, the process returns to step S91, and the process after step S91 described above is executed again. That is, shooting of the shooting target position and generation of predetermined feature amount data from the satellite image obtained by shooting are executed.
  • step S99 determines whether re-shooting is necessary. If it is determined in step S99 that re-shooting is not necessary, the process returns to step S95, and the processes after step S95 described above are executed again. That is, the generation of additional feature amount data, the data integration process between the generated feature amount data and the previously generated feature amount data, and the like are executed.
  • step S98 determines whether the integrated feature amount data is sufficient data for the recognition process. If it is determined in step S98 described above that the integrated feature amount data is sufficient data for the recognition process, the process proceeds to step S100, and the satellite 21 saves the generated feature amount data.
  • step S121 the ground station 13 transmits a feature data request requesting feature data to the satellite 21 at the timing when the satellite 21 passes over itself.
  • step S101 the satellite 21 receives the feature amount data request from the ground station 13, and in response, transmits the feature amount data stored in the storage unit 65 to the ground station 13.
  • step S122 the ground station 13 receives the feature amount data transmitted from the satellite 21, and executes the complete data generation process based on the received feature amount data and the complementary data, and completes the analysis process. Generate data.
  • the supplementary data is stored in advance in the ground station 13.
  • step S123 the ground station 13 executes a data analysis process for performing an analysis based on the generated complete data for the analysis process.
  • the result of the data analysis process is stored in the storage unit 84 and transmitted to the customer.
  • the ground station 13 receives from the satellite 21 the number of vehicles as a result of recognizing and processing a certain analysis target area as feature amount data.
  • the ground station 13 acquires, for example, the number of vehicles in the past in the same analysis target area as complementary data, and generates complete data for analysis processing.
  • the ground station 13 acquires, for example, information about commercial facilities in the same analysis target area, information about roads and buildings, etc. as supplementary data, and generates complete data for analysis processing.
  • the ground station 13 analyzes the fluctuation of the traffic volume in the analysis target area on the day when the satellite 21 takes a picture.
  • the satellite 21 performs the recognition processing corresponding to the insufficient data detection processing executed by the ground station 13 in the above-mentioned first satellite data transmission processing. It is executed, the feature amount data required for the recognition process is predicted and stored in advance, and is transmitted to the ground station 13.
  • the satellite image which is the original data of the feature data, is not saved.
  • the ground station 13 enables high-precision or various recognition processes based on the feature amount. However, the required feature amount differs depending on the recognition task performed by the ground station 13, and if the feature amount transmitted from the satellite 21 is different from the feature amount required by the ground station 13, the recognition accuracy may decrease. .. Further, when the feature amount required by the ground station 13 is unknown, it may be necessary to generate and store a plurality of feature amounts and transmit the feature amount to the ground station 13.
  • the recognition process for recognizing insufficient data executed by the satellite 21 may be a lightweight and general-purpose process for indirectly recognizing feature data required for data analysis, or a recognizer generated by machine learning. It may be a process of directly extracting the feature amount data necessary for recognition by using the above.
  • the lightweight and general-purpose recognition process is a process of recognizing whether or not the resolution is insufficient based on the recognition process score and determining that a high-resolution satellite image is necessary, it is directly performed.
  • the recognition process can be a recognition process by a recognizer that explicitly outputs a required resolution, for example, an image size (number of pixels), a frame rate, a bit length, and the like.
  • the second satellite data transmission process if the feature amount data required for the recognition process cannot be obtained from the satellite image acquired first, the imagery is taken again and the feature amount is based on the satellite image taken under the new imaging conditions. Data can be prepared. As a result, the data required for the recognition process can be efficiently acquired and transmitted.
  • Each of the ground station 13 and the satellite 21 that execute the second satellite data transmission processing can be realized by the configuration shown in FIG. 10, and the processing performed by the image processing unit 82 of the ground station 13 in the first satellite data transmission processing can be realized.
  • the image processing unit 64 of the satellite 21 executes the process.
  • ⁇ Application example of the second satellite data transmission process> A specific example in which the satellite 21 executes the recognition process and generates the feature amount data in the second satellite data transmission process will be described.
  • -Agricultural satellite 21 executes the detection of vegetation status such as NDVI as a recognition process, and obtains data showing singular points in NDVI images and the like, for example, data in which singular patterns suggesting the occurrence of pests are detected. It can be stored and transmitted as data. Data showing a feature state satisfying a certain criterion, such as data in which a peculiar pattern is detected in an NDVI image or the like, can also be used as feature amount data.
  • the ocean satellite 21 can execute a process of detecting the position of a ship as a recognition process for a satellite image taken of a certain area of the ocean, and can store and transmit the recognition result as feature data.
  • the satellite 21 can detect the distribution of seawater temperature by recognition processing and store and transmit the recognition result as feature amount data.
  • data showing a characteristic state satisfying a certain criterion such as data in which a peculiar pattern is detected in the distribution of the seawater temperature itself or the distribution of the amount of change, can also be used as the feature amount data.
  • -Urban development satellite 21 compares the captured satellite image with the base image stored inside, extracts the change points due to the appearance of roads and buildings, and stores the information indicating the change points as feature data. And can be transmitted.
  • the base image at this time can be, for example, a satellite image taken about a certain period before (past) the time when the satellite image was taken with respect to the shooting area of the shot satellite image.
  • the satellite 21 can recognize the number of vehicles parked in a predetermined parking lot as a recognition target area from the captured satellite image, and can store and transmit the recognition result as feature quantity data.
  • the sensor device 101 is installed in the region AR which is the imaging target region of the satellite 21. Assuming that the area AR is agricultural land, the sensor device 101 detects the temperature of the agricultural land, monitors the growth status of the crop, and collects micro sample data. The sensor data detected by the sensor device 101 is generally collected via a terrestrial network.
  • the sensor device 101 may be placed in an area that is not connected to a communication line on the ground, such as the ocean or mountainous areas. In such cases, the sensor data can be collected by store-and-forward via satellite 21.
  • FIG. 15 is a diagram illustrating the collection of sensor data by store-and-forward.
  • the sensor device installed on the ship 102 on the ocean and the sensor device 101 installed on the buoy or the like acquire sensor data at a predetermined timing and store it inside.
  • the sensor device 101 transmits the accumulated sensor data to the satellite 21 at the timing when the satellite 21 passes over the sky.
  • the satellite 21 collects the sensor data transmitted from the sensor device 101.
  • the sensor data stored inside is transmitted to the ground station 13.
  • the sensor data collected by the store-and-forward is transferred to an analysis device (for example, satellite management device 11) that analyzes the observation data.
  • an analysis device for example, satellite management device 11
  • a drone 103 unmanned aerial vehicle
  • a method of collecting sensor data of the sensor device 101 placed in an area not connected to the communication line on the ground for example, as shown in FIG. 16, a drone 103 (unmanned aerial vehicle) is used as a sensor device 101.
  • the sensor device 101 placed in the ocean, mountainous areas, outdoors or remote areas is driven by a battery for a long time, there are often restrictions on the storage device and communication conditions, and when it is difficult to store a large amount of data or communicate. There are also many. Therefore, efficient data transmission is required for communication between the sensor device 101 and a data acquisition device that collects sensor data such as a satellite 21 or a drone 103. Further, the sensor device 101 is required to efficiently store the sensor data.
  • FIG. 17 is a block diagram showing a configuration example of the sensor device 101 when the sensor device 101 itself has a transmission function.
  • the sensor device 101 is composed of a sensor unit 151, a control unit 152, a storage unit 153, a transmission unit 154, and a power supply unit 155.
  • the sensor unit 151 is composed of one or more types of predetermined sensors according to the purpose of detection.
  • the sensor unit 151 is composed of, for example, an odor sensor, a barometric pressure sensor, a temperature sensor, and the like. Further, for example, the sensor unit 151 may be composed of an image sensor (RGB sensor, IR sensor, etc.). A plurality of sensors of the same type or different types may be mounted on the sensor unit 151.
  • the control unit 152 controls the operation of the entire sensor device 101.
  • the control unit 152 executes predetermined data processing on the detected sensor data.
  • the control unit 152 can perform data processing such as extracting a singular point of sensor data or a predetermined amount of change as an event.
  • the control unit 152 performs the above-mentioned compression processing, feature amount conversion processing, subsample extraction processing, and image recognition processing as data processing. And so on.
  • the control unit 152 temporarily stores the sensor data or the processed data after the data processing in the storage unit 153, and causes the transmission unit 154 to transmit the sensor data or the processed data after the data processing to a predetermined data collection device.
  • the transmission unit 154 transmits the accumulated sensor data or processing data to the data acquisition device by a predetermined wireless communication according to the control of the control unit 152.
  • the wireless communication method does not matter, but when the data acquisition device is the satellite 21, for example, wireless communication capable of long-distance communication of 100 km or more with respect to a high-speed moving object at a speed of 100 km / h is considered. ..
  • the power supply unit 155 is composed of, for example, a battery charged by solar power generation or the like, and supplies power to each unit of the sensor device 101.
  • the sensor device 101 is equipped with, for example, self-power generation or a long-life battery, and can store a large amount of sensor data in the storage unit 153. Although the amount of information obtained by one sensor device 101 is small, for example, higher-order information can be obtained by integrating the sensor data of a plurality of sensor devices 101 in the entire region or by accumulating data for a long period of time. Can be done.
  • the sensor included in the sensor device 101 is an image sensor (camera)
  • the power source depends on self-power generation or a long-life battery
  • a sensor device 101 having a power source can be installed in a mountain base, a ship, an ocean buoy pipeline where a certain amount of power generation can be expected, and the like.
  • the sensor data may be configured to be transmitted from each sensor device 101, or may be configured to aggregate and transmit sensor data of a plurality of sensor devices 101.
  • FIG. 18 shows an example of device configuration in such a case, in which a plurality of sensor devices 101 (three in the example of FIG. 18) are connected to the control device 172, and the control device 172 is a transmission device 171 and a storage device. It is also connected to 173.
  • the transmission device 171 and the control device 172, and the storage device 173 may be configured as one device.
  • the transmission device 171 transmits one or more sensor data (sensor data group) to the data acquisition device by a predetermined wireless communication under the control of the control device 172.
  • the control device 172 acquires the sensor data detected by the plurality of sensor devices 101, and stores the acquired sensor data in the storage device 173.
  • the control device 172 causes the transmission device 171 to transmit one or more sensor data (sensor data group) stored in the storage device 173 at a predetermined timing capable of wireless communication with the data collection device.
  • the storage device 173 stores one or more sensor data (sensor data group) until it is transmitted.
  • three sensor devices 101 are connected to the control device 172, but the number of sensor devices 101 is arbitrary.
  • the plurality of sensor devices 101 may be devices that acquire the same type of sensor data, or may be devices that acquire different types of sensor data.
  • a third satellite data transmission process for efficient data transmission between the sensor device 101 and the satellite 21 will be described with reference to the flowchart of FIG.
  • the sensor included in the sensor device 101 will be described as an image sensor.
  • the third satellite data transmission process shown in FIG. 19 is a process in which the process performed by the ground station 13 and the satellite 21 in the first satellite data transmission process shown in FIG. 5 is replaced with the satellite 21 and the sensor device 101. Equivalent to.
  • the ground station 13 in FIG. 5 corresponds to the satellite 21 in FIG. 19, and the satellite 21 in FIG. 5 corresponds to the sensor device 101 in FIG.
  • the processing of steps S71 to S78 of the ground station 13 of FIG. 5 is performed by the satellite 21 as steps S171 to S178 in FIG. 19, and the processing of steps S51 to S55 of the satellite 21 of FIG. 5 is the sensor device in FIG. It is performed as steps S151 to S155 according to 101.
  • the processing of each step in FIG. 19 is the same as the processing of the corresponding step in FIG. 5, and will be briefly described below.
  • step S151 the sensor device 101 takes a picture of the monitored area at a predetermined timing.
  • the process of step S151 may be performed a plurality of times before the next step S171 is executed.
  • the sensor image obtained by the sensor device 101 before being reduced or thinned is referred to as complete data of the sensor image in comparison with the partial data.
  • step S171 the satellite 21 transmits a partial data request requesting partial data of the sensor image obtained by photographing to the sensor device 101.
  • the details of the partial data are the same as in the first satellite data transmission process.
  • step S152 the sensor device 101 receives a partial data request from the satellite 21 and executes a partial data generation process for generating partial data of the sensor image. Then, in step S153, the sensor device 101 transmits the generated partial data to the satellite 21 as a response to the partial data request from the satellite 21.
  • step S172 the satellite 21 receives the partial data transmitted from the sensor device 101 and executes the missing data detection process for detecting whether or not there is missing data.
  • the details of the missing data detection process are the same as in FIG. 5, and will be omitted.
  • step S173 the satellite 21 determines whether or not there is insufficient data as a result of the missing data detection process, and if it is determined that there is insufficient data, the process proceeds to step S174. On the other hand, if it is determined that there is no missing data, the process proceeds to step S178 described later.
  • step S173 If it is determined in step S173 that there is insufficient data, the satellite 21 executes an additional data setting process for setting additional data in step S174, and makes an additional data request requesting additional data in step S175 for the sensor device. Send to 101.
  • step S154 the sensor device 101 receives an additional data request from the satellite 21 and executes an additional data generation process for generating additional data. Then, the sensor device 101 transmits the generated additional data in step S155 to the satellite 21 as a response to the additional data request.
  • step S176 the satellite 21 executes a data integration process for integrating the partially acquired partial data and the additional data acquired thereafter.
  • step S177 the satellite 21 determines whether the integrated data obtained by integrating the partially acquired partial data and the additional data acquired thereafter is sufficient for data analysis.
  • the process of step S177 is the same as the missing data detection process for determining whether or not there is missing data.
  • step S177 If it is determined in step S177 that it is not yet sufficient to perform data analysis, the process returns to step S174, and the processes of steps S174 to S177 described above are repeated. That is, the satellite 21 further requests and acquires additional data.
  • step S177 determines whether it is sufficient to perform data analysis. If it is determined in step S177 that it is sufficient to perform data analysis, the process proceeds to step S178, and the satellite 21 performs data analysis processing using the partial data or integrated data acquired from the sensor device 101. Run.
  • the data analysis process may be performed by the ground station 13 or the satellite management device 11 after being transmitted to the ground station 13.
  • the partial data of the sensor image obtained by the sensor device 101 is first transmitted to the satellite 21, it is determined that the partial data is insufficient. Additional data is dynamically requested and acquired from the sensor device 101. As a result, only the data required for data analysis is transmitted between the sensor device 101 and the satellite 21, so that the communication time and the amount of data can be suppressed, and the data can be transmitted efficiently. can.
  • the third satellite data transmission process shown in FIG. 20 is a process in which the process performed by the ground station 13 and the satellite 21 in the second satellite data transmission process shown in FIG. 13 is replaced with the satellite 21 and the sensor device 101. Equivalent to.
  • the ground station 13 in FIG. 13 corresponds to the satellite 21 in FIG. 20, and the satellite 21 in FIG. 13 corresponds to the sensor device 101 in FIG. 20.
  • the processing of steps S121 to S123 of the ground station 13 in FIG. 13 is performed by the satellite 21 as steps S221 to S223, and the processing of steps S91 to S101 of the satellite 21 in FIG. 13 is the sensor device in FIG. It is performed as steps S191 to S201 according to 101.
  • the processing of each step in FIG. 20 is the same as the processing of the corresponding step in FIG. 13, and will be briefly described below.
  • step S191 the sensor device 101 takes a picture of the monitored area at a predetermined timing.
  • the process of step S91 may be performed a plurality of times before the next step S192 is executed. By shooting, complete data of the sensor image can be obtained.
  • step S192 the sensor device 101 executes a data reduction process of reducing the amount of data by converting the complete data of the sensor image into predetermined feature amount data.
  • the details of this data reduction process are the same as the process in step S92 of FIG. 13, and will be omitted.
  • step S193 the sensor device 101 executes the recognition process using the feature amount data generated by the data reduction process.
  • the details of this recognition process are the same as the process in step S93 of FIG. 13, and will be omitted.
  • step S194 the sensor device 101 determines whether the generated feature amount data is sufficient for the recognition process as a result of the recognition process. If it is determined in step S194 that the feature amount data is sufficient for the recognition process, the process proceeds to step S200 described later.
  • step S194 determines whether the feature amount data is not sufficient data for the recognition process. If it is determined in step S194 that the feature amount data is not sufficient data for the recognition process, the process proceeds to step S195, and the sensor device 101 executes an additional data setting process for setting additional feature amount data. Then, in step S196, an additional data generation process for generating additional feature amount data is executed. Subsequently, in step S197, the sensor device 101 executes a data integration process for integrating the feature amount data first generated and the additional feature amount data generated thereafter.
  • step S198 the sensor device 101 determines whether the integrated feature amount data is sufficient for the recognition process.
  • the process of step S198 is the same as the determination process of step S194 described above.
  • the process of step S198 may be determined after performing the same recognition process as step S193, if necessary.
  • step S198 If it is determined in step S198 that the integrated feature amount data is not sufficient data for the recognition process, the process proceeds to step S199, and the sensor device 101 determines whether re-imaging is necessary. For example, if sufficient recognition results cannot be obtained from the generated feature data due to insufficient resolution of the sensor image, no matter how much feature data is generated based on the current sensor image, the recognition result can be improved. There is a limit. In such a case, it is necessary to change the resolution (increase the resolution) and retake the picture. Alternatively, if it is determined by the recognition process that the details of a specific area of the current sensor image are necessary, it is necessary to re-zoom to the specific area.
  • step S199 If it is determined in step S199 that re-shooting is necessary, the process returns to step S191, and the processes after step S191 described above are executed again. That is, shooting of the monitored area and generation of predetermined feature amount data from the sensor image obtained by shooting are executed.
  • step S199 determines whether re-shooting is necessary. If it is determined in step S199 that re-shooting is not necessary, the process returns to step S195, and the process after step S195 described above is executed again. That is, the generation of additional feature amount data, the data integration process between the generated feature amount data and the previously generated feature amount data, and the like are executed.
  • step S198 determines whether the integrated feature amount data is sufficient data for the recognition process. If it is determined in step S198 described above that the integrated feature amount data is sufficient data for the recognition process, the process proceeds to step S200, and the sensor device 101 saves the generated feature amount data. .. As a result, the generated feature amount data or, when the data integration process is performed, the feature amount data after the integrated process is stored in the storage unit 153 or the storage device 173, and the original sensor image is not stored as data.
  • step S221 the satellite 21 transmits a feature data request requesting feature data to the sensor device 101 at the timing of passing over the sensor device 101.
  • step S201 the sensor device 101 receives the feature amount data request from the satellite 21, and in response, transmits the feature amount data stored in the storage unit 153 or the like to the satellite 21.
  • step S222 the satellite 21 receives the feature amount data transmitted from the sensor device 101, executes a complete data generation process using the received feature amount data and the complementary data, and performs an analysis process. Generate complete data for. Complementary data is prepared in advance in the satellite 21.
  • step S223 the satellite 21 executes a data analysis process for performing an analysis based on the generated complete data for the analysis process.
  • the result of the data analysis process is stored in the storage unit 65 and then transmitted to the ground station 13 when passing over the ground station 13.
  • the ground station 13 or the satellite management device 11 may perform the complete data generation process in step S222 and the data analysis process in step S223.
  • the sensor device 101 predicts and stores the feature amount data required for the recognition process in advance, stores it, and transmits it to the satellite 21.
  • the sensor image which is the original data of the feature amount data, is not saved.
  • the amount of information can be compressed (reduced), and the resources of the sensor device 101 can be efficiently used. Since the generated feature amount data is considered to be data required for the recognition process, it is possible to store information that would be lost in the feature amount conversion for visualization.
  • the satellite 21, the ground station 13, or the satellite management device 11 on the side that performs the recognition processing can perform high-precision or various recognition processing based on the feature amount.
  • the image is taken again and the sensor image is taken under new shooting conditions.
  • Feature data can be prepared based on. As a result, the data required for the recognition process can be efficiently acquired and transmitted.
  • feature amount data is generated and transmitted for each sensor image of the plurality of image sensors. It can be a process.
  • ⁇ Application example of the third satellite data transmission process> A specific example of the feature amount data generated by the sensor device 101 in the third satellite data transmission process will be described.
  • -Agriculture With the monitored area as agricultural land, temperature changes, soil characteristic changes, sample crop condition changes, etc. at each observation point installed on the agricultural land can be detected as events and used as feature data.
  • the sensor device 101 provided in the ocean buoy or the like can detect changes in the school of fish in the sea, changes in the seawater temperature, etc. as events, with the area to be monitored in the ocean as the ocean, and can be used as feature data. Changes in seawater temperature, atmospheric pressure, wave height, etc.
  • detected by a sensor device 101 installed in a ship anchored in the monitored area or navigating in the monitored area can be detected as an event and used as feature data.
  • the sensor device 101 installed in the pipeline can detect the temperature (heat detection) around the device, detect the change or the like as an event, and use it as feature data.
  • Distribution data of gas leakage by a large number of sensor devices 101 arranged in a monitoring target area can be used as feature amount data.
  • the image processing unit 82 of the ground station 13 will perform the recognition processing of the plurality of subsampled images, but the above-mentioned first to third satellite data transmissions will be performed.
  • any one of the satellite 21, the satellite management device 11, or the sensor device 101 may perform the recognition processing.
  • FIG. 21 shows a conceptual diagram of recognition processing of a plurality of subsampled images.
  • the recognition process of a plurality of subsampled images can be executed by the feature extraction process and the recognition process using DNN (Deep Neural Network).
  • DNN Deep Neural Network
  • the image processing unit 82 uses the DNN to extract the feature amount from the input image by the feature extraction process.
  • This feature extraction process is performed using, for example, CNN (Convolutional Neural Network) among DNNs.
  • the image processing unit 82 performs recognition processing on the extracted feature amount using DNN, and obtains a recognition result.
  • the recognition process by DNN can be executed by sequentially inputting time-series images [T-2], [T-1], [T], ....
  • the image [T] is a subsample image of time T
  • the image [T-1] is a subsample image of time T-1 before time T
  • the image [T-2] is a subsample image of time T-1. It is a subsample image of time T-2 before time T-1.
  • the image processing unit 82 uses the DNN to execute recognition processing for each of the input images [T-2], [T-1], [T], ..., And the recognition result at time T [ T] is obtained.
  • FIG. 23 is a more detailed conceptual diagram of the recognition process of FIG. 22.
  • the image processing unit 82 has, for example, the features described with reference to FIG. 21 above for each of the input images [T], [T-1], and [T-2].
  • the extraction process is executed one-to-one, and the feature quantities corresponding to the images [T], [T-1], and [T-2] are extracted.
  • the image processing unit 82 integrates each feature amount obtained based on these images [T], [T-1], and [T-2], executes recognition processing on the integrated feature amount, and performs time. Obtain the recognition result [T] in T. It can be said that each feature amount obtained based on the images [T], [T-1] and [T-2] is intermediate data for obtaining an integrated feature amount used in the recognition process.
  • FIG. 24 is another conceptual diagram of the recognition process by DNN.
  • the recognition process of a plurality of subsampled images is performed when the images [T-2], [T-1], [T], ... Are input in chronological order. It can also be considered that the image [T] at time T is input to the DNN whose internal state is updated to the state at time T-1 and the recognition result [T] at time T is obtained.
  • FIG. 25 is a more detailed conceptual diagram of the recognition process of FIG. 24.
  • the image processing unit 82 executes the feature extraction process described with reference to FIG. 21 above with respect to the input image [T] at the time T, and corresponds to the image [T]. Extract the feature amount.
  • the image processing unit 82 updates the internal state with the image before the time T, and stores the feature amount related to the updated internal state.
  • the image processing unit 82 integrates the feature amount related to the stored internal state and the feature amount in the image [T], executes the recognition process for the integrated feature amount, and performs the recognition process at the time T [T]. ] Is obtained.
  • each of the feature amount related to the stored internal state and the feature amount in the image [T] are intermediate data for obtaining the integrated feature amount used for the recognition process.
  • the recognition process shown in FIGS. 22 and 24 is executed using, for example, a DNN whose internal state has been updated using the immediately preceding recognition result, and is a recursive process.
  • a DNN that performs recursive processing in this way is called an RNN (Recurrent Neural Network).
  • the recognition process by RNN is generally used for moving image recognition, etc. For example, it is possible to improve the recognition accuracy by sequentially updating the internal state of the DNN with the frame image updated in time series. ..
  • FIG. 26 is a schematic diagram illustrating a recognition process using DNN.
  • the subsample image 211 generated by subsampling the pixels at a predetermined pixel position with respect to the image 201 of the complete data in which the pixels are not thinned out is input to the image processing unit 82 that performs the recognition processing using the DNN.
  • the image processing unit 82 extracts the feature amount of the input subsample image 211.
  • the image processing unit 82 extracts the feature amount using the CNN of the DNNs.
  • the image processing unit 82 stores the extracted feature amount in a storage unit (not shown). At this time, for example, when the feature amount extracted in the immediately preceding frame is already stored in the storage unit, the image processing unit 82 recursively uses the feature amount stored in the storage unit to extract the feature amount. To integrate with. This process corresponds to the process using RNN among DNNs.
  • the image processing unit 82 executes recognition processing based on the accumulated and integrated feature quantities.
  • the subsample image 211a generated by subsampling the pixels at the predetermined pixel positions with respect to the image 201 of the complete data is input to the image processing unit 82. ..
  • the complete data image 201 includes a person 241 and a person 242.
  • the person 241 is located at a relatively short distance (referred to as a medium distance) from the camera, and the person 242 is located at a distance (referred to as a long distance) farther than the person 241 with respect to the camera.
  • the size in the image is smaller than the person 241.
  • the subsample image 211a corresponds to, for example, an image obtained by sampling the upper left pixel of each pixel unit when the complete data image 201 is divided into 2x2 4-pixel pixel unit units.
  • the image processing unit 82 extracts the feature amount 250a of the input subsample image 211a using CNN.
  • the image processing unit 82 stores the extracted feature amount 250a in the storage unit. At this time, if the feature amount is already accumulated in the storage portion, the feature amount 250a can be integrated with the already accumulated feature amount, but in the example of FIG. 27, the feature amount is first with respect to the empty storage portion. It is shown that the feature amount 250a of the above is accumulated.
  • the image processing unit 82 executes the recognition process based on the feature amount 250a stored in the storage unit.
  • a person 241 located at a medium distance is recognized and obtained as a recognition result 260.
  • the person 242 located at a long distance is not recognized.
  • the subsample image 211b generated by subsampling the pixels at the predetermined pixel positions with respect to the image 201 of the complete data is image-processed. It is input to the unit 82.
  • the subsample image 211b corresponds to, for example, an image obtained by sampling the upper right pixel of each 2x2 pixel unit of the complete data image 201.
  • the subsample image 211b corresponds to an image obtained by sampling each pixel position shifted in the horizontal direction by one pixel with respect to the pixel position of the subsample image 211a of the image 201.
  • the image processing unit 82 extracts the feature amount 250b of the input subsample image 211b using CNN.
  • the image processing unit 82 stores the extracted feature amount 250b in the storage unit.
  • the feature amount 250a of the subsample image 211a is already stored in the storage unit. Therefore, the image processing unit 82 accumulates the feature amount 250b in the storage unit and integrates the feature amount 250b with the stored feature amount 250a.
  • the image processing unit 82 executes the recognition process based on the feature amount in which the feature amount 250a and the feature amount 250b are integrated.
  • the person 241 located at a medium distance is recognized and obtained as the recognition result 260, but the person 242 located at a long distance is not recognized at this time.
  • the subsample image 211c generated by subsampling the pixels at the predetermined pixel positions with respect to the image 201 of the complete data is subjected to image processing. It is input to the unit 82.
  • the subsample image 211c corresponds to, for example, an image obtained by sampling the lower left pixel of each 2x2 pixel unit of the complete data image 201.
  • the subsample image 211c corresponds to an image obtained by sampling each pixel position shifted in the column direction by one pixel with respect to the pixel position of the subsample image 211a of the image 201.
  • the image processing unit 82 extracts the feature amount 250c of the input subsample image 211c using CNN.
  • the image processing unit 82 stores the extracted feature amount 250c in the storage unit.
  • the feature amounts 250a and 250b extracted from the subsample images 211a and 211b are already stored in the storage unit. Therefore, the image processing unit 82 accumulates the feature amount 250c in the storage unit and integrates the feature amount 250c with the stored feature amounts 250a and 250b.
  • the image processing unit 82 executes the recognition process based on the feature amount in which the feature amounts 250a and 250b and the feature amount 250c are integrated.
  • the person 241 located at a medium distance is recognized and obtained as the recognition result 260, but the person 242 located at a long distance is not recognized at this time.
  • the subsample image 211d generated by subsampling the pixels at the predetermined pixel positions with respect to the image 201 of the complete data is image-processed. It is input to the unit 82.
  • the subsample image 211d corresponds to, for example, an image obtained by sampling the lower right pixel of each 2x2 pixel unit of the complete data image 201.
  • the subsample image 211d corresponds to an image obtained by sampling each pixel position shifted in the horizontal direction by one pixel with respect to the pixel position of the subsample image 211c of the image 201.
  • the image processing unit 82 extracts the feature amount 250d of the input subsample image 211d using CNN.
  • the image processing unit 82 stores the extracted feature amount 250d in the storage unit.
  • the feature amounts 250a to 250c extracted from the subsample images 211a to 211c are already stored in the storage unit. Therefore, the image processing unit 82 accumulates the feature amount 250d in the storage unit and integrates the feature amount 250d with the stored feature amounts 250a to 250c.
  • the image processing unit 82 executes the recognition process based on the feature amount in which the feature amounts 250a to 250c and the feature amount 250d are integrated.
  • a person 241 located at a medium distance is recognized and obtained as a recognition result 260
  • a person 242 located at a long distance is also recognized and obtained as a recognition result 261.
  • the pixel positions for generating the subsample image 211 are selected, and the feature amounts calculated from each subsample image 211 are accumulated and integrated.
  • the pixels included in the image 201 of the complete data can be gradually involved in the recognition process, and can be recognized with higher accuracy. For example, a distant object can be easily recognized.
  • the pixel positions of the sampling pixels for generating the subsample image 211 are not limited to the above-mentioned example.
  • a plurality of discrete and aperiodic pixel positions may be selected to generate a plurality of subsample images 271. good.
  • the above-mentioned series of processes executed on the satellite image or the sensor image can be executed by hardware or by software.
  • the programs constituting the software are installed in the computer.
  • the computer includes a microcomputer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 32 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes by a program.
  • a CPU Central Processing Unit
  • ROM ReadOnlyMemory
  • RAM RandomAccessMemory
  • An input / output interface 305 is further connected to the bus 304.
  • An input unit 306, an output unit 307, a storage unit 308, a communication unit 309, and a drive 310 are connected to the input / output interface 305.
  • the input unit 306 includes a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 307 includes a display, a speaker, an output terminal, and the like.
  • the storage unit 308 includes a hard disk, a RAM disk, a non-volatile memory, and the like.
  • the communication unit 309 includes a network interface and the like.
  • the drive 310 drives a removable recording medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 301 loads the program stored in the storage unit 308 into the RAM 303 via the input / output interface 305 and the bus 304, and executes the above-mentioned series. Is processed.
  • the RAM 303 also appropriately stores data and the like necessary for the CPU 301 to execute various processes.
  • the program executed by the computer (CPU301) can be recorded and provided on the removable recording medium 311 as a package medium or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasts.
  • the program can be installed in the storage unit 308 via the input / output interface 305 by mounting the removable recording medium 311 in the drive 310. Further, the program can be received by the communication unit 309 via a wired or wireless transmission medium and installed in the storage unit 308. In addition, the program can be installed in the ROM 302 or the storage unit 308 in advance.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can take a cloud computing configuration in which one function is shared by multiple devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can have the following configurations.
  • a ground system including an image processing unit that requests transmission of additional data related to the partial data from the artificial satellite to the ground station based on the analysis result of the partial data of the satellite image taken by the artificial satellite.
  • the image processing unit detects whether there is a difference between the acquired partial data and the partially acquired partial data in the past, and when it is determined that there is a difference, the said image processing unit.
  • the ground system according to (1) above which requires transmission from the artificial satellite to the ground station.
  • the image processing unit executes recognition processing for the acquired partial data as analysis processing of the partial data, and requests transmission of the additional data from the artificial satellite to the ground station based on the result of the recognition processing ( The ground system described in 1).
  • the ground system according to any one of (1) to (7), wherein the first acquisition of the partial data and the acquisition of the additional data are performed in different paths.
  • the partial data is data having a low resolution, a low frame rate, or a low bit length with respect to the satellite image.
  • the partial data is data of a subsample image generated by a subsample extraction process for the satellite image.
  • the ground system according to any one of (1) to (9) above, wherein the additional data is data of a subsample image in which pixels different from the partial data are sampled by a subsample extraction process for the satellite image.
  • the partial data is information indicating a feature amount relating to a predetermined recognition target.
  • the satellite image is an image in which the subject includes the ocean.
  • the image processing unit requests transmission of additional data from the artificial satellite to the ground station in response to recognition of a predetermined marine moving object or a predetermined marine structure based on the analysis of the partial data.
  • the ground system according to any one of (11).
  • the ground system An image processing method for a ground system that requests transmission of additional data related to the partial data from the artificial satellite to a ground station based on the analysis result of partial data of a satellite image taken by the artificial satellite.
  • 1 satellite image processing system 11 satellite management device, 13 ground station, 21 satellite, 61 satellite communication unit, 62 imaging device, 63 control unit, 64 image processing unit, 65 storage unit, 81 control unit, 82 image processing unit, 83 Communication unit, 84 storage unit, 101 sensor device, 103 drone, 151 sensor unit, 152 control unit, 153 storage unit, 154 transmission unit, 171 transmission device, 172 control device, 173 storage device, 201 image, 211 subsample image, 250 features, 301 CPU, 302 ROM, 303 RAM, 306 input section, 307 output section, 308 storage section, 309 communication section, 310 drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)

Abstract

本技術は、人工衛星からデータを効率的に取得することができるようにする地上システムおよびその画像処理方法に関する。 地上システムは、人工衛星により撮影された衛星画像の部分データの解析結果に基づき、部分データに関連する追加データの人工衛星から地上局への送信を要求する画像処理部を備える。本技術は、例えば、衛星画像を処理する衛星画像処理システム等に適用できる。

Description

地上システムおよびその画像処理方法
 本技術は、地上システムおよびその画像処理方法に関し、特に、人工衛星からデータを効率的に取得することができるようにした地上システムおよびその画像処理方法に関する。
 地球上空を低軌道または中軌道で周回する人工衛星に搭載したカメラで地上の所定の地点を撮影し、撮影結果に基づいて、農作物の状況や海洋の状況などを観測するリモートセンシングが普及してきている(例えば、特許文献1,2参照)。近年では人工衛星の性能が向上し、より高品質な画像が得られるようになってきており、それにともない、画像のデータ容量が大きくなってきている。
特開2013-145507号公報 特開2013-84072号公報
 しかしながら、人工衛星が地上局(地上の基地局)と通信できるのは、地上局の上空を通過している数分ないし数十分に限られる。そのため、大容量のデータをダウンリンクする場合に、通信時間や通信帯域の不足などにより、ダウンリンクしきれない場合がある。
 本技術は、このような状況に鑑みてなされたものであり、人工衛星からデータを効率的に取得することができるようにするものである。
 本技術の一側面の地上システムは、人工衛星により撮影された衛星画像の部分データの解析結果に基づき、前記部分データに関連する追加データの前記人工衛星から地上局への送信を要求する画像処理部を備える。
 本技術の一側面の地上システムの画像処理方法は、地上システムが、人工衛星により撮影された衛星画像の部分データの解析結果に基づき、前記部分データに関連する追加データの前記人工衛星から地上局への送信を要求する。
 本技術の一側面においては、地上システムにおいて、人工衛星により撮影された衛星画像の部分データの解析結果に基づき、前記部分データに関連する追加データの前記人工衛星から地上局への送信が要求される。
 地上システムは、独立した1つの装置であっても良いし、1つの装置を構成している内部ブロックであっても良いし、複数の装置で構成されてもよい。
本技術を適用した実施の形態である衛星画像処理システムの構成例を示すブロック図である。 衛星画像を取得する基本シーケンスを説明する概要図である。 衛星画像を取得する基本シーケンスを説明するフローチャートである。 第1の衛星データ伝送処理におけるデータ伝送の流れを説明する図である。 第1の衛星データ伝送処理を説明するフローチャートである。 部分データ生成処理を説明する図である。 サブサンプル抽出処理により生成された部分データの例を示す図である。 比較例としての低解像度画像の例を示す図である。 部分データ生成処理のその他の例を示す図である。 地上局と衛星の機能ブロック図である。 第2の衛星データ伝送処理におけるデータ伝送の流れを説明する図である。 第2の衛星データ伝送処理における特徴量データの生成を説明する図である。 第2の衛星データ伝送処理を説明するフローチャートである。 センサデバイスによる定点観測を説明する図である。 ストア・アンド・フォワードによるセンサデータの収集を説明する図である。 ドローンによるセンサデータの収集を説明する図である。 センサデバイスの構成例を示すブロック図である。 複数のセンサデバイスのセンサデータを集約して送信する場合の構成例を示すブロック図である。 第3の衛星データ伝送処理を説明するフローチャートである。 第3の衛星データ伝送処理の他の例を説明するフローチャートである。 サブサンプル画像を用いた認識処理を説明する図である。 サブサンプル画像を用いた認識処理を説明する図である。 サブサンプル画像を用いた認識処理を説明する図である。 サブサンプル画像を用いた認識処理を説明する図である。 サブサンプル画像を用いた認識処理を説明する図である。 DNNを用いた認識処理の具体例を説明する図である。 DNNを用いた認識処理の具体例を説明する図である。 DNNを用いた認識処理の具体例を説明する図である。 DNNを用いた認識処理の具体例を説明する図である。 DNNを用いた認識処理の具体例を説明する図である。 サブサンプル画像の画素位置の選択方法を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
 以下、添付図面を参照しながら、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
1.衛星画像処理システムの構成例
2.衛星画像取得の基本シーケンス
3.第1の衛星データ伝送処理
4.地上局と衛星の機能ブロック図
5.第2の衛星データ伝送処理
6.第3の衛星データ伝送処理
7.サブサンプル画像の認識処理
8.コンピュータ構成例
<1.衛星画像処理システムの構成例>
 図1は、本技術を適用した実施の形態である衛星画像処理システムの構成例を示すブロック図である。
 図1の衛星画像処理システム1は、1以上の人工衛星21(以下、単に衛星21という。)によって撮影された衛星画像に基づいて地上の状況を解析するシステムである。本実施の形態において、衛星21は、地球観測衛星であり、搭載するカメラで地上を撮影する機能を少なくとも有する。
 衛星運用会社は、複数の衛星21を管理する衛星管理装置11と、衛星21と通信を行う複数の地上局(地上の基地局)13とを有している。なお、衛星管理装置11および複数の地上局13の一部は、衛星運用会社以外が所有する装置であってもよい。衛星管理装置11と複数の地上局13とは、所定のネットワーク12を介して接続されている。図1では、地上局13の数が、地上局13A乃至13Cの3個である例が示されているが、地上局13の数は任意である。
 衛星管理装置11は、衛星運用会社が所有する複数の衛星21を管理する。具体的には、衛星管理装置11は、1以上の外部機関の情報提供サーバ14から関連情報を必要に応じて取得し、自身が所有する複数の衛星21の運用計画を決定する。そして、衛星管理装置11は、顧客の要望に応じて、地上局13を介して所定の衛星21に撮影指示を送信することにより、所定の衛星21に撮影を行わせる。また、衛星管理装置11は、地上局13を介して、衛星21から送信されてきた衛星画像を取得し、表示または記憶する。
 衛星管理装置11は、衛星21が撮影した衛星画像に対して、所定の画像処理を行うこともできる。衛星管理装置11は、例えば、以下のような画像処理を行う。
(1)メタデータの生成
 衛星21から送信されてきた情報や、撮影を行った衛星21の情報に基づいて、メタデータを生成することができる。例えば、撮影対象位置の緯度経度の情報、衛星21の撮影時の姿勢制御や加速度の情報などを、メタデータとして生成することができる。
(2)衛星画像の補正処理
 感度特性に関するラジオメトリック補正、衛星21の軌道位置や姿勢誤差などの幾何補正、地形の高低差に起因する幾何学的な歪みを補正するオルソ補正、地図投影面への射像を行う地図投影、などの補正処理を行うことができる。
(3)カラー合成処理
 パンシャープン処理、トゥルーカラー合成処理、フォールスカラー合成処理、ナチュラルカラー合成処理、SAR画像合成処理、バンド毎の衛星画像に色を付加する処理、などのカラー合成処理を行うことができる。
(4)その他の画像合成
 衛星運用会社が所有する衛星21が過去に撮影した衛星画像、他の衛星運用会社が所有する衛星21で撮影された衛星画像、何らかの他の画像との合成、異なるバンドで撮影された衛星画像どうしの合成、地図情報との合成などを行うこともできる。
(5)情報抽出
 R(Red)とIR(Infrared)などの異なるバンドにより、NDVI(Normalized Difference Vegetation Index)等の植生検出情報や、NDWI(Normalized Difference Water Index)等の水検出情報を算定することができる。車両や移動体、魚群などの特定被写体のハイライト処理、特定バンドの情報、前回撮影時からの変化点の抽出などを行うことができる。
(6)高解像化または高品質化処理
 複数の衛星画像を重ね合わせることで、分解能を向上させた衛星画像を生成することができる。また、モノクロ画像とカラー画像を合わせたパンシャープン画像や、例えば異なるダイナミックレンジやシャッタスピード、異なるバンド(波長帯域)、異なる解像度など、撮影条件の異なる衛星画像の合成によって、高解像化させた衛星画像を生成することができる。
(7)3次元計測
 視差画像により、三次元情報を得ることができる。また、三次元情報により地上の物体認識の精度を高めることができる。たとえば、物体が車両であるか否かの判別を行うことができる(分解能的に画像から直ちには車両であるとはわからずとも、道路上にあるものが模様でなく立体物と分かれば、それが車両であると推定できる)。
(8)差分計測
 同一位置から時間差で撮影した複数の衛星画像を用いて、第1の時刻と第2の時刻との変化を抽出することができる。また、変化した対象のみを抽出して着色するような画像化を行ってもよい。また例えば、複数の衛星画像を用いて、船舶や車両の移動速度を算定したり、雲等の移動から風速を算出することができる。
 なお、衛星画像の画像処理は、衛星運用会社とは別の画像解析会社が行う場合もあり、この場合、解析対象の衛星画像が、画像解析会社のサーバ(画像解析サーバ)へ提供される。また、衛星運用会社が衛星画像の画像処理を行う場合であっても、衛星管理装置11とは別に画像解析サーバを設け、そこで、画像の解析を行うようにしてもよい。
 ネットワーク12は、任意の通信網であり、有線の通信網であってもよいし、無線の通信網であってもよいし、それらの両方により構成されてもよい。ネットワーク12は、例えば、インターネット、公衆電話回線網、所謂4G回線や5G回線等の無線移動体用の広域通信網、WAN(Wide Area Network)、LAN(Local Area Network)、Bluetooth(登録商標)規格に準拠した通信を行う無線通信網、NFC(Near Field Communication)等の近距離無線通信の通信路、赤外線通信の通信路、HDMI(登録商標)(High-Definition Multimedia Interface)やUSB(Universal Serial Bus)等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網または通信路とすることができる。ネットワーク12は、1の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。
 地上局13は、衛星管理装置11の制御に従い、衛星管理装置11によって指定された所定の衛星21と、アンテナを介して通信を行う。例えば、地上局13は、地上の所定の場所(領域)を撮影する撮影指示を所定の衛星21へ送信する。また、地上局13は、衛星21から送信されてくる衛星画像を受信し、ネットワーク12を介して衛星管理装置11へ供給する。地上局13から衛星21への送信をアップリンク、衛星21から地上局13への送信をダウンリンクとも称する。地上局13は、衛星21と直接通信を行うことができる他、中継衛星22を介して通信を行うこともできる。中継衛星22としては、例えば、静止衛星が用いられる。
 外部機関に設置された情報提供サーバ14は、衛星管理装置11からの要求に応じて、あるいは、定期的に、所定の関連情報を、所定のネットワークを介して、衛星管理装置11へ供給する。情報提供サーバ14から提供される関連情報には、例えば、次のようなものがある。例えば、外部機関としてのNORAD(北アメリカ航空宇宙防衛司令部)から、TLE(Two Line Elements)フォーマットで記述された衛星の軌道情報(以下、TLE情報と称する。)を関連情報として取得することができる。また例えば、外部機関としての気象情報提供会社から、地球上の所定の地点の天気、雲量などの気象情報を取得することができる。
 各衛星21は、単機で運用される場合もあれば、複数機で運用される場合もある。複数機で運用される複数の衛星21は、1つの衛星群23を構成する。図1では、衛星21Aと衛星21Bが単機で運用されており、衛星21Cと衛星21Dとが1つの衛星群23Aを構成している。なお、図1の例では、簡単のため、2機の衛星21により1つの衛星群23が構成される例を示しているが、1つの衛星群23を構成する衛星21の個数は2つに限られない。
 複数の衛星21を1つの単位(衛星群23)として運用するシステムとしては、コンステレーションとフォーメーションフライトとがある。コンステレーションは、多数の衛星21を単一もしくは複数の軌道面に投入することで、主に全球に均一にサービスを展開するシステムである。単一衛星でも所定の機能を有し、観測頻度向上などを目的として複数の衛星21が運用される。一方、フォーメーションフライトは、数km程度の狭い領域で、複数の衛星21が相対的な位置関係を維持しつつ、展開するシステムである。フォーメーションフライトでは、高精度の3次元計測や、移動体の速度検出など、単一衛星では実現できないサービスの提供が可能である。本実施の形態においては、衛星群の運用は、コンステレーションまたはフォーメーションフライトのいずれであるかを問合わない。
 地上局13が各衛星21と通信を行う場合、衛星21Aや衛星21Bのように、衛星21と、直接、通信を行う方法と、衛星21Dのように、他の衛星21である衛星21Cと衛星間通信(衛星間光通信)を行うことにより、間接的に地上局13と通信を行う方法とがある。間接的に通信を行う方法には、中継衛星22を介した通信も含む。衛星21が、どちらの方法で地上局13と通信を行うかは、衛星21によって予め決められてもよいし、通信の内容に応じて適宜選択してもよい。
 以上のように構成される衛星画像処理システム1において、観測衛星である衛星21が、衛星管理装置11からの撮影指示に基づいて地上の所定の地点を撮影する。撮影された衛星画像は衛星21に一時蓄積された後、地上局13へ送信され、衛生管理装置11へ転送される。
<2.衛星画像取得の基本シーケンス>
 図2は、衛星画像を取得する基本シーケンスを説明する概要図である。
 衛星21は、所定の地上局13上空を通過したとき、地上局13から撮影指示を受信する。撮影指示には、例えば、撮影日時、撮影地点、カメラ設定値などが含まれる。図2の例では、領域ARを撮影対象とする撮影指示が送信されたとする。
 衛星21は、撮影指示に基づいて、領域ARの上空の撮影地点において撮影を行う。撮影により、領域ARを含む衛星画像が生成され、内部に記憶される。その後、衛星21は、所定の地上局13の上空を通過する際に、記憶しておいた衛星画像を、地上局13へ送信する(ダウンリンクする)。
 図3のフローチャートを参照して、図2に示した基本シーケンスをより詳細に説明する。
 なお、図3以降において、衛星管理装置11と地上局13が実行する処理は、衛星管理装置11と地上局13との間で適宜分担して実行することができ、衛星管理装置11と地上局13とを総称して地上システム15と称する。
 初めに、ステップS11において、衛星管理装置11は、顧客の要望に基づいて、衛星21の撮影要件を決定する。
 具体的には、衛星管理装置11は、撮影要件として、撮影日時、撮影地点、撮影のための環境条件、カメラ設定値などを決定する。撮影のための環境条件は、例えば、撮影日時の雲量等の天候条件などを含み、カメラ設定値は、例えば、解像度(分解能)、ズーム、シャッタスピード、感度、絞り、などを含む。
 ステップS12において、衛星管理装置11は、撮影要件に合致する衛星21と地上局13(の地上局13)を決定する。
 具体的には、衛星管理装置11は、決定した撮影要件に合致する衛星21を選定する。例えば、決定した撮影日時に撮影対象位置の上空を通過するか、撮影対象位置が衛星21の観測幅の範囲内であるか、衛星21が搭載している撮影装置(カメラ)が、分解能や決定されたカメラ設定値の要求を満たすか、などを判定して、衛星21が決定される。そして、選定された衛星21と通信を行うために適した地上局13が決定される。
 ステップS13において、地上システム15は、撮影指示を送信する地上局13のアンテナを想定軌道に対して指向させる。例えば、衛星管理装置11が、選定した衛星21の軌道情報を地上局13に送信し、地上局13がアンテナを想定軌道に対して指向させる。
 ステップS14において、地上システム15は、選定した衛星21へ撮影指示を送信(アップリンク)する。例えば、衛星管理装置11が、選定した地上局13に撮影指示を送信するコマンドを送信し、コマンドを受信した地上局13が、撮影指示を、選定した衛星21へアンテナを介して送信する。撮影指示には、撮影日時、撮影地点、カメラ設定値などが含まれる。
 ステップS31において、衛星21は、地上局13からの撮影指示を受信し、ステップS32において、受信完了を地上局13へ送信する。
 ステップS15において、地上局13は、衛星21からの受信完了を受信し、撮影指示の送信を停止する。地上局13からの撮影指示の送信は、衛星21から受信完了の応答があるまで繰り返し実行される。
 衛星21は、ステップS33において、受信した撮影指示に基づく撮影準備処理を行う。例えば、衛星21は、必要に応じて撮影装置が撮影対象位置に向くように、衛星21の姿勢または撮影装置の向きを制御する(ポインティング)。また例えば、衛星21は、搭載された撮影装置のズーム、シャッタスピード、感度、絞り、などを設定する。さらに、衛星21は、撮影日時に十分な電力を得られるように事前に充電を行う。
 撮影指示で指定された撮影日時となると、衛星21は、ステップS34において、撮影対象位置の撮影を行う。
 ステップS35において、衛星21は、撮影の結果得られた画像である衛星画像に関連付けられる情報であるメタデータを生成し、衛星画像に付加する。例えば、衛星21は、衛星群23を識別する群ID、衛星21を識別する個別ID、撮影対象位置(被写体の位置)、撮影時刻、などの情報をメタデータとして生成することができる。
 ステップS36において、衛星21は、メタデータを付加した衛星画像を地上局13に送信(ダウンリンク)する。ダウンリンクは、衛星画像とメタデータが生成されてすぐに行ってもよいし、所定の地上局13の所定の範囲内に到達した時点で行ってもよい。また、中継衛星22を介して、衛星画像を送信してもよい。
 地上局13は、ステップS16において、衛星21から送信されてくる衛星画像を受信する。受信された衛星画像は、ネットワーク12を介して衛星管理装置11に供給される。
 ステップS17において、衛星管理装置11は、衛星画像のメタデータを解析する。このとき、衛星管理装置11は、解析結果に基づき新たにメタデータを生成し、これを追加してもよい。例えば、衛星管理装置11は、衛星画像の群IDおよび個別IDと、その衛星21の軌道情報に基づいて、撮影時の衛星位置を算出し、メタデータとして追加する。
 ステップS18において、衛星管理装置11は、衛星画像に対して、所定の画像処理を行う。衛星管理装置11は、例えば、歪み補正等の補正処理、カラー合成処理等の画像合成処理などを行う。
 ステップS19において、衛星管理装置11は、画像処理後の衛星画像を所定の記憶部に記憶する。あるいはまた、衛星管理装置11は、画像処理後の衛星画像を、顧客が所有する装置(サーバ)へ送信してもよい。
 以上で、地上の所定の領域を撮影する一連のシーケンスが終了する。なお、上述した基本シーケンスにおいて、衛星管理装置11が行うとして説明したメタデータの解析および画像処理は、地上局13が行ってもよい。メタデータの解析および衛星画像の画像処理は、衛星管理装置11と地上局13との間で、処理の内容等に応じて適宜分担して実行することができる。
 また、上述した例では、衛星画像にメタデータを付加して送信することとしたが、メタデータは、衛星画像とは別のストリームとして送信するようにしてもよい。
<3.第1の衛星データ伝送処理>
 ところで、近年、衛星21に搭載されるカメラの性能が向上し、高品質な画像が得られるようになってきており、それにともない、衛星画像のデータも大きくなってきている。一方で、衛星21が地上局13と通信できるのは、衛星間通信を除けば、衛星21が地上局13上空を通過している数分ないし数十分に限られる。そのため、衛星21が撮影した衛星画像のデータをそのまま送信すると、データ容量が大きすぎたり、通信帯域の不足などにより、1回のパスで地上へ伝送できない場合がある。ここで、1回のパスとは、衛星21と地上局13との間で行われる一続きとみなせる通信の単位を表し、例えば、上空を通過する衛星21が地上の所定の地上局13の通信範囲内に入ってから出るまでの通信可能期間に行われる一連の通信などが相当する。
 通信のデータや帯域に十分な余裕がある場合には、上述した基本シーケンスの通り、衛星画像のデータをそのまま送信すればよいが、1回のパスで地上へ伝送できない場合には、地上で必要となるデータを効率的に伝送することが求められる。
 そこで、図1の衛星画像処理システム1は、図4に示されるような、地上局13からの動的リクエストに基づく衛星画像の効率的な伝送を行う。
 図4は、図1の衛星画像処理システム1が実行する第1の衛星データ伝送処理における、データ伝送の流れを示している。
 図4の例では、衛星21において、撮影により、3枚の衛星画像SD1乃至SD3が既に生成されているとする。3枚の衛星画像SD1乃至SD3それぞれは、静止画でもよいし、動画像でもよい。
 (1)衛星21は、3枚の衛星画像SD1乃至SD3それぞれの部分データPD1乃至PD3を生成し、地上局13へダウンリンクする。
 (2)地上局13は、受信した部分データPD1乃至PD3に基づいて、不足データがあるかを検出する。地上局13は、不足データがある場合に不足データを補うための追加の部分データ(以下、追加データと称する。)を設定する。例えば、地上局13は、部分データPD1乃至PD3のうち、部分データPD2についてはデータが不足であると判定し、追加データAD2を設定する。
 (3)地上局13は、追加データAD2を衛星21へリクエストする。
 (4)衛星21は、地上局13からの追加データのリクエストを受信し、衛星画像SD2から追加データAD2を生成する。
 (5)衛星21は、生成した追加データAD2を地上局13へダウンリンクする。
 (6)地上局13は、衛星21から受信した追加データAD2を受信する。地上局13は、衛星画像SD2については、衛星21から取得した複数の部分データ、即ち、初めの部分データPD2と追加データAD2とを用いて、衛星画像SD2の解析を行う。追加データAD2を取得してもなお、追加データが必要と判定された場合には、上述した(3)乃至(5)の処理が繰り返される。衛星画像SD1については、部分データPD1のみを用いて衛星画像SD1の解析が行われ、衛星画像SD3については、部分データPD3のみを用いて衛星画像のSD3の解析が行われる。
 図5のフローチャートを参照して、効率的なデータ伝送を行う第1の衛星データ伝送処理についてさらに説明する。図5の処理は、衛星21が地上局13から撮影指示を受信した後に開始される処理である。
 初めに、ステップS51において、衛星21は、地上局13からの撮影指示に基づき、所定の撮影地点に到達すると、撮影対象位置の撮影を行う。ステップS51の処理は、次のステップS71が実行されるまでに複数回行われてもよい。ここで得られた、縮小や間引き等が行われる前の衛星画像を、部分データと対比して、衛星画像の完全データとも称する。
 ステップS71において、地上局13は、撮影により得られた衛星画像の部分データを要求する部分データリクエストを衛星21へ送信する。
 ステップS52において、衛星21は、地上局13からの部分データリクエストを受信し、衛星画像の部分データを生成する部分データ生成処理を実行する。そして、衛星21は、ステップS53において、地上局13からの部分データリクエストに対する返答として、生成した部分データを地上局13に送信する。
 ステップS72において、地上局13は、衛星21から送信されてきた部分データを受信し、受信した部分データに不足があるかを検出する不足データ検出処理を実行する。この不足データ検出処理は、部分データを解析する解析処理の一つである。
 不足データ検出処理では、例えば、地上局13は、いま取得した現在の部分データを、過去に取得された部分データと比較して、過去の部分データとの間に差分がある場合に、より精密に解析するため追加データが必要である、すなわち、不足データがあると判定する。
 より具体的には、例えば、衛星画像に写る車両などの物体認識を、後述するステップS78のデータ解析処理として実行する場合に、地上局13は、いま取得した部分データと過去の部分データとの間に差分がない場合には、過去の精細データを流用できるので、不足データなしと判定する。また例えば、衛星画像に写る農場等の植生状況の検出を、後述するステップS78のデータ解析処理として実行する場合に、地上局13は、いま取得した部分データと過去の部分データとの間に差分がない場合には不足データなしと判定し、差分がある場合には、精密データを取得して植生マップを再構築するために、追加データが必要である、すなわち、不足データがあると判定する。
 また、地上局13は、不足データ検出処理として、部分データに対する認識処理を実行し、認識処理の結果をもとに、より精密な追加データが必要である、すなわち、不足データがあると判定する。
 より具体的には、例えば、地上局13は、不足データ検出処理として、衛星画像に写る車両などの物体認識処理を実行し、部分データでは認識処理の信頼度が低い場合に、より精密な追加データが必要である、すなわち、不足データがあると判定する。また例えば、地上局13は、不足データ検出処理として、衛星画像に写る農場等の植生状況の検出を行い、植生状況の推定精度が低い場合には、より精密な追加データが必要である、すなわち、不足データがあると判定する。
 ステップS73において、地上局13は、不足データ検出処理の結果、不足データがあるかどうかを判定し、不足データがあると判定された場合、処理をステップS74に進める。一方、不足データがないと判定された場合、処理は、後述するステップS78に進む。
 ステップS73で、不足データがあると判定された場合、地上局13は、ステップS74において、部分データに関連する追加データを設定する追加データ設定処理を実行し、ステップS75において、追加データのダウンリンクを要求する追加データリクエストを衛星21へ送信する。部分データ生成処理および追加データ設定処理の具体例については、図6乃至図9等を参照して後述する。
 ステップS54において、衛星21は、地上局13からの追加データリクエストを受信し、追加データを生成する追加データ生成処理を実行する。そして、衛星21は、ステップS55において、生成した追加データを、追加データリクエストの返答として、地上局13に送信する。
 ステップS76において、地上局13は、衛星21から送信されてきた追加データを受信し、最初に取得した部分データと、その後に取得した追加データとを統合するデータ統合処理を実行する。
 ステップS77において、地上局13は、最初に取得した部分データと、その後に取得した追加データとを統合した統合データで、データ解析を行うために十分であるかを判定する。このステップS77の処理は、不足データがあるか否かを判定した不足データ検出処理と同様である。
 ステップS77で、データ解析を行うためにまだ十分ではないと判定された場合、処理はステップS74に戻り、上述したステップS74乃至S77の処理が繰り返される。すなわち、地上局13は、部分データに関連する追加データをさらにリクエストして取得する。
 一方、ステップS77で、データ解析を行うために十分であると判定された場合、処理はステップS78に進み、地上局13は、衛星21から取得した部分データまたは統合データを用いてデータ解析処理を実行する。データ解析処理の結果は、記憶部に記憶されるとともに、顧客へ送信される。
 以上のように、衛星画像処理システム1の第1の衛星データ伝送処理では、初めに、撮影により得られた衛星画像の部分データが地上局13に送信され、部分データに不足があると判定された場合に、部分データに関連する追加データが衛星21へ動的にリクエストされ、取得される。これにより、データ解析で必要とされるデータのみが、衛星21と地上局13との間で伝送されるので、通信時間およびデータ量を抑制することができ、効率的にデータを伝送することができる。地上局13は、データを効率的に取得できる。
 図5で説明した一連の処理は、1回のパスで行ってもよいし、複数回のパスに分けて行ってもよい。複数回のパスに分けて行う場合、例えば、衛星21と地上局13との間の通信を、(A)部分データを取得する通信(ステップS71、S53)、(B)地上局13から衛星21への追加データのリクエスト(ステップS75)、(C)衛星21から地上局13への追加データのダウンリンク(ステップS55)に大別すると、(A)、(B)、(C)をそれぞれ異なるパスで行ってもよいし、最初のパスで(A)を実行し、次のパスで(B)および(C)を実行してもよい。または、最初のパスで(A)および(B)を実行し、次のパスで(C)を実行してもよい。先のパスと次のパスは、例えば、数時間後や数日後であってよい。通信を中継する衛星21が介在する衛星間通信を利用した場合には、一定程度の長い通信期間を確保することができるので、1回のパスで行うことが容易となる。
 図6乃至図9を参照して、衛星画像の部分データを生成する部分データ生成処理について説明する。
 図6のAに示される衛星画像ST1は、衛星21の撮影により得られた画像である。
 例えば、衛星21は、部分データ生成処理として、図6のBに示されるように、衛星画像ST1に対して縮小処理を実行することにより、部分データST2を生成する。縮小処理は、例えば、衛星画像ST1の解像度を落とす低解像度処理、フレームレートを落とす低フレームレート処理、ビット長を落とす低ビット長処理などであり、衛星画像ST1のデータ量を縮小させる。
 このような部分データに対して、追加データ設定処理として設定される追加データは、例えば、部分データST2よりも解像度、フレームレート、または、ビット長を高くしたデータ(画像)とされる。また、部分データ全体に対して、解像度、フレームレート、または、ビット長を高くしたデータではなく、部分データの一部の領域を指定して、その領域のみ、解像度、フレームレート、または、ビット長を高くしたデータであってもよい。
 また例えば、衛星21は、部分データ生成処理として、図6のCに示されるように、衛星画像ST1に対してサブサンプル抽出処理を実行することにより、部分データST3を生成する。
 図7は、サブサンプル抽出処理により生成された部分データの例を示している。
 サブサンプル抽出処理は、高解像度の画像を所定の規則に従って間引きした画素による画像(サブサンプル画像)を生成する処理であり、異なる解像度のサブサンプル画像どうしでは、異なる画素がサンプリングされる。
 図7の例では、図6の衛星画像ST1に対してサブサンプル抽出処理を行うことにより、部分データとしてのサブサンプル画像ST21、ST22、ST23、および、ST24が生成されている。解像度は、サブサンプル画像ST21、ST22、ST23、ST24の順に高くなっている(ST21<ST22<ST23<ST24)。
 例えば、衛星21は、衛星画像ST1に対して、最初に地上局13に送信する部分データとしてサブサンプル画像ST21を送信する。そして、衛星21は、追加データリクエストを受信した場合に、サブサンプル画像ST22、ST23、ST24のように、解像度を徐々に高くしたサブサンプル画像を、追加データとして地上局13に送信する。
 サブサンプル画像ST21乃至ST24それぞれの上側に示される8x8のブロックにおいて、サブサンプル画像として抽出される画素(サブサンプル位相)がハッチング(斜線)で示されている。ドットが付された画素は、それより前のサブサンプル画像で送信された画素を示している。
 このように異なる解像度のサブサンプル画像どうしで、抽出される画素が異なるようにサブサンプル画像を構成することで、複数回に分けて取得した複数のサブサンプル画像(部分データ)を統合するデータ統合処理を実行したときに、過去に取得したデータが冗長となることがないので、より高効率にデータを取得することができ、統合された画像を用いたデータ解析処理を高精度に実行することができる。なお、複数のサブサンプル画像を用いた認識処理については、図21乃至図31を参照して後述する。
 図8は、比較例としての低解像度画像ST21、ST22、ST23、および、ST24の例を示している。
 低解像度画像ST31、ST32、ST33、および、ST34は、衛星画像ST1に対して、解像度を単純に、1/8、1/4、1/2、のように間引いて生成した画像である。解像度は、低解像度画像ST31、ST32、ST33、ST34の順に高くなっている(ST31<ST32<ST33<ST34)。
 例えば、衛星21は、衛星画像ST1に対して、最初に地上局13に送信する部分データとして低解像度画像ST31を送信する。そして、衛星21は、追加データリクエストを受信した場合に、低解像度画像ST32、ST33、ST34のように、解像度を徐々に高くした低解像度画像を、追加データとして地上局13に送信する。
 低解像度画像ST31乃至ST34それぞれの上側に示される画素において、ドットが付された画素は、それより前のサブサンプル画像で送信された画素を示している。
 このような低解像度画像の送信では、次に部分データとして送信する低解像度画像に、それ以前に送信された低解像度画像の画素も含まれるため、データが重複し、過去に送信したデータが無駄になる。図7のように、サブサンプル抽出処理により部分データを生成することで、データを高効率に伝送することができる。
 撮影枚数に対する部分データと追加データとの関係は、例えば、次のいずれであってもよい。
 例えば、1枚の衛星画像のデータが大容量である場合には、部分データが図7のサブサンプル画像ST21であり、追加データが図7のサブサンプル画像ST22であるような関係とすることができる。特に地上局13との通信可能時間が短い場合に有効となる。
 一方、1枚の衛星画像のデータ容量は多くはないが、10000枚の衛星画像をすべてダウンリンクしようとすると大容量となるような場合、10000枚それぞれについてのインデックスデータを部分データとし、ダウンリンクすることができる。インデックスデータは、サムネイル画像でもよいし、衛星画像の特定領域の一部分の画像でもよい。この場合、追加データは、例えば、サブサンプル画像のような10000枚それぞれについて補完するデータとすることができる。あるいはまた、追加データを、10000枚のうちの所定枚数(例えば、5枚)の完全データとすることができる。
 図9は、部分データ生成処理のその他の例を示している。
 例えば、衛星21は、部分データ生成処理として、図9のAに示されるように、衛星画像ST1を所定の特徴量に変換する特徴量変換処理を実行することにより、部分データPT1を生成する。衛星21側において特徴量変換の計算コストは発生するものの、特徴量に変換することにより情報量を削減することができる。例えば、衛星画像ST1をFFT変換し、周波数ドメインに変換したデータを、部分データPT1としてもよい。周波数ドメインに変換したデータは、復号した画像のアーティファクトが少ないという利点がある。
 また、衛星21は、衛星画像ST1に対して、特徴量変換処理として物体認識処理を実行し、物体の認識結果を部分データPT1としてもよい。物体の認識結果を特徴量とすることにより、情報量を大幅に削減することができる。
 さらに、部分データ生成処理として、図9のBに示されるように、上述した特徴量変換処理とサブサンプル抽出処理の両方を実行してもよい。例えば、衛星21は、衛星画像ST1に対して特徴量変換処理を実行し、その結果得られた部分データPT1に対してさらにサブサンプル抽出処理を実行する。そして、サブサンプル抽出処理の結果得られた部分データPT2が、地上局13に送信される。特徴量変換処理とサブサンプル抽出処理の順番は反対でもよい。
<4.地上局と衛星の機能ブロック図>
 図10は、上述した部分データを用いたデータの効率的な伝送を実行する地上局13と衛星21の機能ブロック図を示している。
 地上局13は、制御部81、画像処理部82、通信部83、記憶部84、操作部85、および、表示部86を備える。
 制御部81は、記憶部84に記憶されたプログラムを実行することにより、地上局13全体の動作を制御する。例えば、制御部81は、衛星管理装置11によって指定された所定の衛星21に対する撮影指示の送信、衛星21から送信されてくる衛星画像およびその部分データの受信を制御する。
 画像処理部82は、衛星21から送信されてくる衛星画像に関する画像処理を行う。具体的には、画像処理部82は、衛星21から送信されてきた部分データに不足があるかを検出する不足データ検出処理、不足データがあると判定された場合に追加データを設定する追加データ設定処理、先に取得した部分データと、その後に取得した追加データとを統合するデータ統合処理、統合データを用いてデータ解析を行うデータ解析処理などを行う。その他、画像処理部82は、衛星画像に対する所定の画像処理、例えば、撮影画像に所定のメタデータを付加するメタデータ生成処理、撮影画像の歪み補正等の補正処理、カラー合成処理等の画像合成処理なども行う。
 通信部83は、制御部81の指示に従い、ネットワーク12を介して衛星管理装置11と所定の通信を行うとともに、衛星21とも通信を行う。例えば、通信部83は、衛星21から送信されてきた衛星画像の部分データまたは完全データを受信する。
 記憶部84は、制御部81の指示に従い、衛星画像の部分データなどのデータ、データ解析処理の結果、動作制御プログラムなどを記憶する。
 操作部85は、例えば、キーボードやマウス、タッチパネル等で構成され、ユーザ(オペレータ)の操作に基づくコマンドやデータの入力を受け付け、制御部81へ供給する。
 表示部86は、例えば、LCD(Liquid Crystal Display)や有機EL (Electro Luminescence)ディスプレイで構成される。表示部86は、衛星21から受信した衛星画像、データ解析処理の結果、衛星21との通信結果等を表示する。
 衛星21は、アンテナAT、衛星通信部61、撮影装置62、制御部63、画像処理部64、および、記憶部65を備える。なお、この衛星21の構成は、主に画像に関係する機能についてのみであり、図示は省略するが、衛星21は、姿勢の制御に関して、固体モータ、イオンエンジン等の推進装置や、位置の制御に関する、GPS受信機、スタートラッカ(姿勢センサ)、加速度センサ、ジャイロセンサなどのセンサ類、バッテリ、太陽電池パネル等の電源類なども備える。
 衛星通信部61は、制御部63の制御に基づいて、衛星21から送信されてくる撮影指示や部分データの要求を表すデータリクエストを受信するとともに、撮影装置62が撮影した画像の画像データや、撮影時の衛星21の状態を示す状態データなどを、アンテナATを介して、地上局13に送信する。
 撮影装置62は、衛星21が光学衛星である場合、例えば、イメージセンサ(光学センサ)を含むカメラモジュールで構成され、制御部63の制御に基づいて、対象物の撮影を行う。衛星21が合成開口レーダー(SAR)衛星の場合には、撮影装置62はレーダー装置で構成される。撮影装置62が搭載するイメージセンサの感度/シャッタスピード、解像度、モノクロ/カラー、バンド(波長域)などは、衛星21の用途や大きさなどによって異なる。撮影装置62は、例えば、R(Red)とIR(Infrared)のマルチスペクトラムカメラや、モノクロとカラー(RGB)など、複数のイメージセンサを備える場合もある。
 制御部63は、衛星21全体の動作制御を行う。例えば、制御部63は、地上局13からの撮影指示に基づいて、撮影装置62に撮影を行わせる。制御部63は、撮影により得られた衛星画像や、その部分データを衛星通信部61に送信させたり、地上局13からの追加データリクエストに基づいて、画像処理部64に部分データの生成を指示する。
 画像処理部64は、制御部63の制御に基づいて、撮影装置62が撮影して得られた衛星画像から部分データを生成する処理を行う。また、画像処理部64は、衛星画像に対する所定の画像処理、例えば、衛星画像に所定のメタデータを付加するメタデータ生成処理、衛星画像の歪み補正等の補正処理、カラー合成処理等の画像合成処理などを行う。
 記憶部65は、制御部63により実行される制御プログラムやパラメータを記憶する。また、記憶部65は、撮影により得られた衛星画像の完全データや部分データなどを必要に応じて記憶し、衛星通信部61または制御部63に供給する。
 以上の構成を有する地上局13および衛星21が、上述した第1の衛星データ伝送処理を行うことができる。
 なお、上述した第1の衛星データ伝送処理は、地上局13が、衛星画像を生成した衛星21と直接通信を行う場合の例で説明したが、他の衛星21を介してデータを伝送する衛星間通信を行う場合にも、第1の衛星データ伝送処理は適用することができる。第1の衛星21がリアルタイムに撮影を行い、衛星間通信を用いて第2の衛星21へ転送し、第2の衛星21が地上局13へダウンリンクするような場合、リアルタイムなデータの転送が要求されることから、帯域の制約が大きくなるところ、上述した部分データを送信し、必要に応じて追加データを送信することで、効率よく地上局13へデータを伝送することができる。
 上述した第1の衛星データ伝送処理は、1種類の衛星画像(完全データ)の部分データと追加データを伝送する例について説明したが、衛星21が、モノクロ/カラー、R/IRなど、種類の異なるイメージセンサを備える場合には、複数のイメージセンサそれぞれの衛星画像について、部分データと追加データを要求する処理とすることができる。
<第1の衛星データ伝送処理の適用例>
 第1の衛星データ伝送処理の具体的な適用例について説明する。
・農業
 部分データとして植生状況を表す低解像度のNDVI画像がダウンリンクされる。地上局13は、追加データ設定処理として、低解像度のNDVI画像において特定閾値を超えた特異領域を検出し、その領域のみの高解像版のNDVI画像を、追加データとしてリクエストする。あるいはまた、地上局13は、追加データ設定処理として、別の波長域(バンド)のデータを追加データとして設定し、リクエストする。これにより、高精度な解析が可能となる。
・海洋(船舶監視)
 海洋全体は膨大なデータとなるので、被写体として海洋のある領域を含む画像について、変化点がぎりぎりわかるレベルのデータが部分データとしてダウンリンクされる。例えば、船舶の位置がぎりぎり分かる程度のデータや、船舶の位置だけがわかる特徴量のデータが部分データとされる。地上局13は、船舶の位置を示すAIS(Automatic Identification System)情報と照合し、その照合結果(認識結果)を用いて、AIS情報では船舶が存在しない場所についてのみ、高解像度の画像を追加データとして設定し、リクエストする。これにより、不審な領域についてのみさらに解析することができる。船舶等の海洋上の移動体に限らず、ブイ等の海洋上の構造物についても同様に解析することができる。
・都市開発
 例えば都市部を撮影した低解像度の衛星画像が部分データとしてダウンリンクされる。地上局13は、追加データ設定処理として、ダウンリンクした低解像度の衛星画像と、過去の衛星画像とを照合し、変化点を抽出し、変化点として抽出された領域のみ高解像度の衛星画像を、追加データとして設定し、リクエストする。これにより、変化点が発生した領域の高精度な解析が可能となる。
<5.第2の衛星データ伝送処理>
 次に、第2の衛星データ伝送処理について説明する。
 上述した第1の衛星データ伝送処理では、衛星21は、地上を撮影して得られた衛星画像に基づいて、地上局13からの動的なリクエストに応じて部分データを生成し、地上局13へダウンリンクする。ダウンリンクできるのは、通常は、地上局13上空を通過する所定期間に限られる。
 衛星21に搭載されるカメラの性能が向上し、衛星画像のデータも大きくなってきているところ、ダウンリンクできる地上局13上空に衛星21が到達するまでは、衛星21が衛星画像を保持しておくことが必要となり、衛星21のリソース(ストレージ)を圧迫してしまう。
 そこで以下では、衛星21のリソースを効率的に利用した衛星画像のデータ伝送について説明する。
 図11は、図1の衛星画像処理システム1が実行する第2の衛星データ伝送処理における、データ伝送の流れを示している。
 (1)衛星21は、地上の撮影対象領域を撮影する。撮影は、可視化用途の場合と、認識用途の場合とがある。
 (2)衛星21は、撮影して得られた衛星画像から、衛星画像の特徴量を生成する特徴量生成処理を実行し、その結果得られた特徴量データを記憶部65に記憶する。撮影が可視化用途の場合には、衛星21は、画像復元処理などがし易いような特徴量を生成し、記憶する。撮影が認識用途の場合には、衛星21は、認識精度が下がらないような特徴量を生成し、記憶する。生成される特徴量は、画像である必要はない。
 (3)地上局13は、衛星21が地上局13上空を通過するとき、特徴量データを衛星21へリクエストする。
 (4)衛星21は、地上局13からの特徴量データのリクエストを受信し、記憶部65に記憶しておいた特徴量データ(特徴量情報)を地上局13へダウンリンクする。
 上述した第1の衛星データ伝送処理では、地上局13が、ダウンリンクした部分データ(追加データも含む)を用いて、衛星画像の解析を行ったが、第2の衛星データ伝送処理では、衛星21が、地上局13における衛星画像の解析処理を前提として、予め解析に必要な特徴量データに変換したものを記憶し、ダウンリンクする。これにより、衛星21のリソース(ストレージ)を効率的に利用するとともに、衛星21と地上局13間のデータ伝送を効率的に行うことができる。
 衛星21は、特徴量データのみを記憶部65に記憶し、その元データ、即ち、撮影により得られた衛星画像そのものは記憶しない(消去する)。
 地上局13は、衛星21から、地上の撮影対象領域を撮影した衛星画像の特徴量データを取得し、取得した特徴量データと、補完用データ(補完用情報)とを用いて、補完後データである完全データ(完全情報)を生成する。補完用データは、特徴量データの取得時において地上局13が既に保有しているデータであり、例えば、衛星21が撮影した衛星画像の撮影対象領域に関する過去(取得した特徴量データを作成した衛星画像の撮影時よりも前)の情報である。
 図12を参照して、第2の衛星データ伝送処理における特徴量の生成を説明する。
 図12のAは、撮影が可視化用途の場合の特徴量データの例であり、光学衛星画像である衛星画像ST1に対して所定の圧縮処理を実行した画像ST31を、衛星画像の特徴量データとして生成する例を示している。所定の圧縮処理には、動画または静止画に使用される例えばJPEGやMPEG等の画像圧縮技術を採用することができる。
 図12のBおよびCは、撮影が認識用途の場合の特徴量データの例である。
 衛星21は、図12のBに示されるように、衛星画像ST1を所定の特徴量に変換する特徴量変換処理を実行し、その結果得られた特徴量データを記憶し、ダウンリンクすることができる。
 特徴量変換処理の例としては、例えば、画像に対する深層学習処理の一種であるCNN(Convolutional Neural Network)を採用することができる。例えば、CNNの畳み込み層またはプーリング層の演算値を特徴量として記憶することができる。CNNの畳み込み層またはプーリング層の演算値のビット長や解像度をさらに落とした値を特徴量としてもよい。また例えば、特徴量変換処理として、衛星画像を入力としてデータ量を削減した所定の特徴量を予測出力する機械学習の予測処理を採用してもよい。
 特徴量変換処理後のデータを特徴量データとして記憶し、地上局13へ伝送する場合、情報量の圧縮(削減)が可能となり、可視化用の特徴量変換では落としてしまうような情報を認識用の特徴量変換によって記憶しておくことができる。地上局13では、特徴量をもとに高精度または多様な認識処理が可能となる。ただし、地上局13で行われる認識タスクによって必要な特徴量が異なり、衛星21から送信する特徴量が、地上局13で必要な特徴量と異なる場合には、認識精度が低下する可能性がある。また、地上局13で必要な特徴量が不明である場合には、複数の特徴量を生成、保存して、地上局13へ伝送する必要がある場合がある。
 特徴量変換処理は、衛星画像の特徴量を抽出する処理であってもよい。衛星画像に写る車両を認識対象の被写体として認識する認識処理を地上局13が実行するような場合、衛星画像の認識処理対象地域を識別するための特徴量、例えば、過去の衛星画像との位置合わせや隣接地域の衛星画像とのスティッチ処理の位置合わせのための特徴量を、特徴量データとして記憶しておくことができる。例えば、特徴的な地形や道路、建物等である特定被写体のベクトル情報等が、画像位置合わせ用の特徴量として抽出される。例えば、衛星21は、時間差で取得された複数の衛星画像の差分を抽出し、特定被写体の変化量や地表の変化量などを特徴量データとして記憶しておくことができる。また例えば、衛星21の所定の移動方向への移動に関する情報を特徴量として抽出し、特徴量データとして記憶しておくことができる。衛星21の位置は、TLE情報や、GPS信号による測位、レーザや光学的手段を用いた地上からの直接観測などにより検出することができるが、これらの方法で検出された衛星21自身の移動を加味した上で(キャンセルした上で)、衛星画像内の特定被写体の変化量や地表の変化量などを特徴量データとして記憶しておくことができる。衛星21自身の移動に基づく特徴量と、それにその他の特徴量をさらに加えた情報を特徴量データとして記憶してもよい。これらの情報を予め特徴量として抽出することで、衛星画像のデータを効率的に保存し、地上局13へ伝送することができる。
 また、衛星21が、RとIRなどの異なるバンドでの撮影を行うカメラである場合には、バンド毎の衛星画像から抽出した特徴量データと、各バンドの複数の衛星画像を統合して得られる画像から抽出した特徴量データとを記憶し、地上局13へ伝送することができる。
 衛星21は、図12のCに示されるように、衛星画像ST1に対して、所定の特徴量に変換する特徴量変換処理を実行し、その結果得られた特徴量に対して認識処理を実行し、その認識結果のメタデータを、特徴量データとして記憶し、ダウンリンクすることができる。例えば、地上の衛星画像から「車が何台」というような認識結果が、特徴量データとして記憶され、ダウンリンクされる。
 認識結果のメタデータを特徴量データとして記憶し、地上局13へ伝送する場合、情報量の大幅な圧縮(削減)が可能となり、可視化用の特徴量変換では落としてしまうような情報を保存しておくことができる。ただし、認識処理は予め登録した処理となるため、地上局13側では、高精度または多様な認識処理はできない。
 また、衛星21は、上述した第1の衛星データ伝送処理において地上局13が実行した、解析に必要となる部分データを生成する処理を特徴量生成処理として実行し、生成した部分データ(追加データも必要に応じて含む)を特徴量データとして記憶し、地上局13へ伝送することができる。
 図13のフローチャートを参照して、部分データを生成する処理を特徴量生成処理として衛星21側が実行する第2の衛星データ伝送処理を説明する。図13の処理は、衛星21が地上局13からの撮影指示を受信した後から開始される。
 初めに、ステップS91において、衛星21は、地上局13からの撮影指示に基づき、所定の撮影地点に到達すると、撮影対象位置の撮影を行う。ステップS91の処理は、次のステップS92が実行されるまでに複数回行われてもよい。撮影により、衛星画像の完全データが得られる。
 ステップS92において、衛星21は、衛星画像の完全データを所定の特徴量データに変換することによりデータ量を縮小するデータ縮小処理を実行する。このデータ縮小処理としては、例えば、図12で説明した特徴量生成処理を実行することができる。また、図5で説明した第1の衛星データ伝送処理のステップS52で実行される、部分データを生成する部分データ生成処理と同様の処理を、データ縮小処理として実行してもよい。
 ステップS93において、衛星21は、データ縮小処理により生成された特徴量データを用いて認識処理を実行する。この認識処理は、地上局13で想定される認識処理を事前に実行し、データ量を縮小した特徴量データで認識が可能かどうかを事前に確認する処理である。換言すれば、この処理は、地上局13で想定される認識処理を事前に実行し、ダウンリンク予定の特徴量データで不足がないかどうかを検出する処理であり、図5で説明した第1の衛星データ伝送処理のステップS72で実行される、不足データ検出処理と同様である。
 ステップS94において、衛星21は、認識処理の結果、生成した特徴量データが認識処理に十分なデータであるかを判定する。ステップS94で、特徴量データが認識処理に十分なデータであると判定された場合、処理は、後述するステップS100へ進む。
 一方、ステップS94で、特徴量データが認識処理に十分なデータではないと判定された場合、処理はステップS95へ進み、衛星21は、追加の特徴量データを設定する追加データ設定処理を実行し、ステップS96において、追加の特徴量データを生成する追加データ生成処理を実行する。続いて、衛星21は、ステップS97において、最初に生成した特徴量データと、その後に生成した追加の特徴量データとを統合するデータ統合処理を実行する。
 そして、ステップS98において、衛星21は、統合した特徴量データが認識処理に十分なデータであるかを判定する。このステップS98の処理は、上述したステップS94の判定処理と同様である。ステップS98の処理は、必要に応じて、ステップS93と同様の認識処理を行ってから判定してもよい。
 ステップS98で、統合した特徴量データが認識処理に十分なデータではないと判定された場合、処理はステップS99へ進み、衛星21は、再度の撮影が必要であるかを判定する。例えば、衛星画像の解像度が不足するために、生成した特徴量データにおいて十分な認識結果が得られない場合、現在の衛星画像を基に特徴量データをいくら生成しても認識結果の向上には限界がある。そのような場合、解像度を変更して(解像度を上げて)撮影をし直すことが必要である。あるいはまた、認識処理により、現在の衛星画像の特定領域の詳細が必要であると判断される場合には、その特定領域にズームした撮影をやり直す必要がある。
 ステップS99で、再度の撮影が必要であると判定された場合、処理はステップS91へ戻り、上述したステップS91以降の処理が再度実行される。すなわち、撮影対象位置の撮影、および、撮影により得られた衛星画像から所定の特徴量データの生成等が実行される。
 一方、ステップS99で、再度の撮影は必要ないと判定された場合、処理はステップS95へ戻り、上述したステップS95以降の処理が再度実行される。すなわち、追加の特徴量データの生成、および、生成した特徴量データと、それ以前に生成された特徴量データとのデータ統合処理等が実行される。
 一方、上述したステップS98で、統合した特徴量データが認識処理に十分なデータであると判定された場合、処理はステップS100へ進み、衛星21は、生成した特徴量データのデータ保存を行う。これにより、生成した特徴量データ、または、データ統合処理が行われた場合には統合処理後の特徴量データが、記憶部65に記憶され、元の衛星画像(完全データ)は、記憶部65には記憶されない。
 ステップS121において、地上局13は、自身の上空を衛星21が通過するタイミングにおいて、特徴量データを要求する特徴量データリクエストを衛星21へ送信する。
 ステップS101において、衛星21は、地上局13からの特徴量データリクエストを受信し、その返答として、記憶部65に記憶しておいた特徴量データを地上局13へ送信する。
 ステップS122において、地上局13は、衛星21から送信されてくる特徴量データを受信するとともに、受信した特徴量データと、補完用データとに基づき完全データ生成処理を実行し、解析処理用の完全データを生成する。補完用データは、地上局13に予め保有されている。
 ステップS123において、地上局13は、生成した解析処理用の完全データに基づく解析を行うデータ解析処理を実行する。データ解析処理の結果は、記憶部84に記憶されるとともに、顧客へ送信される。
 例えば、地上局13は、ある解析対象地域を認識処理した結果としての車両の台数などを、衛星21から特徴量データとして受信する。地上局13は、補完用データとして、例えば同一の解析対象地域の過去の車両台数などを取得して、解析処理用の完全データを生成する。あるいはまた、地上局13は、例えば同一の解析対象地域の商業施設に関する情報、道路や建築物に関する情報などを補完用データとして取得して、解析処理用の完全データを生成する。地上局13は、データ解析処理として、衛星21が撮影した日の解析対象地域の交通量の変動を解析する。
 以上のように、衛星画像処理システム1による第2の衛星データ伝送処理では、衛星21が、上述した第1の衛星データ伝送処理において地上局13が実行した不足データ検出処理に相当する認識処理を実行し、認識処理に必要とされる特徴量データを事前に予想作成して保存し、地上局13へ伝送する。特徴量データの元データである衛星画像はデータ保存されない。
 これにより、情報量の圧縮(削減)が可能となり、衛星21のリソースを効率的に利用することができる。生成された特徴量データは、認識処理に必要とされるデータとされているので、可視化用の特徴量変換では落としてしまうような情報を保存しておくことができる。地上局13では、特徴量をもとに高精度または多様な認識処理が可能となる。ただし、地上局13で行われる認識タスクによって必要な特徴量が異なり、衛星21から伝送する特徴量が、地上局13で必要な特徴量と異なる場合には、認識精度が低下する可能性がある。また、地上局13で必要な特徴量が不明である場合には、複数の特徴量を生成、保存して、地上局13へ伝送する必要がある場合がある。
 衛星21が実行する、不足データを認識する認識処理は、データ解析に必要な特徴量データを間接的に認識する、軽量、汎用的な処理であってもよいし、機械学習で生成した認識器等を用いて、認識に必要な特徴量データを直接、抽出する処理であってもよい。例えば、軽量、汎用的な認識処理が、認識処理のスコアに基づいて、解像度が不足しているか否かを認識し、高解像度な衛星画像が必要であると判定する処理である場合に、直接的な認識処理では、必要な解像度、例えば、画像サイズ(画素数)や、フレームレート、ビット長などを明示的に出力するような認識器による認識処理とすることができる。
 第2の衛星データ伝送処理では、最初に取得した衛星画像では認識処理に必要な特徴量データが得られない場合に、再度撮影をやり直し、新たな撮影条件で撮影した衛星画像に基づいて特徴量データを準備することができる。これにより、認識処理に必要なデータを効率よく取得して送信することができる。
 第2の衛星データ伝送処理を実行する地上局13と衛星21それぞれは、図10に示した構成で実現でき、第1の衛星データ伝送処理において地上局13の画像処理部82が行う処理を、第2の衛星データ伝送処理では、衛星21の画像処理部64が実行する。
 図13の第2の衛星データ伝送処理は、1種類の衛星画像(完全データ)の特徴量データを生成して地上局13へ伝送する例について説明したが、衛星21が、モノクロ/カラー、R/IRなど、種類の異なるイメージセンサを備える場合には、複数のイメージセンサそれぞれの衛星画像について、特徴量データを生成し、伝送する処理とすることができる。
<第2の衛星データ伝送処理の適用例>
 第2の衛星データ伝送処理において、衛星21が認識処理を実行し、特徴量データを生成する具体例について説明する。
・農業
 衛星21は、NDVI等の植生状況の検出を認識処理として実行し、NDVI画像等において特異点を示すデータ、例えば、病害虫の発生等が示唆される特異パターンを検出したデータを、特徴量データとして記憶および伝送することができる。NDVI画像等における特異パターンを検出したデータのような、ある基準を満たした特徴状態を示すデータも特徴量データとすることができる。
・海洋
 衛星21は、海洋のある領域を撮影した衛星画像について、船舶の位置を検出する処理を認識処理として実行し、その認識結果を特徴量データとして記憶および伝送することができる。
 衛星21は、海水温の分布を認識処理により検出し、その認識結果を特徴量データとして記憶および伝送することができる。また、海水温自体の分布や変化量の分布において特異パターンを検出したデータのような、ある基準を満たした特徴状態を示すデータも特徴量データとすることができる。
・都市開発
 衛星21は、撮影された衛星画像を、内部に記憶されたベース画像と比較して、道路や建物の出現などによる変化点を抽出し、変化点を示す情報を特徴量データとして記憶および伝送することができる。このときのベース画像は、例えば、撮影された衛星画像の撮影領域に関して、衛星画像の撮影時よりも一定期間程度前(過去)に撮影された衛星画像とすることができる。
・経済指標
 衛星21は、撮影された衛星画像から、認識対象地域としての所定の駐車場における車両の駐車台数などを認識し、その認識結果を特徴量データとして記憶および伝送することができる。
<6.第3の衛星データ伝送処理>
 次に、第3の衛星データ伝送処理について説明する。
 地上に設置されたセンサデバイス(IoTセンサ)による定点観測が行われている。
 例えば、図14に示されるように、センサデバイス101が、衛星21の撮影対象領域である領域ARに設置されている。領域ARが農地であるとすると、センサデバイス101は、農地の気温等を検出したり、農作物の生育状況を監視し、ミクロなサンプルデータを収集する。センサデバイス101により検出されたセンサデータは、一般的には、地上のネットワークを経由して収集される。
 しかしながら、センサデバイス101が、海洋や山岳地帯など、地上の通信回線に接続されていない地域に置かれている場合もある。そのような場合、センサデータは、衛星21を経由したストア・アンド・フォワードによって収集することができる。
 図15は、ストア・アンド・フォワードによるセンサデータの収集を説明する図である。
 海洋上の船舶102に設置されたセンサデバイスや、ブイ等に設置されたセンサデバイス101は、所定のタイミングでセンサデータを取得し、内部に蓄積しておく。
 センサデバイス101は、上空を衛星21が通過したタイミングで、蓄積しておいたセンサデータを衛星21へ送信する。衛星21は、センサデバイス101から送信されてきたセンサデータを収集する。
 その後、衛星21は、地上局13の上空を通過する際に、内部に記憶しておいたセンサデータを地上局13へ送信する。ストア・アンド・フォワードによって収集されたセンサデータは、観測データを解析する解析装置(例えば衛星管理装置11)へ転送される。
 その他、地上の通信回線に接続されていない地域に置かれているセンサデバイス101のセンサデータの収集方法としては、例えば、図16に示されるように、ドローン103(無人航空機)をセンサデバイス101の通信範囲内に飛行させ、ドローン103にセンサデータを収集させる方法などもある。
 海洋や山岳地帯、屋外やへき地に配置されるセンサデバイス101は、バッテリにより長時間駆動するため、記憶装置や通信条件に制約がある場合が多く、大容量のデータ保存や通信が困難である場合も多い。したがって、センサデバイス101と、衛星21やドローン103などのセンサデータを収集するデータ収集デバイスとの間の通信では、効率的なデータ伝送が求められる。また、センサデバイス101において、センサデータを効率的に記憶しておくことが求められる。
 以下では、センサデータを収集するデータ収集デバイスが衛星21である場合を例に、センサデバイス101のリソースを効率的に利用したセンサデータの記憶および伝送について説明する。
 図17は、センサデバイス101自身が送信機能を備える場合の、センサデバイス101の構成例を示すブロック図である。
 センサデバイス101は、センサ部151、制御部152、記憶部153、送信部154、および、電源部155により構成される。
 センサ部151は、検出目的に応じた1種類以上の所定のセンサで構成される。センサ部151は、例えば、臭気センサ、気圧センサ、温度センサなどで構成される。また例えば、センサ部151は、イメージセンサ(RGBセンサ、IRセンサなど)で構成されてもよい。センサ部151には、同種または異種の複数のセンサが搭載される場合もある。
 制御部152は、センサデバイス101全体の動作を制御する。制御部152は、センサ部151により所定のセンサデータが検出された場合、検出されたセンサデータに対して所定のデータ処理を実行する。例えば、制御部152は、データ処理として、センサデータの特異点や所定の変化量をイベントとして抽出する処理を行うことができる。また、センサデータが、イメージセンサが出力するセンサ画像のデータである場合には、制御部152は、データ処理として、上述した圧縮処理や、特徴量変換処理、サブサンプル抽出処理、画像の認識処理なども行うことができる。制御部152は、センサデータまたはデータ処理後の処理データを記憶部153に一時記憶させ、送信部154から所定のデータ収集デバイスへ送信させる。
 送信部154は、制御部152の制御に従い、蓄積されたセンサデータまたは処理データを、所定の無線通信によりデータ収集デバイスへ送信する。無線通信の方式は問わないが、データ収集デバイスが衛星21である場合には、例えば、時速100km/hの高速移動体に対して、100km以上の長距離通信が可能な無線通信などとされる。
 電源部155は、例えば、太陽光発電等により充電されるバッテリ等で構成され、センサデバイス101の各部に電源を供給する。
 センサデバイス101は、例えば自己発電や長寿命電池を搭載し、大容量のセンサデータを記憶部153に記憶しておくことができる。1つのセンサデバイス101により得られる情報量は小さいが、例えば、領域全体の複数のセンサデバイス101のセンサデータで統合されたり、長期間のデータ蓄積がなされることで、高次の情報を得ることができる。
 センサデバイス101が備えるセンサがイメージセンサ(カメラ)である場合、電源を自己発電や長寿命電池に頼る場合には、極めて低解像度の画像しか撮像できない場合も多いが、電源を有するネットワーク未接続地域であれば、高解像度の画像を得ることができる。例えば、山岳拠点、船舶、ある程度の発電量が見込める海洋ブイ・パイプライン等では、電源を有するセンサデバイス101を設置することができる。
 センサデータは、以上のように、個々のセンサデバイス101から送信される構成の他、複数のセンサデバイス101のセンサデータを集約して送信する構成であってもよい。
 図18は、そのような場合の装置構成例を示しており、複数のセンサデバイス101(図18の例では3個)が制御装置172に接続され、制御装置172は、送信装置171および記憶装置173とも接続されている。送信装置171、制御装置172、および、記憶装置173は、一つの装置として構成されてもよい。
 送信装置171は、制御装置172の制御に従い、1以上のセンサデータ(センサデータ群)を、所定の無線通信によりデータ収集デバイスへ送信する。
 制御装置172は、複数のセンサデバイス101で検出されたセンサデータを取得し、取得したセンサデータを記憶装置173に記憶させる。制御装置172は、記憶装置173に記憶させておいた1以上のセンサデータ(センサデータ群)を、データ収集デバイスと無線通信可能な所定のタイミングで、送信装置171に送信させる。
 記憶装置173は、1以上のセンサデータ(センサデータ群)を、送信するまでの間、記憶する。
 図18では、制御装置172に3個のセンサデバイス101が接続されているが、センサデバイス101の個数は任意である。複数のセンサデバイス101は、同種のセンサデータを取得するデバイスであってもよいし、異なる種類のセンサデータを取得するデバイスでもよい。
 図19のフローチャートを参照して、センサデバイス101と衛星21との間で、効率的なデータ伝送を行う第3の衛星データ伝送処理を説明する。なお、図19および図20のフローチャートでは、センサデバイス101が備えるセンサがイメージセンサであるとして説明する。
 図19に示される第3の衛星データ伝送処理は、図5に示した第1の衛星データ伝送処理において地上局13と衛星21が行った処理を、衛星21とセンサデバイス101に置き換えた処理に相当する。
 すなわち、図5の地上局13が、図19では衛星21に相当し、図5の衛星21が、図19ではセンサデバイス101に相当する。図5の地上局13のステップS71乃至S78の処理が、図19では、衛星21によってステップS171乃至S178として行われ、図5の衛星21のステップS51乃至S55の処理が、図19では、センサデバイス101によってステップS151乃至S155として行われる。図19の各ステップの処理は、図5の対応するステップの処理と同様であるので、以下では簡単に説明する。
 ステップS151において、センサデバイス101は、予め決定されたタイミングで、監視対象領域の撮影を行う。ステップS151の処理は、次のステップS171が実行されるまでに複数回行われてもよい。ここで得られた、センサデバイス101によって得られた、縮小や間引き等が行われる前のセンサ画像を、部分データと対比して、センサ画像の完全データとも称する。
 ステップS171において、衛星21は、撮影により得られたセンサ画像の部分データを要求する部分データリクエストをセンサデバイス101へ送信する。部分データの詳細は、第1の衛星データ伝送処理と同様である。
 ステップS152において、センサデバイス101は、衛星21からの部分データリクエストを受信し、センサ画像の部分データを生成する部分データ生成処理を実行する。そして、センサデバイス101は、ステップS153において、衛星21からの部分データリクエストに対する返答として、生成した部分データを衛星21に送信する。
 ステップS172において、衛星21は、センサデバイス101から送信されてきた部分データを受信し、不足データがあるかを検出する不足データ検出処理を実行する。不足データ検出処理の詳細は図5と同様であるので省略する。
 ステップS173において、衛星21は、不足データ検出処理の結果、不足データがあるかどうかを判定し、不足データがあると判定された場合、処理をステップS174に進める。一方、不足データがないと判定された場合、処理は、後述するステップS178に進む。
 ステップS173で、不足データがあると判定された場合、衛星21は、ステップS174において、追加データを設定する追加データ設定処理を実行し、ステップS175において、追加データを要求する追加データリクエストをセンサデバイス101へ送信する。
 ステップS154において、センサデバイス101は、衛星21からの追加データリクエストを受信し、追加データを生成する追加データ生成処理を実行する。そして、センサデバイス101は、ステップS155において、生成した追加データを、追加データリクエストの返答として、衛星21に送信する。
 ステップS176において、衛星21は、最初に取得した部分データと、その後に取得した追加データとを統合するデータ統合処理を実行する。
 ステップS177において、衛星21は、最初に取得した部分データと、その後に取得した追加データとを統合した統合データで、データ解析を行うために十分であるかを判定する。このステップS177の処理は、不足データがあるか否かを判定した不足データ検出処理と同様である。
 ステップS177で、データ解析を行うためにまだ十分ではないと判定された場合、処理はステップS174に戻り、上述したステップS174乃至S177の処理が繰り返される。すなわち、衛星21は、追加データをさらにリクエストして取得する。
 一方、ステップS177で、データ解析を行うために十分であると判定された場合、処理はステップS178に進み、衛星21は、センサデバイス101から取得した部分データまたは統合データを用いてデータ解析処理を実行する。データ解析処理は、地上局13へ伝送された後、地上局13または衛星管理装置11が行ってもよい。
 以上のように、図19の第3の衛星データ伝送処理では、初めに、センサデバイス101により得られたセンサ画像の部分データが衛星21に送信され、部分データに不足があると判定された場合に、追加データがセンサデバイス101へ動的にリクエストされ、取得される。これにより、データ解析で必要とされるデータのみが、センサデバイス101と衛星21との間で伝送されるので、通信時間およびデータ量を抑制することができ、効率的にデータを伝送することができる。
<第3の衛星データ伝送処理の他の例>
 図20のフローチャートを参照して、第3の衛星データ伝送処理の他の例を説明する。
 図20に示される第3の衛星データ伝送処理は、図13に示した第2の衛星データ伝送処理において地上局13と衛星21が行った処理を、衛星21とセンサデバイス101に置き換えた処理に相当する。
 すなわち、図13の地上局13が、図20では衛星21に相当し、図13の衛星21が、図20ではセンサデバイス101に相当する。図13の地上局13のステップS121乃至S123の処理が、図20では、衛星21によってステップS221乃至S223として行われ、図13の衛星21のステップS91乃至S101の処理が、図20では、センサデバイス101によってステップS191乃至S201として行われる。図20の各ステップの処理は、図13の対応するステップの処理と同様であるので、以下では簡単に説明する。
 初めに、ステップS191において、センサデバイス101は、予め決定されたタイミングで、監視対象領域の撮影を行う。ステップS91の処理は、次のステップS192が実行されるまでに複数回行われてもよい。撮影により、センサ画像の完全データが得られる。
 ステップS192において、センサデバイス101は、センサ画像の完全データを所定の特徴量データに変換することによりデータ量を縮小するデータ縮小処理を実行する。このデータ縮小処理の詳細は、図13のステップS92における処理と同様であるので省略する。
 ステップS193において、センサデバイス101は、データ縮小処理により生成された特徴量データを用いて認識処理を実行する。この認識処理の詳細は、図13のステップS93における処理と同様であるので省略する。
 ステップS194において、センサデバイス101は、認識処理の結果、生成した特徴量データが認識処理に十分なデータであるかを判定する。ステップS194で、特徴量データが認識処理に十分なデータであると判定された場合、処理は、後述するステップS200へ進む。
 一方、ステップS194で、特徴量データが認識処理に十分なデータではないと判定された場合、処理はステップS195へ進み、センサデバイス101は、追加の特徴量データを設定する追加データ設定処理を実行し、ステップS196において、追加の特徴量データを生成する追加データ生成処理を実行する。続いて、センサデバイス101は、ステップS197において、最初に生成した特徴量データと、その後に生成した追加の特徴量データとを統合するデータ統合処理を実行する。
 そして、ステップS198において、センサデバイス101は、統合した特徴量データが認識処理に十分なデータであるかを判定する。このステップS198の処理は、上述したステップS194の判定処理と同様である。ステップS198の処理は、必要に応じてステップS193と同様の認識処理を行ってから判定してもよい。
 ステップS198で、統合した特徴量データが認識処理に十分なデータではないと判定された場合、処理はステップS199へ進み、センサデバイス101は、再度の撮影が必要であるかを判定する。例えば、センサ画像の解像度が不足するために、生成した特徴量データにおいて十分な認識結果が得られない場合、現在のセンサ画像を基に特徴量データをいくら生成しても認識結果の向上には限界がある。そのような場合、解像度を変更して(解像度を上げて)撮影をし直すことが必要である。あるいはまた、認識処理により、現在のセンサ画像の特定領域の詳細が必要であると判断される場合には、その特定領域にズームした撮影をやり直す必要がある。
 ステップS199で、再度の撮影が必要であると判定された場合、処理はステップS191へ戻り、上述したステップS191以降の処理が再度実行される。すなわち、監視対象領域の撮影、および、撮影により得られたセンサ画像から所定の特徴量データの生成等が実行される。
 一方、ステップS199で、再度の撮影は必要ないと判定された場合、処理はステップS195へ戻り、上述したステップS195以降の処理が再度実行される。すなわち、追加の特徴量データの生成、および、生成した特徴量データと、それ以前に生成された特徴量データとのデータ統合処理等が実行される。
 一方、上述したステップS198で、統合した特徴量データが認識処理に十分なデータであると判定された場合、処理はステップS200へ進み、センサデバイス101は、生成した特徴量データのデータ保存を行う。これにより、生成した特徴量データ、または、データ統合処理が行われた場合には統合処理後の特徴量データが、記憶部153または記憶装置173に記憶され、元のセンサ画像はデータ保存されない。
 ステップS221において、衛星21は、センサデバイス101の上空を通過するタイミングにおいて、特徴量データを要求する特徴量データリクエストをセンサデバイス101へ送信する。
 ステップS201において、センサデバイス101は、衛星21からの特徴量データリクエストを受信し、その返答として、記憶部153等に記憶しておいた特徴量データを衛星21へ送信する。
 ステップS222において、衛星21は、センサデバイス101から送信されてくる特徴量データを受信するとともに、受信した特徴量データと、補完用データとを用いて、完全データ生成処理を実行し、解析処理用の完全データを生成する。補完用データは、衛星21内に予め用意されている。
 ステップS223において、衛星21は、生成した解析処理用の完全データに基づく解析を行うデータ解析処理を実行する。データ解析処理の結果は、記憶部65に記憶された後、地上局13上空を通過する際、地上局13へ送信される。
 ステップS222の完全データ生成処理、および、ステップS223のデータ解析処理は、地上局13または衛星管理装置11が行ってもよい。
 以上のように、図20の第3の衛星データ伝送処理では、センサデバイス101が、認識処理に必要とされる特徴量データを事前に予想作成して保存し、衛星21へ伝送する。特徴量データの元データであるセンサ画像はデータ保存されない。これにより、情報量の圧縮(削減)が可能となり、センサデバイス101のリソースを効率的に利用することができる。生成された特徴量データは、認識処理に必要とされるデータとされているので、可視化用の特徴量変換では落としてしまうような情報を保存しておくことができる。認識処理を行う側の衛星21、地上局13、または、衛星管理装置11では、特徴量をもとに高精度または多様な認識処理が可能となる。
 図20の第3の衛星データ伝送処理では、最初に取得したセンサ画像では、認識処理に必要な特徴量データが得られない場合には、再度撮影をやり直し、新たな撮影条件で撮影したセンサ画像に基づいて特徴量データを準備することができる。これにより、認識処理に必要なデータを効率よく取得して送信することができる。
 図19および図20の第3の衛星データ伝送処理においても、センサデバイス101が種類の異なるイメージセンサを備える場合には、複数のイメージセンサそれぞれのセンサ画像について、特徴量データを生成し、伝送する処理とすることができる。
<第3の衛星データ伝送処理の適用例>
 第3の衛星データ伝送処理において、センサデバイス101が生成する特徴量データの具体例について説明する。
・農業
 監視対象領域を農地として、農地に設置した各観測点における気温変化、土壌の特徴変化、サンプル作物の状態変化等をイベントとして検出し、特徴量データとすることができる。
・海洋
 監視対象領域を海洋として、海洋ブイ等に設けられたセンサデバイス101が海中の魚群の変動、海水温の変化等をイベントとして検出し、特徴量データとすることができる。監視対象領域に停泊または監視対象領域を航行する船舶に設置されたセンサデバイス101により検出された海水温、気圧、波高の変化等をイベントとして検出し、特徴量データとすることができる。
・その他
 パイプラインに設置されたセンサデバイス101が、デバイス周辺の温度(熱検出)を検出し、その変化等をイベントとして検出し、特徴量データとすることができる。監視対象領域に多数配置されたセンサデバイス101によるガス漏出の分布データ等を、特徴量データとすることができる。
<7.サブサンプル画像の認識処理>
 図21乃至図31を参照して、サブサンプリングされた画像(サブサンプル画像)を用いた認識処理の具体例について説明する。
 なお、図21乃至図31の説明では、地上局13の画像処理部82が、サブサンプリングされた複数の画像の認識処理を行うものとして説明するが、上述した第1乃至第3の衛星データ伝送処理に応じて、衛星21、衛星管理装置11、または、センサデバイス101のいずれかが認識処理を行うこともあり得る。
 図21は、サブサンプリングされた複数の画像の認識処理の概念図を示している。
 サブサンプリングされた複数の画像の認識処理は、図21に示されるように、DNN(Deep Neural Network)を用いた、特徴抽出処理と認識処理とにより、実行することができる。具体的には、画像処理部82は、DNNを用いて、入力された画像に対して特徴抽出処理により特徴量を抽出する。この特徴抽出処理は、例えばDNNのうちCNN(Convolutional Neural Network)を用いて行われる。また、画像処理部82は、DNNを用いて、抽出された特徴量に対して認識処理を実行し、認識結果を得る。
 DNNによる認識処理は、図22に示されるように、時系列の画像[T-2]、[T-1]、[T]、・・・を順次入力して実行することができる。ここで、画像[T]は、時刻Tのサブサンプル画像であり、画像[T-1]は、時刻Tより前の時刻T-1のサブサンプル画像であり、画像[T-2]は、時刻T-1より前の時刻T-2のサブサンプル画像である。画像処理部82は、DNNを用いて、入力された各画像[T-2]、[T-1]、[T]、・・・に対して認識処理を実行し、時刻Tにおける認識結果[T]を得る。
 図23は、図22の認識処理のより詳細な概念図である。
 図23に示されるように、画像処理部82は、例えば、入力された画像[T]、[T-1]および[T-2]それぞれに対して、上述の図21を用いて説明した特徴抽出処理を1対1に実行し、画像[T]、[T-1]および[T-2]にそれぞれ対応する特徴量を抽出する。画像処理部82は、これら画像[T]、[T-1]および[T-2]に基づき得られた各特徴量を統合し、統合された特徴量に対して認識処理を実行し、時刻Tにおける認識結果[T]を得る。画像[T]、[T-1]および[T-2]に基づき得られた各特徴量は、認識処理に用いる、統合された特徴量を得るための中間データであるといえる。
 図24は、DNNによる認識処理の他の概念図である。
 サブサンプリングされた複数の画像の認識処理は、図24に示されるように、画像[T-2]、[T-1]、[T]、・・・が時系列に入力される場合に、内部状態が時刻T-1の状態に更新されたDNNに対して時刻Tの画像[T]を入力し、時刻Tにおける認識結果[T]を得ると捉えることもできる。
 図25は、図24の認識処理のより詳細な概念図である。
 図25に示されるように、画像処理部82は、入力された時刻Tの画像[T]に対して上述の図21を用いて説明した特徴抽出処理を実行し、画像[T]に対応する特徴量を抽出する。画像処理部82には、時刻Tより前の画像により内部状態が更新され、更新された内部状態に係る特徴量が保存されている。画像処理部82は、保存された内部状態に係る特徴量と、画像[T]における特徴量とを統合し、統合された特徴量に対して認識処理を実行し、時刻Tにおける認識結果[T]を得る。この場合、保存された内部状態に係る特徴量、および、画像[T]における特徴量のそれぞれは、認識処理に用いる、統合された特徴量を得るための中間データであるといえる。
 図22および図24に示す認識処理は、例えば直前の認識結果を用いて内部状態が更新されたDNNを用いて実行されるもので、再帰的な処理となる。このように、再帰的な処理を行うDNNをRNN(Recurrent Neural Network)と呼ぶ。RNNによる認識処理は、一般的には動画像認識などに用いられ、例えば時系列で更新されるフレーム画像によりDNNの内部状態を順次に更新することで、認識精度を向上させることが可能である。
 図26乃至図31を参照して、DNNを用いた認識処理についてさらに説明する。
 図26は、DNNを用いた認識処理を説明する模式図である。
 DNNを用いた認識処理を行う画像処理部82には、画素が間引きされていない完全データの画像201に対して所定の画素位置の画素をサブサンプリングして生成されたサブサンプル画像211が入力される。
 画像処理部82は、入力されたサブサンプル画像211の特徴量を抽出する。ここでは、画像処理部82は、DNNのうちCNNを用いて特徴量の抽出を行う。
 画像処理部82は、抽出された特徴量を、図示されない蓄積部に格納する。このとき、画像処理部82は、例えば直前のフレームにおいて抽出された特徴量が既に蓄積部に格納されている場合、蓄積部に格納されている特徴量を再帰的に用いて、抽出した特徴量と統合する。この処理は、DNNのうちRNNを用いた処理に相当する。
 画像処理部82は、蓄積、統合された特徴量に基づき認識処理を実行する。
 図27乃至図30を参照して具体例を用いて説明する。
 所定の時刻Tにおいて、図27に示されるように、完全データの画像201に対して所定の画素位置の画素をサブサンプリングして生成されたサブサンプル画像211aが、画像処理部82に入力される。
 完全データの画像201には、人物241と人物242が含まれている。人物241は、カメラから比較的近距離(中距離と称する。)に位置しており、人物242は、カメラに対して人物241よりも遠方の距離(遠距離と称する。)に位置しており、画像中のサイズが人物241よりも小さい。
 サブサンプル画像211aは、例えば、完全データの画像201を、2x2の4画素の画素ユニット単位に分割したとき、各画素ユニットの左上の画素をサンプリングした画像に相当する。
 画像処理部82は、入力されたサブサンプル画像211aの特徴量250aを、CNNを用いて抽出する。画像処理部82は、抽出された特徴量250aを、蓄積部に蓄積する。このとき、蓄積部に既に特徴量が蓄積されている場合、特徴量250aを、既に蓄積されている特徴量と統合することができるが、図27の例では、空の蓄積部に対して最初の特徴量250aが蓄積された様子が示されている。
 画像処理部82は、蓄積部に蓄積された特徴量250aに基づき認識処理を実行する。図27の例では、中距離に位置する人物241が認識され、認識結果260として得られている。一方、遠距離に位置する人物242は、認識されていない。
 時刻Tから所定時間経過後の時刻T+1において、図28に示されるように、完全データの画像201に対して所定の画素位置の画素をサブサンプリングして生成されたサブサンプル画像211bが、画像処理部82に入力される。
 サブサンプル画像211bは、例えば、完全データの画像201の2x2の各画素ユニットの右上の画素をサンプリングした画像に相当する。換言すれば、サブサンプル画像211bは、画像201のサブサンプル画像211aの画素位置に対して1画素分水平方向にずらした各画素位置をサンプリングした画像に相当する。
 画像処理部82は、入力されたサブサンプル画像211bの特徴量250bを、CNNを用いて抽出する。画像処理部82は、抽出された特徴量250bを、蓄積部に蓄積する。このとき、蓄積部には、サブサンプル画像211aの特徴量250aが既に蓄積されている。そのため、画像処理部82は、特徴量250bを蓄積部に蓄積すると共に、特徴量250bを、蓄積されている特徴量250aと統合する。
 画像処理部82は、特徴量250aと特徴量250bとが統合された特徴量に基づき認識処理を実行する。図28の例では、中距離に位置する人物241が認識され、認識結果260として得られているが、遠距離に位置する人物242は、この時点では認識されていない。
 時刻T+1から所定時間経過後の時刻T+2において、図29に示されるように、完全データの画像201に対して所定の画素位置の画素をサブサンプリングして生成されたサブサンプル画像211cが、画像処理部82に入力される。
 サブサンプル画像211cは、例えば、完全データの画像201の2x2の各画素ユニットの左下の画素をサンプリングした画像に相当する。換言すれば、サブサンプル画像211cは、画像201のサブサンプル画像211aの画素位置に対して1画素分、列方向にずらした各画素位置をサンプリングした画像に相当する。
 画像処理部82は、入力されたサブサンプル画像211cの特徴量250cを、CNNを用いて抽出する。画像処理部82は、抽出された特徴量250cを、蓄積部に蓄積する。このとき、蓄積部には、サブサンプル画像211aおよび211bからそれぞれ抽出された特徴量250aおよび250bが既に蓄積されている。そのため、画像処理部82は、特徴量250cを蓄積部に蓄積すると共に、特徴量250cを、蓄積されている特徴量250aおよび250bと統合する。
 画像処理部82は、特徴量250aおよび250bと、特徴量250cとが統合された特徴量に基づき認識処理を実行する。図29の例では、中距離に位置する人物241が認識され、認識結果260として得られているが、遠距離に位置する人物242は、この時点では認識されていない。
 時刻T+2から所定時間経過後の時刻T+3において、図30に示されるように、完全データの画像201に対して所定の画素位置の画素をサブサンプリングして生成されたサブサンプル画像211dが、画像処理部82に入力される。
 サブサンプル画像211dは、例えば、完全データの画像201の2x2の各画素ユニットの右下の画素をサンプリングした画像に相当する。換言すれば、サブサンプル画像211dは、画像201のサブサンプル画像211cの画素位置に対して1画素分水平方向にずらした各画素位置をサンプリングした画像に相当する。
 画像処理部82は、入力されたサブサンプル画像211dの特徴量250dを、CNNを用いて抽出する。画像処理部82は、抽出された特徴量250dを、蓄積部に蓄積する。このとき、蓄積部には、サブサンプル画像211a乃至211cからそれぞれ抽出された特徴量250a乃至250cが既に蓄積されている。そのため、画像処理部82は、特徴量250dを蓄積部に蓄積すると共に、特徴量250dを、蓄積されている特徴量250a乃至250cと統合する。
 画像処理部82は、特徴量250a乃至250cと、特徴量250dとが統合された特徴量に基づき認識処理を実行する。図30の例では、中距離に位置する人物241が認識され、認識結果260として得られるとともに、遠距離に位置する人物242も認識され、認識結果261として得られている。
 図27乃至図30の処理により、2x2の画素ユニットに含まれる4画素の画素位置全てが、サンプリング画素の画素位置として選択されたことになる。これは、換言すれば、完全データの画像201の全画素を、サンプリング画素の画素位置として選択したことを表す。
 このようにサブサンプル画像211を生成する画素位置を選択し、各サブサンプル画像211から算出された特徴量が蓄積、統合される。これにより、完全データの画像201に含まれる画素を徐々に認識処理に関与させることができ、より高精度に認識することができるようになる。例えば遠方の対象物も容易に認識可能となる。
 なお、サブサンプル画像211を生成するためのサンプリング画素の画素位置は、上述した例に限定されない。例えば、図31のサブサンプル画像271a、271b、271c、271d、・・・のように、離散的および非周期的な複数の画素位置を選択して、複数のサブサンプル画像271を生成してもよい。
<8.コンピュータ構成例>
 衛星画像またはセンサ画像に対して実行される上述の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
 図32は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
 コンピュータにおいて、CPU(Central Processing Unit)301,ROM(Read Only Memory)302,RAM(Random Access Memory)303は、バス304により相互に接続されている。
 バス304には、さらに、入出力インタフェース305が接続されている。入出力インタフェース305には、入力部306、出力部307、記憶部308、通信部309、及びドライブ310が接続されている。
 入力部306は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部307は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部308は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部309は、ネットワークインタフェースなどよりなる。ドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体311を駆動する。
 以上のように構成されるコンピュータでは、CPU301が、例えば、記憶部308に記憶されているプログラムを、入出力インタフェース305及びバス304を介して、RAM303にロードして実行することにより、上述した一連の処理が行われる。RAM303にはまた、CPU301が各種の処理を実行する上において必要なデータなども適宜記憶される。
 コンピュータ(CPU301)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体311に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 コンピュータでは、プログラムは、リムーバブル記録媒体311をドライブ310に装着することにより、入出力インタフェース305を介して、記憶部308にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部309で受信し、記憶部308にインストールすることができる。その他、プログラムは、ROM302や記憶部308に、あらかじめインストールしておくことができる。
 本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
 また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
 本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
 なお、本技術は、以下の構成を取ることができる。
(1)
 人工衛星により撮影された衛星画像の部分データの解析結果に基づき、前記部分データに関連する追加データの前記人工衛星から地上局への送信を要求する画像処理部を備える
 地上システム。
(2)
 前記画像処理部は、前記部分データの解析処理として、取得した部分データと、過去に取得された部分データとの間に差分があるかを検出し、差分があると判定された場合に、前記の前記人工衛星から地上局への送信を要求する
 前記(1)に記載の地上システム。
(3)
 前記画像処理部は、前記部分データの解析処理として、取得した部分データに対する認識処理を実行し、認識処理の結果に基づき、前記追加データの前記人工衛星から地上局への送信を要求する
 前記(1)に記載の地上システム。
(4)
 前記画像処理部は、前記認識処理の信頼度が低い場合に、前記追加データの前記人工衛星から地上局への送信を要求する
 前記(3)に記載の地上システム。
(5)
 前記画像処理部は、前記追加データを設定する追加データ設定処理を実行し、設定された前記追加データの前記人工衛星から地上局への送信を要求する
 前記(1)乃至(4)のいずれかに記載の地上システム。
(6)
 前記画像処理部は、前記人工衛星からの前記追加データを取得し、最初に取得した前記部分データと、前記追加データとを統合するデータ統合処理を実行する
 前記(1)乃至(5)のいずれかに記載の地上システム。
(7)
 最初の前記部分データの取得と、前記追加データの取得は、1回のパスで実行される
 前記(1)乃至(6)のいずれかに記載の地上システム。
(8)
 最初の前記部分データの取得と、前記追加データの取得は、異なるパスで実行される
 前記(1)乃至(7)のいずれかに記載の地上システム。
(9)
 前記部分データは、前記衛星画像に対して、低解像度、低フレームレート、または、低ビット長のデータであり、
 前記追加データは、前記部分データよりも、高解像度、高フレームレート、または、高ビット長のデータである
 前記(1)乃至(8)のいずれかに記載の地上システム。
(10)
 前記部分データは、前記衛星画像に対するサブサンプル抽出処理により生成したサブサンプル画像のデータであり、
 前記追加データは、前記衛星画像に対するサブサンプル抽出処理により、前記部分データとは異なる画素がサンプリングされたサブサンプル画像のデータである
 前記(1)乃至(9)のいずれかに記載の地上システム。
(11)
 前記部分データは、所定の認識対象に関する特徴量を示す情報である
 前記(1)乃至(10)のいずれかに記載の地上システム。
(12)
 前記衛星画像は、被写体に海洋を含む画像であり、
 前記画像処理部は、前記部分データの解析に基づく所定の海上移動体または所定の海上構造物の認識に応じて、追加データの前記人工衛星から地上局への送信を要求する
 前記(1)乃至(11)のいずれかに記載の地上システム。
(13)
 地上システムが、
 人工衛星により撮影された衛星画像の部分データの解析結果に基づき、前記部分データに関連する追加データの前記人工衛星から地上局への送信を要求する
 地上システムの画像処理方法。
 1 衛星画像処理システム, 11 衛星管理装置, 13 地上局, 21 衛星, 61 衛星通信部, 62 撮影装置, 63 制御部, 64 画像処理部, 65 記憶部, 81 制御部, 82 画像処理部, 83 通信部, 84 記憶部, 101 センサデバイス, 103 ドローン, 151 センサ部, 152 制御部, 153 記憶部, 154 送信部, 171 送信装置, 172 制御装置, 173 記憶装置, 201 画像, 211 サブサンプル画像, 250 特徴量, 301 CPU, 302 ROM, 303 RAM, 306 入力部, 307 出力部, 308 記憶部, 309 通信部, 310 ドライブ

Claims (13)

  1.  人工衛星により撮影された衛星画像の部分データの解析結果に基づき、前記部分データに関連する追加データの前記人工衛星から地上局への送信を要求する画像処理部を備える
     地上システム。
  2.  前記画像処理部は、前記部分データの解析処理として、取得した部分データと、過去に取得された部分データとの間に差分があるかを検出し、差分があると判定された場合に、前記追加データの前記人工衛星から地上局への送信を要求する
     請求項1に記載の地上システム。
  3.  前記画像処理部は、前記部分データの解析処理として、取得した部分データに対する認識処理を実行し、認識処理の結果に基づき、前記追加データの前記人工衛星から地上局への送信を要求する
     請求項1に記載の地上システム。
  4.  前記画像処理部は、前記認識処理の信頼度が低い場合に、前記追加データの前記人工衛星から地上局への送信を要求する
     請求項3に記載の地上システム。
  5.  前記画像処理部は、前記追加データを設定する追加データ設定処理を実行し、設定された前記追加データの前記人工衛星から地上局への送信を要求する
     請求項1に記載の地上システム。
  6.  前記画像処理部は、前記人工衛星からの前記追加データを取得し、最初に取得した前記部分データと、前記追加データとを統合するデータ統合処理を実行する
     請求項1に記載の地上システム。
  7.  最初の前記部分データの取得と、前記追加データの取得は、1回のパスで実行される
     請求項1に記載の地上システム。
  8.  最初の前記部分データの取得と、前記追加データの取得は、異なるパスで実行される
     請求項1に記載の地上システム。
  9.  前記部分データは、前記衛星画像に対して、低解像度、低フレームレート、または、低ビット長のデータであり、
     前記追加データは、前記部分データよりも、高解像度、高フレームレート、または、高ビット長のデータである
     請求項1に記載の地上システム。
  10.  前記部分データは、前記衛星画像に対するサブサンプル抽出処理により生成したサブサンプル画像のデータであり、
     前記追加データは、前記衛星画像に対するサブサンプル抽出処理により、前記部分データとは異なる画素がサンプリングされたサブサンプル画像のデータである
     請求項1に記載の地上システム。
  11.  前記部分データは、所定の認識対象に関する特徴量を示す情報である
     請求項1に記載の地上システム。
  12.  前記衛星画像は、被写体に海洋を含む画像であり、
     前記画像処理部は、前記部分データの解析に基づく所定の海上移動体または所定の海上構造物の認識に応じて、追加データの前記人工衛星から地上局への送信を要求する
     請求項1に記載の地上システム。
  13.  地上システムが、
     人工衛星により撮影された衛星画像の部分データの解析結果に基づき、前記部分データに関連する追加データの前記人工衛星から地上局への送信を要求する
     地上システムの画像処理方法。
PCT/JP2021/045250 2020-12-23 2021-12-09 地上システムおよびその画像処理方法 WO2022138181A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/257,532 US20240048671A1 (en) 2020-12-23 2021-12-09 Ground system and image processing method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020213125 2020-12-23
JP2020-213125 2020-12-23

Publications (1)

Publication Number Publication Date
WO2022138181A1 true WO2022138181A1 (ja) 2022-06-30

Family

ID=82157780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045250 WO2022138181A1 (ja) 2020-12-23 2021-12-09 地上システムおよびその画像処理方法

Country Status (2)

Country Link
US (1) US20240048671A1 (ja)
WO (1) WO2022138181A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024111055A1 (ja) * 2022-11-22 2024-05-30 株式会社Nttドコモ ネットワークノード及び通信方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561963B2 (ja) * 1990-03-30 1993-09-07 Ebara Infilco
JP2000194833A (ja) * 1998-12-28 2000-07-14 Hitachi Ltd 観測衛星を利用した地域管理システム,地域管理方法と農業育成管理システム及び観測衛星運用システム
JP2006523836A (ja) * 2003-04-17 2006-10-19 セクレタリー・オヴ・ステイト・フォー・ディフェンス 全地球測位システムにおけるトロポシェア誘導エラーの補正
JP2007073055A (ja) * 2006-09-25 2007-03-22 Hitachi Ltd 衛星画像配信装置
JP2009009436A (ja) * 2007-06-29 2009-01-15 Hitachi Software Eng Co Ltd 人工衛星画像要求システム
US20100115519A1 (en) * 2003-01-28 2010-05-06 Soligence Corporation Method and system for scheduling image acquisition events based on dynamic programming
JP2019149782A (ja) * 2018-02-28 2019-09-05 国立大学法人 東京大学 通信システム、宇宙側送信局装置、地上側受信局装置、及びプログラム
WO2020250709A1 (ja) * 2019-06-12 2020-12-17 ソニー株式会社 人工衛星およびその制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561963B2 (ja) * 1990-03-30 1993-09-07 Ebara Infilco
JP2000194833A (ja) * 1998-12-28 2000-07-14 Hitachi Ltd 観測衛星を利用した地域管理システム,地域管理方法と農業育成管理システム及び観測衛星運用システム
US20100115519A1 (en) * 2003-01-28 2010-05-06 Soligence Corporation Method and system for scheduling image acquisition events based on dynamic programming
JP2006523836A (ja) * 2003-04-17 2006-10-19 セクレタリー・オヴ・ステイト・フォー・ディフェンス 全地球測位システムにおけるトロポシェア誘導エラーの補正
JP2007073055A (ja) * 2006-09-25 2007-03-22 Hitachi Ltd 衛星画像配信装置
JP2009009436A (ja) * 2007-06-29 2009-01-15 Hitachi Software Eng Co Ltd 人工衛星画像要求システム
JP2019149782A (ja) * 2018-02-28 2019-09-05 国立大学法人 東京大学 通信システム、宇宙側送信局装置、地上側受信局装置、及びプログラム
WO2020250709A1 (ja) * 2019-06-12 2020-12-17 ソニー株式会社 人工衛星およびその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024111055A1 (ja) * 2022-11-22 2024-05-30 株式会社Nttドコモ ネットワークノード及び通信方法

Also Published As

Publication number Publication date
US20240048671A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
CN106682592B (zh) 一种基于神经网络方法的图像自动识别系统及方法
WO2022138182A1 (ja) 人工衛星および地上システム
KR101793509B1 (ko) 작물 모니터링을 위하여 무인 비행체의 자동 경로 산정을 통한 원격 관측 방법 및 그 시스템
US7508972B2 (en) Topographic measurement using stereoscopic picture frames
WO2020250707A1 (ja) 衛星システムの撮像方法、および、送信装置
CN113454677A (zh) 一种遥感卫星系统
WO2020250709A1 (ja) 人工衛星およびその制御方法
EP1502441A1 (en) System and method of simulated image reconstruction
CN109828291B (zh) 一种有人机应急遥感监测的方法及装置
CN111091088B (zh) 一种视频卫星信息支援海上目标实时检测定位系统及方法
US20230015980A1 (en) Image generation device, image generation method, and program
CN111829964A (zh) 一种分布式遥感卫星系统
WO2022138181A1 (ja) 地上システムおよびその画像処理方法
CN116667915B (zh) 基于卫星通导遥一体化的实时信息智能决策方法及系统
WO2022107620A1 (ja) データ解析装置および方法、並びに、プログラム
WO2022107619A1 (ja) データ解析装置および方法、並びに、プログラム
US12041363B2 (en) Display control device, display control method, and program for displaying images based on satellite imaging
CN216599621U (zh) 一种基于低轨卫星的无人机航拍数据传输系统
CN117647993A (zh) 一种基于电力巡检场景下的无人机巡检方法
WO2022138180A1 (ja) センサデバイスおよびそのデータ処理方法
CN112235041A (zh) 实时点云的处理系统、方法及机载数据采集装置、方法
CN117274375A (zh) 基于迁移学习网络模型与图像匹配的目标定位方法及系统
US20220327820A1 (en) Image processing method and data structure of metadata
US20220230266A1 (en) Image management method and data structure of metadata
JP7156454B1 (ja) 監視システム、監視衛星、監視方法、および監視プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21910330

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18257532

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21910330

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP